EP2132706A1 - Method and device for generating tracking configurations for augmented reality applications - Google Patents

Method and device for generating tracking configurations for augmented reality applications

Info

Publication number
EP2132706A1
EP2132706A1 EP07712485A EP07712485A EP2132706A1 EP 2132706 A1 EP2132706 A1 EP 2132706A1 EP 07712485 A EP07712485 A EP 07712485A EP 07712485 A EP07712485 A EP 07712485A EP 2132706 A1 EP2132706 A1 EP 2132706A1
Authority
EP
European Patent Office
Prior art keywords
tracking
module
modules
data
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP07712485A
Other languages
German (de)
French (fr)
Inventor
Mehdi Hamadou
Dirk Jahn
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of EP2132706A1 publication Critical patent/EP2132706A1/en
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • the invention relates to a method and a device for generating tracking configurations for augmented reality applications.
  • Augmented reality applications relate to a form of human-machine interaction, which pops up a person, for example via a data glasses information in the field and thus the perceived reality this person expan ⁇ tert.
  • tracking methods are used. These can work with both hardware and software.
  • optical, inertial, Sound ⁇ tables and / or magnetic systems are used. These systems must be supplied with data to determine the position of the user.
  • These data are representative example ⁇ as three-dimensional models of an observed object to images of the object being viewed from different positions to recognize distinctive points, lines or color regions or specially mounted coded markers. All for that
  • Tracking necessary information is fed to the tracking process at the beginning.
  • Augmented reality applications in the areas of industry, medicine and consumer use come in many different tracking environments.
  • the process of creating tracking ⁇ configurations is complex and costly. This hinders the spread of augmented reality applications in the mentioned areas.
  • a creation of tracking configurations for a given environment is complicated, because in known tracking methods, the entire environment is used or evaluated. Even small differences between two similar, but not completely coincident environments often make the tracking method used in each case fail because, for example, contradictory data on the positions of prominent points, lines or color regions are present, so that consistency with the real scene can not be achieved.
  • Creating or authoring tracking configurations is based on generating parameter sets and data derived, for example, from reduced CAD models of the environment under consideration. For example, prominent points, edges and / or color regions are extracted and a subset thereof selected so that the tracking methods used can operate efficiently. Subsequently, the selection made has to be tested in the real environment and, if necessary, adapted to it. The creator or author must also select the distinctive points, edges and / or color regions so that they are evenly distributed in the real environment. Only then is the stability of the respective tracking process ensured. These steps require ⁇ least the author had good knowledge of the behavior of jewei ⁇ time tracking process and are associated with high costs for the author. A high-quality overlay of the augmentations over the real environment is therefore highly dependent on the know-how and the care of the author.
  • a system and a method for displaying augmented reality information are already known.
  • objects are captured as image information of a section of an environment by means of a camera.
  • the detected objects are identified and images of the detected objects are reconstructed in a virtual three-dimensional space on the basis of associated tracking information stored in the system.
  • Ortsko- be ordinates of objects is calculated and the position of the Benut ⁇ decomp and its viewing angle to the object in ermit ⁇ telt.
  • user information is assigned to the location coordinates, which are then placed in the correct position in the field of view of the user User.
  • Said Trackinginforma- functions are read out contactlessly by means of a read / write device from at ⁇ least one mobile data memory.
  • the mobile data memory is attached to each object to be detected.
  • the object of the invention is to provide a method and a device for generating tracking configurations for augmented reality applications, in which less effort is required.
  • the advantages of the invention are, in particular, that the generation of tracking configurations based on known tracking data of individual modules or components that are present in the real environment takes place automatically. This is done in the sense of an online operation during the use of the system by the operator. Consequently, there is no need for an engineering step to generate tracking configurations. In practice, this means like a serious ⁇ che reduction for generating tracking configurations to be driven effort.
  • An online method requires only knowledge of the list of modules present in a real environment and associated tracking data. This list does not have to be complete.
  • the tracking method according to the present invention starts with a search for a first module in a camera-generated image of the existing real environment.
  • the stored tracking data associated with the first module is compared with features contained in the camera image by means of a computer unit. Is this step of initialization successful? richly completed, then in the sense of a tracking, a constant calculation of the position and the orientation of the already identified module in the camera image takes place. This allows a correct position display of augmentation information by means of smart glasses, as long as the user views the augmentation information in the area of the detected module and this remains in his field of vision.
  • additional modules from the list of modules in the current camera image are searched for in addition to the first module mentioned, wherein this search is carried out using stored tracing data assigned to these further modules.
  • this further module is inserted into the first module with respect to the generated Coordina ⁇ tensystem.
  • the features get by new posi ⁇ tions in this real environment. This procedure is repeated until the entire real environment is re ⁇ constructed.
  • the tracking is robust. Furthermore, the created tracking configurations can be stored for later use of tracking and also for documentation of the actual structure of the real environment.
  • the on-line method for generating tracking configurations described above advantageously allows a structure of a tracking construction kit to be used over and over again in order to make any number of real environments trackable, ie. H. to generate reliable tracking configurations for any real environment. All that is needed is information about which modules are installed in the respective real environment.
  • This information is extracted in an advantageous manner from already existing CAD plans, parts lists or technical contexts, so that a manual entry of these Information is not necessary. This further reduces the effort required to generate tracking configurations.
  • FIG 1 is a perspective sketch of a cabinet with modules arranged therein and
  • Figure 2 is a block diagram illustrating a method according to the invention.
  • the invention relates to a method and a device in which tracking configurations for augmented reality applications are determined.
  • the starting point for a method according to the invention is a real environment.
  • This real environment consists of that in the
  • FIG. 1 shown embodiment of a cabinet
  • tracking data are also stored in a further memory 9. These tracking data are generated by the supplier of the respective module and are made available to the operator of the control cabinet 1 in addition to a manual describing the module and stored by the operator in the memory 9. For example, it is at the module 2 by a numerical control, wherein the module 3 to an I / O module and the module 4 to a ⁇ An operation control.
  • the tracking data contains information about the respective module, for example information about edges, recesses, colored areas, etc.
  • the operator starts an augmented reality-based application. He uses at least least a camera 12 by means of which 11 provided images of the real environment a computer unit, wherein ⁇ game as images of Heidelbergschran- shown in the Figure 1 kit. 1
  • the tasks of the computer unit 11 are, using the stored in the memory 10 parts list of the built-in cabinet 1 modules 2, 3, 4 and using the memory 9 stored in the memory tracking data of the modules 2, 3, 4 automatically perform a tracking method 7, the Implementation of the results provided by the tracking method 7 in an authoring process 8 in tracking configurations and supply tracking information determined a visualization ⁇ 6 method.
  • Its task is to forward augmented reality information in the correct position to the present Augmented Reality application 5.
  • the named augmented reality information is inserted in the correct position in the field of vision of a person wearing data glasses.
  • the operator of the system via an input El a bill of materials installed in the cabinet 1 modules 2, 3, 4 corresponding data in the memory 10 marrie ⁇ ben. This is done for example by means of a keyboard. Furthermore, the tracking data of the modules 2, 3, 4 provided by the suppliers of the modules 2, 3, 4 are read into the memory 9 via the input E2. This tracking data is stored by the supplier of the modules on a data carrier and forwarded to the operator of the system from trä ⁇ ger via the input E2 to the memory. 9
  • one of the installed modules 2, 3, 4 is selected from the stored in the memory 10 BOM example ⁇ as the module 2.
  • the memory 10 BOM example ⁇ which are in storage 9 stored tracking data supplied to the tracking method 7 and compared in the context of this tracking method with the image supplied by the camera 12 to identify the module 2 in this image and then define this module 2 associated three-dimensional coordinate system. If this module 2 is identified in the camera image, then a pose is calculated by the computer unit 11. This pose defi ⁇ defined the position and orientation of the camera 12 with respect to the detected real environment, approximately, for example, in the present execution in respect to the cabinet 1.
  • This pose which is detected at predetermined time intervals again, is sent to the visualization method 6 and used by the latter for a correct representation of the augmentation information in the present augmented reality application.
  • Augment istsinfoma- features which are shown to the user via a data goggles as an overlay ⁇ tion of the field of view are stored in its real-world environment, service manual to the user in question by the modules of the cabinet. 1
  • the computer unit 11 automatically selects another module from the parts list stored in the memory 10 as part of the authoring process.
  • This is followed by a transmission of the tracking data of the further module, for example of the module 3, stored in the memory 9 to the tracking method 7.
  • the further module 12 in the camera image is searched. If the further module 3 is localized in the camera image, then its features are transformed such that they are placed in the coordinate system of the first module 2.
  • the configurations with respect to the ers ⁇ th module 2 and the second module 3 then determined tracking form a unit and make it possible to make a larger space reliable trackable.
  • the computer unit 11 selects as part of the authoring process 8 more modules from the memory 10 in extractive processing 8 .
  • the computer unit 11 selects as part of the authoring process 8 more modules from the memory 10 in extractspei ⁇ cherten BOM, searches in the gelling of the camera 12 ferten image after these other modules and also registers these other modules in the coordinate system of the first module. 2
  • the search for further modules and their registration in the coordinate system of the first module 2 takes place until a uniform coverage of the cabinet 1 is reached. This uniform coverage allows stable tracking.
  • the created tracking configurations are transmitted from the authoring method 8 or from the computer unit 11 to the memory 9 and stored there, so that they are available for later use.
  • the selection of other modules from the list is preferably carried out also taking into account the additional criterion around that are primarily various modules in the camera image ge ⁇ investigated.
  • This has the advantage that in the selection of the assignment of localized modules to the modules of the list is unique. Join ambiguities, this will be ⁇ solve with the help of additional features such as the vorlie- constricting network topology and the hardware configuration.
  • This information is stored in memory 10, for example, in addition to the list of modules.
  • tracking data associated with the modules 2, 3, 4 and produced by the supplier of these modules can also be transmitted via the Internet a data be retrieved from the supplier's bank and stored in memory 9.
  • this parts list can also be extracted from an already existing CAD plan, an already existing parts list or from an already existing technical description.
  • the present invention after all, relates to a method for determining tracking configurations for augmented reality applications, in which the tracking configurations are automatically created based on known tracking data of individual modules of the real environment. This is done in the sense of taking place with the operator of the system online ⁇ operation. Consequently, no engineering step is required to determine the tracking configurations for the entire existing real environment. This means a substantial reduction of the effort required to create tracking configurations.
  • An online method according to the invention requires only the knowledge about the list of existing modules in the present real environment and associated tracking data. All other information needed for tracking is automatically created using this startup information.
  • An on-line method according to the invention allows a construction of a tracking building kit that can be used over and over again to track any real environment. For this purpose, only information about the parts list of the modules installed in the respectively present real environment is required in each case.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The invention relates to a method and a device for determining tracking configurations for augmented reality applications. This determination is automatically carried out based on a list of modules provided in the real environment and known tracking data of individual modules of said list in terms of an online operation at the operator of the respective system.

Description

Beschreibungdescription
Verfahren und Vorrichtung zur Generierung von Trackingkonfi- gurationen für Augmented-Reality-AnwendungenMethod and device for generating tracking configurations for augmented reality applications
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Generierung von Trackingkonfigurationen für Augmented-Reality-Anwendungen .The invention relates to a method and a device for generating tracking configurations for augmented reality applications.
Augmented-Reality-Anwendungen betreffen eine Form der Mensch- Technik-Interaktion, die einer Person beispielsweise über eine Datenbrille Informationen in das Gesichtsfeld einblendet und damit die von dieser Person wahrgenommene Realität erwei¬ tert. Um eine derartige virtuelle Erweiterung des Blickfeldes einer Person positionsgenau vornehmen zu können, werden sogenannte Trackingverfahren eingesetzt. Diese können sowohl mit einer Hardware als auch mit einer Software arbeiten. Bei ei¬ nem Tracking kommen beispielsweise optische, inertiale, akus¬ tische und/oder magnetische Systeme zum Einsatz. Diese Syste- me müssen zur Bestimmung der Position des Benutzers mit Daten versorgt werden. Bei diesen Daten handelt es sich beispiels¬ weise um dreidimensionale Modelle eines betrachteten Objekts, um Bilder des betrachteten Objekts aus verschiedenen Positionen, um erkannte markante Punkte, Linien oder Farbregionen oder um speziell angebrachte codierte Marken. Alle für dasAugmented reality applications relate to a form of human-machine interaction, which pops up a person, for example via a data glasses information in the field and thus the perceived reality this person expan ¬ tert. In order to make such a virtual extension of the field of view of a person positionally accurate, so-called tracking methods are used. These can work with both hardware and software. In ei ¬ nem tracking for example, optical, inertial, Sound ¬ tables and / or magnetic systems are used. These systems must be supplied with data to determine the position of the user. These data are representative example ¬ as three-dimensional models of an observed object to images of the object being viewed from different positions to recognize distinctive points, lines or color regions or specially mounted coded markers. All for that
Tracking notwendigen Informationen werden den Trackingverfahren an deren Beginn zugeführt.Tracking necessary information is fed to the tracking process at the beginning.
Bei Augmented-Reality-Anwendungen in den Bereichen Industrie, Medizin und Konsum kommen vielfältige Tracking-Umgebungen in Frage. Dadurch ist der Prozess eines Erstellens von Tracking¬ konfigurationen aufwendig und kostenintensiv. Dies behindert eine Verbreitung von Augmented-Reality-Anwendungen in den genannten Bereichen.Augmented reality applications in the areas of industry, medicine and consumer use come in many different tracking environments. Thus, the process of creating tracking ¬ configurations is complex and costly. This hinders the spread of augmented reality applications in the mentioned areas.
Ein Erstellen von Trackingkonfigurationen für eine vorgegebene Umgebung ist aufwendig, weil bei bekannten Trackingverfahren die gesamte Umgebung herangezogen bzw. ausgewertet wird. Selbst geringe Unterschiede zwischen zwei ähnlichen, aber nicht vollständig übereinstimmenden Umgebungen lassen oftmals das jeweils verwendete Trackingverfahren scheitern, da beispielsweise widersprüchliche Daten über die Positionen mar- kanter Punkte, Linien oder Farbregionen vorliegen, so dass keine Konsistenz mit der realen Szene erreicht werden kann.A creation of tracking configurations for a given environment is complicated, because in known tracking methods, the entire environment is used or evaluated. Even small differences between two similar, but not completely coincident environments often make the tracking method used in each case fail because, for example, contradictory data on the positions of prominent points, lines or color regions are present, so that consistency with the real scene can not be achieved.
Das Erstellen bzw. Authoring von Trackingkonfigurationen basiert auf einem Generieren von Parametersätzen und Daten, die beispielsweise aus reduzierten CAD-Modellen der betrachteten Umgebung abgeleitet werden. Beispielsweise werden markante Punkte, Kanten und/oder Farbregionen extrahiert und eine Untermenge davon ausgewählt, so dass die verwendeten Tracking- verfahren effizient arbeiten können. Anschließend muss die vorgenommene Auswahl in der realen Umgebung getestet und ggf. an diese angepasst werden. Der Ersteller bzw. Autor muss zudem die markanten Punkte, Kanten und/oder Farbregionen so auswählen, dass diese in der realen Umgebung gleichmäßig verteilt sind. Nur dann ist die Stabilität des jeweiligen Tra- ckingverfahrens sichergestellt. Diese Schritte erfordern sei¬ tens des Autors gute Kenntnisse über das Verhalten des jewei¬ ligen Trackingverfahrens und sind mit hohem Aufwand für den Autor verbunden. Eine qualitativ hochwertige Überlagerung der Augmentierungen über der realen Umgebung ist folglich in ho- hem Maße vom Know-How und der Sorgfalt des Autors abhängig.Creating or authoring tracking configurations is based on generating parameter sets and data derived, for example, from reduced CAD models of the environment under consideration. For example, prominent points, edges and / or color regions are extracted and a subset thereof selected so that the tracking methods used can operate efficiently. Subsequently, the selection made has to be tested in the real environment and, if necessary, adapted to it. The creator or author must also select the distinctive points, edges and / or color regions so that they are evenly distributed in the real environment. Only then is the stability of the respective tracking process ensured. These steps require ¬ least the author had good knowledge of the behavior of jewei ¬ time tracking process and are associated with high costs for the author. A high-quality overlay of the augmentations over the real environment is therefore highly dependent on the know-how and the care of the author.
Aus der DE 10 2005 046 762.8 sind bereits ein System und ein Verfahren zur Darstellung von Augmented-Reality-Informationen bekannt. Dabei werden Objekte als Bildinformationen eines Ausschnitts einer Umgebung mittels einer Kamera erfasst. Die erfassten Objekte werden identifiziert und es werden Abbilder der erfassten Objekte in einem virtuellen dreidimensionalen Raum auf Basis von im System hinterlegten zugehörigen Tra- ckinginformationen rekonstruiert. Des Weiteren werden Ortsko- ordinaten der Objekte berechnet und die Position des Benut¬ zers und dessen Blickwinkel auf das jeweilige Objekt ermit¬ telt. Weiterhin werden den Ortskoordinaten Benutzerinformationen zugeordnet, welche dann lagerichtig in das Sichtfeld des Benutzers eingeblendet werden. Die genannten Trackinginforma- tionen werden mittels eines Schreib-/Lesegerätes aus zumin¬ dest einem mobilen Datenspeicher berührungslos ausgelesen. Der mobile Datenspeicher ist am jeweils zu erfassenden Objekt angebracht .From DE 10 2005 046 762.8, a system and a method for displaying augmented reality information are already known. In this case, objects are captured as image information of a section of an environment by means of a camera. The detected objects are identified and images of the detected objects are reconstructed in a virtual three-dimensional space on the basis of associated tracking information stored in the system. Furthermore Ortsko- be ordinates of objects is calculated and the position of the Benut ¬ decomp and its viewing angle to the object in ermit ¬ telt. Furthermore, user information is assigned to the location coordinates, which are then placed in the correct position in the field of view of the user User. Said Trackinginforma- functions are read out contactlessly by means of a read / write device from at ¬ least one mobile data memory. The mobile data memory is attached to each object to be detected.
Die Aufgabe der Erfindung besteht darin, ein Verfahren und eine Vorrichtung zur Generierung von Trackingkonfigurationen für Augmented-Reality-Anwendungen anzugeben, bei welchen we- niger Aufwand erforderlich ist.The object of the invention is to provide a method and a device for generating tracking configurations for augmented reality applications, in which less effort is required.
Diese Aufgabe wird durch ein Verfahren mit den im Anspruch 1 sowie durch eine Vorrichtung mit den im Anspruch 7 angegebenen Merkmalen gelöst. Vorteilhafte Ausgestaltungen und Wei- terbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben .This object is achieved by a method with the features specified in claim 1 and by a device having the features specified in claim 7. Advantageous embodiments and further developments of the invention are specified in the dependent claims.
Die Vorteile der Erfindung bestehen insbesondere darin, dass die Generierung von Trackingkonfigurationen ausgehend von be- kannten Trackingdaten einzelner Module oder Komponenten, die in der realen Umgebung vorhanden sind, automatisch erfolgt. Dies geschieht im Sinne eines Online-Betriebes während der Verwendung des Systems durch den Betreiber. Folglich bedarf es zur Generierung von Trackingkonfigurationen keines Engi- neering-Schritts . Dies bedeutet in der Praxis eine wesentli¬ che Reduzierung des zur Generierung von Trackingkonfigurationen zu treibenden Aufwandes.The advantages of the invention are, in particular, that the generation of tracking configurations based on known tracking data of individual modules or components that are present in the real environment takes place automatically. This is done in the sense of an online operation during the use of the system by the operator. Consequently, there is no need for an engineering step to generate tracking configurations. In practice, this means like a serious ¬ che reduction for generating tracking configurations to be driven effort.
Ein Online-Verfahren gemäß der Erfindung benötigt lediglich ein Wissen über die Liste der in einer realen Umgebung vorhandenen Module und zugehöriger Trackingdaten. Diese Liste muss nicht vollständig sein. Das Trackingverfahren gemäß der vorliegenden Erfindung startet mit einer Suche nach einem ersten Modul in einem von einer Kamera erstellten Bild der vorhandenen realen Umgebung. Dabei erfolgt ein Vergleich der dem ersten Modul zugehörigen, abgespeicherten Trackingdaten mit im Kamerabild enthaltenen Merkmalen mittels einer Rechnereinheit. Ist dieser Schritt der Initialisierung erfolg- reich abgeschlossen, dann erfolgt im Sinne eines Trackings eine ständige Berechnung der Position und der Orientierung des im Kamerabild erfassten, bereits identifizierten Moduls. Dies erlaubt eine lagerichtige Anzeige von Augmentierungsin- formationen mittels einer Datenbrille, solange der Anwender die Augmentierungsinformationen im Bereich des erkannten Moduls betrachtet und dieses in seinem Blickfeld bleibt.An online method according to the invention requires only knowledge of the list of modules present in a real environment and associated tracking data. This list does not have to be complete. The tracking method according to the present invention starts with a search for a first module in a camera-generated image of the existing real environment. In this case, the stored tracking data associated with the first module is compared with features contained in the camera image by means of a computer unit. Is this step of initialization successful? richly completed, then in the sense of a tracking, a constant calculation of the position and the orientation of the already identified module in the camera image takes place. This allows a correct position display of augmentation information by means of smart glasses, as long as the user views the augmentation information in the area of the detected module and this remains in his field of vision.
In vorteilhafter Weise werden zusätzlich zum genannten ersten Modul weitere Module aus der Liste der Module im aktuellen Kamerabild gesucht, wobei diese Suche unter Verwendung von diesen weiteren Modulen zugeordneten, abgespeicherten Tra- ckingdaten erfolgt. Wurde ein derartiges weiteres Modul im aktuellen Kamerabild lokalisiert, dann wird dieses weitere Modul in das bezüglich des ersten Moduls generierte Koordina¬ tensystem eingefügt. Die Merkmale bekommen dadurch neue Posi¬ tionen in der vorliegenden realen Umgebung. Dieses Vorgehen wird solange wiederholt, bis die gesamte reale Umgebung re¬ konstruiert ist.In an advantageous manner, additional modules from the list of modules in the current camera image are searched for in addition to the first module mentioned, wherein this search is carried out using stored tracing data assigned to these further modules. Has been such a further module in the current camera image located, then this further module is inserted into the first module with respect to the generated Coordina ¬ tensystem. The features get by new posi ¬ tions in this real environment. This procedure is repeated until the entire real environment is re ¬ constructed.
Durch das vorstehend beschriebene Auffinden weiterer Module im aktuellen Kamerabild wird das Tracking robust. Weiterhin können die erstellten Trackingkonfigurationen zu einer späteren Nutzung des Trackings und auch zu einer Dokumentation des tatsächlichen Aufbaus der realen Umgebung gespeichert werden.The above-described finding additional modules in the current camera image, the tracking is robust. Furthermore, the created tracking configurations can be stored for later use of tracking and also for documentation of the actual structure of the real environment.
Das vorstehend beschriebene Online-Verfahren zur Generierung von Trackingkonfigurationen erlaubt in vorteilhafter Weise einen Aufbau eines Trackingbaukastens, der immer wieder ver- wendet werden kann, um beliebig viele reale Umgebungen trackbar zu machen, d. h. um bezüglich beliebiger realer Umgebungen zuverlässige Trackingkonfigurationen zu generieren. Dazu werden lediglich Informationen darüber benötigt, welche Module in der jeweils vorliegenden realen Umgebung verbaut sind.The on-line method for generating tracking configurations described above advantageously allows a structure of a tracking construction kit to be used over and over again in order to make any number of real environments trackable, ie. H. to generate reliable tracking configurations for any real environment. All that is needed is information about which modules are installed in the respective real environment.
Diese Informationen werden in vorteilhafter Weise aus ohnehin vorhandenen CAD-Plänen, Stücklisten oder technischen Zusammenhängen extrahiert, so dass eine manuelle Eingabe dieser Informationen nicht notwendig ist. Dies verringert den zur Generierung von Trackingkonfigurationen notwendigen Aufwand weiter .This information is extracted in an advantageous manner from already existing CAD plans, parts lists or technical contexts, so that a manual entry of these Information is not necessary. This further reduces the effort required to generate tracking configurations.
Weitere vorteilhafte Eigenschaften der Erfindung ergeben sich aus deren beispielhafter Erläuterung anhand der Figuren. Es zeigtFurther advantageous features of the invention will become apparent from the exemplification thereof with reference to the figures. It shows
Figur 1 eine perspektivische Skizze eines Schaltschranks mit darin angeordneten Modulen undFigure 1 is a perspective sketch of a cabinet with modules arranged therein and
Figur 2 eine Blockdarstellung zur Veranschaulichung eines Verfahrens gemäß der Erfindung.Figure 2 is a block diagram illustrating a method according to the invention.
Die Erfindung betrifft ein Verfahren und eine Vorrichtung, bei welchen Trackingkonfigurationen für Augmented-Reality- Anwendungen ermittelt werden.The invention relates to a method and a device in which tracking configurations for augmented reality applications are determined.
Ausgangspunkt für ein Verfahren gemäß der Erfindung ist eine reale Umgebung. Diese reale Umgebung besteht bei dem in derThe starting point for a method according to the invention is a real environment. This real environment consists of that in the
Figur 1 gezeigten Ausführungsbeispiel aus einem SchaltschrankFigure 1 shown embodiment of a cabinet
1, in welchem Module 2, 3 und 4 platziert sind. Diese Module1, in which modules 2, 3 and 4 are placed. These modules
2, 3 und 4 sind in einer Liste aufgelistet, die in dem in der Figur 2 gezeigten Speicher 10 abgespeichert ist. Zu jedem dieser Module sind in einem weiteren Speicher 9 auch Tra- ckingdaten abgespeichert. Diese Trackingdaten werden vom Lieferanten des jeweiligen Moduls erstellt und werden dem Betreiber des Schaltschranks 1 zusätzlich zu einem das Modul beschreibenden Handbuch zur Verfügung gestellt und vom Be- treiber im Speicher 9 abgelegt. Beispielsweise handelt es sich bei dem Modul 2 um eine numerische Steuerung, bei dem Modul 3 um eine E/A-Baugruppe und bei dem Modul 4 um eine An¬ triebssteuerung. Die Trackingdaten enthalten Informationen über das jeweilige Modul, beispielsweise Information über Kanten, Aussparungen, Farbflächen, usw..2, 3 and 4 are listed in a list stored in the memory 10 shown in FIG. For each of these modules, tracking data are also stored in a further memory 9. These tracking data are generated by the supplier of the respective module and are made available to the operator of the control cabinet 1 in addition to a manual describing the module and stored by the operator in the memory 9. For example, it is at the module 2 by a numerical control, wherein the module 3 to an I / O module and the module 4 to a ¬ An operation control. The tracking data contains information about the respective module, for example information about edges, recesses, colored areas, etc.
Während der Laufzeit des Systems startet der Betreiber eine augmented-reality-basierte Anwendung. Dabei nutzt er mindes- tens eine Kamera 12, mittels derer Bilder der realen Umgebung einer Rechnereinheit 11 zur Verfügung gestellt werden, bei¬ spielsweise Bilder des in der Figur 1 gezeigten Schaltschran- kes 1.During the lifetime of the system, the operator starts an augmented reality-based application. He uses at least least a camera 12 by means of which 11 provided images of the real environment a computer unit, wherein ¬ game as images of Schaltschran- shown in the Figure 1 kit. 1
Die Aufgaben der Rechnereinheit 11 bestehen darin, unter Verwendung der im Speicher 10 abgespeicherten Stückliste der im Schaltschrank 1 verbauten Module 2, 3, 4 und unter Verwendung der im Speicher 9 abgespeicherten Trackingdaten der Module 2, 3, 4 automatisch ein Trackingverfahren 7 durchzuführen, die vom Trackingverfahren 7 bereitgestellten Ergebnisse in einem Authoringverfahren 8 in Trackingkonfigurationen umzusetzen und ermittelte Trackinginformationen einem Visualisierungs¬ verfahren 6 zuzuführen. Dessen Aufgabe besteht darin, Augmen- ted-Reality-Informationen lagerichtig an die vorliegende Aug- mented-Reality-Anwendung 5 weiterzuleiten. Bei dem in der Figur 2 gezeigten Ausführungsbeispiel wird die genannte Augmen- ted-Reality-Information lagerichtig in das Gesichtsfeld einer eine Datenbrille tragenden Person eingeblendet.The tasks of the computer unit 11 are, using the stored in the memory 10 parts list of the built-in cabinet 1 modules 2, 3, 4 and using the memory 9 stored in the memory tracking data of the modules 2, 3, 4 automatically perform a tracking method 7, the Implementation of the results provided by the tracking method 7 in an authoring process 8 in tracking configurations and supply tracking information determined a visualization ¬ 6 method. Its task is to forward augmented reality information in the correct position to the present Augmented Reality application 5. In the exemplary embodiment shown in FIG. 2, the named augmented reality information is inserted in the correct position in the field of vision of a person wearing data glasses.
Der zeitliche Ablauf der Ermittlung von Trackingkonfiguratio¬ nen für die vorliegende Augmented-Reality-Anwendung ist wie folgt :The timing of the determination of tracking configurations for the present augmented reality application is as follows:
Zunächst werden vom Betreiber des Systems über einen Eingang El einer Stückliste der im Schaltschrank 1 verbauten Module 2, 3, 4 entsprechende Daten in den Speicher 10 eingeschrie¬ ben. Dies erfolgt beispielsweise mittels einer Tastatur. Des Weiteren werden über den Eingang E2 die von den Lieferanten der Module 2, 3, 4 bereitgestellten Trackingdaten der Module 2, 3, 4 in den Speicher 9 eingelesen. Diese Trackingdaten werden vom Lieferanten der Module auf einem Datenträger gespeichert und werden beim Betreiber des Systems vom Datenträ¬ ger über den Eingang E2 an den Speicher 9 weitergegeben.First, the operator of the system via an input El a bill of materials installed in the cabinet 1 modules 2, 3, 4 corresponding data in the memory 10 geschrie ¬ ben. This is done for example by means of a keyboard. Furthermore, the tracking data of the modules 2, 3, 4 provided by the suppliers of the modules 2, 3, 4 are read into the memory 9 via the input E2. This tracking data is stored by the supplier of the modules on a data carrier and forwarded to the operator of the system from Datenträ ¬ ger via the input E2 to the memory. 9
Anschließend wird eines der verbauten Module 2, 3, 4 aus der im Speicher 10 hinterlegten Stückliste ausgewählt, beispiels¬ weise das Modul 2. Als Reaktion darauf werden dessen im Spei- eher 9 abgespeicherte Trackingdaten dem Trackingverfahren 7 zugeführt und im Rahmen dieses Trackingverfahrens mit dem von der Kamera 12 gelieferten Bild verglichen, um das Modul 2 in diesem Bild zu identifizieren und dann ein diesem Modul 2 zu- gehöriges dreidimensionales Koordinatensystem zu definieren. Ist dieses Modul 2 im Kamerabild identifiziert, dann wird von der Rechnereinheit 11 eine Pose berechnet. Diese Pose defi¬ niert die Position und die Orientierung der Kamera 12 in Bezug auf die erfasste reale Umgebung, im vorliegenden Ausfüh- rungsbeispiel in Bezug auf den Schaltschrank 1. Diese Pose, die in vorgegebenen Zeitintervallen von Neuem ermittelt wird, wird an das Visualisierungsverfahren 6 weitergegeben und von diesem zu einer lagerichtigen Darstellung der Augmentierung- sinformation in der vorliegenden Augmented-Reality-Anwendung verwendet. Beispielsweise führen diese Augmentierungsinfoma- tionen, die dem Anwender über eine Datenbrille als Überlage¬ rung der in seinem Sichtfeld befindlichen realen Umgebung dargestellt werden, den Anwender durch eine die Module des Schaltschranks 1 betreffende Reparaturanleitung.Subsequently, one of the installed modules 2, 3, 4 is selected from the stored in the memory 10 BOM example ¬ as the module 2. In response, which are in storage 9 stored tracking data supplied to the tracking method 7 and compared in the context of this tracking method with the image supplied by the camera 12 to identify the module 2 in this image and then define this module 2 associated three-dimensional coordinate system. If this module 2 is identified in the camera image, then a pose is calculated by the computer unit 11. This pose defi ¬ defined the position and orientation of the camera 12 with respect to the detected real environment, approximately, for example, in the present execution in respect to the cabinet 1. This pose, which is detected at predetermined time intervals again, is sent to the visualization method 6 and used by the latter for a correct representation of the augmentation information in the present augmented reality application. For example, perform these Augmentierungsinfoma- features, which are shown to the user via a data goggles as an overlay ¬ tion of the field of view are stored in its real-world environment, service manual to the user in question by the modules of the cabinet. 1
Im nächsten Schritt wählt die Rechnereinheit 11 im Rahmen des Authoringverfahrens automatisch ein weiteres Modul aus der im Speicher 10 abgespeicherten Stückliste aus. Daraufhin erfolgt eine Übertragung der im Speicher 9 abgespeicherten Tracking- daten des weiteren Moduls, beispielsweise des Moduls 3, an das Trackingverfahren 7. Dort wird im Rahmen eines Vergleiches dieser Trackingdaten mit dem von der Kamera 12 gelieferten Bild das weitere Modul 12 im Kamerabild gesucht. Ist das weitere Modul 3 im Kamerabild lokalisiert, dann werden dessen Merkmale derart transformiert, dass sie im Koordinatensystem des ersten Moduls 2 platziert werden. Die bezüglich des ers¬ ten Moduls 2 und des zweiten Moduls 3 ermittelten Tracking- konfigurationen bilden dann eine Einheit und ermöglichen es, einen größeren Raum zuverlässig trackbar zu machen.In the next step, the computer unit 11 automatically selects another module from the parts list stored in the memory 10 as part of the authoring process. This is followed by a transmission of the tracking data of the further module, for example of the module 3, stored in the memory 9 to the tracking method 7. There, in the course of a comparison of this tracking data with the image supplied by the camera 12, the further module 12 in the camera image is searched. If the further module 3 is localized in the camera image, then its features are transformed such that they are placed in the coordinate system of the first module 2. The configurations with respect to the ers ¬ th module 2 and the second module 3 then determined tracking form a unit and make it possible to make a larger space reliable trackable.
Danach wählt die Rechnereinheit 11 im Rahmen des Authoring- verfahrens 8 weitere Module aus der im Speicher 10 abgespei¬ cherten Stückliste aus, sucht in dem von der Kamera 12 gelie- ferten Bild nach diesen weiteren Modulen und registriert auch diese weiteren Module im Koordinatensystem des ersten Moduls 2.Thereafter, the computer unit 11 selects as part of the authoring process 8 more modules from the memory 10 in abgespei ¬ cherten BOM, searches in the gelling of the camera 12 ferten image after these other modules and also registers these other modules in the coordinate system of the first module. 2
Die Suche nach weiteren Modulen und deren Registrierung im Koordinatensystem des ersten Moduls 2 erfolgt solange, bis eine gleichmäßige Abdeckung des Schaltschranks 1 erreicht ist. Diese gleichmäßige Abdeckung erlaubt ein stabiles Tra- cking. Die erstellten Trackingkonfigurationen werden vom Authoringverfahren 8 bzw. von der Rechnereinheit 11 zum Speicher 9 übertragen und dort abgespeichert, so dass sie für spätere Verwendungen zur Verwendung stehen.The search for further modules and their registration in the coordinate system of the first module 2 takes place until a uniform coverage of the cabinet 1 is reached. This uniform coverage allows stable tracking. The created tracking configurations are transmitted from the authoring method 8 or from the computer unit 11 to the memory 9 and stored there, so that they are available for later use.
Wenn nur ein Modul lokalisiert wäre, wäre nur ein kleines Ge- biet um dieses Modul exakt trackbar, da mit steigender Ent¬ fernung von diesem Modul bei nachfolgenden Trackingvorgängen ein mit der Entfernung steigender Trackingfehler entstehen würde. Je mehr Module man lokalisiert, desto größer wird das exakt trackbare Gebiet, da über die zu trackende Umgebung mehrere lokalisierte Module und damit ausreichend Tracking- merkmale vorliegen.If only one module would be located, would only Bidding to this module precisely trackable, since a would arise with the removal of rising tracking error with increasing Ent ¬ fernung of this module in subsequent tracking operations, a small overall. The more modules you locate, the greater the exact trackable area, because there are several localized modules on the environment to be tracked and therefore sufficient tracking features.
Die Auswahl der weiteren Module aus der Liste erfolgt vorzugsweise auch unter Berücksichtigung des weiteren Kriteri- ums, dass primär verschiedenartige Module im Kamerabild ge¬ sucht werden. Dies hat den Vorteil, dass bei der Auswahl die Zuordnung lokalisierter Module zu den Modulen der Liste eindeutig ist. Treten Mehrdeutigkeiten auf, dann werden diese unter Zuhilfenahme von zusätzlichen Merkmalen wie die vorlie- gende Netzwerktopologie und die Hardwarekonfiguration aufge¬ löst. Diese Informationen sind beispielsweise zusätzlich zu der Liste der Module im Speicher 10 abgespeichert.The selection of other modules from the list is preferably carried out also taking into account the additional criterion around that are primarily various modules in the camera image ge ¬ investigated. This has the advantage that in the selection of the assignment of localized modules to the modules of the list is unique. Join ambiguities, this will be ¬ solve with the help of additional features such as the vorlie- constricting network topology and the hardware configuration. This information is stored in memory 10, for example, in addition to the list of modules.
Alternativ zu der oben beschriebenen Möglichkeit, die den Mo- dulen 2, 3, 4 zugehörigen, vom Lieferanten dieser Module erstellten Trackingdaten auf einem Datenträger zu speichern und über den Eingang E2 in den Speicher 9 zu übertragen, können diese Trackingdaten auch über das Internet aus einer Daten- bank des Lieferanten abgerufen und im Speicher 9 hinterlegt werden .As an alternative to the above-described possibility of storing the tracking data associated with the modules 2, 3, 4 and produced by the supplier of these modules on a data carrier and transferring them to the memory 9 via the input E2, these tracking data can also be transmitted via the Internet a data be retrieved from the supplier's bank and stored in memory 9.
Alternativ zu der oben beschriebenen Möglichkeit, die im Speicher 10 abgespeicherte Stückliste mittels einer Tastatur einzugeben, kann diese Stückliste auch aus einem bereits vorliegenden CAD-Plan, einer bereits vorliegende Stückliste oder aus einer bereits vorliegenden technischen Beschreibung extrahiert werden.As an alternative to the possibility described above of entering the parts list stored in the memory 10 by means of a keyboard, this parts list can also be extracted from an already existing CAD plan, an already existing parts list or from an already existing technical description.
Die vorliegende Erfindung betrifft nach alledem ein Verfahren zur Ermittlung von Trackingkonfigurationen für Augmented- Reality-Anwendungen, bei welchem die Trackingkonfigurationen ausgehend von bekannten Trackingdaten einzelner Module der realen Umgebung automatisch erstellt werden. Dies erfolgt im Sinne eines beim Betreiber des Systems stattfindenden Online¬ betriebes. Zur Ermittlung der Trackingkonfigurationen für die gesamte vorhandene reale Umgebung bedarf es folglich keines Engineering-Schrittes. Dies bedeutet eine wesentliche Redu- zierung des zur Erstellung von Trackingkonfigurationen notwendigen Aufwandes. Ein Onlineverfahren gemäß der Erfindung benötigt lediglich das Wissen über die Liste der in der vorliegenden realen Umgebung vorhandenen Module und jeweils zugehöriger Trackingdaten. Alle weiteren zum Tracking benötig- ten Informationen werden unter Verwendung dieser Startinformationen automatisch erstellt.The present invention, after all, relates to a method for determining tracking configurations for augmented reality applications, in which the tracking configurations are automatically created based on known tracking data of individual modules of the real environment. This is done in the sense of taking place with the operator of the system online ¬ operation. Consequently, no engineering step is required to determine the tracking configurations for the entire existing real environment. This means a substantial reduction of the effort required to create tracking configurations. An online method according to the invention requires only the knowledge about the list of existing modules in the present real environment and associated tracking data. All other information needed for tracking is automatically created using this startup information.
Ein Onlineverfahren gemäß der Erfindung erlaubt einen Aufbau eines Trackingbaukastens, der immer wieder verwendet werden kann, um beliebige reale Umgebungen trackbar zu machen. Dazu wird jeweils lediglich eine Information über die Stückliste der in der jeweils vorliegenden realen Umgebung verbauten Module benötigt.An on-line method according to the invention allows a construction of a tracking building kit that can be used over and over again to track any real environment. For this purpose, only information about the parts list of the modules installed in the respectively present real environment is required in each case.
Im Unterschied zu bekannten Verfahren erfolgt statt eines He¬ ranziehens der gesamten realen Umgebung zum Aufbau der Trackingkonfigurationen lediglich ein Heranziehen des Wissens über die in der realen Umgebung verbauten Module und diesen Modulen zugehöriger Trackingdaten . Die Gesamttrackingkonfigu- ration wird Online während der Laufzeit des Systems automa¬ tisch erstellt. Dabei werden die lokalen Merkmale der einzel¬ nen Module derart transformiert, dass diese Module in einem relativ zur Umgebung einheitlichen Koordinatensystem lokalisierbar sind. In contrast to known processes only one taking the knowledge of the built-up in the real environment modules and this is done instead of a He ¬ ranziehens the entire real environment to build the tracking configurations Modules of associated tracking data. The Gesamttrackingkonfigu- ration is created online automatic ¬ table during the life of the system. Here, the local characteristics of the individual ¬ NEN modules are transformed such that these modules can be located in a single relative to the environmental coordinate system.

Claims

Patentansprüche claims
1. Verfahren zur Ermittlung von Trackingkonfigurationen für Augmented-Reality-Anwendungen, bei welchem a) in einem ersten Speicher (10) Daten abgespeichert werden, die einer Stückliste in einer realen Umgebung vorgesehener Module entsprechen, b) in einem zweiten Speicher (9) Daten abgespeichert werden, die den in den realen Umgebung vorgesehenen Modulen zuge- hörige Trackingdaten enthalten, c) mittels eines Trackingverfahrens (7) unter Verwendung von aus dem zweiten Speicher (9) ausgelesenen, einem ersten ausgewählten Modul (2) zugehörigen Trackingdaten in einem von einer Kamera (12) bereitgestellten Bild das erste Mo- dul (2) lokalisiert wird, d) mittels eines Authoringverfahrens (8) dem lokalisierten ersten Modul (2) zugehörige Trackingkonfigurationen ermittelt werden, e) mittels des Trackingverfahrens (7) automatisch unter Ver- wendung von aus dem zweiten Speicher (9) ausgelesenen, einem weiteren ausgewählten Modul (3) zugehörigen Trackingdaten in dem von der Kamera (12) bereitgestellten Bild das weitere Modul (3) lokalisiert wird und f) mittels des Authoringverfahrens (8) automatisch dem loka- lisierten weiteren Modul (3) zugehörige Trackingkonfigu¬ rationen ermittelt werden.1. A method for determining tracking configurations for augmented reality applications, in which a) in a first memory (10) data is stored, which correspond to a bill of materials in a real environment provided modules, b) in a second memory (9) data c) by means of a tracking method (7) using tracking data read from the second memory (9) and associated with a first selected module (2) in one of a tracking method (7) Camera) (12) is localized d) by means of an authoring process (8) the localized first module (2) associated tracking configurations are determined, e) by means of the tracking method (7) automatically using of from the second memory (9) read, a further selected module (3) associated tracking data in the of the camera (12) over The further module (3) is located and f) by means of the authoring method (8) automatically tracking associated with the localized further module (3) Trackingkonfigu ¬ rations are determined.
2. Verfahren nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , dass nach erfolgter Lokalisierung des ersten Moduls dem ersten Modul automatisch ein Koordinatensystem zugeordnet wird.2. Method according to claim 1, characterized in that after the localization of the first module, a coordinate system is automatically assigned to the first module.
3. Verfahren nach Anspruch 2, d a d u r c h g e k e n n z e i c h n e t , dass nach erfolgter Lokalisierung eines weiteren Moduls dieses Modul automatisch in das Koordinatensystem des ersten Moduls eingeordnet wird. 3. The method according to claim 2, characterized in that after localization of another module, this module is automatically classified in the coordinate system of the first module.
4. Verfahren nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , dass die im Rahmen des Authoringverfahrens (8) ermittelten Trackingkonfigurationen in einem Speicher (9) hinterlegt wer- den .4. Method according to one of the preceding claims, characterized in that the tracking configurations determined in the context of the authoring method (8) are stored in a memory (9).
5. Verfahren nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , dass die Daten, die den in der realen Umgebung vorgesehenen Modulen zugehörigen Trackingdaten entsprechen, auf einem Datenträger abgespeichert werden, aus diesem Datenträger ausgelesen und in den zweiten Speicher (9) übertragen werden.5. The method according to claim 1, wherein the data corresponding to the tracking data associated with the modules provided in the real environment are stored on a data carrier, read from this data carrier and transferred to the second memory.
6. Verfahren nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , dass die Daten, die der Stückliste der in der realen Umgebung vorgesehenen Module entsprechen, mittels einer Eingabeeinheit eingegeben oder aus ohnehin vorhandenen Daten extrahiert werden .6. Method according to one of the preceding claims, characterized in that the data corresponding to the parts list of the modules provided in the real environment are input by means of an input unit or extracted from already existing data.
7. Vorrichtung zur Ermittlung von Trackingkonfigurationen für Augmented-Reality-Anwendungen, mit7. Apparatus for determining tracking configurations for augmented reality applications, with
- einem ersten Speicher (10) zur Abspeicherung von Daten, die einer Stückliste in einer realen Umgebung vorgesehener Mo- dule entsprechen,a first memory (10) for storing data corresponding to a bill of materials in a real environment provided modules,
- einem zweiten Speicher (9) zur Abspeicherung von Daten, die den in der realen Umgebung vorgesehenen Modulen zugehörigen Trackingdaten entsprechen,a second memory (9) for storing data corresponding to tracking data associated with the modules provided in the real environment,
- einer Kamera (12) zur Bereitstellung eines der realen Umge- bung entsprechenden Bildes unda camera (12) for providing an image corresponding to the real environment and
- einer Rechnereinheit (11), die dazu vorgesehen ist,a computer unit (11) which is intended
- mittels eines Trackingverfahrens (6) unter Verwendung von aus dem zweiten Speicher (9) ausgelesenen Trackingdaten Module in dem von der Kamera (12) bereitgestellten Bild zu lokalisieren,to locate modules in the image provided by the camera (12) by means of a tracking method (6) using tracking data read from the second memory (9),
- mittels eines Authoringverfahrens (8) den im Kamerabild lo¬ kalisierten Modulen zugehörige Trackingkonfigurationen zu ermitteln und - mittels eines Visualisierungsverfahrens (6) eine lagerich¬ tige Anzeige von Augmentierungsinformationen in einer Aug- mented-Reality-Anwendung (5) zu steuern.- to determine by means of an authoring process (8) in the camera image the lo ¬ kalisierten modules associated tracking configurations and - To control by means of a visualization method (6) a lagerich ¬ term display of augmentation information in an augmented reality application (5).
8. Vorrichtung nach Anspruch 7, d a d u r c h g e k e n n z e i c h n e t , dass die Augmented-Reality-Anwendung (5) eine Datenbrille aufweist und die Augmentierungsinformationen in der Datenbrille dem Blickfeld des Anwenders überlagert werden.8. The device according to claim 7, characterized in that the augmented reality application (5) has data goggles and the augmentation information in the data goggles is superimposed on the user's field of vision.
9. Vorrichtung nach Anspruch 7 oder 8, d a d u r c h g e k e n n z e i c h n e t , dass sie einen Speicher (9) aufweist, der zur Abspeicherung der im Rahmen des Authoringverfahrens (8) ermittelten Tra- ckingkonfigurationen vorgesehen ist.9. Device according to claim 7 or 8, characterized in that it has a memory (9) which is provided for storing the tracking configurations determined in the context of the authoring method (8).
10. Vorrichtung nach einem der Ansprüche 7 bis 9, d a d u r c h g e k e n n z e i c h n e t , dass die Rechnereinheit (11) dazu vorgesehen ist, dem ersten lokalisierten Modul (2) ein Koordinatensystem zuzuordnen.10. The device according to claim 7, wherein the computer unit is provided for assigning a coordinate system to the first localized module.
11. Vorrichtung nach einem der Ansprüche 7 bis 10, d a d u r c h g e k e n n z e i c h n e t , dass die Rechnereinheit (11) dazu vorgesehen ist, die Positi- on und die Orientierung der Kamera (12) in Bezug auf die er- fasste reale Umgebung zu ermitteln.11. The device according to claim 7, wherein the computer unit is provided for determining the position and orientation of the camera in relation to the detected real environment.
12. Vorrichtung nach einem der Ansprüche 7 bis 11, d a d u r c h g e k e n n z e i c h n e t , dass die Rechnereinheit (11) dazu vorgesehen ist, nach er¬ folgter Ermittlung der dem ersten Modul (2) zugehörigen Tra- ckingkonfigurationen die Trackingkonfigurationen der weiteren Module (3, 4) automatisch zu ermitteln.12. The device according to one of claims 7 to 11, characterized in that the computer unit (11) is provided after he ¬ subsequent determination of the first module (2) associated tracking configurations the tracking configurations of the other modules (3, 4) automatically to investigate.
13. Vorrichtung nach Anspruch 12, d a d u r c h g e k e n n z e i c h n e t , dass die Rechnereinheit (11) dazu vorgesehen ist, die den weiteren Modulen zugehörigen Trackingkonfigurationen in das dem ersten Modul (2) zugeordnete Koordinatensystem einzufügen . 13. The apparatus according to claim 12, characterized in that the computer unit (11) is provided to the further modules associated tracking configurations in the to insert the coordinate system assigned to the first module (2).
EP07712485A 2007-03-08 2007-03-08 Method and device for generating tracking configurations for augmented reality applications Ceased EP2132706A1 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2007/052175 WO2008107021A1 (en) 2007-03-08 2007-03-08 Method and device for generating tracking configurations for augmented reality applications

Publications (1)

Publication Number Publication Date
EP2132706A1 true EP2132706A1 (en) 2009-12-16

Family

ID=38657545

Family Applications (1)

Application Number Title Priority Date Filing Date
EP07712485A Ceased EP2132706A1 (en) 2007-03-08 2007-03-08 Method and device for generating tracking configurations for augmented reality applications

Country Status (3)

Country Link
US (1) US8390534B2 (en)
EP (1) EP2132706A1 (en)
WO (1) WO2008107021A1 (en)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101080691B (en) * 2004-12-14 2010-12-22 松下电器产业株式会社 Information presentation device and information presentation method
US8970690B2 (en) * 2009-02-13 2015-03-03 Metaio Gmbh Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
JP5728159B2 (en) 2010-02-02 2015-06-03 ソニー株式会社 Image processing apparatus, image processing method, and program
US9361729B2 (en) * 2010-06-17 2016-06-07 Microsoft Technology Licensing, Llc Techniques to present location information for social networks using augmented reality
JP5799521B2 (en) * 2011-02-15 2015-10-28 ソニー株式会社 Information processing apparatus, authoring method, and program
CN103702726B (en) * 2011-05-23 2016-01-13 乐高公司 Toy is built system, is produced the method and data handling system that build instruction
WO2012160055A1 (en) 2011-05-23 2012-11-29 Lego A/S A toy construction system for augmented reality
US9674419B2 (en) 2012-07-31 2017-06-06 Hewlett-Packard Development Company, L.P. Web-linked camera device with unique association for augmented reality
US9448407B2 (en) * 2012-12-13 2016-09-20 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and work supporting system
US9818150B2 (en) 2013-04-05 2017-11-14 Digimarc Corporation Imagery and annotations
US9615177B2 (en) 2014-03-06 2017-04-04 Sphere Optics Company, Llc Wireless immersive experience capture and viewing
WO2016205386A1 (en) * 2015-06-16 2016-12-22 Briggs & Stratton Corporation Lithium-ion battery
DE102015007624A1 (en) * 2015-06-16 2016-12-22 Liebherr-Components Biberach Gmbh Method for mounting electrical switchgear and assembly auxiliary device for facilitating the assembly of such switchgear
US9964765B2 (en) * 2015-09-11 2018-05-08 The Boeing Company Virtual display of the real-time position of a robotic device to a human operator positioned on an opposing side of an object
US10748443B2 (en) 2017-06-08 2020-08-18 Honeywell International Inc. Apparatus and method for visual-assisted training, collaboration, and monitoring in augmented/virtual reality in industrial automation systems and other systems
US11938907B2 (en) 2020-10-29 2024-03-26 Oliver Crispin Robotics Limited Systems and methods of servicing equipment
US11992952B2 (en) 2020-10-29 2024-05-28 General Electric Company Systems and methods of servicing equipment
US11874653B2 (en) 2020-10-29 2024-01-16 Oliver Crispin Robotics Limited Systems and methods of servicing equipment
US11935290B2 (en) * 2020-10-29 2024-03-19 Oliver Crispin Robotics Limited Systems and methods of servicing equipment
US11685051B2 (en) 2020-10-29 2023-06-27 General Electric Company Systems and methods of servicing equipment
US11915531B2 (en) 2020-10-29 2024-02-27 General Electric Company Systems and methods of servicing equipment

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005046762A1 (en) * 2005-09-29 2007-04-05 Siemens Ag System and method for displaying user information, in particular augmented reality information, with the aid of tracking information stored in RFID data memories

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6765569B2 (en) * 2001-03-07 2004-07-20 University Of Southern California Augmented-reality tool employing scene-feature autocalibration during camera motion
RU2008110056A (en) * 2005-08-15 2009-09-27 Конинклейке Филипс Электроникс Н.В. (Nl) SYSTEM, DEVICE AND METHOD FOR ADVANCED REALITY GOGGLES FOR END-USER PROGRAMMING

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005046762A1 (en) * 2005-09-29 2007-04-05 Siemens Ag System and method for displaying user information, in particular augmented reality information, with the aid of tracking information stored in RFID data memories

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FRIEDRICH W: "ARVIKA, Augmented Reality für Entwicklung, Produktion und Service", part Seiten 52-56,92,93 2004, PUBLICIS CORPORATE PUBLISHING, ISBN: 3-89578-239-4 *
PAELKE V., REIMANN, C.: "Authoring von Augmented-Reality-Anwendungen", DEUTSCHE GESELLSCHAFT FÜR KARTOGRAPHIE, KARTOGRAPHISCHE SCHRIFTEN, BAND 10: AKTUELLE ENTWICKLUNGEN IN GEOINFORMATION UND VISUALISIERUNG. BEITRÄGE DES SEMINARS GEOVIS 2006, vol. 10, 5 May 2006 (2006-05-05) - 6 April 2006 (2006-04-06), pages 37 - 45 *
WEIDENHAUSEN J-M: "Mobile Mixed Reality Platform (Dissertation)", part Seiten 7-11,47,48,53-56,71,75,76,84,86,128-134 2006, UNIVERSITÄT DARMSTADT *

Also Published As

Publication number Publication date
US20100033404A1 (en) 2010-02-11
WO2008107021A1 (en) 2008-09-12
US8390534B2 (en) 2013-03-05

Similar Documents

Publication Publication Date Title
EP2132706A1 (en) Method and device for generating tracking configurations for augmented reality applications
DE69730372T2 (en) Computer graphics animation
DE69632578T2 (en) COMPUTER GRAPHICS SYSTEM FOR CREATING AND IMPROVING TEXTURE-TRAINING SYSTEMS
DE102016113060A1 (en) Method for controlling an object
EP1701233A2 (en) Generation of virtual worlds based on a real environment
DE112008003963B4 (en) System and method for off-line programming of an industrial robot
EP1770607B1 (en) System and method for displaying user information, in particular of augmented reality information, using tracking information stored in RFID data storage means
DE102012220884A1 (en) Machine vision system program editing environment with real-time context generation features
DE102016105496A1 (en) System for checking objects using augmented reality
DE102006043390A1 (en) Apparatus and method for simulating a process for machining a workpiece on a machine tool
WO2005045729A1 (en) System and method for carrying out and visually displaying simulations in an augmented reality
WO2020126240A1 (en) Method for operating an automation technology field device in an augmented-reality/mixed-reality environment
EP3044643B1 (en) Navigation system for clean rooms
EP0859987A2 (en) Computer-aided work and information system and associated module
EP1092210B1 (en) Device and method for constructing a virtual installation model
DE3925275C2 (en)
DE102004016329A1 (en) System and method for performing and visualizing simulations in an augmented reality
DE102005010225A1 (en) Method for comparing a real object with a digital model
DE102018118422A1 (en) METHOD AND SYSTEM FOR PRESENTING DATA FROM A VIDEO CAMERA
Peebles Modelling alternative strategies for mental rotation
DE102014009389B3 (en) Testing module for a combined milling-turning machine
EP1178438A1 (en) Method ad system for automatically testing the assemblability of a product built from of several computer manufactured parts
DE102017108622A1 (en) SYSTEM FOR SUPPORTING TEAMWORK BY AUGMENTED REALITY
DE102022104805A1 (en) Method for training an artificial intelligence system; System comprising an artificial intelligence system, computer program product
DE102018205007A1 (en) Method, apparatus and computer readable storage medium with instructions for creating a virtual reality application

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20090527

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR

17Q First examination report despatched

Effective date: 20100322

DAX Request for extension of the european patent (deleted)
APBK Appeal reference recorded

Free format text: ORIGINAL CODE: EPIDOSNREFNE

APBN Date of receipt of notice of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA2E

APBR Date of receipt of statement of grounds of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA3E

APAF Appeal reference modified

Free format text: ORIGINAL CODE: EPIDOSCREFNE

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SIEMENS AKTIENGESELLSCHAFT

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SIEMENS AKTIENGESELLSCHAFT

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

APBT Appeal procedure closed

Free format text: ORIGINAL CODE: EPIDOSNNOA9E

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20180516