EP2132706A1 - Verfahren und vorrichtung zur generierung von trackingkonfigurationen für augmented-reality-anwendungen - Google Patents

Verfahren und vorrichtung zur generierung von trackingkonfigurationen für augmented-reality-anwendungen

Info

Publication number
EP2132706A1
EP2132706A1 EP07712485A EP07712485A EP2132706A1 EP 2132706 A1 EP2132706 A1 EP 2132706A1 EP 07712485 A EP07712485 A EP 07712485A EP 07712485 A EP07712485 A EP 07712485A EP 2132706 A1 EP2132706 A1 EP 2132706A1
Authority
EP
European Patent Office
Prior art keywords
tracking
module
modules
data
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP07712485A
Other languages
English (en)
French (fr)
Inventor
Mehdi Hamadou
Dirk Jahn
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of EP2132706A1 publication Critical patent/EP2132706A1/de
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • the invention relates to a method and a device for generating tracking configurations for augmented reality applications.
  • Augmented reality applications relate to a form of human-machine interaction, which pops up a person, for example via a data glasses information in the field and thus the perceived reality this person expan ⁇ tert.
  • tracking methods are used. These can work with both hardware and software.
  • optical, inertial, Sound ⁇ tables and / or magnetic systems are used. These systems must be supplied with data to determine the position of the user.
  • These data are representative example ⁇ as three-dimensional models of an observed object to images of the object being viewed from different positions to recognize distinctive points, lines or color regions or specially mounted coded markers. All for that
  • Tracking necessary information is fed to the tracking process at the beginning.
  • Augmented reality applications in the areas of industry, medicine and consumer use come in many different tracking environments.
  • the process of creating tracking ⁇ configurations is complex and costly. This hinders the spread of augmented reality applications in the mentioned areas.
  • a creation of tracking configurations for a given environment is complicated, because in known tracking methods, the entire environment is used or evaluated. Even small differences between two similar, but not completely coincident environments often make the tracking method used in each case fail because, for example, contradictory data on the positions of prominent points, lines or color regions are present, so that consistency with the real scene can not be achieved.
  • Creating or authoring tracking configurations is based on generating parameter sets and data derived, for example, from reduced CAD models of the environment under consideration. For example, prominent points, edges and / or color regions are extracted and a subset thereof selected so that the tracking methods used can operate efficiently. Subsequently, the selection made has to be tested in the real environment and, if necessary, adapted to it. The creator or author must also select the distinctive points, edges and / or color regions so that they are evenly distributed in the real environment. Only then is the stability of the respective tracking process ensured. These steps require ⁇ least the author had good knowledge of the behavior of jewei ⁇ time tracking process and are associated with high costs for the author. A high-quality overlay of the augmentations over the real environment is therefore highly dependent on the know-how and the care of the author.
  • a system and a method for displaying augmented reality information are already known.
  • objects are captured as image information of a section of an environment by means of a camera.
  • the detected objects are identified and images of the detected objects are reconstructed in a virtual three-dimensional space on the basis of associated tracking information stored in the system.
  • Ortsko- be ordinates of objects is calculated and the position of the Benut ⁇ decomp and its viewing angle to the object in ermit ⁇ telt.
  • user information is assigned to the location coordinates, which are then placed in the correct position in the field of view of the user User.
  • Said Trackinginforma- functions are read out contactlessly by means of a read / write device from at ⁇ least one mobile data memory.
  • the mobile data memory is attached to each object to be detected.
  • the object of the invention is to provide a method and a device for generating tracking configurations for augmented reality applications, in which less effort is required.
  • the advantages of the invention are, in particular, that the generation of tracking configurations based on known tracking data of individual modules or components that are present in the real environment takes place automatically. This is done in the sense of an online operation during the use of the system by the operator. Consequently, there is no need for an engineering step to generate tracking configurations. In practice, this means like a serious ⁇ che reduction for generating tracking configurations to be driven effort.
  • An online method requires only knowledge of the list of modules present in a real environment and associated tracking data. This list does not have to be complete.
  • the tracking method according to the present invention starts with a search for a first module in a camera-generated image of the existing real environment.
  • the stored tracking data associated with the first module is compared with features contained in the camera image by means of a computer unit. Is this step of initialization successful? richly completed, then in the sense of a tracking, a constant calculation of the position and the orientation of the already identified module in the camera image takes place. This allows a correct position display of augmentation information by means of smart glasses, as long as the user views the augmentation information in the area of the detected module and this remains in his field of vision.
  • additional modules from the list of modules in the current camera image are searched for in addition to the first module mentioned, wherein this search is carried out using stored tracing data assigned to these further modules.
  • this further module is inserted into the first module with respect to the generated Coordina ⁇ tensystem.
  • the features get by new posi ⁇ tions in this real environment. This procedure is repeated until the entire real environment is re ⁇ constructed.
  • the tracking is robust. Furthermore, the created tracking configurations can be stored for later use of tracking and also for documentation of the actual structure of the real environment.
  • the on-line method for generating tracking configurations described above advantageously allows a structure of a tracking construction kit to be used over and over again in order to make any number of real environments trackable, ie. H. to generate reliable tracking configurations for any real environment. All that is needed is information about which modules are installed in the respective real environment.
  • This information is extracted in an advantageous manner from already existing CAD plans, parts lists or technical contexts, so that a manual entry of these Information is not necessary. This further reduces the effort required to generate tracking configurations.
  • FIG 1 is a perspective sketch of a cabinet with modules arranged therein and
  • Figure 2 is a block diagram illustrating a method according to the invention.
  • the invention relates to a method and a device in which tracking configurations for augmented reality applications are determined.
  • the starting point for a method according to the invention is a real environment.
  • This real environment consists of that in the
  • FIG. 1 shown embodiment of a cabinet
  • tracking data are also stored in a further memory 9. These tracking data are generated by the supplier of the respective module and are made available to the operator of the control cabinet 1 in addition to a manual describing the module and stored by the operator in the memory 9. For example, it is at the module 2 by a numerical control, wherein the module 3 to an I / O module and the module 4 to a ⁇ An operation control.
  • the tracking data contains information about the respective module, for example information about edges, recesses, colored areas, etc.
  • the operator starts an augmented reality-based application. He uses at least least a camera 12 by means of which 11 provided images of the real environment a computer unit, wherein ⁇ game as images of Heidelbergschran- shown in the Figure 1 kit. 1
  • the tasks of the computer unit 11 are, using the stored in the memory 10 parts list of the built-in cabinet 1 modules 2, 3, 4 and using the memory 9 stored in the memory tracking data of the modules 2, 3, 4 automatically perform a tracking method 7, the Implementation of the results provided by the tracking method 7 in an authoring process 8 in tracking configurations and supply tracking information determined a visualization ⁇ 6 method.
  • Its task is to forward augmented reality information in the correct position to the present Augmented Reality application 5.
  • the named augmented reality information is inserted in the correct position in the field of vision of a person wearing data glasses.
  • the operator of the system via an input El a bill of materials installed in the cabinet 1 modules 2, 3, 4 corresponding data in the memory 10 marrie ⁇ ben. This is done for example by means of a keyboard. Furthermore, the tracking data of the modules 2, 3, 4 provided by the suppliers of the modules 2, 3, 4 are read into the memory 9 via the input E2. This tracking data is stored by the supplier of the modules on a data carrier and forwarded to the operator of the system from trä ⁇ ger via the input E2 to the memory. 9
  • one of the installed modules 2, 3, 4 is selected from the stored in the memory 10 BOM example ⁇ as the module 2.
  • the memory 10 BOM example ⁇ which are in storage 9 stored tracking data supplied to the tracking method 7 and compared in the context of this tracking method with the image supplied by the camera 12 to identify the module 2 in this image and then define this module 2 associated three-dimensional coordinate system. If this module 2 is identified in the camera image, then a pose is calculated by the computer unit 11. This pose defi ⁇ defined the position and orientation of the camera 12 with respect to the detected real environment, approximately, for example, in the present execution in respect to the cabinet 1.
  • This pose which is detected at predetermined time intervals again, is sent to the visualization method 6 and used by the latter for a correct representation of the augmentation information in the present augmented reality application.
  • Augment istsinfoma- features which are shown to the user via a data goggles as an overlay ⁇ tion of the field of view are stored in its real-world environment, service manual to the user in question by the modules of the cabinet. 1
  • the computer unit 11 automatically selects another module from the parts list stored in the memory 10 as part of the authoring process.
  • This is followed by a transmission of the tracking data of the further module, for example of the module 3, stored in the memory 9 to the tracking method 7.
  • the further module 12 in the camera image is searched. If the further module 3 is localized in the camera image, then its features are transformed such that they are placed in the coordinate system of the first module 2.
  • the configurations with respect to the ers ⁇ th module 2 and the second module 3 then determined tracking form a unit and make it possible to make a larger space reliable trackable.
  • the computer unit 11 selects as part of the authoring process 8 more modules from the memory 10 in extractive processing 8 .
  • the computer unit 11 selects as part of the authoring process 8 more modules from the memory 10 in extractspei ⁇ cherten BOM, searches in the gelling of the camera 12 ferten image after these other modules and also registers these other modules in the coordinate system of the first module. 2
  • the search for further modules and their registration in the coordinate system of the first module 2 takes place until a uniform coverage of the cabinet 1 is reached. This uniform coverage allows stable tracking.
  • the created tracking configurations are transmitted from the authoring method 8 or from the computer unit 11 to the memory 9 and stored there, so that they are available for later use.
  • the selection of other modules from the list is preferably carried out also taking into account the additional criterion around that are primarily various modules in the camera image ge ⁇ investigated.
  • This has the advantage that in the selection of the assignment of localized modules to the modules of the list is unique. Join ambiguities, this will be ⁇ solve with the help of additional features such as the vorlie- constricting network topology and the hardware configuration.
  • This information is stored in memory 10, for example, in addition to the list of modules.
  • tracking data associated with the modules 2, 3, 4 and produced by the supplier of these modules can also be transmitted via the Internet a data be retrieved from the supplier's bank and stored in memory 9.
  • this parts list can also be extracted from an already existing CAD plan, an already existing parts list or from an already existing technical description.
  • the present invention after all, relates to a method for determining tracking configurations for augmented reality applications, in which the tracking configurations are automatically created based on known tracking data of individual modules of the real environment. This is done in the sense of taking place with the operator of the system online ⁇ operation. Consequently, no engineering step is required to determine the tracking configurations for the entire existing real environment. This means a substantial reduction of the effort required to create tracking configurations.
  • An online method according to the invention requires only the knowledge about the list of existing modules in the present real environment and associated tracking data. All other information needed for tracking is automatically created using this startup information.
  • An on-line method according to the invention allows a construction of a tracking building kit that can be used over and over again to track any real environment. For this purpose, only information about the parts list of the modules installed in the respectively present real environment is required in each case.

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Ermittlung von Trackingkonfigurationen für Augmented-Reality- Anwendungen. Diese Ermittlung erfolgt ausgehend von einer Liste von in der realen Umgebung vorgesehenen Modulen und von bekannten Trackingdaten einzelner Module dieser Liste automatisch im Sinne eines Online-Betriebes beim Betreiber des jeweiligen Systems.

Description

Beschreibung
Verfahren und Vorrichtung zur Generierung von Trackingkonfi- gurationen für Augmented-Reality-Anwendungen
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Generierung von Trackingkonfigurationen für Augmented-Reality-Anwendungen .
Augmented-Reality-Anwendungen betreffen eine Form der Mensch- Technik-Interaktion, die einer Person beispielsweise über eine Datenbrille Informationen in das Gesichtsfeld einblendet und damit die von dieser Person wahrgenommene Realität erwei¬ tert. Um eine derartige virtuelle Erweiterung des Blickfeldes einer Person positionsgenau vornehmen zu können, werden sogenannte Trackingverfahren eingesetzt. Diese können sowohl mit einer Hardware als auch mit einer Software arbeiten. Bei ei¬ nem Tracking kommen beispielsweise optische, inertiale, akus¬ tische und/oder magnetische Systeme zum Einsatz. Diese Syste- me müssen zur Bestimmung der Position des Benutzers mit Daten versorgt werden. Bei diesen Daten handelt es sich beispiels¬ weise um dreidimensionale Modelle eines betrachteten Objekts, um Bilder des betrachteten Objekts aus verschiedenen Positionen, um erkannte markante Punkte, Linien oder Farbregionen oder um speziell angebrachte codierte Marken. Alle für das
Tracking notwendigen Informationen werden den Trackingverfahren an deren Beginn zugeführt.
Bei Augmented-Reality-Anwendungen in den Bereichen Industrie, Medizin und Konsum kommen vielfältige Tracking-Umgebungen in Frage. Dadurch ist der Prozess eines Erstellens von Tracking¬ konfigurationen aufwendig und kostenintensiv. Dies behindert eine Verbreitung von Augmented-Reality-Anwendungen in den genannten Bereichen.
Ein Erstellen von Trackingkonfigurationen für eine vorgegebene Umgebung ist aufwendig, weil bei bekannten Trackingverfahren die gesamte Umgebung herangezogen bzw. ausgewertet wird. Selbst geringe Unterschiede zwischen zwei ähnlichen, aber nicht vollständig übereinstimmenden Umgebungen lassen oftmals das jeweils verwendete Trackingverfahren scheitern, da beispielsweise widersprüchliche Daten über die Positionen mar- kanter Punkte, Linien oder Farbregionen vorliegen, so dass keine Konsistenz mit der realen Szene erreicht werden kann.
Das Erstellen bzw. Authoring von Trackingkonfigurationen basiert auf einem Generieren von Parametersätzen und Daten, die beispielsweise aus reduzierten CAD-Modellen der betrachteten Umgebung abgeleitet werden. Beispielsweise werden markante Punkte, Kanten und/oder Farbregionen extrahiert und eine Untermenge davon ausgewählt, so dass die verwendeten Tracking- verfahren effizient arbeiten können. Anschließend muss die vorgenommene Auswahl in der realen Umgebung getestet und ggf. an diese angepasst werden. Der Ersteller bzw. Autor muss zudem die markanten Punkte, Kanten und/oder Farbregionen so auswählen, dass diese in der realen Umgebung gleichmäßig verteilt sind. Nur dann ist die Stabilität des jeweiligen Tra- ckingverfahrens sichergestellt. Diese Schritte erfordern sei¬ tens des Autors gute Kenntnisse über das Verhalten des jewei¬ ligen Trackingverfahrens und sind mit hohem Aufwand für den Autor verbunden. Eine qualitativ hochwertige Überlagerung der Augmentierungen über der realen Umgebung ist folglich in ho- hem Maße vom Know-How und der Sorgfalt des Autors abhängig.
Aus der DE 10 2005 046 762.8 sind bereits ein System und ein Verfahren zur Darstellung von Augmented-Reality-Informationen bekannt. Dabei werden Objekte als Bildinformationen eines Ausschnitts einer Umgebung mittels einer Kamera erfasst. Die erfassten Objekte werden identifiziert und es werden Abbilder der erfassten Objekte in einem virtuellen dreidimensionalen Raum auf Basis von im System hinterlegten zugehörigen Tra- ckinginformationen rekonstruiert. Des Weiteren werden Ortsko- ordinaten der Objekte berechnet und die Position des Benut¬ zers und dessen Blickwinkel auf das jeweilige Objekt ermit¬ telt. Weiterhin werden den Ortskoordinaten Benutzerinformationen zugeordnet, welche dann lagerichtig in das Sichtfeld des Benutzers eingeblendet werden. Die genannten Trackinginforma- tionen werden mittels eines Schreib-/Lesegerätes aus zumin¬ dest einem mobilen Datenspeicher berührungslos ausgelesen. Der mobile Datenspeicher ist am jeweils zu erfassenden Objekt angebracht .
Die Aufgabe der Erfindung besteht darin, ein Verfahren und eine Vorrichtung zur Generierung von Trackingkonfigurationen für Augmented-Reality-Anwendungen anzugeben, bei welchen we- niger Aufwand erforderlich ist.
Diese Aufgabe wird durch ein Verfahren mit den im Anspruch 1 sowie durch eine Vorrichtung mit den im Anspruch 7 angegebenen Merkmalen gelöst. Vorteilhafte Ausgestaltungen und Wei- terbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben .
Die Vorteile der Erfindung bestehen insbesondere darin, dass die Generierung von Trackingkonfigurationen ausgehend von be- kannten Trackingdaten einzelner Module oder Komponenten, die in der realen Umgebung vorhanden sind, automatisch erfolgt. Dies geschieht im Sinne eines Online-Betriebes während der Verwendung des Systems durch den Betreiber. Folglich bedarf es zur Generierung von Trackingkonfigurationen keines Engi- neering-Schritts . Dies bedeutet in der Praxis eine wesentli¬ che Reduzierung des zur Generierung von Trackingkonfigurationen zu treibenden Aufwandes.
Ein Online-Verfahren gemäß der Erfindung benötigt lediglich ein Wissen über die Liste der in einer realen Umgebung vorhandenen Module und zugehöriger Trackingdaten. Diese Liste muss nicht vollständig sein. Das Trackingverfahren gemäß der vorliegenden Erfindung startet mit einer Suche nach einem ersten Modul in einem von einer Kamera erstellten Bild der vorhandenen realen Umgebung. Dabei erfolgt ein Vergleich der dem ersten Modul zugehörigen, abgespeicherten Trackingdaten mit im Kamerabild enthaltenen Merkmalen mittels einer Rechnereinheit. Ist dieser Schritt der Initialisierung erfolg- reich abgeschlossen, dann erfolgt im Sinne eines Trackings eine ständige Berechnung der Position und der Orientierung des im Kamerabild erfassten, bereits identifizierten Moduls. Dies erlaubt eine lagerichtige Anzeige von Augmentierungsin- formationen mittels einer Datenbrille, solange der Anwender die Augmentierungsinformationen im Bereich des erkannten Moduls betrachtet und dieses in seinem Blickfeld bleibt.
In vorteilhafter Weise werden zusätzlich zum genannten ersten Modul weitere Module aus der Liste der Module im aktuellen Kamerabild gesucht, wobei diese Suche unter Verwendung von diesen weiteren Modulen zugeordneten, abgespeicherten Tra- ckingdaten erfolgt. Wurde ein derartiges weiteres Modul im aktuellen Kamerabild lokalisiert, dann wird dieses weitere Modul in das bezüglich des ersten Moduls generierte Koordina¬ tensystem eingefügt. Die Merkmale bekommen dadurch neue Posi¬ tionen in der vorliegenden realen Umgebung. Dieses Vorgehen wird solange wiederholt, bis die gesamte reale Umgebung re¬ konstruiert ist.
Durch das vorstehend beschriebene Auffinden weiterer Module im aktuellen Kamerabild wird das Tracking robust. Weiterhin können die erstellten Trackingkonfigurationen zu einer späteren Nutzung des Trackings und auch zu einer Dokumentation des tatsächlichen Aufbaus der realen Umgebung gespeichert werden.
Das vorstehend beschriebene Online-Verfahren zur Generierung von Trackingkonfigurationen erlaubt in vorteilhafter Weise einen Aufbau eines Trackingbaukastens, der immer wieder ver- wendet werden kann, um beliebig viele reale Umgebungen trackbar zu machen, d. h. um bezüglich beliebiger realer Umgebungen zuverlässige Trackingkonfigurationen zu generieren. Dazu werden lediglich Informationen darüber benötigt, welche Module in der jeweils vorliegenden realen Umgebung verbaut sind.
Diese Informationen werden in vorteilhafter Weise aus ohnehin vorhandenen CAD-Plänen, Stücklisten oder technischen Zusammenhängen extrahiert, so dass eine manuelle Eingabe dieser Informationen nicht notwendig ist. Dies verringert den zur Generierung von Trackingkonfigurationen notwendigen Aufwand weiter .
Weitere vorteilhafte Eigenschaften der Erfindung ergeben sich aus deren beispielhafter Erläuterung anhand der Figuren. Es zeigt
Figur 1 eine perspektivische Skizze eines Schaltschranks mit darin angeordneten Modulen und
Figur 2 eine Blockdarstellung zur Veranschaulichung eines Verfahrens gemäß der Erfindung.
Die Erfindung betrifft ein Verfahren und eine Vorrichtung, bei welchen Trackingkonfigurationen für Augmented-Reality- Anwendungen ermittelt werden.
Ausgangspunkt für ein Verfahren gemäß der Erfindung ist eine reale Umgebung. Diese reale Umgebung besteht bei dem in der
Figur 1 gezeigten Ausführungsbeispiel aus einem Schaltschrank
1, in welchem Module 2, 3 und 4 platziert sind. Diese Module
2, 3 und 4 sind in einer Liste aufgelistet, die in dem in der Figur 2 gezeigten Speicher 10 abgespeichert ist. Zu jedem dieser Module sind in einem weiteren Speicher 9 auch Tra- ckingdaten abgespeichert. Diese Trackingdaten werden vom Lieferanten des jeweiligen Moduls erstellt und werden dem Betreiber des Schaltschranks 1 zusätzlich zu einem das Modul beschreibenden Handbuch zur Verfügung gestellt und vom Be- treiber im Speicher 9 abgelegt. Beispielsweise handelt es sich bei dem Modul 2 um eine numerische Steuerung, bei dem Modul 3 um eine E/A-Baugruppe und bei dem Modul 4 um eine An¬ triebssteuerung. Die Trackingdaten enthalten Informationen über das jeweilige Modul, beispielsweise Information über Kanten, Aussparungen, Farbflächen, usw..
Während der Laufzeit des Systems startet der Betreiber eine augmented-reality-basierte Anwendung. Dabei nutzt er mindes- tens eine Kamera 12, mittels derer Bilder der realen Umgebung einer Rechnereinheit 11 zur Verfügung gestellt werden, bei¬ spielsweise Bilder des in der Figur 1 gezeigten Schaltschran- kes 1.
Die Aufgaben der Rechnereinheit 11 bestehen darin, unter Verwendung der im Speicher 10 abgespeicherten Stückliste der im Schaltschrank 1 verbauten Module 2, 3, 4 und unter Verwendung der im Speicher 9 abgespeicherten Trackingdaten der Module 2, 3, 4 automatisch ein Trackingverfahren 7 durchzuführen, die vom Trackingverfahren 7 bereitgestellten Ergebnisse in einem Authoringverfahren 8 in Trackingkonfigurationen umzusetzen und ermittelte Trackinginformationen einem Visualisierungs¬ verfahren 6 zuzuführen. Dessen Aufgabe besteht darin, Augmen- ted-Reality-Informationen lagerichtig an die vorliegende Aug- mented-Reality-Anwendung 5 weiterzuleiten. Bei dem in der Figur 2 gezeigten Ausführungsbeispiel wird die genannte Augmen- ted-Reality-Information lagerichtig in das Gesichtsfeld einer eine Datenbrille tragenden Person eingeblendet.
Der zeitliche Ablauf der Ermittlung von Trackingkonfiguratio¬ nen für die vorliegende Augmented-Reality-Anwendung ist wie folgt :
Zunächst werden vom Betreiber des Systems über einen Eingang El einer Stückliste der im Schaltschrank 1 verbauten Module 2, 3, 4 entsprechende Daten in den Speicher 10 eingeschrie¬ ben. Dies erfolgt beispielsweise mittels einer Tastatur. Des Weiteren werden über den Eingang E2 die von den Lieferanten der Module 2, 3, 4 bereitgestellten Trackingdaten der Module 2, 3, 4 in den Speicher 9 eingelesen. Diese Trackingdaten werden vom Lieferanten der Module auf einem Datenträger gespeichert und werden beim Betreiber des Systems vom Datenträ¬ ger über den Eingang E2 an den Speicher 9 weitergegeben.
Anschließend wird eines der verbauten Module 2, 3, 4 aus der im Speicher 10 hinterlegten Stückliste ausgewählt, beispiels¬ weise das Modul 2. Als Reaktion darauf werden dessen im Spei- eher 9 abgespeicherte Trackingdaten dem Trackingverfahren 7 zugeführt und im Rahmen dieses Trackingverfahrens mit dem von der Kamera 12 gelieferten Bild verglichen, um das Modul 2 in diesem Bild zu identifizieren und dann ein diesem Modul 2 zu- gehöriges dreidimensionales Koordinatensystem zu definieren. Ist dieses Modul 2 im Kamerabild identifiziert, dann wird von der Rechnereinheit 11 eine Pose berechnet. Diese Pose defi¬ niert die Position und die Orientierung der Kamera 12 in Bezug auf die erfasste reale Umgebung, im vorliegenden Ausfüh- rungsbeispiel in Bezug auf den Schaltschrank 1. Diese Pose, die in vorgegebenen Zeitintervallen von Neuem ermittelt wird, wird an das Visualisierungsverfahren 6 weitergegeben und von diesem zu einer lagerichtigen Darstellung der Augmentierung- sinformation in der vorliegenden Augmented-Reality-Anwendung verwendet. Beispielsweise führen diese Augmentierungsinfoma- tionen, die dem Anwender über eine Datenbrille als Überlage¬ rung der in seinem Sichtfeld befindlichen realen Umgebung dargestellt werden, den Anwender durch eine die Module des Schaltschranks 1 betreffende Reparaturanleitung.
Im nächsten Schritt wählt die Rechnereinheit 11 im Rahmen des Authoringverfahrens automatisch ein weiteres Modul aus der im Speicher 10 abgespeicherten Stückliste aus. Daraufhin erfolgt eine Übertragung der im Speicher 9 abgespeicherten Tracking- daten des weiteren Moduls, beispielsweise des Moduls 3, an das Trackingverfahren 7. Dort wird im Rahmen eines Vergleiches dieser Trackingdaten mit dem von der Kamera 12 gelieferten Bild das weitere Modul 12 im Kamerabild gesucht. Ist das weitere Modul 3 im Kamerabild lokalisiert, dann werden dessen Merkmale derart transformiert, dass sie im Koordinatensystem des ersten Moduls 2 platziert werden. Die bezüglich des ers¬ ten Moduls 2 und des zweiten Moduls 3 ermittelten Tracking- konfigurationen bilden dann eine Einheit und ermöglichen es, einen größeren Raum zuverlässig trackbar zu machen.
Danach wählt die Rechnereinheit 11 im Rahmen des Authoring- verfahrens 8 weitere Module aus der im Speicher 10 abgespei¬ cherten Stückliste aus, sucht in dem von der Kamera 12 gelie- ferten Bild nach diesen weiteren Modulen und registriert auch diese weiteren Module im Koordinatensystem des ersten Moduls 2.
Die Suche nach weiteren Modulen und deren Registrierung im Koordinatensystem des ersten Moduls 2 erfolgt solange, bis eine gleichmäßige Abdeckung des Schaltschranks 1 erreicht ist. Diese gleichmäßige Abdeckung erlaubt ein stabiles Tra- cking. Die erstellten Trackingkonfigurationen werden vom Authoringverfahren 8 bzw. von der Rechnereinheit 11 zum Speicher 9 übertragen und dort abgespeichert, so dass sie für spätere Verwendungen zur Verwendung stehen.
Wenn nur ein Modul lokalisiert wäre, wäre nur ein kleines Ge- biet um dieses Modul exakt trackbar, da mit steigender Ent¬ fernung von diesem Modul bei nachfolgenden Trackingvorgängen ein mit der Entfernung steigender Trackingfehler entstehen würde. Je mehr Module man lokalisiert, desto größer wird das exakt trackbare Gebiet, da über die zu trackende Umgebung mehrere lokalisierte Module und damit ausreichend Tracking- merkmale vorliegen.
Die Auswahl der weiteren Module aus der Liste erfolgt vorzugsweise auch unter Berücksichtigung des weiteren Kriteri- ums, dass primär verschiedenartige Module im Kamerabild ge¬ sucht werden. Dies hat den Vorteil, dass bei der Auswahl die Zuordnung lokalisierter Module zu den Modulen der Liste eindeutig ist. Treten Mehrdeutigkeiten auf, dann werden diese unter Zuhilfenahme von zusätzlichen Merkmalen wie die vorlie- gende Netzwerktopologie und die Hardwarekonfiguration aufge¬ löst. Diese Informationen sind beispielsweise zusätzlich zu der Liste der Module im Speicher 10 abgespeichert.
Alternativ zu der oben beschriebenen Möglichkeit, die den Mo- dulen 2, 3, 4 zugehörigen, vom Lieferanten dieser Module erstellten Trackingdaten auf einem Datenträger zu speichern und über den Eingang E2 in den Speicher 9 zu übertragen, können diese Trackingdaten auch über das Internet aus einer Daten- bank des Lieferanten abgerufen und im Speicher 9 hinterlegt werden .
Alternativ zu der oben beschriebenen Möglichkeit, die im Speicher 10 abgespeicherte Stückliste mittels einer Tastatur einzugeben, kann diese Stückliste auch aus einem bereits vorliegenden CAD-Plan, einer bereits vorliegende Stückliste oder aus einer bereits vorliegenden technischen Beschreibung extrahiert werden.
Die vorliegende Erfindung betrifft nach alledem ein Verfahren zur Ermittlung von Trackingkonfigurationen für Augmented- Reality-Anwendungen, bei welchem die Trackingkonfigurationen ausgehend von bekannten Trackingdaten einzelner Module der realen Umgebung automatisch erstellt werden. Dies erfolgt im Sinne eines beim Betreiber des Systems stattfindenden Online¬ betriebes. Zur Ermittlung der Trackingkonfigurationen für die gesamte vorhandene reale Umgebung bedarf es folglich keines Engineering-Schrittes. Dies bedeutet eine wesentliche Redu- zierung des zur Erstellung von Trackingkonfigurationen notwendigen Aufwandes. Ein Onlineverfahren gemäß der Erfindung benötigt lediglich das Wissen über die Liste der in der vorliegenden realen Umgebung vorhandenen Module und jeweils zugehöriger Trackingdaten. Alle weiteren zum Tracking benötig- ten Informationen werden unter Verwendung dieser Startinformationen automatisch erstellt.
Ein Onlineverfahren gemäß der Erfindung erlaubt einen Aufbau eines Trackingbaukastens, der immer wieder verwendet werden kann, um beliebige reale Umgebungen trackbar zu machen. Dazu wird jeweils lediglich eine Information über die Stückliste der in der jeweils vorliegenden realen Umgebung verbauten Module benötigt.
Im Unterschied zu bekannten Verfahren erfolgt statt eines He¬ ranziehens der gesamten realen Umgebung zum Aufbau der Trackingkonfigurationen lediglich ein Heranziehen des Wissens über die in der realen Umgebung verbauten Module und diesen Modulen zugehöriger Trackingdaten . Die Gesamttrackingkonfigu- ration wird Online während der Laufzeit des Systems automa¬ tisch erstellt. Dabei werden die lokalen Merkmale der einzel¬ nen Module derart transformiert, dass diese Module in einem relativ zur Umgebung einheitlichen Koordinatensystem lokalisierbar sind.

Claims

Patentansprüche
1. Verfahren zur Ermittlung von Trackingkonfigurationen für Augmented-Reality-Anwendungen, bei welchem a) in einem ersten Speicher (10) Daten abgespeichert werden, die einer Stückliste in einer realen Umgebung vorgesehener Module entsprechen, b) in einem zweiten Speicher (9) Daten abgespeichert werden, die den in den realen Umgebung vorgesehenen Modulen zuge- hörige Trackingdaten enthalten, c) mittels eines Trackingverfahrens (7) unter Verwendung von aus dem zweiten Speicher (9) ausgelesenen, einem ersten ausgewählten Modul (2) zugehörigen Trackingdaten in einem von einer Kamera (12) bereitgestellten Bild das erste Mo- dul (2) lokalisiert wird, d) mittels eines Authoringverfahrens (8) dem lokalisierten ersten Modul (2) zugehörige Trackingkonfigurationen ermittelt werden, e) mittels des Trackingverfahrens (7) automatisch unter Ver- wendung von aus dem zweiten Speicher (9) ausgelesenen, einem weiteren ausgewählten Modul (3) zugehörigen Trackingdaten in dem von der Kamera (12) bereitgestellten Bild das weitere Modul (3) lokalisiert wird und f) mittels des Authoringverfahrens (8) automatisch dem loka- lisierten weiteren Modul (3) zugehörige Trackingkonfigu¬ rationen ermittelt werden.
2. Verfahren nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , dass nach erfolgter Lokalisierung des ersten Moduls dem ersten Modul automatisch ein Koordinatensystem zugeordnet wird.
3. Verfahren nach Anspruch 2, d a d u r c h g e k e n n z e i c h n e t , dass nach erfolgter Lokalisierung eines weiteren Moduls dieses Modul automatisch in das Koordinatensystem des ersten Moduls eingeordnet wird.
4. Verfahren nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , dass die im Rahmen des Authoringverfahrens (8) ermittelten Trackingkonfigurationen in einem Speicher (9) hinterlegt wer- den .
5. Verfahren nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , dass die Daten, die den in der realen Umgebung vorgesehenen Modulen zugehörigen Trackingdaten entsprechen, auf einem Datenträger abgespeichert werden, aus diesem Datenträger ausgelesen und in den zweiten Speicher (9) übertragen werden.
6. Verfahren nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , dass die Daten, die der Stückliste der in der realen Umgebung vorgesehenen Module entsprechen, mittels einer Eingabeeinheit eingegeben oder aus ohnehin vorhandenen Daten extrahiert werden .
7. Vorrichtung zur Ermittlung von Trackingkonfigurationen für Augmented-Reality-Anwendungen, mit
- einem ersten Speicher (10) zur Abspeicherung von Daten, die einer Stückliste in einer realen Umgebung vorgesehener Mo- dule entsprechen,
- einem zweiten Speicher (9) zur Abspeicherung von Daten, die den in der realen Umgebung vorgesehenen Modulen zugehörigen Trackingdaten entsprechen,
- einer Kamera (12) zur Bereitstellung eines der realen Umge- bung entsprechenden Bildes und
- einer Rechnereinheit (11), die dazu vorgesehen ist,
- mittels eines Trackingverfahrens (6) unter Verwendung von aus dem zweiten Speicher (9) ausgelesenen Trackingdaten Module in dem von der Kamera (12) bereitgestellten Bild zu lokalisieren,
- mittels eines Authoringverfahrens (8) den im Kamerabild lo¬ kalisierten Modulen zugehörige Trackingkonfigurationen zu ermitteln und - mittels eines Visualisierungsverfahrens (6) eine lagerich¬ tige Anzeige von Augmentierungsinformationen in einer Aug- mented-Reality-Anwendung (5) zu steuern.
8. Vorrichtung nach Anspruch 7, d a d u r c h g e k e n n z e i c h n e t , dass die Augmented-Reality-Anwendung (5) eine Datenbrille aufweist und die Augmentierungsinformationen in der Datenbrille dem Blickfeld des Anwenders überlagert werden.
9. Vorrichtung nach Anspruch 7 oder 8, d a d u r c h g e k e n n z e i c h n e t , dass sie einen Speicher (9) aufweist, der zur Abspeicherung der im Rahmen des Authoringverfahrens (8) ermittelten Tra- ckingkonfigurationen vorgesehen ist.
10. Vorrichtung nach einem der Ansprüche 7 bis 9, d a d u r c h g e k e n n z e i c h n e t , dass die Rechnereinheit (11) dazu vorgesehen ist, dem ersten lokalisierten Modul (2) ein Koordinatensystem zuzuordnen.
11. Vorrichtung nach einem der Ansprüche 7 bis 10, d a d u r c h g e k e n n z e i c h n e t , dass die Rechnereinheit (11) dazu vorgesehen ist, die Positi- on und die Orientierung der Kamera (12) in Bezug auf die er- fasste reale Umgebung zu ermitteln.
12. Vorrichtung nach einem der Ansprüche 7 bis 11, d a d u r c h g e k e n n z e i c h n e t , dass die Rechnereinheit (11) dazu vorgesehen ist, nach er¬ folgter Ermittlung der dem ersten Modul (2) zugehörigen Tra- ckingkonfigurationen die Trackingkonfigurationen der weiteren Module (3, 4) automatisch zu ermitteln.
13. Vorrichtung nach Anspruch 12, d a d u r c h g e k e n n z e i c h n e t , dass die Rechnereinheit (11) dazu vorgesehen ist, die den weiteren Modulen zugehörigen Trackingkonfigurationen in das dem ersten Modul (2) zugeordnete Koordinatensystem einzufügen .
EP07712485A 2007-03-08 2007-03-08 Verfahren und vorrichtung zur generierung von trackingkonfigurationen für augmented-reality-anwendungen Ceased EP2132706A1 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2007/052175 WO2008107021A1 (de) 2007-03-08 2007-03-08 Verfahren und vorrichtung zur generierung von trackingkonfigurationen für augmented-reality-anwendungen

Publications (1)

Publication Number Publication Date
EP2132706A1 true EP2132706A1 (de) 2009-12-16

Family

ID=38657545

Family Applications (1)

Application Number Title Priority Date Filing Date
EP07712485A Ceased EP2132706A1 (de) 2007-03-08 2007-03-08 Verfahren und vorrichtung zur generierung von trackingkonfigurationen für augmented-reality-anwendungen

Country Status (3)

Country Link
US (1) US8390534B2 (de)
EP (1) EP2132706A1 (de)
WO (1) WO2008107021A1 (de)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8327279B2 (en) * 2004-12-14 2012-12-04 Panasonic Corporation Information presentation device and information presentation method
US8970690B2 (en) * 2009-02-13 2015-03-03 Metaio Gmbh Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
JP5728159B2 (ja) 2010-02-02 2015-06-03 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US9361729B2 (en) * 2010-06-17 2016-06-07 Microsoft Technology Licensing, Llc Techniques to present location information for social networks using augmented reality
JP5799521B2 (ja) * 2011-02-15 2015-10-28 ソニー株式会社 情報処理装置、オーサリング方法及びプログラム
ES2570852T3 (es) * 2011-05-23 2016-05-20 Lego As Un sistema de construcción de juguete para realidad aumentada
KR101897311B1 (ko) 2011-05-23 2018-10-24 레고 에이/에스 구축 요소 모델을 위한 조립 설명서 생성
US9674419B2 (en) 2012-07-31 2017-06-06 Hewlett-Packard Development Company, L.P. Web-linked camera device with unique association for augmented reality
US9448407B2 (en) * 2012-12-13 2016-09-20 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and work supporting system
US9818150B2 (en) 2013-04-05 2017-11-14 Digimarc Corporation Imagery and annotations
US9615177B2 (en) 2014-03-06 2017-04-04 Sphere Optics Company, Llc Wireless immersive experience capture and viewing
DE102015007624A1 (de) * 2015-06-16 2016-12-22 Liebherr-Components Biberach Gmbh Verfahren zum Montieren von elektrischen Schaltanlagen sowie Montagehilfsvorrichtung zum Erleichtern der Montage solcher Schaltanlagen
WO2016205386A1 (en) * 2015-06-16 2016-12-22 Briggs & Stratton Corporation Lithium-ion battery
US9964765B2 (en) * 2015-09-11 2018-05-08 The Boeing Company Virtual display of the real-time position of a robotic device to a human operator positioned on an opposing side of an object
US20180357922A1 (en) 2017-06-08 2018-12-13 Honeywell International Inc. Apparatus and method for assessing and tracking user competency in augmented/virtual reality-based training in industrial automation systems and other systems
US11874653B2 (en) * 2020-10-29 2024-01-16 Oliver Crispin Robotics Limited Systems and methods of servicing equipment
US11685051B2 (en) 2020-10-29 2023-06-27 General Electric Company Systems and methods of servicing equipment
US11935290B2 (en) 2020-10-29 2024-03-19 Oliver Crispin Robotics Limited Systems and methods of servicing equipment
US11938907B2 (en) 2020-10-29 2024-03-26 Oliver Crispin Robotics Limited Systems and methods of servicing equipment
US11915531B2 (en) 2020-10-29 2024-02-27 General Electric Company Systems and methods of servicing equipment

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005046762A1 (de) * 2005-09-29 2007-04-05 Siemens Ag System und Verfahren zur Darstellung von Benutzerinformationen, insbesondere von Augmented-Reality-Informationen, mit Hilfe von in RFID-Datenspeichern hinterlegten Trackinginformationen

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6765569B2 (en) * 2001-03-07 2004-07-20 University Of Southern California Augmented-reality tool employing scene-feature autocalibration during camera motion
RU2008110056A (ru) * 2005-08-15 2009-09-27 Конинклейке Филипс Электроникс Н.В. (Nl) Система, устройство и способ для очков расширенной реальности для программирования конечным пользователем

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005046762A1 (de) * 2005-09-29 2007-04-05 Siemens Ag System und Verfahren zur Darstellung von Benutzerinformationen, insbesondere von Augmented-Reality-Informationen, mit Hilfe von in RFID-Datenspeichern hinterlegten Trackinginformationen

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FRIEDRICH W: "ARVIKA, Augmented Reality für Entwicklung, Produktion und Service", part Seiten 52-56,92,93 2004, PUBLICIS CORPORATE PUBLISHING, ISBN: 3-89578-239-4 *
PAELKE V., REIMANN, C.: "Authoring von Augmented-Reality-Anwendungen", DEUTSCHE GESELLSCHAFT FÜR KARTOGRAPHIE, KARTOGRAPHISCHE SCHRIFTEN, BAND 10: AKTUELLE ENTWICKLUNGEN IN GEOINFORMATION UND VISUALISIERUNG. BEITRÄGE DES SEMINARS GEOVIS 2006, vol. 10, 5 May 2006 (2006-05-05) - 6 April 2006 (2006-04-06), pages 37 - 45 *
WEIDENHAUSEN J-M: "Mobile Mixed Reality Platform (Dissertation)", part Seiten 7-11,47,48,53-56,71,75,76,84,86,128-134 2006, UNIVERSITÄT DARMSTADT *

Also Published As

Publication number Publication date
US20100033404A1 (en) 2010-02-11
US8390534B2 (en) 2013-03-05
WO2008107021A1 (de) 2008-09-12

Similar Documents

Publication Publication Date Title
EP2132706A1 (de) Verfahren und vorrichtung zur generierung von trackingkonfigurationen für augmented-reality-anwendungen
DE69730372T2 (de) Rechnergrafikanimation
DE69632578T2 (de) Computer-grafiksystem zum schaffen und verbessern von texturabbildungssystemen
DE102016113060A1 (de) Verfahren zum Steuern eines Objekts
EP1701233A2 (de) Generierung virtueller Welten auf Basis einer realen Umgebung
DE102016220670A1 (de) Verfahren und System zum Testen von Software für autonome Fahrzeuge
DE112008003963B4 (de) System und Verfahren zur Off-line-Programmierung eines Industrieroboters
DE102012220884A1 (de) Maschinensichtsystemprogramm-Bearbeitungsumgebung mit Echtzeitkontexterzeugungsmerkmalen
DE102016105496A1 (de) System zur Prüfung von Objekten mittels erweiterter Realität
DE102006043390A1 (de) Vorrichtung und Verfahren zur Simulation eines Ablaufs zur Bearbeitung eines Werkstücks an einer Werkzeugmaschine
DE102006019292A1 (de) Modellieren programmierbarer Einrichtungen
WO2020126240A1 (de) Verfahren zum betreiben eines feldgeräts der automatisierungstechnik in einer augmented-reality/mixed-reality-umgebung
DE102006014849A1 (de) Vorrichtung und Verfahren zum Vorbereiten von Daten, um ein Simulationsmodell zu erzeugen, sowie ein Programm dafür
EP0859987A2 (de) Computergestütztes arbeits- und informationssystem und zugehöriger baustein
EP1092210B1 (de) Vorrichtung und verfahren zur erstellung eines virtuellen anlagenmodells
DE102004016329A1 (de) System und Verfahren zur Durchführung und Visualisierung von Simulationen in einer erweiterten Realität
DE102005010225A1 (de) Verfahren zum Vergleich eines realen Gegenstandes mit einem digitalen Modell
DE102018118422A1 (de) Verfahren und system zur darstellung von daten von einer videokamera
Peebles Modelling alternative strategies for mental rotation
EP2191338B1 (de) System zur erstellung eines simulationsprogramms
DE102014009389B3 (de) Prüfungsmodul für eine kombinierte Fräs-Dreh-Maschine
EP1178438A1 (de) Verfahren und System zum automatischen Überprüfen der Baubarkeit eines aus mehreren rechnergestützt konstruierten Bauteilen bestehenden Gesamtprodukts
DE102017108622A1 (de) System zur unterstützung von teamarbeit mittels augmented reality
DE102022104805A1 (de) Verfahren zum Trainieren eines künstliche Intelligenz-Systems; System, aufweisend ein künstliche Intelligenz-System, Computerprogrammprodukt
DE102018205007A1 (de) Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zum Erstellen einer Virtual-Reality-Anwendung

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20090527

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR

17Q First examination report despatched

Effective date: 20100322

DAX Request for extension of the european patent (deleted)
APBK Appeal reference recorded

Free format text: ORIGINAL CODE: EPIDOSNREFNE

APBN Date of receipt of notice of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA2E

APBR Date of receipt of statement of grounds of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA3E

APAF Appeal reference modified

Free format text: ORIGINAL CODE: EPIDOSCREFNE

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SIEMENS AKTIENGESELLSCHAFT

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SIEMENS AKTIENGESELLSCHAFT

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

APBT Appeal procedure closed

Free format text: ORIGINAL CODE: EPIDOSNNOA9E

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20180516