DE102005058240A1 - Tracking system and method for determining poses - Google Patents

Tracking system and method for determining poses Download PDF

Info

Publication number
DE102005058240A1
DE102005058240A1 DE102005058240A DE102005058240A DE102005058240A1 DE 102005058240 A1 DE102005058240 A1 DE 102005058240A1 DE 102005058240 A DE102005058240 A DE 102005058240A DE 102005058240 A DE102005058240 A DE 102005058240A DE 102005058240 A1 DE102005058240 A1 DE 102005058240A1
Authority
DE
Germany
Prior art keywords
tracking
determining
data set
configuration data
appropriate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102005058240A
Other languages
German (de)
Inventor
Mehdi Hamadou
Dirk Jahn
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to DE102005058240A priority Critical patent/DE102005058240A1/en
Priority to PCT/EP2006/067240 priority patent/WO2007065750A1/en
Publication of DE102005058240A1 publication Critical patent/DE102005058240A1/en
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Abstract

Die Erfindung betrifft ein Trackingsystem und ein Verfahren zur Posenbestimmung eines Anwenders oder einer beweglichen Vorrichtung sowie ein Augmented Reality System, aufweisend ein derartiges Trackingsystem. Um ein im Hinblick auf die Umgebungsverhältnisse eines Anwenders adaptives Tracking zu ermöglichen, werden die Umgebungsverhältnisse des Anwenders mit einem hierfür geeigneten Sensor erfasst und in Abhängigkeit dieser automatisch ein geeignetes Trackingverfahren und ein Konfigurationsdatensatz zu dessen Konfiguration bestimmt.The invention relates to a tracking system and a method for determining the poses of a user or a movable device and an augmented reality system having such a tracking system. In order to enable adaptive tracking with regard to the environmental conditions of a user, the environmental conditions of the user are recorded with a suitable sensor and a suitable tracking method and a configuration data set for its configuration are automatically determined as a function of this.

Description

Die Erfindung betrifft ein Trackingsystem und ein Verfahren zur Polenbestimmung eines Anwenders oder einer beweglichen Vorrichtung sowie ein Augmented Reality System aufweisend ein derartiges Trackingsystem.The The invention relates to a tracking system and a method for determining poles a user or a mobile device as well as an augmented Reality system comprising such a tracking system.

Augmented Reality, erweiterte Realität, beschreibt eine Form der Mensch-Technik Interaktion, bei der einem Anwender z.B. über eine Datenbrille Informationen in sein Sichtfeld eingeblendet werden, um die von ihm wahrgenommene Realität zu erweitern. Anwendungen findet diese Technologie beispielsweise in den Bereichen Industrie, Medizin und Konsumer.Augmented Reality, augmented reality, describes a form of human-technology interaction in which one User e.g. above a data goggle information is faded in to his field of view the reality perceived by him to expand. Applications find this technology, for example in the fields of industry, medicine and consumers.

Bei der virtuellen Erweiterung des Blickfeldes des Anwenders sollen die virtuellen Informationen in der Regel in einem bestimmten räumlichen Bezug zu den realen Elementen im Blickfeld des Anwenders positioniert werden. Um diese virtuelle Erweiterung des realen Blickfeldes positionsgenau zu erreichen, werden so genannte Trackingverfahren eingesetzt. Die Trackingverfahren dienen dazu, eine Pose zu Bestimmen. Unter der Pose oder unter so genannten Poseninformationen wird hier sowie im gesamten Dokument eine Informationsmenge verstanden, anhand der sich die Blickrichtung des Anwenders ableiten lässt. Die Poseninformationen beschreiben somit die Position und die Lage des Anwenders oder auch einer beweglichen Vorrichtung in Bezug auf die reale Umgebung. Über die Pose kann somit zu jedem Zeitpunkt auf das reale Blickfeld des Anwenders geschlossen werden. Dies ist Voraussetzung dafür, dass die virtuelle Erweiterung des realen Blickfeldes positionsgenau durchgeführt werden kann.at the virtual extension of the field of view of the user the virtual information usually in a specific spatial reference positioned to the real elements in the field of vision of the user become. To this virtual extension of the real field of view positionally accurate To achieve so-called tracking methods are used. The Tracking methods are used to determine a pose. Under the Pose or under so-called pose information will be here as well understood throughout the document an amount of information, based on the the line of sight of the user can be deduced. The pose information thus describe the position and location of the user or even a movable device in relation to the real environment. About the Pose can therefore at any time on the real field of vision of the user getting closed. This is a prerequisite for the virtual extension the real field of view can be performed positionally accurate.

Die Umsetzung der Trackingverfahren kann sowohl hardware- als auch softwaretechnisch geschehen. Hierbei kommen optische, inertiale, akustische, magnetische etc. Verfahren zum Ein satz. Die einzelnen Verfahren setzen dabei auf unterschiedliche Algorithmen und Technologien auf, die alle eine mehr oder minder genaue Aussage über die Pose des Benutzers liefern.The Implementation of the tracking method can be hardware as well as software happen. Here come optical, inertial, acoustic, magnetic etc. method for a sentence. The individual procedures set thereby on different algorithms and technologies, all a more or less accurate statement about the pose of the user deliver.

Die einzelnen Verfahren müssen zur Bestimmung der Benutzerposition und -lage mit Informationen versorgt werden. Diese Informationen können z.B. dreidimensionale Modelle der betrachteten Umgebung, Bilder betrachteter Objekte aus verschiedenen Positionen, erkannte markante Punkte, Linien, Farbverläufe usw. oder speziell angebrachte, codierte Marker sein. Diese für das Tracking notwendigen Informationen werden dem Verfahren in der Regel initial zugeführt.The individual procedures must to determine user position and location with information be supplied. This information may e.g. three-dimensional Models of the environment under consideration, images of objects viewed different positions, recognized prominent points, lines, gradients, etc. or specially attached coded markers. This for tracking necessary information is usually initial to the procedure fed.

Die Eignung der verschiedenen zur Verfügung stehenden Trackingverfahren hängt insbesondere von den Umgebungsverhältnissen des Anwenders ab. Optische Verfahren, bei denen die Umgebung mit einer Kamera analysiert wird und aus den aufgenommenen Bildern die Position und die Lage des Anwenders bestimmt wird, sind für viele Anwendungsbereiche geeignet. Grund hierfür ist, dass die Verfahren ohne zusätzliche Instrumentierungen wie z.B. an den Objekten angebrachte Marker auskommen. Im Bereich der optischen Verfahren existieren unterschiedliche Ansätze, wie z.B. kanten-, punkt- oder regionenbasierte Verfahren. Diese Verfahren sind in unterschiedlichen Anwendungsfällen mehr oder minder geeignet. Beispielsweise sind in einem Motorraum eines Fahrzeugs für ein regionenbasiertes Verfahren in der Regel zu wenig verwertbare Regionen zu finden, so dass ein solches Verfahren für einen derartigen Anwendungsfall schlechte Ergebnisse liefert. In einem Schaltschrank befinden sich meist rechteckige Elemente, die viele Kanten aufweisen. Hier sind folglich kantenbasierte Verfahren besonders geeignet. Ein allgemein gültiges Verfahren für alle Anwendungen in den Bereichen Industrie, Medizin und Konsumer ist jedoch aufgrund der unterschiedlichen Umgebungsbedingungen schwer realisierbar. Insbesondere müssen hier die Randbedingungen in Bezug auf Peformance und Stabilität beachtet werden, da diese für die Qualität des Tracking entscheidend sind und somit wiederum stark die Qualität des gesamten Augmented Reality Systems beeinflussen. Die Qualität des Trackings kann also bei einem gewählten Verfahren mit den dazugehörigen Konfigurationen in einer Situation genügen, aber in einer anderen Anwendungsdomäne vollkommen versagen.The Suitability of the different tracking methods available depends in particular from the environmental conditions of the user. Optical procedures involving the environment with a camera is analyzed and from the images taken the Position and location of the user is determined for many Applications suitable. The reason for this is that the procedures without additional Instrumentations such as e.g. get on the objects attached markers. In the field of optical methods, there are different approaches, such as e.g. Edge, point or region based methods. These procedures are in different applications more or less suitable. For example, in an engine compartment a vehicle for a region-based process is generally under-exploitable To find regions, so that such a procedure for one such application gives bad results. In one Control cabinets are usually rectangular elements, many of them Have edges. Here, edge-based methods are therefore especially suitable. A universal one Procedure for all applications in industry, medicine and consumer However, it is difficult due to the different environmental conditions realizable. In particular, need Here the boundary conditions with respect to Peformance and stability are considered as these are for the quality of the tracking are crucial and thus again the quality of the whole Influence augmented reality systems. The quality of the tracking So can with a selected Procedure with the associated Configurations in one situation are enough, but in another application domain completely fail.

Als Alternative zu optischen Verfahren, die in der Regel auch sehr viel Rechenleistung beanspruchen, sind inertiale Systeme bzw. Verfahren bekannt. Diese verfügen über sehr gute Echtzeitfähigkeit. Mit ihnen können jedoch nur relative Bewegungen des Benutzers erfasst werden.When Alternative to optical methods, which usually also very much Compute computing power, inertial systems or procedures known. These have a lot good real-time capability. With them you can however, only relative movements of the user are detected.

Weiterhin existieren magnetische Verfahren, die jedoch sehr anfällig gegenüber Umgebungen mit starken magnetischen Feldern sind, wie sie beispielsweise in industriellen Umgebungen aufgrund der vorhandenen Maschinen und der elektrischen Antriebe zu finden sind. Die Verfahren können hierdurch leicht gestört werden.Farther There are magnetic methods that are very vulnerable to environments with strong magnetic fields, such as those in industrial environments due to the existing machinery and the electric drives are to be found. The methods can thereby slightly disturbed become.

Auch bekannte akustische Verfahren können aufgrund der Geräuschkulisse in einer industriellen Produktionsumgebung nur sehr bedingt zum Einsatz kommen.Also known acoustic methods can due to the background noise in an industrial production environment only to a very limited extent Use come.

Insbesondere aufgrund der Algorithmik, die zur Durchführung eines Trackingverfahrens Anwendung findet, werden Konfigurationsparameter benötigt, die ebenfalls Einfluss auf die Qualität und Stabilität des Tracking haben. Für verschiedene Anwendungen werden somit unterschiedliche Verfahren mit unterschiedlichen Konfigurationen benötigt, die in Abhängigkeit der Umgebungsverhältnisse des Anwenders von einem Experten ausgewählt und manuell optimiert werden müssen. Unter Umgebungsverhältnisse werden in diesem Zusammenhang sowohl die betrachteten Objekte als solche verstanden als auch beispielsweise die Lichtverhältnisse in der Umgebung dieser Objekte, die ebenfalls entscheidenden Einfluss auf die Stabilität des Tracking haben.In particular due to the algorithms used to perform a tracking method, configuration parameters are needed that also affect quality and stability have the quality of tracking. Different applications with different configurations are therefore required for different applications, which must be selected by an expert and manually optimized depending on the environmental conditions of the user. Under environmental conditions in this context, both the objects considered as such understood as well as, for example, the lighting conditions in the environment of these objects, which also have a decisive influence on the stability of the tracking.

Die genannten unterschiedlichen Trackingverfahren werden bisher fast ausschließlich für sich alleine betrachtet.The So far, these different tracking methods are almost exclusively for yourself considered.

Der Erfindung liegt die Aufgabe zugrunde, ein im Hinblick auf die Umgebungsverhältnisse eines Anwenders adaptives Tracking zu ermöglichen.Of the Invention is based on the object, with regard to the environmental conditions to allow a user adaptive tracking.

Diese Aufgabe wird durch ein Trackingsystem zur Posenbestimmung eines Anwenders oder einer beweglichen Vorrichtung gelöst, wobei das Trackingsystem umfasst:

  • – mindestens einen Sensor zur Erfassung von Umgebungsinformationen, die die Umgebungsverhältnisse des Anwenders oder der beweglichen Vorrichtung beschreiben,
  • – einen ersten Speicherbereich für zur Durchführung verschiedener Trackingverfahren vorgesehene Trackingalgorithmen,
  • – einen zweiten Speicherbereich für zur Konfiguration der verschiedenen Trackingverfahren vorgesehene Konfigurationsdatensätze,
  • – Auswahlmittel zur Auswahl eines zur Posenbestimmung geeigneten Trackingverfahrens aus der Menge der verschiedenen Trackingverfahren,
  • – Bestimmungsmittel zur Bestimmung eines zur Posenbestimmung geeigneten Konfigurationsdatensatzes auf Basis der Umgebungsinformationen,
  • – Konfigurationsmittel zur Konfiguration des geeigneten Trackingverfahrens mit dem geeigneten Konfigurationsdatensatz und
  • – Ausführungsmittel zur Ausführung des zur Durchführung des konfigurierten Trackingverfahrens vorgesehenen Trackingalgorithmus.
This object is achieved by a tracking system for determining the pose of a user or a mobile device, wherein the tracking system comprises:
  • At least one sensor for acquiring environmental information describing the environmental conditions of the user or the mobile device,
  • A first storage area for tracking algorithms provided for carrying out different tracking methods,
  • A second memory area for configuration data records provided for configuring the various tracking methods,
  • Selection means for selecting a tracking method suitable for determining poses from the set of different tracking methods,
  • Determining means for determining a pose determination suitable configuration record based on the environment information,
  • Configuration means for configuring the appropriate tracking method with the appropriate configuration data set and
  • - Execution means for execution of the provided for performing the configured tracking method tracking algorithm.

Ferner wird die Aufgabe durch ein Verfahren zur Posenbestimmung eines Anwenders oder einer beweglichen Vorrichtung gelöst mit folgenden Verfahrensschritten:

  • – Erfassen von Umgebungsinformationen mit mindestens einem Sensor, wobei die Umgebungsinformationen die Umgebungs verhältnisse des Anwenders oder der beweglichen Vorrichtung beschreiben,
  • – Auswählen eines zur Posenbestimmung geeigneten Trackingverfahrens aus einer Menge verschiedener Trackingverfahren, zu deren Durchführung vorgesehene Trackingalgorithmen in einem ersten Speicherbereich abgelegt sind, wobei das Auswählen auf Basis der Umgebungsinformationen geschieht,
  • – Bestimmen eines zur Posenbestimmung geeigneten Konfigurationsdatensatzes auf Basis der Umgebungsinformationen,
  • – Konfigurieren des bekannten Trackingverfahrens mit dem geeigneten Konfigurationsdatensatz und
  • – Ausführen des zur Durchführung des konfigurierten Verfahrens vorgesehenen Trackingalgorithmus.
Furthermore, the object is achieved by a method for determining the pose of a user or a movable device with the following method steps:
  • Acquiring environmental information with at least one sensor, the environmental information describing the environmental conditions of the user or the mobile device,
  • Selecting a tracking method suitable for determining a pose from a set of different tracking methods, for the implementation of which provided tracking algorithms are stored in a first memory area, wherein the selection is based on the surrounding information,
  • Determining a configuration-appropriate set of poses based on the environment information,
  • Configuring the known tracking method with the appropriate configuration data record and
  • Execute the tracking algorithm provided for carrying out the configured method.

Der Erfindung liegt die Erkenntnis zugrunde, dass das Tracking insbesondere im Hinblick auf die Umgebungsverhältnisse im Vergleich zum Stand der Technik deutlich verbessert werden kann, wenn ein Trackingsystem zur Verfügung steht, welches Mittel zur Auswahl eines geeigneten Trackingverfahrens und dessen Konfiguration in Abhängigkeit der Umgebungsverhältnisse aufweist. Um dies zu realisieren, weist das erfindungsgemäße Trackingsystem mindestens einen Sensor auf, mit dem zunächst die Umgebungsverhältnisse des Anwenders bzw. der beweglichen Vorrichtung erfasst werden können. Bei dem Sensor kann es sich um einen optischen, inertialen, magnetischen oder auch akustischen Sensor handeln. Selbstverständlich können auch verschiedene Sensorarten zur Erfassung der Umgebungsinformationen kombiniert werden, um so möglichst vielschichtige Umgebungsinformationen zu erlangen.Of the Invention is based on the finding that the tracking in particular in terms of environmental conditions compared to the state The technique can be significantly improved if a tracking system to disposal what means to choose a suitable tracking method and its configuration depending the environmental conditions having. To realize this, has the tracking system according to the invention at least one sensor with which initially the environmental conditions the user or the movable device can be detected. In which Sensor can be an optical, inertial, magnetic or act as an acoustic sensor. Of course you can too different types of sensors to capture environmental information be combined as possible to obtain multi-layered environmental information.

Das erfindungsgemäße Trackingsystem ist in der Lage, verschiedene Trackingverfahren auszuführen. Hierzu weist das Trackingsystem den ersten Speicherbereich auf, in dem die zur Durchführung der verschiedenen Trackingverfahren geeigneten Trackingalgorithmen abgelegt sind. Wird also im Hinblick auf die aktuellen Umgebungsverhältnisse des Anwenders bzw. der beweglichen Vorrichtung ein bestimmtes Trackingverfahren ausgewählt, so kann das Trackingsystem den entsprechenden Trackingalgorithmus aus dem ersten Speicherbereich laden und mit Hilfe der Ausführungsmittel ausführen. Es ist hierbei auch denkbar, dass mehrere Trackingverfahren und zugehörige Algorithmen miteinander kombiniert werden, um die Pose zu bestimmen.The Tracking system according to the invention is able to perform different tracking methods. For this the tracking system has the first memory area in which to carry out the various tracking methods suitable tracking algorithms filed are. So in terms of the current environmental conditions the user or the movable device, a specific tracking method selected, so the tracking system can use the appropriate tracking algorithm load from the first memory area and using the execution means To run. It is also conceivable that several tracking methods and associated Algorithms are combined together to determine the pose.

Ein bestimmtes Trackingverfahren kann mit verschiedenen Konfigurationsdatensätzen konfiguriert werden, wobei der optimale Konfigurationsdatensatz eines gewählten Trackingverfahrens wiederum von den Umgebungsverhältnissen des Anwenders bzw. der beweglichen Vorrichtung abhängt. Bei den Konfigurationsdatensätzen handelt es sich beispielsweise um mathematische Parameter, mit deren Hilfe die im ersten Speicherbereich abgelegten Trackingalgorithmen parametriert werden können. Weiterhin können die Konfigurationsdatensätze aber auch Parameter für im System eingesetzte Komponenten enthalten. Beispielsweise könnte ein Parameter die Belichtungszeit einer für ein optisches Tracking eingesetzten Kamera definieren. Ein solcher Parameter würde beispielsweise in Abhängigkeit der Lichtverhältnisse des Anwenders bzw. der beweglichen Vorrichtung mit Hilfe der Bestimmungsmittel bestimmt.A particular tracking method may be configured with a variety of configuration records, wherein the optimal configuration record of a selected tracking method in turn depends on the environmental conditions of the user or the moving device. The configuration data sets are, for example, mathematical parameters with the aid of which the tracking algorithms stored in the first memory area can be parameterized. Furthermore, the configuration data sets but also contain parameters for components used in the system. For example, one parameter could define the exposure time of a camera used for optical tracking. Such a parameter would be determined, for example, as a function of the light conditions of the user or of the movable device with the aid of the determination means.

Sind nun mit Hilfe des Systems sowohl ein geeignetes Trackingverfahren als auch ein zu dessen Konfiguration geeigneter Konfigurationsdatensatz unter Berücksichtigung der Umgebungsinformationen bestimmt, so wird das geeignete Trackingverfahren zunächst mit Hilfe Konfigurationsmittel mit dem geeigneten Konfigurationsdatensatz konfiguriert und anschließend ausgeführt. Hierzu wird ein entsprechender Trackingalgorithmus aus dem ersten Speicherbereich geladen und nach einer Parametrisierung mit den im Konfigurationsdatensatz enthaltenen Parametern mittels der Ausführungsmittel ausgeführt.are now with the help of the system both a suitable tracking method as well as a configuration data set suitable for its configuration consideration determines the environment information, then the appropriate tracking method first using configuration means with the appropriate configuration record configured and then executed. For this purpose, a corresponding tracking algorithm from the first memory area loaded and after a parameterization with those in the configuration data set contained parameters carried out by the execution means.

Die erfindungsgemäßen Auswahl-, Bestimmungs-, Konfigurations- und Ausführungsmittel können durch separate intelligente Bau teile wie Digitale Signalprozessoren oder Mikrocontroller realisiert werden. Alternativ können alle oder auch beliebige Kombinationen der genannten Mittel gemeinsam auf einem derartigen intelligenten Bauteil realisiert werden.The according to the invention Determination, configuration and execution means can through separate intelligent components such as digital signal processors or microcontroller can be realized. Alternatively, all or any combinations of said agents in common be realized on such an intelligent component.

Ebenso können der erste und der zweite Speicherbereich auf einem gemeinsamen oder auf zwei getrennten Speicherbausteine realisiert sein.As well can the first and the second memory area on a common or be realized on two separate memory blocks.

Das erfindungsgemäße Trackingsystem hat gegenüber heutigen Systemen den entscheidenden Vorteil, dass mit diesem Trackingsystem eine breitere Palette von Anwendungsdomänen bedient werden kann. Durch die beschriebenen Möglichkeiten des Systems kann insgesamt ein besseres Ergebnis für Augmented Reality Anwendungen in den Bereichen Industrie, Medizin und Konsumer erzielt werden.The Tracking system according to the invention has opposite Today's systems have the distinct advantage of having this tracking system a wider range of application domains can be served. By the possibilities described Overall, the system can get a better result for augmented Reality applications in industry, medicine and consumer be achieved.

Bei einer vorteilhaften Ausführungsform der Erfindung sind die Bestimmungsmittel zur Bestimmung des geeigneten Konfigurationsdatensatzes aus einem der im zweiten Speicherbereich gespeicherten Konfigurationsdatensätze vorgesehen. Im zweiten Speicherbereich stehen verschiedene Konfigurationsdatensätze zur Verfügung, die für verschiedene Umgebungsverhältnisse des Anwenders bzw. der beweglichen Vorrichtung geeignet sind. Nach dem mit Hilfe des Sensors die Umgebungsverhältnisse erfasst wurden, kann also ein geeigneter Konfigurationsdatensatz einfach aus dem zweiten Speicherbereich ausgewählt werden und zur Konfiguration des geeigneten Trackingverfahrens mit den Konfigurationsmitteln verwendet werden.at an advantageous embodiment the invention are the determining means for determining the appropriate Configuration record from one of the second memory area stored configuration records provided. In the second Memory area are various configuration records to available the for different environmental conditions the user or the movable device are suitable. After this can be detected with the help of the sensor, the environmental conditions So a suitable configuration record simply from the second Memory area selected and to configure the appropriate tracking method the configuration means are used.

In weiterer vorteilhafter Ausgestaltung der Erfindung sind die Bestimmungsmittel zur Generierung neuer, noch nicht im zweiten Speicherbereich abgelegter Konfigurationsdatensätze vorgesehen. Kann also beispielsweise kein geeigneter Konfigurationsdatensatz im zweiten Speicherbereich für die aktuellen Umgebungsverhältnisse gefunden werden, so besteht durch diese weitere Ausgestaltungsform der Erfindung die Möglichkeit, während des Trackingbetriebes neue Konfigurationsdatensätze zu generieren, insbesondere indem bestehende Konfigurationsdatensätze auf die Umgebungsverhältnisse angepasst werden. Auf diese Art und Weise kann sichergestellt werden, dass immer eine optimierte Konfiguration für das gewählte Trackingverfahren zur Verfügung gestellt werden kann, auch wenn diese noch nicht im zweiten Speicherbereich liegen sollte. Lernfähig wird eine derartige Ausführung des erfindungsgemäßen Trackingsystems, indem die neuen Konfigurationsdatensätze zusammen mit den entsprechenden Umgebungsverhältnissen im Anschluss an ihre Generierung im zweiten Speicherbereich abgelegt werden.In Another advantageous embodiment of the invention are the determining means to generate new, not yet stored in the second memory area Configuration records intended. Can not, for example, a suitable configuration record in the second memory area for the current environmental conditions be found, it is through this further embodiment of the Invention the possibility during the Tracking operation to generate new configuration records, in particular by adding existing configuration records to the environmental conditions be adjusted. In this way, it can be ensured that always an optimized configuration for the selected tracking method for disposal can be made, even if they are not in the second memory area should lie. teachable becomes such an embodiment the tracking system according to the invention, by adding the new configuration records along with the corresponding ones environmental conditions stored in the second memory area following their generation become.

Während des Betriebes des Trackingsystems können sich die Umgebungsverhältnisse des Anwenders bzw. der beweglichen Vorrichtung ändern. Daher weist das Trackingsystem in besonders vorteilhafter Ausgestaltungsform der Erfindung Analysemittel zur Bestimmung der Güte eines laufenden Trackingverfahrens während der Posenbestimmung auf. Auf diese Art und Weise können Trackingverfahren und/oder gewählte Konfigurationsdatensätze frühzeitig ausgetauscht werden, wenn diese im Hinblick auf die Umgebungsverhältnisse nicht mehr optimal arbeiten.During the Operation of the tracking system can the environmental conditions change the user or the movable device. Therefore, the tracking system points in a particularly advantageous embodiment of the invention analysis means for determining the quality an ongoing tracking process during pose determination. In this way you can Tracking method and / or selected Configuration records early be replaced if this in terms of environmental conditions no longer working optimally.

In weiterer vorteilhafter Ausgestaltung der Erfindung sind Analysemittel zur Bestimmung der Güte auf Basis einer Bewertung des Laufzeitverhaltens und/oder der Störempfindlichkeit und/oder der Anzahl notwendiger Reinitialisierungen des laufenden Trackingverfahrens vorgesehen. Anhand der genannten Größen kann die Qualität und die Stabilität des aktuell laufenden Trackingverfahrens sehr gut kontrolliert werden.In Another advantageous embodiment of the invention are analysis means for determining the quality based on an assessment of the runtime behavior and / or susceptibility to interference and / or the number of necessary reinitializations of the current one Tracking method provided. On the basis of the sizes mentioned the quality and the stability of the currently running tracking process are very well controlled.

In weiterer vorteilhafter Ausgestaltung ist das Trackingsystem derart gestaltet, dass die Auswahl des geeigneten Trackingverfahrens und die Bestimmung des geeigneten Konfigurationsdatensatzes, die Konfiguration des geeigneten Trackingverfahrens mit dem geeigneten Konfigurationsdatensatz und die Ausführung des zur Durchführung des konfigurierten Tracking verfahrens vorgesehenen Trackingalgorithmus automatisch bei mangelnder Güte des laufenden Trackingverfahrens initiiert werden. Bei einer derartigen Ausführungsform der Erfindung werden also ein neues Trackingverfahren und/oder ein neuer Konfigurationsdatensatz gewählt, sobald mit Hilfe der Analysemittel eine unzureichende Güte des laufenden Trackingverfahren festgestellt wird. Auf diese Art und Weise kann schon im Vorfeld ein Trackingverlust vermieden werden, so dass ein Anwender, der das Trackingsystem unter sich ändernden Umgebungseinflüssen verwendet, stets optimale Trackingergebnisse erhält. Im Idealfall wird der Wechsel des Trackingverfahrens bzw. des Konfigurationsdatensatzes derart vollzogen, dass der Anwender hiervon überhaupt nichts spürt.In a further advantageous embodiment, the tracking system is designed such that the selection of the appropriate tracking method and the determination of the appropriate configuration data set, the configuration of the appropriate tracking method with the appropriate configuration record and the execution of the procedure for implementing the configured tracking method tracking algorithm automatically with lack of quality of current Tracking procedure to be initiated. In such an embodiment of the invention, therefore, a new tracking method and / or a new configuration data set are selected as soon as with the aid of Analysis means an insufficient quality of the current tracking method is detected. In this way, a tracking loss can be avoided in advance, so that a user who uses the tracking system under changing environmental conditions, always receives optimal tracking results. Ideally, the change of the tracking method or the configuration data set is performed in such a way that the user does not feel anything at all.

In weiterer vorteilhafter Ausgestaltung der Erfindung weist das System Archivierungsmittel zum Generieren und Archivieren eines Bewertungsdatensatzes auf, der die Güte des laufenden Trackingverfahrens in Abhängigkeit des während der Laufzeit des laufenden Trackingverfahrens zugeordneten Konfigurationsdatensatzes und der während der Laufzeit existierenden Umgebungsverhältnisse beschreibt. Bei einer solchen Ausführungsform der Erfindung wird also eine Art Wissensbasis angelegt, die bei der Auswahl des Trackingverfahrens bzw. eines geeigneten Konfigurationsdatensatzes unter Berücksichtigung der existierenden Umgebungsverhältnisse herangezogen werden kann. Auf diese Art und Weise ist das Trackingsystem lernfähig. Werden z.B. neue Konfigurationsdaten generiert, so können für diesen neu generierten Konfigurationsdatensatz und das hiermit konfigurierte Trackingverfahren Einträge im Bewertungsdatensatz stattfinden, aus denen die Güte bei bestimmten Umgebungsverhältnissen in späteren Anwendungen ableitbar ist.In Another advantageous embodiment of the invention, the system Archiving agent for generating and archiving a valuation data record on, the goodness the current tracking method depending on the during the Running time of the current tracking method associated configuration data set and the while describes the runtime existing environmental conditions. At a such embodiment The invention thus creates a kind of knowledge base, which in the selection of the tracking method or a suitable configuration data set considering the existing environmental conditions used can be. In this way, the tracking system is capable of learning. Become e.g. new configuration data can be generated for this newly generated configuration record and the tracking method configured with it entries in the rating record take place, from which the goodness in certain environmental conditions in later Applications is derivable.

Bei einer Existenz eines derartigen Bewertungsdatensatzes ist eine weitere Ausgestaltung der Erfindung vorteilhaft, bei der die Auswahlmittel zur Auswahl des geeigneten Trackingverfahrens auf Basis des Bewertungsdatensatzes vorgesehen sind und/oder die Bestimmungsmittel zur Bestimmung des geeigneten Konfigurationsdatensatzes auf Basis des Bewertungsdatensatzes vorgesehen sind. Auf diese Art und Weise kann der im laufenden Betrieb generierte Bewertungsdatensatz herangezogen werden, um noch schneller das optimale Trackingverfahren und den optimalen Konfigurationsdatensatz unter bestimmten Umgebungsverhältnissen zu bestimmen. Das System profitiert hierbei von seiner Lernfähigkeit und kann ein noch leistungsfähigeres Tracking leisten.at an existence of such a rating data set is another Embodiment of the invention advantageous in which the selection means to select the appropriate tracking method based on the rating data set are provided and / or the determination means for determining the suitable configuration data record based on the evaluation data record are provided. In this way, the generated during operation Evaluation data set are used to even faster the optimal Tracking method and the optimal configuration record under certain environmental conditions to determine. The system benefits from its ability to learn and can be an even more powerful one Make tracking.

Für den verwendeten Sensor kommen verschiedenste Ausführungsformen in Frage, die ihrerseits auch die verschiedenen zur Verfügung stehenden Trackingverfahren bestimmen.For the used Sensor come in various embodiments in question, the in turn, the various available tracking methods determine.

Bei einer vorteilhaften Ausführungsform der Erfindung ist der Sensor als Kamera ausgeführt. Mit der Kamera können die Umgebungsverhältnisse des Anwender bzw. der mobilen Vorrichtung erfasst werden, um die entsprechenden Umgebungsinformationen zu generieren. Darüber hinaus kann die Kamera auch direkt für optische Trackingverfahren verwendet werden, bei denen die Pose anhand von Bildinformationen berechnet wird.at an advantageous embodiment According to the invention, the sensor is designed as a camera. With the camera, the environmental conditions the user or the mobile device are detected to the generate corresponding environment information. Furthermore the camera can synonymous directly for Optical tracking methods are used that pose the pose is calculated on the basis of image information.

Alternativ kann der Sensor auch als magnetischer, interialer oder akustischer Sensor in einer weiteren Ausgestaltungsform der Erfindung ausgeführt sein. Ferner ist auch eine Verwendung einer Kamera in Kombination mit einem akustischen und/oder magnetischen Sensor zum Erfassen der Umgebungsinformationen denkbar und von der Erfindung umfasst.alternative The sensor can also be called magnetic, interial or acoustic Sensor be executed in a further embodiment of the invention. Furthermore, a use of a camera in combination with an acoustic and / or magnetic sensor for detecting the Environmental information conceivable and encompassed by the invention.

Selbstverständlich ist das Trackingsystem auch mit mehreren Sensoren ausführbar. Wird das Trackingsystem beispielsweise sowohl mit einem Inertialsensor als auch mit einer Kamera ausgeführt, so können sowohl optische als auch inertiale Trackingverfahren zur Posenbestimmung eingesetzt werden und so noch besser auf die verschiedenen Umgebungsverhältnisse des Anwenders bzw. der beweglichen Vorrichtung reagiert werden.Of course it is The tracking system can also be executed with several sensors. Becomes the tracking system, for example, both with an inertial sensor as well as with a camera, so can both optical and inertial tracking methods for pose determination be used and so even better on the different environmental conditions the user or the moving device are reacted.

In weiterer vorteilhafter Ausgestaltung der Erfindung ist der Sensor zur Erfassung von zur Posenbestimmung benötigten Trackinginformationen bei der Ausführung des geeigneten Trackingverfahrens vorgesehen. In diesem Fall wird der Sensor, z.B. eine Kamera, zunächst zur Erfassung der Umgebungsinformationen verwendet, um die Auswahl des geeigneten Trackingverfahrens und die Bestimmung des Konfigurationsdatensatzes zu ermöglichen. Bei der Ausführung wird derselbe Sensor schließlich für die kontinuierliche Verfolgung der Pose verwendet, d.h. insbesondere zur kontinuierlichen Erfassung der Position und des Blickwinkels des Anwenders.In Another advantageous embodiment of the invention is the sensor to capture tracking information needed to determine poses the execution the appropriate tracking method provided. In this case will the sensor, e.g. a camera, first to capture the environmental information used to select the appropriate tracking method and to allow the determination of the configuration data set. In the execution becomes the same sensor eventually for the continuous tracking of the pose, i. especially for continuous detection of position and angle of view of the user.

Um virtuelle Informationen unter verschiedenen Umgebungseinflüssen möglichst positionsgenau und zuverlässig in das Blickfeld eines Anwenders einblenden zu können, ist ein Augmented Reality System mit einem Trackingsystem zur Posenbestimmung eines Anwenders oder einer beweglichen Vorrichtung nach einer der zuvor genannten Ausführungsformen der Erfindung vorteilhaft.Around virtual information under different environmental influences as possible accurate and reliable Being able to fade into the field of view of a user is an augmented reality system with a tracking system for determining the pose of a user or a movable device according to one of the aforementioned embodiments advantageous to the invention.

Im Folgenden wird die Erfindung anhand des in der Figur dargestellten Ausführungsbeispiels näher beschrieben und erläutert.in the The invention will be described below with reference to the FIG embodiment described in more detail and explained.

Die Figur zeigt ein Verfahren zur Posenbestimmung eines Anwenders oder einer beweglichen Vorrichtung mit Hilfe eines Trackingsystems gemäß einer Ausführung der Erfindung.The FIG. 1 shows a method for determining the pose of a user or a movable device by means of a tracking system according to a execution the invention.

Das dargestellte Trackingsystem ist Bestandteil eines Augmented Reality Systems, bei dem virtuelle Informationen positionsgenau in das Blickfeld eines Anwenders 11 mit Hilfe einer Datenbrille 12 eingeblendet werden.The tracking system shown is part of an augmented reality system in which virtual information is positioned precisely in the field of view of a user 11 with the help of data glasses 12 to be displayed.

Das System besteht zum einen aus einer Datenverarbeitungseinrichtung 22. Die Datenverarbeitungseinheit 22 dient in erster Linie der Bestimmung eines geeigneten Trackingverfahrens und eines zu dessen Konfiguration geeigneten Konfigurationsdaten satzes 19 unter Berücksichtigung der Umgebungsverhältnisse des Anwenders 11. Unter den Umgebungsverhältnissen soll in diesem Zusammenhang zum einen die Art und Weise der Objekte verstanden werden, die sich im Blickfeld des Anwenders 11 befinden und zu deren Erweiterung virtuelle Informationen in das Blickfeld des Anwenders 11 eingeblendet werden sollen. Beispielsweise wird in der Regel bei der Betrachtung eines Motorraumes für ein Kraftfahrzeug ein anderes Trackingverfahren zweckmäßig sein als bei der Verwendung des Systems im medizinischen Umfeld.The system consists on the one hand of a data processing device 22 , The data processing unit 22 serves primarily to determine a suitable tracking method and a suitable configuration of its configuration data set 19 taking into account the environmental conditions of the user 11 , In this context, the environmental conditions should be understood, on the one hand, as the type of objects that are in the field of vision of the user 11 and for their extension, virtual information in the field of view of the user 11 to be displayed. For example, when considering an engine compartment for a motor vehicle, a different tracking method will usually be appropriate than when using the system in a medical environment.

Zum anderen sollen unter Umgebungsverhältnissen auch die Bedingung verstanden werden, unter denen der Anwender eben diese Objekte betrachtet. Hiermit sind beispielsweise die Lichtverhältnisse in der Umgebung des Anwenders 11 gemeint.On the other hand, environmental conditions should also be understood as the condition under which the user views these objects. Hereby, for example, the lighting conditions in the environment of the user 11 meant.

Die Umgebungsverhältnisse werden mit einer am Kopf des Anwenders 11 angebrachten Kamera 9 erfasst. Es werden Umgebungsinformationen 13 generiert, die an die Datenverarbeitungseinrichtung 22 gesendet werden. Die Datenverarbeitungseinheit 22 umfasst einen Speicher mit einem ersten Speicherbereich 7 und einem zweiten Speicherbereich 8. Innerhalb des ersten Speicherbereichs 7 sind verschiedene Trackingalgorithmen 15 abgelegt, die zur Durchführung verschiedener Trackingverfahren, die mit Hilfe des dargestellten Systems zur Posenbestimmung ausgeführt werden können, benötigt werden. Innerhalb des zweiten Speicherbereiches 8 befinden sich Konfigurationsdatensätze 16. Mit Hilfe der Konfigurationsdatensätze 16 können die verschiedenen mit Hilfe des Systems ausführbaren Trackingverfahren entsprechend der Umgebungsbedingungen konfiguriert werden.The environmental conditions are with one at the head of the user 11 attached camera 9 detected. There will be environmental information 13 generated to the data processing device 22 be sent. The data processing unit 22 comprises a memory with a first memory area 7 and a second memory area 8th , Within the first memory area 7 are different tracking algorithms 15 required to perform various tracking methods that can be performed using the illustrated pose determination system. Within the second memory area 8th there are configuration records 16 , Using the configuration records 16 For example, the various system-executable tracking methods can be configured according to the environmental conditions.

Ziel des dargestellten Trackingsystems ist die Auswahl eines optimalen Trackingverfahrens und einer hierfür optimalen Konfiguration unter Berücksichtigung der Umgebungsverhältnisse des Anwenders 11. Daher werden die mittels der Kamera 9 erfassten Umgebungsinformationen 13 von Auswahlmitteln 1 der Datenverarbeitungseinheit 22 zur Auswahl eines unter den gegebenen Umgebungsverhältnissen am besten geeigneten Trackingalgorithmus 18 aus dem ersten Speicherbereich 7 herangezogen. Die Datenverarbeitungseinheit 22 weist darüber hinaus Bestimmungsmittel 2 auf, mit deren Hilfe z.B. aus dem zweiten Speicherbereich 8 ein geeigneter Konfigurationsdatensatz 19 ausgewählt werden kann. Sollte unter den im zweiten Speicherbereich 8 abgelegten Konfigurationsdatensätzen 16 kein geeigneter Konfigurationsdatensatz für die aktuell herrschenden Umgebungsverhältnisse vorhanden sein, so können mit Hilfe der Bestimmungsmittel 2 auch neue Konfigurationsdaten in Form eines neuen Konfigurationsdatensatzes 17 generiert werden.The aim of the tracking system shown is the selection of an optimal tracking method and an optimal configuration for this purpose, taking into account the environmental conditions of the user 11 , Therefore, the means of the camera 9 captured environmental information 13 of selection means 1 the data processing unit 22 for selecting a tracking algorithm most suitable under the given environmental conditions 18 from the first storage area 7 used. The data processing unit 22 moreover has determination means 2 on, with their help, for example, from the second memory area 8th a suitable configuration record 19 can be selected. Should be under the second memory area 8th stored configuration records 16 no suitable configuration data set for the currently prevailing environmental conditions may be present, so with the aid of the determination means 2 also new configuration data in the form of a new configuration data record 17 to be generated.

Nach der Auswahl des am besten geeigneten Trackingverfahrens bzw. des zu dessen Ausführung vorgesehenen Algorithmus 18 und der Bestimmung des am besten geeigneten Konfigurationsdatensatzes 19 wird mit Hilfe von Konfigurationsmitteln 3 der Datenverarbeitungseinheit 22 das gewählte Trackingverfahren mit den gewählten Konfigurationsdatensatz 19 konfiguriert.After selecting the most suitable tracking method or algorithm for its execution 18 and determining the most appropriate configuration record 19 is done with the help of configuration tools 3 the data processing unit 22 the selected tracking method with the selected configuration data set 19 configured.

Der ausgewählte geeignete Konfigurationsdatensatz 19 enthält zum einen Daten, mit denen zur Posenbestimmung benötigte Betriebsmittel des Systems konfiguriert werden. Bei dem dargestellten Beispiel sei angenommen, dass für das gewählte Trackingverfahren eine Kamera 9 und ein inertialer Sensor 10 eingesetzt werden sollen. Der geeignete Konfigurationsdatensatz 19 enthält beispielsweise Parameter dieser Komponenten wie eine Belichtungszeit für die Kamera 9. Weiterhin enthält der Konfigurationsdatensatz 19 eine Anzahl mathematischer Parameter, mit deren Hilfe ein Trackingalgorithmus 18 parametriert wird, der zur Durchführung des gewählten Trackingverfahrens benötigt wird.The selected appropriate configuration record 19 On the one hand, it contains data that are used to configure the system's resources required for determining poses. In the illustrated example, assume that for the selected tracking method a camera 9 and an inertial sensor 10 should be used. The appropriate configuration record 19 contains, for example, parameters of these components such as an exposure time for the camera 9 , Furthermore, the configuration record contains 19 a number of mathematical parameters that help a tracking algorithm 18 is parameterized, which is required to carry out the selected tracking method.

Das dargestellte System umfasst darüber hinaus Ausführungsmittel 6, mit denen ein mit den gewählten Konfigurationsdaten parametrisierter Trackingalgorithmus 20 ausgeführt werden kann. Beispielsweise sind die Ausführungsmittel 6 auf einem digitalen Signalprozessor implementiert, der wiederum in einer mobilen von Anwender 11 getragenen Vorrichtung implementiert ist. Zur Bestimmung einer Pose des Anwenders 11 werden die von der Kamera 9 und dem inertialen Sensor 10 erfassten Daten dem digitalen Signalprozessor zugeführt. Durch Ausführung des konfigurierten Trackingalgorithmus 20 erzeugt der digitale Signalprozessor schließlich die aktuelle Pose 14 des Anwenders 11. Mit Hilfe der Pose 14 können die virtuellen Informationen positionsgenau über die Datenbrille 12 in das Sichtfeld des Anwenders 11 eingeblendet werden.The illustrated system further includes execution means 6 with which a tracking algorithm parameterized with the selected configuration data 20 can be executed. For example, the execution means 6 implemented on a digital signal processor, which in turn turns into a mobile user 11 worn device is implemented. To determine a pose of the user 11 Be the of the camera 9 and the inertial sensor 10 captured data supplied to the digital signal processor. By executing the configured tracking algorithm 20 Finally, the digital signal processor generates the current pose 14 of the user 11 , With the help of the pose 14 The virtual information can be positioned exactly over the data glasses 12 in the field of view of the user 11 to be displayed.

Um auch bei veränderlichen Umgebungsbedingungen stets das optimale Trackingverfahren und den am besten geeigneten Konfigurationsdatensatz 19 für die Posenbestimmung zu verwenden, umfasst die Datenverarbeitungseinheit 22 Analysemittel 4, mit deren Hilfe kontinuierlich die Güte des laufenden Trackingverfahrens analysiert wird. Wird mit Hilfe der Analysemittel 4 festgestellt, dass die Güte des Trackings einen zuvor definierten mindesterforderlichen Wert unterschreitet, so kann eine Neuinitiierung der Auswahl des geeigneten Trackingverfahrens und/oder des geeigneten Konfigurationsdatensatzes 19 durchgeführt werden. Als Bewertungsmaßstäbe für die Güte werden hierbei die Anzahl der Reinitialisierungen des Systems, das Laufzeitverhalten und die Störempfindlichkeit des Trackingsystems herangezogen.Even with changing environmental conditions always the optimal tracking method and the most suitable configuration data set 19 to use for the pose determination comprises the data processing unit 22 analysis means 4 , which continuously analyzes the quality of the current tracking process. Is using the analysis means 4 If the quality of the tracking has been determined to be less than a previously defined minimum required value, then a new initiation of the selection of the suitable tracking method can take place and / or the appropriate configuration record 19 be performed. The evaluation criteria for the quality are the number of reinitializations of the system, the runtime behavior and the susceptibility of the tracking system.

Darüber hinaus wird mit Hilfe der Datenverarbeitungseinheit 22 eine Art Wissensbasis aufgebaut, durch die die Auswahl des geeigneten Trackingverfahrens und des geeigneten Konfigurationsdatensatzes 19 im laufenden Betrieb des Trackingsystems kontinuierlich verbessert werden kann. Hierzu weist die Datenverarbeitungseinheit 22 Archivierungsmittels 5 auf. Mit Hilfe der Archivierungsmittel 5 wird ein Bewertungsdatensatz 21 generiert. In dem Bewertungsdatensatz 21 stehen Informationen darüber, welche Trackingverfahren mit welchen Konfigurationsdatensätzen in der Vergangenheit bei bestimmten Umgebungsbedingungen zu welcher Güte des Trackings geführt haben.In addition, using the data processing unit 22 built a kind of knowledge base, through which the selection of the appropriate tracking method and the appropriate configuration data set 19 can be continuously improved during operation of the tracking system. For this purpose, the data processing unit 22 archiving means 5 on. With the help of archiving 5 becomes a rating record 21 generated. In the rating record 21 is information about which tracking methods with which configuration data records in the past have led to which kind of tracking under certain environmental conditions.

Auf Grund dieser mit Hilfe der Archivierungsmittel 5 erzeugten Daten kann nach einer Erfassung der Umgebungsbedingungen sehr schnell ein geeignetes Trackingverfahren und ein geeigneter Konfigurationsdatensatz 19 ermittelt werden.Because of this with the help of archiving 5 Data generated after detection of the environmental conditions very quickly a suitable tracking method and a suitable configuration data set 19 be determined.

In dem dargestellten Ausführungsbeispiel sei angenommen, dass die Auswahlmittel 1, die Bestimmungsmittel 2, die Konfigurationsmittel 3, die Analysemittel 4 und die Archivierungsmittel 5 alle von einer auf der Datenverarbeitungseinheit 22 implementierten gemeinsamen Verarbeitungseinheit bereitgestellt werden. Beispielsweise handelt es sich hierbei um einen Prozessor der Datenverarbeitungseinheit 22, der ein Computerprogramm zur Durchführung der entsprechenden Funktionen durchführen kann. Alternativ können die verschiedenen genannten Mittel natürlich auch auf separaten Verarbeitungseinheiten implementiert sein.In the illustrated embodiment, it is assumed that the selection means 1 , the determining agents 2 , the configuration means 3 , the analytical tools 4 and the archiving tools 5 all from one to the data processing unit 22 implemented common processing unit. For example, this is a processor of the data processing unit 22 who can perform a computer program for performing the respective functions. Alternatively, the various means mentioned may of course also be implemented on separate processing units.

Das System eignet sich nicht nur zur Posenbestimmung eines Anwenders. Es kann darüber hinaus auch mit einer wie auch immer gearteten beweglichen Vorrichtung, z.B. eines beweglichen Roboters, verwendet werden. Beispielsweise kann ein solcher Roboter seine reale Umgebung mit einer Kamera aufnehmen. Die Bildinformationen werden online an eine Remotestation übertragen, an der sie von einem Benutzer zusammen mit den positionsgenau eingeblendeten virtuellen Informationen sichtbar gemacht werden. Ein derartiges System kann beispielsweise dann sinnvoll sein, wenn eine für den Menschen gefährliche Umgebung mit Hilfe des Roboters untersucht werden soll, wobei die Augmentierung weiterer Informationen für den Benutzer gewünscht wird.The System is not only suitable for determining the poses of a user. It can about that in addition to any kind of movable device, e.g. a mobile robot. For example Such a robot can record its real environment with a camera. The image information is transferred online to a remote station, They are displayed by a user together with the exact position virtual information is made visible. Such a thing System can be useful, for example, if one for humans dangerous Environment with the help of the robot should be examined, the Augmenting further information for the user is desired.

Zusammenfassend betrifft die Erfindung ein Trackingsystem und ein Verfahren zur Posenbestimmung eines Anwenders oder einer beweglichen Vorrichtung sowie ein Augmented Reality System aufweisend ein derartiges Trackingsystem. Um ein im Hinblick auf die Umgebungsverhältnisse eines Anwenders adaptives Tracking zu ermöglichen, werden die Umgebungsverhältnisse des Anwenders mit einem hierfür geeigneten Sensor erfasst und in Abhängigkeit dieser automatisch ein geeignetes Trackingverfahren und ein Konfigurationsdatensatz zu dessen Konfiguration bestimmt. In summary The invention relates to a tracking system and a method for Pose determination of a user or a mobile device and an augmented reality system comprising such a tracking system. To be adaptive in view of the environmental conditions of a user To enable tracking become the environmental conditions of the user with one for this suitable sensor detected and depending on this automatically a suitable tracking method and a configuration data set determined for its configuration.

Claims (23)

Trackingsystem zur Posenbestimmung eines Anwenders (11) oder einer beweglichen Vorrichtung, wobei das Trackingsystem umfasst: – mindestens einen Sensor (9, 10) zur Erfassung von Umgebungsinformationen (13), die die Umgebungsverhältnisse des Anwenders (11) oder der beweglichen Vorrichtung beschreiben, – einen ersten Speicherbereich (7) für zur Durchführung verschiedener Trackingverfahren vorgesehene Trackingalgorithmen (15), – einen zweiten Speicherbereich (8) für zur Konfiguration der verschiedenen Trackingverfahren vorgesehene Konfigurationsdatensätze (16), – Auswahlmittel (1) zur Auswahl eines zur Posenbestimmung geeigneten Trackingverfahrens aus der Menge der verschiedenen Trackingverfahren, – Bestimmungsmittel (2) zur Bestimmung eines zur Posenbestimmung geeigneten Konfigurationsdatensatzes (19) auf Basis der Umgebungsinformationen (13), – Konfigurationsmittel (3) zur Konfiguration des geeigneten Trackingverfahrens mit dem geeigneten Konfigurationsdatensatz (19) und – Ausführungsmittel (6) zur Ausführung des zur Durchführung des konfigurierten Trackingverfahrens vorgesehenen Trackingalgorithmus (18).Tracking system for determining the pose of a user ( 11 ) or a mobile device, the tracking system comprising: - at least one sensor ( 9 . 10 ) for collecting environmental information ( 13 ), which determines the environmental conditions of the user ( 11 ) or the movable device, - a first memory area ( 7 ) for tracking algorithms provided for carrying out various tracking methods ( 15 ), - a second memory area ( 8th ) for configuration data sets intended for the configuration of the various tracking methods ( 16 ), - selection means ( 1 ) for selecting a positioning method suitable for determining a pose from the set of the various tracking methods, - determining means ( 2 ) for determining a configuration data set suitable for determining poses ( 19 ) based on the environment information ( 13 ), - configuration means ( 3 ) for configuring the appropriate tracking method with the appropriate configuration data set ( 19 ) and - execution means ( 6 ) for executing the tracking algorithm provided for carrying out the configured tracking method ( 18 ). Trackingsystem nach Anspruch 1, wobei die Bestimmungsmittel (2) zur Bestimmung des geeigneten Konfigurationsdatensatzes (19) aus einem der im zweiten Speicherbereich (8) gespeicherten Konfigurationsdatensätze (16) vorgesehen sind.Tracking system according to claim 1, wherein the determining means ( 2 ) for determining the appropriate configuration data set ( 19 ) from one of the second memory area ( 8th ) stored configuration records ( 16 ) are provided. Trackingsystem nach Anspruch 1 oder 2, wobei die Bestimmungsmittel (2) zur Generierung neuer, noch nicht im zweiten Speicherbereich (8) abgelegter Konfigurationsdatensätze (17) vorgesehen sind.Tracking system according to claim 1 or 2, wherein the determining means ( 2 ) for generating new, not yet in the second memory area ( 8th ) stored configuration data records ( 17 ) are provided. Trackingsystem nach Anspruch 1, 2 oder 3, wobei das Trackingsystem Analysemittel (4) zur Bestimmung der Güte eines laufenden Trackingverfahren während der Polenbestimmung aufweist.Tracking system according to claim 1, 2 or 3, wherein the tracking system comprises analysis means ( 4 ) for determining the quality of a current tracking method during the determination of Poland. Trackingsystem nach Anspruch 4, wobei die Analysemittel (4) zur Bestimmung der Güte auf Basis einer Bewertung des Laufzeitverhaltens und/oder der Störempfindlichkeit und/oder der Anzahl notwendiger Reinitialisierungen des laufenden Trackingverfahrens vorgesehen sind.Tracking system according to claim 4, wherein the analysis means ( 4 ) for determining the quality on the basis of an evaluation of the runtime behavior and / or the Susceptibility and / or the number of necessary Reinitialisierungen the current tracking method are provided. Trackingsystem nach Anspruch 4 oder 5, wobei das Trackingsystem derart gestaltet ist, dass die Auswahl des geeigneten Trackingverfahrens und die Bestimmung des geeigneten Konfigurationsdatensatzes (19), die Konfiguration des geeigneten Trackingverfahrens mit dem geeigneten Konfigurationsdatensatz (19) und die Ausführung des zur Durchführung des konfigurierten Trackingverfahrens vorgesehenen Trackingalgorithmus (18) automatisch bei mangelnder Güte des laufenden Trackingverfahrens initiiert werden.Tracking system according to claim 4 or 5, wherein the tracking system is designed such that the selection of the appropriate tracking method and the determination of the appropriate configuration data set ( 19 ), the configuration of the appropriate tracking method with the appropriate configuration data set ( 19 ) and the execution of the tracking algorithm provided for carrying out the configured tracking method ( 18 ) are initiated automatically in the case of insufficient quality of the current tracking method. Trackingsystem nach einem der Ansprüche 4 bis 6, wobei das System Archivierungsmittel (5) zum Generieren und Archivieren eines Bewertungsdatensatzes (21) aufweist, der die Güte des laufenden Trackingverfahrens in Abhängigkeit des während der Laufzeit des laufenden Trackingverfahrens zugeordneten Konfigurationsdatensatzes und der während der Laufzeit existierenden Umgebungsverhältnisse beschreibt.Tracking system according to one of claims 4 to 6, wherein the system archiving means ( 5 ) for generating and archiving a rating data record ( 21 ), which describes the quality of the current tracking method as a function of the configuration data set assigned during the running time of the current tracking method and the ambient conditions existing during the runtime. Trackingsystem nach Anspruch 7, wobei die Auswahlmittel (1) zur Auswahl des geeigneten Trackingverfahrens auf Basis des Bewertungsdatensatzes (21) vorgesehen sind und/oder die Bestimmungsmittel (2) zur Bestim mung des geeigneten Konfigurationsdatensatzes (19) auf Basis des Bewertungsdatensatzes (21) vorgesehen sind.Tracking system according to claim 7, wherein the selection means ( 1 ) for selecting the appropriate tracking method based on the evaluation data set ( 21 ) and / or the determination means ( 2 ) for the determination of the appropriate configuration data record ( 19 ) based on the evaluation data set ( 21 ) are provided. Trackingsystem nach einem der vorhergehenden Ansprüche, wobei der Sensor (9, 10) als Kamera ausgeführt ist.Tracking system according to one of the preceding claims, wherein the sensor ( 9 . 10 ) is executed as a camera. Trackingsystem nach einem der Ansprüche 1 bis 8, wobei der Sensor (9, 10) als magnetischer, inertialer oder akustischer Sensor ausgeführt ist.Tracking system according to one of claims 1 to 8, wherein the sensor ( 9 . 10 ) is designed as a magnetic, inertial or acoustic sensor. Trackingsystem nach einem der vorhergehenden Ansprüche, wobei der Sensor (9, 10) zur Erfassung von zur Posenbestimmung benötigten Trackinginformationen bei der Ausführung des geeigneten Trackingverfahrens vorgesehen ist.Tracking system according to one of the preceding claims, wherein the sensor ( 9 . 10 ) is provided for detecting tracking information needed for the determination of poses in the execution of the suitable tracking method. Augmented Reality System mit einem Trackingsystem zur Posenbestimmung eines Anwenders (11) oder einer beweglichen Vorrichtung nach einem der vorhergehenden Ansprüche.Augmented reality system with a tracking system for determining the pose of a user ( 11 ) or a movable device according to any one of the preceding claims. Verfahren zur Posenbestimmung eines Anwenders (11) oder einer beweglichen Vorrichtung mit folgenden Verfahrensschritten: – Erfassen von Umgebungsinformationen (13) mit mindestens einem Sensor (9, 10), wobei die Umgebungsinformationen (13) die Umgebungsverhältnisse des Anwenders (11) oder der beweglichen Vorrichtung beschreiben, – Auswählen eines zur Posenbestimmung geeigneten Trackingverfahrens aus einer Menge verschiedener Trackingverfahren, zu deren Durchführung vorgesehene Trackingalgorithmen (15) in einem ersten Speicherbereich (7) abgelegt sind, wobei das Auswählen auf Basis der Umgebungsinformationen (13) geschieht, – Bestimmen eines zur Posenbestimmung geeigneten Konfigurationsdatensatzes (19) auf Basis der Umgebungsinformationen (13), – Konfigurieren des geeigneten Trackingverfahrens mit dem geeigneten Konfigurationsdatensatz (19) und – Ausführen des zur Durchführung des konfigurierten Trackingverfahrens vorgesehenen Trackingalgorithmus (18).Method for determining the pose of a user ( 11 ) or a mobile device with the following method steps: - acquiring environmental information ( 13 ) with at least one sensor ( 9 . 10 ), where the environment information ( 13 ) the environmental conditions of the user ( 11 ) or the movable device, - selecting a tracking method suitable for determining a pose from a set of different tracking methods, for the implementation of which provided tracking algorithms ( 15 ) in a first memory area ( 7 ), wherein the selection based on the environment information ( 13 ), - determining a configuration data set suitable for determining poses ( 19 ) based on the environment information ( 13 ), - Configure the appropriate tracking method with the appropriate configuration data set ( 19 ) and - execute the tracking algorithm provided for carrying out the configured tracking method ( 18 ). Verfahren nach Anspruch 13, wobei der geeignete Konfigurationsdatensatz (19) aus in einem zweiten Speicherbereich (8) gespeicherten Konfigurationsdatensätzen (16) bestimmt wird.The method of claim 13, wherein the appropriate configuration record ( 19 ) in a second memory area ( 8th ) stored configuration records ( 16 ) is determined. Verfahren nach Anspruch 13 oder 14, wobei neue, noch nicht im zweiten Speicherbereich (8) abgelegte Konfigurationsdatensätze (17) bestimmt werden.Method according to claim 13 or 14, wherein new, not yet in the second memory area ( 8th ) stored configuration data sets ( 17 ). Verfahren nach einem der Ansprüche 13 bis 15, wobei die Güte eines laufenden Trackingverfahren während der Posenbestimmung bestimmt wird.Method according to one of claims 13 to 15, wherein the quality of a ongoing tracking process during the pose determination is determined. Verfahren nach Anspruch 16, wobei die Güte auf Basis einer Bewertung des Laufzeitverhaltens und/oder der Störempfindlichkeit und/oder der Anzahl notwendiger Reinitialisierungen des laufenden Trackingverfahrens bestimmt wird.The method of claim 16, wherein the grade is based on an evaluation of the runtime behavior and / or susceptibility to interference and / or the number of necessary reinitializations of the current tracking method is determined. Verfahren nach einem der Ansprüche 16 oder 17, wobei die Auswahl des geeigneten Trackingverfahrens und die Bestimmung des geeigneten Konfigurationsdatensatzes (19), die Konfiguration des geeigneten Trackingverfahrens mit dem geeigneten Konfigurationsdatensatz (19) und die Ausführung des zur Durchführung des konfigurierten Trackingverfahrens vorgesehenen Trackingalgorithmus (18) automatisch bei mangelnder Güte des laufenden Trackingverfahrens initiiert werden.Method according to one of claims 16 or 17, wherein the selection of the suitable tracking method and the determination of the appropriate configuration data set ( 19 ), the configuration of the appropriate tracking method with the appropriate configuration data set ( 19 ) and the execution of the tracking algorithm provided for carrying out the configured tracking method ( 18 ) are initiated automatically in the case of insufficient quality of the current tracking method. Verfahren nach einem der Ansprüche 16 bis 18, wobei ein Bewertungsdatensatz (21) generiert und archiviert wird, der die Güte des laufenden Trackingverfahrens in Abhängigkeit des während der Laufzeit des laufenden Trackingverfahrens zugeordneten Konfigurationsdatensatzes und der wäh rend der Laufzeit existierenden Umgebungsverhältnisse beschreibt.Method according to one of claims 16 to 18, wherein an evaluation data set ( 21 ) is generated and archived, which describes the quality of the current tracking method as a function of the configuration data set assigned during the running time of the current tracking method and the ambient conditions existing during the runtime. Verfahren nach Anspruch 19, wobei das geeignete Trackingverfahren und/oder der geeignete Konfigurationsdatensatz (19) auf Basis des Bewertungsdatensatzes (21) ausgewählt werden.The method of claim 19, wherein the suitable tracking method and / or the appropriate Configuration record ( 19 ) based on the evaluation data set ( 21 ) to be selected. Verfahren nach einem der Ansprüche 13 bis 20, wobei eine Kamera für den Sensor (9, 10) verwendet wird.Method according to one of claims 13 to 20, wherein a camera for the sensor ( 9 . 10 ) is used. Verfahren nach einem der Ansprüche 13 bis 20, wobei ein magnetischer, inertialer oder akustischer Sensor für den Sensor (9, 10) verwendet wird.Method according to one of claims 13 to 20, wherein a magnetic, inertial or acoustic sensor for the sensor ( 9 . 10 ) is used. Verfahren nach einem der Ansprüche 13 bis 22, wobei zur Posenbestimmung bei der Ausführung des geeigneten Trackingverfahrens benötigte Trackinginformationen mit dem Sensor (9, 10) erfasst werden.Method according to one of claims 13 to 22, wherein tracking information required for the determination of poses in the execution of the suitable tracking method with the sensor ( 9 . 10 ).
DE102005058240A 2005-12-06 2005-12-06 Tracking system and method for determining poses Ceased DE102005058240A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102005058240A DE102005058240A1 (en) 2005-12-06 2005-12-06 Tracking system and method for determining poses
PCT/EP2006/067240 WO2007065750A1 (en) 2005-12-06 2006-10-10 Tracking system and method for determining pose

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102005058240A DE102005058240A1 (en) 2005-12-06 2005-12-06 Tracking system and method for determining poses

Publications (1)

Publication Number Publication Date
DE102005058240A1 true DE102005058240A1 (en) 2007-06-14

Family

ID=37730058

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102005058240A Ceased DE102005058240A1 (en) 2005-12-06 2005-12-06 Tracking system and method for determining poses

Country Status (2)

Country Link
DE (1) DE102005058240A1 (en)
WO (1) WO2007065750A1 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008005761A1 (en) 2008-01-24 2009-07-30 Volkswagen Ag Method for work planning by human movement modeling device, involves performing real human movement, where image of real human movement is determined, and image is transferred in motion simulation model
DE102010012340A1 (en) 2010-02-27 2011-09-01 Volkswagen Ag Method for detecting motion of human during manufacturing process for motor vehicle utilized in traffic, involves forming output signal, and forming position of inertial sensors based on inertial sensor output signal of inertial sensors
US8657809B2 (en) 2010-09-29 2014-02-25 Stryker Leibinger Gmbh & Co., Kg Surgical navigation system
DE102014206623A1 (en) * 2014-04-07 2015-10-08 Bayerische Motoren Werke Aktiengesellschaft Localization of a head-mounted display (HMD) in the vehicle
US9248000B2 (en) 2008-08-15 2016-02-02 Stryker European Holdings I, Llc System for and method of visualizing an interior of body
DE102016006855A1 (en) 2016-06-04 2017-12-07 Audi Ag A method of operating a display system and display system
WO2018022252A1 (en) * 2016-07-27 2018-02-01 Google Inc. Low-power mode feature identification at a head mounted display
US10969579B2 (en) 2017-08-30 2021-04-06 Volkswagen Aktiengesellschaft Augmented reality glasses, method for determining a pose of augmented reality glasses, and transportation vehicle suitable for using the augmented reality glasses or the method
US11270463B2 (en) 2019-05-29 2022-03-08 Infineon Technologies Ag Dynamic three-dimensional imaging distance safeguard

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI385559B (en) * 2008-10-21 2013-02-11 Univ Ishou Expand the real world system and its user interface method
TWI475474B (en) * 2012-07-30 2015-03-01 Mitac Int Corp Gesture combined with the implementation of the icon control method
US9674419B2 (en) 2012-07-31 2017-06-06 Hewlett-Packard Development Company, L.P. Web-linked camera device with unique association for augmented reality
TWI471733B (en) * 2012-10-31 2015-02-01 Univ Nat Chiao Tung A method for providing information interaction by using mobile computing device and the system thereof
TWI494844B (en) * 2013-10-02 2015-08-01 Realtek Semiconductor Corp Image sharing system and related computer program product

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060166620A1 (en) * 2002-11-07 2006-07-27 Sorensen Christopher D Control system including an adaptive motion detector

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
COMPORT, Andrew L.; MARCHAND, Eric; CHAUMETTE, François: "A real-time tracker for markerless augmented reality", 2003, IEEE and ACM Symposium on Mixed and Augmented Reality (ISMAR'03) *
JIANG, Bolan; NEUMANN, Ulrich; YOU, Suya: "A Robust Hybrid Tracking System for Outdoor Augmen- ted Reality", 2004, IEEE Virtual Reality (VR'04), S. 3-10 und 275
JIANG, Bolan; NEUMANN, Ulrich; YOU, Suya: "A Robust Hybrid Tracking System for Outdoor Augmented Reality", 2004, IEEE Virtual Reality (VR'04), S. 3-10 und 275 *
WAGNER, Martin; LOEW, Felix: >>Configuration Strategies of an AR Toolkit-based Wide Area Tracker<<, 2003, IEEE AR Toolkit Workshop, S. 62-68, DOI: 10.1109/ART.2003.1320429 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008005761A1 (en) 2008-01-24 2009-07-30 Volkswagen Ag Method for work planning by human movement modeling device, involves performing real human movement, where image of real human movement is determined, and image is transferred in motion simulation model
US9248000B2 (en) 2008-08-15 2016-02-02 Stryker European Holdings I, Llc System for and method of visualizing an interior of body
DE102010012340A1 (en) 2010-02-27 2011-09-01 Volkswagen Ag Method for detecting motion of human during manufacturing process for motor vehicle utilized in traffic, involves forming output signal, and forming position of inertial sensors based on inertial sensor output signal of inertial sensors
DE102010012340B4 (en) 2010-02-27 2023-10-19 Volkswagen Ag Method for detecting the movement of a human in a manufacturing process, in particular in a manufacturing process for a motor vehicle
US8657809B2 (en) 2010-09-29 2014-02-25 Stryker Leibinger Gmbh & Co., Kg Surgical navigation system
US10165981B2 (en) 2010-09-29 2019-01-01 Stryker European Holdings I, Llc Surgical navigation method
DE102014206623A1 (en) * 2014-04-07 2015-10-08 Bayerische Motoren Werke Aktiengesellschaft Localization of a head-mounted display (HMD) in the vehicle
DE102016006855A1 (en) 2016-06-04 2017-12-07 Audi Ag A method of operating a display system and display system
WO2018022252A1 (en) * 2016-07-27 2018-02-01 Google Inc. Low-power mode feature identification at a head mounted display
US10529135B2 (en) 2016-07-27 2020-01-07 Google Llc Low-power mode feature identification at a head mounted display
US10969579B2 (en) 2017-08-30 2021-04-06 Volkswagen Aktiengesellschaft Augmented reality glasses, method for determining a pose of augmented reality glasses, and transportation vehicle suitable for using the augmented reality glasses or the method
US11270463B2 (en) 2019-05-29 2022-03-08 Infineon Technologies Ag Dynamic three-dimensional imaging distance safeguard

Also Published As

Publication number Publication date
WO2007065750A1 (en) 2007-06-14

Similar Documents

Publication Publication Date Title
DE102005058240A1 (en) Tracking system and method for determining poses
DE102018206208A1 (en) Method, device, product and computer program for operating a technical system
EP2034461B1 (en) Method for detecting and/or tracking moved objects in a monitoring zone with stoppers, device and computer program
EP1836681B1 (en) Method for determining the displacement of a vehicle
DE102005034597A1 (en) Method and device for generating a depth map
DE102011113154B4 (en) Machine learning method for machine learning of manifestations of objects in images
DE102019116834B4 (en) Augmented photo capture
DE112017007923T5 (en) Display control device, display control method and display system
DE102014010638A1 (en) Method and device for controlling a robot
DE102014007565A1 (en) Method for determining a respective boundary of at least one object, sensor device, driver assistance device and motor vehicle
DE102013013698A1 (en) Method for operating electronic data glasses and electronic data glasses
DE102022201279B3 (en) Method for capturing an environment of a vehicle, camera device and vehicle
DE102018212944A1 (en) Procedure to support collaboration between humans and robots using data glasses
EP3576013A1 (en) Estimation of a path of a rail path
DE19612465C2 (en) Automatic optimization of object detection systems
DE102020208080A1 (en) Detection of objects in images under equivariance or invariance with respect to the object size
DE102007041482A1 (en) Method for automatic recognition of at least the type and / or the position of a gesture formed with a limb, in particular a hand gesture
WO2017198331A1 (en) Method and system for aligning a virtual model with a real object
DE102020006160A1 (en) Method for detecting the position of an object by means of a position detection system, method for processing an object and position detection system
DE102020109789A1 (en) Method for performing self-localization of a vehicle on the basis of a reduced digital map of the surroundings, computer program product and a self-localization system
DE4339161C2 (en) Method for tracking movements of a human hand in a chronological sequence of digital color images
DE102005041633B4 (en) Method and device for determining the position and similarity of object points in images
DE102005002636A1 (en) Video data processing method for camera system, involves applying coordinate transformation to camera image for obtaining transformed camera image, where transformation transfers camera coordinate system to destination coordinate system
DE102019106297A1 (en) Vehicle environment display system and display controller
DE10140393A1 (en) Method for providing position-sensitive information about an object

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final

Effective date: 20130423