DE102005045973A1

DE102005045973A1 - Vorrichtung, System und Verfahren für ein kamerabasiertes Tracking

Info

Publication number: DE102005045973A1
Application number: DE102005045973A
Authority: DE
Inventors: Reinhard Prof. Dr. Koch
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2005-09-26
Filing date: 2005-09-26
Publication date: 2007-04-05

Abstract

Die Erfindung betrifft eine Vorrichtung (1), ein System und ein Verfahren zur Ermittlung einer Pose eines. Um ein optisches Tracking mittels der Vorrichtung (1) und einer Datenverarbeitungseinrichtung (8) bei möglichst geringem Datentransfervolumen zwischen Vorrichtung (1) und Datenverarbeitungseinrichtung (8) zu ermöglichen, wird vorgeschlagen, dass die Vorrichtung (1) mit DOLLAR A - einer Bilderfassungseinheit (2) zur Erfassung einer realen Umgebung (3) und Generierung von Abbildern von einem innerhalb eines Zeitintervalls erfassten Umgebungsbereich, DOLLAR A - Verarbeitungsmitteln (4) zur Bestimmung von Bewegungsinformationen (5) durch Auswertung der Abbilder, wobei die Bewegungsinformationen (5) eine innerhalb des Zeitintervalls geschehene Veränderung der Position eines Objektes (6) innerhalb der Abbilder kennzeichnen, DOLLAR A È Sendemitteln zum Senden der Bewegungsinformationen (5) an eine Datenverarbeitungseinrichtung (8), DOLLAR A - Empfangsmitteln zum Empfang von auf Basis der Bewegungsinformationen (5) generierten Poseninformationen (9), wobei die Poseninformationen (9) eine Position und eine Orientierung des Objektes (6) kennzeichnen, DOLLAR A ausgeführt ist.

Description

Die Erfindung betrifft eine Vorrichtung, ein System und ein Verfahren zur Ermittlung einer Pose eines Objektes.
Eine derartige Vorrichtung bzw. ein derartiges Verfahren kommen beispielsweise bei Augmented Reality (AR) Anwendungen zum Einsatz. Augmented Reality, erweiterte Realität, ist eine Form der Mensch-Technik-Interaktion, die dem Menschen z. B. über eine Datenbrille Informationen in sein Sichtfeld einblendet und damit die von ihm wahrgenommene Realität erweitert. Dieses geschieht kontextabhängig, d. h. passend zum und abgeleitet vom betrachteten Objekt, z. B. einem Bauteil, einem Werkzeug, einer Maschine oder zu seinem Standort. Beispiel hierfür kann ein Sicherheitshinweis während eines Montage-/Demontageprozesses sein.
AR-Geräte können in den Anwendungsdomänen produzierende Industrie, Medizin oder im Konsumerbereich eingesetzt werden. In der produzierenden Industrie können Anwendungen von einfachen Bedien- und Beobachtungsprozessen bis hin zu komplexen Servicetätigkeiten unterstützt werden. Bei Operationen, Untersuchungen und Behandlungen im medizinischen Umfeld dienen solche Verfahren und Geräte einem Anwender zur Verbesserung der Arbeitsqualität. Im Konsumerbereich können Anwendungen wie z.B. Navigation von Personen, Informationsbreitstellung etc. realisiert werden.
Für die Informationsbereitstellung werden am Körper getragene Geräte benötigt. Über eine Empfangs- und Sendeeinrichtung wird die Kopplung zu Unternehmensdatenquellen realisiert. Für die Visualisierung der Informationen wird häufig ein am Kopf getragenes halbdurchlässiges Display verwendet, wodurch dem Anwender eine gleichzeitige Betrachtung der Informationen und seiner realen Umgebung ermöglicht wird.

Um diese virtuelle Erweiterung des Blickfeldes des Anwenders positionsgenau zu erreichen, werden Trackingverfahren eingesetzt. Diese können sowohl aus Hard- als auch Software bestehen. Dabei kommen optische, inertiale, akustische, magnetische oder weitere Verfahren zum Einsatz. Häufig werden die für die positionsgenaue virtuelle Erweiterung des Blickfeldes erforderlichen Berechnungen auf einem stationären Remote-Server durchgeführt.

Beispielsweise aus DE 10 2004 061 841 A1 sind optische Positionserfassungssysteme bekannt, die die Position und/oder Orientierung von Objekten in einem Vermessungsraum bestimmen. Ein Positionserfassungssystem kann insbesondere als optisches Trackingsystem ausgeführt sein, welches durch Verfahren der computergestützten Bildverarbeitung die Position von im Vermessungsraum befindlichen Objekten und/oder die Position der Kamera über die Erkennung der Objekte bestimmen.

Aus DE 103 61 512 A1 ist eine Vorrichtung und ein Verfahren zur Darstellung von Umgebungsinformationen für einen Anwender bekannt, wobei die Informationen positionsgenau das reale Blickfeld des Anwenders überlagern. Mittels verschiedener Erfassungseinheiten werden Umgebungsinformationen erfasst. Die erfassten Informationen werden direkt auf der mobilen Vorrichtung vorverarbeitet. Im Rahmen eines Regelkreises werden die Informationen verschmolzen, mit Kontext-Informationen angereichert und die genaue Position des Anwenders kann bestimmt werden.

Der Erfindung liegt die Aufgabe zu Grunde, ein optisches Tracking mittels einer Vorrichtung und einer Datenverarbeitungseinrichtung bei möglichst geringem Datentransfervolumen zwischen Vorrichtung und Datenverarbeitungseinrichtung zu ermöglichen.

Diese Aufgabe wird durch eine Vorrichtung gelöst mit

– einer Bilderfassungseinheit zur Erfassung einer realen Umgebung und Generierung von Abbildern von einem innerhalb eines Zeitintervalls erfassten Umgebungsbereich,
– Verarbeitungsmitteln zur Bestimmung von Bewegungsinformationen durch Auswertung der Abbilder, wobei die Bewegungsinformationen eine innerhalb des Zeitintervalls geschehene Veränderung der Position eines Objektes innerhalb der Abbilder kennzeichnen,
– Sendemitteln zum Senden der Bewegungsinformationen an eine Datenverarbeitungseinrichtung,
– Empfangsmitteln zum Empfang von auf Basis der Bewegungsinformationen generierten Poseninformationen, wobei die Poseninformationen eine Position und eine Orientierung des Objektes kennzeichnen.

Diese Aufgabe wird ferner durch ein Verfahren mit folgenden Verfahrensschritten gelöst:

– Erfassen einer realen Umgebung und Generieren von Abbildern von einem innerhalb eines Zeitintervalls erfassten Umgebungsbereich mit einer an einer Vorrichtung angeordneten Bilderfassungseinheit,
– Bestimmen von Bewegungsinformationen durch Auswerten der Abbilder mit an der Vorrichtung angeordneten Verarbeitungsmitteln, wobei die Bewegungsinformationen eine innerhalb des Zeitintervalls geschehene Veränderung der Position eines Objektes innerhalb der Abbilder kennzeichnen,
– Senden der Bewegungsinformationen von der Vorrichtung an eine Datenverarbeitungseinrichtung und
– Empfangen von auf Basis der Bewegungsinformationen generierten Poseninformationen, wobei die Poseninformationen eine Position und eine Orientierung des Objektes kennzeichnen.

Die Erfindung ermöglicht eine relative Positions- und Orientierungsbestimmung von Objekten der realen Umgebung in Bezug auf die Bilderfassungseinheit oder in Bezug auf eine beliebige andere Komponente der Vorrichtung bzw. umgekehrt.

Der Erfindung liegt die Erkenntnis zu Grunde, dass für eine derartige Positions- und Orientierungsbestimmung eine erhebliche Reduktion des zu transferierenden Datenvolumens und damit der hierfür erforderlichen Bandbreite erreicht wird, wenn die von der Bilderfassungseinheit generierten Abbilder zunächst innerhalb der Vorrichtung vorverarbeitet werden. Dies ist insbesondere dann von Vorteil, wenn sich die Vorrichtung bzw. die an dieser angeordnete Bilderfassungseinheit in Relation zur realen Umgebung bewegt. Insbesondere dann, wenn die Abbilder in Form eines Videodatenstromes erzeugt werden, ist eine Reduktion des zu transferierenden Datenvolumens wünschenswert.

Erfindungsgemäß werden zunächst Bewegungsinformationen auf Basis der Abbilder generiert. Diese Bewegungsinformationen beschreiben eine Positionsänderung, die das Objekt innerhalb der Abbilder in dem Zeitintervall durchlaufen hat. Dabei kann eine Positionsänderung zwei Ursachen haben. Sie kann durch eine absolute Positions- und/oder Lageänderung der Bildererfassungseinheit oder durch eine absolute Positions- und/oder Lageänderung des Objektes hervorgerufen werden. Beide Mechanismen erzeugen eine relative Positions- bzw. Lageänderung des Objektes zur Bildererfassungseinheit, die durch Vergleich der innerhalb des Zeitintervalls generierten Abbilder ermittelt werden kann.

Anstelle der kompletten Abbilder bzw. der zugehörigen Bilddaten werden nur die durch die Vorverarbeitung gewonnen Bewegungsinformationen an die Datenverarbeitungseinrichtung gesendet. Da die Bewegungsinformationen bedeutend weniger Daten beinhalten als die kompletten Bilddaten – selbst für den Fall, dass die Bilddaten komprimiert werden – wird auf diese Art und Weise eine signifikante Reduktion der Übertragungsra te zwischen Vorrichtung und Datenverarbeitungseinrichtung erzielt.

Auf Basis der Bewegungsinformationen werden anschließend z. B. auf der Datenverarbeitungseinrichtung die Poseninformationen generiert, die sowohl die Orientierung als auch die Position des Objektes in Bezug auf die Bildererfassungseinheit charakterisieren. Die Poseninformationen werden schließlich an die Vorrichtung gesendet.

In vorteilhafter Ausgestaltung der Erfindung ist die Vorrichtung mobil ausgeführt. Aufgrund der Mobilität der Vorrichtung und der an der Vorrichtung angeordneten Bilderfassungseinheit ist eine kontinuierliche Aktualisierung der Poseninformationen auf Basis der datenreduzierten Bewegungsinformationen besonders vorteilhaft.

Eine vorteilhafte Ausführung der Erfindung kennzeichnet sich dadurch, dass die Sendemittel zur digitalen Datenübertragung der Bewegungsinformationen vorgesehen sind. Insbesondere dann, wenn die Bewegungsinformationen in Gestalt abstrakter Merkmale wie Vektoren oder Zahlen bestimmt werden, ist eine digitale Übertragung dieser Merkmale besonders zweckmäßig.

Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung sind die Sendemittel zum Senden insbesondere komprimierter Bilddaten an die Datenverarbeitungseinrichtung während einer Initialisierungsphase vorgesehen. Anhand der Bilddaten kann die Datenverarbeitungseinheit auf Basis gespeicherten Umgebungswissens und mit Hilfe verschiedener Bilderkennungsalgorithmen ein von der Bilderfassungseinheit erfasstes Objekt erkennen und dessen Raumkoordinaten bestimmen. Eine Konfiguration und Initialisierung der Verarbeitungseinrichtung der Vorrichtung kann beispielsweise dadurch erreicht werden, dass die Raumkoordinaten an die Vorrichtung gesendet werden. Im Anschluss an die Initialisierungsphase werden bei der genannten vorteilhaften Ausgestaltung der Erfindung nun anstelle der in der Regel vergleichsweise umfangreichen Bilddaten nur noch die Bewegungsinformationen an die Datenverarbeitungseinheit gesendet. Hierdurch kann im Anschluss an die Initialisierungsphase der Datenstrom zwischen Vorrichtung und Datenverarbeitungseinrichtung sehr gering gehalten werden, wodurch auch ein gleichzeitiges Tracking mehrerer Vorrichtungen mit Hilfe nur einer Datenverarbeitungseinrichtung ermöglicht wird.

Eine einfache Weiterverarbeitung der Bewegungsinformationen zur Erlangung der Poseninformationen kann bei einer vorteilhaften Ausführungsform der Erfindung dadurch erreicht werden, dass die Bewegungsinformationen Positionsänderungen innerhalb der Abbilder mindestens dreier Punkte des Objektes bezüglich einer ersten und einer zweiten Raumdimensionen beschreiben und eine Ermittlung einer Positionsänderung der drei Punkte bezüglich der dritten Raumdimension durch die Datenverarbeitungseinrichtung vorgesehen ist. Anhand der Abbilder lassen sich ohne Verwendung zusätzlicher Informationen zunächst nur Positionsänderungen bezüglich zweier Raumdimensionen feststellen. Sofern eine derartige Positionsänderung für mindestens drei Punkte feststellbar ist, deren Position sich bezüglich der verbleibenden dritten Raumdimension unterscheidet, so kann auch eine Positionsänderung der Punkte bzw. der zugehörigen Objekte bezüglich der dritten Raumdimension von der Datenverarbeitungseinrichtung bestimmt werden. Vorraussetzung hierfür ist, dass auf der Datenverarbeitungseinrichtung zum Beispiel als Resultat der Initialisierungsphase Zusatzinformationen hinterlegt sind, die beispielsweise den ursprünglichen Abstand der Punkte bezüglich der dritten Raumdimension beschreiben.

Die hier beschriebene dreidimensionale Positionsbestimmung lässt sich schon dann realisieren, wenn die Bewegungsinformationen auf mindestens drei Punkte im realen Umgebungsbereich der Bilderfassungseinheit gerichtet sind. In der Regel wird man jedoch mehr Punkte bei der Generierung der Poseninformationen verwenden.

Die Poseninformationen können bei der Vorrichtung sehr vorteilhaft genutzt werden, wenn bei einer Ausgestaltung der Erfindung die Vorrichtung Darstellungsmittel zur Darstellung erfasster und/oder empfangener Informationen für einen Anwender umfasst.

Bei einer weiteren vorteilhaften Ausführungsform der Erfindung umfassen die Informationen Augmented Reality Informationen. Bei einer Erweiterung des realen Blickfeldes eines Anwenders mit derartigen Informationen ist eine positionsgenaue Einblendung der Informationen in Bezug auf die reale Umgebung des Anwenders von Bedeutung, um den Kontext zur realen Umgebung zu visualisieren. Beispielsweise kann eine solche Ausgestaltung der Erfindung genutzt werden, um dem Anwender bei der Bedienung einer in seiner realen Umgebung bzw. in seinem Sichtfeld befindlichen Maschine einen Taskflow vorzugeben, der ihm die Bedienung der Maschine erleichtern soll.

In weiterer Ausgestaltung der Erfindung sind die Darstellungsmittel als Datenbrille ausgeführt. Die Verwendung einer Datenbrille ermöglicht eine Einblendung der Informationen direkt in das Sichtfeld des Anwenders. Bei einer Einblendung von Augmented Reality Informationen ist es zweckmäßig, die Datenbrille durchsichtig auszuführen, so dass der Anwender die reale Umgebung noch direkt durch die Datenbrille hindurch wahrnehmen kann. Bei einer solchen Ausgestaltungsform spricht man vom Optical-See-Through Verfahren. Alternativ kann die reale Umgebung auch in Form von der Bilderfassungseinheit erfasster Videodaten in der Datenbrille visualisiert werden. In diesem Fall spricht man vom Video-See-Through Verfahren.

Die Genauigkeit und die Dynamik einer kamerabasierten Bestimmung der Poseninformationen kann bei weiterer Ausgestaltung der Erfindung dadurch erhöht werden, dass die Vorrichtung ei nen Inertialsensor zur Erfassung von Bewegungen der Bilderfassungseinheit aufweist. Inertialsensoren gewährleisten eine sehr gute Echtzeitfähigkeit. Zweckmäßigerweise werden daher gemäß einer weiteren Ausgestaltung die Verarbeitungsmittel zur Synchronisation und Fusion der mittels des Inertialsensors erfassten Bewegungen und der Poseninformationen vorgesehen.

Insbesondere die Verwendung des zusätzlichen Inertialsensors ermöglicht es aufgrund der hohen Dynamik eines solchen Messsystems, dass die Verarbeitungsmittel in einer weiteren Ausführungsform der Erfindung zur Kompensation einer Verarbeitungslatenz vorgesehen sind.

Die Bewegungsfreiheit und Ergonomie eines Anwenders sind in weiterer vorteilhafter Ausgestaltung der Erfindung besonders hoch, wenn die Sendemittel und/oder die Empfangsmittel zur drahtlosen Kommunikation vorgesehen sind.

Ein vollständiger Trackingvorgang zum Beispiel für eine Augmented Reality Anwendung lässt sich vorteilhaft durch ein System mit einer mobilen Vorrichtung und einer Datenverarbeitungseinrichtung nach einer der zuvor genannten Ausgestaltungsformen der Erfindung realisieren. Bei der Datenverarbeitungseinrichtung handelt es sich vorteilhafterweise um einen stationären Remote-Server, auf dem die Bestimmung der Poseninformationen auf Basis der Bewegungsinformationen stattfindet. Durch die Auslagerung dieses Berechnungsschrittes kann die Vorrichtung leichter ausgeführt werden, so dass diese, sofern sie mobil ausgeführt ist, von einem Anwender besser getragen werden kann und als ergonomischer empfunden wird.

Im Folgenden wird die Erfindung anhand des in der Figur dargestellten Ausführungsbeispiels näher beschrieben und erläutert.
Die Figur zeigt ein System mit einer mobilen Vorrichtung 1 und einer Datenverarbeitungseinrichtung 10 zur Berechnung von Poseninformationen 9.
Das System ist als Augmented Reality System ausgeführt, bei dem einem Anwender 11 mit Hilfe von als Datenbrille ausgeführten Darstellungsmitteln 10 Informationen positionsgenau in sein Blickfeld eingeblendet werden. Die Datenbrille 11 ist hierbei durchsichtig ausgeführt, so dass der Anwender 11 eine reale Umgebung 3 direkt wahrnehmen kann. Es handelt sich also um eine Informationsdarstellung gemäß dem so genannten Optical-See-Through Verfahren. Zur weiteren Kommunikation trägt der Anwender 11 einen Kopfhörer 17 und ein Mikrofon 18, wobei er mit dem Mikrofon auch Sprachbefehle an das System absetzten kann.
Die im Blickfeld des Anwenders 11 befindliche reale Umgebung 3 umfasst u. A. ein Objekt 6, welches als Förderband in einer automatisierten Prozessumgebung dient. Hinter dem Förderband 6 ist ein Roboter 16 angeordnet, der Werkstücke auf dem Förderband 6 positioniert.
Bei dem Anwender 11 handelt es sich in dem hier skizzierten Anwendungsbeispiel um einen Wartungstechniker, der eine Wartung des Roboters 16 durchführen möchte. Bei der Wartung unterstützt ihn ein Remote-Experte 13, der sich außerhalb der realen Umgebung 3 des Wartungstechnikers 11 befindet. Beispielsweise bedient sich der Remote-Experte 13 des Internets, um mit dem Wartungstechniker 11 zu kommunizieren. Der Remote-Experte 13 generiert an seinem vom Wartungstechniker 11 und somit von dem zu wartenden Roboter 16 beliebig weit entfernten Ort einen Taskflow, der den Wartungstechniker 11 bei seiner Aufgabe unterstützen soll. Dieser Taskflow wird dem Wartungstechniker 11 innerhalb seiner Datenbrille 10 positionsgenau visualisiert, d. h., die Informationen werden kontextabhängig zu den vom Wartungstechniker 11 betrachteten Elemen ten der realen Umgebung 3 positionsgenau in der Datenbrille 10 eingeblendet.
Für diese positionsgenaue Informationsdarstellung ist es notwendig, dass das Blickfeld des Wartungstechnikers 11 bzw. dessen Position und Orientierung in Bezug auf die reale Umgebung 3 bekannt sind. Da sich der Wartungstechniker 11 frei in der realen Umgebung 3 bewegen kann, muss eine solche Posenbestimmung kontinuierlich durchgeführt werden.
Der Wartungstechniker 11 trägt an seinem Körper eine mobile Vorrichtung 1, die eine als Kamera ausgeführte Bilderfassungseinheit 2, einen Inertialsensor 12, als Prozessor ausgeführte Verarbeitungsmittel 4 sowie erste Sendeempfangsmittel 14 umfasst, wobei erste Sendeempfangsmittel 14 und Prozessor 4 in einem beispielsweise an einem Gürtel fixierbaren tragbaren Gerät 7 integriert sind. Die Kamera 2 sowie der Inertialsensor 12 sind an der Datenbrille 10 des Wartungstechnikers 11 angeordnet.
Um die Position und den Blickwinkel des Wartungstechnikers 11 zu bestimmen, führt das System nun folgende Schritte aus.
Zunächst wird eine Initialisierungsphase durchlaufen, in der eine Konfiguration und Initialisierung des Gesamtsystems durchgeführt wird. Während dieser Initialisierungsphase wird ein Videodatenstrom auf Basis eines mit der Kamera 2 erfassten Umgebungsbereiches der realen Umgebung 3 des Wartungstechnikers 11 generiert. Die Videodaten werden komprimiert und mittels der ersten Sendeempfangsmittel 14 an zweite Sendeempfangsmittel 15 gesendet. Die zweiten Sendeempfangsmittel 15 sind der Datenverarbeitungseinheit 8 zugeordnet. Die Kommunikation zwischen ersten und zweiten Sendeempfangsmitteln 14, 15 verläuft drahtlos über Funksignale.
Auf der Datenverarbeitungseinrichtung 8 ist eine Software installiert, mit der aus den empfangenen Videodaten, die zu nächst dekomprimiert werden, Poseninformationen 9 ermittelt werden können, die Rückschlüsse auf die Position und den Blickwinkel des Anwenders 11 in Bezug auf die reale Umgebung 3 zulassen. Hierzu bedient sich die Datenverarbeitungseinrichtung 8 beispielsweise so genannter Kantentracker und/oder SIFT-Tracker. Um anhand derartiger Bilderkennungsalgorithmen Blickwinkel und Position des Anwenders bestimmen zu können, ist weiterhin auf der Datenverarbeitungseinrichtung 8 ein Modell der realen Umgebung 3 des Wartungstechnikers 11 hinterlegt. Auf diese Art und Weise werden initial die Poseninformationen 9 erzeugt und anschließend an die mobile Vorrichtung 1 gesendet. Anhand der Poseninformationen 9 können nun Informationen wie der Taskflow positionsgenau in das Sichtfeld des Wartungstechnikers 11 eingeblendet werden.
Der beschriebene Initialisierungsvorgang erfordert eine vergleichsweise hohe Datenübertragungsrate zwischen den ersten und zweiten Sendeempfangsmitteln 14, 15, da von der mobilen Vorrichtung 1 in der Regel relativ datenintensive komprimierte Bilddaten an die Datenverarbeitungseinrichtung 8 gesendet werden. Daher wird nach dieser initialen Bestimmung der Poseninformationen 9 eine Trackingphase eingeleitet, bei der die von der mobilen Vorrichtung 1 zur Datenverarbeitungseinrichtung 8 zu übertragene Datenmenge erheblich geringer ausfällt.
In der Trackingphase werden Bewegungen von Elementen innerhalb des von der Kamera 2 erfassten Umgebungsbereiches bzw. innerhalb der Abbilder, die die Kamera erzeugt, analysiert, um entsprechende Bewegungsinformationen 5 zu generieren. Hierzu wird beispielsweise das Förderband 6 oder ein markantes Teil davon getrackt. Die Bewegungen, die dieses Objekt 6 innerhalb der von der Kamera erfassten Abbilder bei einer Bewegung des Anwenders 11 durchführt, werden in Form der Bewegungsinformationen 5 an die Datenverarbeitungseinrichtung 8 gesendet. Diese Bewegungsinformationen 5 sind z. B. 2-dimensionale Bewegungsvektoren einiger Punkte des Förderban des 6. Ihr Datenvolumen ist im Vergleich zu den in der Initialisierungsphase gesendeten komprimierten Bilddaten erheblich geringer.
Die Bewegungsinformationen 5 werden kontinuierlich in Form eines so genannten Feature Streams an die Datenverarbeitungseinrichtung 8 gesendet. Auf der Datenverarbeitungseinrichtung 8 ist ein so genannter Structure für Motion Algorithmus implementiert. Mittels dieses Algorithmus wird aus den 2-dimensionalen Bewegungsinformationen 5 eine relative Positionsänderung des Objektes 6 im Erfassungsbereich der Kamera 2 bezüglich der verbleibenden dritten Raumdimension ermittelt. Insgesamt ist so die Positionsänderung und Orientierungsänderung des Objektes 6 hinsichtlich aller 3 Raumdimensionen erfasst, so dass die entsprechende Poseninformationen 9 generiert und an die mobile Vorrichtung 1 gesendet werden können. Anhand der Poseninformationen 9 kann eine positionsgenaue Einblendung der augmentierenden Informationen für den Wartungstechniker 11 in dessen Blickfeld stattfinden.
Zur Verbesserung der Genauigkeit des beschriebenen Trackingsystems und zur Erhöhung dessen Dynamik werden die Relativbewegungen des Anwendersichtfeldes zusätzlich mittels eines Inertialsensors 12 getrackt. Die Inertialsensordaten werden schließlich mit den Poseninformationen 9 synchronisiert und fusioniert, um ein noch besseres Trackingergebnis zu erhalten.

Claims

Vorrichtung (1) mit – einer Bilderfassungseinheit (2) zur Erfassung einer realen Umgebung (3) und Generierung von Abbildern von einem innerhalb eines Zeitintervalls erfassten Umgebungsbereich, – Verarbeitungsmitteln (4) zur Bestimmung von Bewegungsinformationen (5) durch Auswertung der Abbilder, wobei die Bewegungsinformationen (5) eine innerhalb des Zeitintervalls geschehene Veränderung der Position eines Objektes (6) innerhalb der Abbilder kennzeichnen, – Sendemitteln zum Senden der Bewegungsinformationen (5) an eine Datenverarbeitungseinrichtung (8), – Empfangsmitteln zum Empfang von auf Basis der Bewegungsinformationen (5) generierten Poseninformationen (9), wobei die Poseninformationen (9) eine Position und eine Orientierung des Objektes (6) kennzeichnen.
Vorrichtung nach Anspruch 1, wobei die Vorrichtung (1) mobil ausgeführt ist.
Vorrichtung (1) nach Anspruch 1 oder 2, wobei die Sendemittel (2) zur digitalen Datenübertragung der Bewegungsinformationen (5) vorgesehen sind.
Vorrichtung (1) nach einem der Ansprüche 1 bis 3, wobei die Sendemittel (2) zum Senden insbesondere komprimierter Bilddaten an die Datenverarbeitungseinrichtung (8) während einer Initialisierungsphase vorgesehen sind.
Vorrichtung (1) nach einem der vorhergehenden Ansprüche, wobei die Bewegungsinformationen (5) Positionsänderungen innerhalb der Abbilder mindestens dreier Punkte des Objektes (6) bezüglich einer ersten und einer zweiten Raumdimensionen beschreiben und eine Ermittlung einer Positionsänderung der drei Punkte bezüglich der dritten Raumdimension durch die Datenverarbeitungseinrichtung (8) vorgesehen ist.
Vorrichtung (1) nach einem der vorhergehenden Ansprüche, wobei die Vorrichtung (1) Darstellungsmittel (10) zur Darstellung erfasster und/oder empfangener Informationen für einen Anwender (11) umfasst.
Vorrichtung (1) nach Anspruch 6, wobei die Informationen Augmented Reality Informationen umfassen.
Vorrichtung (1) nach Anspruch 6 oder 7, wobei die Darstellungsmittel (10) als Datenbrille ausgeführt sind.
Vorrichtung (1) nach einem der vorhergehenden Ansprüche, wobei die Vorrichtung (1) einen Inertialsensor (12) zur Erfassung von Bewegungen der Bilderfassungseinheit (2) aufweist.
Vorrichtung (1) nach Anspruch 9, wobei die Verarbeitungsmittel (4) zur Synchronisation und Fusion der mittels des Inertialsensors (12) erfassten Bewegungen und der Poseninformationen (9) vorgesehen sind.
Vorrichtung (1) nach einem der vorhergehenden Ansprüche, wobei die Verarbeitungsmittel (4) zur Kompensation einer Verarbeitungslatenz vorgesehen sind.
Vorrichtung (1) nach einem der vorhergehenden Ansprüche, wobei die Sendemittel und/oder die Empfangsmittel zur drahtlosen Kommunikation vorgesehen sind.
System mit einer Vorrichtung (1) nach einem der Ansprüche 1 bis 12 und einer Datenverarbeitungseinrichtung (8) zur Generierung der Poseninformationen (9).
Verfahren mit folgenden Verfahrensschritten: – Erfassen einer realen Umgebung (3) und Generieren von Abbildern von einem innerhalb eines Zeitintervalls erfassten Umgebungsbereich mit einer an einer Vorrichtung (1) angeordneten Bilderfassungseinheit (2), – Bestimmen von Bewegungsinformationen (5) durch Auswerten der Abbilder mit an der Vorrichtung (1) angeordneten Verarbeitungsmitteln (4), wobei die Bewegungsinformationen (5) eine innerhalb des Zeitintervalls geschehene Veränderung der Position eines Objektes (6) innerhalb der Abbilder kennzeichnen, – Senden der Bewegungsinformationen (5) von der Vorrichtung (1) an eine Datenverarbeitungseinrichtung (8) und – Empfangen von auf Basis der Bewegungsinformationen (5) generierten Poseninformationen (9), wobei die Poseninformationen (9) eine Position und eine Orientierung des Objektes (6) kennzeichnen.
Verfahren nach Anspruch 14, wobei die Vorrichtung (1) mobil ausgeführt ist.
Verfahren nach Anspruch 14 oder 15, wobei die Bewegungsinformationen (5) digital übertragen werden.
Verfahren nach einem der Ansprüche 14 bis 16, wobei insbesondere komprimierte Bilddaten von der Vorrichtung (1) an die Datenverarbeitungseinrichtung (8) während einer Initialisierungsphase gesendet werden.
Verfahren nach einem der Ansprüche 14 bis 17, wobei die Bewegungsinformationen (5) Positionsänderungen innerhalb der Abbilder mindestens dreier Punkte des Objektes (6) bezüglich einer ersten und einer zweiten Raumdimensionen beschreiben und eine Positionsänderung der drei Punkte bezüglich der dritten Raumdimension durch die Datenverarbeitungseinrichtung (8) ermittelt wird.
Verfahren nach einem der Ansprüche 14 bis 18, wobei erfasste und/oder empfangene Informationen mit Darstellungsmitteln (10) der Vorrichtung (1) für einen Anwender (11) dargestellt werden.
Verfahren nach Anspruch 19, wobei die Informationen Augmented Reality Informationen umfassen.
Verfahren nach Anspruch 19 oder 20, wobei eine Datenbrille als Darstellungsmittel (10) verwendet wird.
Verfahren nach einem der Ansprüche 14 bis 21, wobei mit einem Inertialsensor (12) Bewegungen der Bilderfassungseinheit (2) erfasst werden.
Verfahren nach Anspruch 22, wobei mit den Verarbeitungsmitteln (4) die mittels des Inertialsensors (12) erfassten Bewegungen und die Poseninformationen (9) synchronisiert und fusioniert werden.
Verfahren nach einem der Ansprüche 14 bis 23, wobei eine Verarbeitungslatenz mit den Verarbeitungsmitteln (4) kompensiert wird.
Verfahren nach einem der Ansprüche 14 bis 24, wobei die Bewegungsinformationen (5) drahtlos gesendet und die Poseninformationen (9) drahtlos empfangen werden.