DE102010027526B4

DE102010027526B4 - Handführbares Vermessungs- und Projektionssystem und Verfahren

Info

Publication number: DE102010027526B4
Application number: DE102010027526A
Authority: DE
Inventors: Dipl.-Ing. Kobler Jan-Philipp; Prof. Dr.-Ing. Ortmaier Tobias; Dipl.-Ing. Hussong Andreas; Matthias Dipl.-Ing. Dagen
Original assignee: Leibniz Universitaet Hannover
Current assignee: Dagen Matthias Dipl-Ing De; HUSSONG, ANDREAS, DIPL.-ING., DE; KOBLER, JAN-PHILIPP, DIPL.-ING. (FH), DE; ORTMAIER, TOBIAS, PROF. DR.-ING., DE
Priority date: 2010-07-16
Filing date: 2010-07-16
Publication date: 2012-04-19
Anticipated expiration: 2030-07-17
Also published as: DE102010027526A1

Abstract

Die Erfindung betrifft ein handführbares Vermessungs- und Projektionssystem mit einem Projektor (12) zum Projizieren von vorgegeben Bildern auf ein Objekt (18), das eine Oberfläche (18) mit einem Oberflächenverlauf besitzt, und einem Lageermittlungssystem (20) zum Ermitteln einer Lage des Vermessungs- und Projektionssystems relativ zu dem Objekt (16). Erfindungsgemäß ist vorgesehen, dass das Lageermittlungssystem (20) eine Laufzeit-Kamera (28) umfasst, die eingerichtet ist zum automatischen Erfassen von Laufzeit-Bilddaten und zum Ermitteln des dreidimensionalen Oberflächenverlaufs aus den Laufzeit-Bilddaten und dass das Vermessungs- und Projektionssystem ein Datenverarbeitungssystem (34) aufweist, das ausgebildet ist zum automatischen Erfassen des Oberflächenverlaufs in drei Dimensionen, Korrigieren der vorgegebenen Bilder in Bezug auf den Oberflächenverlauf, so dass eine Verzerrung durch einen gekrümmten Oberflächenverlauf korrigiert wird, und Projizieren des korrigierten Bilds auf die Oberfläche (18).

Description

Die Erfindung betrifft ein handführbares Vermessungs- und Projektionssystem mit einem Projektor zum Projizieren von vorgegebenen oder berechneten Bildern auf ein Objekt, das eine Oberfläche mit einem Oberflächenverlauf besitzt, und einem Lageermittlungssystem zum Ermitteln einer Lage (Position und Orientierung) des Vermessungs- und Projektionssystems relativ zum Objekt.
Ein derartiges handführbares Vermessungs- und Projektionssystem ist aus der US 2006/0235849 A1 bekannt, mittels dem auf den Körper eines Patienten Bilder projiziert werden. Ein derartiges System wird zur Augmented Reality gerechnet, was eine Kombination und Überlagerung von virtuellen Welten und der Realität bezeichnet, bei der reale und virtuelle Objekte bezüglich ihrer Lage in Beziehung gesetzt werden. Auf diese Weise können zusätzliche visuelle Informationen lagerichtig unmittelbar im Blickfeld einer Person dargestellt werden.
Dazu können beispielsweise Head-Mounted Displays verwendet werden, was kopf-fixierte Visualisierungssystem bezeichnet, die Informationen auf transparenten Flächen in Augennähe darstellen oder unmittelbar auf die Netzhaut projizieren. Bekannt sind auch so genannte See-Through-Devices in Form halbtransparenter, beweglicher Bildschirme, die unmittelbar im Blickfeld einer Person platziert werden. Auch sind stationäre und mobile Projektionssysteme zur lagerichtigen Projektion der visuellen Informationen bekannt. Die aus der US 2006/0235849 A1 bekannte Vorrichtung besitzt externe Navigationssysteme, die die Lage des Vermessungs- und Projektionssystems relativ zum Körper erfassen.
Nachteilig an Head-Mounted-Displays ist, dass diese keine gemeinsame fokale Ebene für reale und virtuelle Objekte bieten und somit für den Träger belastend und ermüdend sind. Stationäre Projektionssysteme sind durch auftretende Abschattungen, hervorgerufen durch Objekte im Strahlengang (Line-Of-Sight-Problematik), in ihrer Anwendbarkeit eingeschränkt. Als weiterer Nachteil bestehender Systeme ist die Notwendigkeit externer Navigationssysteme zur Messung der Lage der Projektionsfläche bezüglich des Projektionssystems zu nennen.
Aus der US 2006/0235849 A1 ist eine tragbare Laser-Projektionsvorrichtung bekannt, bei der eine Teststruktur auf den Körper des Patienten projiziert wird, anhand derer vom Benutzer ermittelbar ist, ob die Vorrichtung korrekt gehalten wird. Ist das der Fall, kann ein Bild auf den Körper des Patienten geworfen werden.
In der DE 100 08 806 A1 ist ein stationäres Bildprojektionssystem beschrieben, bei dem die Kontur des Patienten mit einem Vermessungssystem, das vorzugsweise ein Laservermessungssystem ist, an der interessierenden Stelle aufgenommen und ein vorab aufgenommenes Bild innerer Organe auf den Körper projiziert.
Die DE 10 2005 009 437 A1 beschreibt eine Vorrichtung zum Einblenden von virtuellen Objekten in ein eine Umgebung zeigendes Umgebungsbild, wobei unter anderem eine Laufzeitkamera eingesetzt werden kann.
Die US 2009/0221907 A1 beschreibt einen virtuellen berührungsempfindlichen Bildschirm in einem brillengestützten System.
Der Erfindung liegt die Aufgabe zugrunde, Bilder mit höherer Genauigkeit auf den Körper projizieren zu können.
Die Erfindung löst das Problem durch ein Vermessungs- und Projektions- und Interaktionssystem gemäß Anspruch 1 und ein zugeordnetes Verfahren.
Vorteilhaft an der Erfindung ist, dass die Erfindung die lagerichtige Projektion visueller Informationen auf beliebig deformierbare Oberflächen mit Hilfe eines handgeführten Projektionssystems erlaubt. Diese Art von Augmented Reality zeichnet sich gegenüber den aus dem Stand der Technik bekannten Technologien durch einfache Handhabbarkeit und hohe Flexibilität aus.
Durch das Prinzip der Lagemessung durch Sensordatenfusion mit Daten einer Bilderfassungseinheit, einer inertialen Messeinheit oder eines externen Navigationssystems, was zu einer erhöhten Messgenauigkeit führen kann, was zudem eine eventuell vorhandene Totzeit verkürzt. Das führt zu einer erhöhten Lagegenauigkeit der projizierten Informationen. Vorteilhaft ist zudem, dass konventionelle, externe Navigationssysteme entbehrlich sind, wodurch die Einsatzmöglichkeiten des Vermessungs- und Projektionssystems signifikant erweitert sind.
Es ist ein weiterer Vorteil, dass das erfindungsgemäße Vermessungs- und Projektionssystem eine Interaktion mit den projizierten Bildern auf Basis der Auswertung von Tiefenbildern ermöglich. Das lässt zahlreiche Anwendungen zu. So ist gemäß einer bevorzugten Ausführungsform vorgesehen, dass virtuelle Bedienflächen unmittelbar auf der Projektionsfläche dargestellt werden, die durch Berühren mit einem Betätigungselement virtuell betätigt werden können. Alternativ sind Benutzereingaben durch Ausführen von Gesten möglich.
Es ist ein weiterer Vorteil, dass die Vermessung des dreidimensionalen Oberflächenverlaufs das Aufprojizieren von Bildern auf das Objekt nicht behindert, wie es beispielsweise bei einer Streifenprojektion der Fall wäre. Ein weiterer Vorteil ist, dass bei Verfahren zum Ermitteln des dreidimensionalen Oberflächenverlaufs der Abstand zwischen Kamera und dem Projektor eine Rolle spielen kann, was bei der erfindungsgemäßen Lösung jedoch nicht der Fall ist. Somit ist im Gegensatz zu sequentiellen Vermessungs- und Projektionssystemen (Streifenprojektion) eine kontinuierliche und zur Projektion zeitgleiche Oberflächenvermessung möglich.
Mit Hilfe des erfindungsgemäßen Vermessungs- und Projektionssystems können visuelle Informationen lagerichtig auf deformierbare Oberflächen projiziert werden. Die Vermessung derartiger Projektionsflächen kann in Echtzeit unter Anwendung des laufzeitbasierten Verfahrens erfolgen, wobei die gewonnenen Tiefeninformationen unmittelbar in die Vorverarbeitung des zu projizierenden Bilds einfließen können. Zudem können die Informationen zur Registrierung des Oberflächenverlaufs auf bereits vorhandene Bilddaten des Objektes genutzt werden. Hierzu kann beispielsweise der Iterative-Closest-Point Algorithmus (ICP) verwendet werden. Bei vorhandenem Modellwissen über das Objekt ist eine Selbstlokalisation des Projektionssystems möglich. Diese kann, wie in einer bevorzugten Ausführungsform vorgesehen, mit Hilfe zusätzlicher Daten einer inertialen Messeinheit oder einer Bilderfassungseinheit verbessert und robustifiziert werden.
In anderen Worten ist eine Lagebestimmung ohne Verwendung externe Sensorik, wie beispielsweise externen optischen Navigationssystemen, möglich. Durch die Verwendung der Laufzeit-Kamera ergibt sich eine gegenüber konventionellen Navigationssystemen erhöhte Messgenauigkeit. Die Erfindung ermöglicht zudem die Interaktion mit der Projektion, also mit dem projizierten Bild, wobei diese Interaktion sowohl durch Berühren projizierter Objekte als auch durch Gestenerkennung realisiert sein kann und auf der Auswertung dreidimensionaler Bilddaten basiert. Das Datenverarbeitungssystem ist damit insbesondere eingerichtet zur lagerichtigen, unverzerrten Darstellung visueller Informationen.
Es ist günstig, wenn die Laufzeit-Kamera so ausgebildet ist, dass eine Erfassung des dreidimensionalen Oberflächenverlaufs in Echtzeit möglich ist. Insbesondere ist es vorteilhaft, wenn pro Sekunde zumindest 20 mal der Abstand zwischen der Laufzeit-Kamera und den entsprechenden Punkten auf dem Oberflächenverlauf vermessen wird. So wird eine schnelle Reaktion auf eine etwaige Bewegung des Objekts ermöglicht.
Das handgeführte Vermessungs- und Projektionssystem kann einen Inertialsensor zum Erfassen von Beschleunigungsdaten, die dreidimensionale Beschleunigungen des Vermessungs- und Projektionssystems kodieren, besitzen, wobei das Datenverarbeitungssystem eingerichtet ist zum automatischen Errechnen einer Lage des Vermessungs- und Projektionssystems relativ zum Objekt durch Fusionieren der Laufzeit-Bilddaten und der Daten der inertialen Messeinheit sowie der Bilddaten der Bilderfassungseinheit. In einer bevorzugten Ausführungsform erfolgt diese Fusion der Einzeldaten mittels Mehrgrößen-Zustandsschätzern oder -Filtern wie beispielsweise einem Kalman Filter. Vorteilhaft daran ist, dass die Lage des Objekts im Raum, das heißt insbesondere relativ zum Vermessungs- und Projektionssystem, robust und präzise und bestimmt wird.
Alternativ oder zusätzlich besitzt das Vermessungs- und Projektionssystem eine Kamera zum Aufnehmen von Bilddaten eines Objekts, wobei das Datenverarbeitungssystem eingerichtet ist zum automatischen Erkennen einer auf dem Objekt vorhandenen Markierung oder natürlicher Landmarke und zum Errechnen der Lage des Vermessungs- und Projektionssystems relativ zum Objekt durch Fusionieren der Laufzeit-Bilddaten und zumindest auch der Bilddaten bzw. unter Verwendung von Modellwissen. Aufgrund der Verknüpfung sensorischer Informationen der Laufzeit-Kamera, gegebenenfalls des Inertialsensors und der Kamera können Messfehler, die beispielsweise bei der Abschattung eines optischen Navigationssystems entstehen können, vermieden werden. Es wird durch das Verwenden der Kamera daher eine besonders hohe Messgenauigkeit und Robustheit erreicht.
Gemäß einer bevorzugten Ausführungsform ist das Datenverarbeitungssystem eingerichtet zum automatischen Ansteuern des Projektors so, dass eine Bedienfläche auf das Projekt projiziert wird, zum automatischen Erfassen einer räumlichen Lage des Bedienelements, insbesondere eines Teils der Hand, relativ zur auf das Projekt projizierten Bedienfläche und zum Erfassen einer Bedienaktion, wenn das Bedienelement einen vorgegebenen Mindestabstand zur auf der Oberfläche projizierten Bedienfläche unterschreitet. Vorteilhaft hieran ist, dass das Vermessungs- und Projektionssystem auch als Eingabesystem verwendet werden kann. Soll beispielsweise eine spätere Schnittlinie für eine chirurgische Operation auf einen menschlichen Körper projiziert werden, so kann durch Erfassen der Bedienflächen ein Modus aktiviert werden, mittels dem die Lage dieser Schnittlinien verändert wird.
Gemäß einer bevorzugten Ausführungsform wird das erfindungsgemäße Verfahren an einem Objekt durchgeführt, das eine deformierbare Oberfläche besitzt. Ändert sich deren Oberflächenverlauf, so kann dies mit der Laufzeit-Kamera erfasst werden, so dass eine zeitnahe Reaktion möglich ist.
Insbesondere umfasst ein erfindungsgemäßes Verfahren daher die Schritte einer Vermessung einer deformierbaren Oberfläche des Objektes, einer Lagebestimmung des Projektionssystems bezüglich der Projektionsfläche, einer lagerichtigen Projektion visueller Informationen und einer Erfassung von Benutzereingaben.
In einem erfindungsgemäßen Verfahren werden bevorzugt Gesten eines Bedieners erkannt, aus denen dann Bedienanweisungen für ein Programm, beispielsweise für das Projektionsprogramm oder die Steuerprogramme angeschlossener Peripheriegeräte, abgeleitet werden.
Im Folgenden wird die Erfindung anhand der beigefügten Zeichnung näher erläutet. Dabei zeigt
1 ein erfindungsgemäßes handführbares Vermessungs- und Projektionssystem.
1 zeigt ein erfindungsgemäßes handführbares Vermessungs- und Projektionssystem 10 mit einem Projektor 12 zum Projizieren von vorgegebenen oder berechneten Bildern 14 auf ein Objekt 16, das eine Oberfläche 18 mit dem in 1 dargestellten gekrümmten Oberflächenverlauf besitzt. Der dreidimensionale Oberflächenverlauf kann durch diejenige Funktion beschrieben werden, die in Abhängigkeit von zwei Raumkoordinaten, beispielsweise einer x- und einer y-Koordinate, denjenigen z-Wert angibt, für den der entsprechende Punkt (x, y, z) auf der Oberfläche 18 des Objektes 16 liegt.
Das Vermessungs- und Projektionssystem 10 besitzt zudem ein Lageermittlungssystem 20, das einen Prozessor aufweist, mittels dem die Lage des Vermessungs- und Projektionssystems 10 relativ zum Objekt 16 in einem Koordinatensystem 22 bestimmbar ist (34a).
Das Lageermittlungssystem 20 kann in einem Gehäuse 24 des Vermessungs- und Projektionssystems 10 aufgenommen sein, An dem Gehäuse 24 ist ein Handgriff 26 ausgebildet, mittels dem das Vermessungs- und Projektionssystem 10 in der Hand gehalten werden kann.
Das Lageermittlungssystem 20 umfasst eine schematisch eingezeichnete Laufzeit-Kamera 28, die im Englischen auch als time-of-flight-camera bekannt ist. Die Laufzeit-Kamera 28 steht über eine elektrische Verbindung in Kontakt mit dem Prozessor des Lageermittlungssystems 20, mit Hilfe dessen die Lage des Vermessungs- und Projektionssystems 10 relativ zum Objekt 16, ausgedrückt im Koordinatensystem 22 berechnet wird.
Das Vermessungs- und Projektionssystem 10 umfasst im Gehäuse 24 zudem einen Inertialsensor 30 zum Bestimmen der vektoriellen Beschleunigung a →(t) = (ẍ(t)y ..(t)z ..(t)) des dreidimensionalen Beschleunigungszustandes und der vektoriellen Winkelgeschwindigkeiten w →(t) = (α .(t)β .(t)γ .(t)). Auch der Inertialsensor 30 ist mit dem Lageermittlungssystem 20 verbunden. Das Lageermittlungssystem 20 ist ausgebildet zum Ermitteln der Lage des Gehäuses 24 relativ zum Koordinatensystem 22 durch zweifache Integration der vom Inertialsensor 30 kommenden Daten. Diese Daten werden mit den von der Laufzeit-Kamera 28 erhaltenen Tiefenprofilen abgeglichen, so dass die Position des Objektes 16 mit hoher Genauigkeit berechnet werden kann.
Das Vermessungs- und Projektionssystem 10 umfasst zudem eine Kamera 32, mittels der zumindest ein vom Projektor 12 auf das Objekt 16 projiziertes Bild 14 erfasst werden kann.
1 zeigt schematisch, dass ein Datenverarbeitungssystem 34 des Lageermittlungssystems 20, das beispielsweise einen Mikroprozessor mit einem Digitalspeicher umfasst, eingerichtet ist zum Erfassen des Oberflächenverlaufs der Oberfläche 18 des Objektes 16 in drei Dimensionen (34c), beispielsweise ausgedrückt im Koordinatensystem 22. Zudem ist das Datenverarbeitungssystem 34 eingerichtet zur Lagebestimmung des Projektors 12 bezüglich der Projektionsfläche, die durch das Objekt 16 bzw. dessen Oberfläche 18 gebildet ist durch Vergleich des erfassten Oberflächenverlaufs mit im Datenverarbeitungssystem 34 hinterlegtem Modellwissen über das Objekt 16 (34c).
Das Datenverarbeitungssystem 34 ist zudem eingerichtet zum Berechnen eines angepassten Bildes aus dem vorgegebenen Bild (34b). Das heißt, dass das Datenverarbeitungssystem 34 die einzelnen Pixel des vorgegebenen Bildes erfasst und ein neues, angepasstes Bild berechnet, das so angepasst ist, dass es dann, wenn es auf die Oberfläche 18 des Objekts 16 projiziert wird, für einen schematisch eingezeichneten Bediener 36 als im Wesentlich das unverzerrte, vorgegebene Bild erscheint.
In Echtzeit erfasst die Kamera 32 das vom Projektor 12 auf die Oberfläche 18 projizierte angepasste Bild und erfasst zusätzlich die Bewegung eines Bedienelements 38, das durch die menschliche Hand des Bedieners 38 gebildet sein kann. Wenn das vorgegebene Bild und damit das auf die Oberfläche 18 projizierte Bild Bedienflächen 40.1, 40.2 aufweist, so ermittelt das Datenverarbeitungssystem 34 die Lage des Bedienelements 38 relativ zu den Bedienflächen 40 und berechnet den Abstand zwischen beiden. Unterschreitet dieser Abstand einen vorgegebenen Mindest-Abstand, so wird dies als Betätigung der Bedienflächen 40.1, 40.2 aufgefasst und ein entsprechendes Signal an ein auf dem Datenverarbeitungssystem 34 oder einer externen Rechnereinheit laufendes Programm abgegeben (34d). Dadurch wird eine Interaktion mit dem Programm möglich.
Günstig ist es, wenn es sich bei dem Objekt 16 um einen Patienten, beispielsweise um einen tierischen oder menschlichen Patienten, handelt. Das Bild 14 kann dann beispielsweise medizinische Risikostrukturen darstellen oder die Lage von Organen illustrieren.
Bezugszeichenliste

10: Vermessungs- und Projektionssystem
12: Projektor
14: Bild
16: Objekt
18: Oberfläche
20: Lageermittlungssystem
22: Koordinatensystem
24: Gehäuse
26: Handgriff
28: Laufzeit-Kamera
30: Inertialsensor
32: Kamera
34: Datenverarbeitungssystem
36: Bediener
38: Bedienelement
40: Bedienfläche

Claims

Handführbares Vermessungs- und Projektionssystem mit (a) einem Projektor (12) zum Projizieren von vorgegeben Bildern auf ein Objekt (16), das eine Oberfläche (18) mit einem Oberflächenverlauf besitzt, und (b) einem Lageermittlungssystem (20) zum Ermitteln einer Lage des Vermessungs- und Projektionssystems relativ zu dem Objekt (16), dadurch gekennzeichnet, dass (c) das Lageermittlungssystem (20) eine Laufzeit-Kamera (28) umfasst, die eingerichtet ist zum automatischen Erfassen von Laufzeit-Bilddaten und zum Ermitteln des dreidimensionalen Oberflächenverlaufs aus den Laufzeit-Bilddaten und dass (d) das Vermessungs- und Projektionssystem einen Inertialsensor (30) zum Erfassen von Beschleunigungsdaten, die dreidimensionale Beschleunigungen des Vermessungs- und Projektionssystems kodieren und/oder eine Kamera (32) zum Aufnehmen von Bilddaten des Objekts (16) und ein Datenverarbeitungssystem (34) aufweist, das ausgebildet ist zum automatischen (i) Errechnen einer Lage des Vermessungs- und Projektionssystems (10) relativ zum Objekt (16) durch Fusionieren der Laufzeit-Bilddaten und der Beschleunigungsdaten und/oder Erkennen einer auf dem Objekt (16) vorhandenen Markierung und Errechnen der Lage des Vermessungs- und Projektionssystems (10) relativ zum Objekt (16) durch Fusionieren der Laufzeit-Bilddaten und zumindest auch der Bilddaten, (ii) Erfassen des Oberflächenverlaufs in drei Dimensionen, (iii) Korrigieren der vorgegebenen Bilder in Bezug auf den Oberflächenverlauf, so dass eine Verzerrung durch einen gekrümmten Oberflächenverlauf korrigiert wird, und (iv) Projizieren des korrigierten Bilds auf die Oberfläche (18).
Handführbares Vermessungs- und Projektionssystem nach Anspruch 1, dadurch gekennzeichnet, dass das Datenverarbeitungssystem (34) eingerichtet ist zum automatischen – Ansteuern des Projektors (12) so, dass eine Schaltfläche (40) auf das Objekt (16) projiziert wird, – Erfassen einer räumlichen Lage eines Bedienelements (38), insbesondere eines Teils einer Hand, relativ zur auf das Objekt (16) projizierten Schaltfläche (40) und – Erfassen einer Bedienaktion, wenn das Bedienelement (38) einen vorgegebenen Mindestabstand zur auf die Oberfläche (18) projizierten Schaltfläche (40) unterschreitet.
Verfahren zum Projizieren von vorgegebenen Bildern auf ein Objekt (16), das eine Oberfläche mit einem Oberflächenverlauf besitzt, mit den Schritten: (a) Erfassen des Oberflächenverlaufs mit einer Laufzeit-Kamera (28), so dass Laufzeit-Bilddaten erhalten werden, (b) Errechnen des dreidimensionalen Oberflächenverlaufs aus den Laufzeit-Bilddaten, (c) Bestimmen einer Lage der Laufzeit-Kamera (28) relativ zum Objekt (16), (d) Korrigieren der vorgegebenen Bilder in Bezug auf den Oberflächenverlauf, so dass eine Verzerrung durch einen gekrümmten Oberflächenverlauf korrigiert wird, und (e) Projizieren des korrigierten Bilds auf die Oberfläche (18) (f) Ansteuern des Projektors (12) so, dass eine Schaltfläche (40) auf das Objekt (16) projiziert wird, (g) Erfassen einer räumlichen Lage eines Bedienelements (38), insbesondere eines Teils einer Hand, relativ zur auf das Objekt (16) projizierten Schaltfläche (40) und (h) Erfassen einer Bedienaktion, wenn das Bedienelement (38) einen vorgegebenen Mindestabstand zur, auf die Oberfläche (18) projizierten Schaltfläche (40), unterschreitet.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass das auf das Objekt (16) projizierte Bild ein Organ ist.
Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass das Bild auf einen menschlichen Körper projiziert wird, um die Lage des Organs im Körper anzuzeigen.
Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass ein Vermessungs- und Projektionssystem nach einem der Ansprüche 1 oder 2 eingesetzt und mit der Hand geführt wird.