-
Die Erfindung betrifft ein System zur visuellen Darstellung von Informationen auf realen Objekten. Die Erfindung betrifft ferner ein Verfahren zur visuellen Darstellung von Informationen auf realen Objekten.
-
Es sind verschiedene Augmented-Reality-Systeme (kurz: AR-Systeme) bekannt, mit denen allgemein die visuelle Realitätswahrnehmung erweitert wird. Beispielsweise können Bilder oder Videos durch Einblendung computergenerierter Zusatzinformationen ergänzt werden. Aber auch auf reale Objekte können für einen Betrachter sichtbare Informationen übertragen werden. Diese Technik wird unter anderem in der Konstruktion, Montage oder Wartung eingesetzt. So können Laserprojektoren eine optische Unterstützung bieten, etwa beim Ausrichten von großen Schablonen für Lackierungen oder in der Qualitätssicherung. Jedoch musste bisher für eine präzise Projektion der Laserprojektor statisch an einer Stelle montiert sein. Die Werkstücke mussten jeweils abhängig von der Position und Lage (Pose) des Lasers genau eingemessen werden. Jede Veränderung der Pose des Laserprojektors oder des Werkstücks erforderte ein zeitaufwendiges erneutes Einmessen. Daher können Laserprojektionssysteme bis jetzt nur in statischen Aufbauten sinnvoll eingesetzt werden.
-
Aufgabe der Erfindung ist es, die Einsatzmöglichkeiten eines Systems zur visuellen Darstellung von Informationen auf realen Objekten zu erweitern.
-
Gelöst wird diese Aufgabe durch ein System mit den Merkmalen des Anspruchs 1 sowie durch ein Verfahren mit den Merkmalen des Anspruchs 14. Vorteilhafte und zweckmäßige Ausgestaltungen des erfindungsgemäßen Systems und des erfindungsgemäßen Verfahrens sind in den zugehörigen Unteransprüchen angegeben.
-
Das erfindungsgemäße System zur visuellen Darstellung von Informationen auf realen Objekten umfasst eine Projektionseinheit zur grafischen oder bildlichen Übertragung einer Information auf ein Objekt und ist gekennzeichnet durch eine dynamische Trackingeinrichtung mit einer 3D-Sensorik zur Bestimmung und Nachverfolgung der Position und/oder Lage des Objekts und/oder der Projektionseinheit im Raum, und eine Steuereinrichtung für die Projektionseinheit, die die Übertragung der Information an die aktuelle, von der Trackingeinrichtung bestimmte Position und/oder Lage des Objekts und/oder der Projektionseinheit anpasst.
-
Mit der Erfindung lässt sich die Effizienz manueller Arbeitsschritte in Fertigung, Montage und Wartung steigern und gleichzeitig die Arbeitsqualität erhöhen. Durch die präzise Übertragung von Informationen, beispielsweise des digitalen Planungsstands (CAD-Modell) direkt auf ein Werkstück, entfällt die aufwändige und fehleranfällige Übertragung von Bauplänen mittels Schablonen und anderen Messinstrumenten. Ein visueller Soll-Ist Vergleich ist jederzeit und für einen Anwender intuitiv durchführbar. Zudem können Arbeitsanweisungen, z. B. Schritt-für-Schritt-Anleitungen, direkt am Arbeitsobjekt bzw. im Sichtfeld des Anwenders zur Verfügung gestellt werden, also genau dort, wo sie tatsächlich benötigt werden.
-
Die erfindungsgemäße Kombination eines Projektors mit einer dynamischen 3D-Trackingeinrichtung ermöglicht ein fortwährendes, automatisches Einmessen (Referenzierung) des Projektors und/oder des Objekts, auf dem eine Information dargestellt werden soll, relativ zur Arbeitsumgebung. Somit können sowohl die Projektionseinheit als auch das Objekt frei bewegt werden, da bei jeder Bewegung der Projektionseinheit oder des Objekts die grafische bzw. bildliche Übertragung der Information automatisch nachgeführt wird. Dank dieser Mobilität passt sich das erfindungsgemäße System im Gegensatz zu den bekannten statischen Systemen selbsttätig an verschiedene, sich verändernde Umgebungsbedingungen an. Damit eröffnet sich ein viel breiteres Spektrum an Einsatzmöglichkeiten.
-
So lässt sich das erfindungsgemäße System in großen und/oder unübersichtlichen Umgebungen, wie sie etwa im Flugzeug- oder Schiffsbau vorherrschen, stets so positionieren, dass sich die zu bearbeitenden Teile eines Werkstücks im Projektionsbereich befinden. Durch die flexible Platzierung lassen sich zudem Störungen von parallel laufenden Aktivitäten weitestgehend vermeiden. Auch in Szenarien, in denen ein Objekt während des Arbeitsprozesses bewegt wird, etwa am Fließband, können Montageanweisungen oder Informationen zur Qualitätssicherung direkt auf das Objekt projiziert werden. Die Projektion wandert dabei mit der Bewegung des Objektes mit.
-
Typische Einsatzszenarien für die Erfindung sind Werker-Assistenzsysteme zur Anzeige von Montage- und Wartungsanweisungen sowie von Informationen zur Qualitätssicherung. Beispielsweise können Montagepositionen oder Bohrungen exakt markiert oder zu überprüfende Schweißpunkte oder Halter gekennzeichnet werden. Das System eignet sich auch für die Unterstützung von Servicepersonal vor Ort durch nicht ansässige Experten, welche über eine integrierte Kamera die Projektion fernsteuern können.
-
Damit die projizierte Information nicht verzögert auf das Objekt übertragen wird, was zu Fehlern oder Ungenauigkeiten bei den Arbeiten führen kann, ist die dynamische Trackingeinrichtung zur fortwährenden Erfassung der Position und/oder Lage des Objekts und/oder der Projektionseinheit in Echtzeit ausgelegt.
-
Die Projektionseinheit ist das Herzstück des Visualisierungssystems. Eine bei herkömmlichen Systemen nicht verfügbare Flexibilität wird dadurch erreicht, dass die Projektionseinheit ein mobil aufstellbares Gerät ist, in dem ein Projektor, vorzugsweise ein Laserprojektor, und zugleich die 3D-Sensorik der Trackingeinrichtung untergebracht sind. Wichtig ist hierbei eine starre Verbindung zwischen dem Projektor und der Empfangseinheit der 3D-Sensorik (Kamera oder dergl.), damit ein konstanter, kalibrierbarer Offset bestehen bleibt. Somit ist es möglich, die Position und/oder Lage der Projektionseinheit jederzeit genau zu bestimmen, auch wenn die Projektionseinheit zwischendurch repositioniert wird. Der Laserprojektor ist im Vergleich zu anderen Projektionstechniken sehr kontrastreich und garantiert die bestmögliche Sichtbarkeit von Konturen und Geometrien, selbst auf dunklen oder spiegelnden Oberflächen und auch in hellen Umgebungen (Tageslicht). Die lange Lebensdauer der Lichtquelle und der geringe Stromverbrauch sowie die Robustheit unter widrigen Bedingungen sind weitere Vorzüge des Laserprojektors.
-
Die 3D-Sensorik der Trackingeinrichtung weist vorzugsweise wenigstens eine Kamera auf. Kameras sind für Trackinganwendungen sehr gut geeignet. In Verbindung mit bestimmten Markern, die von einer Kamera erfasst werden können, kann mittels mathematischer Verfahren auf die Pose der Kamera rückgeschlossen wenden. Wenn nun die Kamera als Teil der 3D-Sensorik der Trackingeinrichtung in der Projektionseinheit untergebracht ist (d. h. wenn eine starre Verbindung zwischen Kamera und Projektor besteht), kann leicht die Pose des Projektors bestimmt werden.
-
Für das Einmessen und/oder die Nachverfolgung der Projektionseinheit und/oder des Objekts sind spezielle Marker sinnvoll, die an Referenzpunkten einer Umgebung angeordnet sind, in der das System eingesetzt wird, und von der 3D-Sensorik der Trackingeinrichtung erfassbar sind.
-
Gemäß einem besonders vorteilhaften Aspekt der Erfindung sind die Marker und die Trackingeinrichtung so aufeinander abgestimmt, dass die Trackingeinrichtung mittels der Marker zum einen eine Einmessung der Referenzpunkte in einem Koordinatensystem der Umgebung oder des Objekts und zum anderen die Bestimmung und Nachverfolgung der Position und/oder Lage des Objekts und/oder der Projektionseinheit vornehmen kann. Die Marker erfüllen in diesem Fall also eine Doppelfunktion, was den Aufwand für die Vorbereitungen vor der Benutzung des Visualisierungssystems reduziert und damit die Effizienz des Systems erhöht.
-
Die Marker können insbesondere auf Flachmarkern basieren und weisen vorzugsweise charakteristische Rechtecke und/oder Ecken auf, die vorteilhaft für die Ermittlung der Pose der Kamera relativ zu den Marker herangezogen werden können.
-
Für das Einmessen und das Tracken der ist es von Vorteil, wenn die Marker eindeutige, von der Trackingeinrichtung erfassbare Identifizierungsmerkmale aufweisen, insbesondere in Form von Bitmustern.
-
In einer besonders bevorzugten Ausführungsform der Erfindung weisen die Marker Retroreflektormarken auf, die vorzugsweise in der Mitte des jeweiligen Markers angeordnet sind. Die Retroreflektormarken lassen sich mit einem Laserprojektor gut anpeilen, und mit einem Optimierungsalgorithmus kann durch Messung des reflektierten Lichts eine Zentrierung erfolgen, sodass 2D-Korrespondenzen im Bildkoordinatensystem der Projektionseinheit, passend zu in 3D bekannten Referenzpositionen hergestellt werden können für eine Berechnung der Transformation zwischen der Projektionseinheit und dem Objekt.
-
Gemäß einer vorteilhaften Gestaltung sind die Retroreflektormarken als Kugelelemente mit einer Öffnung ausgebildet, durch die eine vorzugsweise am Kugelmittelpunkt angebrachte Retroreflektorfolie sichtbar ist. Ein solches Kugelelement kann um seinen Mittelpunkt beliebig gedreht werden, um eine bessere Sichtbarkeit zu erreichen, ohne dass sich dadurch die Koordinaten des Kugelmittelpunkts mit der Retroreflektorfolie ändern.
-
Vorzugsweise sind die Retroreflektormarken so gestaltet, dass sie in der Umgebung, in der das System eingesetzt wird, an Referenzpunkten mit bekannter bzw. verlässlicher Position in einem Koordinatensystem der Umgebung oder des Objekts anbringbar sind. Insbesondere können die Retroreflektormarken in Normbohrungen eingesteckt werden, die in vielen Anwendungsfällen an festgelegten Referenzpunkten bereits vorhanden und dokumentiert sind.
-
Wahlweise können auch die gesamten Marker so gestaltet sein, dass sie über Adapter oder Zwischenstücke an Referenzpunkten mit bekannter oder verlässlicher Position (und ggf. Lage) in einem Koordinatensystem der Umgebung oder des Objekts anbringbar sind, insbesondere durch Einstecken in an den Referenzpunkten vorhandene Normbohrungen. So kann im Falle eines Flachmarkers, der um eine Retroreflektormarken ergänzt ist, das Flachmarkertracking die Pose des Flachmarkers liefern, sodass die bekannte Pose der Normbohrung im Referenzunkt über die bekannte Geometrie des Adapters bzw. Zwischenstücks in die Pose des Flachmarkers überführbar ist und umgekehrt.
-
Eine bevorzugte Ausbildung der Marker sieht vor, dass die Marker jeweils eine Normbohrung und einen unter der Normbohrung angeordneten Magneten aufweisen. Kugelförmige Retroreflektormarken mit einer metallischen Basis lassen sich dann leicht in die Normbohrung einstecken und werden vom Magneten gehalten, wobei ein Ausrichten der Retroreflektormarken durch Drehen möglich ist.
-
Die Erfindung schafft auch ein Verfahren zur visuellen Darstellung von Informationen auf realen Objekten mit einer Projektionseinheit. Das erfindungsgemäße Verfahren umfasst folgende Schritte:
- – Bestimmen der aktuellen Position und/oder Lage des Objekts und/oder der Projektionseinheit im Raum;
- – grafisches oder bildliches Übertragen einer Information auf das Objekt auf der Grundlage der bestimmten Position und/oder Lage;
- – Erkennen und Bestimmen einer Änderung der Position und/oder Lage des Objekts und/oder der Projektionseinheit; und
- – Anpassen der Übertragung der Information an die geänderte Position und/oder Lage des Objekts und/oder der Projektionseinheit.
-
Die Vorteile dieses Verfahrens entsprechen denen des erfindungsgemäßen Systems zur visuellen Darstellung von Informationen auf realen Objekten.
-
Für ein sofortiges, akkurates Nachführen der projizierten Information bei einer Positions- oder Lageänderung des Objekts und/oder der Projektionseinheit ist vorgesehen, dass die aktuelle Position und/oder Lage des Objekts und/oder der Projektionseinheit fortwährend in Echtzeit erfasst wird.
-
In vorteilhafter Weise kann ein Laserprojektor der Projektionseinheit zum Anpeilen von Marker genutzt werden, die an Referenzpunkten einer Umgebung angeordnet sind, in der das Verfahren eingesetzt wird, wobei die Marker von einer 3D-Sensorik einer Trackingeinrichtung erfasst werden.
-
Gemäß einer besonders bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens werden – vorzugsweise dieselben – Marker für ein Einmessen der Referenzpunkte in einem Koordinatensystem der Umgebung oder des Objekts und für das Bestimmen einer Änderung der Position und/oder Lage des Objekts und/oder der Projektionseinheit verwendet.
-
Beim erfindungsgemäßen Verfahren ist es möglich, für das Erkennen und Bestimmen einer Änderung der Position und/oder Lage des Objekts und/oder der Projektionseinheit ein Inside-Out-artiges Trackingverfahren mit wenigstens einer beweglichen Kamera und fest installierten Marker zu verwenden. Die Kamera kann in der mobilen Projektionseinheit untergebracht sein und wird so immer zusammen mit dem darin befindlichen Projektor bewegt. Für eine zuverlässige Kalibrierung des Offsets zwischen Projektor und Kamera ist eine starre Verbindung zwischen den beiden Geräten vorgesehen.
-
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung und aus den beigefügten Zeichnungen, auf die Bezug genommen wird. In den Zeichnungen zeigen:
-
1 eine Schnittansicht einer Rumpftonne eines Flugzeugs mit einem erfindungsgemäßen System;
-
2 eine Detailvergrößerung aus 1;
-
3 eine Detailvergrößerung aus 2 im Falle einer korrekten Halterungsmontage;
-
4 eine Detailvergrößerung aus 2 im Falle einer fehlerhaften Halterungsmontage;
-
5 eine Draufsicht auf einen Flachmarker;
-
6 eine Draufsicht auf einen Kombi-Marker ohne Retroreflektormarke;
-
7 eine Seitenansicht eines Kombi-Markers ohne Retroreflektormarke;
-
8 eine Seitenansicht eines in einer Arbeitsumgebung montierten Kombi-Markers ohne Retroreflektormarke;
-
9 eine Schnittansicht einer Referenzmarke;
-
10 eine Seitenansicht eines Kombi-Markers mit Retroreflektormarke und Sichtwinkelbereichen für Laserprojektor und Kamera;
-
11 eine Seitenansicht eines Kombi-Markers mit geneigter Retroreflektormarke;
-
12 eine Seitenansicht eines in einer Arbeitsumgebung mithilfe eines Zwischenstücks montierten Kombi-Markers ohne Retroreflektormarke; und
-
13 eine Seitenansicht eines Kombi-Markers ohne Retroreflektormarke mit einem Steckadapter.
-
Exemplarisch wird im Folgenden ein Einsatzszenario für ein System und ein Verfahren zur visuellen Darstellung von Informationen auf realen Objekten (Visualisierungssystem) erläutert, nämlich die Kontrolle der Haltermontage beim Bau eines Flugzeugs.
-
Der Bau großer Objekte (Flugzeuge, Schiffe, Fabrikationsanlagen, Maschinen, etc.) wird nach wie vor Großteils in Handarbeit bestritten. Zum einen rechtfertigen die geringen Stückzahlen keinen Einsatz von Robotern, zum anderen sind die großen Dimensionen maschinell nur schlecht handhabbar. Die Fertigung gleicht einer Manufaktur. Große Objekte, wie Rumpftonnen im Flugzeugbau, stehen statisch an einem Ort und werden über einen Zeitraum von Wochen systematisch in Handarbeit aufgerüstet. Der Qualitätssicherung kommt deshalb eine zentrale Bedeutung zu, um ein konstantes Qualitätsniveau gewährleisten zu können.
-
Die 1 und 2 zeigen die Rumpftonne 10 eines Großraumflugzeuges. Sie ist ca. 12 m lang und 8 m hoch. Solche Rumpfsegmente werden zunächst einzeln aufgebaut und erst später zu einem Rumpf zusammengesetzt. Die Montage von Halterungen 12 für die spätere Installation von Bordelektronik, Klimaanlage, usw. nimmt pro Rumpftonne 10 sehr viel Zeit in Anspruch. Einen erheblichen Anteil daran hat die Qualitätssicherung, d. h. die Überprüfung der korrekten Montage einer Vielzahl von Halterungen 12. Sie wird bisher durch massiven Personaleinsatz auf Basis großformatiger Baupläne bewerkstelligt, welche aus einem CAD-Modell generiert und dann ausgedruckt werden. Die monotone Arbeit sowie häufige Blickwechsel zwischen Bauplan und Objekt führen zu Flüchtigkeitsfehlern, nicht nur in der Fertigung, sondern auch in der Qualitätssicherung, welche sich auf die Produktivität nachfolgender Arbeitsschritte negativ auswirken.
-
Die Überprüfung der korrekten Montage der Halterungen 12 in der Rumpftonne 10 kann gemäß der Darstellung in 1 mithilfe des Visualisierungssystems bewerkstelligt werden, das eine mobile Projektionseinheit 14 zur grafischen oder bildlichen Übertragung einer Information auf ein Objekt (Werkstück) aufweist, vorzugsweise mit einem Laserprojektor. Das System umfasst ferner eine dynamische Trackingeinrichtung mit einer 3D-Sensorik zur Bestimmung und Nachverfolgung der Position und/oder Lage des Objekts und/oder der Projektionseinheit 14 im Raum. Schließlich umfasst das System noch eine Steuereinrichtung für die Projektionseinheit 14, die die Übertragung der Information an die aktuelle, von der Trackingeinrichtung bestimmte Position und/oder Lage des Objekts und/oder der Projektionseinheit 14 anpasst. Der Laserprojektor, die 3D-Sensorik der Trackingeinrichtung und die Steuereinrichtung sind alle in der mobilen Projektionseinheit 14 untergebracht. Unter der Steuereinrichtung sind hier diejenigen Komponenten zu verstehen, die für eine Anpassung der Projektion sorgen, insbesondere hinsichtlich Richtung, Schärfe und/oder Größe. Eine (nicht gezeigte Bedien- und Versorgungseinrichtung ist über einen langen und robusten Kabelschlauch (Strom, Daten) mit der Projektionseinheit 14 verbunden.
-
Die für die Montage der Halterungen 12 wesentlichen Informationen aus den Bauplänen, insbesondere die Anordnung und die Umrisse von Bauteilen, stehen dem System zur Verfügung. Insbesondere ist vorgesehen, Baugruppen aus einem CAD-Modell zu exportieren und weitgehend automatisiert für eine Projektion aufzubereiten. Es wird ein Polygonzug (Kontur) generiert, welcher durch den Laserprojektor reproduziert werden kann. So kann die gewünschte Information mit der Projektionseinheit 14 gemäß der Vorgabe aus dem CAD-Modell auf das bereits verbaute Objekt projiziert werden. Auf der Grundlage der Projektion werden etwaige Diskrepanzen mit den Bauplänen unmittelbar sichtbar. In 3 ist eine korrekte Montage einer Halterung 12 dargestellt, in 4 eine Fehlmontage. Zusätzlich oder alternativ zu den reinen CAD-Daten können auch weitere Hinweise, Schritt-für-Schritt-Anleitungen, Pfeile, etc. projiziert werden. Flüchtigkeitsfehler werden damit weitgehend ausgeschlossen, und die Kontrolle der Montage kann wesentlich schneller durchgeführt werden. Grundsätzlich ist es dank der Unterstützung durch das Visualisierungssystem möglich, die Fertigung und die Qualitätssicherung kombiniert durchzuführen, um die Produktivität weiter zu steigern.
-
Grundvoraussetzung für die korrekte Funktion des Visualisierungssystems ist, dass Position und/oder Lage (je nach Anwendung) der Projektionseinheit 14 in der Arbeitsumgebung zu jedem Zeitpunkt mittels der 3D-Sensorik bestimmt werden können. Hierzu ist vorgesehen, dass das für die Positions- und/oder Lagebestimmung erforderliche Einmessen dynamisch, d. h. nicht nur einmalig, sondern fortwährend oder zumindest nach jeder automatisch erkannten oder manuell mitgeteilten Positions- und/oder Lageänderung, mittels der Trackingeinrichtung über standardisierte Referenzpunkte erfolgt (dynamische Referenzierung). Diese Referenzpunkte können auf einfache Weise an verschiedenen Raumpositionen temporär montiert werden, z. B. mittels Klebeband und/oder Heißkleber.
-
Gemäß einer ersten Variante können die Referenzpunkte mit einem kommerziell erhältlichen Lasertracker präzise vermessen werden, wobei das Koordinatensystem der Arbeitsumgebung, hier das Flugzeugkoordinatensystem, zugrundegelegt wird.
-
Gemäß einer zweiten, bevorzugten Variante werden spezielle, auf die 3D-Sensorik der Trackingeinrichtung abgestimmte Marker 16 an den Referenzpunkten eingehängt. Auf die besonderen Anforderungen an die Marker 16 wird später noch genau eingegangen. Jedenfalls kann die 3D-Sensorik über die Marker 16 die Referenzpunkte einmessen und anschließend die Projektionseinheit 14 ins Koordinatensystem der Arbeitsumgebung einmessen. Das Visualisierungssystem ist dann betriebsbereit.
-
Bei der oben beschriebenen Anwendung im Flugzeugbau werden die Marker 16 verklebt und eingemessen und stehen dann für die ganze Dauer eines Bauabschnittes (mehrere Wochen) zur Verfügung, d. h. solange, bis durch den Baufortschritt die aktuellen Positionen verdeckt werden; die Marker 16 müssten dann ggf. neu montiert werden. Dadurch können ohne zusätzlichen Aufwand (Einmessen der Referenzpunkte) weitere Arbeitsschritte innerhalb eines Bauabschnittes auf die Benutzung des Visualisierungssystems mit der Projektionseinheit 14 umgestellt werden.
-
Zur dynamischen Einmessung (Referenzierung) der Projektionseinheit 14 und dessen nahtlose Integration in bestehende Arbeitsprozesse werden die Basistechnologien ”klassische Messtechnik” und ”Tracking” kombiniert. Die klassische Messtechnik ist Industriestandard. Sie ist zwar sehr genau, aber auch teuer und unflexibel, da immer zwei getrennte Arbeitsschritte erforderlich sind, nämlich die eigentliche Messung und die Aufbereitung/Visualisierung/Analyse der Messdaten.
-
Tracking bezeichnet im Gegensatz zur klassischen Messtechnik Echtzeit-Messsysteme. Üblicherweise werden Position und Lage (Pose, sechs Freiheitsgrade) bestimmt. Ein wesentlicher Vorteil besteht darin, dass aufgrund des Echtzeit-Charakters der Messung die Ergebnisse unmittelbar zur Verfügung stehen. Die aufwändige, nachträgliche Auswertung von Messdaten entfällt. Darüber hinaus ist Tracking eine Grundvoraussetzung für Augmented-Reality-Systeme (AR-Systeme) zur interaktiven Einblendung virtueller Inhalte (CAD-Daten, etc.) in das Blickfeld des Anwenders, zu denen auch das oben beschriebene Visualisierungssystem zählt.
-
Nachfolgend wird genauer auf die Marker 16 eingegangen, die sowohl für die Einmessung der Referenzpunkte als auch für die dynamische Referenzierung der Projektionseinheit 14 verwendet werden. Für ein optisches Tracking mit einer Kamera sind sogenannte Flachmarker geeignet, die in beliebiger Größe gefertigt werden können. Ein Beispiel für einen solchen Flachmarker 18 mit einem Bitmuster 20 ist in 5 gezeigt. Über das äußere und innere Rechteck 22 bzw. 24 (Eckpunkte) lässt sich mit mathematischen Verfahren die Pose der Kamera relativ zum Marker ermitteln. Es genügt dafür grundsätzlich eine einfache, billige Kamera; mehrere und/oder hochwertigere Kameras erhöhen die Genauigkeit.
-
Die Integration von Trackingverfahren in bestehende Prozesse gestaltet sich allgemein schwierig, vor allem wegen der bisher ungelösten Einmess-Problematik, die im Folgenden kurz erläutert wird. Die wenigen, sich im produktiven Einsatz befindlichen Anlagen basieren ausschließlich auf sogenannten „Outside-In-Verfahren”, bei denen Sensoren (insbesondere Kameras) in der Umgebung fest verbaut und in dieser fest eingemessen sind. Das ist unflexibel und in den wenigsten der potentiellen Einsatzszenarien von AR-Systemen tatsächlich durchführbar, da entweder die Umgebung nicht dauerhaft mit Kameras ausgerüstet werden kann (z. B. Flugzeug oder Schiff im Bau) oder im Arbeitsprozess Sichtbehinderungen auftreten, die eine flexible Ausrichtung der Kameras erfordern würden (z. B. Personal, Baumaterial, Zwischenwände, Arbeitsplattformen, etc.). Außerdem leiden Outside-In-Systeme in vielen Fällen an unzureichender Rotationsgenauigkeit.
-
Allgemein gilt in der Messtechnik der Leitsatz, dass das Volumen der zum Einmessen verwendeten Punkte grob dem Messvolumen entsprechen soll. Beim Outside-In-Tracking ist es notwendig, dass „von außen” mehrere am mobilen System angebrachte Referenzpunkte erkannt und zur Referenzierung verwendet werden. Da das Visualisierungssystem jedoch mobil, und damit in seiner Größe beschränkt ist, kann dem Leitsatz nur ungenügend Rechnung getragen werden. Zudem wirkt sich eine fehlerhafte Erkennung der Orientierung der Projektionseinheit dahingehend aus, dass die Projektion auf dem Werkstück einer Positionsungenauigkeit unterliegt, die linear mit der Arbeitsdistanz wächst.
-
Sogenannte „Inside-Out-Systeme”, bei denen die Kameras bewegt werden, die in der Umgebung fest installierte Marker „tracken”, werden bisher lediglich in der Forschung verwendet. Ihr produktiver Einsatz wird durch die bisher ungelöste Einmessproblematik faktisch verhindert.
-
Das Visualisierungssystem verwendet nun ein Inside-Out-ähnliches Messverfahren und verbindet dieses mit einem Echtzeit-Trackingverfahren, um mehr Flexibilität und Interaktivität im Sinne einer AR-Anwendung zu erreichen. Somit kann in jeder Situation eine das Messvolumen wesentlich besser „umfassende” Wolke an Referenzpunkten genutzt werden. Idealerweise sind in der Projektionseinheit 14 mehrere Kameras als Bestandteil der 3D-Sensorik angeordnet, z. B. als Stereosystem, oder situationsabhängig auch mit nach oben/unten/hinten gerichteten Kameras. Selbst mit nur einer Kamera ist jedoch das zuvor beschriebene Problem des linearen Anwachsens des Projektionsfehlers mit wachsender Arbeitsdistanz nicht mehr vorhanden. Zwar unterliegt im schlimmsten Fall die Positions- und/oder Lageerkennung der mobilen Projektionseinheit 14 einem Fehler. Dadurch jedoch, dass sich die Marker auf der Projektionsfläche befinden, können diese und die dazwischen liegenden Halter mit dem Laserprojektor immer exakt angepeilt werden, selbst wenn ein kleiner Positions- oder Lagefehler der Einheit vorliegt.
-
Für die händische Einmessung der Referenzpunkte in das zugrundeliegende Objektkoordinatensystem sind sogenannte Retroreflektormarken geeignet, die auftreffende Strahlung weitgehend unabhängig von der Ausrichtung des Reflektors Großteils in Richtung zurück zur Strahlungsquelle reflektieren. Die Retroreflektormarken können z. B. Kugelelemente mit einer Öffnung sein, durch die eine am Kugelmittelpunkt angebrachte Retroreflektorfolie sichtbar ist. Solche Retroreflektormarken werden üblicherweise in Normbohrungen im Objekt (Werkstück) gesteckt, evtl. mittels spezieller Adapter. Die mobile Projektionseinheit 14 kann sich dann semi-automatisch über den Laserstrahl und eine spezielle Sensorik in die Umgebung einmessen. Dabei werden die Retroreflektormarken zunächst manuell grob mit einem durch den Laserprojektor auf das Werkstück projizierten Fadenkreuz angepeilt. Die Peilung des Laserprojektors misst Azimut- und Elevationswinkel, sprich 2D-Punkte auf seiner imaginären Bildebene (vergleichbar mit einem klassischen Tachymeter). Ein Optimierungsalgorithmus zentriert das Fadenkreuz automatisch durch Messung des reflektierten Lichts und liefert somit eine 2D-Korrespondenz im Bildkoordinatensystem der Projektionseinheit 14, passend zu der in 3D bekannten Referenzposition. Mit mindestens vier 2D–3D Korrespondenzen kann die Transformation zwischen Projektionseinheit 14 und Werkstück berechnet werden. Bei jedem Auf- oder Umbau der Projektionseinheit 14 ist dieses Einmessverfahren erneut durchzuführen. Das Verfahren ist aber sehr genau und auch für mittlere Messvolumina bis ca. 6 m Abstand geeignet. Wenn die Transformation zwischen Werkstück und Projektionseinheit 14 noch ungefähr gültig ist, kann eine Optimierung vollautomatisch durchgeführt werden. Dieses Verfahren ist im Prinzip analog zu einer händischen Kalibrierung, jedoch entfällt das Anpeilen mit dem Fadenkreuz. Es können somit für alle vorhandenen Retroreflektormarken in ca. 1 bis 3 Sekunden (je nach Anzahl der Marker) optimierte 2D-Koordinaten gemessen und die Transformation entsprechend angepasst werden.
-
Für eine besser automatisierte Einmessung der Referenzpunkte und ein Tracking mit Kamera eignen sich sogenannte Kombi-Marker. Ein Kombi-Marker basiert auf einem herkömmlichen Flachmarker mit Bitmuster, wie er in 5 gezeigt ist, und ist um eine Retroreflektormarke erweitert. Die Retroreflektormarke ist direkt im Mittelpunkt des Flachmarkers angebracht, damit beide Verfahren denselben Mittelpunkt des Kombi-Markers eindeutig bestimmen können.
-
Die 6 und 7 zeigen einen solchen Kombi-Marker 26, noch ohne Retroreflektormarke. In der Mitte des Markers 26 sind eine Normbohrung 28 und ein unter der Normbohrung 28 angeordneter Magnet 30 vorgesehen. In 8 ist eine temporäre Befestigung eines solchen Kombi-Markers 26 in einer Arbeitsumgebung mittels zertifiziertem Klebeband 32 und Heißkleber 34 gezeigt.
-
9 zeigt eine als Kugelelement ausgebildete Retroreflektormarke 36, die in die Normbohrung 28 gesteckt bzw. eingeklippt werden kann. Die Retroreflektormarke 36 setzt sich aus einer Metall-Halbkugel 38 und einem angeschraubten Kugelsegment 40 mit einer Bohrung 42 zusammen. Die Bohrung 42 legt den Kugelmittelpunkt frei, an dem eine Retroreflektorfolie 44 angebracht ist. Aus der 10 gehen der auf den Kugelmittelpunkt bezogene Sichtwinkelbereich α für den Laserprojektor (ca. 50°) und der entsprechende Sichtwinkelbereich β für die Kamera 50 (ca. 120°) des Visualisierungssystems hervor. Um den Sichtwinkelbereich für eine bestimmte Position und/oder Lage der Projektionseinheit 14 zu verbessern kann, wie in 11 beispielhaft gezeigt, die Retroreflektormarke 36 geneigt werden. Auch eine Montage mit einem geeigneten Zwischenstück 46 oder über einen Steckadapter 48 kann zur besseren Sichtbarkeit eines Kombi-Markers 26 beitragen, wie in 12 bzw. 13 gezeigt.
-
Für die dynamische Referenzierung der Projektionseinheit 14 müssen immer mindestens vier Kombi-Marker 26 sichtbar sein. Dazu wird eine ausreichende Anzahl von Kombi-Markern 26 mit Retroreflektormarken 36 an bestimmten Positionen in der Arbeitsumgebung (hier in der Rumpftonne 10) reversibel angebracht, sodass nach Möglichkeit für alle geplanten Perspektiven der Projektionseinheit 14 die Sichtbarkeit von mindestens vier Positionen sichergestellt ist.
-
Mithilfe der Kombi-Marker 26 erlaubt das beschriebene Konzept die Referenzierung des Laserprojektors in der Projektionseinheit 14 mit der bzw. den Kameras 50, die sich in der Projektionseinheit 14 befinden, d. h. im selben Gehäuse. Damit kann der Laserprojektor stets über die Kamera(s) getrackt werden, und ein manuelles Anpeilen der Retroreflektormarken nach einer Neupositionierung erübrigt sich. Die Visualisierung, also die Übertragung der zur Darstellung vorgesehenen Information auf das Objekt, kann durch das Kameratracking direkt an die neue Position und/oder Lage der Projektionseinheit 14 angepasst werden.
-
Damit werden folgende Probleme gelöst: Die Projektionseinheit 14 muss nicht mehr statisch montiert werden, da das Einmessen in Echtzeit geschieht. Ein flexibler Auf-/Um-/Abbau der Projektionseinheit 14 wird ermöglicht. Bei einem Verschieben der Projektionseinheit 14 wird die Projektion automatisch entsprechend umgerechnet. Außerdem ist kein händisches Einmessen bei Auf-/Umbau oder Verschieben der Projektionseinheit 14 mehr notwendig.
-
Zurückkommend auf das Beispielszenario der Montage der Halterungen 12 im Flugzeugbau gestaltet sich der eigentliche Arbeitsprozess zur Überprüfung der Montage nach diesem Konzept wie folgt: Die Projektionseinheit 14 wird auf ein Stativ 52 aufgestellt, sodass sich mindestens vier Kombi-Marker 26 im Sichtbereich der Kamera(s) und der Projektionseinheit 14 befinden. Durch die eindeutige, durch das Bitmuster 20 definierte ID der Kombi-Marker 26 kann das Visualisierungssystem jederzeit die in Echtzeit erkannte Pose der einzelnen Marker 16 mit den vorab in einer Setup-Phase bestimmten 3D-Positionen (Einmessung der Referenzpunkte) abgleichen. Dadurch kann die Pose der Projektionseinheit 14 relativ zum Werkstück hinreichend genau ermittel werden, um eine automatische Optimierung durch Anpeilen der Retroreflektormarken 36 erfolgreich durchführen zu können. Die Projektion wird gestartet, und es wird die erste Halterung 12 einer zu überprüfenden Liste angezeigt. Die Projektion kennzeichnet die Soll-Kontur der Halterung 12, sodass ein Montagefehler sofort und zweifelsfrei erkennbar ist (vgl. 3 und 4). Die Halterungen 12 werden auf diese Weise alle nacheinander abgearbeitet. Sollte sich eine Halterung 12 nicht im Projektionsbereich der Projektionseinheit 14 befinden, wird stattdessen ein Pfeil oder eine andere Information angezeigt, und die Projektionseinheit 14 wird entsprechend neu positioniert. Die Überprüfung kann dann wie beschrieben fortgesetzt werden.
-
Das beschriebene System geht davon aus, dass die Position und/oder Lage der Retroreflektormarken 36 im Objektkoordinatensystem bekannt ist. Dies kann durch Einstecken der Retroreflektormarken 36 bzw. der Kombi-Marker 26 an Normpunkten oder -bohrungen erreicht werden, evtl. über spezielle mechanische Steckadapter 48, wie in 13 gezeigt.
-
Das Tracking mithilfe von Flachmarkern funktioniert zwar in Echtzeit, ist aber weniger genau als die mittels Peilung der Retroreflektormarken 36 berechnete Transformation. Da aber durch Flachmarkertracking die Pose des Objekts zur Projektionseinheit 14 stets hinreichend genau bekannt ist, kann zu jedem Zeitpunkt die automatische Optimierung (siehe oben) angestoßen werden und somit in wenigen Sekunden eine hochgenaue Pose berechnet werden. Dies ist insbesondere für quantitative Messtechnik-Anwendungen (z. B. genaue Bohrungen in einem Werkstück) relevant.
-
Oft sind Referenzpunkte (Normpunkte oder -bohnrungen) am Werkstück oder in der Arbeitsumgebung nicht verfügbar. In diesem Fall kann klassische Messtechnik verwendet werden, um die Kombi-Marker 26 in der Umgebung einzumessen. Hierzu kann vorgesehen sein, dass an einem montierten Kombi-Marker 26 eine Antastkugel angebracht wird, die von einem taktilen Messsystem erfasst werden kann. Insbesondere kann eine solche Antastkugel im Zentrum des Kombi-Markers 26 platziert werden, um den Schwerpunkt des Flachmarkerteils und der Retroreflektormarke 36 zu bestimmen. Die Retroreflektormarke 36 ist dazu entnehmbar, da sie nur vom Magneten 30 gehalten wird. Wahlweise kann also die Antastkugel des taktilen Messsystems oder die Retroreflektormarke 36 der Trackingeinrichtung eingeklippt werden.
-
Alternativ können an den montierten Kombi-Markern 26 auch bestimmte Marken angebracht sein, die in gängigen photogrammetrischen Messsystemen in der Industrie verwendet werden. Solche z. B. runden Standard-Marken können insbesondere in den Ecken der viereckigen Kombi-Marker 26, genauer gesagt auf dem äußeren weißen Rand 22 angebracht werden. Dieses oder vergleichbare Verfahren basieren auf Bündelblockausgleichung, wobei mit Fotos die Registrierung der Kombi-Marker 26 untereinander erreicht wird.
-
Das exemplarisch beschriebene Visualisierungssystem kann auch in anderen Anwendungen genutzt werden, z. B. bei der Durchführung und Überprüfung von Bohrungen. Dabei werden die Sollposition des Bohrers sowie dessen Durchmesser als Information projiziert. Auch bei der Qualitätssicherung am Fließband, insbesondere in der Automobilindustrie, kann das Visualisierungssystem eingesetzt werden. Anstatt der flexiblen Repositionierung der Projektionseinheit in einem großen, unbeweglichen Objekt bewegt sich hier das Objekt selbst. Auf Basis statistischer Verfahren werden stichprobenartig zu prüfende Bereiche (z. B. Schweißpunkte) markiert. Die projizierte Information wandert mit der Bewegung des Objektes auf dem Fließband mit. Eine weitere Anwendung ist die Wartung in Werkstätten. Die mobile Projektionseinheit, evtl. an einem Schwenkarm befestigt, wird gezielt herangezogen, um in kniffligen Situationen Montageanweisungen auf ein Objekt zu projizieren. Das System kann auch genutzt werden, um Wartungsanweisungen eines nicht lokal verfügbaren Experten für das lokale Servicepersonal zu visualisieren (Remote Maintenance).
-
Bezugszeichenliste
-
- 10
- Rumpftonne
- 12
- Halterungen
- 14
- Projektionseinheit
- 16
- Marker
- 18
- Flachmarker
- 20
- Bitmuster
- 22
- äußeres Rechteck
- 24
- inneres Rechteck
- 26
- Kombi-Marker
- 28
- Normbohrung
- 30
- Magnet
- 32
- Klebeband
- 34
- Heißkleber
- 36
- Retroreflektormarke
- 38
- Metall-Halbkugel
- 40
- Kugelsegment
- 42
- Bohrung
- 44
- Retroreflektorfolie
- 46
- Zwischenstück
- 48
- Steckadapter
- 50
- Kamera
- 52
- Stativ
