-
Die Erfindung betrifft ein Verfahren und eine Vorrichtungsanordnung zur hochgenauen, (semi-)automatischen in-situ-Kalibrierung und -Registrierung eines Projektor-Kamera-Systems zu einem Bauteil.
-
Projektor-Kamera-Systeme müssen typischerweise vorab kalibriert werden, um einerseits die intrinsischen Abbildungseigenschaften der einzelnen optischen Komponenten (Kamera(s), Projektor(en)), d. h. insbesondere die Brennweite, den Bildhauptpunkt sowie die Verzeichnungsparameter präzise zu bestimmen; andererseits müssen aber auch die extrinsischen Parameter, d. h. die räumliche Lage (Position/Skalierung und Orientierung) der optischen Komponenten zueinander bestimmt werden. Die Bestimmung der intrinsischen und extrinsischen Parameter ist unter anderem Voraussetzung dafür, dass mittels des Projektor-Kamera-Systems Punkte in einem metrischen Koordinatensystem erfasst bzw. trianguliert werden können, um diese beispielsweise im Rahmen eines Soll-Ist-Abgleichs sinnvoll mit dem physikalischen Werkstück (Bauteil) auf Abweichungen hin vergleichen zu können. Dies betrifft insbesondere auch die aus der Nahbereichsfotogrammetrie bekannten Streifenlicht-Scanner.
-
Typischerweise werden hierfür Kalibriervorrichtungen, insbesondere planare Kalibriertafeln oder auch komplexere dreidimensionale Aufbauten verwendet, welche präzise und vorab bekannte Referenzpunkte bzw. -Strecken aufweisen, welche mittels der optischen Komponenten erfassbar sind. Da die optischen Komponenten für einen bestimmten Schärfetiefenbereich eingestellt sind, aus dem sich der minimale bzw. maximale Arbeitsabstand, und somit auch das Arbeitsvolumen des Projektor-Kamera-Systems, ableiten lässt, muss die Kalibriervorrichtung diesen Dimensionen entsprechen, damit das System für das vorgesehene Arbeitsvolumen vollumfänglich und korrekt kalibriert werden kann.
-
Die Referenzmerkmale werden also durch das Projektor-Kamera-System erfasst und mittels Bündelblockausgleichung dermaßen ausgeglichen, dass die vorab bekannten Referenzmerkmale bestmöglich durch das mathematische Modell und die dafür geschätzten Parameter in Übereinstimmung mit den durch die optischen Komponenten erfassten Beobachtungen ebendieser Referenzmerkmale zu bringen sind. Je nach Ausgestaltung werden hierbei entweder aus einer oder wenigen Perspektiven jeweils viele Referenzmerkmale gleichzeitig aufgezeichnet, oder aus vielen Perspektiven jeweils wenige Referenzmerkmale erfasst. In ersterem Fall (z. B. GOM ATOS) ist das Prozedere einfacher und schneller durchzuführen, es kommt insbesondere der Kalibrierung größerer Geräte entgegen, die man nicht so häufig Bewegen möchte. Jedoch erfordert es eine unter Umständen große Kalibriervorrichtung.
-
Andere Verfahren kommen mit kompakteren und damit transportableren Maßstäben aus. Dies trifft insbesondere auf fotogrammetrische Verfahren zu, die mit einer einzelnen Kamera auskommen (z. B. GOM Tritop), und somit einfacher eine Vielzahl an Perspektiven durch Schnappschüsse abgedeckt werden kann. Ein solches System beinhaltet typischerweise keinen Projektor, es wird aber des Kontexts halber trotzdem beschrieben. Die Maßstäbe (typischerweise 2) werden einfach um ein zu vermessendes Bauteil herum platziert, und zu vermessende Eigenschaften am Werkstück werden geeignet markiert (z. B. durch Marker) bevor diese Szene dann aus unterschiedlichen Perspektiven abgelichtet wird. Man spricht von Auto-Kalibrierung, da es keinen expliziten Kalibrierschritt gibt. Vielmehr werden die Beobachtungen mit einer (oder auch mehreren) vorab unkalibrierten Kamera(s) gemacht und anschließend in einer Bündelblockausgleichung ausgeglichen. Resultat ist die Vermessung der Eigenschaften auf dem Bauteil, sowie quasi als „Abfallprodukt” auch die intrinsischen und extrinsischen Parameter der Kamera(s).
-
Theoretisch können mittels Auto-Kalibrierung (auch Selbstkalibierung genannt) bei geeignetem Werkstück, sowie geeigneter Erfassung und Zuordnung von Merkmalen aus der Szene und unter Berücksichtigung gewisser Meta-Informationen (z. B. wie lang ist eine bestimmte Kante, wo liegt ein rechter Winkel vor?), sämtliche Parameter auch ohne Kalibriervorrichtung, allein durch Informationen aus der Szene, bestimmt werden (vgl. R. I. Hartley/A. Zisserman, Multiple View Geometry in Computer Vision, Cambridge University Press, second edition 2004). Jedoch sind diese Ansätze nicht, wie der Name vermuten ließe, immer vollautomatisch und darüber hinaus häufig instabil in ihrem Konvergenzverhalten. Zudem machen sie zusätzliche Annahmen an die Szene (z. B. es gibt eine Strecke bekannter Länge), die nicht immer gegeben sind (z. B. bei komplex gewölbten Werkstücken). Praktisch ist für relevante Präzisionsanwendungen im professionellen Bereich, sei es für den Soll-Ist-Abgleich oder auch für die Übertragung digitaler Daten in die reale Welt (Augmented Reality), immer eine robuste Zuordnung von Merkmalen über Marker und/oder die Definition der Skalierung über bekannte Referenzmaßstäbe notwendig.
-
Zwischen einer expliziten Kalibrierung auf dedizierten Kalibriervorrichtungen und Auto-Kalibrierung gibt es auch diverse Abstufungen. So mag es Sinn machen, z. B. die intrinsischen Parameter auf dedizierten Vorrichtungen zu ermitteln, um später in einem dann einfacheren zweiten Schritt nur noch die extrinsischen Parameter zu kalibrieren.
-
S. Yamazaki, M. Mochimaru, T. Kanade, „Simultaneous self-calibration of a projector and a camera using structured light”, in CVPR Workshops, pages 60–67, IEEE, 2011, beschreiben ein Verfahren basierend auf strukturiertem Licht, welches aus nur einer Perspektive die intrinsischen und extrinsischen Parameter von Kamera und Projektor schätzt, hierfür jedoch die näherungsweise Bekanntheit der Bildhauptpunkte der beiden Komponenten voraussetzt. Die erzielte Rekonstruktion ist ungenau und nicht winkeltreu. Insbesondere liefert das Verfahren auch keine metrische Rekonstruktion; die extrinsischen Parameter sind willkürlich skaliert.
-
S. Umeyama, ”Least-squares estimation of transformation parameters between two point patterns”, IEEE Trans. Pattern Anal. Mach. Intell., 13(4): 376–380, Apr. 1991 beschreibt ein Verfahren, das zwei Punktewolken mit bekannten Korrespondenzen durch Modifikation von Position, Rotation und Skalierung (Ähnlichkeitstransformation) bestmöglich zur Deckung bringt. Die Definition von bestmöglich ist gegeben durch die Minimierung der Summe der quadrierten Abstände der entsprechenden Punktpaare. Insbesondere kann dieses Verfahren gemäß der Erfindung, wie später noch erläutert wird, durch Kombination mit dem ICP (Iterative Closest Point) Algorithmus so erweitert werden, dass auch Punktewolken mit unbekannten Korrespondenzen zur Deckung gebracht werden können (im nachfolgendem als S-ICP (Scaled Iterative Closest Point bezeichnet). In diesem iterativen Verfahren wechseln sich Korrespondenzenbestimmung und Bestimmung der Ähnlichkeitstransformation nach Umeyama ab. Korrespondenzen werden bestimmt, in dem für jeden Punkt aus der einen Punktewolke der im euklidischen Sinn nächste Punkt in der anderen Punktwolke bestimmt wird. Dieses Verfahren benötigt einen hinreichend genauen Startwert.
-
R. Rusu, N. Blodow, and M. Beetz, „Fast point feature histograms (fpfh) for 3D registration”, in Robotics and Automation, 2009, ICRA '09, IEEE International conference, pages 3212–3217, May 2009 beschreibt ein Verfahren, welches auch ohne vorhandenen Startwert für die Transformationsparameter (vgl. ICP) in der Lage ist, zwei Punktwolken korrekt in Überdeckung zu bringen. Es basiert auf der Analyse der Normalenvektoren in Konstellationen aus jeweils mehreren Punkten und kann somit global korrekte Zuordnungen von Punkten berechnen.
-
Für große Projektionsvolumina sind mit herkömmlichen Verfahren ebenfalls große und damit teure und stationäre Kalibriervorrichtungen notwendig.
-
Zumindest sind jedoch Marker und Maßstäbe in der Zielumgebung notwendig, um Verfahren der Auto-Kalibrierung anwenden zu können. Bei komplex gewölbten Bauteilen funktioniert das Verfahren nicht.
-
Handelsübliche Laser- oder Videoprojektoren sind häufig nicht dafür gebaut, in produktiven Umgebungen unter dem Einfluss von Erschütterungen, Dauerbetrieb etc. dauerhaft optisch stabil zu bleiben. Daraus ergibt sich die Notwendigkeit, die intrinsischen Parameter solcher Systeme häufiger zu rekalibrieren.
-
Insbesondere bei Multiprojektor-aufbauten kommt hinzu, dass diese nicht dauerhaft und temperaturstabil relativ zueinander positioniert werden können. Vielmehr erfolgt die Montage an handelsüblichen Traversen. Unter anderem Erschütterungen und Termperaturausdehnung erfordern daher eine häufige Rekalibrierung der extrinsischen Parameter.
-
Eine Aufgabe der Erfindung ist es, bei einem Projektor-Kamera-System mit physikalisch voneinander unabhängig angeordnetem Projektor und Kamera die Kalibrierung dieser beiden Komponenten soweit zu automatisieren, dass eine dedizierte Kalibriervorrichtung nicht mehr nötig ist. Auch auf einen ansonsten erforderlichen zusätzlichen Registrierungsschritt soll verzichtet werden können.
-
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 und durch eine Vorrichtungsanordnung mit den Merkmalen des Anspruchs 8 gelöst.
-
In einer bevorzugten Ausführungsform sieht das erfindungsgemäße Verfahren zur hochgenauen, (semi-)automatischen in-situ-Kalibrierung und -Registrierung eines Projektor-Kamera-Systems zu einem Bauteil folgende Schritte vor:
- 1. Projektor und Kamera werden so aufgestellt, dass beide Geräte auf das Bauteil zeigen und das Bauteil einen möglichst großen Teil der Bildfläche von Projektor und Kamera einnimmt.
- 2. Der Projektor projiziert eine Folge von strukturierten Lichtmustern auf das Bauteil.
- 3. Die Kamera nimmt jeweils ein Bild des so beleuchteten Bauteils für jedes Muster auf.
- 4. Der Benutzer gibt eine grobe Schätzung des Projektor-Hauptpunktes vor. Die Schätzung des Hauptpunktes muss nicht zwangsläufig vom Nutzer jedes Mal vorgenommen werden, sondern kann bauartbedingt ab Werk festgelegt werden. Die manuelle Ausrichtung von Rotation und Translation in Software kann bei gegebenem Setup einmal erfolgen und anschließend für eine automatische Rekalibrierung des Systems wiederverwendet werden.
- 5. Darauf basierend wird eine initiale Projektor-Kamera-Kalibrierung (intrinsisch: Brennweite, Hauptpunkt, extrinsisch: Rotation und Translation) und eine 3D-Rekonstruktion des Bauteils mittels Fundamentalmatrixzerlegung berechnet.
- 6. Der Benutzer richtet die 3D-Rekonstruktion grob auf ein vorliegendes virtuelles Modell des Bauteils aus, indem er Rotation, Translation und Skalierung selbiger vorgibt. Alternativ werden diese Parameter automatisch ermittelt. Somit kann das System in einem Dauerbetrieb vollautomatisch und hochgenau betrieben werden (z. B. Rekalibrierung täglich oder wöchentlich). Nur für das initiale Setup ist eine Nutzerinteraktion notwendig.
- 7. Das Verfahren berechnet nun iterativ:
a) einen Best-Fit der 3D-Rekonstruktion auf das virtuelle Modell des Bauteils,
b) eine auf dem Best-Fit resultierende, optimierte Projektor-Kamera-Kalibrierung (unter Einbeziehung eines radialen Verzeichnungsparameters) und -Registrierung zum Bauteil und
c) eine neue 3D-Rekonstruktion basierend auf der optimierten Kalibrierung.
- 8. Die Kalibrierung wird beendet, sobald vordefinierte Schwellwerte für Best-Fit und/oder Projektor-Kamera-Kalibrierung erreicht werden.
-
Die vorliegende Erfindung verknüpft Verfahren der Auto-Kalibrierung mit automatischen oder zumindest einfach semi-automatisch herstellbaren Bezügen zum realen Werkstück auf Basis von strukturiertem Licht.
-
Im Vergleich zu traditionellen Kalibriermethoden benötigt das erfindungsgemäße Verfahren keine dedizierte Kalibrier-Hardware wie Kalibrierplatte, -stab etc. und liefert durch Einbeziehung des virtuellen Modells eine metrisch-korrekte Kalibrierung im richtigen Maßstab. Zusätzlich zur Kalibrierung des Projektor-Kamera-Systems berechnet das erfindungsgemäße Verfahren gleichzeitig eine Registrierung zum Bauteil. Eine dedizierte Kalibriervorrichtung ist somit nicht mehr nötig. Ein zusätzlicher Registrierungsschritt ist ebenfalls nicht erforderlich.
-
In der oben beschriebenen Verfahrensvariante sind die intrinsischen Parameter der Kamera (Hauptpunkt, Brennweite, Verzeichnungsparameter (insbesondere die radialen und tangentialen)) bekannt, d. h. die Kamera wurde für sich vorab kalibriert. Die intrinsischen Parameter des Projektors sind jedoch bis auf den vom Benutzer oder werkseitig vorgegebenen groben Schätzwert für den Hauptpunkt unbekannt.
-
Prinzipiell ist das Verfahren jedoch so geartet, dass auch mit unbekannten intrinsischen Parametern der Kamera gestartet werden kann. In diesem Fall ist auch für die Kamera nur eine grobe Schätzung des Hauptpunktes notwendig, welche ebenfalls bauartbedingt ab Werk festgelegt sein oder vom Benutzer vorgegeben werden kann.
-
Die anfänglichen Musteraufnahmen können aus verschiedenen Blickwinkeln erfolgen, d. h. die auf das Bauteil projizierten Muster können aus unterschiedlichen Perspektiven erfasst werden. Dies bedeutet zwar mehr Aufwand, entweder für den Benutzer, weil er die Kamera versetzen muss, oder für das Setup, wenn mehrere Kameras an verschiedenen Positionen installiert werden, stabilisiert aber das Verfahren und führt zu genaueren Resultaten.
-
Der gegebenenfalls notwendige händische Eingriff beschränkt sich beim erfindungsgemäßen Verfahren allenfalls auf die folgenden beiden Punkte:
- 1) Die Vorgabe von näherungsweise korrekten Bildhauptpunkten. Dies kann häufig automatisiert werden, z. B. für Kameras, die ihren Bildhauptpunkt typischerweise im Zentrum haben. Lediglich für Projektoren, die nicht geradeaus sondern nach oben/unten projizieren (typische Konfiguration für Heim- oder Office-Projektoren, damit der Projektor auf einem Tisch aufgestellt oder an der Decke montiert werden kann), muss die Verschiebung des Hauptpunktes Py näherungsweise vorgegeben werden. Typischerweise genügt es, die Winkelangaben aus dem Datenblatt zu übernehmen und mittels trigonometrischer Berechnung auf die Lage des lotrechten Projektionsstrahls relativ zur gesamten Bildhöhe umzurechnen, wie schematisch in 1 gezeigt.
- 2) Die Grobausrichtung einer Punktewolke relativ zum digitalen Modell des Werkstücks, und dies auch nur, falls das Bauteil Symmetrien aufweist, so dass eine eindeutige Zuordnung der Punktewolke automatisch (etwa durch das Verfahren von Rusu) nicht möglich ist. Selbst in diesem Fall muss die händische Ausrichtung nur ein einziges Mal vorgenommen werden, für nachfolgende Rekalibrierungen nach Erschütterung oder Termperaturausdehnung oder dergleichen ist dies nicht mehr notwendig.
-
Nachfolgend sind die wesentlichen Vorteile des erfindungsgemäßen Verfahrens aufgelistet:
- – Einfaches, zumeist vollautomatisches Verfahren, geeignet auch für große Aufbauten, die auf Dauer angelegt sind.
- – Eine einzige Perspektive genügt.
- – Das Verfahren funktioniert ohne Marker.
- – Das Werkstück kann komplex gewölbt sein und muss insbesondere keine dedizierten Merkmale wie Punkte, Kanten oder planare Flächen aufweisen.
- – Das Verfahren liefert präzise intrinsische und extrinsische Parameter der Komponenten zueinander, sowie auch zum Werkstück, inklusive der globalen Skalierung des Bündelblocks.
- – Gegenüber den Verfahren der Auto-Kalibrierung sinkt zudem die Anforderung an die Güte vorausgesetzter Schätzwerte, z. B. die Lage der Hauptpunkte bei der eingangs erwähnten Technik nach Yamazaki et al. Initiale Schätzwerte genügen, da diese durch das Verfahren automatisch optimiert werden.
- – Das Verfahren kann einfach mit dynamischem Tracking kombiniert werden, damit nach Durchführung des Verfahrens das Werkstück oder das Projektor-Kamera-System bewegt werden kann.
- – Der Benutzer kann in-situ kalibrieren, also auch mit fest verbauter Kamera, Projektor und Bauteil. Ein mehrmaliges Bewegen des Projektors, der Kamera oder des Bauteils, damit Bilder aus verschiedenen Perspektiven aufgenommen werden können, entfällt.
- – Die reale Laufzeit des Verfahrens beschränkt sich auf die Aufnahme der Muster (ungefähr 10 Sekunden) und die iterative Optimierung (ungefähr 10 Minuten). Damit ist der Verfahren in den meisten Fällen schneller als ein zweistufiges, separates Kalibrier- und Registrierverfahren.
- – Das Verfahren benötigt zur Kalibrierung weniger Personenstunden als herkömmliche Verfahren und kann prinzipiell auch von einem Laien angewandt werden, da keine Interaktion mit der Hardware und nur eine einfache Interaktion in Software (grobe Schätzung des Hauptpunktes, grobe Vor-Ausrichtung der Rekonstruktion auf das Bauteil) nötig ist.
- – Es sind keine aufwendig vorkalibrierten Projektor-Kamera-Systeme mehr notwendig. Eine einfache Installation von „Off-the-Shelf”-Komponenten genügt.
- – Wie bereits angedeutet ist ein vollautomatischer, hochgenauer Dauerbetrieb nach einem einmaligen initialen semi-automatischen Setup möglich. Der Vorteil hierbei ist, dass das Verfahren in einem festen Setup automatisch für längere Zeit betrieben werden kann, auch wenn es während des Betriebs immer wieder zu moderaten Veränderungen der Kalibrierung (intrinsisch) oder Registrierung (extrinsisch) des Projektors kommt, sei es durch Temperaturschwankungen, Erschütterungen/Vibrationen, Fertigungstoleranzen oder dergleichen. Ein weiterer Vorteil besteht darin, dass der Vollautomatismus auch dann gewährleistet werden kann, wenn unterschiedliche Modelle abwechselnd in das Projektionsfeld gebracht werden. Es muss nur sichergestellt sein, dass das Modell jeweils ungefähr wieder an der zuletzt bekannten Position platziert wird, z. B. über grobe Markierungen am Boden etc.
-
Nachfolgend sind die Voraussetzungen dafür, dass das Verfahren eingesetzt werden kann, aufgeführt:
- – Ein digitales Modell des Werkstücks oder eines repräsentativen Teils davon liegt als 3D-Polygonmodell vor. Diese Voraussetzung ist ohnehin Grundvoraussetzung für typische Augmented-Reality-Anwendungen und stellt daher keine besondere Herausforderung dar.
- – Das Modell muss hinreichend genau dem physischen Werkstück entsprechen. Auch diese Anforderung ist häufig erfüllt. Insbesondere durch die Technik des 3D-Drucks ist es sehr einfach, präzise Körper als Basis für die Augmented-Reality-Aufprojektion zu fertigen.
- – Das Werkstück verfügt über jeweils mindestens einen „Anschlag” in allen drei Raumrichtungen sowie einen weiteren Anschlag in mindestens einer Raumrichtung. Über die 3 Anschläge in jeder Raumrichtung ist die Position und Orientierung eindeutig festgelegt, über den zusätzlichen Anschlag in einer Raumrichtung kann die Skalierung eindeutig festgelegt werden (insgesamt 7 Freiheitsgrade). Objekte, die nicht funktionieren, sind z. B. große planare Objekte, oder auch Objekte deren Raumausdehnung hauptsächlich in eine Richtung verläuft und deren Anfang bzw. Ende sich außerhalb des Sichtbereichs befindet, z. B. der Ausschnitt eines T-Trägers. So funktioniert das Verfahren z. B. nicht auf dem Ausschnitt einer planaren Fassade oder Wand ohne Fenster/Türen, jedoch wohl auf einer Haus- oder Raumecke, falls zusätzlich eine Fensternische sichtbar ist. Dies soll nur als Beispiel dienen. Es ist explizit nicht gefordert, dass das Werkstück planare Flächen aufweist, die rechtwinklig aufeinander stehen. Es funktioniert z. B. auch auf dem Styropormodell eines Armaturenbretts.
-
Vorzugsweise sorgt eine Projektor-Kamera-Synchronisation in Hardware für eine 1:1-Zuordnung von projiziertem Muster zu Kamerabild. Die Synchronisation kann mit Abstrichen bezüglich Geschwindigkeit auch in Software durchgeführt werden durch Einplanung entsprechend langer Wartezyklen vor und nach der Belichtung.
-
Das Verfahren terminiert, sobald vordefinierte Schwellwerte für Best-Fit und Projektor-Kamera-Kalibrierung erreicht werden.
-
Die erfindungsgemäße Vorrichtungsanordnung umfasst wenigstens eine hochauflösenden Kamera, wenigstens einen Videoprojektor und eine mit der Kamera und dem Videoprojektor verbundenen Steuereinheit, die zur Durchführung des erfindungsgemäßen Verfahrens eingerichtet ist.
-
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden, Beschreibung und aus den beigefügten Zeichnungen, auf die Bezug genommen wird, wobei weder die Beschreibung noch die Zeichnungen einschränkend zu verstehen sind. In den Zeichnungen zeigen:
-
1 Verschiebung des Hauptpunktes bei einem nicht geradeaus projizierenden Projektor;
-
2 ein Blockdiagramm der grundlegenden Schritte des erfindungsgemäßen Verfahrens;
-
3 ein Beispiel für ICP-basiertes Matching; und
-
4 Beispiele für das Erfüllen von Korrespondenz-Kriterien und für das Verwerfen von Korrespondenzen beim ICP-basierten Matching.
-
Im Folgenden wird beispielhaft beschrieben, wie ein Projektor und eine Kamera erfindungsgemäß kalibriert und mit einem Werkstück registriert werden. Für zusätzliche Projektoren kann das Verfahren paarweise durchgeführt werden. Wahlweise kann dann zum Schluss auch noch eine globale Bündelblockausgleichung gerechnet werden, um alle Komponenten in einem Verbund zu optimieren und damit die Konsistenz weiter zu erhöhen.
-
Das Verfahren gliedert sich in folgende Schritte gemäß 2, wobei die „Initiale Kalibrierung” nur einmal durchlaufen wird. Es folgt eine Iteration aus „Triangulation von Oberflächenpunkten”, „S-ICP-basiertem Matching” der triangulierten Punkte auf das Polygonmodell zur Bestimmung verbesserter extrinsischer Parameter und „Bündelblockausgleichung” zur Bestimmung verbesserter intrinsischer Parameter.
-
Initiale Kalibrierung bzw. initiale Rekonstruktion Um das virtuelle Polygonmodell mit der realen Szene abzugleichen, wird eine initiale Rekonstruktion des physikalischen Bauteils erstellt. Die umfasst die folgenden drei Schritte:
- 1) Generierung von Bildmessungen zur Abtastung der Oberfläche, vorzugsweise mit strukturierter Beleuchtung;
- 2) Schätzung der Fundamentalmatrix sowie deren Zerlegung, um initiale intrinsische und extrinsische Parameter zu erhalten;
- 3) Mit diesen Parametern werden die 2D-Messungen der Oberfläche trianguliert, um eine initiale Rekonstruktion zu erhalten
-
Die Zerlegung der Fundamentalmatrix ist empfindlich und stark abhängig von den Eingangsdaten. Mit einer großen Anzahl korrespondierender 2D-Messungen kann dieser Einfluss jedoch verringert werden. In einer präferierten Variante werden deshalb mittels strukturierter Beleuchtung unter Kombination von Gray Code Mustern und der Methode der Phasenverschiebung subpixelgenaue 2D-Korrepondenzen erzeugt. Für jeden Pixel in der Kamera kann eine solche Messung erzeugt werden. Somit ist die Punktewolke dichter als unter Verwendung anderer Ansätze, etwa der Projektion von Kreisen. Um Fehler in der Berechnung der Phasenverschiebung durch nichtlineare Antwortfunktionen von Kamera und Projektor zu vermeiden, können die bei Yamazaki et al. beschriebenen Korrekturen verwendet werden. Auf Basis der ermittelten Punktkorrespondenzen wird die Fundamentalmatrix berechnet.
-
Zur Zerlegung der Fundamentalmatrix werden die Kruppa-Gleichungen gelöst. Somit erhält man die Brennweiten von Kamera und Projektor. Als Eingabewerte sind hierfür neben der Fundamentalmatrix selbst auch Näherungswerte für die Bildhauptpunkte notwendig. Die Berechnung der Brennweiten ist numerisch instabil, insbesondere können abhängig von der Güte der Eingangswerte auch negative Brennweiten resultieren. Deshalb werden bei Hartley/Zisserman (R. I. Hartley and A. Zisserman, „Multiple View Geometry in Computer Vision”, Cambridge University Press, second edition, 2004.) bzw. auch bei Yamazaki et al. diverse Konditionierungen der Fundamentalmatrix beschrieben, um die numerische Stabilität zu erhöhen. Als besonders vorteilhaft hat sich die Bestrafung zu starker Abweichungen von den initial vorgegebenen Bildhauptpunkten erwiesen, da diese wie oben bereits beschrieben mit einfachen Mitteln hinreichend genau vorab bestimmt werden können.
-
Als besonders vorteilhaft hat sich auch die Bestrafung zu starker Abweichungen der geschätzten Brennweiten erwiesen. Dies trifft deshalb häufig zu, weil die verwendeten Kameras und Projektoren ähnliche Auflösungen und ähnliche Sichtwinkel haben, schließlich müssen die Sichtbereiche ja überlappen.
-
Prinzipiell gelten darüber hinaus die Ausführungen von Yamazaki et al. In der Vorkonditionierung der Fundamentalmatrix wird insbesondere auch ein radialer Verzeichnungsparameter mitgeschätzt.
-
Es sei jedoch darauf hingewiesen, dass die Ergebnisse der Fundamentalmatrixzerlegung nur als initiale Startwerte für die weitergehende Optimierung der Kalibrierung zu interpretieren sind und nicht wie bei Yamazaki et al. das Endresultat der Berechnung darstellen. Falsch geschätzte Parameter werden später durch die Bündelblockausgleichung verbessert. In einer besonders vorteilhaften Ausprägung können in der späteren Bündelblockausgleichung auch weitere Parameter eingeführt werden, etwa um die Präzision durch bessere Modellierung der Linsenverzeichnung weiter zu erhöhen. Elegant daran ist, dass die Parameter für die Bündelblockausgleichung mit 0 initialisiert werden können, es sind keine weiteren Annahmen seitens des Nutzers zu treffen. Es ist daher festzuhalten, dass gegenüber dem bei Yamazaki et al. beschriebenen Verfahren insbesondere die Initialisierung der Bildhauptpunkte weniger präzise ausfallen kann, dennoch konvergiert das hier beschriebene Verfahren letztendlich gegen die wahren Werte.
-
Schließlich wird die essentielle Matrix aus der Fundamentalmatrix unter Zuhilfenahme der berechneten intrinsischen Parameter berechnet. Diese wird dann mittels Singulärwertzerlegung in die extrinsischen Parameter zerlegt, d. h. eine Rotation und eine Translation. Die Skalierung ist soweit noch nicht bekannt.
-
Iterative Verfeinerung
-
Jetzt schließt sich das Verfahren der iterativen Verfeinerung an. Die iterative Verfeinerung umfasst die in 2 dargestellten Schritte „Triangulation von Oberflächenpunkten”, „S-ICP-basiertes Matching” (auch „iterative Best-Fit-Strategie” genannt) sowie „Bündelblockausgleichung”. Auf Basis der vorliegenden 2D-Punkt-Korrepondenzen, sowie der in der „initialen Kalibrierung” geschätzten intrinsischen und extrinsischen Parameter wird zunächst über Triangulation eine Punktewolke rekonstruiert, die die Oberfläche des Werkstücks repräsentiert. Sie ist jedoch aufgrund der intrinsischen Instabilität des Verfahrens von Yamazaki et al. noch nicht korrekt metrisch rektifiziert und auch noch nicht richtig skaliert. Wären zu diesem Zeitpunkt Referenzpunkte auf dem Modell bekannt, die in der Punktewolke identifiziert werden könnten, so wäre über bei Hartley beschriebenen Verfahren eine präzise metrische Rektifizierung in einem Schritt, d. h. ohne Iteration, möglich. Vorteil der hier beschriebenen Erfindung ist es aber gerade, dass das Verfahren auf Werkstücken funktioniert, wo es keine solchen eindeutig identifizierbaren Referenzpunkte gibt, etwa weil das Werkstück komplex gewölbt ist.
-
Die Erfindung besteht in der geschickten Verknüpfung der Verfahren, um die iterative Verfeinerung überhaupt zu ermöglichen. Die Optimierung aller Parameter – hierzu zählt insbesondere auch das Auffinden korrespondierender Punkte zwischen Modell und Rekonstruktion – in einer einzigen Bündelblockausgleichung wäre sicher wünschenswert. Selbst wenn es möglich wäre, die korrespondierenden Punkte in der Bündelblockausgleichung zu modellieren, wäre das resultierende Gleichungssystem so groß, dass es mit verfügbarer Rechenleistung nicht lösbar wäre.
-
Deshalb wird das Problem in mehrere Schritte zerlegt, die dann hintereinander iterativ ausgeführt werden, solange bis das Resultat hinreichend genau ist. Zunächst werden auf Basis der initialen Kalibrierung Punkte trianguliert. Anschließend wird mittels S-ICP-Verfahren die rekonstruierte Punktewolke bestmöglich an das Modell angepasst. Hierbei werden in einer besonders bevorzugten Ausprägung die Pose (Rotation/Translation) sowie die Skalierung (insgesamt sieben Freiheitsgrade) geschätzt. Alternativ kann hier auch eine affine oder gar eine perspektivische Transformation mit mehr Freiheitsgraden geschätzt werden. Dieses Verfahren ist Stand der Technik. Es resultiert in Korrespondenzen von triangulierten 3D-Punkten und den jeweils nächstliegenden Punkten auf dem Modell. Für jeden triangulierten Punkt wird zunächst das nächstliegende Dreieck im Polygonmodell und sodann der nächstliegende Punkt des Dreiecks selektiert. Eine Octree-basierte Datenstruktur für das effiziente Auffinden wird hierfür verwendet. Zudem werden Normalenvektoren ebenfalls berücksichtigt. Normalenvektoren werden vorab vor Ausführung des S-ICP für jeden triangulierten Punkt berechnet. Weichen die berechneten Normalen zu stark von denen des selektierten Nachbarpunktes ab, so wird die Korrespondenz verworfen. Ebenfalls wird die Korrespondenz verworfen, wenn der Abstand über einem konfigurierten Schwellwert liegt. Dies ist in 4 dargestellt: Die Korrespondenzen 1 und 2 erfüllen beide Kriterien. Korrespondenz 3 wird aufgrund des zu großen Abstands verworfen, Korrespondenz 4 aufgrund der zu starken Abweichung der Normalenvektoren.
-
Die so optimierte Pose wird auf die triangulierten Punkte, welche nunmehr auf dem Modell eindeutig verortet sind, angewandt bevor diese als fixe Referenzpunkte in die anschließende Bündelblockausgleichung einfließen. Somit werden in der Bündelblockausgleichung dann die extrinsischen und intrinsischen Parameter von Kamera und Projektor geschätzt. Da die räumliche Lage der (Referenzpunkte) durch den vorangegangenen S-ICP im Modellkoordinatensystem verortet ist, erfolgt die Bestimmung der extrinsischen Parameter von Kamera und Projektor ebenfalls im Modellkoordinatensystem.
-
Da die initiale Kalibrierung noch nicht gut genug metrisch rektifiziert, und auch nicht richtig skaliert ist, kann der S-ICP nicht auf Anhieb die korrekten Punktkorrespondenzen auf dem Modell ermitteln. Vielmehr werden diese zu Beginn noch daneben liegen (siehe 3 und 4). Dennoch wird eine Annäherung erzielt, aufgrund derer nun in der anschließenden Bündelblockausgleichung eine Verbesserung der Parameter erzielt werden kann.
-
Die nächsten Punkte auf dem Modell, die durch den S-ICP gefunden wurden, stellen jetzt die Referenz für die metrische Rektifikation dar. In der Bündelblockausgleichung werden dazu diese 3D-Informationen mit den 2D-Messungen im aufgezeichneten Kamerabild bzw. im projizierten Projektorbild in Bezug gesetzt. Nun gilt es, die Rückprojektionsfehler (Residuen) dieser 3D-Punkte zu den korrespondierenden Messungen in den 2D-Bildern zu minimieren, indem die intrinsischen und extrinsischen Parameter geeignet variiert werden, ein klassisches Ausgleichsproblem. Da aufgrund falscher Punktkorrespondenzen die aus dem S-ICP resultieren, teilweise hohe Residuen entstehen, werden Korrespondenzen in der Bündelblockausgleichung verworfen, wenn sie über einem konfigurierten Schwellwert liegen.
-
Da die 3D-Punkte als fix angenommen werden, können die Parameter von Kamera und Projektor unabhängig voneinander optimiert werden. Es handelt sich insofern um eine vereinfachte Variante der Bündelblockausgleichung, wo im Allgemeinen häufig 3D-Punkte ebenfalls als Parameter eingeführt und ausgeglichen werden.
-
Nachdem dieser Zyklus durchlaufen wurde, kann mit den nun verbesserten extrinsischen und intrinsischen Parametern die Punktewolke erneut trianguliert werden. Die verbesserte Punktewolke führt zu einem besseren Matching via S-ICP, sodass anschließend bessere Parameter geschätzt werden können. Die Iteration wird beendet, sobald die Restklaffungen hinreichend klein sind.
-
Um die Geschwindigkeit zu erhöhen, wird in einer besonders bevorzugten Ausprägung zu Beginn mit einer kleinen Untermenge aller Punktkorrespondenzen begonnen, sowohl für den S-ICP, als auch für die daran anschließende Bündelblockausgleichung. Sobald die Iteration konvergiert, werden weitere Korrespondenzen hinzugenommen, und die Iteration dann fortgesetzt.
-
In einer ebenfalls besonders bevorzugten Ausprägung werden auch komplexere Verzeichnungsmodelle mit mehreren Parametern für radiale, tangentiale, oder andere Verzeichnungseffekte erst in einer späteren Phase der Iteration mit Startwert 0 eingeführt und dann ausgeglichen, da sich gezeigt hat, dass das Konvergenzverhalten mit vielen Verzeichnungsparametern instabiler wird, sofern die Näherungswerte insbesondere für die Bildhauptpunkte noch nicht hinreichend genau sind. Wesentlichster Effekt ist die radiale Verzeichnung, die näherungsweise mit einem Parameter schon in der initialen Kalibrierung berücksichtigt wurde.
-
Die aufgrund der initialen Kalibrierung rekonstruierte Punktewolke ist wie bereits diskutiert noch leicht perspektivisch verzerrt und willkürlich skaliert. Zudem sind die Punkte im Koordinatensystem der Kamera bekannt. Eine Grobausrichtung ist daher notwendig, damit diese Punktewolke hinreichend nah am Modell liegt, damit der S-ICP konvergieren kann. Um eine vollautomatische Kalibrierung ohne Nutzerinterkation zu ermöglichen, muss diese Grobausrichtung ebenfalls algorithmisch gelöst werden. In einer besonders bevorzugten Ausführung bietet sich das oben beschriebene Verfahren von Rusu et al. an. Je nach Modell sowie Güte der Schätzwerte der Bildhauptpunkte funktioniert dies oder nicht. Alternativ wird deshalb in einer ebenfalls bevorzugten Ausprägung eine simple Interaktion verwendet. Translation und Skalierung werden nach wie vor automatisch geschätzt, und zwar auf Basis von Schwerpunt und Ausmaßen von Punktewolke bzw. Polygonmodell. Die dann noch fehlende Rotation wird durch den Nutzer händisch grob festgelegt durch Bestimmung der drei Euler-Winkel. Dies kann in einer ebenfalls bevorzugten Ausprägung auch intuitiv über eine 3D-Maus geschehen. Es sei nochmals erwähnt, dass diese Grobausrichtung (egal ob automatisiert oder händisch) nur direkt nach dem Aufbau einer Umgebung notwendig ist, wenn die Parameter noch alle völlig unbekannt sind. Insbesondere wenn eine existierende Umgebung rekalibriert werden soll, ist sie nicht mehr notwendig und damit das Verfahren vollautomatisch.
