-
Die vorliegende Erfindung bezieht sich auf eine Vorrichtung und ein Verfahren zum optischen Vermessen von Gegenständen, und insbesondere von spiegelnden oder zumindest teilweise spiegelnd reflektierenden Gegenständen, mittels spiegelndem Fluss gemäß dem Oberbegriff der Ansprüche 1 und 15. Die vorliegende Erfindung bezieht sich ferner auf ein Computerprogramm mit einem Programmcode zur Durchführung dieses Verfahrens.
-
Die robuste und präzise optische Messung spiegelnder Oberflächen betrifft ein seit langem bestehendes Problem auf dem Gebiet der Computervision und der optischen Metrologie. Die Bandbreite möglicher Anwendungen reicht von der Automobilindustrie, bei der lackierte Auto-Oberflächen sowie in Scheinwerfern vorhandene Reflektoren auf Defekte hin überprüft werden müssen, bis hin zur Ultrapräzisionsherstellung von Teleskopspiegeln und zur Formenrekonstruktion von Glasoberflächen von Bürogebäuden zur korrekten Navigation/Steuerung selbstfahrender Autos.
-
In vielen praktischen Fallen gibt es bereits hinreichend getestete und präzise Verfahren zum Messen oder Prüfen von spiegelnden Oberflächen. Die Liste führender Verfahren umfasst die Interferometrie, Deflektometrie, Shearographie usw. Jedoch beinhaltet jedes dieser Verfahren spezifische Beobachtungsbedingungen und -einschränkungen, die eventuell nicht in allen Situationen anwendbar oder annehmbar sind.
-
Der Erfindung liegt daher die objektive technische Aufgabe zugrunde, Vorrichtungen und Verfahren zum optischen Vermessen von Gegenständen, und insbesondere von spiegelnden oder zumindest teilweise spiegelnd reflektierenden Gegenständen, dahingehend zu verbessern, eine universelle Einsetzbarkeit bei unterschiedlichen Randbedingungen zu ermöglichen und dabei gleichzeitig einerseits ein kostengünstiges und einfach durchzuführendes Verfahren sowie andererseits eine kostengünstige und einfach zu handhabende Vorrichtung bereitzustellen.
-
Diese objektive technische Aufgabe wird erfindungsgemäß durch eine Vorrichtung mit den Merkmalen des Anspruchs 1 sowie durch ein Verfahren gemäß den Merkmalen des Anspruchs 15 gelöst.
-
Diese Aufgaben werden mit bisherigen Vorrichtungen und Verfahren nur teilweise gelöst. Beispielsweise erfordert eine deflektometrische Messung eine kalibrierte Umgebung, was in der Praxis bedeutet, dass man spezielle Codierungsmuster auf eine in der Nähe des Prüfobjekts befindliche große Leinwand projiziert. Die verformten Reflexionen der Muster in dem untersuchten Objekt werden durch die Kamera aufgezeichnet und ausgewertet. Eine genaue Messung einer beliebigen Oberfläche erfordert viele derartige Projektionen, d. h. eine Messung kann nicht augenblicklich erfolgen (üblicherweise benötigt man 10–20 Momentaufnahmen). Damit sind diejenigen Situationen ausgeschlossen, bei denen sich das Objekt bewegt oder sich über die Zeit hinweg verändert, wie zum Beispiel die Oberfläche einer Flüssigkeit, und dadurch wird die mobile Prüfung großer Objekte (z. B. Sonnenstrahlungsbündlerspiegel) äußerst herausfordernd.
-
Ähnliche oder sogar noch zwingendere Randbedingungen werden auch durch die anderen erwähnten Verfahren auferlegt. Ferner sind die echten Messgeräte üblicherweise relativ kostspielig, da man einige Referenzteile mit sehr hoher Genauigkeit herstellen (z. B. Referenzspiegel bei Interferometern) oder Präzisionsmanipulatoren bereitstellen muss, um Sensoren und Projektionsschirme in deflektometrischen Vorrichtungen zu positionieren.
-
Die Erfindung behandelt eine Situation, bei der (a) die durch das spiegelnde Objekt reflektierte Umgebung unkalibriert ist, die Messung selbst (b) passiv und (c) augenblicklich ist und (d) die vorherigen Informationen über das Objekt nicht verfügbar sind.
-
Es wird ferner davon ausgegangen, dass (e) das Objekt glatt ist und (f) der Sensor so positioniert ist, dass Selbstreflexionen vermieden werden. Die zwei nicht-trivialen Anforderungen lauten, dass (g) die Umgebung ausreichend texturiert ist, d. h. dass die reflektierten Bilder keine großen untexturierten Regionen gleicher Farbe enthalten, und dass (h) die reflektierten Objekte weiter von dem untersuchten Objekt entfernt sind als der Sensor.
-
Es folgt eine Erörterung dieser Bedingungen im Detail. Zu (a) ist zu sagen, dass vorab nicht bekannt ist, welche Objekte durch die untersuchte Oberfläche reflektiert werden, und somit die Endpunkte der reflektierten Strahlen nicht identifiziert werden können. Bezüglich Punkt (b) wird auf das Fehlen einer strukturierten Beleuchtung oder eines optischen oder sonstigen anderen Einflusses auf das Objekt oder seine Umgebung verwiesen, d. h. es werden nur „natürliche” Beleuchtungsquellen und reflektierte Texturen verwendet. Der Begriff „augenblicklich” bei (c) bedeutet hier, dass die Messung eventuell nur so lange dauert, dass eine einzige Momentaufnahme (oder ein Video-Frame) mit der Kamera gemacht werden kann, und die (fehlenden) Vorabinformationen bei (d) könnten ein CAD-Modell, eine Referenzform, eine Position eines Oberflächenpunktes usw. umfassen.
-
Zur Stabilisierung der numerischen Algorithmen könnten allenfalls ein paar breite Grenzen bezüglich des Spektrums an lokalen Kurven, welche die rekonstruierte Oberfläche aufweisen soll, vorgegeben werden. Selbstverständlich kann die Lockerung einer oder vieler der Randbedingungen a bis d die Messergebnisse nur verbessern.
-
Keines der existierenden Verfahren ist anwendbar, wenn alle Bedingungen a bis d gleichzeitig gelten. Insbesondere ist die Randreflektometrie (fringe reflectometry) [3] nur dann zu augenblicklichen Messungen in der kalibrierten Umgebung fähig, wenn die Oberfläche durch das asymptotische Referenzmodell regularisiert wird. Die Deflektometrie [8] wurde weiter oben bereits kurz erörtert.
-
Das Ergebnis einer nach dem erfindungsgemäßen Verfahren durchgeführten Messung ist eine Hypothese der 3D-Gestalt der untersuchten Oberfläche (oder ihres sichtbaren Patches bzw. Bereichs), einschließlich der Absolut-Position relativ zu dem Sensor und der lokalen Merkmale. Dieses Messergebnis kann letztlich zum Beispiel dazu verwendet werden, ein 3D-Mesh-Modell des vermessenen Objekts darzustellen.
-
Um die Messergebnisse für eine mögliche Rekonstruktion zu regularisieren, verwendet man normalerweise ein Vorabwissen oder die Daten von einem externen Sensor. Andernfalls trägt eine (Multi-)Stereo-Regularisierung [7] dazu bei, diese Abhängigkeiten zu vermeiden, jedoch nicht die anderen Randbedingungen des Verfahrens.
-
Zeilenabtastvorrichtungen [6], die einfach und relativ kostengünstig sind, können Objekte während der Bewegung messen (mit einer aktiven Laserlinienbeleuchtung). Sie liefern die vollständigen Messergebnisse der Oberflächenform jedoch erst nachdem der Abtastvorgang abgeschlossen ist.
-
Die Interferometrie [2] umfasst eine große Bandbreite von Schemata. Diejenigen Arten, die auf makroskopische Objekte anwendbar sind, liefern augenblickliche Messungen, stützen sich jedoch auf eine aktive kohärente Beleuchtung. Beispielsweise kann ein einzelnes Mehrwellenlängen-Interferometer die absolute Position eines einzelnen Punktes auf der Oberfläche (sehr präzise) messen. Randinterferometer erzeugen im Wesentlichen ein globales Randmuster (fringe pattern), das entfaltet werden muss, um die Oberfläche unter Verwendung einiger starker Modellannahmen wiederherzustellen. Ferner wird dieser letztgenannte Aufbau im Fall einer Implementierung für große Objekte sehr kostspielig, da er dann eine große Präzisionsreferenzoberfläche benötigt.
-
Alle der oben genannten Verfahren stammen aus dem Gebiet der optischen Metrologie und liefern hochpräzise Ergebnisse (in manchen Fällen kann der Fehler einzelne Nanometereinheiten erreichen). Dies rechtfertigt die hohe Komplexität und den hohen Preis. Die innerhalb der Computervisionsgemeinschaft entwickelten Lösungsansätze zielen jedoch allgemein darauf ab, die Daten von billigen Sensoren zu verwenden, und deren Genauigkeitsanforderungen sind viel niedriger. Beispielsweise kann man die deflektometrische Registrierung vereinfachen und versuchen, die Oberfläche anhand eines einzelnen bekannten Musters anstatt einer Sequenz von Mustern wiederherzustellen [4] – allerdings auf Kosten einer viel geringeren Empfindlichkeit bezüglich der kleinen Oberflächenmerkmale.
-
Eine andere Forschungsrichtung beruht auf dem Konzept des sogenannten „optischen Flusses” beziehungsweise „optical flow”, der bei Anwendung auf spiegelnde Oberflächen auch als „spiegelnder Fluss” beziehungsweise „specular flow”, im Folgenden mit SF bezeichnet, bekannt ist. Die Idee dahinter ist es, mehrere Kamerabilder zu verwenden, die aufgenommen werden, wenn sich die Kamera oder das betrachtete Objekt bewegen, und Nachverfolgungsalgorithmen zu verwenden, um die wahrgenommene Bewegung von Bildmerkmalen (hervorstechende Pixelwerte, Ränder, Ecken usw.) über den Sensor zu decodieren. Einfacher ”optischer Fluss” kann auch stereoskopisch gewonnen und die Aufnahmeergebnisse können regularisiert werden [9].
-
Um den „spiegelnden Fluss” SF aufzuzeichnen betrachtet die Kamera die Reflexion der entfernten Umgebung in dem Objekt. Die wahrgenommene Bewegung erscheint dann hauptsächlich aufgrund der Oberflächenvariationen. Da die Umgebung weit weg ist, würde das Bild in einer sich bewegenden Kamera statisch bleiben, wenn dieses Bild nicht auf einem reflektierenden Objekt betrachtet werden würde.
-
Unter sehr allgemeinen Annahmen ist das geschätzte, dichte oder spärliche optische Flussfeld fast unabhängig von der Umgebung und kann dazu verwendet werden, die reflektierende Oberfläche zu charakterisieren. Bisherige praktische Versuche, das Problem der „Form aus spiegelndem Fluss” beziehungsweise „shape-from-specular flow” (SFSF) zu lösen, führten zu einem sehr ausgefeilten Messaufbau [1, 5], bei dem sich eine telezentrische Kamera zusammen mit dem untersuchten Objekt um eine Achse dreht. Dies ist keine zufriedenstellende Lösung für die industrielle Prüfung und verletzt die Randbedingungen b und c.
-
Das erfindungsgemäße Verfahren kann ebenfalls als SFSF-Verfahren klassifiziert werden, jedoch erhält man das Strömungsfeld hier in einer anderen Situation als im Stand der Technik beschrieben.
-
Gemäß Anspruch 1 weist die erfindungsgemäße Vorrichtung unter anderem eine Recheneinheit zum Empfangen und Verarbeiten der von den Kameraeinheiten aufgezeichneten Bilder sowie zum Rekonstruieren der Oberfläche des zu vermessenden Gegenstands auf. Die Recheneinheit ist ausgebildet, aus den aufgezeichneten Bildern ein der jeweiligen Kameraeinheit zugeordnetes optisches Flussfeld zu berechnen und während dem Rekonstruieren eine Stereo-Regularisierung anzuwenden. Das technische Ergebnis ist eine einfache und kostengünstige Möglichkeit zum Vermessen und Rekonstruieren der Oberfläche des vermessenen Gegenstands, vorzugsweise in Form eines Modells.
-
Die Erfindung beschreibt eine praktische Vorrichtung, um augenblicklich die Formen von, insbesondere spiegelnden, Oberflächen eines Gegenstands in einer unkalibrierten natürlichen Umgebung mit einem einfachen kostengünstigen und kompakten passiven Sensorkopf zu erhalten. Diese Universalität ist ein Vorteil der vorliegenden Erfindung. Ein weiteres wichtiges Merkmal der erfindungsgemäßen Vorrichtung ist die hohe Empfindlichkeit bezüglich Änderungen in der lokalen Oberflächenkrümmung. Die direkte Abhängigkeit des spiegelnden Flusses SF von der Krümmung unterscheidet die erfindungsgemäße Vorrichtung von den gradientenbasierten Vorrichtungen, wie beispielsweise Vorrichtungen zur Ausführung der Deflektometrie und den Tiefen-basierten Techniken wie beispielsweise der Interferometrie. Eine genaue Messung beliebiger lokaler Krümmungen ist wichtig, z. B. beim Aufspüren und Klassifizieren von Defekten auf Spiegeln, während die absolute Position und die Neigung der Oberfläche selbst üblicherweise von nachgeordnetem Interesse sind. Bei der erfindungsgemäßen Vorrichtung kann ein einfaches Lochmodell für die Bildaufzeichnungsvorrichtungen (Kameras) und eine lineare Bewegung angenommen werden, so dass günstige Kameras und Optiken im Vergleich zu einem beispielsweise telezentrischen Aufbau zum Einsatz kommen können. Die erfindungsgemäße Vorrichtung erfüllt außerdem alle Bedingungen a bis h, wobei die hauptsächlichen Randbedingungen unter den Punkten e bis h zusammengefasst sind. Die Anwendung einer Stereo-Regularisierung in der erfindungsgemäßen Vorrichtung bietet den Vorteil, dass die Vorrichtung nur wenige Sensordaten benötigt, das heißt die Vorrichtung benötigt beispielsweise keine zusätzlichen Sensordaten, wie z. B. Messungen von einem Triangulationssensor. Die Vorrichtung kann stattdessen einfach und kostengünstig mit mehreren Datensätzen einer Art, das heißt mit den von den Kameraeinheiten aufgenommenen Bildern gute Ergebnisse liefern. Außerdem erlaubt die Vorrichtung so eine komplette Vermessung, das heißt die Messfehler für alle Messgrößen sind gut definiert.
-
Es ist denkbar, dass der Sensor vorzugsweise drei Kameraeinheiten und besonders bevorzugt vier Kameraeinheiten aufweist. Durch eine Erhöhung der Anzahl der Kameraeinheiten kann die Qualität der optischen Vermessung aufgrund einer Stabilisierung der Stereo-Regularisierung erhöht werden.
-
Es ist vorstellbar, dass eine Kameraeinheit zwei Bildaufzeichnungsvorrichtungen aufweist. Mit dieser Anordnung kann eine hohe Geschwindigkeit der optischen Vermessung erreicht werden. Außerdem erlaubt dies eine vorteilhafte sowie einfache und kostengünstige Art zur Abbildung eines virtuellen spiegelnden Flusses SF.
-
Eine Kameraeinheit kann vorzugsweise drei Bildaufzeichnungsvorrichtungen und besonders bevorzugt vier Bildaufzeichnungsvorrichtungen aufweisen. Eine solche Anordnung erlaubt einerseits eine einfache und kostengünstige Art zur Abbildung eines virtuellen spiegelnden Flusses SF. Andererseits kann ein einzelnes SF-Feld so vorteilhaft aus unterschiedlich aufgenommenen Perspektiven extrahiert werden, woraus eine Stabilisierung der gesamten SF-Extrahierung resultiert.
-
Zweckmäßiger Weise kann der kleinste Abstand zwischen allen Kameraeinheiten größer sein als der größte Abstand zwischen zwei Bildaufzeichnungsvorrichtungen einer Kameraeinheit. Eine derartige relative Positionierung der Bildaufzeichnungsvorrichtungen erlaubt eine stabile Stereo-Regularisierung bei gleichzeitig stabiler SF-Extrahierung.
-
Gemäß einem Ausführungsbeispiel der Erfindung können die Bildaufzeichnungsvorrichtungen einer Kameraeinheit synchron betätigbar sein. Dies bietet den Vorteil, dass die Extrahierung eines virtuellen spiegelnden Flussfeldes SF auch bei unkalibrierten sowie bei sich zeitlich veränderlichen Hintergründen gut ermöglicht wird.
-
Es ist außerdem denkbar, dass zwei oder mehrere Kameraeinheiten synchron betätigbar sind. So kann die Extrahierung eines virtuellen spiegelnden Flussesfeldes SF auf einfache Weise mit der Stereo-Regularisierung kombiniert werden, was wiederum positive technische Auswirkungen auf die Qualität der Messergebnisse hat. Sowohl die Extrahierung des spiegelnden Flussfeldes SF als auch die Stereo-Regularisierung können so bei unkalibrierten sowie bei sich zeitlich veränderlichen Hintergründen gut ermöglicht werden.
-
Es ist vorstellbar, dass die an dem Sensor angeordneten Bildaufzeichnungsvorrichtungen in Richtung des zu vermessenden Gegenstands zeigen und sich deren aufgenommene Bildausschnitte in den Bereichen, in denen sich der zu vermessende Gegenstand befindet, zumindest abschnittsweise überlappen. Dadurch kann die Messung gute Ergebnisse liefern, da die in einem überlappenden Bildausschnitt abgebildete Oberfläche des zu untersuchenden Objekts mehrfach vermessen und berechnet werden kann.
-
Gemäß einer Ausführungsform der Erfindung können die Kameraeinheiten beweglich an dem Sensor angeordnet sein. So kann auf einfache Weise eine Relativbewegung zwischen den jeweiligen Kameraeinheiten und dem zu vermessenden Gegenstand zur Erstellung eines spiegelnden Flussfeldes SF realisiert werden.
-
Optional kann zumindest eine Bildaufzeichnungsvorrichtung einer Kameraeinheit beweglich angeordnet sein. So kann auf einfache Weise eine Relativbewegung zwischen einer jeweiligen Bildaufzeichnungsvorrichtung und dem zu vermessenden Objekt zur Erstellung eines spiegelnden Flussfeldes SF realisiert werden.
-
Eine mögliche Ausführungsform sieht vor, dass jede der Bildaufzeichnungsvorrichtungen wahlweise eine Farbkamera, eine Schwarz-Weiß Kamera, eine Multikanal Hyperspektralkamera, eine Ultraviolettkamera oder eine Infrarotkamera sein kann. So können mit der erfindungsgemäßen Vorrichtung unterschiedliche Anforderungen beim Vermessen auf einfache und kostengünstige Weise erfüllt werden.
-
Die Recheneinheit kann ausgebildet sein, optische Flussfelder unterschiedlicher Dichte zu verarbeiten. Dies macht die Vorrichtung vielseitig und effizient sowie kostengünstig einsetzbar.
-
Es ist denkbar, dass eine Rekonstruktionsvorrichtung zum graphischen Rekonstruieren des zu vermessenden Gegenstands vorgesehen sein kann. Dies ermöglicht eine in die Vorrichtung integrierte graphische Rekonstruktion des Vermessungsgegenstands, so dass Messwerte auf einfache und zeitsparende Weise ausgewertet, aufbereitet und ausgegeben werden können.
-
Es ist vorstellbar, dass die Recheneinheit ausgebildet ist, die Berechnung des Flussfeldes und die Rekonstruierung der Oberfläche in einem gemeinsamen Schritt auszuführen. Dies stellt eine schnelle und kostengünstige, weil ressourcenschonende Art der Vermessung und Rekonstruierung des Gegenstands dar.
-
Das erfindungsgemäße Verfahren beinhaltet unter anderem einen Schritt, in welchem eine Recheneinheit zum Empfangen und Berechnen der aufgezeichneten Bilder sowie zum Rekonstruieren der Oberfläche des zu vermessenden Gegenstands bereitgestellt wird. Das erfindungsgemäße Verfahren zeichnet sich dadurch aus, dass die Recheneinheit aus den von den Kameraeinheiten aufgezeichneten Bildern ein der jeweiligen Kameraeinheit zugeordnetes optisches Flussfeld berechnet und während dem Rekonstruieren eine Stereo-Regularisierung anwendet. Das technische Ergebnis dieses erfindungsgemäßen Verfahrens ist eine einfache und kostengünstige Möglichkeit zum Vermessen und Rekonstruieren der Oberfläche des vermessenen Gegenstands, vorzugsweise in Form eines Modells.
-
Das erfindungsgemäße Verfahren beschreibt einen praktischen Weg, um augenblicklich die Formen von, insbesondere spiegelnden, Oberflächen in einer unkalibrierten natürlichen Umgebung mit einem einfachen kostengünstigen und kompakten passiven Sensorkopf zu erhalten. Diese Universalität ist ein Vorteil des erfindungsgemäßen Verfahrens. Ein weiteres wichtiges Merkmal ist die hohe Empfindlichkeit bezüglich Änderungen in der lokalen Oberflächenkrümmung. Die direkte Abhängigkeit des SF von der Krümmung unterscheidet das erfindungsgemäße Verfahren von den gradientenbasierten Verfahren, wie der Deflektometrie und den Tiefen-basierten Techniken wie beispielsweise der Interferometrie. Eine genaue Messung beliebiger lokaler Krümmungen ist wichtig, z. B. beim Aufspüren und Klassifizieren von Defekten auf Spiegeln, während die absolute Position und die Neigung der Oberfläche selbst üblicherweise von nachgeordnetem Interesse sind. Für das erfindungsgemäße Verfahren kann ein einfaches Lochmodell für die Bildaufzeichnungsvorrichtungen (Kameras) und eine lineare Bewegung angenommen werden, so dass günstige Kameras und Optiken im Vergleich zu einem Verfahren mit einem beispielsweise telezentrischen Aufbau zum Einsatz kommen können. Das erfindungsgemäße Verfahren erfüllt außerdem alle Bedingungen a bis h, wobei die hauptsächlichen Randbedingungen unter den Punkten e bis h zusammengefasst sind.
-
Es ist vorstellbar, dass die Berechnung des Flussfeldes und die Rekonstruierung der Oberfläche in einem gemeinsamen Schritt ausgeführt werden. Dies stellt eine schnelle und kostengünstige, weil ressourcenschonende Art der Vermessung und Rekonstruierung des Gegenstands dar.
-
Ein weiterer Aspekt der Erfindung ist ein Computerprogramm mit einem Programmcode zur Durchführung des erfindungsgemäßen Verfahrens.
-
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden nachstehend erläutert. Es zeigen:
-
1 eine schematische Darstellung einer Ausführungsform einer erfindungsgemäßen Vorrichtung gemäß Anspruch 1,
-
2 ein Blockdiagramm zur Darstellung des erfindungsgemäßen Verfahrens,
-
3 eine erste Ausführungsform einer erfindungsgemäßen Vorrichtung in einer Perspektivansicht,
-
4 eine zweite Ausführungsform einer erfindungsgemäßen Vorrichtung in einer Perspektivansicht, und
-
5 eine dritte Ausführungsform einer erfindungsgemäßen Vorrichtung in einer Perspektivansicht.
-
Unter dem Begriff „Bildaufzeichnungsvorrichtung” sind sämtliche Vorrichtungen und Gerätschaften zu verstehen, die dazu geeignet sind, Bilder aufzuzeichnen. Hierzu zählen beispielsweise Objektive, Filme und Bildsensoren sowie mechanische und digitale Fotoapparate beziehungsweise Foto- und Videokameras. Der besseren Verständlichkeit wegen wird nachfolgend jedoch allgemein der Begriff „Kamera” als Beispiel für eine „Bildaufzeichnungsvorrichtung” verwendet.
-
1 zeigt schematisch eine erfindungsgemäße Vorrichtung, welche einen Sensor 1 aufweist. Der Sensor 1 weist zwei zueinander beabstandete Kameraeinheiten 2, 3 auf. Die erste Kameraeinheit 2 weist eine Kamera 210 auf. Die zweite Kameraeinheit 3 weist eine Kamera 310 auf.
-
Die Kameraeinheiten 2, 3 sind ausgebildet, ein Bild von einem zu vermessenden Gegenstand 6 aufzuzeichnen. Bei einem solchen aufgezeichneten Bild kann es sich um ein Bewegtbild oder ein Standbild handeln. Der zu vermessende Gegenstand 6 kann verschiedene Formen aufweisen, weshalb der zu vermessende Gegenstand 6 in 1 schematisch in Strichlinien dargestellt ist.
-
Die Kameraeinheiten 2, 3 können ein Bild von dem zu vermessenden Gegenstand 6 in einer ersten Orientierung aufzeichnen. Die Kameraeinheiten 2, 3 können außerdem ein Bild von dem zu vermessenden Gegenstand 6 in einer zweiten Orientierung aufzeichnen. Zum Orientierungssinnwechsel findet eine Relativbewegung zwischen der jeweiligen Kameraeinheit 2, 3 und dem zu vermessenden Gegenstand 6 statt. Dabei kann die Relativbewegung real stattfinden, beispielsweise durch eine Bewegung des zu vermessenden Gegenstands 6 und/oder durch eine Bewegung der jeweiligen Kameraeinheit 2, 3. Wie später näher erläutert wird, kann eine Relativbewegung zwischen dem zu vermessenden Gegenstand 6 und der jeweiligen Kameraeinheit 2, 3 auch virtuell stattfinden. Die erfindungsgemäße Vorrichtung ist sowohl für die Verwendung einer realen, als auch einer virtuellen Relativbewegung vorgesehen.
-
Die Vorrichtung weist ferner eine Recheneinheit 7 auf. Die Recheneinheit 7 ist ausgebildet, die aufgezeichneten Bilder zu empfangen und zu verarbeiten sowie eine Rekonstruktion der Oberfläche des zu vermessenden Gegenstands 6 durchzuführen.
-
Die Recheneinheit 7 empfängt die von den Kameraeinheiten aufgezeichneten Bilder, welche den zu vermessenden Gegenstand 6 in zwei unterschiedlichen Orientierungen zeigen. Die Recheneinheit 7 verarbeitet die empfangenen Bilder insofern, als dass sie aus den Pixelwerten dieser Bilder optische Flussfelder berechnet. Wird ein Gegenstand 6 mit spiegelnder Oberfläche vermessen, so wird der „optische Fluss” auch als „spiegelnder Fluss”, im Folgenden kurz „SF” genannt, bezeichnet. Für jede Kameraeinheit 2, 3 berechnet die Recheneinheit 7 ein eigenes optisches Flussfeld.
-
Die Recheneinheit 7 führt außerdem auf der Grundlage der Flussfelder, beziehungsweise auf der Grundlage der Pixelwerte, eine Rekonstruktion der Oberfläche des vermessenen Gegenstands 6 durch. Während dieser Rekonstruktion wendet die Recheneinheit eine Stereo-Regularisierung an. Dadurch werden die numerischen Eigenschaften des Algorithmus verbessert und mögliche Mehrdeutigkeiten des Systems vermindert, beziehungsweise die Stabilität des Systems erhöht. Dies führt zu dem technischen Effekt, dass die Rekonstruktion der Oberfläche des zu vermessenden Gegenstands 6 sehr genau ist. Durch a priori Wissen über die Oberfläche des zu vermessenden Gegenstands 6 kann die Vermessung weiter verbessert werden.
-
Während der Rekonstruktion der Oberfläche wird also versucht, eine hypothetische Form des Gegenstands 6 zu finden, die am besten zu den Flussfeldern, beziehungsweise Pixeln, passt. Als Ergebnis der Vermessung des Gegenstands 6 gibt die erfindungsgemäße Vorrichtung zu jedem auf der Oberfläche des Gegenstands 6 vermessenen Punkt dessen absolute Position, dessen Neigung und dessen Krümmung, zusammen mit einer Schätzung der entsprechenden Messfehler, aus. 2 zeigt in einem Blockdiagramm die Verfahrensschritte des erfindungsgemäßen Verfahrens. In Schritt 101 löst die erste Kameraeinheit 2 aus und zeichnet ein Bild von dem zu vermessenden Gegenstand 6 in einer ersten Orientierung auf. In Schritt 102 löst die erste Kameraeinheit 2 aus und zeichnet ein Bild von dem zu vermessenden Gegenstand 6 in einer zweiten Orientierung auf.
-
In Schritt 103 löst die zweite Kameraeinheit 3 aus und zeichnet ein Bild von dem zu vermessenden Gegenstand 6 in einer ersten Orientierung auf. In Schritt 104 löst die zweite Kameraeinheit 3 aus und zeichnet ein Bild von dem zu vermessenden Gegenstand 6 in einer zweiten Orientierung auf.
-
In Schritt 105 werden die aufgezeichneten Bilder von der Recheneinheit 7 verarbeitet. Die Recheneinheit 7 wertet die empfangenen aufgezeichneten Bilder aus und berechnet aus diesen Bildern für jede Kameraeinheit 2, 3 ein eigenes optisches Flussfeld.
-
In Schritt 106 wendet die Recheneinheit zum Rekonstruieren der Oberfläche des Gegenstands 6 eine Stereo-Regularisierung auf die vorliegenden Bilddaten an.
-
3 zeigt ein Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung. Der zu vermessende Gegenstand 6 ist hier exemplarisch anhand einer gekrümmten Ebene mit zumindest teilweiser spiegelnder Oberfläche 8 dargestellt. Der Sensor 1 weist eine Kameraeinheit 2 auf. Die Kameraeinheit 2 weist eine Kamera 210 auf. Der Sensor 1 weist außerdem eine Kameraeinheit 3 auf. Die Kameraeinheit 3 weist eine Kamera 310 auf.
-
Die Kameras 210, 310 sind auf den zu vermessenden Gegenstand 6 gerichtet. Die gestrichelte Linie 71 stellt in etwa die Blickrichtung der Kamera 210 dar. Die gestrichelte Linie 72 zeigt schematisch eine mögliche Ablenkungsrichtung durch Reflektion von der spiegelnden Oberfläche 8 des zu vermessenden Gegenstands 6. Die gestrichelte Linie 81 stellt in etwa die Blickrichtung der Kamera 310 dar. Die gestrichelte Linie 82 zeigt schematisch eine mögliche Ablenkungsrichtung durch Reflektion von der spiegelnden Oberfläche 8 des zu vermessenden Gegenstands 6.
-
4 zeigt ein weiteres Ausführungsbeispiel der erfindungsgemäßen Vorrichtung. In dieser Ausführungsform weist der Sensor ebenfalls zwei Kameraeinheiten 2, 3 auf. Jedoch weist die erste Kameraeinheit 2 zusätzlich zu der ersten Kamera 210 eine zweite Kamera 220 auf. Die zweite Kameraeinheit 3 weist zusätzlich zu der ersten Kamera 310 eine zweite Kamera 320 auf.
-
Zur Verdeutlichung sind die Kameraeinheiten 2, 3 in 4 zeichnerisch scharf demarkiert dargestellt, das heißt mit Begrenzungen 10, 11. Der Begriff „Kameraeinheit” beschreibt im Wesentlichen aber die funktionelle Gruppe aus einer oder mehreren zugehörigen Bildaufzeichnungsvorrichtungen, welche jeweils die zur Berechnung eines Flussfeldes genutzten Bilder liefert.
-
Die an dem Sensor 1 angeordneten Kameras 210, 220; 310, 320 zeigen in Richtung des zu vermessenden Gegenstands 6. In den Bereichen, in denen sich der zu vermessende Gegenstand 6 befindet, überlappen sich die von den Kameras 210, 220; 310, 320 aufgezeichneten Bildausschnitte zumindest abschnittsweise. In 4 sind die von den Kameras 210, 310 aufgezeichneten Bildausschnitte I, II exemplarisch dargestellt. Die gestrichelten Linien 73, 74 zeigen den von der Kamera 210 aufgezeichneten Bildausschnitt I. Die Strichpunkt-Linien 83, 84 zeigen den von der Kamera 310 aufgezeichneten Bildausschnitt II. Auf der Oberfläche 8 des zu vermessenden Objekts 6 überlappen sich die Bildausschnitte I, II beider Kameras 210, 310 zumindest abschnittsweise, was in 4 mit dem gepunkteten Überlappungsabschnitt 9 dargestellt ist.
-
5 zeigt eine weitere Ausführungsform der erfindungsgemäßen Vorrichtung. Der Sensor 1 weist hier vier Kameraeinheiten 2, 3, 4, 5 auf. Gemäß der Erfindung kann der Sensor 1 auch drei Kameraeinheiten, oder aber mehr als vier Kameraeinheiten aufweisen.
-
Jede der in 5 abgebildeten Kameraeinheiten 2, 3, 4, 5 weist in diesem Ausführungsbeispiel mindestens zwei Kameras 210, 220; 310, 320; 410, 420; 510, 520 auf. Die Kameraeinheit 3 weist drei Kameras auf, nämlich eine erste Kamera 310, eine zweite Kamera 320 und eine dritte Kamera 330. Die Kameraeinheit 4 weist vier Kameras auf, nämlich eine erste Kamera 410, eine zweite Kamera 420, eine dritte Kamera 430 und eine vierte Kamera 440. Gemäß der Erfindung kann eine Kameraeinheit auch lediglich eine Bildaufzeichnungsvorrichtung (Kamera), oder aber auch mehr als vier Bildaufzeichnungsvorrichtungen (Kameras) aufweisen.
-
In 5 ist der Sensor 1 rein schematisch in Form eines Rechtecks dargestellt. Die Kameraeinheiten 2, 3, 4, 5 sind in diesem Ausführungsbeispiel jeweils etwa in den Ecken des rechteckigen Sensors 1 angeordnet. Die Kameraeinheiten 2, 3, 4, 5 weisen unterschiedliche Abstände zueinander auf. Zwischen allen Kameraeinheiten 2, 3, 4, 5 gibt es zwei Kameraeinheiten zwischen denen ein, im Vergleich zu anderen Kameraeinheiten, kleinster Abstand besteht. Hier besteht beispielsweise der kleinste Abstand A zwischen der zweiten Kameraeinheit 3 und der vierten Kameraeinheit 5.
-
Sofern eine Kameraeinheit 2, 3, 4, 5 zwei oder mehr Kameras aufweist, können diese unterschiedliche Abstände zueinander aufweisen. In 5 weisen beispielsweise alle Kameras unterschiedliche Abstände zueinander auf. Zwischen allen Kameras gibt es zwei Kameras zwischen denen ein, im Vergleich zu den anderen Kameras, größter Abstand besteht. In dem in 5 abgebildeten Ausführungsbeispiel weisen die beiden Kameras 210, 220 einen Abstand B zueinander auf. Im Vergleich zu den Kameras der übrigen Kameraeinheiten 3, 4, 5 ist die erste Kameraeinheit 2 diejenige Kameraeinheit, deren Kameras 210, 220 den größten Abstand B zueinander aufweisen.
-
Erfindungsgemäß ist der kleinste Abstand A zwischen allen Kameraeinheiten 2, 3, 4, 5 größer als der größte Abstand B zwischen zwei einzelnen Kameras 210, 220 einer Kameraeinheit 2. Solange diese Bedingung erfüllt ist, können die Kameras und Kameraeinheiten erfindungsgemäß räumlich beliebig auf dem Sensor angeordnet sein.
-
Wie bereits eingangs erwähnt, kann es sich bei den Bildaufzeichnungsvorrichtungen um diverse Geräte handeln. Falls beispielsweise eine Kameraeinheit 2 anstelle von zwei separaten Kameras 210, 220 lediglich eine einzelne Kamera 210 aufweisen sollte, so kann diese vorstellbar als eine Stereokamera mit zwei Objektiven ausgeführt sein. In diesem Fall bezeichnet der oben genannte Abstand B den Abstand der beiden Objektive zueinander.
-
Jede der Kameraeinheiten 2, 3, 4, 5 kann beweglich auf dem Sensor 1 angeordnet sein. In 5 ist beispielsweise die Kameraeinheit 4 beweglich an dem Sensor 1 angeordnet.
-
Außerdem kann jede einzelne Kamera beweglich angeordnet sein. In 5 ist beispielsweise die Kamera 220 der Kameraeinheit 2 beweglich angeordnet.
-
Jede der Kameras kann wahlweise eine Farbkamera, eine Schwarz-Weiß Kamera, eine Multikanal Hyperspektralkamera, eine Ultraviolettkamera oder eine Infrarotkamera sein.
-
Nachdem im Vorhergehenden der Aufbau der erfindungsgemäßen Vorrichtung beschrieben worden ist, wird nachfolgend die Funktionsweise der selbigen am Beispiel der in 5 dargestellten Ausführungsform erläutert.
-
Die erfindungsgemäße Vorrichtung nutzt zum Vermessen eines Gegenstands 6 das Prinzip des optischen Flusses. Weist der zu vermessende Gegenstand 6 eine spiegelnde oder zumindest teilweise spiegelnd reflektierende Oberfläche 8 auf, so spricht man auch von einem „spiegelnden Fluss”, welcher im Folgenden mit „SF” abgekürzt wird. Das optische Flussfeld wird in diesem Fall als „spiegelndes Flussfeld” oder „SF-Feld” bezeichnet.
-
Die Anwendung des Prinzips des optischen Flusses, beziehungsweise des spiegelnden Flusses SF, sieht vor, dass mindestens zwei Bilder eines zu vermessenden Gegenstands 6 vorliegen, welche den Gegenstand 6 in unterschiedlichen Orientierungen, beziehungsweise aus unterschiedlichen Perspektiven, zeigen. Der wahrgenommene Orientierungssinnwechsel des zu vermessenden Gegenstands 6 ergibt sich aus einer Relativbewegung zwischen der jeweiligen Kameraeinheit 2, 3, 4, 5 und dem zu vermessenden Gegenstand 6. So kann bei stillstehender Kameraeinheit 2, 3, 4, 5 beispielsweise der zu vermessende Gegenstand 6 relativ zur Kameraeinheit 2, 3, 4, 5 bewegt werden. Es kann aber auch bei stillstehendem Gegenstand 6 die Kameraeinheit 2, 3, 4, 5 relativ zu dem Gegenstand 6 bewegt werden. Außerdem können sowohl die Kameraeinheit 2, 3, 4, 5 als auch der zu vermessende Gegenstand 6 relativ zueinander bewegt werden. In allen Fallen ergibt sich eine Änderung der Orientierung des zu vermessenden Gegenstands 6 relativ zu der Kameraeinheit 2, 3, 4, 5. Anders ausgedrückt, ändert sich bei einer Relativbewegung die Perspektive der Kameraeinheit 2, 3, 4, 5 relativ zu dem zu vermessenden Gegenstand 6, so dass der Gegenstand 6 auf dem ersten aufgezeichneten Bild in einer anderen Orientierung abgebildet ist als auf dem zweiten aufgezeichneten Bild.
-
Bei Kenntnis des bei der Relativbewegung zurückgelegten Pfades kann der optische Fluss, genauer gesagt ein daraus resultierendes Flussfeld, zwischen dem ersten Bild (Gegenstand 6 in erster Orientierung) und dem zweiten Bild (Gegenstand 6 in zweiter Orientierung) berechnet werden. Falls der zu vermessende Gegenstand 6 eine spiegelnde oder zumindest teilweise spiegelnd reflektierende Oberfläche aufweist, wird im Folgenden von einem spiegelnden Flussfeld, beziehungsweise von einem SF-Feld gesprochen.
-
Ausgehend von dem erläuterten Konzept des optischen Flusses, beziehungsweise des spiegelnden Flusses SF, kann man annehmen, dass die Messung stets während einer stattfindenden bzw. nach einer stattgefundenen Relativbewegung durchgeführt werden muss. Wie bereits eingangs erwähnt, bieten das erfindungsgemäße Verfahren sowie die erfindungsgemäße Vorrichtung die Möglichkeit, eine „virtuelle” Relativbewegung einzusetzen. Hierfür werden pro Kameraeinheit 2, 3, 4, 5 mindestens zwei Bildaufzeichnungsvorrichtungen benötigt, die den zu vermessenden Gegenstand 6 aus unterschiedlichen Perspektiven aufnehmen. Es können pro Kameraeinheit 2, 3, 4, 5 beispielsweise zwei einzelne Kameras, oder aber auch eine Stereokamera mit zwei Objektiven verwendet werden.
-
5 zeigt eine Ausführungsform mit vier Kameraeinheiten 2, 3, 4, 5, die in den Ecken eines rechteckigen Sensors 1 angeordnet sind. Jede Kameraeinheit 2, 3, 4, 5 weist mindestens zwei Kameras 210, 220 auf. Eine derartige Anordnung mag zwar für das erfindungsgemäße Verfahren sowie für ausgewählte Rekonstruktionsalgorithmen gut geeignet und zweckmäßig sein. Sie ist jedoch nicht das einzig mögliche Schema.
-
Zur Erstellung eines Flussfeldes basierend auf einer „virtuellen” Relativbewegung werden im vorliegenden Ausführungsbeispiel während einer Messung alle Kameraeinheiten 2, 3, 4, 5 synchron ausgelöst. Jede Kameraeinheit macht somit eine Momentaufnahme des zu vermessenden Gegenstands 6 zur selben Zeit.
-
Das Auslösen der Kameraeinheiten 2, 3, 4, 5 kann zeitlich versetzt oder im Wesentlichen zeitgleich beziehungsweise synchron stattfinden. Unter „synchron” wird für die Zwecke der vorliegenden Erfindung eine zeitliche Differenz von 10 Millisekunden oder weniger verstanden.
-
Auch das Auslösen einzelner Bildaufzeichnungsvorrichtungen einer Kameraeinheit 2, 3, 4, 5 kann zeitlich versetzt oder im Wesentlichen zeitgleich beziehungsweise synchron stattfinden.
-
Allgemein formuliert können, je nach Anzahl vorhandener Bildaufzeichnungsvorrichtungen und Kameraeinheiten, alle Bildaufzeichnungsvorrichtungen sowie alle Kameraeinheiten unabhängig voneinander zeitlich versetzt oder im Wesentlichen zeitgleich beziehungsweise synchron ausgelöst werden.
-
Die in diesem Falle synchron aufgezeichneten Kamera-Rohbilder werden anschließend an die Recheneinheit 7 weitergeleitet und von dieser verarbeitet. Dies soll im Folgenden näher am Beispiel der Kameraeinheit 2 mit Bezug auf 5 erläutert werden.
-
Die erste Kamera 210 der Kameraeinheit 2 zeichnet ein erstes Bild des Gegenstands 6 auf. Dieses erste Bild zeigt den Gegenstand 6 in einer ersten Orientierung.
-
Die zweite Kamera 220 der Kameraeinheit 2 zeichnet ein zweites Bild des Gegenstands 6 auf. Da die zweite Kamera 220 räumlich versetzt zu der ersten Kamera 210 angeordnet ist, zeichnet sie ein Bild des Gegenstands 6 aus einer anderen Perspektive auf, das heißt dieses zweite Bild zeigt den Gegenstand 6 in einer zweiten Orientierung. Der Auslösevorgang der zweiten Kamera 220 kann zeitlich versetzt oder synchron zu der ersten Kamera 210 erfolgen.
-
Da der Abstand B zwischen den beiden Kameras 210, 220 der Kameraeinheit 2 bekannt ist, ist somit auch der Pfad der von den beiden Kameras 210, 220 aufgezeichneten „virtuellen” Verschiebung des Gegenstands 6 bekannt. Dies repräsentiert den Pfad des optischen Flusses. Obwohl also keine reale Relativbewegung zwischen der Kameraeinheit 2 und dem zu vermessenden Gegenstand 6 stattgefunden hat, kann aus den aufgezeichneten Bildern eine „virtuelle” Relativbewegung berechnet werden.
-
Prinzipiell ist zu sagen, dass eine Berechnung der virtuellen Flussfelder gut realisierbar ist, wenn die Bildaufnahmevorrichtungen 210, 220 jeweils einer Kameraeinheit 2 geringe Abstände B zueinander aufweisen und sich deren Sichtfelder auf dem zu vermessenden Gegenstand 6 zumindest abschnittsweise und vornehmlich zu einem großen Teil überlappen.
-
Die Recheneinheit 7 berechnet das optische Flussfeld für die synchron seitens eines Paares von Kameras 210, 220 einer Kameraeinheit 2 aufgenommenen Bilder. Dies ermöglicht es in vorteilhafter Weise auch dynamische natürliche Hintergründe zu verwenden, und es ermöglicht außerdem eine einfache Kalibrierung, da die Verschiebung zwischen den zwei Kameras 210, 220 der Kameraeinheit 2 ja im Voraus bekannt ist.
-
Die Erfindung sieht ferner vor, zur zuverlässigen Vermessung, und einer möglichen Rekonstruktion eines Gegenstands 6 mindestens zwei SF-Felder zu verwenden. Wenn mehrere SF-Felder verwendet werden, die seitens der Kameraeinheiten 2, 3, 4, 5 erstellt werden, und die dieselbe Oberfläche 8 des Gegenstands 6 aus unterschiedlichen Perspektiven betrachten, können die meisten Oberflächen zusammen mit ihrer absoluten Position und Neigung rekonstruiert werden. Dieses Prinzip wird als „Stereo-Regularisierung” bezeichnet.
-
Gemäß der schematischen Darstellung der Ausführungsform, wie sie in 5 implementiert ist, erfüllen die erfindungsgemäße Vorrichtung beziehungsweise das erfindungsgemäße Verfahren somit zumindest die eingangs genannten Erfordernisse a bis d.
-
Alternativ zu einem oben beschriebenen Flussfeld können bei der erfindungsgemäßen Vorrichtung, beziehungsweise für das erfindungsgemäße Verfahren, auch direkt die von den Bildaufnahmevorrichtungen 210, 220; 310, 320, 330; 410, 420, 430, 440; 510, 520 gelieferten Pixelwerte zum Rekonstruieren der Oberfläche des Gegenstands 6 von der Recheneinheit 7 verarbeitet werden. Das optische beziehungsweise spiegelnde Flussfeld steht in indirekter Beziehung zu der Form des zu vermessenden Gegenstands 6. Das Flussfeld ist hier eher als ein Zwischenstadium bei der erfindungsgemäßen Vorrichtung beziehungsweise dem Verfahren zum optischen Vermessen zu verstehen.
-
Bei der spezifischen technischen Implementierung der Rekonstruktion der Oberfläche müssen die Flussfelder nicht als diskrete Daten im Speicher vorliegen. Die Erstellung des Flussfeldes und die Rekonstruktion der Oberfläche des zu vermessenden Gegenstands 6 können in einem gemeinsamen Algorithmus verflochten sein und somit in einem gemeinsamen Schritt von der Recheneinheit 7 ausgeführt werden.
-
Unabhängig von der Art der Implementierung sieht die erfindungsgemäße Vorrichtung vor, dass die Recheneinheit 7 während des Rekonstruktionsvorgangs der Oberfläche des Gegenstands 6 eine Stereo-Regularisierung auf die vorliegenden Bilddaten anwendet. Ohne eine Regularisierung kann die Oberfläche des Gegenstands 6 nur teilweise vermessen werden. Genauer gesagt können hierbei von zwei in einem Punkt gemessenen Flussfeldern nur die Gauß'sche sowie die mittlere Krümmung der Oberfläche des Gegenstands 6 korrekt extrahiert werden. Die absolute Lage jedes Punktes und die lokale Neigung der Oberfläche müssen ohne Anwendung einer Regularisierung aufgrund der Mehrdeutigkeiten des Problems mit einem unbekannten und stark korrelierten Fehler geschätzt werden.
-
Prinzipiell ist zu sagen, dass die Anwendung einer Stereo-Regularisierung gut realisierbar ist, wenn die Kameraeinheiten 2, 3, 4, 5 einen großen Abstand zueinander aufweisen, und die Sichtfelder sich zumindest abschnittsweise überlappen. Hinsichtlich des Prinzips der „Stereo-Regularisierung” wird nochmals auf 5 verwiesen.
-
In 5 weisen die Kameraeinheiten 2, 3, 4, 5 mehrere entweder identische RGB- oder Graustufenkameras, oder andere bildgebende Kameras 210, 220 auf, welche mindestens paarweise in einer Kameraeinheit 2, 3, 4, 5 angeordnet sind. Zwei oder mehr derartige Paare 210, 220 sind so angeordnet, dass die räumliche Trennung zwischen den Paarkomponenten 210, 220 geringer ist als die zwischen den Paaren 2, 3, 4, 5. Bei jedem Paar 2, 3, 4, 5 kann eine „primäre” Kamera 210 und eine „sekundäre” Kamera 220 identifiziert werden, wohingegen die SF-Vektoren für die Pixel der primären Kamera 210 unter Verwendung des leicht verzerrten Bildes aus der sekundären Kamera 220 bestimmt werden. Die Verschiebung zwischen den Paaren 2, 3, 4, 5 dient als Stereobasis, die während der Vermessung beziehungsweise Formrekonstruktion des Gegenstands 6 die Regularisierung bereitstellt. Alle Kameras haben dieselbe Blickrichtung gemeinsam, und ihre Sichtfelder überlappen sich zumindest abschnittsweise in dem Bereich, in dem sich der Gegenstand 6 befindet. Die Form des Gegenstands 6 wird für die durch zumindest eine Kamera betrachteten Oberflächenpunkte wiederhergestellt.
-
Nachdem die Recheneinheit 7 die SF-Felder jeder Kameraeinheit 2, 3, 4, 5 extrahiert und die Lage des Gegenstands im Raum durch Anwendung einer Stereo-Regularisierung berechnet hat, kann der Gegenstand 6 rekonstruiert werden. Hierfür kann ein globaler Rekonstruktions-Algorithmus (basierend auf einer nichtlinearen Optimierung oder äquivalent dazu auf der Lösung eines nichtlinearen Systems partieller Differentialgleichungen) angewendet werden, um eine möglichst gute Form des zu vermessenden Gegenstands 6 zu rekonstruieren.
-
Diese Aufgabe kann von einer Rekonstruktionsvorrichtung 13, die auch in der Recheneinheit 7 integriert sein kann, ausgeführt werden. Die Rekonstruktionsvorrichtung 13 kann die Gestalt des Gegenstands 6 beispielsweise in Form eines CAD Modells rekonstruieren, welches wiederum an einem Ausgabe- beziehungsweise Anzeigegerät 14 dargestellt werden kann. Vorstellbar ist auch, dass die Rekonstruktionsvorrichtung 13 den Gegenstand 6 in Form eines 3D-Drucks rekonstruiert.
-
Gemäß der schematischen Darstellung der Ausführungsform, wie sie in 5 implementiert ist, erfüllen die erfindungsgemäße Vorrichtung beziehungsweise das erfindungsgemäße Verfahren somit die eingangs genannten Erfordernisse a bis h.
-
Das erfindungsgemäße Konzept sieht also die Kombination der Extraktion eines spiegelnden Flusses SF und der Anwendung einer Stereo-Regularisierung unter Verwendung mehrerer SF-Felder, die von verschiedenen Punkten aus aufgezeichnet sind, vor. Der spiegelnde Fluss SF für sich kann auf verschiedene Weise aufgezeichnet sein. Beispielsweise kann man einzelne Kameras oder den gesamten Sensor oder den Gegenstand physisch bewegen, um mehrere Bilder (z. B. als Videoframe) zu erhalten. Falls die tatsächliche Bewegung so verwendet wird, wie oben erläutert wurde, ist es möglich, ein einzelnes SF-Feld aus mehr als einem Paar von Kameras zu extrahieren. Dies ist in der Tat ein praktischer Weg, die SF-Extraktion zu stabilisieren. Außerdem hängt der spiegelnde Fluss SF nicht von der Beschaffenheit der aufgezeichneten Pixelwerte ab. Man kann RGB- oder Graustufenkameras auf triviale Weise mit mehrere Kanäle aufweisenden Hyperspektral- oder Infrarot- oder Ultraviolettkameras ersetzen, ohne die nachfolgende Werkzeugkette substantiell zu verändern.
-
Gemäß dem theoretischen Verständnis des spiegelnden Flusses SF, bezieht sich das oben erläuterte Prinzip des spiegelnden Flusses SF darauf, dass sich eine Lochkamera entlang eines linearen Pfades relativ zu dem Gegenstand 6 bewegt und die Umgebung statisch bleibt. Obwohl in der obigen Beschreibung also eine lineare Kamerabewegung bezüglich des statischen Gegenstands 6 angenommen wird, bleiben die Ergebnisse in dem Fall, dass die Kamera statisch bleibt und sich der Gegenstand 6 bewegt, selbstverständlich identisch. Die allgemeinste Kamerabewegung kann auch deren Drehung beinhalten; solange sich das Projektionszentrum der Kamera bewegt, kann die Transformation des gedrehten Bildes auf triviale Weise berechnet werden, und das Problem kann wieder auf die vorliegende Erfindung angewandt werden.
-
Die SF-Extraktion ist ein großer Forschungsbereich für sich. Man unterscheidet zwischen dichten und spärlichen Flüssen. In dem erstgenannten Fall (der bei der exemplarischen Figurenbeschreibung von Ausführungsformen der Erfindung der besseren Verständlichkeit wegen angenommen wird) wird die Bewegung für jedes Pixel des ursprünglichen Bildes geschätzt, während bei dem letztgenannten Fall lediglich ein Teilsatz „zweckmäßiger” Bildmerkmale nachverfolgt wird. Mathematisch gesehen ist die Formulierung des Rekonstruktionsproblems für den dichten und den spärlichen spiegelnden Fluss SF identisch. Da jedoch ein Satz spärlicher spiegelnder Flüsse SF weniger Informationen enthält als ein dichtes Feld, müssen über den Gegenstand 6 mehr Vorabinformationen bekannt sein, um präzise Ergebnisse zu erzielen. Trotzdem ist eine Vermessung und Rekonstruktion des Gegenstands 6 auf Basis eines spärlichen spiegelnden Flusses SF möglich und kann daher als eine mögliche Ausführungsform des erfindungsgemäßen Verfahrens beziehungsweise der erfindungsgemäßen Vorrichtung verstanden werden.
-
Außerdem ist zu erwähnen, dass die Rekonstruktion eines exakt flachen, planaren Spiegels zu einer Hypothese führt, die ebenfalls eine Ebene ist, jedoch ohne willkürliche Position und Orientierung. (Jeglicher planare Spiegel erzeugt exakt verschwindende spiegelnde Flüsse, ungeachtet seiner Orientierung und ungeachtet der Kamerapositionen.) Da bei den meisten Anwendungen mit komplexeren Geometrien gearbeitet wird, kann jegliche Abweichung von der planaren Form dazu beitragen, die Rekonstruktion zu stabilisieren.
-
Technisch kann die erfindungsgemäße SF-Extraktion mit einer Oberflächenrekonstruktion verflochten sein. Bei diesem Lösungsansatz liegt das SF-Feld nicht zwangsläufig direkt in den Zwischendaten vor, und die Optimierung erfolgt auf Basis der Konsistenz der Rohpixelwerte. Dieser Ansatz ist ebenfalls von der Erfindung abgedeckt und kann einer zuvor beschriebenen zweistufigen Vorgehensweise überlegen sein, da dieser Ansatz weniger Quellen systematischer Fehler enthalten kann. Die der Erfindung zugrunde liegende Idee bleibt jedoch dieselbe.
-
Die Erfindung betrifft eine Vorrichtung beziehungsweise ein Verfahren zum optischen Vermessen von Gegenständen, wobei die Erfindung unter anderem von der Kombination der zwei folgenden Komponenten abhängt: der geschätzten wahrgenommenen Bewegung des Kamerabildes (bei einer relativen Verschiebung der Kamera bezüglich des Gegenstands) und der Stereo-Regularisierung der resultierenden Oberfläche auf Basis mehrerer Bewegungsfelder. Jedes Verfahren, das eine Bildbewegung schätzt und ohne räumlich getrennte Sensoren oder Teile eines einzelnen Sensors nicht zuverlässig funktionieren kann, fällt demnach unter den Wortlaut der Ansprüche.
-
Die Erfindung kann auf dem Gebiet der Hochpräzisionsmetrologie angewandt werden. Auch die übrigen Gebiete der industriellen Metrologie und Computervision liefern eine umfassende Menge an möglichen Szenarios. Entsprechend der vorliegenden Erfindung kann beispielsweise in der Automobilherstellung ein mobiler Sensor zum Einsatz gebracht werden, um die Geometrie spiegelnder Teile rasch zu überprüfen. Mechanische Reparaturwerkstätten könnten einen günstigen Sensor entsprechend der Erfindung verwenden, um den Zustand eingehender Autos aufzuzeichnen, um z. B. einen Hagelschaden zu schätzen oder um zuverlässige Daten für die Versicherungsansprüche zu liefern. Hersteller großer Glasobjekte könnten geringfügige oder große Abweichungen von der gewünschten Form erfassen. Schließlich kann die Integration derartiger Sensoren in einem 3D-Scanner eine einfache Möglichkeit bieten, 3D-Kopien polierter Metallobjekte mit 3D-Druckern herzustellen.
-
Obwohl manche Aspekte im Zusammenhang mit einer Vorrichtung beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens darstellen, sodass ein Block oder ein Bauelement einer Vorrichtung auch als ein entsprechender Verfahrensschritt oder als elf Merkmal eines Verfahrensschrittes zu verstehen ist. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschritt beschrieben wurden, auch eine Beschreibung eines entsprechenden Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung dar. Einige oder alle der Verfahrensschritte können durch einen Hardware-Apparat (oder unter Verwendung eines Hardware-Apparats), wie zum Beispiel einen Mikroprozessor, einen programmierbaren Computer oder einer elektronischen Schaltung durchgeführt werden. Bei einigen Ausführungsbeispielen können einige oder mehrere der wichtigsten Verfahrensschritte durch einen solchen Apparat ausgeführt werden.
-
Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer BluRay Disc, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einem programmierbaren Computersystem derart zusammenwirken können oder zusammenwirken, dass das jeweilige Verfahren durchgeführt wird. Deshalb kann das digitale Speichermedium computerlesbar sein.
-
Manche Ausführungsbeispiele gemäß der Erfindung umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird.
-
Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Computerprogrammprodukt mit einem Programmcode implementiert sein, wobei der Programmcode dahingehend wirksam ist, eines der Verfahren durchzuführen, wenn das Computerprogrammprodukt auf einem Computer abläuft.
-
Der Programmcode kann beispielsweise auch auf einem maschinenlesbaren Träger gespeichert sein.
-
Andere Ausführungsbeispiele umfassen das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren, wobei das Computerprogramm auf einem maschinen-lesbaren Träger gespeichert ist. Mit anderen Worten ist ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens somit ein Computerprogramm, das einen Programmcode zum Durchführen eines der hierin beschriebenen Verfahren aufweist, wenn das Computerprogramm auf einem Computer abläuft.
-
Ein weiteres Ausführungsbeispiel der erfindungsgemäßen Verfahren ist somit ein Datenträger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren aufgezeichnet ist.
-
Ein weiteres Ausführungsbeispiel des erfindungsgemäßen Verfahrens ist somit ein Datenstrom oder eine Sequenz von Signalen, der bzw. die das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren darstellt bzw. darstellen. Der Datenstrom oder die Sequenz von Signalen kann bzw. können beispielsweise dahingehend konfiguriert sein, über eine Datenkommunikationsverbindung, beispielsweise über das Internet, transferiert zu werden.
-
Ein weiteres Ausführungsbeispiel umfasst eine Verarbeitungseinrichtung, beispielsweise einen Computer oder ein programmierbares Logikbauelement, die dahingehend konfiguriert oder angepasst ist, eines der hierin beschriebenen Verfahren durchzuführen.
-
Ein weiteres Ausführungsbeispiel umfasst einen Computer, auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren installiert ist.
-
Ein weiteres Ausführungsbeispiel gemäß der Erfindung umfasst eine Vorrichtung oder ein System, die bzw. das ausgelegt ist, um ein Computerprogramm zur Durchführung zumindest eines der hierin beschriebenen Verfahren zu einem Empfänger zu übertragen. Die Übertragung kann beispielsweise elektronisch oder optisch erfolgen. Der Empfänger kann beispielsweise ein Computer, ein Mobilgerät, ein Speichergerät oder eine ähnliche Vorrichtung sein. Die Vorrichtung oder das System kann beispielsweise einen Datei-Server zur Übertragung des Computerprogramms zu dem Empfänger umfassen.
-
Bei manchen Ausführungsbeispielen kann ein programmierbares Logikbauelement (beispielsweise ein feldprogrammierbares Gatterarray, ein FPGA) dazu verwendet werden, manche oder alle Funktionalitäten der hierin beschriebenen Verfahren durchzuführen. Bei manchen Ausführungsbeispielen kann ein feldprogrammierbares Gatterarray mit einem Mikroprozessor zusammenwirken, um eines der hierin beschriebenen Verfahren durchzuführen. Allgemein werden die Verfahren bei einigen Ausführungsbeispielen seitens einer beliebigen Hardwarevorrichtung durchgeführt. Diese kann eine universell einsetzbare Hardware wie ein Computerprozessor (CPU) sein oder für das Verfahren spezifische Hardware, wie beispielsweise ein ASIC.
-
Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei.
-
Referenzen/Literaturverweise
-
- [1] YairAdato, Yuriy Vasilyev, Todd Zickler und Ohad Ben-Shahar. Shape from specular flow. IEEE Transactions on Pattern Analysis and Machine Intelligence, 32: 2054–2070, 2010.
- [2] P. Hariharan. Basics of Interferometry. Elsevier Academic Press, 2006.
- [3] L. Huang, C. S. Ng und A. K. Asundi. Dynamic three-dimensional sensing for specular surface with monoscopic fringe reflectometry. Optics Express, 19: 12809–12814, 2011.
- [4] Silvio Savarese, Min Chef und Pietro Perona. Recovering local shape of a mirror surface from reflection of a regular grid. Proc. ECCV, 2004.
- [5] Yuriy Vasilyev, Todd Zickler, Steven Gortler und Ohad Ben-Shahar. Shape from specular flow: Is one flow enough? 2011
- [6] R. D. Wedowski, G. A. Atkinson, M. L. Smith und L. N. Smith. Dynamic deflectometry: A novel approach for the on-line reconstruction of specular freeform surfaces. Optics and Lasers in Engineering, 50: 1765–1778, 2012.
- [7] M. Weinmann, A. Osep, R. Ruiters und R. Klein. Multi-view normal field integration for 3d reconstruction of mirroring objects. Proceedings of the International Conference on Computer Vision (JCCV), 2013
- [8] S. Werling, M. Mai, M. Heizmann und J. Beyerer. Inspection of specular and partially specular surfaces. Metrology and Measurement Systems, 16, 2009.
- [9] L. Valgaerts et al: Joint Estimation of Motion, Structure and Geometry from Stereo Sequences. European Conference on Computer Vision (ECCV), Vol. 6314, 2010, S. 568–581
