-
Die Erfindung betrifft ein Verfahren zur dreidimensionalen Vermessung bewegter Objekte bei einer bekannten Bewegung nach Anspruch 1. Ein Beispiel hierfür ist eine Vermessung bewegter Teile auf einem Fließband, wobei der Sensor selbst fest zum Fließband angeordnet ist oder eine Vermessung großer Objekte, wobei der 3D-Sensor kontinuierlich von einer Vorrichtung, insbesondere einem Roboter oder einer Koordinatenmessmaschine, über das Messobjekt bewegt wird.
-
Für die genannten Anwendungen verwendet man üblicherweise 3D-Sensoren mit Laser-Linien-Triangulation. Diese sind unempfindlich gegenüber relativen Bewegungen zwischen Objekt und Sensor. Bei derartigen Sensoren wird allerdings stets nur eine Linie auf dem Messobjekt vermessen. Durch die Bewegung des Sensors oder des Objekts können jedoch viele einzelne Messungen ausgeführt werden, die zu einer flächenhaften Vermessung zusammengesetzt werden können.
-
Möglich ist auch die Verwendung eines flächenhaften 3D-Sensors mit zwei Kameras und einem Projektor, mit dem eine Mustersequenz projiziert wird. Es handelt sich dabei um ein photogrammetrisches Verfahren mit zeitlich variierender strukturierter Beleuchtung. Mit einer Vermessung kann dabei eine große Fläche erfasst werden, sodass innerhalb kürzester Zeiten (besonders im Vergleich zu Verfahren auf der Basis von Laser-Linien-Triangulation) eine flächenhafte 3D-Vermessung möglich ist. Allerdings sind solche Verfahren gegenüber Bewegungen sehr empfindlich.
-
Eine wesentliche Voraussetzung für dieses Verfahren ist es somit, dass jeder Bildpunkt während der gesamten Aufnahmezeit den gleichen Objektpunkt abbildet. Weder das Messobjekt noch der Sensor dürfen sich während der Vermessung relativ zueinander bewegen.
-
Es gibt bereits Ansätze, Bewegungen während der Aufnahme der Musterbildsequenz zu kompensieren. Einer dieser Ansätze wird beispielsweise in
Harendt, B.; Große, M.; Schaffer, M. & Kowarschik, R. "3D shape measurement of static and moving objects with adaptive spatiotemporal correlation Applied Optics", 2014, 53, 7507–7515 oder in
Breitbarth, A.; Kühmstedt, P.; Notni, G. & Denzler, J. "Motion compensation for three-dimensional measurements of macroscopic objects using fringe projection" DGaO Proceedings, 2012, 113 beschrieben.
-
Diese bekannten Ansätze arbeiten iterativ. Es wird dort zunächst eine grobe bewegungsunempfindliche Vermessung durchgeführt. Die Ergebnisse dieser Vermessung werden anschließend verwendet, um die Bewegung zu kompensieren und eine Punktzuordnung unter Nutzung zeitlicher Merkmale durchzuführen.
-
Ein Nachteil dieser Ansätze besteht in dem iterativen Vorgehen, das die Genauigkeit der 3D-Vermessung stark limitiert.
-
Es besteht somit die Aufgabe, zum einen die flächenhafte 3D-Erfassung unempfindlich gegenüber Bewegungen auszubilden und zum anderen die Nachteile der iterativen Erfassung zu beseitigen.
-
Die Lösung der Aufgabe erfolgt mit einem Verfahren nach Anspruch 1.
-
Voraussetzung für diese Lösung ist, dass Informationen über die relative Bewegung des Messobjekts zum Sensor bekannt sind (beispielsweise bei der Vermessung eines Objektes auf einem Fließband oder bei der Vermessung eines statischen Objekts mit einem Sensor, der von einem Roboter über das Messobjekt bewegt wird).
-
Das Verfahren zur dreidimensionalen Vermessung eines bewegten Objektes bei bekannten Bewegungsdaten wird mit folgenden Verfahrensschritten ausgeführt:
Es erfolgt eine Projektion einer Mustersequenz aus N Mustern auf das bewegte Objekt.
-
Daraufhin erfolgt ein Erfassen einer ersten Bildsequenz aus N Bildern durch eine erste Kamera und Erfassen einer zur ersten Bildsequenz synchronen zweiten Bildsequenz aus N Bildern durch eine zweite Kamera.
-
Es erfolgt dann ein Ermitteln miteinander korrespondierender Bildpunkte in der ersten Bildsequenz und in der zweiten Bildsequenz, wobei aus den bekannten Bewegungsdaten Trajektorien potentieller Objektpunkte errechnet werden und daraus bestimmte Objektpositionen auf die Bildebenen jeweils der ersten und der zweiten Kamera projiziert werden, wobei die Positionen entsprechender Bildpunkte als eine erste Bildpunkttrajektorie in der ersten Kamera und eine zweite Bildpunkttrajektorie in der zweiten Kamera vorab bestimmt werden.
-
Die Bildpunkte werden entlang der vorab bestimmten Bildpunkttrajektorien miteinander verglichen und auf Korrespondenz geprüft. In einem abschließenden Schritt erfolgt aus den korrespondierenden Bildpunkten mittels Triangulation die dreidimensionale Vermessung des bewegten Objektes.
-
Bei dem Vergleich der Bildpunkte entlang der vorab bestimmten ersten und zweiten Bildpunkttrajektorien wird bei einer Ausführungsform eine erste Grauwertfolge in der ersten Kamera und eine zweite Grauwertfolge in der zweiten Kamera ermittelt und es wird eine Ähnlichkeit der ersten und der zweiten Grauwertfolge bestimmt.
-
Ja nach Ausführungsform werden bei der Bestimmung der Ähnlichkeit der Grauwertfolgen eine normierte Kreuzkorrelation, eine Summe absoluter Differenzen und/oder eine Phasenauswertung ausgeführt.
-
Bei einer Ausführungsform wird als projizierte Mustersequenz eine Sequenz statistischer Muster verwendet.
-
Als projizierte Mustersequenz kann beispielsweise eine Sequenz phasengeschobener, sinusförmiger Streifenmuster verwendet werden.
-
Als projizierte Mustersequenz kann auch ein statistisches Muster verwendet werden, dessen Projektion auf dem Messobjekt in beliebiger Art in Lage und/oder Form verändert wird.
-
Nachfolgend soll das Verfahren anhand von Ausführungsbeispielen näher erläutert werden.
-
1 zeigt eine geometrische Darstellung des Verfahrens,
-
2 und 3 zeigen beispielhafte Bildpunkttrajektorien in Abhängigkeit von der Zeit.
-
Dem erfindungsgemäßen Verfahren liegt folgender Grundgedanke zugrunde:
Unter der Voraussetzung, dass bekannt ist, an welchem Ort sich ein Objektpunkt zu einem Zeitpunkt befindet (Positionsvektor) und wie er sich von da an bewegt (Verschiebungsvektoren), lässt sich voraussagen, wie sich der entsprechende Bildpunkt jenes Objektpunktes in einer Kamera eines kalibrierten Kamerasystems bewegen wird. Diese Information über die Bewegung kann genutzt werden, indem bei der Zuordnung korrespondierender Bildpunkte nicht die zeitlichen Grauwertfolgen fester Pixel miteinander verglichen werden, sondern indem zeitliche Grauwertfolgen entlang den Trajektorien der Bildpunkte eines Objektpunktes in den Bildebenen beider Kameras verglichen werden.
-
Liegt eine starre translatorische Bewegung vor, so ist die Bewegung aller Objektpunkte (also ihr Verschiebungsvektor) gleich. Bei einem Fließband kann man diese Bewegung bestimmen, indem man die Bewegungsrichtung des Fließbands kalibriert. Dennoch ist die Bewegung eines Bildpunktes in der Kamera nicht voraussagbar, wenn die Entfernung des entsprechenden Objektpunktes unbekannt ist, denn je weiter der Objektpunkt von einer Bilderfassungsvorrichtung entfernt ist, desto geringer ist die Verschiebung des Bildpunktes in der Bildebene. Man benötigt neben der Bewegungsinformation also auch Informationen über die Lage des Objektpunktes um dessen Bewegung zu kompensieren.
-
Prinzipiell ist es zwar möglich, dieses Problem iterativ zu lösen und zunächst mit einem bewegungsunempfindlichen Verfahren grob die Positionsvektoren aller Objektpunktes bestimmen und so ihre Trajektorien in den Bildern beider der Sensorkameras schätzen. Dies ist jedoch sehr ungenau.
-
Das erfindungsgemäße Verfahren kommt ohne ein derartiges iteratives Vorgehen aus. Vielmehr wird hier der Umstand angewendet, dass immer dann, wenn die Grauwertfolgen zweier Bildpunkte miteinander verglichen werden, tatsächlich auch implizit überprüft wird, ob diese zwei Bildpunkte den gleichen Objektpunkt abbilden. Implizit wird somit geprüft, ob sich dieser mögliche Objektpunkt an einer ganz bestimmten Stelle im Raum befindet – nämlich an der Stelle, wo sich die Sehstrahlen der beiden Bildpunkte schneiden. Bei windschiefen Sehstrahlen entspricht dies der Stelle, die den geringsten Abstand zu beiden Sehstrahlen hat. Bei jedem Vergleich von Bildpunkten wird also die Annahme überprüft, ob sich ein Objektpunkt an der entsprechenden Position im Raum befindet.
-
Wenn nun bei dem Vergleich zweier Bildpunkte angenommen wird, dass sich an der Position, an der sich ihre Sehstrahlen zumindest näherungsweise schneiden, tatsächlich der gesuchte Objektpunkt befindet, kann bei Kenntnis der Bewegung des Messobjekts vorausgesagt werden, wie sich die entsprechenden Bildpunkte in beiden Kameras bei der Bewegung des Objektpunktes verändern. Hierzu wird aus dem Positionsvektor des Objektpunktes und den Bewegungsdaten zunächst die Trajektorie des Objektpunkts konstruiert. Die Trajektorie wird dann mithilfe der Kalibrierungsdaten des Kamerasystems zurück in die Bildebenen beider Kameras projiziert. Es wird also zu jedem Aufnahmezeitpunkt der Kameras berechnet, wo sich der potentielle Objektpunkt zu diesem Zeitpunkt befinden würde und diese gewissermaßen simulierte 3D-Position in die Bildebenen beider Kameras eingefügt, d. h. projiziert.
-
Um die Ähnlichkeit zweier Bildpunkte zu überprüfen, vergleicht man somit erfindungsgemäß nicht wie bei statischen Objekten die zeitlichen Grauwerte an diesen in der Bildebene feststehenden Bildpunkten gemäß 2. Vielmehr werden die Grauwerte entlang den zeitlichen Bildpunkt-Trajektorien gemäß 1 und 3 verglichen.
-
Dieses Vorgehen ist natürlich nicht nur auf translatorische Bewegungen eingeschränkt. Beliebige Bewegungen starrer Messobjekte, also auch rotatorische Bewegungen, können kompensiert werden, sofern die entsprechenden Bewegungsdaten bekannt sind. Theoretisch können auch Deformationen des Objektes kompensiert werden, falls entsprechende Bewegungsdaten gewonnen werden können.
-
Das Vorgehen wird wie folgt ausgeführt.
-
Als erstes werden Information über die Bewegung der Messobjekte von außen vorgegeben. Bei einem Fließband kann hierzu die Bewegungsrichtung vorab kalibriert werden. Die aktuelle Bewegungsgeschwindigkeit und/oder Position des Fließbandes kann außerdem durch einen Encoder des Fließbandes oder eine andere Positionsmesseinrichtung ermittelt werden.
-
Als nächstes wird eine Musterbildsequenz aus N Bildern projiziert und mit zwei synchronen Kameras aufgenommen. Jede Kamera erfasst also eine Bildsequenz mit jeweils N Bildern des Messobjekts mit aufprojizierten Mustern. Während der Aufnahme bewegt sich das Messobjekt mit bekannter Bewegung.
-
Die Musterbildsequenz aus N Bildern kann beispielsweise aus phasengeschobenen sinusförmigen Streifenmustern bestehen und/oder aus zufälligen Mustern, z. B. bandbegrenzten statistischen Mustern. Die Mustersequenz kann auch erzeugt werden, in dem ein einzelnes Muster auf das Messobjekt projiziert und dort in beliebiger Art in Lage und/oder Form verändert wird, also z. B. ein statistisches Muster, das kontinuierlich auf einer Kreisbahn über das Messobjekt verschoben wird. Letzteres Beispiel zeigt, dass der Begriff ”Musterbildsequenz” nicht so eng zu verstehen ist, dass eine Musterbildsequenz stets aus einer diskreten Sequenz von N verschiedenen Musterbildern, die auf das Messobjekt projiziert werden, bestehen muss.
-
In den aufgenommenen Bildsequenzen werden korrespondierende Bildpunkte (d. h. Bildpunkte, die den gleichen Objektpunkt abbilden) gesucht, indem zu jedem Pixel der einen Kamera der Pixel in der anderen Kamera gesucht wird, der die höchste Ähnlichkeit mit ersterem aufweist.
-
Die Ähnlichkeit zweier Pixel aus zwei Kameras wird beispielsweise folgendermaßen bestimmt, wobei an dieser Stelle auf die Darstellung aus 1 verwiesen wird.
-
Zunächst wird durch Triangulation ermittelt, wo sich ein entsprechender Objektpunkt 5 befände, wenn die beiden Pixel 9 und 16 tatsächlich den gleichen Objektpunkt abbilden würden.
-
Es wird aus den bekannten Bewegungsinformationen des Messobjektes (u. a. 17 und 18) die Trajektorie 19 des potentiellen Objektpunktes 5 in drei Dimensionen rekonstruiert, sodass zu jedem Aufnahmezeitpunkt t = 1, 2, 3, ..., N der aufgenommenen Musterbildsequenz 5, 6, 7, ..., 8 die potentielle Lage des bewegten Objektpunktes bekannt ist: P(t = 1), P(t = 2), P(t = 3), ..., P(t = N). Dies ist hier verdeutlicht durch die Bezugszeichen 5, 6, 7, ... 8.
-
Die nun zu jedem Aufnahmezeitpunkt der Musterbildsequenz bekannte Position des Objektpunktes wird jeweils in die Bildebenen 1 und 2 der Kameras mit den Projektionszentren 3 und 4 zurück projiziert. Bei dem hier gezeigten Beispiel kommt optisch das Lochkameramodell zur Anwendung, prinzipiell sind aber auch andere Kameramodelle möglich.
-
Durch diese Projektion erhält man Trajektorien 21 und 20 der Bildpunkte des potentiellen Objektpunktes in den Kamerabildern. Dadurch ist die Position der Bildpunkte, die den potentiellen Objektpunkt abbilden würden, für beide Kameras und jeden Aufnahmezeitpunkt t bekannt. Im Einzelnen sind dies für Kamera 1 die Bildpunkte B1(t = 1), B1(t = 2), B1(t = 3), ..., B1(t = N), hier verdeutlicht durch die Bezugszeichen 9, 10, 11, 12 und für die Kamera 2 die Bildpunkte B2(t = 1), B2(t = 2), B2(t = 3), ..., B2(t = N), hier verdeutlicht durch die Bezugszeichen 16, 15, 14 und 13.
-
Als nächstes werden Grauwertfolgen entlang beider Bildpunkt-Trajektorien 21, 20 extrahiert und zwar für Kamera 1 die Grauwertfolge G1(t = 1), G1(t = 2), G1(t = 3), G1(t = N) und für Kamera 2 die Grauwertfolge G2(t = 1), G2(t = 2), G2(t = 3), ..., G2(t = N). Beispielsweise bezeichnet G2(t = 3) den Grauwert am Bildpunkt B2(t = 3) in Kamera 2 im 3. Bild der Aufnahmesequenz.
-
In 3 sind hier die Bildpunkt-Trajektorien 21 und 20 in einer raumzeitlichen Darstellung angegeben. Mit fortschreitender Aufnahmezeit werden somit unterschiedliche Bildpunkte angeregt, der Ort dieser Anregung verschiebt sich somit über das Aufnahmefeld der entsprechenden Kamera. Zum Vergleich zeigt 2 einen raumzeitlichen Trajektorienverlauf, bei dem die Bildpunkte bei fortschreitender Aufnahmezeit örtlich jeweils konstant verbleiben, wie es bei statischen Messobjekten der Fall ist. Beiden Trajektorien aus 2 wie aus 3 sind entsprechende Grauwertfolgen zugeordnet und beide Trajektorien können verfahrensseitig völlig gleichwertig verarbeitet werden.
-
Da die Bildpunkte üblicherweise an Subpixelstellen liegen, können die entsprechenden Intensitätswerte aus den Intensitätswerten der Nachbarpixel auch interpoliert werden.
-
Als nächstes wird die Ähnlichkeit der Grauwertfolgen bestimmt. Als Ähnlichkeitsmaß kann eine normierte Kreuzkorrelation dienen. Andere Ähnlichkeitsmaße, wie z. B. die Summe absoluter Differenzen oder eine Phasenauswertung, sind jedoch ebenfalls möglich. Die Wahl des Ähnlichkeitsmaßes hängt von der Art der projizierten Muster ab. Bei statistischen Mustern bietet sich u. a. eine normierte Kreuzkorrelation an, bei phasengeschobenen sinusförmigen Streifenmustern bietet sich besonders eine Phasenauswertung an.
-
Ein Bildpunkt in Kamera 2 wird einem Bildpunkt in Kamera 1 als korrespondierender Bildpunkt zugewiesen, wenn er die höchste Ähnlichkeit aller Bildpunkte in Kamera 2 in Bezug auf jenen Bildpunkt in Kamera 1 aufweist. Gegebenenfalls kann der Suchbereich in Kamera 2 auf einen optisch oder geometrisch sinnvollen Ausschnitt eingeschränkt werden z. B. auf eine sogenannte Epipolarlinie.
-
Bei Bedarf können Punktkorrespondenzen mit maximaler Ähnlichkeit auch subpixelgenau bestimmt werden. Es ist offensichtlich, dass das beschriebene Verfahren zur Bewertung der Ähnlichkeit zweier Bildpunkte auch auf Subpixelstellen angewendet werden kann.
-
Aus korrespondierenden Bildpunkten werden dann in gewohnter Weise mittels Triangulation 3D-Punkte rekonstruiert.
-
Je nachdem, zu welchem Zeitpunkt t = 1, 2, 3, ... oder N das Messobjekt rekonstruiert werden soll, müssen bei der Triangulation als korrespondierende Bildpunktpaare (B1(t = 1), B2(t = 1)), (B1(t = 2), B2(t = 2)), (B1(t = 3), B2(t = 3)), ... bzw. (B1(t = N), B2(t = N)), hier verdeutlicht durch die Bezugszeichen (9, 16), (10, 15), (11, 14), ... bzw. (12, 13), verwendet werden.
-
Das beschriebene Verfahren ist nicht nur auf translatorische Bewegungen eingeschränkt. Auch Rotationen oder Kombinationen aus Translation und Rotation können kompensiert werden.
-
Die Komplexität der Bildpunkttrajektorien 21 und 20 hängt von der Komplexität der Bewegung ab. Bei beliebigen Translationen und Rotation hängen Lage und Form der Trajektorien vom jeweiligen Bildpunktpaar 9, 16 ab. Im Falle einer geradlinigen translatorischen Bewegung, z. B. bei Messobjekten auf einem Fließband, vereinfachen sich die Bildpunkttrajektorien zu Geraden. Dies ist zumindest bei verzeichnungsfreien Kameras der Fall, die dem Lochkameramodell genügen.
-
Theoretisch können sogar beliebige Bewegungen kompensiert werden, also auch Deformationen, sofern entsprechende Bewegungsinformationen ermittelt werden können und vorliegen. Bei Translation und Rotation ist dies ohne weiteres möglich. Befestigt man beispielsweise einen Sensor auf einem Roboter und kalibriert die Lage und Orientierung des Sensors zum Roboterflansch, insbesondere im Rahmen einer so genannten Hand-Eye-Kalibration, so kann der Roboter zu jedem Zeitpunkt die aktuelle Position und Orientierung des Sensors im Roboterkoordinatensystem signalisieren. Aus dieser Information kann man für einen bezüglich des Roboterkoordinatensystems unbewegten Objektpunkt dessen Trajektorie im bewegten Sensorkoordinatensystem bestimmen.
-
Die Bewegung eines beweglichen 3D-Sensors relativ zu einem statischen Messobjekt kann auch synchron zur Erfassung des Messobjektes durch den 3D-Sensor mithilfe zusätzlicher Sensoren (nicht notwendigerweise optische Sensoren) bestimmt werden. Beispielsweise könnten Marker auf dem primären 3D-Sensor befestigt werden, deren Bewegung von zusätzlichen Kameras verfolgt wird und aus deren Bewegung die Lageveränderung des 3D-Sensors relativ zum statischen Messobjekt ermittelt wird. Diese Bewegungsinformation kann dann im Rahmen des beschriebenen Verfahrens bei der dreidimensionalen Rekonstruktion des Messobjektes kompensiert werden.
-
Die relative Bewegung von 3D-Sensor und Messobjekt kann auch durch den 3D-Sensor selbst bestimmt werden. Beispielsweise können zur Musterprojektion im Rahmen des beschriebenen Verfahrens statistische Muster eingesetzt werden und jedes synchron aufgenommene Stereobildpaar (t = 1, t = 2, ..., t = N) kann zusätzlich separat mit zwar bewegungsunempfindlicher, aber grober räumlicher Korrelation ausgewertet werden. Im Ergebnis erhält man zu jedem Aufnahmezeitpunkt t = 1, t = 2, ..., t = N eine gelativ grobe, d. h. dicht aber unpräzise rekonstruierte Punktwolke des Messobjektes. Bringt man die Punktwolken aus jeweils aufeinanderfolgenden Aufnahmezeitpunkten t = i und t = i + 1 (i = 1, 2, ..., N – 1) mithilfe eines ICP-Verfahrens (Iterative Closest Point) in Übereinstimmung, erhält man Informationen über die relative Bewegung, d. h. Verschiebung und Rotation, des Messobjektes zwischen t = i und t = i + 1 und damit, wenn dieser Schritt für i = 1 bis i = N – 1 durchgeführt wird, über die gesamte Trajektorie des Messobjektes von t = 1 bis t = N. Diese Bewegungsinformation kann dann im Rahmen des beschriebenen Verfahrens bei der dreidimensionalen Rekonstruktion des Messobjektes kompensiert werden.
-
Analog zum zuvor beschriebenen Ansatz zur Gewinnung von Bewegungsinformationen kann die Bewegung des Messobjekts relativ zum 3D-Sensor auch durch einen zusätzlichen starr mit dem 3D-Sensor verbundenen und zu diesem kalibrierten Sensor ermittelt werden. Dieser zusätzliche Sensor erfasst das Messobjekt synchron zum eigentlichen 3D-Sensor und liefert zu jedem Aufnahmezeitpunkt t = 1, t = 2, ..., t = N eine grobe Punktwolke des Messobjektes. Aus diesen groben Punktwolken können in der zuvor beschriebenen Art und Weise mithilfe eines ICP-Verfahrens Bewegungsinformationen gewonnen werden. Der Vorteil des zusätzlichen Sensors besteht darin, dass dieser speziell auf die Aufgabe, präzise Bewegungsinformationen zu liefern, ausgerichtet sein könnte. Dieser könnte auf bewegungsunempfindlichen Verfahren basieren, die entweder wenige präzise oder viele unpräzise Messpunkte des untersuchten Messobjektes liefern – je nachdem, welches Verfahren die besten Bewegungsinformationen liefert.
-
Das erfindungsgemäße Verfahren wurde anhand von Ausführungsbeispielen erläutert. Im Rahmen fachmännischen Handelns sind weitere Ausführungsformen möglich.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- Harendt, B.; Große, M.; Schaffer, M. & Kowarschik, R. ”3D shape measurement of static and moving objects with adaptive spatiotemporal correlation Applied Optics”, 2014, 53, 7507–7515 [0005]
- Breitbarth, A.; Kühmstedt, P.; Notni, G. & Denzler, J. ”Motion compensation for three-dimensional measurements of macroscopic objects using fringe projection” DGaO Proceedings, 2012, 113 [0005]
