DE102012022952A1

DE102012022952A1 - Verfahren und System zum berührungslosen Erfassen einer dreidimensionalen Oberfläche eines Objekts

Info

Publication number: DE102012022952A1
Application number: DE201210022952
Authority: DE
Inventors: Andreas Breitbarth; Peter Kühmstedt; Gunther Notni
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV; Friedrich Schiller Universtaet Jena FSU
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV; Friedrich Schiller Universtaet Jena FSU
Priority date: 2012-11-16
Filing date: 2012-11-16
Publication date: 2014-05-22

Abstract

Gegenstand der Anmeldung ist ein Verfahren zum berührungslosen Erfassen einer dreidimensionalen Oberfläche eines Objekts durch ein System mit mindestens einer Projektionsvorrichtung, mindestens einer Kamera und mindestens einer Steuer- und Auswerteeinheit. Dabei werden eine Vielzahl von Mustern auf das Objekt projiziert, mehrere Bilder aufgenommen, die zu den Bildern gehörenden Intensitätsverteilungen auf eine Perspektive transformiert und anschließend Tiefeninformationen über das Objekt gewonnen. Erfindungsgemäß eignet sich das Verfahren sowie das zur Durchführung des Verfahrens offenbarte System zum Vermessen von dreidimensionalen Oberflächen bewegter Objekte.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum berührungslosen Erfassen einer dreidimensionalen Oberfläche eines Objekts, sowie eine Vorrichtung bzw. ein System zum Durchführen eines Verfahrens zum berührungslosen Erfassen einer dreidimensionalen Oberfläche.
Entsprechende Verfahren kommen zum Beispiel in der industriellen Qualitätskontrolle, bei medizinischen Anwendungen, bei der Archivierung von Kulturerbegütern oder beispielsweise in der Kriminalistik zum Einsatz.
Verfahren zum berührungslosen Erfassen einer dreidimensionalen Oberfläche eines Objekts sind im Stand der Technik bekannt. So offenbart beispielsweise die Offenlegungsschrift DE 10 2006 049 695 A1 ein solches Verfahren. Das System zur Durchführung eines derartigen Verfahrens umfasst mindestens eine Projektionsvorrichtung, zwei Kameras sowie eine Steuer- und Auswerteeinheit. Zunächst wird mindestens ein Streifenmuster auf ein zu erfassendes Objekt projiziert. Mittels der zwei Kameras, welche relativ zueinander eine definierte Anordnung, d. h. einen definierten Abstand und eine definierte Orientierung zueinander haben, werden aus verschiedenen Richtungen bzw. Perspektiven zwei Bilder des Objekts mit dem aufprojizierten Streifenmuster aufgenommen. Dabei werden oftmals mehrere zueinander phasenverschobene Streifenmuster auf das Objekt projiziert, um eine eindeutige Rekonstruktion der Oberfläche zu ermöglichen. Die aufgenommenen Bilder liegen dabei zum Beispiel der Steuer- und Auswerteeinheit als Intensitätsverteilung vor. Für verschiedene Bildpunkte eines Sensors der Kamera werden nun Phasenwerte des Streifenmusters ermittelt (sogenannte kameraseitige Phaseninformationen) und anhand dieser Phasenwerte Paare von einander entsprechenden Bildpunkten in den beiden Intensitätsverteilungen bestimmt, die jeweils demselben Objektpunkt entsprechen.
Durch Triangulieren auf Basis solcher jeweils einander entsprechenden Bildpunkte in den beiden Bildern wird eine Tiefeninformation für den diesen Bildpunkten entsprechenden Objektpunkt ermittelt. Diese Schritte werden für eine Vielzahl von Pixeln bzw. Bildpunkten des Sensors wiederholt, so dass Informationen über die Beschaffenheit der für die Kamera sichtbaren Oberfläche des Objekts in drei Dimensionen gewonnen werden.
Das in den vorherigen Abschnitten beschriebene Verfahren liefert zufriedenstellende Ergebnisse bei der Vermessung eines ruhenden Objekts bzw. eines ruhenden Systems zur Aufnahme und Projektion der Bilder bzw. Muster. Ein an Bedeutung gewinnendes Teilgebiet der dreidimensionalen Oberflächenvermessung ist jedoch die Oberflächenbestimmung bewegter Objekte. Das vorab erläuterte Verfahren ist hierbei nur noch eingeschränkt einsetzbar. Im Stand der Technik werden im Wesentlichen zwei Verfahren vorgeschlagen, um dynamische Objekte zu vermessen.
Zum einen wird vorgeschlagen, Hochgeschwindigkeitshardware sowohl für die Musterprojektion als auch die Bildaufnahme zu verwenden. Durch die Verwendung von Hochgeschwindigkeitshardware wird ein quasi-statischer Zustand des bewegten Objektes hergestellt, d. h. ein Zeitraum der Projektion der zueinander phasenverschobenen Streifenmuster und der Aufnahme der Bilder mittels der Kameras kann – beispielsweise aufgrund sehr hoher Muster- und Bildwiederholungsraten – derart kurz gewählt werden, dass das Objekt sich in diesem Zeitraum vernachlässigbar wenig bewegt hat; Bewegungen des Objekts gehen als Messfehler in die Algorithmen ein und verschlechtern das Ergebnis. Der quasi-statische Zustand zeichnet sich unter anderem dadurch aus, dass die Bilder einer Kamera sämtlich aus einer einzigen Perspektive aufgenommen sind. Durch die hohe Geschwindigkeit der Bildaufnahme und der Musterprojektion wird also bei einem bewegten Objekt die Bewegung des Objekts vernachlässigt und die Berechnung bzw. die Erfassung der dreidimensionalen Oberfläche wie im statischen Fall gelöst. Allerdings ist die Hardware bei einem derartigen System sehr teuer, haben grosse Aussenmaße und kann bei sehr raschen Bewegungen des Objektes eine Oberflächenvermessung nur noch mit großen Messfehlern behaftet durchführen.
Eine weitere Variante eines Verfahren zur Bestimmung einer dreidimensionalen Oberfläche eines bewegten Objekts ist die Reduktion der zur Koordinatenbestimmung genutzten Musterprojektionen, das heißt es werden weniger Muster projiziert, so dass der Zeitraum, über welchen das Objekt quasi-statisch sein muss, reduziert wird, und somit höhere Objektgeschwindigkeiten zulässig sind. Allerdings führt auch dieser Ansatz zu einer Reduktion der Genauigkeit der Oberflächenvermessung.
Es ist Aufgabe der vorliegenden Erfindung ein Verfahren zur Verfügung zu stellen, welches eine Bestimmung einer dreidimensionalen Oberfläche eines Objekts unabhängig von den Projektionsraten oder Aufnahmeraten der Projektionsvorrichtungen bzw. der mindestens einen Kamera durchführen kann.
Die Aufgabe wird gelöst mittels eines Verfahrens gemäß den Merkmalen des Anspruchs 1, sowie einem System zum berührungslosen Erfassen einer dreidimensionalen Oberfläche gemäß dem nebengeordneten Anspruch.
In einer Ausführungsform des Verfahrens wird zunächst eine erste Mehrzahl von Mustern auf ein zu vermessendes Objekt projiziiert. Diese Projektion wird mittels der mindestens einen Projektionsvorrichtung durchgeführt. Die Muster sind periodische Muster wie beispielsweise ein (1 + cos)-Streifenmuster. Es sind jedoch auch andere periodische Muster wie ein zweidimensionales (1 + cos)-Gittermuster oder ein aus einer Superposition trigonometrischer periodischer Funktionen zusammengesetztes Muster verwendbar. Die mindestens eine Kamera nimmt eine zweite Mehrzahl von Bildern des mittels der Muster beleuchteten Objekts auf. Die Kamera ist dabei dergestalt ausgebildet, dass die zweite Mehrzahl von Bildern in einer Bildebene der Kamera, welche beispielsweise durch ein Objektiv oder einen Bildaufnahmesensor gegeben sein kann, als Intensitätsverteilung auswertbar ist. Dabei umfasst die zweite Mehrzahl von Bildern mindestens zwei Bilder, welche eine erste und eine zweite, von der ersten verschiedene Perspektive des Objekts zeigen, wobei die erste und zweite Perspektive zu unterschiedlichen Zeitpunkten aufgenommen werden.
Unter einer Perspektive ist in der vorliegenden Anmeldung die zweidimensionale Abbildung des dreidimensionalen Objekts in der Bildebene zu verstehen. Eine Änderung der Perspektive kann also durch verschiedene Variationen herbeigeführt werden. Unterschiedliche Variationen sind zum Beispiel eine Bewegung der mindestens einen Kamera oder eine Bewegung der zumindest einen Projektionsvorrichtung gegenüber dem Objekt oder eine Bewegung des Objekts gegenüber den anderen Systemkomponenten zu verstehen. Im Gegensatz zu den aus dem Stand der Technik bekannten Verfahren, welche oftmals auf zwei zeitgleich aufgenommene Bilder aus verschiedenen Perspektiven zurückgreifen müssen, ist es bei dem hier vorgestellten Verfahren möglich, lediglich eine Kamera zu verwenden, welche jedoch bewegt werden kann und das Objekt aus einer unterschiedlichen Perspektive abbildet.
Nachdem die zweite Mehrzahl von Bildern bzw. deren Intensitätsverteilungen aufgenommen und/oder in einer Speichereinheit gespeichert worden sind, werden die zu der Mehrzahl der Bilder korrespondierenden Intensitätsverteilungen in eine vorbestimmte Perspektive transformiert, das heißt durch Transformation der Intensitätsverteilungen auf eine Perspektive wird eine Vergleichbarkeit der Intensitätsverteilungen herbeigeführt. Die Transformation der verschiedenen Perspektiven auf eine vorbestimmte Perspektive kann durch Zuhilfenahme verschiedener Informationen durchgeführt werden. Bei der Bewegung des Systems gegenüber dem Objekt kann die Transformation zwischen der ersten und der zweiten Perspektive des Systems gegenüber dem ruhenden Objekt anhand der Kenntnisse der Translation und Rotation der Systemkomponenten zum Objekt durchgeführt werden. Selbiges gilt bei einem bewegten Objekt, dessen Bewegungsverlauf gegenüber dem beispielsweise ruhenden System bekannt ist. Für den Fall eines bewegten Objekts, dessen Bewegungsablauf nicht vollständig bekannt ist, kann beispielsweise mithilfe der Bilder jeweils ein erstes, d. h. ungenaues Abbild der dreidimensionalen Oberfläche des Objekts aus der ersten bzw. zweiten Perspektive ermittelt werden und anhand eines Näherungsverfahren eine Transformationsabbildung zwischen den ersten groben dreidimensionalen Abbild aus der ersten Perspektive und dem ersten groben dreidimensionalen Abbild des Objekts aus der zweiten Perspektive ermittelt werden.
Nachdem die transformierten Intensitätsverteilungen ermittelt worden sind, werden die kameraseitigen Phaseninformationen dieser transformierten Intensitätsverteilungen ermittelt. Eine mittels der mindestens einen Kamera aufgenommene Intensitätsverteilung ist unter anderem durch folgende Darstellung beschreibbar: I c / n(x, y) = a_n(x, y) + b_n(x, y)·cos[φ^c(x, y) + Δφ_n] (1)
Die Intensitätsverteilung wird dabei in den jeweiligen Koordinaten (x^c, y^c) der Bildebene der Kamera c aufgenommen. Der Index n beschreibt die Nummer des Bildes der Kamera c. Die obige Intensitätsverteilung setzt sich aus einem Gleichlichtanteil a_n(x^c, y^c) am Bildpunkt (x^c, y^c), sowie einem Modulationsanteil aus einer Modulationsfunktion und einer Modulationsamplitude b_n(x^c, y^c) am selbigen Bildpunkt zusammen. Die Modulationsfunktion ist hier ohne Beschränkung der Allgemeinheit als cosinus-Funktion dargestellt. Die Phaseninformation der Modulationsfunktion umfasst eine Modulationsphase, welche in eine kameraseitige Phaseninformation φ^c(x^c, y^c) und eine projektorseitige Phasendifferenz Δφ_n zerlegbar ist. Zur Berechnung der Tiefeninformation, d. h. der Oberflächenbestimmung des Objekts, muss die Modulationsphase ermittelt werden.
Für den Fall eines nicht bewegten Objekts, ist die projektorseitige Phasendifferenz zweier Muster zueinander zunächst konstant und über die Bildebene hinweg einheitlich. Die kameraseitigen Phaseninformationen φ^c(x^c, y^c) sind zu ermitteln, um anschließend beispielsweise mittels einer Triangulation die dreidimensionale Oberfläche des Objekts in Abhängigkeit der ermittelten Phaseninformationen durchzuführen.
Im Gegensatz zu den bislang im Stand der Technik verwendeten Hochgeschwindigkeitssystemen zum Herbeiführen eines quasi-statischen Zustands des dynamischen Objektes und dem Projizieren mehrerer Muster auf das Objekt in diesem quasi-statischen Zustand, ist es bei dem hier vorgeschlagenen Verfahren nicht notwendig, sämtliche zur Berechnung der Oberfläche des Objekt notwendigen Projektionen und Bilder aus einer Perspektive heraus zu machen, d. h. den quasi-statischen Zustand herbeizuführen. Aufgrund der Transformation der Intensitätsverteilung auf vorzugsweise eine einzige Perspektive werden die zu unterschiedlichen Zeitpunkten gemachten Bilder vergleichbar, und der dynamische Zustand des Objekts kann kompensiert werden. Im Gegensatz zu bislang verwendeten Verfahren ist nicht länger die Bildwiederholungsrate bzw. die Projektionswiederholungsrate der Systemkomponenten das limitierende Maß des Systems, sondern nur noch die Zeitdauer zur Projektion oder Aufnahme eines Musters bzw. Bildes entscheidend. D. h., solange die Kamera das dazugehörige Bild so schnell aufnehmen oder der Projektor das Muster projizieren kann, dass die Bewegung des Objekts keine auswertungsrelevante Verschmierungen des Bildes bewirkt, kann das Verfahren angewandt werden. Im Gegensatz zu bisherigen Verfahren müssen also nicht mehr mehrere Bilder und Muster hintereinander aufgenommen werden, wobei sich das Objekt zwischen den Aufnahmen nicht oder nicht wesentlich bewegt hat.
Um eine möglichst umfassende Vermessung der dreidimensionalen Oberfläche des zu vermessenden Objekts durchzuführen, sollte zumindest die zu vermessende Teilfläche sich über den Zeitraum Δt_seq der Messung zwischen einer Startzeit und einer Endzeit im Messfeld befindet, das heißt dass die zu vermessenden Oberflächen über den Zeitraum der Messung durch eine Überdeckung der verschiedenen Sichtfelder der Kameras aufgenommen werden. Konsequenterweise, sollte auch die Musterprojektion die zu vermessenden Oberflächen beleuchten.
In einer Ausführungsform des Verfahrens liegt diesem die Annahme zugrunde, dass sich das zu vermessende Objekt über den Zeitraum Δt_seq des Messvorgangs ein formstabiles Objekt ist, d. h. das Objekt seine Gestalt nicht ändert. Desweiteren ist in einer Ausführungsform des Verfahrens vorgesehen, dass die Bewegungskomponenten des Systems bekannt sind und so die einzige möglicherweise unbekannte Bewegung vor Durchführung des Verfahrens die Bewegung des Objektes ist.
Obgleich im Folgenden zahlreiche Aspekte des Verfahrens sowie eines Systems zur Durchführung des Verfahrens anhand der Variante eines bewegten Objekts erläutert werden, ist das Verfahren nicht ausschließlich zur Vermessung einer dreidimensionalen Oberfläche eines bewegten Objekts einsetzbar. Mithilfe des Verfahrens ist es ebenso möglich, die Projektionsraten bzw. die Bildwiederholungsraten des Systems dadurch zu erhöhen, dass verschiedene Kamera- bzw. Projektionsvorrichtungen alternierend, zyklisch oder einer anderen Abfolge folgend nacheinander Muster projizieren bzw. Bilder aufnehmen und dadurch die Projektionswiederholungsrate um einen Faktor k (im Falle von k Projektionsvorrichtungen) oder die Bildwiederholungsrate um einen Faktor m (im Falle von m Kameras) zu erhöhen.
Nachfolgend werden weitere Ausführungsformen des Verfahrens erläutert. In einer weiteren Ausführungsform wird zusätzlich zur Transformation der zu der Mehrzahl der Bilder korrespondierenden Intensitätsverteilungen auf die. vorbestimmte Perspektive jeweils eine Transformation der Phasenverschiebung der ersten Mehrzahl der projizierten Muster zwischen den verschiedenen Zeitpunkten, d. h. eine Transformation der projektorseitigen Phasen durchgeführt. Während die projektorseitigen Phasen beispielsweise im Falle eines nicht bewegten Objektes im Wesentlichen konstant sind, und somit lediglich die Information der Phasenverschiebung zwischen zwei miteinander zu vergleichenden Mustern umfassen, ändert sich dies bei einer Bewegung des Objektes zwischen den Projektionszeitpunkten der unterschiedlichen Muster bzw. der Aufnahmezeitpunkte der unterschiedlichen Bilder. Um die Transformation der projektorseitigen Phasen auf eine vorbestimmte Perspektive (wobei diese vorbestimmte Perspektive von der vorbestimmten Perspektive der transformierten Intensitätsverteilungen verschieden oder gleich sein kann) durchzuführen, kann beispielweise, ähnlich wie bei den Transformationen der Intensitätsverteilungen, vorgegangen werden.
Bei der Bestimmung der transformierten Intensitätsverteilungen kann diese durch Rückprojektionen der ersten, groben Erfassung der dreidimensionalen Oberfläche des zu vermessenden Objekts in die jeweilige zweidimensionale Kameraebene durchgeführt werden. Alternativ kann der Vorgang invers durch ein sogenanntes Ray-Tracing-Verfahren ausgehend von der jeweiligen Bildebene zu dem zumindest einen Objektes durchgeführt werden. Die Rückprojektion in die oder das Ray-Tracing ausgehend von Kamerabildebenen führt zur Wiederherstellung der Zuordnung zwischen dreidimensionalen Objektpunkten des Objekts und seinen zweidimensionalen Abbildungen in Form der Intensitätsverteilungen. Abhängig davon, ob die Triangulation zur Gewinnung der dreidimensionalen Oberflächenvermessung jeweils zwischen der Projektionseinheit und einer Kamera oder zwischen zwei Kameras (welche Bilder zu gleichen Zeitpunkten aufnehmen, d. h. es sind noch weitere Kameras vorhanden) durchgeführt wird, wird der Rückprojektions- bzw. Ray-Tracing-Vorgang für vorzugsweise jeden Aufnahmezeitpunkt jeweils für eine Kamera durchgeführt, und zwar für diejenige Kamera c, welche zum Zeitpunkt t für die Bildaufnahme zuständig ist. Erfolgt die Koordinatenbestimmung, das heißt die Triangulation zwischen jeweils zwei Kameras, müssen auch die Bilder durch die zum Aufnahmezeitpunkt t aufnehmenden zwei Kameras rekonstruiert werden.
Bei der Bestimmung der transformierten Intensitätsverteilungen wird ein dreidimensionaler Objektpunkt der räumlichen Lage zum Aufnahmezeitpunkt t beispielsweise in homogenen Koordinaten zum einen derart transformiert, dass das Objekt auf die vorbestimmte Perspektive transformiert wird, und mit einer entsprechenden Projektionsmatrix p multipliziert, um eine Rückprojektion des Objektpunkts in die Bildebene zu bewirken. Der resultierende Bildpunkt wird anschließend auf einen zweidimensionalen Bildpunkt abgebildet. Dieser Vorgang wird für viele bzw. vorzugsweise jeden Bildpunkt bestimmt. Das heißt für ausgewählte, bekannte Objektpunkte O_i und für den dazugehörigen Aufnahmezeitpunkt t der Kamera c wird der Vorgang bestimmt, also (O_i·(t – 1)·c)-mal im System bestimmt.
Das Vorgehen bei der Bestimmung der projektorseitigen Phaseninformation erfolgt in vergleichbarer Weise: Es werden die Objektpunkte sowohl in die Projektorebene mit Bewegung, als auch in eine bewegungskompensierte (d. h. ausgewählte und vorbestimmte) Projektorebene abgebildet bzw. eine Zuordnung der tatsächlichen Projektorebene zur bewegungskompensierten Projektorebene hin bestimmt und es wird die Differenz der projektorseitigen Phasen zweier, miteinander zu vergleichender Muster ermittelt. Im Falle eines bewegten Objektes kann es selbst im Fall, dass nur ein einziges Muster projiziert wird, dazu kommen, dass eine bewegungskompensierte, projektorseitige Phaseninformation ≠ 0 ist. Die Differenz kommt aufgrund der Transformation der Projektorebene zustande.
In einer weiteren Ausführungsform wird die Bestimmung der Projektion vorzugsweise für jedes Pixel bzw. jeden Bildpunkt eines Kamerasensors durchgeführt. Die Anzahl der Bildpunkte, für welche die Transformationen durchgeführt werden, hängt davon ab, in welchem Ausschnitt des Bildes sich das zu vermessende Objekt während des Vermessungszeitraumes Δt_seq bewegt. In einer Ausführungsform werden für jeden Bildpunkt, für welchen eine Intensitätsverteilung transformiert wird, auch die dazugehörigen projektorseitigen Phaseninformationen transformiert, d. h. im Falle eines bewegten Objekts bewegungskompensiert.
In einer weiteren Ausführungsform werden anschließend für sämtliche beispielsweise mittels Rückprojektion oder Ray-Tracing ermittelten Bildpunkte, für welche die transformierten Intensitätsverteilungen und ggf. bewegungskompensierten projektorseitigen Phaseninformationen ermittelt wurden, die kameraseitigen Phaseninformationen zur Bestimmung der dreidimensionalen Oberfläche ermittelt. In einer weiteren Ausführungsform werden neben den transformierten Intensitätsverteilungen und den ggf. zusätzlich dazu bestimmten transformierten projektorseitigen Phaseninformationen die Beleuchtungsfunktionen der transformierten Intensitätsverteilungen, d. h. der Gleichlichtanteil und die Modulationsamplitude, ermittelt. Aufgrund der Transformation der Intensitätsverteilungen, d. h. der Vereinheitlichung der unterschiedlichen Perspektiven der Bilder, kann es zu einer Ortsabhängigkeit der Beleuchtungsfunktionen kommen.
Bei der Bestimmung der Beleuchtungsinformationen eines ausgewählten Bildpunktes können die transformierten Intensitätsverteilungen von weiteren Bildpunkten verwendet werden, welche nicht mit dem ausgewählten Bildpunkt übereinstimmen. Dies ist insbesondere in der Ausführungsform zu bevorzugen, dass die verwendeten transformierten Intensitätsverteilungen von umliegenden Punkten des ausgewählten Bildpunktes verwendet werden. Hierbei liegt der Ermittlung der Beleuchtungsinformationen die Annahme zugrunde, dass sich die Beleuchtungsfunktionen über benachbarte Bildpunkte der Kamera hinweg nur wenig verändern. Durch Hinzunahme weiterer, vorzugsweise um den ausgewählten Bildpunkt verstreuter transformierter Intensitätsverteilungen, wird eine genauere Ermittlung der Beleuchtungsfunktionen, und somit eine genauere Ermittlung der kameraseitigen Phaseninformationen möglich.
Eine Möglichkeit zur Bestimmung der kameraseitigen Phaseninformationen ist nachstehend aufgeführt. Die kameraseitigen Phaseninformation sind als φ^c(x, y) = arctan(R) darstellbar, wobei R gemäß CT Farrell, MA Player: „Phase step measurement and variable step algorithms in phase-shifting interferometry", Meas. Sci. Technol. 3 (1992), p. 953–958 definiert ist.
Es ist ersichtlich, dass zur Berechnung der kameraseitigen Phaseninformationen unter Umständen die projektorseitigen Phaseninformationen Δφ_n oder die Beleuchtungsfunktion a_n, b_n sowie die transformierten Intensitätsverteilungen Î notwendig sein können. Dies hängt insbesondere von der Komplexität der Bewegungen des Systems bzw. der verschiedenen Aufnahme- und Projektionsraten ab.
In einer weiteren Ausführungsform wird zur Berechnung der Transformation der Intensitätsverteilungen bzw. der ersten und zweiten Perspektive ineinander eine vorläufige, das heißt grobe dreidimensionale Oberfläche erstellt und die daraus resultierenden, zwei verschiedenen vorläufigen, groben dreidimensionalen Oberflächen werden mittels eines beispielsweise dreidimensionalen Korrelationsalgorithmus ineinander überführt. Hierdurch wird die Transformation ermittelt. Eine Möglichkeit ist die Bestimmung einer ersten, groben Vermessung mittels einer Fourier-Transformation.
Obgleich nach der Ermittlung der kameraseitigen Phaseninformation (bei erstmaliger Durchführung des Verfahrens) bereits eine höhere Genauigkeit der bestimmten dreidimensionalen Oberfläche des Objekts gegenüber einer ersten groben (falls dies nötig gewesen sein sollte) Bestimmung der dreidimensionalen Oberfläche erreicht werden.
Es ist in einer weiteren Ausführungsform vorgesehen, die ermittelte dreidimensionale Oberfläche des Objekts zur erneuten Ermittlung der Transformation der ersten und zweiten Perspektive ineinander zu verwenden, um so eine genauere, erneute Ermittlung der transformierten Intensitätsverteilungen und gegebenenfalls projektorseitigen Phaseninformationen oder Beleuchtungsfunktionen in die Bestimmung der kameraseitigen Phaseninformationen und somit der dreidimensionalen Oberfläche des Objekts einfließen zu lassen. Diese Iteration der Bestimmung der dreidimensionalen Oberfläche kann so oft durchgeführt werden, bis sich die bestimmte Oberfläche zweier aufeinanderfolgender Iterationen nur noch um weniger als einen vorbestimmten Grenzwert unterscheiden.
In einer weiteren Ausführungsform stimmen die erste Mehrzahl (der Muster) und die zweite Mehrzahl (der Bilder) überein. Das heißt, es besteht eine Korrespondenz zwischen der Anzahl der Muster und der Anzahl der Projektionen. Dabei kann die Mehrzahl der Projektionen auch von mehreren Projektoren, beispielsweise nacheinander, projiziert werden. Selbiges gilt für die Aufnahme der Bilder, welche ebenfalls durch mehrere Kameras aufgenommen werden können.
Desweiteren bietet es sich an, die mindestens eine Projektionsvorrichtung und die mindestens eine Kamera zueinander zu kalibrieren. Eine Kalibrierung eines Multiprojektions- und Multisensorsystems kann beispielsweise wie in M. Brückner, F. Bajramovic und J. Denzler, „Seif-Calibration of Camera Networks: Active and Passive Methods," in Emerging Topics in Computer Vision and its Applications, World Scientific Publishing, 2011, pp. 447–469 beschrieben durchgeführt werden.
Für den Fall, dass das System mit mehreren Projektoren bzw. Kameras verwendet wird und das Objekt bzw. das System gegenüber dem Objekt nicht bewegt ist, ist im Falle lediglich einer Projektionseinheit eine Transformation der projektorseitigen Phasen nicht notwendig. Im Falle lediglich einer Kamera, jedoch mehrerer Projektionsvorrichtungen ist eine Transformation der Intensitätsverteilung nicht notwendig, jetzt jedoch die Transformation der projektorseitigen Phasenverschiebungen.
Nachfolgend soll die Erfindung anhand einiger Ausführungsbeispiele genauer erläutert werden.
Es zeigen:
1A und 1B eine erste Variante eines Systems zur Durchführung eines Verfahrens zur Vermessung einer dreidimensionalen Oberfläche eines Subjekts und ein exemplarisches Messprotokoll;
2A und 2B eine zweite Variante eines Systems zur Durchführung eines Verfahrens zur Vermessung einer dreidimensionalen Oberfläche eines Subjekts und ein exemplarisches Messprotokoll;
3A und 3B eine dritte Variante eines Systems zur Durchführung eines Verfahrens zur Vermessung einer dreidimensionalen Oberfläche eines Subjekts und ein exemplarisches Messprotokoll;
4A bis 4C schematische Darstellung einzelner Schritte einer Variante eines Verfahrens zum Erfassen einer dreidimensionalen Oberfläche eines bewegten Objekts; und
5 Ausschnitt eines Bildsensors und Illustration eines Verfahrens zur Bestimmung der Beleuchtungsfunktionen.
In der 1A wird ein System zur Durchführung eines Verfahrens zum Erfassen einer dreidimensionalen Oberfläche eines Objekts dargestellt. Das System 10 umfasst eine Projektionsvorrichtung 11, eine erste Kamera 12 sowie eine zweite Kamera 13. In diesem Ausführungsbeispiel bilden die Projektionsvorrichtung 11 sowie die Kameras 12 und 13 einen starren Verbund, d. h. die Anordnung der drei Elemente zueinander ist festgelegt und wird über den Messzeitraum hinweg nicht verändert. Das System 10 dient zum Erfassen einer Oberfläche 14 eines Objekts. Bei dem Objekt kann es sich beispielsweise um hergestellte Werkteile aus dem Maschinenbau handeln.
Die Projektionsvorrichtung 11 kann dabei beispielsweise ein Projektor auf Basis von digitalen Mikrospiegeln oder DMDs sein. Andere geeignete Projektoren können beispielsweise durch Freiformoptiken ein strukturiertes Lichtmuster auf die Objektoberfläche werfen. Im Falle des Systems 10 der 1A wird ein Streifenmuster in dem durch die Linien 21 begrenzten Bereich auf die Objektoberfläche 14 projiziert.
Die Kameras 12 und 13 weisen jeweils ein Objektiv und einen Bildsensor auf, so dass das zwischen den Linien 22 bzw. 23 befindliche Bild des mit dem Muster bestrahlten Objekts auf dem Bildsensor (z. B. ein CCD oder CMOS) registriert werden kann. In dem vorliegenden Beispiel sind zusätzlich eine Projektorebene 31 des Systems sowie zwei Bildebenen 32 und 33 eingezeichnet, wobei die jeweiligen Ebenen nur aus illustrativen Gründen außerhalb des Projektors bzw. der Kameras gewählt wurden. Es ist erkennbar, dass die Kamera 12 und die Kamera 13 die Objektoberfläche 14 aus unterschiedlichen Perspektiven abbilden.
Das System 10 entspricht vom Aufbau her einem bereits im Stand der Technik bekannten System. Allerdings sind die im Stand der Technik bekannten Verfahren nicht dafür geeignet, bewegte Objekte zu vermessen. Nach dem Stand der Technik würden mit dem vorliegenden System 10 über einen Zeitraum Δt_max hinweg verschiedene aufeinanderfolgende projizierte Muster jeweils zeitgleich durch die Kameras 12 und 13 aufgenommen, wobei der Zeitraum Δt_max derart gewählt ist, dass ein bewegtes Objekt innerhalb der Zeitspanne Δt_max als ruhend betrachtet werden kann. Von daher wird die Bestimmung der dreidimensionalen Oberfläche des Objekts im Wesentlichen als Problem eines statischen, d. h. ruhenden, Objekts betrachtet. Bei zu schnellen Bewegungen des Objekts versagt dieses System jedoch.
Im Stand der Technik sind der Projektor des Musters sowie die Aufnahme der Bilder und die anschließende Triangulation zwischen entweder den beiden Kameras oder einer der Kameras und dem Projektor bereits bekannt.
Die in dieser Anmeldung vorgeschlagenen Verfahren erlauben es jedoch, die Bildaufnahmerate des Systems der 1A um den Faktor 2 zu erhöhen oder bewegte Objekte ohne wesentliche Einschränkung vermessen zu können, solange sich das Objekt über den gesamten Messzeitraum innerhalb des Messfeldes bewegt.
Zunächst soll das Verfahren anhand eines ruhenden Objekts erläutert werden.
Wie in der 1B illustriert, wird die Messung über einen Messzeitraum Δt_seq zwischen einem Startzeitpunkt t_start und einem Endzeitpunkt t_end durchgeführt. Innerhalb dieses Zeitrahmens projiziert die Projektionsvorrichtung 11 jeweils zum Zeitpunkt t_p ein Muster auf die Objektoberfläche 14, beispielhaft ergeben sich in der 1B 12 projizierte Muster. Die Zeit Δt_seq ist größer als Δt_max, d. h. die Zeitspanne während welcher ein Objekt als ruhend betrachtet werden oder während welcher ein Hochgeschwindigkeitssystem sämtliche Bilder und Projektionen durchgeführt haben muss, damit die Annahme gelten kann, dass das Objekt nicht bewegt ist. Da das in dieser Anmeldung beschriebene Verfahren die relative Bewegung eines Objekts miteinbezieht, ist diese Einschränkung nicht notwendig.
Um die Bildaufnahmerate des Systems gegenüber beispielsweise der Bildaufnahmerate einer einzelnen Kamera zu erhöhen, wird nun nur jedes zweite Muster von der Kamera 12 zum Zeitpunkt t_c1 aufgenommen. Jedes dazwischenliegende Muster wird zum Zeitpunkt t_c2 von der Kamera 13 aufgenommen. Die Zeitpunkte der Aufnahme der jeweiligen Kamera 12 bzw. 13 sind in der 1B als Striche gekennzeichnet. Die Auswertung der Bilder bzw. der aus den Bildern der Kameras 12 und 13 resultierende Intensitätsverteilungen erfolgt dabei aus einer ersten Perspektive der Kamera 12 und einer zweiten Perspektive der zweiten Kamera 13. Die Auswertung selber wird in einer Auswerte- und Steuereinheit durchgeführt, welche beispielsweise einen Mikrocontroller, einen Mikroprozessor oder eine softwarebasierte Auswertung umfasst.
In der 1B entspricht jeder Strich der Aufnahme eines Bildes, so dass die Anzahl der ersten Mehrzahl von Mustern und die Anzahl der zweiten Mehrzahl von Bildern, gezählt über beide Kameras, übereinstimmen. Hieraus ergibt sich eine Erhöhung der Bildaufnahmerate um den Faktor 2. Anhand der 1A und 1B ist leicht erkennbar, dass die Bildaufnahmerate des Systems durch die Hinzunahme weiterer Kameras gesteigert werden kann.
Bei dem Verfahren zum Erfassen einer dreidimensionalen Oberfläche werden nun die mittels der zweiten Kamera 13 aufgenommenen Bilder bzw. Intensitätsverteilungen derart transformiert, dass diese auf die Perspektive der Objektoberfläche aus der Bildebene 32 zum Zeitpunkt t_c1 transformiert werden. Die Transformationsvorschriften können anhand der Ausrichtung der Kameras zueinander und einer ersten groben Schätzung der dreidimensionalen Oberfläche des Objekts leicht herausgefunden werden, beispielsweise im Rahmen einer ersten Fourieranalyse der 2D Daten aus einer Perspektive und die anschließende Generierung einer 3D-Punktwolke. Durch einen Vergleich der 3D-Punktwolken im Weltkoordinatensystem, d. h. in einem von System und Objekt raumfesten Koordinatensystem können nun die Transformationen bestimmt werden. Anschließend werden die kameraseitigen Phaseninformationen der transformierten Intensitätsverteilungen bestimmt. Aus den kameraseitigen Phaseninformationen wird anschließend durch Triangulation zwischen der Kamera 12 und dem Projektor 11 für jeden einzelnen Bildpunkt die dreidimensionale Oberfläche des Objekts bestimmt.
Für den Fall eines bewegten Objekts kann ebenso verfahren werden, außer dass zusätzlich eine Abbildungsvorschrift der Bewegung des Objekts bzw. der Objektoberfläche 14, d. h. eine Transformationsabbildung ermittelt werden muss. Dies kann, wie im obigen Beispiel, durch Ermittlung einer ersten groben dreidimensionalen Punktwolke der Objektoberfläche 14 aus einem Kamerabild der Kamera 12 und einer ersten groben dreidimensionalen Punktwolke der Objektoberfläche aus einem weiteren Kamerabild der Kamera 12 oder 13 erreicht werden, welches zu einem späteren Zeitpunkt aufgenommen wurde. Dabei werden beispielsweise mit Hilfe einer computerimplementierten Fourier-Transformation (z. B. Fast-Fourier-Transformation) grobe 3D-Punktwolken ermittelt und diese mittels eines dreidimensionalen Korrelationsverfahrens, wie beispielsweise der Methode der ”iterative closest points” zur Deckung gebracht. Hierdurch lassen sich die Rotationen und Translationen des bewegten Objekts ermitteln, d. h. es wird eine Transformationsvorschrift ermittelt, welche die hier beschriebenen zwei Punktwolken bestmöglich in Deckung bringt. Hierbei ist zu beachten, dass die Perspektive der ersten Kamera zum ersten Zeitpunkt und der ersten oder zweiten Kamera zum zweiten Zeitpunkt, vorzugsweise derart ist, dass zumindest beide Perspektiven einen gemeinsamen Teilbereich des Objekts aufnehmen, so dass dieser überlappende Teilbereich zur Ermittlung der Transformationsvorschriften verwendet werden kann. Anhand der Transformationsvorschriften werden nun sämtliche durch die Kamera 12 gemachten Bilder auf eine gemeinsame Perspektive transformiert. Dabei ist die vorbestimmte Perspektive beispielsweise die Perspektive, welche die Kamera 12 zum Zeitpunkt t_c1 aufnimmt. Da sich das Objekt zu einem späteren Aufnahmezeitpunkt der Kamera 12 bewegt hat, wird nun die Bildebene der Kamera 12 zu diesem späteren Zeitpunkt verschoben bis die Kamera das Objekt in derselben Perspektive „wahrnimmt” wie zum Zeitpunkt t_c1. Selbiges wird ebenfalls mit den Bildern der Kamera 13 durchgeführt. Anschließend können auch noch die Bilder der Kameras 12 und 13 auf eine einzige Perspektive transformiert werden.
Da die Projektionsvorrichtung 11 zwar weiterhin um einen konstanten Phasenbetrag verschobene Streifenmuster auf die Objektoberfläche projiziert, die Objektoberfläche sich jedoch bewegt hat, ist die Phasendifferenz zwischen zwei aufeinanderfolgenden Streifenmustern nicht mehr über alle Bildpunkte konstant. Von daher müssen auch die projektorseitigen Phaseninformationen bzw. die Phasendifferenzen zwischen zwei aufeinanderfolgenden Mustern nach dem vorab beschriebenen Verfahren in die vorbestimmte Perspektive transformiert werden. Anschließend werden auch noch die transformierten Beleuchtungsfunktionen für jeden Bildpunkt ermittelt. Nach der Bestimmung der transformierten Intensitätsverteilungen, der transformierten, d. h. lokalen, Beleuchtungsfunktionen sowie der transformierten projektorseitigen Phasendifferenz, kann die kameraseitige Phaseninformation zur Bestimmung der Tiefeninformation und somit zur Bestimmung der dreidimensionalen Oberfläche bestimmt werden.
Eine Möglichkeit zur Bestimmung der lokalen Beleuchtungsfunktionen zur Ermittlung der kameraseitigen Phasen φ^c ergibt sich aus dem Gleichungssystem (3).
Hierbei bezeichnen die Î c / n die transformierte Intensitätsverteilung sowie φ_n die Phasendifferenz zwischen zwei aufeinanderfolgenden Mustern, wobei die Phasendifferenz bewegungskompensiert, d. h. lokal differenziert ist. Zwischen den Werten ζ und Ψ besteht die Beziehung (2), so dass die Beleuchtungsanteile für jeden Bildpunkt ermittelt werden können.
Die Ermittlung des Beleuchtungsanteils ist für jeden Bildpunkt durchzuführen, wobei bei einer Veränderlichkeit der Beleuchtung der Musterprojektion und der Bildaufnahme zur Bestimmung ausschließlich genau ein bewegungskompensiertes Bild herangezogen werden kann. Um dennoch das Gleichungssystem mit den drei Unbekannten a, ζ, Ψ aufzulösen, werden Werte der transformierten Intensitätsverteilungen von mehreren Bildpunkten, welche in der räumlichen Umgebung des Bildpunktes liegen, für welchen die Beleuchtungsanteile zu bestimmen sind, verwendet. Durch die Annahme, dass sich die Beleuchtungsanteile über benachbarte Bildpunkte hinweg nur unwesentlich ändern, kann so eine zufriedenstellende Bestimmung der Beleuchtungsanteile bewirkt werden.
Anhand der Ausführungen zu den 1A und 1B ist erkennbar, dass sowohl das System als auch das Verfahren zur Durchführung der Bestimmung einer dreidimensionalen Oberfläche des bewegten Objekts während der Messzeitspanne Δt_seq möglich ist. Hierbei ist es unerheblich, ob sich das Messobjekt bewegt oder das Sensorsystem, welches im vorliegenden Falle aus zwei Kameras und einem Projektor besteht. Das Verfahren kann dabei sowohl ausschließlich zur Erhöhung der Bildwiederholungsrate eingesetzt werden als auch zur Bestimmung der dreidimensionalen Oberfläche von einem Objekt.
Selbstredend kann es sich bei dem System auch um ein System mit Hochgeschwindigkeitshardware handeln. Nachfolgend soll eine weitere Variante des Verfahrens im Falle eines bewegten Objekts zusammengefasst aufgeführt werden. Voraussetzung zur Anwendbarkeit der Variante sind dabei ausschließlich drei Punkte: Keine oder eliminierbare Verschmierungen durch Bewegungsunschärfe in den Aufnahmen der optischen Sensoren, Sichtbarkeit des zumindest einen makroskopischen Messobjektes über die gesamte Zeit einer Messsequenz Δt_seq hinweg und die Formstabilität des zumindest einen Messobjektes.

1. Projektion paarweise verschiedener Intensitätsverteilungen in Form trigonometrischer Funktionen und flächenhafte Aufnahme dieser durch Bildsensoren wie im Fall statischer Messsituationen oder der Verwendung von Hochgeschwindigkeits-Hardware.
2. Einzelbildanalyse mit Hilfe von Fourieranalyse zur Bestimmung dreidimensionaler Punktwolken A, B, ... ∊
aus den Kamerabildern I c / n .
3. Bestimmung der sechsdimensionalen Transformationen T zwischen je zwei Punktwolken A, B, ... ∊
Alternativ ist die á priori Kenntnis der räumlichen Bewegung des zumindest einen in sich starren Messobjektes gegeben, so dass die Punkte 2 und 3 entfallen können.
4. Transformation der Intensitätsbilder I c / n auf die stationäre Messsituation, insbesondere durch Verschiebung und Deformation des Inhaltes der Intensitätsbilder zum Erreichen der Anpassung der Punktkorrespondenzen (x', y') über die gesamte Messsequenz hinweg.
5. Berechnung des lokalen, projektorseitigen Phasenschiebens Δφ_n(x, y)^p durch Transformation der Phasenreferenzbilder I^p.
6. Bestimmung der lokal veränderlichen Beleuchtung a c / n(x, y) und b c / n(x, y) durch Berechnung auf Basis der in den Punkten 4 und 5 bewegungskompensierten Bilder Î c / n und ermittelten projektorseitigen, lokalen Phasenlage φ_n(x, y)^p.
7. Berechnung sogenannten Feinphasenkarten unter Berücksichtigung der bewegungskompensierten Intensitätsbilder Î c / n , der Variation der Beleuchtung a c / n(x, y) und b c / n(x, y) und der lokalen, projektorseitigen Phasenverschiebung Δφ_n(x, y)^p der kompletten Mustersequenz. Einzelheiten sind den Gleichungen (2) und (3), sowie Gleichung (12) im „Algorithmus A” von Farrell und Player zu entnehmen.
8. Bestimmung der dreidimensionalen Koordinaten des zumindest einen makroskopischen Messobjektes auf Basis der in Punkt 7 ermittelten Feinphasenkarten und der Kalibrierung des Messsystems.
9. Zur Erhöhung der Genauigkeit des Verfahrens der dreidimensionalen Koordinatenbestimmung mit Hilfe aktiver Streifenlichtprojektion und Phasenschieben werden die Punkte 4 bis 8 iterativ solange wiederholt, bis ein nutzerdefinierter Schwellwert θ_3D an Veränderung des Endergebnisses unterschritten wird.

Eine weitere Variante des Systems und des Verfahrens soll anhand der 2A und 2B erläutert werden.
Das in der 2A dargestellte System 40 umfasst eine Projektionsvorrichtung 41 sowie zwei Kamerapaare 42 und 44 sowie 43 als auch 45. Weiterhin soll wieder die Oberfläche 14 eines Objekts vermessen werden. Anhand der 2B ist erkennbar, welche Kameras zu welchem Zeitpunkt Bilder der projizierten Muster auf der Oberfläche 14 aufnehmen. Das System 40 eignet sich zur Triangulation zwischen zwei zweidimensionalen Bildern, welche zum gleichen Zeitpunkt aufgenommen wurden. Bei dem hier dargestellten System erfolgt die Triangulation anhand zweier Kameras, so dass die Bestimmung der Objektpunkte O_i genauer vorgenommen werden kann als bei der Triangulation zwischen einer Kamera und dem Projektor. Dennoch wird eine Vervielfachung der Bildrate erreicht, indem zwei Kamerapaare abwechselnd zur Aufnahme jeweils aufeinanderfolgender Muster verwendet werden. Unabhängig von der physischen Ausgestaltung des Systems kann das Verfahren zum berührungslosen Erfassen der dreidimensionalen Oberfläche 14 des Objekts wie anhand des in den vorhergehenden Absätzen beschriebenen Verfahrens zum berührungslosen Erfassen einer dreidimensionalen Oberfläche mit dem System der 1A durchgeführt werden.
Anhand der 3A und 3B soll ein weiteres System zur Durchführung des Verfahrens zum berührungslosen Erfassen einer dreidimensionalen Oberfläche erläutert werden. Das System 50 umfasst eine erste Projektionsvorrichtung 51 und eine zweite Projektionsvorrichtung 61 sowie zwei Kamerapaare 52 und 54 sowie 53 und 55. Beim System 50 ist es möglich, nicht nur die Bildaufnahmerate um einen Faktor 2 (bzw. n im Falle von 2n Kameras) zu erhöhen, sondern auch die Projektionsrate zu verdoppeln (bzw. im Falle von k Projektoren die k-fache Projektionsrate zu erreichen), da verschiedene Projektoren zum Einsatz kommen. Anhand der 3B ist erkennbar, zu welchen Zeitpunkten die Projektoren 51 bzw. 61 aktiv sind und welche Kameras 52 bis 55 zu diesem Zeitpunkt jeweils Bilder aufnehmen. Das Verfahren zur Bestimmung der dreidimensionalen Oberfläche verläuft jedoch im Wesentlichen analog zu dem anhand der 1 beschriebenen Verfahren. Um ein derartiges Multiprojektions- und Multisensorsystem zu kalibrieren kann beispielsweise auf die in den vorhergehenden Abschnitten dieser Anmeldung offenbarten Verfahren zurückgegriffen werden.
Im Folgenden wird das Verfahren zur Erfassung einer dreidimensionalen Oberfläche eines bewegten Objekts anhand der 4 erläutert. Das in den 4 dargestellte System entspricht im Wesentlichen dem in der 1A dargestellten System. Die Kameras und Projektoren sind hier jedoch nicht eingezeichnet, um die Darstellung zu vereinfachen.
Nebst der Projektorebene 31 sowie den Bildebenen 32 und 33 ist die dreidimensionale Oberfläche 14 eines Objekts erkennbar, welches in diesem Falle ein Prisma ist. Die 4A zeigt den Zustand des Systems zum Zeitpunkt t = 0. Zu diesem Zeitpunkt wird die Messung initiiert und erste Bilder können aufgenommen bzw. Muster projiziert werden. Zum Zeitpunkt t = 0 wird aus der Projektorebene ein Streifenmuster gemäß der Funktion 101 auf das Messfeld, in welchem sich das Prisma befindet, projiziert. In einer von der Projektorebene 31 aus gesehen hinter dem Prisma liegenden Projektionsebene, ergibt sich die aufgrund der Interaktion mit dem Prisma resultierende Verzerrung 102 des Streifenmusters 101. In der Bildebene 32 wird eine Intensitätsverteilung 103 registriert, bei welcher deutlich erkennbar ist, dass die Intensität in dem Bereich des Bildsensors, welcher das Prisma erfasst, deutlich kleiner ist. Selbiges gilt für die Intensitätsverteilung 104, welche in der Bildebene 33 registriert wird.
Die 4B zeigt das System zum Zeitpunkt t = 1. Die Oberfläche des Prismas 14 ist um einen Betrag 15 gegenüber dem Zeitpunkt t = 0 verschoben. Zu anschaulichen Zwecken ist der Ort des Prismas 14 zum Zeitpunkt t = 0 als gestrichelte Linie eingezeichnet. Aus der Projektionsebene 31 wird weiterhin die Funktion 101 projiziert. Aufgrund der Verschiebung 15 sind die in den Bildebenen 32 und 33 registrierten Intensitätsverteilungen gegenüber dem Zeitpunkt t = 0 verändert. So zeigt die Intensitätsverteilung 103' eine andere Form gegenüber der Intensitätsverteilung 103 und die Intensitätsverteilung 104' eine andere Form als die Intensitätsverteilung 104 zum Zeitpunkt t = 0. In der 4C ist angedeutet, wie die Intensitätsverteilungen zum Zeitpunkt t = 1 transformiert werden, wobei die Rücktransformation 16 die Bewegung 15 des Prismas 14 kompensiert. Daraus ergeben sich transformierte Intensitätsverteilungen 103'' sowie 104'' in den Bildebenen 32 bzw. 33. Obgleich das zu den Zeitpunkten t = 0 und t = 1 auf das Messfeld projizierte Streifenmuster keine Phasenverschiebung aufweist, wird durch die Verschiebung des Prismas 14 in der Richtung 15 ein relativer Phasenversatz bewirkt. Von daher muss auch die projektorseitige Phasenverteilung 102' transformiert werden, so dass die bewegungskompensierte, projektorseitige Phaseninformation 102'' zur Berechnung der späteren kameraseitigen Phasen herangezogen wird.
Anschließend wird mit Hilfe der bewegungskompensierten, projektorseitigen Phasen und der transformierten Intensitätsverteilungen eine Bestimmung der Beleuchtungsanteile a_n und b_n für jeden Bildpunkt des Bildsensors der ersten Kamera sowie des Bildsensors der zweiten Kamera durchgeführt. Die Berechnung der Beleuchtungsanteile kann entfallen, wenn zwischen dem Messobjekt und dem System keine relative Bewegung herrscht. Um die Beleuchtungsfunktionen zu einem Bildpunkt zu ermitteln, werden in einer Ausführungsform des Verfahrens lediglich Intensitätsverteilungen verwendet, welche zu einem einzigen Zeitpunkt ermittelt wurden. Um die zahlreichen Unbekannten dennoch zumindest näherungsweise ermitteln zu können werden zur Berechnung ebenfalls transformierte Intensitätsverteilungen aus umliegenden Bildpunkten verwendet. Dies wird anhand der 5 genauer erläutert.
In der 5 ist ein Bildsensor 110 einer Kamera dargestellt, wobei die Beleuchtungsanteile für den mit dem Kreuz markierten Bildpunkt ermittelt werden sollen. Hierzu werden für diesen Bildpunkt zunächst die transformierten Intensitätsverteilungen und die bewegungskompensierten, projektorseitigen Phaseninformationen ermittelt. Anschließend werden, beispielsweise, für die mit schwarzen Quadraten markierten umliegenden Bildpunkte ebenfalls die transformierten Intensitätsverteilungen und projektorseitigen Phasen ermittelt. Unter der Annahme, dass die Beleuchtungsanteile zwischen zwei benachbarten Bildpunkten nur unwesentlich schwanken, werden nun zur Bestimmung der drei Unbekannten drei (oder mehr) verschiedene Bildpunkte herangezogen. Anschließend werden die kameraseitigen Phaseninformationen ermittelt und aus diesen die Tiefeninformation und somit die Maße der dreidimensionalen Oberfläche des Objekts gewonnen. Nachdem anhand des im Rahmen der 4A bis 4C erläuterten Verfahrens eine erste Näherung der dreidimensionalen Oberfläche des Objekts 14 bestimmt wurde, kann diese Oberfläche zur erneuten Berechnung der Transformationsvorschriften zwischen den Zeitpunkten t = 0 und t = 1 herangezogen werden. Anschließend werden die Transformationen der Intensitätsverteilungen und projektorseitigen Phasen sowie der Beleuchtungsfunktionen wiederholt und eine erneute Schätzung der dreidimensionalen Oberfläche durchgeführt. Dieses Verfahren wird solange iterativ angewandt, bis die Abweichung zwischen zwei Oberflächen, welche mit Hilfe des Verfahrens ermittelt wurden, nur noch um weniger als einen vorbestimmten Grenzwert voneinander abweichen. Dabei kann der Grenzwert beispielsweise als eine festgelegte Summe der quadratischen Fehler zwischend den Abständen der Oberflächen ermittelt werden.
Weitere Systeme und Ausführungsformen des Verfahrens werden im Rahmen der Kenntnisse des Fachmanns ersichtlich. Neben den bereits hier beschriebenen Aspekten umfasst die Anmeldung nachfolgende Aspekte:

1. Verfahren zum berührungslosen Erfassen einer dreidimensionalen Oberfläche eines Objekts durch ein System, welches mindestens eine Projektionsvorrichtung, mindestens eine Kamera und mindestens eine Steuer- und Auswerteeinheit umfasst, wobei das Verfahren folgende Schritte umfasst: – Projektion einer ersten Mehrzahl von Mustern auf das Objekt mittels der mindestens einen Projektionsvorrichtung, wobei die Muster in einer Projektorebene jeweils periodisch und vorzugsweise zueinander phasenverschoben sind; – Aufnahme einer zweiten Mehrzahl von Bildern des beleuchteten Objekts mittels der mindestens einen Kamera, wobei jedes der zweiten Mehrzahl von Bildern in einer Bildebene der mindestens einen Kamera als Intensitätsverteilung auswertbar ist und zumindest zwei der Mehrzahl von Bildern eine erste und ein zweite, von der ersten verschiedene Perspektive des Objekts zeigen, wobei die erste und zweite Perspektive zu unterschiedlichen Zeitpunkten aufgenommen wird; – Transformation der zu der Mehrzahl der Bilder korrespondierenden Intensitätsverteilungen in eine vorbestimmte Perspektive mittels der mindestens einen Steuer- und Auswerteeinheit; – Ermittlung von kameraseitigen Phaseninformationen der transformierten Intensitätsverteilungen; – Bestimmung der dreidimensionalen Oberfläche des Objekts in Abhängigkeit von den ermittelten Phaseninformationen.
2. Verfahren nach Aspekt 1, wobei die Transformation der zu der Mehrzahl der Bilder korrespondierenden Intensitätsverteilungen auf die vorbestimmte Bildebene jeweils eine Transformation der Phasenverschiebung der ersten Mehrzahl der projizierten Muster zwischen den verschiedenen Zeitpunkten umfasst.
3. Verfahren nach einem der vorhergehenden Aspekte, wobei die mindestens eine Kamera einen Aufnahmesensor mit einer Vielzahl von Bildpunkten umfasst und die Transformation der korrespondierenden Intensitätsverteilungen für eine Vielzahl von Bildpunkten, vorzugsweise alle Bildpunkte, durchgeführt wird.
4. Verfahren nach Aspekt 3, wobei die Ermittlung der kameraseitigen Phaseninformationen für die Vielzahl von Bildpunkten durchgeführt wird.
5. Verfahren nach einem der Aspekte 3 oder 4, wobei vor der Ermittlung der kameraseitigen Phaseninformationen Beleuchtungsinformationen der transformierten Intensitätsverteilungen ermittelt werden.
6. Verfahren nach Aspekt 5, wobei zur Ermittlung der zu einem ausgewählten Bildpunkt korrespondierenden Beleuchtungsinformationen mindestens eine transformierte Intensitätsverteilung mindestens zweier weiterer der Vielzahl von Bildpunkten verwendet wird, vorzugsweise mindestens eine transformierte Intensitätsverteilung mindestens zweier dem ausgewählten Bildpunkt benachbarten Bildpunktes verwendet wird.
7. Verfahren nach einem der vorhergehenden Aspekte, wobei die Transformation der Phasenverschiebung für jede der mindestens einen Kamera durchgeführt wird.
8. Verfahren nach einem der vorhergehenden Aspekte, wobei eine erste und zweite, jeweils vorläufige dreidimensionale Oberfläche unter Verwendung der zu den zwei der Mehrzahl von Bildern korrespondierenden Intensitätsverteilungen erstellt wird und anhand eines Vergleichs der ersten und zweiten vorläufigen Oberfläche eine Bewegung des Objekts relativ zum System zwischen den verschiedenen Zeitpunkten ermittelt wird.
9. Verfahren nach Aspekt 8, wobei der Vergleich mittels eines dreidimensionalen Korrelationsalgorithmus durchgeführt wird.
10. Verfahren nach einem der vorhergehenden Aspekte, wobei die Transformation der Phasenverschiebung der projizierten Muster mittels eines Rückprojektionsverfahrens oder eines Raytracingverfahrens durchgeführt wird.
11. Verfahren nach einem der vorhergehenden Aspekte, wobei die Transformation der Intensitätsverteilungen in die vorbestimmte Bildebene mittels eines Rückprojektionsverfahrens oder eines Raytracingverfahrens durchgeführt wird.
12. Verfahren nach einem der vorhergehenden Aspekte, wobei die Bestimmung der dreidimensionalen Oberfläche mittels einer Triangulation zwischen der mindestens einen Kamera und dem mindestens einen Projektorsystem oder zwischen mindestens zweier Kameras durchgeführt wird.
13. Verfahren nach einem der vorhergehenden Aspekte, wobei nach der Bestimmung der dreidimensionalen Oberfläche eine erneute Transformation, Ermittlung und Bestimmung durchgeführt wird.
14. Verfahren nach einem der vorhergehenden Aspekte, wobei die erste Mehrzahl und die zweite Mehrzahl übereinstimmen.
15. Verfahren nach einem der vorhergehenden Aspekte, wobei die mindestens eine Projektionsvorrichtung und die mindestens eine Kamera kalibriert ist.
16. Verfahren nach einem der vorhergehenden Aspekte, wobei das Objekt zwischen den unterschiedlichen Zeitpunkten bewegt ist.
17. Verfahren nach einem der vorhergehenden Aspekte, wobei das System zwischen den unterschiedlichen Zeitpunkten bewegt ist.
18. Verfahren nach einem der vorhergehenden Aspekte, wobei die projizierten Muster Streifenmuster sind.
19. Verfahren nach einem der vorhergehenden Aspekte, wobei mindestens eine erste und eine zweite Kamera vorhanden sind.
20. Verfahren nach Aspekt 19, wobei ein erstes Bild der zwei der Mehrzahl von Bildern von der ersten Kamera und ein zweites Bild der Mehrzahl von Bildern von der zweiten Kamera aufgenommen werden.
21. Verfahren nach einem der vorhergehenden Aspekte, wobei mindestens eine erste und eine zweite Projektionsvorrichtung vorhanden ist.
22. Verfahren nach Aspekt 21, wobei ein erstes projiziertes Muster der ersten Mehrzahl von der ersten Projektionsvorrichtung und ein zweites projiziertes Muster der ersten Mehrzahl von der zweiten Projektionsvorrichtung projiziert werden.
23. System zum berührungslosen Erfassen einer dreidimensionalen Oberfläche eines Objekts, wobei das System zur Durchführung eines Verfahrens nach einem der vorhergehenden Aspekte ausgebildet ist.

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102006049695 A1 [0003]

Zitierte Nicht-Patentliteratur

CT Farrell, MA Player: „Phase step measurement and variable step algorithms in phase-shifting interferometry”, Meas. Sci. Technol. 3 (1992), p. 953–958 [0027]
M. Brückner, F. Bajramovic und J. Denzler, „Seif-Calibration of Camera Networks: Active and Passive Methods,” in Emerging Topics in Computer Vision and its Applications, World Scientific Publishing, 2011, pp. 447–469 [0033]

Claims

Verfahren zum berührungslosen Erfassen einer dreidimensionalen Oberfläche (14) eines Objekts durch ein System (10), welches mindestens eine Projektionsvorrichtung (11), mindestens eine Kamera (12, 13) und mindestens eine Steuer- und Auswerteeinheit umfasst, wobei das Verfahren folgende Schritte umfasst: – Projektion einer ersten Mehrzahl von Mustern auf das Objekt mittels der mindestens einen Projektionsvorrichtung, wobei die Muster in einer Projektorebene jeweils periodisch und vorzugsweise zueinander phasenverschoben sind; – Aufnahme einer zweiten Mehrzahl von Bildern des beleuchteten Objekts mittels der mindestens einen Kamera, wobei jedes der zweiten Mehrzahl von Bildern in einer Bildebene der mindestens einen Kamera als Intensitätsverteilung (103, 104) auswertbar ist und zumindest zwei der Mehrzahl von Bildern eine erste und ein zweite, von der ersten verschiedene Perspektive des Objekts zeigen, wobei die erste und zweite Perspektive zu unterschiedlichen Zeitpunkten aufgenommen wird; – Transformation der zu der Mehrzahl der Bilder korrespondierenden Intensitätsverteilungen (103'', 104'') in eine vorbestimmte Perspektive mittels der mindestens einen Steuer- und Auswerteeinheit; – Ermittlung von kameraseitigen Phaseninformationen (φ^c(x^c, y^c)) der transformierten Intensitätsverteilungen; – Bestimmung der dreidimensionalen Oberfläche des Objekts in Abhängigkeit von den ermittelten Phaseninformationen.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Transformation der zu der Mehrzahl der Bilder korrespondierenden Intensitätsverteilungen auf die vorbestimmte Bildebene jeweils eine Transformation der Phasenverschiebung (102'') der ersten Mehrzahl der projizierten Muster zwischen den verschiedenen Zeitpunkten umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die mindestens eine Kamera einen Aufnahmesensor mit einer Vielzahl von Bildpunkten umfasst und die Transformation der korrespondierenden Intensitätsverteilungen für eine Vielzahl von Bildpunkten, vorzugsweise alle Bildpunkte, durchgeführt wird.
Verfahren nach Anspruch 3, wobei die Ermittlung der kameraseitigen Phaseninformationen für die Vielzahl von Bildpunkten durchgeführt wird.
Verfahren nach einem der Ansprüche 3 oder 4, wobei vor der Ermittlung der kameraseitigen Phaseninformationen Beleuchtungsinformationen (a_n, b_n) der transformierten Intensitätsverteilungen Î ermittelt werden.
Verfahren nach Anspruch 5, wobei zur Ermittlung der zu einem ausgewählten Bildpunkt korrespondierenden Beleuchtungsinformationen mindestens eine transformierte Intensitätsverteilung mindestens zweier weiterer der Vielzahl von Bildpunkten verwendet wird, vorzugsweise mindestens eine transformierte Intensitätsverteilung mindestens zweier dem ausgewählten Bildpunkt benachbarten Bildpunkten verwendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Transformation der Phasenverschiebung für jede der mindestens einen Kamera durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei eine erste und zweite, jeweils vorläufige dreidimensionale Oberfläche unter Verwendung der zu den zwei der Mehrzahl von Bildern korrespondierenden Intensitätsverteilungen erstellt wird und anhand eines Vergleichs der ersten und zweiten vorläufigen Oberfläche eine Bewegung des Objekts relativ zum System zwischen den verschiedenen Zeitpunkten ermittelt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Transformation der Phasenverschiebung der projizierten Muster mittels eines Rückprojektionsverfahrens oder eines Raytracingverfahrens durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Transformation der Intensitätsverteilungen in die vorbestimmte Bildebene mittels eines Rückprojektionsverfahrens oder eines Raytracingverfahrens durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei nach der Bestimmung der dreidimensionalen Oberfläche eine erneute Transformation, Ermittlung und Bestimmung durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Objekt und/oder das System zwischen den unterschiedlichen Zeitpunkten bewegt ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die projizierten Muster Streifenmuster sind.
Verfahren nach einem der vorhergehenden Ansprüche, wobei mindestens eine erste und eine zweite Projektionsvorrichtung vorhanden ist.
System zum berührungslosen Erfassen einer dreidimensionalen Oberfläche eines Objekts, wobei das System zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche ausgebildet ist.