-
Die vorliegende Erfindung betrifft ein Messgerät zur 3D-Erfassung einer Oberfläche, mit mindestens einer Projektoranordnung zur Projektion eines Linienmusters auf der Oberfläche erzeugen, mindestens einer Kamera zur Aufnahme eines Bildes des Linienmusters und einer Recheneinheit zur Erfassung und Auswertung des Linienmusters in dem mindestens einen Bild.
-
Neben Streifenprojektionssystemen und klassischen Laserlinienscannern werden in jüngerer Zeit zunehmend handgehaltene oder maschinengeführte 3D-Scanner bedeutsam, bei denen das projizierte Muster aus einem oder mehreren Laserlinienfächern besteht. Typischerweise erfolgt dort die Strahlformung mithilfe einer Laserdiode, einer Powell-Linse und einem diffraktiven optischen Element (DOE). Das Verfahren ist jedoch nicht auf Laserprojektoren begrenzt, es funktioniert z. B. auch mit DMD-Projektoren.
-
Linienhafte Muster haben den Vorteil, dass sie sich relativ kostengünstig erzeugen lassen und eine ähnliche Subpixelgenauigkeit und damit Strukturauflösung haben wie Streifenprojektionssysteme. Laser können über einen großen Tiefenbereich scharf abgebildet werden. Während Streifenprojektionssysteme vollflächig 3D-Daten erzeugen können und dafür eine zeitlich variierende Mustersequenz benötigen, kompensieren Linienscanner diesen Nachteil durch eine Bewegung über das Bauteil („Sweep“).
-
In herkömmlichen Laserscannern wird genau eine Laserlinie projiziert, wodurch das Korrespondenzproblem eindeutig lösbar ist. Das Korrespondenzproblem besteht in der korrekten Zuordnung der in einem ersten Kamerabild des Linienmusters vorhandenen Linien zu den in einem zweiten Kamerabild des Linienmusters vorhandenen Linien und/oder den entsprechenden Lichtflächen der Projektoranordnung, welche notwendig ist, um die dreidimensionale Form der Oberfläche, auf welche das Linienmuster projiziert wird, mittels Triangulation entlang der Linie zu ermitteln. Das Korrespondenzproblem besteht dabei auch schon beim Fehlen einer zweiten Kamera, wobei eine Epipolargeometrie zwischen Kamera und (kalibrierter) Projektoranordnung zur Triangulation eingesetzt wird. Analog zu Streifenprojektionssystemen wird der Projektor dabei als inverse Kamera betrachtet. Als „Korrespondenz“ wird hier also schon die Zuordnung eines Kamerapixels zu einem dedizierten Punkt auf einer Laserlinie verstanden. Wird nur eine Linie projiziert, ist diese Zuordnung trivial. Um eine höhere Datendichte pro Frame zu erzeugen und den flächigen Kamerachip besser auszunutzen, möchte man gerne mehrere Linien gleichzeitig projizieren. Dadurch entstehen aber entlang der Epipolarlinie auch mehrere mögliche Korrespondenzen, deren Mehrdeutigkeit aufgelöst werden muss („Dekodierung“).
-
In der Druckschrift
EP 3102908 B1 werden hierfür in den Bildern vom zwei Kameras, mit welchen das Linienmuster beobachtet wird, zunächst alle zusammenhängenden Konturen gefunden und gelabelt. Es wird eine Epipolarebene ausgewählt und zu dieser die Epipolarlinien in beiden Bildern gefunden. Es werden alle Paare von Konturen ermittelt, die von den Epipolarlinien geschnitten werden und geometrisch plausibel sind. Aus diesen wird das Paar mit dem geringsten Residuum der Strahlenschnitte oder einer vergleichbaren Metrik ausgewählt. Danach geht es mit den verbleibenden Paaren auf der derselben Epipolarlinie weiter, bis alle Paare zugeordnet sind.
-
In der Druckschrift
EP 3392831 A1 werden ebenfalls zunächst alle zusammenhängenden Konturen in beiden Bildern gefunden und gelabelt. Es werden alle Paare von Konturen ermittelt, die geometrisch plausibel sind, d. h. aufgrund der Sensorgeometrie überhaupt Korrespondenzen erzeugen können. Für alle diese Paare wird eine 3D-Punktwolke mittels Triangulation berechnet. Das korrekte Paar muss eine Punktwolke erzeugt haben, die komplett in einer der projizierten Lichtflächen liegt, d. h. es wird räumliche Kohärenz und A-priori-Wissen ausgenutzt. Falsche Zuordnungen haben große Residuen beim Ebenenfit und/oder führen zu Ebenen, die nicht mit der Projektion übereinstimmen.
-
In der Veröffentlichung Florian Willomitzer und Gerd Häusler, Single-shot 3D motion picture camera with a dense point cloud, OPTICS EXPRESS, Vol. 25, No. 19, 18.09.2017 wird beschrieben, wie sich das geometrische Setup von Kamera und Projektor(en) zueinander auf die Dekodierbarkeit der Linien auswirkt. Je näher sich der Projektor an der Kamera befindet, d. h. je kleiner der Triangulationswinkel ist, desto kleiner ist auch der Bereich, in dem eine Linie bei der Bewegung des Messobjekts über die gesamte Messfeldtiefe auf den Kamerachip abgebildet werden kann. Ist nun der Abstand der Linien im Bild konstruktionsbedingt immer größer als der Bereich aller möglichen Linienprojektionen breit ist, sind diese Bereiche paarweise disjunkt und damit ist die Dekodierung trivial als Lookup-Table anhand der Kamerapixel möglich. In diesem Ansatz gibt es jedoch einen inhärenten Zielkonflikt zwischen theoretisch möglicher Linienanzahl und Genauigkeit der Rekonstruktion, die durch den Triangulationwinkel zwischen Kamera und Projektor dominiert wird. Deswegen wird ein Zwei-Kamera-Setup vorgeschlagen, bei dem die zum Projektor nähere Kamera als „Dekodierkamera“ und die zum Projektor fernere Kamera als „Triangulationskamera“ verwendet wird. Eine verlässliche Messung erfordert damit immer die Sichtbarkeit in beiden Kameras.
-
Aufgabe der vorliegenden Erfindung ist es, ein Messgerät zur 3D-Erfassung einer Oberfläche mit einem möglichst effizienten und robusten Dekodierungsalgorithmus zur Verfügung zu stellen. Bevorzugt erlaubt dieser einen hohen Füllgrad des Musters im Kamerabild. Bevorzugt ermöglicht der Dekodierungsalgorithmus zumindest prinzipiell, auf eine zweite Kamera zu verzichten. Weiter bevorzugt ist er in der Lage, auch auf Interreflexionen bei spiegelnden Materialien Rücksicht zu nehmen.
-
Diese Aufgabe wird durch ein Messgerät gemäß Anspruch 1 gelöst. Bevorzugte Ausgestaltungen der vorliegenden Erfindung sind Gegenstand der Unteransprüche.
-
Die vorliegende Erfindung umfasst ein Messgerät zur 3D-Erfassung einer Oberfläche, mit mindestens einer Projektoranordnung zur Projektion eines Linienmusters, dessen Linien sich in Kreuzungspunkten schneiden, auf die Oberfläche; mindestens einer Kamera zur Aufnahme mindestens eines Bildes des Linienmusters; und einer Recheneinheit zur Erfassung und Auswertung des Linienmusters in dem mindestens einen Bild, wobei die Recheneinheit die Kreuzungspunkte des Linienmusters in dem mindestens einen Bild der Kamera erfasst und eine Zuordnung zwischen den im Bild erfassten Kreuzungspunkten und Kreuzungspunkt-Labels vornimmt.
-
Die vorliegende Erfindung beruht auf der Beobachtung, dass das korrekte Identifizieren der Linien mithilfe der Erfassung der Kreuzungspunkte deutlich vereinfacht und auch robuster implementiert werden kann. Durch den Einsatz eines Linienmusters, dessen Linien sich in Kreuzungspunkten schneiden, und den erfindungsgemäß erreichbarem höheren Füllgrad des Musters erhöht sich zudem die Anzahl der zur Verfügung stehenden Datenpunkte pro Frame.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung erfolgt die Zuordnung über die Position der erfassten Kreuzungspunkte des Linienmusters im Bild der Kamera.
-
Im Gegensatz zu dem Vorgehen gemäß
EP3102908B und
EP3392831A1 ist hierdurch per se kein Aufbau mit zwei Kameras erforderlich. Weiterhin ist durch die Betrachtung der Kreuzungspunkte die extreme geometrische Auslegung, welche in dem Paper von Willomitzer und Häusler beschrieben wird, um das Dekodierungsproblem bei hoher Linienanzahl zu lösen, nicht mehr nötig, so dass wiederum die Genauigkeit der Rekonstruktion verbessert werden kann.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung sind den Kreuzungspunkt-Labels im Bild der Kamera zumindest teilweise disjunkte Bereiche zugeordnet, wobei die Recheneinheit einen erfassten Kreuzungspunkt einem Kreuzungspunkt-Label zuordnet, wenn er sich in einem diesem Kreuzungspunkt-Label zugeordneten disjunkten Bereich des Bildes befindet.
-
Die Zuordnung der Kreuzungspunkt-Labels erfolgt daher über Eindeutigkeitsbereiche im Bild der Kamera, welchen Kreuzungspunkt-Labels zugeordnet sind. Insbesondere kann dabei in der Recheneinheit eine Lookup-Tabelle hinterlegt sein, welche gewissen Untergruppen von Pixeln des Kamerabildes Kreuzungspunkt-Labels zuordnet. Die Lookup-Tabelle kann bspw. durch eine Kalibrierungsfunktion des Messgerätes automatisch erstellt und/oder aktualisiert werden.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung umfasst die Projektoranordnung einen oder mehrere Projektoren zur Projektion einer Mehrzahl von Lichtflächen, welche sich in (virtuellen) Schnittlinien schneiden, wobei die Lichtflächen auf der Oberfläche das Linienmuster erzeugen und die (virtuellen) Schnittlinien der Lichtflächen den Kreuzungspunkten entsprechen.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung beruht die Zuordnung der Kreuzungspunkt-Labels zu Bereichen im Bild der Kamera auf einer Zuordnung dieser Bereiche zu den (virtuellen) Schnittlinien der Lichtflächen, wobei diese Zuordnung insbesondere durch Projektion der (virtuellen) Schnittlinien der Lichtflächen in das Bild der Kamera erfolgt.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung entspricht die Zuordnung der Kreuzungspunkte zu Kreuzungspunkt-Labels daher einer Zuordnung der erfassten Kreuzungspunkte zu den Schnittlinien der Lichtflächen der Projektoranordnung.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung werden die Kreuzungspunkt-Labels durch Paare von Linien-Labels, welche den Lichtflächen zugeordnet sind, die die jeweilige Schnittlinie bilden.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung handelt es sich bei den zumindest teilweise disjunkten Bereichen des Bildes um Projektionen der in einem Messvolumen des Messgerätes verlaufenden Abschnitte der Schnittlinien in das Bild der Kamera. Sind diese Projektionen zueinander zumindest teilweise disjunkt, so kann für den Fall, dass ein Kreuzungspunkt in einem disjunkten Bereich, welcher damit nur einer Schnittlinie zugeordnet ist, vorgefunden wird, unmittelbar eine Zuordnung des Kreuzungspunktes zu einem Kreuzungspunkt-Label, welches der Schnittlinie zugeordnet ist, erfolgen.
-
Eine komplett disjunkte Konfiguration der Projektionen ist für das erfindungsgemäße Vorgehen nicht zwingend notwendig, da für die Zuordnung der Linien zu Linien-Labels bzw. Lichtflächen nicht alle Kreuzungspunkte zugeordnet werden müssen und bei mehreren Zuordnungsmöglichkeiten einzelner Schnittpunkte weitere Kriterien zur Klärung der Zuordnung eingesetzt werden können.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung sind die Lichtflächen, die Projektoranordnung und die Kamera jedoch so angeordnet, dass die Projektionen aller in einem Messvolumen des Messgerätes verlaufenden Abschnitte der Schnittlinien in das Bild der Kamera jeweils zumindest teilweise disjunkt sind.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung handelt es sich bei den Projektionen der in einem Messvolumen des Messgerätes verlaufenden Abschnitte der Schnittlinien in das Bild der Kamera jeweils um linienförmige Bereiche, welche jedoch nicht notwendigerweise gerade verlaufen müssen.
-
Besonders bevorzugt sind die Projektionen dabei jedenfalls bis auf punktweise Überschneidungen paarweise disjunkt.
-
Solche punktweise Überschneidungen können beispielsweise dadurch entstehen, dass die Projektionen durch die eingesetzte Optik nicht als gerade Linien abgebildet werden, sondern verzerrt und/oder gekrümmt sind und sich daher mit den Projektionen benachbarter Schnittlinien kreuzen.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung bilden die Lichtflächen ein Rautenmuster. Die Erfinder der vorliegenden Erfindung haben hierbei herausgefunden, dass ein solches Rautenmuster besonders geeignet ist, um möglichst disjunkte Projektionen zu erhalten. Als Parameter zum Erreichen möglichst disjunkter Projektionen stehen dabei zunächst die beiden Winkelausrichtungen der Lichtflächen zur Verfügung.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung umfassen die Lichtflächen zwei Gruppen von Lichtflächen, welche sich in einem Winkel schneiden. In einer möglichen Ausgestaltung der vorliegenden Erfindung sind beide Gruppen von Lichtflächen zur Epipolarebene verkippt. Insbesondere können die Gruppen von Lichtflächen gleiche große, aber entgegengesetzte Winkel zur Epipolarebene aufweisen. Hierdurch ist die für beide Gruppen von Lichtflächen jeweils erzielbare Genauigkeit der 3D-Auflösung für beide Fächer gleich groß.
-
In einer möglichen Ausgestaltung steht eine Gruppe von Lichtflächen dagegen senkrecht auf der Epipolarebene, und die andere Gruppe von Lichtflächen ist gegenüber der Epipolarebene verkippt. Hierdurch kann für die erste Gruppe eine besonders hohe Genauigkeit erzielt werden.
-
Die Wahl der Winkel ist von mehreren Faktoren abhängig. Je geringer der Winkel zur Epipolarebene, desto besser ist die Auflösung. Ein möglichst großer Winkel zwischen den beiden Gruppen erlaubt es jedoch, die projizierten Linien im Bild besser durch ihre Steigung einer der beiden Gruppen zuzuordnen. Zudem muss das Muster so gewählt werden, dass den Kreuzungspunkten im Bild der Kamera Eindeutigkeitsbereiche zugeordnet werden können.
-
Die Lichtflächen innerhalb einer Gruppe von Lichtflächen können nebeneinander verlaufen, ohne sich zu schneiden.
-
Die Lichtflächen innerhalb einer Gruppe von Lichtflächen können parallel zueinander verlaufen. Alternativ können die Lichtflächen innerhalb einer Gruppe von Lichtflächen jedoch auch einen Winkelversatz zueinander aufweisen.
-
Insbesondere kann jede der Gruppen von Lichtflächen einen Lichtfächer bilden.
-
In einer möglichen Ausgestaltung der vorliegenden Erfindung ist der Abstand zwischen benachbarten Lichtflächen, insbesondere innerhalb einer Gruppe, für alle Lichtflächen der Gruppe identisch. Insbesondere kann es sich hierbei um den Winkelabstand handeln.
-
In einer möglichen alternativen Ausgestaltung der vorliegenden Erfindung ist der Abstand zwischen benachbarten Lichtflächen für mindestens zwei Paare von benachbarten Lichtflächen jedoch unterschiedlich groß. Hierdurch steht ein weiterer Parameter zur Verfügung, welcher eingesetzt werden kann, um Überschneidungen der Projektionen zu verringern. Insbesondere kann es sich auch hierbei um den Winkelabstand handeln.
-
In einer möglichen alternativen Ausgestaltung der vorliegenden Erfindung werden die Lichtflächen durch Lichtebenen gebildet. Weiterhin kann es sich bei den Schnittlinien um Schnittgeraden handeln. Solche Muster sind konstruktiv besonders einfach zu erzeugen und mathematisch leicht auszuwerten.
-
Die vorliegende Erfindung ist jedoch nicht auf den Einsatz von Lichtebenen beschränkt, sondern kann mit beliebig gekrümmten Lichtflächen zum Einsatz kommen.
-
In einer möglichen alternativen Ausgestaltung der vorliegenden Erfindung weist mindestens eine Lichtfläche Schnittlinien mit mehreren anderen Lichtflächen auf. Bevorzugt weisen dabei eine Mehrzahl von Lichtflächen Schnittlinien mit mehreren anderen Lichtflächen auf.
-
In einer möglichen Ausgestaltung können zwei Gruppen von Lichtflächen vorgesehen sein, wobei sich jede Lichtfläche aus der einen Gruppe mit jeder Lichtfläche aus der anderen Gruppe schneidet.
-
In einer möglichen Ausgestaltung weisen mindestens eine, mehrere oder alle Lichtflächen nur eine einzige Schnittlinie mit anderen Lichtfläche auf. Beispielsweise kann das Lichtmuster in einem solchen Fall durch eine Mehrzahl von voneinander getrennten kreuz- oder sternförmigen Elementen bestehen, welche jeweils durch sich kreuzende Lichtflächensegmente gebildet werden.
-
In einer bevorzugten Ausgestaltung erstrecken sich die Lichtflächen jedoch als zusammenhängende Flächen von einer Seite des Messvolumens zu einer anderen Seite des Messvolumens.
-
In einer möglichen Ausgestaltung umfasst die Projektoranordnung mindestens einen Projektor, insbesondere einen Laser-Projektor.
-
In einer möglichen Ausgestaltung erzeugt die Projektoranordnung mindestens zwei Gruppen einander schneidender Lichtflächen, insbesondere zwei einander schneidende Lichtflächenfächer, insbesondere Lichtebenenfächer.
-
Die beiden Gruppen einander schneidender Lichtflächen können in einer möglichen Ausgestaltung durch nur einen Projektor erzeugt werden.
-
In einer bevorzugten Ausgestaltung umfasst die Projektoranordnung jedoch mindestens zwei Projektoren, insbesondere Laser-Projektoren.
-
Bevorzugt projiziert jeder der Projektoren eine der Gruppen von Lichtflächen.
-
Der Triangulationswinkel zwischen der oder den Kameras und dem oder den Projektoren beträgt bevorzugt für alle Kombinationen aus Kamera und Projektor mehr als 3°, insbesondere mehr als 4°.
-
Der Triangulationswinkel zwischen der oder den Kameras und dem oder den Projektoren beträgt bevorzugt für alle Kombinationen aus Kamera und Projektor weniger als 40°, insbesondere weniger als 30°.
-
Sind mehrere Kameras vorgesehen, beträgt der Triangulationswinkel zwischen mindestens zwei Kameras bevorzugt zwischen 20° und 40°, insbesondere zwischen 25° und 35°.
-
In einer möglichen Ausgestaltung werden die Gruppen von Lichtflächen, insbesondere die Lichtflächenfächer, jeweils durch eine punktförmige Lichtquelle erzeugt, deren Bild durch ein erstes optisches Element zu einer Linie aufgeweitet und ein zweites optisches Element in einen Fächer aufgespalten wird. Insbesondere erfolgt die Strahlformung mithilfe einer Powell-Linse und einem diffraktiven optischen Element (DOE). Bevorzugt wird als Lichtquelle eine Laserdiode eingesetzt.
-
Insbesondere umfasst daher jeder Projektor eine punktförmige Lichtquelle, deren Bild durch ein erstes optisches Element zu einer Linie aufgeweitet und ein zweites optisches Element in einen Fächer aufgespalten wird.
-
Ebenfalls können andere Arten von Laserprojektoren eingesetzt werden. Weiterhin kann auch ein DMD-Projektor zum Einsatz kommen.
-
In einer möglichen Ausgestaltung projiziert die Projektoranordnung ein Lichtmuster aus mindestens zwei Gruppen von Lichtflächen, welche einander schneiden, wobei jede Gruppe bevorzugt mehr als 3 und/oder weniger als 50 Linien umfasst, insbesondere mehr als 6 und/oder weniger als 25 Linien.
-
Hierdurch wird eine hohe Datendichte erzielt, und gleichzeitig eine weitgehend disjunkte Anordnung der Projektionen ermöglicht.
-
In einer möglichen Ausgestaltung ist vorgesehen, dass die Recheneinheit im Bild der Kamera Liniensegmente als Zusammenhangskomponenten erfasst und Linien-Labels zuordnet. Diese Zuordnung wird im weiteren Verlauf der Auswertung bevorzugt für die 3D-Rekonstruktion der Liniensegmente genutzt.
-
In einer möglichen Ausgestaltung erfolgt die Zuordnung der Liniensegmente zu Linien-Labels zumindest teilweise anhand der Zuordnung der Kreuzungspunkte zu den Kreuzungspunkt-Labels.
-
In einer möglichen Ausgestaltung ist vorgesehen, dass die Zuordnung eines Liniensegments, auf welchem mindestens zwei Kreuzungspunkte liegen, über die Zuordnung der Kreuzungspunkte zu den Kreuzungspunkt-Labels erfolgt.
-
Insbesondere kann ein Kreuzungspunkt-Label einem Paar von Linien-Labels entsprechen. Sind einem Liniensegment daher durch die auf dem Liniensegment liegenden Kreuzungspunkt mindestens zwei Kreuzungspunkt-Labels zuordenbar, so bestimmt die Recheneinheit bevorzugt die Schnittmenge der in den jeweiligen Paaren enthaltenen Linien-Labels und ordnet dem Liniensegment jenes Linien-Label zu, welches in beiden Paaren von Linien-Labels enthalten ist.
-
Die Linien-Labels können dabei Lichtflächen der Projektoranordnung entsprechen, die Kreuzungspunkt-Labels den Schnittlinien bzw. Kreuzungspunkten der Lichtflächen, wobei einem Kreuzungspunkt die Linien-Labels jener beiden Lichtflächen, welche sich in dem Kreuzungspunkt schneiden, zugeordnet werden.
-
In einer möglichen Ausgestaltung werden weitere Kreuzungspunkte, welche auf dem Liniensegment liegen, zur Validierung der Zuordnung herangezogen.
-
In einer möglichen Ausgestaltung ist vorgesehen, dass Liniensegmente, welche mit keinem oder nur einem Kreuzungspunkt verbunden sind, anhand von einem oder mehreren weiteren Kriterien einem Linien-Label zugeordnet werden.
-
In einer möglichen Ausgestaltung ist vorgesehen, dass noch nicht zugeordnete Liniensegmente, insbesondere solche, welche mit keinem Kreuzungspunkt verbunden sind, mittels benachbarter, bereits zugeordneter Liniensegmente einem Linien-Label zugeordnet werden.
-
In einer möglichen Ausgestaltung werden die benachbarten, bereits zugeordneten Liniensegmente entlang von Epipolarlinien gesucht, welche durch Pixel des unverbundenen Liniensegments hindurchgehen.
-
In einer möglichen Ausgestaltung ist vorgesehen, dass noch nicht zugeordnete Liniensegmente, insbesondere solche, welche mit keinem Kreuzungspunkt verbunden sind, anhand von Liniensegmenten, welche in zeitlich vorangegangenen oder nachfolgenden Bildern einer Lichtfläche zugeordnet wurden und bevorzugt dem Liniensegment benachbart angeordnet sind, einem Linien-Label zugeordnet werden.
-
In einer möglichen Ausgestaltung ist vorgesehen, dass die Liniensegmente anhand ihrer Steigung einer von mindestens zwei Gruppen von Linien-Labels zugeordnet werden.
-
Insbesondere können die beiden Gruppen von Linien-Labels zwei Gruppen von Lichtflächen entsprechen, welche einander schneiden.
-
In einer möglichen Ausgestaltung ist vorgesehen, dass Liniensegmente, welche mit nur einem Kreuzungspunkt verbunden sind, anhand der Zuordnung zu einer Gruppe und der Zuordnung des Kreuzungspunktes zu einem Kreuzungspunkt-Label einem Linien-Label zugeordnet werden.
-
In einer möglichen Ausgestaltung ist vorgesehen, dass Liniensegmente, welche durch Interreflexionen entstehen, von der Recheneinheit erkannt und invalidiert werden.
-
Hierzu können von der Recheneinheit eines und bevorzugt mehrere Kriterien ausgewertet werden.
-
Insbesondere kann die Erkennung von Liniensegmenten, welche durch Interreflexionen entstehen, durch mindestens eine der folgenden Eigenschaften erfolgen:
- - das Liniensegment weist eine Steigung auf, welche keiner Gruppe von Linien-Labels zuordenbar ist;
- - ein mit dem Liniensegment verbundener Kreuzungspunkt ist keinem Kreuzungspunkt-Label zuordenbar und liegt insbesondere außerhalb der den Kreuzungspunkt-Labels zugeordneten Bereiche des Bildes;
- - eine 3D-Rekonstruktion des Liniensegments liegt nicht in einer dem Liniensegment zugeordneten Lichtfläche; die zugeordnete Lichtfläche wird bevorzugt durch das Linien-Label ermittelt;
- - eine 3D-Rekonstruktion des Liniensegments weicht von einer Oberflächenform, welche durch zeitlich vorangegangene oder nachfolgende Bilder ermittelt und bevorzugt mittels eines Referenzierungssystems zuordenbar ist, ab.
-
In einer möglichen Ausgestaltung weist das Messgerät nur eine Kamera auf. Eine zweite Kamera wird im Rahmen der vorliegenden Erfindung nicht zwingend benötigt. Wird nur eine Kamera eingesetzt, erfolgt die 3D-Rekonstruktion der durch die Kamera erfassten Liniensegmente mittels Triangulation mit der zugehörigen Lichtfläche des Projektors.
-
In einer alternativen Ausgestaltung weist das Messgerät mindestens zwei Kameras auf, welche das von dem Projektor erzeugte Linienmuster aus unterschiedlichen Positionen aufnehmen. Dies hat sowohl für die 3D-Rekonstruktion, als auch im Hinblick auf das Handling des Messgerätes gewisse Vorteile.
-
Werden zwei oder mehr Kameras eingesetzt, nimmt die Recheneinheit bevorzugt eine Zuordnung der jeweils in den Bildern der Kameras erfassten Kreuzungspunkte und/oder Liniensegmente zueinander vor. Die 3D-Rekonstruktion der durch die Kamera in einem Bild erfassten Liniensegmente erfolgt bevorzugt zumindest teilweise mittels Triangulation mit einem zugehörigen Liniensegment in dem Bild einer anderen Kamera.
-
Die Zuordnung der jeweils in den Bildern der Kameras erfassten Kreuzungspunkte und/oder Liniensegmente zueinander erfolgt in einer möglichen Ausgestaltung dadurch, dass die jeweiligen Kreuzungspunkt-Labels der Kreuzungspunkte und/oder Linienlabels der Liniensegmente in den Bildern der beiden Kameras einander zugeordnet werden.
-
Damit werden die jeweils in den Bildern der Kameras erfassten Kreuzungspunkte und/oder Liniensegmente einander jeweils so zugeordnet, dass einander zugeordnete Kreuzungspunkte und/oder Liniensegmente durch die gleiche Schnittlinie von Lichtflächen bzw. die gleiche Lichtfläche des Projektors erzeugt wurden.
-
Insbesondere können in den Bildern der jeweiligen Kameras den dort erfassten Kreuzungspunkten und/oder Liniensegmenten jeweils Kreuzungspunkt-Labels und/oder Linienlabels zugeordnet werden, wobei die Zuordnung der jeweils in den Bildern der Kameras erfassten Kreuzungspunkte und/oder Liniensegmente zueinander dadurch erfolgt, dass Kreuzungspunkte und/oder Liniensegmente mit gleichen oder einander entsprechenden Kreuzungspunkt-Labels und/oder Linienlabels einander zugeordnet werden.
-
In einer möglichen Ausgestaltung erfolgt die Zuordnung der in dem Bild mindestens einer Kamera erfassten Kreuzungspunkte zu einem Kreuzungspunkt-Label jedoch nur anhand der Auswertung dieses Bildes und/oder der Bilder dieser Kamera. Selbst wenn daher eine zweite Kamera vorgesehen ist, wird deren Bild nicht für die Zuordnung der in dem Bild mindestens einer Kamera erfassten Kreuzungspunkte zu einem Kreuzungspunkt-Label herangezogen oder allenfalls zur Validierung einer solchen Zuordnung.
-
Sind mindestens zwei Kameras vorgesehen, kann die die Zuordnung der in dem Bild der jeweiligen Kamera erfassten Kreuzungspunkte zu einem Kreuzungspunkt-Label nur anhand der Auswertung dieses Bildes und/oder der Bilder dieser Kamera erfolgen, d. h. für beide Kameras unabhängig voneinander und ohne Zuhilfenahme des jeweils von der anderen Kamera aufgenommenen Bildes.
-
Die Zuordnung der in den Bildern der beiden Kameras erfassten Kreuzungspunkte und/oder Liniensegmente zueinander kann dann durch die jeweilige Zuordnung der Kreuzungspunkte und/oder Liniensegmente zu den Kreuzungspunkt-Labels und/oder Linien-Labels erfolgen.
-
Insbesondere können die in den Bildern der beiden Kameras erfassten Kreuzungspunkte und/oder Liniensegmente jeweils mit Bezug auf die Lichtflächen und/oder Schnittlinien, welche diese erzeugen, gelabelt werden und die Zuordnung von zusammengehörigen Kreuzungspunkte und/oder Liniensegmente in den Bildern der beiden Kameras über die Label erfolgen.
-
Alternativ kann die die Zuordnung der in dem Bild mindestens einer Kamera erfassten Kreuzungspunkte und/oder Liniensegmente zu einem Kreuzungspunkt-Label und/oder Linien-Label bzw. einer Schnittlinie und/oder Lichtfläche genutzt werden, um die Zuordnung der in dem Bild einer anderen Kamera erfassten Kreuzungspunkte und/oder Liniensegmente zu einem Kreuzungspunkt-Label und/oder Linien-Label bzw. einer Schnittlinie und/oder Lichtfläche vorzunehmen.
-
Die Recheneinheit kann hierfür eine 3D-Rekonstruktion der in dem Bild mindestens einer Kamera erfassten Kreuzungspunkte und/oder Liniensegmente mittels Triangulation mit den dem jeweiligen Kreuzungspunkt-Label und/oder Linien-Label zugeordneten Schnittlinien und/oder Lichtflächen der Projektoranordnung vornehmen, und die so erzielte 3D-Punktewolke in das Bild der anderen Kamera projizieren. Die Recheneinheit sucht nun in der Umgebung der Projektion der 3D-Punktewolke nach Kreuzungspunkten und/oder Liniensegmenten und ordnet sie hierüber zu.
-
In einer möglichen Ausgestaltung nimmt die Recheneinheit eine 3D-Rekonstruktion der in dem Bild mindestens einer Kamera erfassten Kreuzungspunkte und/oder Liniensegmente vor. Insbesondere erfolgt hierüber die 3D-Erfassung der Oberfläche.
-
Die 3D-Rekonstruktion erfolgt insbesondere mittels Triangulation.
-
In einer möglichen Ausgestaltung erfolgt die 3D-Rekonstruktion auf Grundlage einer Zuordnung der in dem Bild mindestens einer Kamera erfassten Kreuzungspunkte und/oder Liniensegmente mit diesen zugeordneten Schnittlinien und/oder Lichtflächen der Projektoranordnung und/oder Kreuzungspunkte und/oder Liniensegmenten in einem Bild einer anderen Kamera.
-
In einer möglichen Ausgestaltung erfolgt die 3D-Rekonstruktion der Kreuzungspunkte und/oder Liniensegmente zumindest teilweise mittels Triangulation der in dem Bild einer Kamera erfassten Kreuzungspunkte und/oder Liniensegmente mit dem Lichtmuster der Projektoranordnung erfolgt.
-
Insbesondere kann die Triangulation mit dem Lichtmuster der Projektoranordnung für solche Kreuzungspunkte und/oder Liniensegmente erfolgen, welche nur in dem Bild einer Kamera enthalten sind.
-
In einer möglichen Ausgestaltung erfolgt die 3D-Rekonstruktion der Kreuzungspunkte und/oder Liniensegmente zumindest teilweise mittels Triangulation der in den Bildern von zwei Kameras erfassten Kreuzungspunkte und/oder Liniensegmente.
-
Insbesondere kann die Triangulation zwischen den Bildern der Kameras für alle solchen Kreuzungspunkte und/oder Liniensegmente erfolgen, welche in dem Bild von zwei Kameras enthalten sind und/oder einander zugeordnet werden können.
-
Alle Schritte, welche bisher beschrieben wurden, werden bevorzugt durch die Recheneinheit des Messgerätes durchgeführt, insbesondere automatisch durchgeführt. Gleiches gilt für die im folgenden beschriebenen Schritte, insbesondere auch des Ausführungsbeispiels, soweit nichts gegenteiliges beschrieben ist oder sich aus dem Kontext ergibt. Insbesondere ist dabei eine Software vorgesehen, welche das Messgerät konfiguriert, um das Verfahren durchzuführen.
-
Die Recheneinheit kann entfernt von der Kamera und dem Projektor vorgesehen sein und mit diesen drahtlos oder kabelgebunden in Verbindung stehen, oder mit diesen eine Baueinheit bilden. Weiterhin kann die Recheneinheit auch über mehrere Komponenten verteilt sein.
-
Die Recheneinheit umfasst in einer möglichen Ausgestaltung einen Mikroprozessor und eine nicht-flüchtigen Speicher, in welchem eine Software mit einem Programmcode mit Befehlen abgespeichert ist, welche, läuft der Programmcode auf dem Mikroprozessor ab, eines der hier beschriebenen Verfahren durchführt. Der Mikroprozessor steht mit der Kamera und dem Projektor in Verbindung. Insbesondere steuert er die Projektoranordnung an und/oder erhält von der Kamera eines oder mehrere Bilder.
-
Bei der Kamera kann es sich um eine Videokamera handeln, welche eine kontinuierliche Folge von Bildern erzeugt und an die Recheneinheit ausgibt. Die Auswertung kann für ein einzelnes Bild, mehrere Bilder oder alle Bilder aus der Folge von Bildern erfolgen.
-
In einer möglichen Ausgestaltung handelt es sich bei dem Messgerät um ein mobiles, insbesondere hand- oder maschinengeführtes Messgerät.
-
In einer möglichen Ausgestaltung wird die Oberfläche durch Überstreichen mit dem Linienmuster erfasst. Dies kann bei auch durch eine Bewegung des Messobjektes bei stationärem Messgerät erfolgen.
-
Die vorliegende Erfindung umfasst weiterhin ein Verfahren zur 3D-Erfassung einer Oberfläche, mit den Schritten
- - Projektion eines Linienmuster, dessen Linien sich in Kreuzungspunkten schneiden, auf die Oberfläche;
- - Aufnahme mindestens eines Bildes des Linienmusters;
- - Erfassung des Linienmusters in dem mindestens einen Bild; und
- - Auswertung des erfassten Linienmusters.
-
Dabei ist vorgesehen, dass Kreuzungspunkte des Linienmusters im Bild erfasst und eine Zuordnung zwischen den im Bild erfassten Kreuzungspunkten und Kreuzungspunkt-Labels vorgenommen wird.
-
Das Verfahren erfolgt insbesondere so, wie dies oben im Rahmen der Beschreibung des Messgerätes beschrieben wurde.
-
Insbesondere erfolgt das Verfahren mittels eines Messgerätes, wie es oben oder im folgenden beschrieben wurde bzw. wird.
-
Die vorliegende Erfindung umfasst weiterhin eine Software, welche zur Bereitstellung der Funktionalität einer Recheneinheit eines Messgerätes, wie es oben beschrieben wurde, und oder zur Durchführung eines Verfahrens, wie es oben beschrieben wurde, konfiguriert ist.
-
Insbesondere kann es sich um eine Betriebssoftware eines Messgerätes handeln. Läuft diese auf dem Messgerät ab, führt dieses das oben genannte Verfahren durch und/oder weist die oben beschriebene Funktionalität auf.
-
Die vorliegende Erfindung wird nun anhand von Zeichnungen und Ausführungsbeispielen näher beschrieben.
-
Dabei zeigen:
- 1 ein erstes Ausführungsbeispiel einer Grundkonfiguration des Messgerätes mit einer Kamera in einer Prinzipdarstellung,
- 2 ein zweites Ausführungsbeispiel einer Grundkonfiguration des Messgerätes mit einer Kamera in einer Prinzipdarstellung,
- 3 ein Ausführungsbeispiel eines Lichtmusters, wie es im Rahmen der vorliegenden Erfindung zum Einsatz kommen kann, wobei die Projektionen der Schnittlinien in das Bild der Kamera eingezeichnet sind,
- 4 ein Diagramm, welches eine Zuordnung eines Liniensegmentes zu einer Lichtfläche anhand von zwei Kreuzungspunkten zeigt,
- 5 ein Diagramm, welches das Propagieren von Labels entlang eines Liniensegmentes zeigt,
- 6 ein Diagramm, welches eine Zuordnung eines Liniensegmentes zu einer Lichtfläche anhand eines Kreuzungspunktes und einem Gradienten des Liniensegmentes zeigt, und
- 7 ein Ausführungsbeispiel eines Messgerätes mit zwei Kameras in einer Prinzipdarstellung.
-
1 und 2 zeigen jeweils Ausführungsbeispiele einer Grundkonfiguration eines erfindungsgemäßen Messgerätes zur 3D-Erfassung einer Oberfläche 20 mit einer Projektoranordnung P zur Projektion einer Mehrzahl von Lichtflächen, einer Kamera K zur Erfassung des durch die Lichtflächen auf der Oberfläche erzeugten Linienmusters 10 und einer Recheneinheit R zur Auswertung des von der Kamera K erfassten Linienmusters 10. Die Recheneinheit umfasst eine Software S.
-
Die Projektoranordnung P und die Kamera K stehen über eine feste Basis B miteinander in Verbindung und sind insbesondere starr an der Basis B und damit zueinander angeordnet. Die Projektoranordnung P und die Kamera K definieren ein Messvolumen 30 des Messgerätes, in welchem eine Oberfläche mit dem Messgerät erfasst werden kann.
-
Die in 1 und 2 gezeigte Grundkonfiguration kann um mindestens eine weitere Kamera ergänzt werden, welche ebenfalls an der festen Basis angeordnet ist und auf den gleichen Messbereich gerichtet ist wie die erste Kamera. Eine solche Ausgestaltung ist in 7 gezeigt, bei welcher die erste Kamera K1 und die zweite Kamera K2 zusammen mit der Projektoranordnung P an der festen Basis B angeordnet sind und das durch die Projektoranordnung auf der Oberfläche erzeugte Linienmuster 10 jeweils aus unterschiedlichen Winkeln aufnehmen.
-
In 7 ist die Projektoranordnung P zwischen den beiden Kameras K1 und K2 angeordnet. Insbesondere ist der Triangulationswinkel zwischen den beiden Kameras größer als der Triangulationswinkel zwischen der Projektoranordnung und jeweils einer der Kameras.
-
Im Ausführungsbeispiel ist die Projektoranordnung P mittig zwischen den beiden Kameras K1 und K2 angeordnet und/oder weist den gleichen Triangulationswinkel zu beiden Kameras K1 und K2 auf. In alternativen Ausgestaltungen könnte die Projektoranordnung jedoch auch näher an einer der beiden Kameras angeordnet sein. Das Verhältnis der Triangulationswinkel der Projektoranordnung zu beiden Kameras K1 und K2 kann dabei zwischen 1:5 und 5:1 liegen, bevorzugt zwischen 1:3 und 3:1.
-
Unabhängig davon, ob eine oder zwei Kameras eingesetzt werden, beträgt der Triangulationswinkel der Projektoranordnung zu der oder den Kameras bevorzugt mindestens 5°, weiter bevorzugt mindestens 7°.
-
Der Triangulationswinkel der Projektoranordnung zu der oder den Kameras beträgt bevorzugt maximal 50°, weiter bevorzugt maximal 30°.
-
Der Triangulationswinkel zwischen den beiden Kameras K1 und K2 kann beispielsweise im Bereich zwischen 10° und 50° liegen, insbesondere zwischen 20° und 40°, weiter zwischen 25° und 30°.
-
Im Rahmen der vorliegenden Erfindung projiziert die Projektoranordnung ein Lichtmuster aus mehreren Lichtflächen, welche sich in Schnittlinien schneiden, wobei die Lichtflächen auf der Oberfläche 20 das Linienmuster 10 erzeugen, dessen Linien 11, 12 sich in Kreuzungspunkten 13 schneiden, siehe 3.
-
Die Projektoranordnung kann zwei Projektoren umfassen, welche jeweils eine Gruppe von Lichtflächen bzw. einen Lichtfächer projizieren, wobei sich die beiden Gruppen von Lichtflächen bzw. die beiden Lichtfächer schneiden.
-
Im Rahmen der Diskussion der Erfindung wird folgende Terminologie und Modellbildung eingesetzt:
- Zur Vereinfachung treffen wir folgende Annahmen ohne Beschränkung der Allgemeinheit:
- • Die Projektoranordnung P erzeugt eine Menge von Lichtflächen, insbesondere von Lichtebenen, von denen sich bevorzugt jede im Sichtfeld der Kamera K mit mindestens einer anderen Lichtfläche schneiden muss.
- • Der Schnitt der Lichtflächen mit dem Objekt 20 erzeugt Linien 11, 12, die sich anhand der Objektgeometrie verformen und bei Selbstverdeckung sowohl am Objekt, insbesondere aber nach der Abbildung ins Kamerabild unzusammenhängend sein können.
- • Dort wo sich Lichtflächen im Messvolumen schneiden, entsteht eine (virtuelle) Schnittlinie. Handelt es sich bei den Lichtflächen um Lichtebenen, ist die Schnittlinie eine Schnittgerade. Dort wo die Schnittlinie das Objekt 20 schneidet, entsteht im Kamerabild ein Kreuzungspunkt 13.
-
Die folgenden Aussagen und Vorgehensweisen gelten unabhängig von der konkreten Form der Lichtflächen identisch für beliebige Lichtflächen und deren Schnittlinien. Beispielsweise kann es sich bei den Lichtflächen um Lichtebenen, d.h. ebene Lichtflächen, und bei den Schnittlinien um Schnittgeraden, d.h. gerade Schnittlinien handeln, wie sie im Ausführungsbeispiel in 1, 3 und 7 zum Einsatz kommen. Allerdings liegen auch hier aufgrund von Verzerrungen der Optik in der tatsächlichen Umsetzung üblicherweise keine mathematisch exakten, sondern nur angenäherte Lichtebenen und Schnittgeraden vor. Ein Ausführungsbeispiel mit einem Lichtmuster aus gekrümmten Lichtflächen ist in 2 gezeigt.
-
Die vorliegende Erfindung beruht auf folgender Argumentationskette:
- Wenn mehrere Lichtflächen simultan projiziert werden, entstehen zwischen nicht parallelen Lichtflächen virtuelle Schnittlinien. Dort wo die Schnittlinien das Messobjekt schneiden, entsteht im Kamerabild ein Kreuzungspunkt 13.
-
Kreuzungspunkte 13 sind im Bild sehr leicht als solche zu erkennen, z. B. über eine stark erhöhte Divergenz des Bildgradienten. Dieser kann daher von der Recheneinheit zur Erfassung der Kreuzungspunkte 13 ausgewertet werden.
-
Die Projektion 15 des im Messvolumen verlaufenden Bereichs einer Schnittlinie ins Kamerabild ergibt die Menge aller Orte, an der sie das Messobjekt schneiden kann.
-
Da die Lage der Lichtflächen zueinander konstant ist, bleibt auch die Projektion 15 der Schnittlinie konstant.
-
Durch eine geeignete Konstruktion des Musters 10 in Verbindung mit der geometrischen Anordnung von Kamera K und der Projektoranordnung P kann ein Setup gefunden werden, bei dem die Projektionen 15 aller Schnittlinien zumindest teilweise paarweise disjunkt sind, siehe 3, in welcher die Projektionen 15 zu allen Schnittlinien im Kamerabild eingezeichnet sind.
-
Damit ist eine eindeutige Zuordnung von Kamerapixeln zu einer Schnittlinie und damit gleichbedeutend zu einem Kreuzungspunkt-Label gegeben bzw. lässt sich jedem Kreuzungspunkt-Label ein eindeutiges Paar von Linien-Labels zuordnen.
-
Eine solche Zuordnung ist daher in der Recheneinheit hinterlegt und wird eingesetzt, um die im Kamerabild erfassten Kreuzungspunkte den Schnittlinien bzw. einem Kreuzungspunkt-Label oder einem Paar von Linien-Labels zuzuordnen.
-
Über die Zuordnung der Kreuzungspunkte zu Kreuzungspunkt-Labels bzw. Schnittlinien kann die Recheneinheit eine Zuordnung der Liniensegmente, auf welchen der Kreuzungspunkt liegt, zu Lichtflächen bzw. einem Linien-Labels vornehmen.
-
Dabei sind auch Kreuzungspunkte möglich, die aus dem Schnitt von mehr als zwei Linien entstehen. Die Argumentation bleibt dieselbe, es entstehen daraus aber keine weiteren Vorteile bzgl. der Dekodierung.
-
Die Zuordnung der Liniensegmente zu Lichtflächen bzw. das Labeling der Liniensegmente erfolgt zunächst durch Propagieren von Labels entlang von Zusammenhangskomponenten.
-
Sind ein Kreuzungspunkt und seine Schnittlinie bzw. seine zugehörigen Linien dekodiert, werden deren Labels im Kamerabild entlang der Zusammenhangskomponenten analog zu einer Konturverfolgung propagiert, wie dies in 4 und 5 gezeigt ist. Den Zusammenhangskomponenten werden daher die Labels der auf ihnen liegenden Kreuzungspunkte zugeordnet.
-
Das Propagieren erfolgt grundsätzlich von jedem Kreuzungspunkt aus. Dies führt bei verbundenen Kreuzungspunkten über einen mengentheoretischen Schnitt zu einer eindeutig identifizierbaren Linie auch ohne Hinzunahme weiterer Heuristiken.
-
Liegen beispielsweise wie in 4 dargestellt die Kreuzungspunkte mit den Paaren von Linien-Labels (i, j) und (i, j+1) auf einem Liniensegment und werden diesem daher durch das Propagieren zugeordnet, so muss jenes Linien-Label, welcher in beiden Paaren von Linien-Labels vorkommt, das Linien-Label des Liniensegments darstellen.
-
Durch zwei auf einem Liniensegment angeordnete Kreuzungspunkte, welche jeweils einer Schnittlinie und damit einem Paar von Linien-Labels zugeordnet wurden, kann das Liniensegment daher eindeutig einer Lichtfläche bzw. einem Linien-Label zugeordnet werden.
-
Bei mehr als zwei entlang eines Liniensegments verbundenen Kreuzungspunkten kann jeder weitere Kreuzungspunkt zur Validierung verwendet werden: Ist die Schnittmenge der entlang des Liniensegments propagierten Labels dann leer, liegt eine Fehldekodierung vor.
-
Liniensegmente können aufgrund von Selbstverdeckung am Objekt auch unterbrochen sein, wie dies in 5 gezeigt ist. Dort endet das Propagieren. Allerdings kann jedes Pixel gelabelt werden, das über Konturverfolgung mit einem Kreuzungspunkt verbunden ist. Für die eindeutige Zuordnung zu einer Lichtfläche bzw. einen Linien-Label ist jedoch ggf. ein weiteres Kriterium notwendig. Lediglich für Liniensegmente ohne Kreuzungspunkt muss eine andere Heuristik angewendet werden.
-
Solche zusätzlichen Kriterien und Heuristiken werden im folgenden beschrieben:
- So kann das Labeling mithilfe räumlicher Kohärenz erfolgen. Liniensegmente, die nicht räumlich mit einem Kreuzungspunkt verbunden sind, können ggf. mithilfe von Labels benachbarter Linien dekodiert werden. Hierfür wird von einem ungelabelten Pixel die Epipolarlinie jeweils nach links und rechts traversiert, bis ein gültiges Label gefunden wurde. Ist die Anzahl der ungelabelten Linien mit der Labeldifferenz kompatibel, werden die Linien durch einfaches Abzählen nummeriert. Ist die Labeldifferenz gleich oder größer der Linienanzahl, liegt potentiell eine Mehrdeutigkeit vor und es müssen weitere Plausibilitätsprüfungen erfolgen.
-
Wurde einmal eine Linie erfolgreich trianguliert, so kann diese als Stützpunkt für weitere Dekodierungen herangezogen werden, auch ohne weitere Kreuzungspunkte. Das geschieht indem man eine neue (noch nicht erfolgreich dekodierte) Linie entlangläuft und die Abbildungsstrahlen aus der Kamera heraus mit der bereits gemessenen Punktewolke schneidet. Gibt es einen Schnittpunkt, so kennt man die Tiefe und somit den entsprechenden Label. Interessanterweise ist aber der Label nicht weiter von Belang, falls man ein Mehrkamerasystem hat. Denn der gefundene Schnittpunkt muss lediglich in die zweite Kamera zurück projiziert werden um die Korrespondenzen zwischen den zwei Kameras zu finden.
-
Das Labeling kann auch mithilfe zeitlicher Kohärenz erfolgen. Bei den für die mobilen, insbesondere handgehaltenen Scannern typischen Bildraten weisen die Kamerabilder eine hohe raum-zeitliche Kohärenz auf, d.h. in zeitlich benachbarten Frames werden sich projizierte Linien nur moderat in ihrer Abbildung auf dem Kamerachip ändern („optischer Fluss“, vgl. SIFT- und SURF-Algorithmus). Für ungelabelte Liniensegmente ist also sowohl eine zeitlich rück- als auch vorwärtsgerichtete Suche nach gültigen Labels in räumlich benachbarten Pixeln aussichtsreich.
-
Alternativ ist es möglich, uneindeutige Liniensegmente grundsätzlich zu invalidieren, da die Wahrscheinlichkeit hoch ist, dass dieser Objektpunkt während des Sweeps trotzdem ein- oder mehrmals in einer Zusammenhangskomponente mit einem dekodierbaren Kreuzungspunkt beobachtet wird.
-
Eine weitere Möglichkeit für ein ergänzendes Labeling lieht in der Gruppenbildung anhand des Liniengradienten.
-
Die maximale Verkippung der Linien im Kamerabild gegenüber ihrer Normallage bei senkrechter Antastung ist durch den Triangulationswinkel beschränkt. Hieraus ergibt sich, dass z. B. zwei oder mehrere unabhängige, aber simultan projizierte Linienfächer allein anhand des Liniengradienten getrennt werden können, wenn ihre Vorzugsrichtungen hinreichend weit, z. B. mehr als 45°, beispielsweise 90° oder 60°, voneinander abweichen.
-
In diesem Fall ist es wie in 6 gezeigt für eine eindeutige Zuordnung eines Liniensegmentes ausreichend, nur eine direkte Verbindung zu einem Kreuzungspunkt zu haben. Die Entscheidung, welchem der beiden Linien-Labels des Kreuzungspunktes das Liniensegment zuzuordnen ist, erfolgt dann über die Zuordnung zu einem der beiden Fächer bzw. Gruppen von Linien-Labels mittels des Liniengradienten.
-
Die Vorsegmentierung des Kamerabildes in Linienfächer kann über eine Vielzahl bekannter Verfahren erfolgen, z. B. Diskretisierung des Gradientenbildes, Hough-Transformation, Dual-Tree Complex Wavelet Transform, etc.
-
Weiterhin können im Rahmen der vorliegenden Erfindung einer oder mehrere Validierungsfilter eingesetzt werden.
-
Objekte mit glänzenden oder spiegelnden Materialien können bei konkaver Geometrie Interreflexionen erzeugen, bei denen aufgrund von Sekundärstrahlen zusätzliche Linien im Kamerabild entstehen, die ungefiltert schließlich zu Rekonstruktionsartefakten („Phantomdaten“) führen.
-
Mit dem oben beschriebenen Dekodierungsheuristiken gibt es aber mächtige Werkzeuge, um diese Sekundärstrahlen zu identifizieren und folglich zu invalidieren:
- Hierbei kann die Recheneinheit eines oder mehrere der folgenden Kriterien überprüfen, um Kreuzungspunkte und/oder Liniensegmente zu invalidieren. Insbesondere können Kreuzungspunkte und/oder Liniensegmente mit einer der folgenden Eigenschaften invalidiert werden:
- 1. Eine Linie, deren Gradient im Kamerabild nicht in die vorberechneten Winkelbereiche der verschiedenen Linienfächer fällt.
- 2. Kreuzungspunkte, die nicht auf den vorberechneten Pixeln erkannt werden.
- 3. Linienabschnitte, deren 3D-Rekonstruktion nicht zur vorberechneten Lichtfläche passt.
- 4. Sind aus vorangegangenen Frames schon valide Oberflächenpunkte bekannt und könne die Frames über ein Referenzierungssystem (z. B. Marken, optisches Tracking) miteinander in Bezug gesetzt werden, können diese ins Kamerabild zurückprojiziert werden. Liegen diese Projektionen nahe an einer projizierten Linie, wird die Mehrdeutigkeit durch räumliche Kohärenz aufgelöst.
-
In den bisher diskutierten Ausführungsbeispielen wurden jeweils Lichtmuster eingesetzt, bei welchen zusammenhängende Lichtflächen eingesetzt wurden, welche sich jeweils in mehreren Schnittlinien mit anderen Lichtflächen schneiden.
-
Die vorliegende Erfindung kann jedoch auch bei Lichtmustern eingesetzt werden, bei welchem keine zusammenhängenden Lichtflächen eingesetzt wurden, sondern einzelne, voneinander getrennte Lichtflächen-Segmente, welche sich in diskreten Sterne bzw. Kreuze schneiden.
-
Bei einer solchen Ausgestaltung kann die Position der einzelnen Bestandteile des Musters frei gewählt werden, so dass zur Bereitstellung eines Musters mit disjunkten Projektionen der Schnittlinien bei einer sukzessiven Erstellung des Musters bei nachfolgenden Sternen bzw. Kreuzen nur darauf geachtet werden muss, dass die Projektion der entsprechenden Schnittlinie nicht in einem Bereich liegt, in welchen Schnittlinien vorheriger, bereits vorhandener Sterne bzw. Kreuze bereits abgebildet werden.
-
Bevorzugt ist jedoch ein Rautenmuster, wie es in 3 gezeigt ist. Zum einen können hier die Winkel, mit welchen die einzelnen Linien eines Fächers projiziert werden, über einen weiten Bereich frei gewählt werden. Diese Winkel können dabei so eingestellt werden, dass sich die Linien 15, in welche die Schnittpunkte im Bild abgebildet werden, nicht schneiden. Weiterhin bestünde die Möglichkeit, die Abstände zwischen den einzelnen Linien der Fächer von Linie zu Linie zu verändern, um Überschneidungen zu vermeiden.
-
Solche aus zwei Linienfächern gebildete Muster sind konstruktiv bevorzugt, da sie relativ einfach erzeugt werden können. Zur Erzeugung eines Linienfächers wird in einem Projektor eine punktförmige Laserlichtquelle durch eine Linse zu einer Linie aufgeweitet. Weiterhin wird ein Beugungselement eingesetzt, mit welchem der Punkt oder die Linie entsprechend aufgefächert wird. Mit zwei solchen Projektoren können daher relativ einfach die beiden Fächer erzeugt werden.
-
Im Hinblick auf die technische Umsetzung ist zu berücksichtigen, dass die Menge aller möglichen Abbildungen eines Kreuzungspunktes aufgrund von Verzerrungen durch die eingesetzte Optik üblicherweise nicht exakt eine gerade Linie darstellt, sondern gekrümmt ist. Hierdurch kann es an einzelnen Punkten zu Überschneidungen zwischen den gekrümmte Linien bildenden Projektionen der Schnittlinien kommen.
-
Die vorliegende Erfindung ist aber auch nicht darauf angewiesen, dass die Projektionslinien der Schnittlinien im Kamerabild an jeder Stelle komplett disjunkt sind. Vielmehr kann das System auch dann arbeiten, wenn es zu Überschneidungen der Projektionslinien kommt, und damit einzelne Bereiche im Kamerabild nicht eindeutig nur einem Kreuzungspunkt zugeordnet werden können.
-
In diesem Fall kann der entsprechende Datenpunkt entweder durch andere Überlegungen, insbesondere im Hinblick auf Zuordnung anderer Kreuzungspunkte auf der gleichen Linie, eindeutig zugeordnet werden, oder invalidiert werden.
-
Erfindungsgemäß müssen die Lichtflächen des Linienfächers keinen so großen Abstand voneinander aufweisen, dass sich die Projektionen der im Messvolumen verlaufenden Bereiche der Lichtflächen im Bild der Kamera nicht überlappen.
-
In 3 wären diese Projektionen der im Messvolumen verlaufenden Bereiche der Lichtflächen jene Bereiche, welcher von den gestrichelten Linien 15 überstrichen würden, wenn diese entlang der Linien 11 oder 12 des jeweiligen Lichtfächers verschoben würden.
-
Da vorliegend nicht komplette Linien des Lichtmusters, sondern lediglich die Kreuzungspunkte betrachtet werden, können vielmehr kleinere Abstände zwischen den Lichtflächen gewählt werden. Insbesondere können die Projektionen der im Messvolumen verlaufenden Schnittlinien der Lichtflächen kammartig ineinander greifen.
-
Es können jedoch auch größere Abstände zwischen den Lichtflächen eingesetzt werden, da die vorliegenden Erfindung nicht notwendigerweise eine im Hinblick auf die disjunkte Anordnung der Projektionen maximal mögliche Anzahl von Linien einsetzt. Die Anzahl der Linien bestimmt zwar die Menge der Informationen, die gleichzeitig ermittelt werden können. Es bestehen jedoch im Hinblick auf andere Anforderungen gegebenenfalls technologische Grenzen.
-
Insbesondere kann das Messgerät so ausgelegt sein, dass die Auswertung der Bilder und/oder die 3D-Erfassung in Echtzeit erfolgt. Dies beschränkt die Anzahl der einsetzbaren Linien.
-
Beispielsweise können im Rahmen der vorliegenden Erfindung daher zwei Linienfächer mit zwischen 3 und 60, bevorzugt zwischen 5 und 30, weiter bevorzugt zwischen 7 und 20 Linien pro Fächer eingesetzt werden.
-
Erfindungsgemäß werden die beiden Fächer zwingend gleichzeitig projiziert, da es gerade auf die Kreuzungspunkte ankommt. Gemäß dem Stand der Technik erfolgte die Projektion der Fächer dagegen meist abwechselnd, da dort lediglich die Linien, nicht jedoch die Kreuzungspunkte als solche dekodiert wurden, und daher die abwechselnde Projektion dafür sorgen sollte, die Mehrdeutigkeit zu verringern.
-
Im Rahmen der vorliegenden Erfindung kann die Zuordnung bzw. Dekodierung der Kreuzungspunkte und/oder Liniensegmente aufgrund des erfindungsgemäßen Vorgehens ausschließlich anhand der Informationen aus einem einzigen Bild oder zumindest Bildern einer einzigen Kamera erfolgen, das heißt eine zweite Kamera muss für die Zuordnung nicht eingesetzt werden.
-
Das Messgerät, in welchem die vorliegende Erfindung eingesetzt wird, kann jedoch wie in 7 gezeigt aus anderen Gründen dennoch zwei Kameras aufweisen.
-
Werden zwei Kameras K1 und K2 eingesetzt, kann die Dekodierung bzw. Zuordnung für die beiden Kameras separat und jeweils ausschließlich anhand der Informationen aus dem jeweiligen Bild erfolgen. Mittels der Zuordnung der Liniensegmente zu Lichtflächen bzw. Linien-Labels in den beiden Bildern der Kameras können wiederum die Liniensegmente in den beiden Bildern einander zugeordnet werden.
-
Alternativ wäre es jedoch auch denkbar, zunächst nur eine Dekodierung in einem Kamerabild vorzunehmen, und dann eine Triangulation mit der Projektoranordnung vorzunehmen. Die hierdurch ermittelten 3D-Daten könnten dann ins Bild der anderen Kamera projiziert werden, um dort eine Zuordnung zu den dortigen Kreuzungspunkten und/oder Liniensegmenten vorzunehmen.
-
Weiterhin wäre es denkbar, die Triangulation mit der Projektoranordnung einzusetzen, um die jeweils separat erfolgten Dekodierungen der Kamerabilder zu validieren.
-
Die 3D-Erfassung des Messobjektes mittels Triangulation kann dann über die einander zugeordneten Liniensegmente in den beiden Kamerabildern erfolgen. Der größere Triangulationswinkel erlaubt hierbei eine größere Tiefenauflösung.
-
Die 3D-Erfassung des Objektes kann auch durch Triangulation der in einem Bild erfassten Liniensegmenten mit den zugeordneten Lichtflächen der Projektoranordnung erfolgen. Dies kann insbesondere für solche Bereiche des Messobjekts erfolgen, welche nur in einem der beiden Kamerabilder gezeigt sind.
-
Dies kann insbesondere bei der 3D-Vermessung von Bauteilen mit engen Bohrungen zum Einsatz kommen, da hier aufgrund der entsprechenden Triangulationswinkel die Tiefe, bis zu welcher man in eine solche Bohrung hineinschauen kann, begrenzt ist. Durch den geringeren Triangulationswinkel zwischen Kamera und der Projektoranordnung als zwischen den beiden Kameras kann hierdurch die Vermessungstiefe erhöht werden.
-
Wird nur eine Kamera eingesetzt, wie dies in 1 und 2 gezeigt ist, erfolgt die Triangulation immer zwischen Kamera und der Projektoranordnung.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- EP 3102908 B1 [0005]
- EP 3392831 A1 [0006, 0013]
- EP 3102908 B [0013]
