-
Die Erfindung betrifft ein Verfahren und Vorrichtung zum Abtasten von Oberflächen mit einer Stereokamera.
-
Die vorliegende Erfindung wurde geschaffen, um folgende technische Problemstellungen zu lösen:
Es sollen in hoher Stückzahl gefertigte Produkte optisch überwacht werden, welche Oberflächen besitzen, die zum Teil spiegelnd und zum Teil nicht-spiegelnd ausgebildet sind. Insbesondere sollte die relative Position der spiegelnden Oberflächen zu den nicht-spiegelnden Oberflächen eindeutig und schnell bestimmbar sein. Die Produkte werden entlang der Kamera mit hoher Geschwindigkeit bewegt. Hierbei sollen sie optisch abgetastet und die Auswertung der optischen Abtastung in Echtzeit ausgeführt werden. Zudem soll ein Höhenprofil der Produkte erstellt werden.
-
Bekannte optische Verfahren für eine dreidimensionale berührungslose Abtastung sind die Stereoskopie, Laser-Triangulation, Deflektometrie und Weißlicht-Interferometrie.
-
Mit der Stereoskopie und der Laser-Triangulation können keine spiegelnden Oberflächen abgetastet werden, da sie Streulicht erfassen. Die Deflektometrie, bei der eine Oberfläche durch Auswertung der Strahlablenkung an der Oberfläche bestimmt wird, funktioniert gut bei spiegelnden Oberflächen, da diese als Bestandteil des optischen Systems betrachtet werden können. Sie sind jedoch nicht für nicht-spiegelnde Oberflächen geeignet.
-
Mit der Weißlicht-Interferometrie können zwar spiegelnde und nicht-spiegelnde Oberflächen dreidimensional abgetastet werden. Dieses Verfahren ist auch sehr präzise. Die Abtastdauer ist jedoch sehr lang, so dass dieses Verfahren nicht für einen schnellen Produktionsprozess geeignet ist.
-
Grundsätzlich könnte man ein sowohl spiegelnde als auch nicht-spiegelnde Bereiche umfassendes Objekt mit einer Flächenkamera und unterschiedlichen Beleuchtungseinrichtungen abtasten, welche als Blitzlicht betrieben werden. Durch geschickte Wahl der Beleuchtungseinrichtungen für spiegelnde und für nicht-spiegelnde Oberflächen könnte z. B. eine Kombination aus Stereoskopie und Deflektometrie ausgeführt werden, um die entsprechenden Oberflächen zuverlässig abzutasten. Ein solches Verfahren bzw. eine solche Vorrichtung ist sehr aufwändig, da sie einerseits eine Vielzahl unterschiedlicher Elemente benötigen und andererseits die Auswertungen mit den unterschiedlichen Verfahren sehr anspruchsvoll sind.
-
Die Deflektometrie ist zwar ein sehr zuverlässiges und präzises Verfahren zum Abtasten von spiegelnden Oberflächen. Bei der vorliegenden Problemstellung zeigt sich jedoch, dass es kein einfaches, kostengünstiges Verfahren zum dreidimensionalen Abtasten von spiegelnden Oberflächen gibt, das eine schnelle Auswertung erlaubt.
-
Eine Aufgabe der vorliegenden Erfindung ist es deshalb, ein Verfahren zum Abtasten von Oberflächen mit einer Stereokamera zu schaffen, mit welchem spiegelnde Oberflächen auf einfache Art und Weise zuverlässig abgetastet werden können.
-
Diese Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind in den jeweiligen Unteransprüchen angegeben.
-
Die vorliegende Erfindung betrifft ein Verfahren zum Abtasten von spiegelnden Oberflächen mit einer Stereokamera mit
zumindest zwei Kameramodulen, welche jeweils ein Objektiv und einen Sensor aufweisen, und derart angeordnet sind, dass sie von einem gemeinsamen Abtastbereich einer abzutastenden Oberfläche jeweils ein Bild erfassen,
zumindest einer Projektionseinrichtung zum Projizieren eines vorbestimmten Messmusters auf den Abtastbereich, wobei die Kameramodule auf den Projektor bzw. die Projektionseinrichtung fokussiert sind, so dass ein das Messmuster erzeugende Element des Projektors auf das jeweilige Kameramodul abgebildet wird, wobei Disparitäten anhand von den Messmustern, die in den mit beiden Kameramodulen erfassten Bildern enthalten sind, bestimmt werden, und
anhand der Disparitäten ein Höhenprofil ermittelt wird.
-
Verfahren zum Abtasten von Oberflächen mit unterschiedlichen Messmustern, die mit einer einzelnen Kamera erfasst werden, sind hinlänglich bekannt. Diese Verfahren beruhen auf der photogrammetrischen 3D-Oberflächenrekonstruktion. Derartige Verfahren gehen z. B. aus der
US 2006/0158664 A1 , der
DE 41 34 546 A1 oder der
DE 44 16 108 A1 hervor. Hierbei wird jeweils eine Flächenkamera verwendet, mit welcher mehrere zweidimensionale Muster aufeinanderfolgend abgetastet werden. Diese Muster werden auf eine zu untersuchende Oberfläche projiziert und diese Oberfläche wird auf die Kamera abgebildet.
-
Das erfindungsgemäße Verfahren unterscheidet sich von diesem Stand der Technik dadurch, dass nicht die zu untersuchende Oberfläche auf die Kamera abgebildet wird, sondern das das Messmuster erzeugende Element des Projektors. Dieses Element ist bspw. ein Gitter, das vom Projektor ausgeleuchtet wird. Mit anderen Worten kann man sagen, dass die Kamera nicht die Oberfläche sondern das das Messmuster erzeugende Element betrachtet, wobei die entsprechenden Lichtstrahlen an der spiegelnden Oberfläche reflektiert werden.
-
Dieses Verfahren ist sogar für die Verwendung von Zeilenkameras geeignet, da aufgrund der spiegelnden Oberfläche eine sehr hohe Lichtintensität zu den Kameramodulen gelenkt wird, so dass ein eindimensionales Muster mit ausreichendem Kontrast mit einer Zeilenkamera erfasst werden kann.
-
Von den oben angegebenen herkömmlichen photogrammetrischen Verfahren unterscheidet sich das erfindungsgemäße Verfahren dadurch, dass nicht mehrere Streifenmuster unter verschiedenen Ausrichtungen der Streifenverläufe auf das abzutastende Objekt projiziert werden, was bei einem eindimensionalen Abtastbereich nicht funktioniert.
-
Durch die Verwendung einer Stereokamera kann bereits aus einem einzigen projizierten Messmuster ein Höhenprofil bestimmt werden. Dis gilt insbesondere, wenn ein vorbestimmter Referenzausschnitt mit einer vorbestimmten Länge des Messmusters eindeutig ist. Ein Referenzausschnitt ist ein Ausschnitt eines mit einem der beiden Kameramodule erfassten Bildes, der zur Bestimmung der Disparitäten verwendet wird, wobei der Referenzausschnitt mit entsprechenden Referenzausschnitten eines mit dem anderen Kameramodul erfassten Bildes verglichen wird, wobei die örtliche Abweichung zweier übereinstimmender Referenzausschnitte in den unterschiedlichen Bildern eine Disparität bildet. Wählt man den Referenzausschnitt sehr kurz, z.B. zwei Bildpunkte, dann ist es nicht möglich das Erfordernis der Eindeutigkeit zu erfüllen, da es nur vier mögliche Muster (00, 01, 10, 11) gibt, jedoch die Anzahl der einzelnen Referenzausschnitte in einem jeden Bild wesentlich höher ist. Sehr lange Referenzausschnitt sollten auch nicht verwendet werden, denn dadurch würde der Bereich, in welchem Disparitäten bestimmt werden können erheblich eingeschränkt werden, wie es weiter unten anhand eines Ausführungsbeispiels näher erläutert wird. Die Länge des Referenzausschnitts ist deshalb in Abhängigkeit der Gesamtzahl der mit den jeweiligen Kameramodulen erfassten Bildpunkte und des Bereiches zu wählen, für den die Disparitäten bestimmt werden sollen. Der Referenzausschnitt weist vorzugsweise zumindest neun, insbesondere zumindest 11 und vorzugsweise zumindest 15 Bildpunkte auf. Er sollte in der Regel nicht länger sein als 35 Bildpunkte oder insbesondere nicht länger als 25 Bildpunkte.
-
Eindeutig heißt, dass ein beliebiger Referenzausschnitt einer Bildzeile, die mit einem der beiden Kameramodule erfasst wird, einem Referenzausschnitt in der mit dem anderen Kameramodul erfassten Bildzeile eindeutig zugeordnet werden kann. Dies schließt jedoch nicht aus, dass innerhalb eines Messmusters ein bestimmter Referenzausschnitt auch ein weiteres Mal vorkommen darf. Sollte innerhalb einer Bildzeile ein Referenzausschnitt mehrfach vorkommen, dann sollten jedoch zwei identische benachbarte Referenzausschnitte so weit voneinander entfernt sein, dass deren jeweilige Abbildung in den beiden Bildzeilen nicht vertauscht werden kann. Vorzugsweise sind die Messmuster so ausgebildet, dass ein jeder beliebiger Referenzausschnitt einer vorbestimmten Länge im Messmuster einzigartig ist. Solche Messmuster können z. B. durch Verwenden einer Folge maximaler Länge bzw. Maximalfolge (MLS: maximum length sequence) erzeugt werden.
-
Die Erfinder der vorliegenden Erfindung haben einerseits erkannt, dass vor allem bei spiegelnden Oberflächen die reflektierte Lichtintensität so hoch ist, dass mit herkömmlichen, einfachen Beleuchtungseinrichtungen ein Messmuster zuverlässig mit einem Zeilensensor abgetastet werden kann. Dieses Verfahren ist daher besonders zum Abtasten von spiegelnden Oberflächen geeignet.
-
Aus den Disparitäten, die anhand von Bildern einer spiegelnden Oberfläche bestimmt werden, wird das Höhenprofil gemäß folgender Formel berechnet R = B·f1 / 2·d, wobei R ein Abstand zwischen der Oberfläche und der Stereokamera, B die optische Basis der Stereokamera, f1 die Brennweite der Objektive der Kameramodule ist, mit welchen das das Messmuster erzeugende Element des Projektors auf das jeweilige Kameramodul abgebildet wird.
-
Sind jedoch die Kamera und auch die Projektionseinrichtung gegenüber einem Lot der abzutastenden Oberfläche um einen Winkel α geneigt, dann kann die obige Formel durch einen Korrekturfaktor ergänzt werden, so dass sich folgende Formel ergibt: R = B·f1 / d· cosα / 1 + cos(2α)
-
Beim Abtasten von nicht spiegelnden Oberflächen hat sich gezeigt, dass die in den von den unterschiedlichen Kameramodulen vom gleichen Abtastbereich erfassten Bilder auch ähnliche zur Bestimmung von Disparitäten geeignete Strukturen enthalten, die durch farbliche und/oder texturierte Strukturen der Oberfläche des abzutastenden Objektes, Licht-/Schattenbildung aufgrund einer dreidimensionalen Kontur des Objektes und/oder durch das Messmuster verursacht werden. Bei einem Objekt mit einer ausgeprägten Eigenstruktur tritt die Wirkung des Messmusters in den Hintergrund, wohingegen bei einer gleichmäßig gefärbten und wenig texturierten Oberfläche des Objektes das Messmuster in den Bildern erkennbar und zusammen mit der Licht-Schattenbildung die Struktur bewirkt.
-
Bei Disparitäten, die anhand von Bildern einer nicht-spiegelnden Oberfläche bestimmt werden, wird das Höhenprofil gemäß folgender Formel berechnet R = B·f2 / d, wobei R wieder der Abstand zwischen der Oberfläche und der Stereokamera, B die optische Basis der Stereokamera, f2 die Brennweite der Objektive der Kameramodule ist, mit welchen die abzutastende Oberfläche auf die Kameramodule abgebildet wird.
-
Sind jedoch die Kamera und auch die Projektionseinrichtung gegenüber einem Lot der abzutastenden Oberfläche um einen Winkel α geneigt, dann kann die obige Formel durch einen Korrekturfaktor ergänzt werden, so dass sich folgende Formel ergibt:
-
R = B·f2 / d·cosα
-
Bei diesem Verfahren wird durch lediglich einen einzigen Abtastvorgang mit einem einzigen Messmuster ein Höhenprofil einer Bildzeile erzeugt. Dieses Höhenprofil kann in Echtzeit aus den Disparitäten berechnet werden.
-
Werden die Höhenprofile für spiegelnde und nicht spiegelnde Oberflächen jeweils anhand von Disparitäten berechnet, dann sind hierzu gemäß obiger Ausführung unterschiedliche Formeln bzw. Berechnungsmethoden anzuwenden, die den unterschiedlichen Lichtweg von Lichtquelle zur abzutastenden Oberfläche und zur Stereokamera bzw. von der abzutastenden Oberfläche zur Stereokamera berücksichtigen.
-
Die Objektive der Kameramodule können mit ihrer Brennweite in den Bereich zwischen der abzutastenden Oberfläche und der Projektionseinrichtung derart eingestellt sein, dass sowohl die abzutastenden Oberfläche als auch die Projektionseinrichtung sich in den Tiefenschärfenbereichen der Objektive befinden. Hierdurch können gleichzeitig spiegelnde und nicht-spiegelnde Oberflächen abgetastet werden.
-
Die Objektive der Kameramodule können auch abwechselnd auf die abzutastende Oberfläche und die Projektionseinrichtung derart fokussiert werden, dass einmal die abzutastenden Oberfläche und das andere Mal das das Messmuster erzeugende Element des Projektors auf das jeweilige Kameramodul abgebildet wird. Hierdurch können abwechselnd spiegelnde und nicht-spiegelnde Oberflächen abgetastet werden.
-
Vorzugsweise wird beim erfindungsgemäßen Verfahren automatisch bestimmt, ob die abzutastende Oberfläche einen spiegelnden Bereich und/oder einen nicht-spiegelnden Bereich aufweist und die Höhenprofile entsprechend den oben erläuterten Verfahren bestimmt werden.
-
Bei nicht-spiegelnden Bereichen kann die Eigenstruktur dieser Bereiche verwendet werden, um die Disparitäten zu bestimmen. Grundsätzlich ist es auch möglich, bei nicht-spiegelnden Bereichen, die durch das Messmuster verursachte Struktur zur Bestimmung der Disparitäten zu verwenden. Jedoch sind die Reflektionseigenschaften eines nicht-spiegelnden Bereiches geringer als eines spiegelnden Bereiches, wodurch ein projiziertes Messmuster manchmal nicht mit ausreichender Helligkeit bzw. mit ausreichendem Kontrast in den abgetasteten Bildern erkennbar und zur Bestimmung der Disparitäten geeignet ist.
-
Spiegelnde und nicht-spiegelnde Bereiche der abzutastenden Oberfläche können nach einem oder mehreren der folgenden Methoden bestimmt werden:
- 1. Anhand von CAD-Daten eines abzutastenden Objekts können spiegelnde und nicht-spiegelnde Bereiche unterschieden werden. Die CAD-Daten enthalten oftmals Materialeigenschaften, aus welchen spiegelnde und nicht-spiegelnde Bereiche abgeleitet werden können. Mit einem optischen Bildanalyseverfahren muss lediglich das abzutastende Objekt erkannt und mit den CAD-Daten in Übereinstimmung gebracht werden. Vorzugsweise wird ein optisches Bildanalyseverfahren zum automatischen Erkennen von Kanten zusätzlich eingesetzt, wodurch die einzelnen Bereiche automatisch detektiert werden.
- 2. Man kann in Kombination eine nicht-diffuse Hellfeldbeleuchtung und eine diffuse Dunkelfeldbeleuchtung verwenden. Bei spiegelnden Oberflächen wird die diffuse Dunkelfeldbeleuchtung in allen möglichen Richtungen reflektiert, sodass die Stereokamera die spiegelnden Bereiche nur als dunkle Bereiche bei Beleuchtung mit der Dunkelfeldbeleuchtung sieht. Hierdurch können mit Hilfe der Dunkelfeldbeleuchtung auf einfache Art und Weise spiegelnde Bereiche und nicht-spiegelnde Bereiche unterschieden werden. Die Hellfeldbeleuchtung und die Dunkelfeldbeleuchtung kann im Frequenzmultiplex angelegt werden. Das heißt, dass die Hellfeldbeleuchtung eine Lichtquelle aufweist, deren Wellenlängenbereich sich von der Lichtquelle der Dunkelfeldbeleuchtung unterscheidet. Ist die Stereokamera eine Farbkamera, dann können die jeweiligen Farbkanäle zum Detektieren der jeweiligen Frequenzbereiche der Hellfeldbeleuchtung und der Dunkelfeldbeleuchtung verwendet werden. Grundsätzlich ist es auch möglich, die Hellfeldbeleuchtung und die Dunkelfeldbeleuchtung im Zeitmultiplex anzulegen, das heißt, zu einem bestimmten Zeitpunkt ist die Hellfeldbeleuchtung und zu einem anderen Zeitpunkt die Dunkelfeldbeleuchtung eingeschaltet. Dies ist vor allem bei Flächenkameras zweckmäßig, da hier größere Bereiche auf einmal ausgeleuchtet werden können. Bei Zeilenkameras ist ein Zeitmultiplex praktisch nur mit eingeschränkter Auflösung oder Abtastrate möglich, da die abzutastende Oberfläche zeilenweise abgetastet wird und aufgrund des Zeitmultiplex doppelt so viele Abtastungen notwendig sind. Die Hellfeldbeleuchtung und die Dunkelfeldbeleuchtung können auch mit unterschiedlichen Polarisationsebenen ausgebildet sein, sodass sie gleichzeitig auf die abzutastende Oberfläche gestrahlt werden können und separat detektierbar sind.
- 3. Die nicht-spiegelnden Bereiche können auch anhand der Detektion einer Eigenstruktur bestimmt werden. Hierzu kann es zweckmäßig sein, dunkle Bereiche des Musters auszublenden. Bei gutem Kontrast kann dies z. B. automatisch durch Ausblenden von Bereichen, deren Helligkeit einen vorbestimmten Schwellwert unterschreitet, erfolgen.
-
Die Objektive der Kameramodule sind vorzugsweise derart angeordnet, dass der Abtastbereich in einem Tiefenschärfenbereich angeordnet ist, der der Bereich ist, in dem eine Abbildungsschärfe beider Objektive eine vorbestimmte Mindestschärfe aufweist, und ein Projektionsschärfenbereich der Projektionseinrichtung der Bereich ist, in dem das Messmuster mit einer vorbestimmten Projektionsschärfe projiziert wird, und der Projektionsschärfenbereich mit dem Tiefenschärfenbereich überlappt und dieser überlappende Schärfebereich den Abtastbereich in Blickrichtung der Kameramodule begrenzt. Hierdurch wird sichergestellt, dass die projizierten Messmuster zuverlässig erfasst und anhand der Disparitäten ein Höhenprofil bestimmt werden kann.
-
Die Mindestschärfe ist vorzugsweise als Restmodulation von zumindest 15 % eines regelmäßigen schwarz-weiß-Linienmusters mit einer Linienbreite definiert, die der Breite eines kleinsten Musterelementes des Messmusters entspricht.
-
Das erfindungsgemäße Verfahren ist für Zeilenkameras geeignet, welche Zeilenbilder erfassen. Bei solchen Zeilenkameras könnte grundsätzlich das Messmuster ein eindimensionales Muster sein. In diesem Fall ist die Breite eines kleinsten Musterelements die kleinste Länge eines Musterelements im eindimensionalen Messmuster. Vorzugsweise wird als Messmuster jedoch ein zweidimensionales, insbesondere streifenförmiges Messmuster verwendet, auch wenn Zeilenbilder erfasst werden, da die Ausrichtung eines Messmusters mit Linien wesentlich gröber als die Ausrichtung eines eindimensionalen Messmusters erfolgen kann. Ein eindimensionales Messmuster muss im Wesentlichen lotrecht auf die abzutastende Oberfläche projiziert werden, weshalb es in der Praxis nur von geringer Bedeutung ist.
-
Vorzugsweise ist die Mindestschärfe als Restmodulation von zumindest 20 %, insbesondere zumindest 30 % bzw. zumindest 40 % eines solchen regelmäßigen schwarz-weiß-Linienmusters definiert.
-
Vorzugsweise wird zur Bestimmung der Disparitäten in einem ersten der beiden Bilder, das auch ein Zeilenbild sein kann, einer der Referenzausschnitte um jeweils einen vorbestimmten Bildpunkt ausgelesen, dieser Referenzausschnitt in einen Bereich um einen Bildpunkt des zweiten Bildes an mehreren Positionen angeordnet, wobei der Bildpunkt des zweiten Bildes dem Bildpunkt des ersten Bildpunktes geometrisch entspricht. An einer jeden Position des Referenzausschnittes des ersten Bildes im zweiten Bild wird ein Korrelationswert berechnet, der angibt, wie exakt der Referenzausschnitt des ersten Bildes mit dem jeweiligen Bereich des zweiten Bildes übereinstimmt. Die Position des Referenzausschnittes im zweiten Bild, für welche der beste Korrelationswert bestimmt wird, wird ausgewählt und der Abstand des vorbestimmten Bildpunktes des Referenzausschnittes des ersten Bilds an der ausgewählten Position zum geometrisch entsprechenden Bildpunkt des zweiten Bildes wird als Disparität dem vorbestimmten Bildpunkt im ersten Bild zugeordnet und diese Bestimmung der Disparität wird für weitere Bildpunkte eines vorbestimmten Bereiches des ersten Bildes wiederholt.
-
Vorzugsweise kann zum Bestimmen der Disparität eine Näherungsfunktion erstellt werden, die den Zusammenhang zwischen den Abständen der Referenzausschnitte und den entsprechenden Korrelationswerten beschreibt. Hierbei wird der Abstand als Disparität bestimmt, an welchem diese Näherungsfunktion ein Maximum (= maximale Korrelation) aufweist.
-
Als Korrelationswert kann die Summe der Quadrate der Differenzen der Intensitätswerte der Bildpunkte oder ein Kreuzkorrelationswert berechnet werden.
-
Mit diesem Verfahren kann eine spiegelnde Oberfläche abgetastet werden. Mit diesem Verfahren ist es auch möglich, eine Oberfläche abzutasten, welche sowohl zumindest einen spiegelnden als auch zumindest einen nicht spiegelnden Abschnitt aufweist. Bei nicht-spiegelnden Oberflächen, die zudem keine Struktur aufweisen und insbesondere mit einer dunklen Oberfläche ausgebildet sind, kann die mit dem erfindungsgemäßen Verfahren realisierbare Auflösung gering sein. Daher kann es auch zweckmäßig sein, das erfindungsgemäße Verfahren mit einem herkömmlichen Verfahren, wie z. B. der Stereoskopie oder der Laser-Triangulation, zu kombinieren, um nicht-spiegelnde Abschnitte der Oberfläche alternativ mit hoher Auflösung zu erfassen.
-
Gemäß einem weiteren Aspekt der Erfindung wird eine Vorrichtung mit zumindest einer Stereokamera mit zumindest zwei Kameramodulen vorgesehen, welche jeweils ein Objektiv und einen Sensor, insbesondere einen Zeilensensor aufweisen, wobei die Kameramodule derart angeordnet sind, dass sie von einem gemeinsamen Bereich einer abzutastenden Oberfläche jeweils ein Bild erfassen, und die Stereokamera eine Steuereinrichtung aufweist, die zum Ausführen eines der oben erläuterten Verfahren ausgebildet ist.
-
Die Erfindung wird nachfolgend beispielhaft anhand der Zeichnungen näher erläutert. Die Zeichnungen zeigen in:
-
1 schematisch eine Vorrichtung zum Abtasten von Oberflächen mit einer Stereo-Kamera in einer perspektivischen Ansicht,
-
2 ein Schema zum Ermitteln von Disparitäten in einem mit der in 1 gezeigten Kamera aufgenommenen Bild,
-
3–5 jeweils schematisch die Anordnung der Kamera und eine Beleuchtungseinrichtung unterschiedlicher Vorrichtungen zum Abtasten von Oberflächen,
-
6 ein Verfahren zum Abtasten einer Oberfläche in einem Flussdiagramm, und
-
7 schematisch eine Vorrichtung zum Abtasten von Oberflächen mit einer Stereokamera und einer Projektionseinrichtung, welche gegenüber einem Lot auf einer abzutastenden Oberfläche geneigt angeordnet sind.
-
Die Erfindung wird zunächst anhand eines ersten Ausführungsbeispiels (1) einer optischen Abtastvorrichtung 1 mit einer Stereo-Kamera 2 erläutert. Die Abtastvorrichtung 1 weist neben der Kamera 2 eine Beleuchtungs- bzw. Projektionseinrichtung 3 und eine Steuereinrichtung 4 auf. Die Abtastvorrichtung kann zudem mit einem Bewegungsdetektor 5 versehen sein, mit welchem die Bewegung eines abzutastenden Objektes oder eines Förderbandes 6, das in Förderrichtung 7 bewegt wird, abgetastet wird. Die Projektionseinrichtung 3 projiziert ein vorbestimmtes Muster auf einen Abtastbereich. Hierzu kann die Projektionseinrichtung 3 ein Objektiv aufweisen. Ein solches Objektiv ist jedoch nicht notwendiger Bestandteil der Projektionseinrichtung 3, wie es z.B. das unten näher erläuterte und in 3 gezeigt Ausführungsbeispiel zeigt.
-
Grundsätzlich ist es auch möglich, dass die Abtastvorrichtung 1 bewegt wird und die abzutastende Oberfläche still steht.
-
Im vorliegenden Ausführungsbeispiel weist die Stereo-Kamera 2 vier Kameramodule 8, 9, 10, 11 auf. Ein jedes Kameramodul 8, 9, 10, 11 ist aus einem Objektiv 12 und einem Bildsensor (nicht dargestellt) ausgebildet.
-
Für das erfindungsgemäße Verfahren genügen grundsätzlich zwei Kameramodule. Im vorliegenden Ausführungsbeispiel sind die unterschiedlichen Kameramodule mit Farbfilter versehen, so dass die unterschiedlichen Kameramodule unterschiedliche Farben erfassen. Hierdurch können die abzutastenden Objekte spektral analysiert werden, wie es beispielsweise in der deutschen Patentanmeldung
DE 10 2015 111 120 beschrieben ist. Die vorliegende Abtastvorrichtung kann jedoch auch mit Kameramodulen ausgebildet sein, welche andere Filter (z.B. Polarisationsfilter) oder keine spektralen Filter oder keine sonstigen Filter (z.B. Polarisationsfilter) aufweisen.
-
Die Kamera weist einen einzigen Zeilensensorchip auf, wobei Abschnitte dieses Zeilensensorchips den jeweiligen Bildsensor für die jeweiligen Kameramodule 8, 9, 10, 11 bilden. Im Rahmen der Erfindung ist es selbstverständlich auch möglich, dass eine jede einzelne Kamera einen separaten Sensorchip besitzt. Der Sensorchip kann auch ein Flächensensor sein.
-
Die vier Kameramodule 8, 9, 10, 11 sind derart ausgerichtet, dass sie alle einen gemeinsamen Bereich des Förderbandes 6 erfassen. Dieser gemeinsame Bereich ist eine quer zur Förderrichtung 7 verlaufende Sichtlinie 13.
-
Die Beleuchtungseinrichtung 3 ist eine Projektionseinrichtung, welche eine Lichtquelle und ein Objektiv zum Projizieren eines Musters auf das Förderband 6 im Bereich der Sichtlinie 13 aufweist. Im vorliegenden Ausführungsbeispiel ist das Muster ein Streifen- bzw. Linienmuster 14 mit einer Vielzahl von sich abwechselnden dunklen und hellen Streifen. Dieses Streifenmuster 14 wird dadurch erzeugt, dass ein in der Projektionseinrichtung 3 angeordnetes, streifenförmiges Gitter auf das Förderband 6 abgebildet wird. Das Gitter kann als Glasplättchen oder Kunststofffolie ausgebildet sein, in welchen die Gitterlinien eingeritzt, aufgedruckt oder als Metallschicht aufgedampft sind.
-
Es können auch noch andere Beleuchtungseinrichtungen vorgesehen sein, die die Sichtlinie
13 mit einem gleichmäßigen Licht (kein Streifenmuster) ausleuchten. Diese weiteren Beleuchtungseinrichtungen können auch als Hellfeldbeleuchtung und/oder als Dunkelfeldbeleuchtung und/oder als Durchlichtbeleuchtung ausgebildet sein. Die unterschiedlichen Lichtquellen können abwechselnd (Zeitmultiplex) oder in verschiedenen Farben (Frequenzmultiplex) das abzutastende Objekt ausleuchten. Dies wird als Multiplexbeleuchtung bezeichnet. Eine solche Multiplexbeleuchtung ist beispielsweise in der deutschen Patentanmeldung
DE 10 2015 105 656 beschrieben, auf welche hiermit Bezug genommen wird.
-
Wie es weiter unten näher erläutert wird, kann mit der optischen Abtastvorrichtung 1 die räumliche Struktur der abzutastenden Oberfläche erfasst werden. Entlang der Sichtlinie 13 ist ein Abtastbereich 15 ausgebildet, der sich entlang den optischen Achsen 16 der einzelnen Kameramodule 8–11 ein Stück in Richtung zur Kamera 2 und ein Stück weg von der Kamera 2 erstreckt.
-
Die Anordnung der Projektionseinrichtung 3 bezüglich der Stereo-Kamera 2 ist schematisch in 3 dargestellt.
-
Die Stereo-Kamera 2 ist auf eine Abtastebene 17 fokussiert, welche auch als Fokusebene der Kamera oder Kamerahauptebene bezeichnet wird. Die Abtastebene 17 wird vom Objektiv des jeweiligen Kameramoduls auf einen Sensorchip abgebildet, wobei um die Abtastebene 17 ein Tiefenschärfenbereich 20 ausgebildet ist. Mit der Beleuchtungs- oder Projektionseinrichtung 3 wird ein Streifengitter 21 auf das abzutastendes Objekt 22 projiziert.
-
Bei dieser Ausführungsform befindet sich das Streifengitter 21 im Tiefenschärfenbereich 20. Hierdurch wird das Streifengitter 21 bei einer spiegelnden Oberfläche auf die Sensoren der Kameramodule 8–11 abgebildet.
-
Der Erfindung liegt somit die Erkenntnis zugrunde, dass man mittels der spiegelnden Oberfläche eines Objektes mit den Kameramodulen 8–11 direkt auf das Streifengitter 21 blicken kann, wenn dieses sich im Tiefenschärfenbereich 20 befindet.
-
Das Streifengitter 21 ist derart ausgebildet und angeordnet, dass die einzelnen, auf das Objekt 22 projizierten Streifen des Streifengitters 21 ein Streifenmuster bilden, das in etwa quer zur Sichtlinie 13 verläuft, die in der Zeichnungsebene der 3 liegt. Die Länge des projizierten Streifenmusters entspricht zumindest der Länge der Sichtlinie 13. Die Breite des Streifenmusters ist so gewählt, dass auch bei einer Verkippung des Messobjektes 22 orthogonal zur Förderrichtung 7 die Sichtlinie 13 vollständig vom Streifenmuster abgedeckt wird.
-
Durch die Anordnung des Streifengitters 21 im Tiefenschärfenbereich 20 ist sichergestellt, dass das Streifengitter auf die Sensoren der Kameramodule abgebildet wird.
-
Da sich auch die Oberfläche des abzutastenden Objektes 22 im Tiefenschärfenbereich 20 befindet wird auch diese auf die Sensoren der Kameramodule abgebildet.
-
Der Abtastbereich 15 wird durch eine Überlappung eines Tiefenschärfenbereichs der Kameramodule 8–11 und eines Projektionsschärfenbereichs der Projektionseinrichtung 3 ausgebildet.
-
Der Tiefenschärfenbereich ist der Bereich, in dem eine Abbildungsschärfe der Objektive 12 der Kameramodule 8–11 eine bestimmte Mindestschärfe aufweist. Der Projektionsschärfenbereich der Projektionseinrichtung 3 ist der Bereich, in dem ein mit der Projektionseinrichtung 3 projiziertes Messmuster mit einer vorbestimmten Projektionsschärfe projiziert wird. Das Objektiv der Projektionseinrichtung 3 ist vorzugsweise so eingestellt, dass das Messmuster auf einer Abtastebene 17 abgebildet wird, die sich entweder mit der Oberfläche des Förderbandes 6 deckt oder ein kleines Stück oberhalb des Förderbandes und parallel zur Oberfläche des Förderbandes angeordnet ist. Die Objektive 12 sind derart angeordnet und ausgebildet, dass sie die Abtastebene 17 exakt auf den bzw. die in den einzelnen Kameramodulen 8–11 angeordneten Sensorchip abbilden. Da mit der Abtastvorrichtung 1 Objekte mit räumlicher Kontur abgetastet werden sollen, können sich diese Objekte grundsätzlich ein Stück oberhalb bzw. unterhalb der Abtastebene 17 erstrecken. Deckt sich die Abtastebene 17 mit der Oberfläche des Förderbandes 6, dann kann sich das Objekt selbstverständlich nur in den Bereich oberhalb der Abtastebene befinden. Je weiter ein Punkt des abzutastenden Objektes von der Abtastebene 17 entfernt ist, desto unschärfer wird das Muster an dieser Stelle auf das Objekt projiziert und desto unschärfer wird dieser Punkt mit den jeweiligen Kameramodulen 8–11 erfasst.
-
Es wird davon ausgegangen, dass die einzelnen Kameramodule 8–11 identisch ausgebildet sind, so dass sie alle den gleichen Tiefenschärfenbereich besitzen. Grundsätzlich ist es jedoch auch möglich, dass die einzelnen Kameramodule 8–11 unterschiedlich ausgebildet sind und unterschiedlich große Tiefenschärfenbereiche aufweisen. In diesem Fall wird der Abtastbereich 15 durch eine Überlappung des kleinsten der Tiefenschärfenbereiche eines der Kameramodule 8–11 und des Projektionsschärfenbereiches ausgebildet.
-
Die Schärfe der Projektion bzw. Abbildung wird folgendermaßen definiert:
Ein periodisches Linienmuster aus mehreren parallelen, gleich breiten schwarzen Linien mit einer Lücke zwischen zwei benachbarten schwarzen Linien, die der Linienbreite der schwarzen Linien entspricht, wird einerseits fiktiv mit der Projektionseinrichtung auf die Abtastebene 17 projiziert und andererseits in der Abtastebene 17 von den Kameramodulen 8–11 erfasst. Beim Projizieren erhält man an den Bereichen der schwarzen Linien jeweils eine minimale Intensität (min(I)) und für die Bereiche der Lücken eine maximale Intensität (max(I)). Beim Abbilden mit den Kameramodulen ist ein solches perfektes Linienmuster in der Abtastebene 17 angeordnet, um die Schärfe der Abbildung der einzelnen Kameramodule zu bestimmen.
-
Die Linienbreite der Linien dieser Muster in der Abtastebene 17 kann grundsätzlich frei gewählt werden. Es ist jedoch zweckmäßig, diese Linienbreite so zu wählen, dass sie etwa dem kleinsten Element des Messmusters in Richtung der Sichtlinie 13 entspricht. Wird als Messmuster ein Linien- bzw. Streifenmuster verwendet, dann entspricht die Länge des kleinsten Elementes der Breite des dünnsten Streifens des Messmusters. Hierdurch wird sichergestellt, dass die Schärfe die Projektion bzw. Abbildung des Messmusters korrekt beschreibt.
-
Als Wert für die Schärfe wird die sogenannte Restmodulation c verwendet, die auch als Michelson-Kontrast bezeichnet und gemäß folgender Formel berechnet wird:
Die Mindestschärfe c beträgt zumindest 15%. Vorzugsweise beträgt die Mindestschärfe c zumindest 20 und insbesondere zumindest 30%.
-
Der Abtastbereich 15 ist somit derjenige Bereich um die Sichtlinie 13, in dem sowohl die Projektionsschärfe als auch die Tiefenschärfe jeweils die vorbestimmte Mindestschärfe c aufweisen.
-
Bei einem Prototyp wurden Kameramodule verwendet, bei welchen die Bildpunkte des Sensorchips eine Größe von 30 µm aufweisen. Für den Tiefenschärfenbereich ergaben sich folgende Werte bei einer Restmodulation c von 30%:
Frequenz des Linienmusters | Maximaler unterer Abstand von der Abtastebene | Maximaler oberer Abstand von der Abtastebene |
20 Pixel/Periode | 14 mm | 14,8 mm |
14 Pixel/Periode | 12 mm | 12,8 mm |
8 Pixel/Periode | 6 mm | 6,8 mm |
-
Die Periode umfasst jeweils eine dunkle und eine helle Linie. Die Breite einer Linie entspricht der halben Breite der Periode.
-
Nachfolgend wird ein Verfahren erläutert, bei dem die oben beschriebene Abtastvorrichtung 1 verwendet wird, um eine sich in Förderrichtung 7 bewegende Oberfläche abzutasten (6). Das Verfahren wird zur Vereinfachung der Erläuterung lediglich anhand zweier Kameramodule erläutert, die eine Stereo-Kamera bilden. Das Verfahren ist auf eine Mehrfach-Kamera mit einer an sich beliebigen Anzahl von Kameramodulen erweiterbar.
-
Das Verfahren beginnt mit dem Schritt S1.
-
Mit den beiden Kameramodulen 8, 9 werden mehrere aufeinander folgende Zeilenbilder der sich in Förderrichtung 7 bewegenden Oberfläche des Förderbandes 6 bzw. von auf dem Förderband 6 befindlichen Objekten erfasst (Schritt S2). Die jeweilige Bildaufnahme eines Zeilenbildes wird mittels des Bewegungsdetektors 5 derart gesteuert, dass die einzelnen Zeilenbilder von gleichmäßig beabstandeten Sichtlinien 13 auf dem abzutastenden Objekt erfasst werden. Die einzelnen Zeilenbilder können zu einem farbigen oder mehrkanaligen Flächenbild zusammengesetzt werden, wobei mit dem Kameramodul 8 ein erstes Flächenbild und mit dem Kameramodul 9 ein zweites Flächenbild erzeugt wird. Ein mehrkanaliges Flächenbild enthält an den einzelnen Bildpunkten mehrere Intensitätswerte, die aus den Intensitäten unterschiedlicher Farbkanäle stammen können. Bei einem RGB-Sensorchip gibt es separate Sensorzeilen für Rot, Grün und Blau und dementsprechend separate Intensitätswerte für die Farben Rot, Grün und Blau. Diese mehreren Intensitäten können, aber müssen nicht ein Farbbild ergeben.
-
Diese Farbbilder werden in ein erstes und zweites Graustufen-Flächenbild (Schritt S3) umgesetzt. Hierbei können herkömmliche Algorithmen zum Umsetzen eines Farbbildes in ein Schwarz-Weiß-Bild verwendet werden. Es kann auch eine Transformation verwendet werden, mit welcher die im Farbbild enthaltene Information maximal in das entsprechende Graustufenbild übertragen wird. Eine solche Transformation ist beispielsweise in der deutschen Patentanmeldung
DE 10 2015 111 120 beschrieben.
-
Die Umsetzung der Farbbilder in Merkmalsbilder bzw. Graustufenbilder, bei welchen jedem Bildpunkt lediglich ein einzelner Intensitätswert zugeordnet ist, erleichtert die nachfolgend erläuterte Bestimmung der Disparitäten. Grundsätzlich kann auch ein Schwarz-/Weiß-Sensorchip verwendet werden, welcher unmittelbar ein Graustufenbild erzeugt. Dann liegt bereits ein Merkmalsbild mit nur einem einzigen Intensitätswert pro Bildpunkt vor und es ist keine Umwandlung in ein solches Merkmalsbild notwendig.
-
Es werden die Disparitäten des ersten Flächenbildes zum zweiten Flächenbild berechnet (Schritt S4). Hierzu wird im ersten Flächenbild ein Referenzausschnitt 18 um einen Bildpunkt F0(x, y) ausgewählt. Im vorliegenden Ausführungsbeispiel ist der Referenzausschnitt 18 quadratisch mit einer Seitenlänge von b. Dieser Referenzausschnitt 18 wird in einem Suchfenster 19 des zweiten Flächenbildes an mehreren Positionen derart überlagert, dass jeweils der zentrale Bildpunkt F0(x, y) des Referenzausschnitts mit einem Bildpunkt F1(x, y) des ersten Flächenbildes überlagert ist.
-
Wäre die abzutastende Oberfläche exakt ebenflächig, die Kameramodule mit ihren optischen Achsen exakt senkrecht auf diese Oberfläche ausgerichtet, die einzelnen Kameramodule verzeichnungs- und verzerrungsfrei und die spektralen Sensitivitäten der Kameramodule identisch, dann könnten mit den mehreren Kameramodulen Bilder des gemeinsamen Bereichs der abzutastenden Oberfläche erfasst werden, die lediglich mit einer linearen Verschiebung exakt in Deckung gebracht werden könnten, wobei alle Bildpunkte der einzelnen Bilder exakt die Farb- bzw. Lichtintensität desselben Bildpunktes der abzutastenden Oberfläche wiedergeben würden. Diese fiktiven Positionen der Bildpunkte werden im Folgenden als geometrischer Ort bezeichnet, d. h. der Ort auf der abzutastenden Oberfläche für den jeweiligen Bildpunkt, der sich ohne Verzerrung und ohne Verzeichnung bei einer ebenflächigen Oberfläche ergeben würde. Da bei der vorliegenden Kamera die Teilbilder der einzelnen Farben zunächst rektifiziert werden, um der Epipolar-Bedingung zu entsprechen, kann der Referenzausschnitt 18 in y-Richtung exakt mit der korrespondierenden Position des Suchfensters 19 in y-Richtung überlagert werden.
-
In Zeilenrichtung bzw. in Richtung entlang der Sichtlinie 13 werden hingegen bei unterschiedlichen Höhen der Oberfläche erhebliche Abweichungen der Bildpunkte von ihrem geometrischen Ort verursacht. Der Referenzausschnitt 18 wird deshalb in Zeilenrichtung bzw. x-Richtung im Suchfenster 19 an mehreren Positionen derart angeordnet, dass jeweils der zentrale Bildpunkt des Referenzausschnittes 18 mit einem Bildpunkt des Suchfensters 19 in Deckung gebracht ist, wobei die beiden Bildpunkte den gleichen y-Wert aufweisen. Die Verschiebung des Referenzausschnittes 18 gegenüber dem geometrischen Ort des Referenzausschnittes im Suchfenster 19 ist als D(x, y) in 2 angegeben. Diese Verschiebung D(x, y) wird auch als Abstand vom geometrischen Ort bezeichnet.
-
Die Anzahl der Bildpunkte, über welche im Suchfenster 19 der Referenzausschnitt 18 in Deckung gebracht wird, ist in 2 mit w bezeichnet.
-
Die Kantenlänge b des Referenzausschnittes 18 beträgt 11 bis 29 Bildpunkte und insbesondere 19 bzw. 21 Bildpunkte. Die Anzahl der Bildpunkte w, mit welchen der Referenzausschnitt 18 in Deckung gebracht wird, beträgt vorzugsweise zumindest 10, insbesondere zumindest 20, zumindest 40 oder zumindest 50 und vorzugsweise zumindest 100 oder zumindest 300 oder insbesondere zumindest 500.
-
Die Breite des Suchfensters beträgt w + b – 1 (2). Die Kantenlänge b des Referenzausschnitts 18 ist vorzugsweise nicht größer als ein Drittel der Breite des Suchfensters 19 und insbesondere nicht größer als ein Viertel bzw. ein Fünftel und vorzugsweise nicht größer als ein Zehntel der Breite des Suchfensters.
-
Für eine jede Position des Referenzausschnitts 18 im Suchfenster 19 wird ein Korrelationswert berechnet. Der Korrelationswert ist ein Maß, wie gut die Bildpunkte des Referenzausschnitts 18 des ersten Flächenbildes mit den Bildpunkten des zweiten Flächenbildes, von welchen sie überlagert sind, übereinstimmen. Als Korrelationswert kann beispielswert die Summe der quadratischen Abstände (SSD: sum of squared difference) verwendet werden. Je geringer dieser Wert ist, desto besser ist die Übereinstimmung. Als Korrelationswert ist auch jede andere Metrik geeignet, die den Unterschied zweier Vektoren beschreibt. Dies können beispielsweise der euklidische Abstand oder ein Kreuzkorrelationswert sein. Weitere geeignete Metriken sind ZNCC (Zero mean Normalized Cross-Correlation), adaptives Binärfenster (adaptive binary window), POC (Phase-Only Correlation), Three-Moded Census, geführter Bildfilter (guided image filter) oder ein minimal spannender Baum (minimum spanning tree).
-
Die Position des Referenzausschnitts 18 im Suchfenster 19, die den besten Korrelationswert aufweist, wird zur Bestimmung der Disparität ausgewählt. Der Abstand D(x, y) des Referenzausschnitts 18 an dieser Position stellt den entsprechenden Disparitätswert dar, der dem entsprechenden Bildpunkt F0(x, y) im ersten Flächenbild zugeordnet wird. Diese Bestimmung der Disparität wird für alle Bildpunkte des ersten Flächenbildes innerhalb eines vorbestimmten, relevanten Bereichs wiederholt. Alternativ kann auch das Suchfenster am Rand durch weitere fiktive Bildpunkte, insbesondere schwarze Bildpunkte, ergänzt werden, so dass das Zentrum des Referenzausschnitts 18 mit einem jeden Bildpunkt des Suchfensters in Deckung gebracht werden kann.
-
Bei dem oben erläuterten Verfahren werden die Disparitäten zwischen dem ersten und zweiten Flächenbild bestimmt (Schritt S4).
-
Da die abzutastenden Objekte mit der Projektionseinrichtung 3 mit einem Messmuster beleuchtet werden, das im vorliegenden Ausführungsbeispiel ein Streifenmuster ist, enthalten die mit den Kameramodulen erfassten Bilder eine entsprechende Struktur. Hierdurch zeigen auch Objekte mit glänzender Oberfläche eine Struktur in den erfassten Bildern. Diese Struktur erlaubt es, die Referenzausschnitte der mit den unterschiedlichen Kameramodulen aufgenommenen Bilder sehr präzise einander zuzuordnen und eine eindeutige Korrelation zu erzielen. Hierzu ist es zweckmäßig, dass die Strukturen in den einzelnen Bildern eindeutig sind. Das Streifenmuster ist deshalb vorzugsweise derart ausgebildet, dass ein beliebiger Referenzausschnitt möglichst nur ein einziges Mal in dem Streifenmuster vorhanden ist. Das Streifenmuster kann entsprechend einer Maximum-Length-Sequence (MLS) ausgebildet sein. Ein solches Muster besitzt über eine sehr lange Sequenz immer wieder eine unterschiedliche Ausbildung, so dass sich die Referenzausschnitte nicht wiederholen und eindeutig sind.
-
Wie es eingangs erläutert worden ist, sind sehr kurze Referenzausschnitt mit lediglich einigen wenigen Bildpunkten nichtzweckmäßig, da die Wahrscheinlichkeit sehr hoch ist, dass derart kurze Referenzausschnitte nicht eindeutig sind. Je länger die Referenzausschnitte sind, desto wahrscheinlicher ist, dass die Referenzausschnitte eindeutig sind. Hierdurch können die Referenzausschnitte nicht beliebig lang gewählt werden, denn der Referenzausschnitt 18 muss deutlich kleiner als das Suchfenster 19 sein, ansonsten könnte nur von einem kleinen Abschnitt des Suchfensters Disparitäten bestimmt werden.
-
Das Höhenprofil wird nach folgender Formel berechnet R = B·f / a·d, wobei R der zu berechnende Abstand zwischen der Oberfläche und der Stereokamera, B die optische Basis der Stereokamera, f die Brennweite der Objektive der Kameramodule, mit welchen das das Messmuster erzeugende Element des Projektors auf das jeweilige Kameramodul abgebildet wird, und a ein Faktor ist, der von einem Lichtweg abhängt, den das Licht vom abzutastenden Gegenstand bis zum Sensor der Kameramodule zurück zu legen hat. Bei einer spiegelnden Oberfläche ist der Wert von a gleich 2, da sich der Lichtweg von der Projektionseinrichtung zur abzutastenden Oberfläche und von dort zu dem jeweiligen Kameramodul erstreckt. Bei nicht-spiegelnden Oberflächen wird die nicht-spiegelnde Oberfläche auf die Sensoren der Kameramodule abgebildet. Der Lichtweg beträgt somit nur den einfachen Lichtweg zwischen der abzutastenden Oberfläche und den Sensoren der Kameramodule. Somit ist der Wert von a für nicht-spiegelnde Oberflächen gleich 1.
-
Die oben angegebene Formel gilt, wenn zumindest die Kamera mit ihrer Blickrichtung lotrecht auf die abzutastende Oberfläche gerichtet ist. Bei spiegelnden Oberflächen sollte dann auch die Projektionseinrichtung so angeordnet sein, dass sie die Lichtstrahlen im Wesentlichen lotrecht auf die abzutastende Oberfläche lenkt. Dies gilt für große Abstände der Kamera und der Projektionseinrichtung von der abzutastenden Oberfläche. Sind jedoch die Kamera und vorzugsweise auch die Projektionseinrichtung gegenüber einem Lot der abzutastenden Oberfläche um einen Winkel α geneigt (7), dann kann die obigen Formel durch folgende Formel für spiegelnde Oberflächen R = B·f / d· cos(α ) / 1 + cos(2α / ) und folgende Formel für nicht spiegelnde Oberflächen dargestellt werden: R = B·f / d·cos(α)
-
Spiegelnde und nicht-spiegelnde Bereiche der abzutastenden Oberfläche können anhand von CAD-Daten eines abzutastenden Objekts unterschieden werden. Die CAD-Daten enthalten Materialeigenschaften, aus welchen spiegelnde und nicht-spiegelnde Bereiche abgeleitet werden können. Mit einem optischen Bildanalyseverfahren wird das abzutastende Objekt erkannt und mit den CAD-Daten in Übereinstimmung gebracht. Es kann zusätzlich ein optisches Bildanalyseverfahren zum automatischen Erkennen von Kanten eingesetzt werden, wodurch auch Objekte mit einer Vielzahl spiegelnder und nicht-spiegelnder Bereiche automatisch detektiert werden können.
-
Alternativ kann man in Kombination eine nicht-diffuse Hellfeldbeleuchtung und eine diffuse Dunkelfeldbeleuchtung verwenden. Bei spiegelnden Oberflächen wird die diffuse Dunkelfeldbeleuchtung in allen möglichen Richtungen reflektiert, sodass die Stereokamera die spiegelnden Bereiche nur als dunkle Bereiche bei Beleuchtung mit der Dunkelfeldbeleuchtung sieht. Hierdurch können mit Hilfe der Dunkelfeldbeleuchtung auf einfache Art und Weise spiegelnde Bereiche und nicht-spiegelnde Bereiche unterschieden werden. Die Hellfeldbeleuchtung und die Dunkelfeldbeleuchtung kann im Frequenzmultiplex angelegt werden.
-
Eine weitere Alternative nicht-spiegelnden Bereiche zu detektieren ist die Detektion einer Eigenstruktur. Nur nicht-spiegelnde Bereiche besitzen eine Eigenstruktur, so dass sie anhand dieser in den Bildern identifizierbar sind.
-
Eine solche Unterscheidung wird nur bei Objekten ausgeführt, die spiegelnde und nicht-spiegelnde Bereiche aufweisen. Objekte, die ausschließlich eine spiegelnde Oberfläche besitzen benötigen keine solche Unterscheidung und können mit einem vorbestimmten Faktor a berechnet werden.
-
4 zeigt eine alternative Anordnung, die im Wesentlichen der aus 3 entspricht, weshalb gleiche Elemente in 4 mit den gleichen Bezugszeichen wie in 3 gekennzeichnet sind und nicht nochmals erläutert werden.
-
Bei dieser Anordnung weist die Projektionseinrichtung 3 ein Objektiv 23 auf, mit welchem das Streifengitter 21 auf einer Projektionsbildebene 24 abgebildet wird. Um die Projektionsbildebene 24 ist der Projektionsschärfenbereich 25 ausgebildet. Das Streifengitter wird dann durch die Kombination des Objektivs 23 der Projektionseinrichtung 3 und durch das jeweilige Objektiv der Kameramodule bei spiegelnder Oberfläche des abzutastenden Objektes auf die Sensoren der Kameramodule abgebildet. Mit anderen Worten bildet ein Paar von Objektiven bestehend aus einem der Objektive der Kameramodule und dem Objektiv des Projektors ein zusammengesetztes Objektive mit einer Brennweite, die etwa dem Lichtweg vom Streifengitter 21 zu dem Sensor des jeweiligen Kameramoduls führt. Die Kameramodule sind somit mit dem zusammengesetzten Objektiv auf das Streifengitter fokussiert.
-
Der Bereich, in dem sich der Tiefenschärfenbereich 20 und der Projektionsschärfenbereich 25 überlappen, bildet den Abtastbereich 26, der in 4 schraffiert dargestellt ist.
-
Vorzugsweise sind die Stereo-Kamera 2 und die Projektionseinrichtung 3 mit großem Abstand vom abzutastenden Objekt 22 angeordnet, so dass die optischen Achsen der Stereo-Kamera 2 bzw. der entsprechenden Kameramodule 8–11 und eine optische Achse 27 der Projektionseinrichtung 3 mit einem sehr kleinen spitzen Winkel zueinander angeordnet sind, so dass die Abtastebene 17 und die Projektionsbildebene 24 entsprechend gering zueinander geneigt sind und sich der Tiefenschärfenbereich 20 möglichst mit dem Projektionsschärfenbereich 25 deckt.
-
Eine weitere Abwandlung der Anordnung von Projektionseinrichtung 3 und Stereo-Kamera 2 ist in 5 gezeigt, welche im Wesentlichen der Ausführungsform aus 4 entspricht und sich hiervon dadurch unterscheidet, dass mittels eines halbdurchlässigen Spiegels 28 die optische Achse 27 der Projektionseinrichtung 3 im rechten Winkel in Richtung zum abzutastenden Objekt 22 abgelenkt und mit der optischen Achse 16 der Stereo-Kamera im Bereich zwischen dem halbdurchlässigen Spiegel 28 und dem abzutastenden Objekt 22 in Deckung gebracht wird. Hierdurch sind die Abtastebene 17 und die Projektionsbildebene 24 zueinander parallel ausgebildet. Im vorliegenden Ausführungsbeispiel sind die Abtastebene 17 und die Projektionsbildebene 24 sogar in Deckung gebracht, d.h., dass die Projektionseinrichtung 3 mittels des Objektivs 23 das Streifengitter 21 exakt in die Abtastebene 17 der Stereo-Kamera 2 abbildet. Der Projektionsschärfenbereich 25 ist in diesem Ausführungsbeispiel etwas kleiner als der Tiefenschärfenbereich, wodurch der Projektionsschärfenbereich 25 gleichzeitig den Abtastbereich 26 bildet.
-
Bei dieser Ausführungsform kann der Abtastbereich 26 maximal groß ausgebildet sein. Durch die Verwendung des halbdurchlässigen Spiegels 28 wird jedoch eine gewisse Lichtleistung verloren. Eine weitere Abwandlung der optischen Abtastvorrichtung 1 ist in 7 gezeigt. Die Stereokamera 2 ist mit ihrer Blickrichtung um einen Winkel α gegenüber einem Lot 29 geneigt. Die Projektionseinrichtung 3 ist derart gegenüber dem Lot 29 geneigt angeordnet, dass die von der Projektionseinrichtung 3 auf den Abtastbereich 15 gelenkten Lichtstrahlen 31 wiederum in den Winkel α einschließen.
-
Das abzutastende Objekt 22 ist eine transparente Platte, insbesondere eine Glasplatte, sodass Licht von der Projektionseinrichtung 3 sowohl an einer ersten oberen Oberfläche, der Grenzfläche zwischen Luft und Glas auf der Seite der Projektionseinrichtung 3 und einer unteren Grenzfläche, der Grenzfläche zwischen Glas und Luft auf der von der Projektionseinrichtung abgewandten Seite der Glasplatte, reflektiert wird. Hierdurch werden gleichzeitig Lichtstrahlbündel von unterschiedlichen Punkten des Streifengitters 21, vom Objekt 22 zur Stereo-Kamera 2 reflektiert. Dies führt zu Zweideutigkeiten. Deshalb wird mittels einer Blende 30, welche benachbart zur Projektionseinrichtung 3 angeordnet oder in der Projektionseinrichtung 3 ausgebildet ist, einer der beiden Lichtstrahlen 31 absorbiert und damit von der Stereo-Kamera 2 ferngehalten.
-
Im vorliegenden Ausführungsbeispiel ist das Streifengitter 21, das das Messmuster erzeugende Element darstellt, integral mit der Blende 30 ausgebildet. Das Streifengitter 21 ist beispielsweise als auf einer Glasscheibe ausgebildete Chromstreifen ausgebildet und die Blende ist auf der gleichen Glasscheibe als ein größerer, vollständig verchromter Bereich ausgebildet, der den Lichtdurchtritt durch die Glasscheibe entsprechend vollständig blockiert. In 7 sind die Streifen des Streifengitters 21 parallel zur Bildebene der 7 angeordnet und daher in 7 nicht sichtbar. Benachbart zu dieser Blende 30 ist vorzugsweise ein schwarzer Körper 32 angeordnet, der das von der Blende reflektierte Licht absorbiert.
-
Hierdurch wird sichergestellt, dass nur ein Lichtstrahlbündel, das nur an einer Grenzfläche beziehungsweise Oberfläche des Objektes 22 reflektiert wird, zur Stereo-Kamera 2 gelangt. Hierdurch werden Zweideutigkeiten in dem mit der Stereo-Kamera 2 abgetasteten Messmuster vermieden.
-
Mit allen oben erläuterten Anordnungen können konturierte spiegelnde Oberflächen zuverlässig abgetastet werden, wobei mittels der Projektion des Streifenmusters, das als Messmuster dient, eine Struktur in den mit den einzelnen Kameramodulen erfassten Bildern vorliegt, welche eine klare Zuordnung von Referenzausschnitten der unterschiedlichen Bilder erlaubt. Hierdurch können die Disparitäten mit einer hohen Präzision und damit ein entsprechendes Höhenprofil sehr exakt bestimmt werden. Diese Vorrichtung und das oben erläuterte Verfahren kann auch meistens unmittelbar zum Abtasten von nicht-spiegelnden Oberflächen verwendet werden, wobei bei nicht-spiegelnden Oberflächen oftmals die Struktur durch eine bereits vorhandene Struktur in der Oberfläche der abzutastenden Objekte erzeugt wird, wobei das projizierte Messmuster eine zusätzliche Struktur bewirken kann. Da nicht-spiegelnde Oberflächen das projizierte Messmuster schwächer als eine spiegelnde Oberfläche reflektieren, ist die durch das projizierte Messmuster erzeugte Wirkung bei nicht-spiegelnden Oberflächen geringer als bei spiegelnden Oberflächen. Daher kann es im Einzelfall auch zweckmäßig sein, das erfindungsgemäße Verfahren ausschließlich zum Abtasten von einer spiegelnden Oberfläche zu verwenden und es mit einem Verfahren zum dreidimensionalen berührungslosen Abtasten einer nicht-spiegelnden Oberfläche, wie der Stereoskopie und der Laser-Triangulation, zu kombinieren.
-
Bei dem oben erläuterten Ausführungsbeispiel wird mittels einer Zeilenkamera ein Flächenbild erzeugt. Die vorliegende Erfindung kann gleichermaßen mittels einer Flächenkamera realisiert werden, welche anstelle eines Zeilensensors einen Flächensensor aufweist, der eine rechteckförmige Sensorfläche besitzt.
-
Mit dem erfindungsgemäßen Verfahren ist es auch möglich, anstelle eines Flächenbildes lediglich ein Zeilenbild zu erzeugen, wobei anhand der Zeilenbilder unterschiedlicher Kameramodule, die einen gemeinsamen Abtastbereich abtasten, die Disparitäten und damit ein Höhenprofil bestimmt werden kann. Bei Verwendung von Zeilenbildern müssen zur Bestimmung der Korrelation der Referenzausschnitte im Vergleich zu Flächenbildern wesentlich weniger Rechenvorgänge ausgeführt werden, weshalb die Disparitäten von Zeilenbildern wesentlich schneller und effizienter bestimmt werden können. Die Verwendung von Zeilenbildern ist daher zum Abtasten von sehr schnell entlang der Förderrichtung 7 bewegter Objekte von Vorteil.
-
Bei Verwendung von Zeilenbildern ist es grundsätzlich möglich, anstelle eines zweidimensionalen Messmusters, wie dem oben erläuterten Streifenmuster, auch ein eindimensionales Messmuster zu verwenden. Ein zweidimensionales Messmuster ist jedoch von Vorteil, da es einfacher mit der Sichtlinie 13 in Deckung gebracht werden kann.
-
Bei dem oben erläuterten Ausführungsbeispiel wird ein Streifenmuster als Messmuster verwendet. Grundsätzlich sind auch andere Muster geeignet. Ein Streifenmuster ist jedoch bevorzugt, da Verkippungen zwischen dem abzutastenden Objekt und der Projektionseinrichtung 3 bzw. dem Kameramodul 2 die geringsten Auswirkungen auf die erfassten dreidimensionalen Koordinaten des abzutastenden Objektes haben.
-
Bei dem oben erläuterten Ausführungsbeispiel werden mehrere Kameramodule verwendet, die jeweils ein Objektiv aufweisen. Bei obiger Erläuterung wird davon ausgegangen, dass die Objektive im Wesentlichen identisch ausgebildet sind. Diese Objektive besitzen damit im Wesentlichen identische Tiefenschärfebereiche, weshalb die unterschiedlichen Tiefenschärfenbereiche als ein gemeinsamer Tiefenschärfenbereich betrachtet werden. Sollten die Kameramodule unterschiedliche Objektive aufweisen, dann ist der Tiefenschärfenbereich mit der kleinsten räumlichen Ausdehnung maßgeblich für den Abtastbereich.
-
Bei dem oben erläuterten Ausführungsbeispiel werden die mit den Kameramodulen erfassten Farbbilder in ein erstes und zweites Graustufen-Flächenbild gemäß dem Schritt S3 umgesetzt. Es ist jedoch auch möglich die einzelnen Farbkanäle einer Farbkamera separat zu betrachten. Dies kann bspw. dazu verwendet werden, um mehrere Muster in unterschiedlichen Farben (z.B. Rot, grün und blau) gleichzeitig zu projizieren und jeweils mit einem Farbkanal zu Farbkamera zu erfassen. Hierdurch kann die Auflösung vervielfacht werden. Bei drei Farbmustern kann sie z.B. verdreifacht werden. Ein solch ein Mehrfachmuster kann bspw. mit einer Folie erzeugt werden, die abwechselnd mit einem roten, grünen und blauen Streifen bedruckt ist. Die Streifen können alle die gleiche Breite aufweisen. Dann ist der eindeutige Bereich sehr kurz, weshalb dann auch der Referenzausschnitt derart kurz ausgewählt werden muss. Die Streifen können auch mit unterschiedlicher Breite ausgebildet sein, um ein längere, eindeutige referenzausschnitte bereit zu stellen.
-
Bezugszeichenliste
-
- 1
- optische Abtastvorrichtung
- 2
- Stereo-Kamera
- 3
- Beleuchtungseinrichtung
- 4
- Steuereinrichtung
- 5
- Bewegungsdetektor
- 6
- Förderband
- 7
- Förderrichtung
- 8
- Kameramodul
- 9
- Kameramodul
- 10
- Kameramodul
- 11
- Kameramodul
- 12
- Objektiv
- 13
- Sichtlinie
- 14
- Streifenmuster
- 15
- Abtastbereich
- 16
- optische Achse
- 17
- Abtastebene (Kamerahauptebene)
- 18
- Referenzausschnitt
- 19
- Suchfenster
- 20
- Tiefenschärfenbereich
- 21
- Streifengitter
- 22
- Objekt
- 23
- Objektiv
- 24
- Projektionsbildebene
- 25
- Projektionsschärfenbereich
- 26
- Abtastbereich
- 27
- optische Achse
- 28
- halbdurchlässiger Spiegel
- 29
- Lot
- 30
- Blende
- 31
- Lichtstrahl
- 32
- schwarzer Körper
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2006/0158664 A1 [0011]
- DE 4134546 A1 [0011]
- DE 4416108 A1 [0011]
- DE 102015111120 [0049, 0074]
- DE 102015105656 [0053]