DE102017116758A1 - Verfahren und Vorrichtung zum Abtasten von Oberflächen mit einer Stereokamera - Google Patents

Verfahren und Vorrichtung zum Abtasten von Oberflächen mit einer Stereokamera Download PDF

Info

Publication number
DE102017116758A1
DE102017116758A1 DE102017116758.7A DE102017116758A DE102017116758A1 DE 102017116758 A1 DE102017116758 A1 DE 102017116758A1 DE 102017116758 A DE102017116758 A DE 102017116758A DE 102017116758 A1 DE102017116758 A1 DE 102017116758A1
Authority
DE
Germany
Prior art keywords
image
camera
scanned
specular
camera modules
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102017116758.7A
Other languages
English (en)
Other versions
DE102017116758B4 (de
Inventor
Peter Kempf
Markus Schnitzlein
Timo Eckhard
Maximilian Klammer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chromasens GmbH
Original Assignee
Chromasens GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chromasens GmbH filed Critical Chromasens GmbH
Publication of DE102017116758A1 publication Critical patent/DE102017116758A1/de
Application granted granted Critical
Publication of DE102017116758B4 publication Critical patent/DE102017116758B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Abtasten von Oberflächen mit einer Stereo-Kamera mit zumindest zwei Kameramodulen, welche jeweils ein Objektiv und einen Sensor aufweisen. Die Kameramodule sind derart angeordnet, dass sie von einem gemeinsamen Abtastbereich eine abzutastende Oberfläche jeweils ein Bild erfassen. Mit einer Projektionseinrichtung wird ein vorbestimmtes Messmuster auf den Abtastbereich projiziert, wobei im Messmuster ein Referenzausschnitt mit einer vorbestimmten Länge eindeutig ist. Anhand den mit den Kameramodulen erfassten Bildern werden Disparitäten ermittelt, wobei die Disparitäten anhand von einer Struktur in den Bildern bestimmt werden, die durch die Ausbildung der Oberfläche eines abzutastenden Objektes und/oder durch das Messmuster verursacht wird, und anhand der Disparitäten wird ein Höhenprofil bestimmt.

Description

  • Die Erfindung betrifft ein Verfahren und Vorrichtung zum Abtasten von Oberflächen mit einer Stereokamera.
  • Die vorliegende Erfindung wurde geschaffen, um folgende technische Problemstellungen zu lösen:
    Es sollen in hoher Stückzahl gefertigte Produkte optisch überwacht werden, welche Oberflächen besitzen, die zum Teil spiegelnd und zum Teil nicht-spiegelnd ausgebildet sind. Insbesondere sollte die relative Position der spiegelnden Oberflächen zu den nicht-spiegelnden Oberflächen eindeutig und schnell bestimmbar sein. Die Produkte werden entlang der Kamera mit hoher Geschwindigkeit bewegt. Hierbei sollen sie optisch abgetastet und die Auswertung der optischen Abtastung in Echtzeit ausgeführt werden. Zudem soll ein Höhenprofil der Produkte erstellt werden.
  • Bekannte optische Verfahren für eine dreidimensionale berührungslose Abtastung sind die Stereoskopie, Laser-Triangulation, Deflektometrie und Weißlicht-Interferometrie.
  • Mit der Stereoskopie und der Laser-Triangulation können keine spiegelnden Oberflächen abgetastet werden, da sie Streulicht erfassen. Die Deflektometrie, bei der eine Oberfläche durch Auswertung der Strahlablenkung an der Oberfläche bestimmt wird, funktioniert gut bei spiegelnden Oberflächen, da diese als Bestandteil des optischen Systems betrachtet werden können. Sie sind jedoch nicht für nicht-spiegelnde Oberflächen geeignet.
  • Mit der Weißlicht-Interferometrie können zwar spiegelnde und nicht-spiegelnde Oberflächen dreidimensional abgetastet werden. Dieses Verfahren ist auch sehr präzise. Die Abtastdauer ist jedoch sehr lang, so dass dieses Verfahren nicht für einen schnellen Produktionsprozess geeignet ist.
  • Grundsätzlich könnte man ein sowohl spiegelnde als auch nicht-spiegelnde Bereiche umfassendes Objekt mit einer Flächenkamera und unterschiedlichen Beleuchtungseinrichtungen abtasten, welche als Blitzlicht betrieben werden. Durch geschickte Wahl der Beleuchtungseinrichtungen für spiegelnde und für nicht-spiegelnde Oberflächen könnte z. B. eine Kombination aus Stereoskopie und Deflektometrie ausgeführt werden, um die entsprechenden Oberflächen zuverlässig abzutasten. Ein solches Verfahren bzw. eine solche Vorrichtung ist sehr aufwändig, da sie einerseits eine Vielzahl unterschiedlicher Elemente benötigen und andererseits die Auswertungen mit den unterschiedlichen Verfahren sehr anspruchsvoll sind.
  • Die Deflektometrie ist zwar ein sehr zuverlässiges und präzises Verfahren zum Abtasten von spiegelnden Oberflächen. Bei der vorliegenden Problemstellung zeigt sich jedoch, dass es kein einfaches, kostengünstiges Verfahren zum dreidimensionalen Abtasten von spiegelnden Oberflächen gibt, das eine schnelle Auswertung erlaubt.
  • Eine Aufgabe der vorliegenden Erfindung ist es deshalb, ein Verfahren zum Abtasten von Oberflächen mit einer Stereokamera zu schaffen, mit welchem spiegelnde Oberflächen auf einfache Art und Weise zuverlässig abgetastet werden können.
  • Diese Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind in den jeweiligen Unteransprüchen angegeben.
  • Die vorliegende Erfindung betrifft ein Verfahren zum Abtasten von spiegelnden Oberflächen mit einer Stereokamera mit
    zumindest zwei Kameramodulen, welche jeweils ein Objektiv und einen Sensor aufweisen, und derart angeordnet sind, dass sie von einem gemeinsamen Abtastbereich einer abzutastenden Oberfläche jeweils ein Bild erfassen,
    zumindest einer Projektionseinrichtung zum Projizieren eines vorbestimmten Messmusters auf den Abtastbereich, wobei die Kameramodule auf den Projektor bzw. die Projektionseinrichtung fokussiert sind, so dass ein das Messmuster erzeugende Element des Projektors auf das jeweilige Kameramodul abgebildet wird, wobei Disparitäten anhand von den Messmustern, die in den mit beiden Kameramodulen erfassten Bildern enthalten sind, bestimmt werden, und
    anhand der Disparitäten ein Höhenprofil ermittelt wird.
  • Verfahren zum Abtasten von Oberflächen mit unterschiedlichen Messmustern, die mit einer einzelnen Kamera erfasst werden, sind hinlänglich bekannt. Diese Verfahren beruhen auf der photogrammetrischen 3D-Oberflächenrekonstruktion. Derartige Verfahren gehen z. B. aus der US 2006/0158664 A1 , der DE 41 34 546 A1 oder der DE 44 16 108 A1 hervor. Hierbei wird jeweils eine Flächenkamera verwendet, mit welcher mehrere zweidimensionale Muster aufeinanderfolgend abgetastet werden. Diese Muster werden auf eine zu untersuchende Oberfläche projiziert und diese Oberfläche wird auf die Kamera abgebildet.
  • Das erfindungsgemäße Verfahren unterscheidet sich von diesem Stand der Technik dadurch, dass nicht die zu untersuchende Oberfläche auf die Kamera abgebildet wird, sondern das das Messmuster erzeugende Element des Projektors. Dieses Element ist bspw. ein Gitter, das vom Projektor ausgeleuchtet wird. Mit anderen Worten kann man sagen, dass die Kamera nicht die Oberfläche sondern das das Messmuster erzeugende Element betrachtet, wobei die entsprechenden Lichtstrahlen an der spiegelnden Oberfläche reflektiert werden.
  • Dieses Verfahren ist sogar für die Verwendung von Zeilenkameras geeignet, da aufgrund der spiegelnden Oberfläche eine sehr hohe Lichtintensität zu den Kameramodulen gelenkt wird, so dass ein eindimensionales Muster mit ausreichendem Kontrast mit einer Zeilenkamera erfasst werden kann.
  • Von den oben angegebenen herkömmlichen photogrammetrischen Verfahren unterscheidet sich das erfindungsgemäße Verfahren dadurch, dass nicht mehrere Streifenmuster unter verschiedenen Ausrichtungen der Streifenverläufe auf das abzutastende Objekt projiziert werden, was bei einem eindimensionalen Abtastbereich nicht funktioniert.
  • Durch die Verwendung einer Stereokamera kann bereits aus einem einzigen projizierten Messmuster ein Höhenprofil bestimmt werden. Dis gilt insbesondere, wenn ein vorbestimmter Referenzausschnitt mit einer vorbestimmten Länge des Messmusters eindeutig ist. Ein Referenzausschnitt ist ein Ausschnitt eines mit einem der beiden Kameramodule erfassten Bildes, der zur Bestimmung der Disparitäten verwendet wird, wobei der Referenzausschnitt mit entsprechenden Referenzausschnitten eines mit dem anderen Kameramodul erfassten Bildes verglichen wird, wobei die örtliche Abweichung zweier übereinstimmender Referenzausschnitte in den unterschiedlichen Bildern eine Disparität bildet. Wählt man den Referenzausschnitt sehr kurz, z.B. zwei Bildpunkte, dann ist es nicht möglich das Erfordernis der Eindeutigkeit zu erfüllen, da es nur vier mögliche Muster (00, 01, 10, 11) gibt, jedoch die Anzahl der einzelnen Referenzausschnitte in einem jeden Bild wesentlich höher ist. Sehr lange Referenzausschnitt sollten auch nicht verwendet werden, denn dadurch würde der Bereich, in welchem Disparitäten bestimmt werden können erheblich eingeschränkt werden, wie es weiter unten anhand eines Ausführungsbeispiels näher erläutert wird. Die Länge des Referenzausschnitts ist deshalb in Abhängigkeit der Gesamtzahl der mit den jeweiligen Kameramodulen erfassten Bildpunkte und des Bereiches zu wählen, für den die Disparitäten bestimmt werden sollen. Der Referenzausschnitt weist vorzugsweise zumindest neun, insbesondere zumindest 11 und vorzugsweise zumindest 15 Bildpunkte auf. Er sollte in der Regel nicht länger sein als 35 Bildpunkte oder insbesondere nicht länger als 25 Bildpunkte.
  • Eindeutig heißt, dass ein beliebiger Referenzausschnitt einer Bildzeile, die mit einem der beiden Kameramodule erfasst wird, einem Referenzausschnitt in der mit dem anderen Kameramodul erfassten Bildzeile eindeutig zugeordnet werden kann. Dies schließt jedoch nicht aus, dass innerhalb eines Messmusters ein bestimmter Referenzausschnitt auch ein weiteres Mal vorkommen darf. Sollte innerhalb einer Bildzeile ein Referenzausschnitt mehrfach vorkommen, dann sollten jedoch zwei identische benachbarte Referenzausschnitte so weit voneinander entfernt sein, dass deren jeweilige Abbildung in den beiden Bildzeilen nicht vertauscht werden kann. Vorzugsweise sind die Messmuster so ausgebildet, dass ein jeder beliebiger Referenzausschnitt einer vorbestimmten Länge im Messmuster einzigartig ist. Solche Messmuster können z. B. durch Verwenden einer Folge maximaler Länge bzw. Maximalfolge (MLS: maximum length sequence) erzeugt werden.
  • Die Erfinder der vorliegenden Erfindung haben einerseits erkannt, dass vor allem bei spiegelnden Oberflächen die reflektierte Lichtintensität so hoch ist, dass mit herkömmlichen, einfachen Beleuchtungseinrichtungen ein Messmuster zuverlässig mit einem Zeilensensor abgetastet werden kann. Dieses Verfahren ist daher besonders zum Abtasten von spiegelnden Oberflächen geeignet.
  • Aus den Disparitäten, die anhand von Bildern einer spiegelnden Oberfläche bestimmt werden, wird das Höhenprofil gemäß folgender Formel berechnet R = B·f1 / 2·d, wobei R ein Abstand zwischen der Oberfläche und der Stereokamera, B die optische Basis der Stereokamera, f1 die Brennweite der Objektive der Kameramodule ist, mit welchen das das Messmuster erzeugende Element des Projektors auf das jeweilige Kameramodul abgebildet wird.
  • Sind jedoch die Kamera und auch die Projektionseinrichtung gegenüber einem Lot der abzutastenden Oberfläche um einen Winkel α geneigt, dann kann die obige Formel durch einen Korrekturfaktor ergänzt werden, so dass sich folgende Formel ergibt: R = B·f1 / d· cosα / 1 + cos(2α)
  • Beim Abtasten von nicht spiegelnden Oberflächen hat sich gezeigt, dass die in den von den unterschiedlichen Kameramodulen vom gleichen Abtastbereich erfassten Bilder auch ähnliche zur Bestimmung von Disparitäten geeignete Strukturen enthalten, die durch farbliche und/oder texturierte Strukturen der Oberfläche des abzutastenden Objektes, Licht-/Schattenbildung aufgrund einer dreidimensionalen Kontur des Objektes und/oder durch das Messmuster verursacht werden. Bei einem Objekt mit einer ausgeprägten Eigenstruktur tritt die Wirkung des Messmusters in den Hintergrund, wohingegen bei einer gleichmäßig gefärbten und wenig texturierten Oberfläche des Objektes das Messmuster in den Bildern erkennbar und zusammen mit der Licht-Schattenbildung die Struktur bewirkt.
  • Bei Disparitäten, die anhand von Bildern einer nicht-spiegelnden Oberfläche bestimmt werden, wird das Höhenprofil gemäß folgender Formel berechnet R = B·f2 / d, wobei R wieder der Abstand zwischen der Oberfläche und der Stereokamera, B die optische Basis der Stereokamera, f2 die Brennweite der Objektive der Kameramodule ist, mit welchen die abzutastende Oberfläche auf die Kameramodule abgebildet wird.
  • Sind jedoch die Kamera und auch die Projektionseinrichtung gegenüber einem Lot der abzutastenden Oberfläche um einen Winkel α geneigt, dann kann die obige Formel durch einen Korrekturfaktor ergänzt werden, so dass sich folgende Formel ergibt:
  • R = B·f2 / d·cosα
  • Bei diesem Verfahren wird durch lediglich einen einzigen Abtastvorgang mit einem einzigen Messmuster ein Höhenprofil einer Bildzeile erzeugt. Dieses Höhenprofil kann in Echtzeit aus den Disparitäten berechnet werden.
  • Werden die Höhenprofile für spiegelnde und nicht spiegelnde Oberflächen jeweils anhand von Disparitäten berechnet, dann sind hierzu gemäß obiger Ausführung unterschiedliche Formeln bzw. Berechnungsmethoden anzuwenden, die den unterschiedlichen Lichtweg von Lichtquelle zur abzutastenden Oberfläche und zur Stereokamera bzw. von der abzutastenden Oberfläche zur Stereokamera berücksichtigen.
  • Die Objektive der Kameramodule können mit ihrer Brennweite in den Bereich zwischen der abzutastenden Oberfläche und der Projektionseinrichtung derart eingestellt sein, dass sowohl die abzutastenden Oberfläche als auch die Projektionseinrichtung sich in den Tiefenschärfenbereichen der Objektive befinden. Hierdurch können gleichzeitig spiegelnde und nicht-spiegelnde Oberflächen abgetastet werden.
  • Die Objektive der Kameramodule können auch abwechselnd auf die abzutastende Oberfläche und die Projektionseinrichtung derart fokussiert werden, dass einmal die abzutastenden Oberfläche und das andere Mal das das Messmuster erzeugende Element des Projektors auf das jeweilige Kameramodul abgebildet wird. Hierdurch können abwechselnd spiegelnde und nicht-spiegelnde Oberflächen abgetastet werden.
  • Vorzugsweise wird beim erfindungsgemäßen Verfahren automatisch bestimmt, ob die abzutastende Oberfläche einen spiegelnden Bereich und/oder einen nicht-spiegelnden Bereich aufweist und die Höhenprofile entsprechend den oben erläuterten Verfahren bestimmt werden.
  • Bei nicht-spiegelnden Bereichen kann die Eigenstruktur dieser Bereiche verwendet werden, um die Disparitäten zu bestimmen. Grundsätzlich ist es auch möglich, bei nicht-spiegelnden Bereichen, die durch das Messmuster verursachte Struktur zur Bestimmung der Disparitäten zu verwenden. Jedoch sind die Reflektionseigenschaften eines nicht-spiegelnden Bereiches geringer als eines spiegelnden Bereiches, wodurch ein projiziertes Messmuster manchmal nicht mit ausreichender Helligkeit bzw. mit ausreichendem Kontrast in den abgetasteten Bildern erkennbar und zur Bestimmung der Disparitäten geeignet ist.
  • Spiegelnde und nicht-spiegelnde Bereiche der abzutastenden Oberfläche können nach einem oder mehreren der folgenden Methoden bestimmt werden:
    • 1. Anhand von CAD-Daten eines abzutastenden Objekts können spiegelnde und nicht-spiegelnde Bereiche unterschieden werden. Die CAD-Daten enthalten oftmals Materialeigenschaften, aus welchen spiegelnde und nicht-spiegelnde Bereiche abgeleitet werden können. Mit einem optischen Bildanalyseverfahren muss lediglich das abzutastende Objekt erkannt und mit den CAD-Daten in Übereinstimmung gebracht werden. Vorzugsweise wird ein optisches Bildanalyseverfahren zum automatischen Erkennen von Kanten zusätzlich eingesetzt, wodurch die einzelnen Bereiche automatisch detektiert werden.
    • 2. Man kann in Kombination eine nicht-diffuse Hellfeldbeleuchtung und eine diffuse Dunkelfeldbeleuchtung verwenden. Bei spiegelnden Oberflächen wird die diffuse Dunkelfeldbeleuchtung in allen möglichen Richtungen reflektiert, sodass die Stereokamera die spiegelnden Bereiche nur als dunkle Bereiche bei Beleuchtung mit der Dunkelfeldbeleuchtung sieht. Hierdurch können mit Hilfe der Dunkelfeldbeleuchtung auf einfache Art und Weise spiegelnde Bereiche und nicht-spiegelnde Bereiche unterschieden werden. Die Hellfeldbeleuchtung und die Dunkelfeldbeleuchtung kann im Frequenzmultiplex angelegt werden. Das heißt, dass die Hellfeldbeleuchtung eine Lichtquelle aufweist, deren Wellenlängenbereich sich von der Lichtquelle der Dunkelfeldbeleuchtung unterscheidet. Ist die Stereokamera eine Farbkamera, dann können die jeweiligen Farbkanäle zum Detektieren der jeweiligen Frequenzbereiche der Hellfeldbeleuchtung und der Dunkelfeldbeleuchtung verwendet werden. Grundsätzlich ist es auch möglich, die Hellfeldbeleuchtung und die Dunkelfeldbeleuchtung im Zeitmultiplex anzulegen, das heißt, zu einem bestimmten Zeitpunkt ist die Hellfeldbeleuchtung und zu einem anderen Zeitpunkt die Dunkelfeldbeleuchtung eingeschaltet. Dies ist vor allem bei Flächenkameras zweckmäßig, da hier größere Bereiche auf einmal ausgeleuchtet werden können. Bei Zeilenkameras ist ein Zeitmultiplex praktisch nur mit eingeschränkter Auflösung oder Abtastrate möglich, da die abzutastende Oberfläche zeilenweise abgetastet wird und aufgrund des Zeitmultiplex doppelt so viele Abtastungen notwendig sind. Die Hellfeldbeleuchtung und die Dunkelfeldbeleuchtung können auch mit unterschiedlichen Polarisationsebenen ausgebildet sein, sodass sie gleichzeitig auf die abzutastende Oberfläche gestrahlt werden können und separat detektierbar sind.
    • 3. Die nicht-spiegelnden Bereiche können auch anhand der Detektion einer Eigenstruktur bestimmt werden. Hierzu kann es zweckmäßig sein, dunkle Bereiche des Musters auszublenden. Bei gutem Kontrast kann dies z. B. automatisch durch Ausblenden von Bereichen, deren Helligkeit einen vorbestimmten Schwellwert unterschreitet, erfolgen.
  • Die Objektive der Kameramodule sind vorzugsweise derart angeordnet, dass der Abtastbereich in einem Tiefenschärfenbereich angeordnet ist, der der Bereich ist, in dem eine Abbildungsschärfe beider Objektive eine vorbestimmte Mindestschärfe aufweist, und ein Projektionsschärfenbereich der Projektionseinrichtung der Bereich ist, in dem das Messmuster mit einer vorbestimmten Projektionsschärfe projiziert wird, und der Projektionsschärfenbereich mit dem Tiefenschärfenbereich überlappt und dieser überlappende Schärfebereich den Abtastbereich in Blickrichtung der Kameramodule begrenzt. Hierdurch wird sichergestellt, dass die projizierten Messmuster zuverlässig erfasst und anhand der Disparitäten ein Höhenprofil bestimmt werden kann.
  • Die Mindestschärfe ist vorzugsweise als Restmodulation von zumindest 15 % eines regelmäßigen schwarz-weiß-Linienmusters mit einer Linienbreite definiert, die der Breite eines kleinsten Musterelementes des Messmusters entspricht.
  • Das erfindungsgemäße Verfahren ist für Zeilenkameras geeignet, welche Zeilenbilder erfassen. Bei solchen Zeilenkameras könnte grundsätzlich das Messmuster ein eindimensionales Muster sein. In diesem Fall ist die Breite eines kleinsten Musterelements die kleinste Länge eines Musterelements im eindimensionalen Messmuster. Vorzugsweise wird als Messmuster jedoch ein zweidimensionales, insbesondere streifenförmiges Messmuster verwendet, auch wenn Zeilenbilder erfasst werden, da die Ausrichtung eines Messmusters mit Linien wesentlich gröber als die Ausrichtung eines eindimensionalen Messmusters erfolgen kann. Ein eindimensionales Messmuster muss im Wesentlichen lotrecht auf die abzutastende Oberfläche projiziert werden, weshalb es in der Praxis nur von geringer Bedeutung ist.
  • Vorzugsweise ist die Mindestschärfe als Restmodulation von zumindest 20 %, insbesondere zumindest 30 % bzw. zumindest 40 % eines solchen regelmäßigen schwarz-weiß-Linienmusters definiert.
  • Vorzugsweise wird zur Bestimmung der Disparitäten in einem ersten der beiden Bilder, das auch ein Zeilenbild sein kann, einer der Referenzausschnitte um jeweils einen vorbestimmten Bildpunkt ausgelesen, dieser Referenzausschnitt in einen Bereich um einen Bildpunkt des zweiten Bildes an mehreren Positionen angeordnet, wobei der Bildpunkt des zweiten Bildes dem Bildpunkt des ersten Bildpunktes geometrisch entspricht. An einer jeden Position des Referenzausschnittes des ersten Bildes im zweiten Bild wird ein Korrelationswert berechnet, der angibt, wie exakt der Referenzausschnitt des ersten Bildes mit dem jeweiligen Bereich des zweiten Bildes übereinstimmt. Die Position des Referenzausschnittes im zweiten Bild, für welche der beste Korrelationswert bestimmt wird, wird ausgewählt und der Abstand des vorbestimmten Bildpunktes des Referenzausschnittes des ersten Bilds an der ausgewählten Position zum geometrisch entsprechenden Bildpunkt des zweiten Bildes wird als Disparität dem vorbestimmten Bildpunkt im ersten Bild zugeordnet und diese Bestimmung der Disparität wird für weitere Bildpunkte eines vorbestimmten Bereiches des ersten Bildes wiederholt.
  • Vorzugsweise kann zum Bestimmen der Disparität eine Näherungsfunktion erstellt werden, die den Zusammenhang zwischen den Abständen der Referenzausschnitte und den entsprechenden Korrelationswerten beschreibt. Hierbei wird der Abstand als Disparität bestimmt, an welchem diese Näherungsfunktion ein Maximum (= maximale Korrelation) aufweist.
  • Als Korrelationswert kann die Summe der Quadrate der Differenzen der Intensitätswerte der Bildpunkte oder ein Kreuzkorrelationswert berechnet werden.
  • Mit diesem Verfahren kann eine spiegelnde Oberfläche abgetastet werden. Mit diesem Verfahren ist es auch möglich, eine Oberfläche abzutasten, welche sowohl zumindest einen spiegelnden als auch zumindest einen nicht spiegelnden Abschnitt aufweist. Bei nicht-spiegelnden Oberflächen, die zudem keine Struktur aufweisen und insbesondere mit einer dunklen Oberfläche ausgebildet sind, kann die mit dem erfindungsgemäßen Verfahren realisierbare Auflösung gering sein. Daher kann es auch zweckmäßig sein, das erfindungsgemäße Verfahren mit einem herkömmlichen Verfahren, wie z. B. der Stereoskopie oder der Laser-Triangulation, zu kombinieren, um nicht-spiegelnde Abschnitte der Oberfläche alternativ mit hoher Auflösung zu erfassen.
  • Gemäß einem weiteren Aspekt der Erfindung wird eine Vorrichtung mit zumindest einer Stereokamera mit zumindest zwei Kameramodulen vorgesehen, welche jeweils ein Objektiv und einen Sensor, insbesondere einen Zeilensensor aufweisen, wobei die Kameramodule derart angeordnet sind, dass sie von einem gemeinsamen Bereich einer abzutastenden Oberfläche jeweils ein Bild erfassen, und die Stereokamera eine Steuereinrichtung aufweist, die zum Ausführen eines der oben erläuterten Verfahren ausgebildet ist.
  • Die Erfindung wird nachfolgend beispielhaft anhand der Zeichnungen näher erläutert. Die Zeichnungen zeigen in:
  • 1 schematisch eine Vorrichtung zum Abtasten von Oberflächen mit einer Stereo-Kamera in einer perspektivischen Ansicht,
  • 2 ein Schema zum Ermitteln von Disparitäten in einem mit der in 1 gezeigten Kamera aufgenommenen Bild,
  • 35 jeweils schematisch die Anordnung der Kamera und eine Beleuchtungseinrichtung unterschiedlicher Vorrichtungen zum Abtasten von Oberflächen,
  • 6 ein Verfahren zum Abtasten einer Oberfläche in einem Flussdiagramm, und
  • 7 schematisch eine Vorrichtung zum Abtasten von Oberflächen mit einer Stereokamera und einer Projektionseinrichtung, welche gegenüber einem Lot auf einer abzutastenden Oberfläche geneigt angeordnet sind.
  • Die Erfindung wird zunächst anhand eines ersten Ausführungsbeispiels (1) einer optischen Abtastvorrichtung 1 mit einer Stereo-Kamera 2 erläutert. Die Abtastvorrichtung 1 weist neben der Kamera 2 eine Beleuchtungs- bzw. Projektionseinrichtung 3 und eine Steuereinrichtung 4 auf. Die Abtastvorrichtung kann zudem mit einem Bewegungsdetektor 5 versehen sein, mit welchem die Bewegung eines abzutastenden Objektes oder eines Förderbandes 6, das in Förderrichtung 7 bewegt wird, abgetastet wird. Die Projektionseinrichtung 3 projiziert ein vorbestimmtes Muster auf einen Abtastbereich. Hierzu kann die Projektionseinrichtung 3 ein Objektiv aufweisen. Ein solches Objektiv ist jedoch nicht notwendiger Bestandteil der Projektionseinrichtung 3, wie es z.B. das unten näher erläuterte und in 3 gezeigt Ausführungsbeispiel zeigt.
  • Grundsätzlich ist es auch möglich, dass die Abtastvorrichtung 1 bewegt wird und die abzutastende Oberfläche still steht.
  • Im vorliegenden Ausführungsbeispiel weist die Stereo-Kamera 2 vier Kameramodule 8, 9, 10, 11 auf. Ein jedes Kameramodul 8, 9, 10, 11 ist aus einem Objektiv 12 und einem Bildsensor (nicht dargestellt) ausgebildet.
  • Für das erfindungsgemäße Verfahren genügen grundsätzlich zwei Kameramodule. Im vorliegenden Ausführungsbeispiel sind die unterschiedlichen Kameramodule mit Farbfilter versehen, so dass die unterschiedlichen Kameramodule unterschiedliche Farben erfassen. Hierdurch können die abzutastenden Objekte spektral analysiert werden, wie es beispielsweise in der deutschen Patentanmeldung DE 10 2015 111 120 beschrieben ist. Die vorliegende Abtastvorrichtung kann jedoch auch mit Kameramodulen ausgebildet sein, welche andere Filter (z.B. Polarisationsfilter) oder keine spektralen Filter oder keine sonstigen Filter (z.B. Polarisationsfilter) aufweisen.
  • Die Kamera weist einen einzigen Zeilensensorchip auf, wobei Abschnitte dieses Zeilensensorchips den jeweiligen Bildsensor für die jeweiligen Kameramodule 8, 9, 10, 11 bilden. Im Rahmen der Erfindung ist es selbstverständlich auch möglich, dass eine jede einzelne Kamera einen separaten Sensorchip besitzt. Der Sensorchip kann auch ein Flächensensor sein.
  • Die vier Kameramodule 8, 9, 10, 11 sind derart ausgerichtet, dass sie alle einen gemeinsamen Bereich des Förderbandes 6 erfassen. Dieser gemeinsame Bereich ist eine quer zur Förderrichtung 7 verlaufende Sichtlinie 13.
  • Die Beleuchtungseinrichtung 3 ist eine Projektionseinrichtung, welche eine Lichtquelle und ein Objektiv zum Projizieren eines Musters auf das Förderband 6 im Bereich der Sichtlinie 13 aufweist. Im vorliegenden Ausführungsbeispiel ist das Muster ein Streifen- bzw. Linienmuster 14 mit einer Vielzahl von sich abwechselnden dunklen und hellen Streifen. Dieses Streifenmuster 14 wird dadurch erzeugt, dass ein in der Projektionseinrichtung 3 angeordnetes, streifenförmiges Gitter auf das Förderband 6 abgebildet wird. Das Gitter kann als Glasplättchen oder Kunststofffolie ausgebildet sein, in welchen die Gitterlinien eingeritzt, aufgedruckt oder als Metallschicht aufgedampft sind.
  • Es können auch noch andere Beleuchtungseinrichtungen vorgesehen sein, die die Sichtlinie 13 mit einem gleichmäßigen Licht (kein Streifenmuster) ausleuchten. Diese weiteren Beleuchtungseinrichtungen können auch als Hellfeldbeleuchtung und/oder als Dunkelfeldbeleuchtung und/oder als Durchlichtbeleuchtung ausgebildet sein. Die unterschiedlichen Lichtquellen können abwechselnd (Zeitmultiplex) oder in verschiedenen Farben (Frequenzmultiplex) das abzutastende Objekt ausleuchten. Dies wird als Multiplexbeleuchtung bezeichnet. Eine solche Multiplexbeleuchtung ist beispielsweise in der deutschen Patentanmeldung DE 10 2015 105 656 beschrieben, auf welche hiermit Bezug genommen wird.
  • Wie es weiter unten näher erläutert wird, kann mit der optischen Abtastvorrichtung 1 die räumliche Struktur der abzutastenden Oberfläche erfasst werden. Entlang der Sichtlinie 13 ist ein Abtastbereich 15 ausgebildet, der sich entlang den optischen Achsen 16 der einzelnen Kameramodule 811 ein Stück in Richtung zur Kamera 2 und ein Stück weg von der Kamera 2 erstreckt.
  • Die Anordnung der Projektionseinrichtung 3 bezüglich der Stereo-Kamera 2 ist schematisch in 3 dargestellt.
  • Die Stereo-Kamera 2 ist auf eine Abtastebene 17 fokussiert, welche auch als Fokusebene der Kamera oder Kamerahauptebene bezeichnet wird. Die Abtastebene 17 wird vom Objektiv des jeweiligen Kameramoduls auf einen Sensorchip abgebildet, wobei um die Abtastebene 17 ein Tiefenschärfenbereich 20 ausgebildet ist. Mit der Beleuchtungs- oder Projektionseinrichtung 3 wird ein Streifengitter 21 auf das abzutastendes Objekt 22 projiziert.
  • Bei dieser Ausführungsform befindet sich das Streifengitter 21 im Tiefenschärfenbereich 20. Hierdurch wird das Streifengitter 21 bei einer spiegelnden Oberfläche auf die Sensoren der Kameramodule 811 abgebildet.
  • Der Erfindung liegt somit die Erkenntnis zugrunde, dass man mittels der spiegelnden Oberfläche eines Objektes mit den Kameramodulen 811 direkt auf das Streifengitter 21 blicken kann, wenn dieses sich im Tiefenschärfenbereich 20 befindet.
  • Das Streifengitter 21 ist derart ausgebildet und angeordnet, dass die einzelnen, auf das Objekt 22 projizierten Streifen des Streifengitters 21 ein Streifenmuster bilden, das in etwa quer zur Sichtlinie 13 verläuft, die in der Zeichnungsebene der 3 liegt. Die Länge des projizierten Streifenmusters entspricht zumindest der Länge der Sichtlinie 13. Die Breite des Streifenmusters ist so gewählt, dass auch bei einer Verkippung des Messobjektes 22 orthogonal zur Förderrichtung 7 die Sichtlinie 13 vollständig vom Streifenmuster abgedeckt wird.
  • Durch die Anordnung des Streifengitters 21 im Tiefenschärfenbereich 20 ist sichergestellt, dass das Streifengitter auf die Sensoren der Kameramodule abgebildet wird.
  • Da sich auch die Oberfläche des abzutastenden Objektes 22 im Tiefenschärfenbereich 20 befindet wird auch diese auf die Sensoren der Kameramodule abgebildet.
  • Der Abtastbereich 15 wird durch eine Überlappung eines Tiefenschärfenbereichs der Kameramodule 811 und eines Projektionsschärfenbereichs der Projektionseinrichtung 3 ausgebildet.
  • Der Tiefenschärfenbereich ist der Bereich, in dem eine Abbildungsschärfe der Objektive 12 der Kameramodule 811 eine bestimmte Mindestschärfe aufweist. Der Projektionsschärfenbereich der Projektionseinrichtung 3 ist der Bereich, in dem ein mit der Projektionseinrichtung 3 projiziertes Messmuster mit einer vorbestimmten Projektionsschärfe projiziert wird. Das Objektiv der Projektionseinrichtung 3 ist vorzugsweise so eingestellt, dass das Messmuster auf einer Abtastebene 17 abgebildet wird, die sich entweder mit der Oberfläche des Förderbandes 6 deckt oder ein kleines Stück oberhalb des Förderbandes und parallel zur Oberfläche des Förderbandes angeordnet ist. Die Objektive 12 sind derart angeordnet und ausgebildet, dass sie die Abtastebene 17 exakt auf den bzw. die in den einzelnen Kameramodulen 811 angeordneten Sensorchip abbilden. Da mit der Abtastvorrichtung 1 Objekte mit räumlicher Kontur abgetastet werden sollen, können sich diese Objekte grundsätzlich ein Stück oberhalb bzw. unterhalb der Abtastebene 17 erstrecken. Deckt sich die Abtastebene 17 mit der Oberfläche des Förderbandes 6, dann kann sich das Objekt selbstverständlich nur in den Bereich oberhalb der Abtastebene befinden. Je weiter ein Punkt des abzutastenden Objektes von der Abtastebene 17 entfernt ist, desto unschärfer wird das Muster an dieser Stelle auf das Objekt projiziert und desto unschärfer wird dieser Punkt mit den jeweiligen Kameramodulen 811 erfasst.
  • Es wird davon ausgegangen, dass die einzelnen Kameramodule 811 identisch ausgebildet sind, so dass sie alle den gleichen Tiefenschärfenbereich besitzen. Grundsätzlich ist es jedoch auch möglich, dass die einzelnen Kameramodule 811 unterschiedlich ausgebildet sind und unterschiedlich große Tiefenschärfenbereiche aufweisen. In diesem Fall wird der Abtastbereich 15 durch eine Überlappung des kleinsten der Tiefenschärfenbereiche eines der Kameramodule 811 und des Projektionsschärfenbereiches ausgebildet.
  • Die Schärfe der Projektion bzw. Abbildung wird folgendermaßen definiert:
    Ein periodisches Linienmuster aus mehreren parallelen, gleich breiten schwarzen Linien mit einer Lücke zwischen zwei benachbarten schwarzen Linien, die der Linienbreite der schwarzen Linien entspricht, wird einerseits fiktiv mit der Projektionseinrichtung auf die Abtastebene 17 projiziert und andererseits in der Abtastebene 17 von den Kameramodulen 811 erfasst. Beim Projizieren erhält man an den Bereichen der schwarzen Linien jeweils eine minimale Intensität (min(I)) und für die Bereiche der Lücken eine maximale Intensität (max(I)). Beim Abbilden mit den Kameramodulen ist ein solches perfektes Linienmuster in der Abtastebene 17 angeordnet, um die Schärfe der Abbildung der einzelnen Kameramodule zu bestimmen.
  • Die Linienbreite der Linien dieser Muster in der Abtastebene 17 kann grundsätzlich frei gewählt werden. Es ist jedoch zweckmäßig, diese Linienbreite so zu wählen, dass sie etwa dem kleinsten Element des Messmusters in Richtung der Sichtlinie 13 entspricht. Wird als Messmuster ein Linien- bzw. Streifenmuster verwendet, dann entspricht die Länge des kleinsten Elementes der Breite des dünnsten Streifens des Messmusters. Hierdurch wird sichergestellt, dass die Schärfe die Projektion bzw. Abbildung des Messmusters korrekt beschreibt.
  • Als Wert für die Schärfe wird die sogenannte Restmodulation c verwendet, die auch als Michelson-Kontrast bezeichnet und gemäß folgender Formel berechnet wird:
    Die Mindestschärfe c beträgt zumindest 15%. Vorzugsweise beträgt die Mindestschärfe c zumindest 20 und insbesondere zumindest 30%.
  • Der Abtastbereich 15 ist somit derjenige Bereich um die Sichtlinie 13, in dem sowohl die Projektionsschärfe als auch die Tiefenschärfe jeweils die vorbestimmte Mindestschärfe c aufweisen.
  • Bei einem Prototyp wurden Kameramodule verwendet, bei welchen die Bildpunkte des Sensorchips eine Größe von 30 µm aufweisen. Für den Tiefenschärfenbereich ergaben sich folgende Werte bei einer Restmodulation c von 30%:
    Frequenz des Linienmusters Maximaler unterer Abstand von der Abtastebene Maximaler oberer Abstand von der Abtastebene
    20 Pixel/Periode 14 mm 14,8 mm
    14 Pixel/Periode 12 mm 12,8 mm
    8 Pixel/Periode 6 mm 6,8 mm
  • Die Periode umfasst jeweils eine dunkle und eine helle Linie. Die Breite einer Linie entspricht der halben Breite der Periode.
  • Nachfolgend wird ein Verfahren erläutert, bei dem die oben beschriebene Abtastvorrichtung 1 verwendet wird, um eine sich in Förderrichtung 7 bewegende Oberfläche abzutasten (6). Das Verfahren wird zur Vereinfachung der Erläuterung lediglich anhand zweier Kameramodule erläutert, die eine Stereo-Kamera bilden. Das Verfahren ist auf eine Mehrfach-Kamera mit einer an sich beliebigen Anzahl von Kameramodulen erweiterbar.
  • Das Verfahren beginnt mit dem Schritt S1.
  • Mit den beiden Kameramodulen 8, 9 werden mehrere aufeinander folgende Zeilenbilder der sich in Förderrichtung 7 bewegenden Oberfläche des Förderbandes 6 bzw. von auf dem Förderband 6 befindlichen Objekten erfasst (Schritt S2). Die jeweilige Bildaufnahme eines Zeilenbildes wird mittels des Bewegungsdetektors 5 derart gesteuert, dass die einzelnen Zeilenbilder von gleichmäßig beabstandeten Sichtlinien 13 auf dem abzutastenden Objekt erfasst werden. Die einzelnen Zeilenbilder können zu einem farbigen oder mehrkanaligen Flächenbild zusammengesetzt werden, wobei mit dem Kameramodul 8 ein erstes Flächenbild und mit dem Kameramodul 9 ein zweites Flächenbild erzeugt wird. Ein mehrkanaliges Flächenbild enthält an den einzelnen Bildpunkten mehrere Intensitätswerte, die aus den Intensitäten unterschiedlicher Farbkanäle stammen können. Bei einem RGB-Sensorchip gibt es separate Sensorzeilen für Rot, Grün und Blau und dementsprechend separate Intensitätswerte für die Farben Rot, Grün und Blau. Diese mehreren Intensitäten können, aber müssen nicht ein Farbbild ergeben.
  • Diese Farbbilder werden in ein erstes und zweites Graustufen-Flächenbild (Schritt S3) umgesetzt. Hierbei können herkömmliche Algorithmen zum Umsetzen eines Farbbildes in ein Schwarz-Weiß-Bild verwendet werden. Es kann auch eine Transformation verwendet werden, mit welcher die im Farbbild enthaltene Information maximal in das entsprechende Graustufenbild übertragen wird. Eine solche Transformation ist beispielsweise in der deutschen Patentanmeldung DE 10 2015 111 120 beschrieben.
  • Die Umsetzung der Farbbilder in Merkmalsbilder bzw. Graustufenbilder, bei welchen jedem Bildpunkt lediglich ein einzelner Intensitätswert zugeordnet ist, erleichtert die nachfolgend erläuterte Bestimmung der Disparitäten. Grundsätzlich kann auch ein Schwarz-/Weiß-Sensorchip verwendet werden, welcher unmittelbar ein Graustufenbild erzeugt. Dann liegt bereits ein Merkmalsbild mit nur einem einzigen Intensitätswert pro Bildpunkt vor und es ist keine Umwandlung in ein solches Merkmalsbild notwendig.
  • Es werden die Disparitäten des ersten Flächenbildes zum zweiten Flächenbild berechnet (Schritt S4). Hierzu wird im ersten Flächenbild ein Referenzausschnitt 18 um einen Bildpunkt F0(x, y) ausgewählt. Im vorliegenden Ausführungsbeispiel ist der Referenzausschnitt 18 quadratisch mit einer Seitenlänge von b. Dieser Referenzausschnitt 18 wird in einem Suchfenster 19 des zweiten Flächenbildes an mehreren Positionen derart überlagert, dass jeweils der zentrale Bildpunkt F0(x, y) des Referenzausschnitts mit einem Bildpunkt F1(x, y) des ersten Flächenbildes überlagert ist.
  • Wäre die abzutastende Oberfläche exakt ebenflächig, die Kameramodule mit ihren optischen Achsen exakt senkrecht auf diese Oberfläche ausgerichtet, die einzelnen Kameramodule verzeichnungs- und verzerrungsfrei und die spektralen Sensitivitäten der Kameramodule identisch, dann könnten mit den mehreren Kameramodulen Bilder des gemeinsamen Bereichs der abzutastenden Oberfläche erfasst werden, die lediglich mit einer linearen Verschiebung exakt in Deckung gebracht werden könnten, wobei alle Bildpunkte der einzelnen Bilder exakt die Farb- bzw. Lichtintensität desselben Bildpunktes der abzutastenden Oberfläche wiedergeben würden. Diese fiktiven Positionen der Bildpunkte werden im Folgenden als geometrischer Ort bezeichnet, d. h. der Ort auf der abzutastenden Oberfläche für den jeweiligen Bildpunkt, der sich ohne Verzerrung und ohne Verzeichnung bei einer ebenflächigen Oberfläche ergeben würde. Da bei der vorliegenden Kamera die Teilbilder der einzelnen Farben zunächst rektifiziert werden, um der Epipolar-Bedingung zu entsprechen, kann der Referenzausschnitt 18 in y-Richtung exakt mit der korrespondierenden Position des Suchfensters 19 in y-Richtung überlagert werden.
  • In Zeilenrichtung bzw. in Richtung entlang der Sichtlinie 13 werden hingegen bei unterschiedlichen Höhen der Oberfläche erhebliche Abweichungen der Bildpunkte von ihrem geometrischen Ort verursacht. Der Referenzausschnitt 18 wird deshalb in Zeilenrichtung bzw. x-Richtung im Suchfenster 19 an mehreren Positionen derart angeordnet, dass jeweils der zentrale Bildpunkt des Referenzausschnittes 18 mit einem Bildpunkt des Suchfensters 19 in Deckung gebracht ist, wobei die beiden Bildpunkte den gleichen y-Wert aufweisen. Die Verschiebung des Referenzausschnittes 18 gegenüber dem geometrischen Ort des Referenzausschnittes im Suchfenster 19 ist als D(x, y) in 2 angegeben. Diese Verschiebung D(x, y) wird auch als Abstand vom geometrischen Ort bezeichnet.
  • Die Anzahl der Bildpunkte, über welche im Suchfenster 19 der Referenzausschnitt 18 in Deckung gebracht wird, ist in 2 mit w bezeichnet.
  • Die Kantenlänge b des Referenzausschnittes 18 beträgt 11 bis 29 Bildpunkte und insbesondere 19 bzw. 21 Bildpunkte. Die Anzahl der Bildpunkte w, mit welchen der Referenzausschnitt 18 in Deckung gebracht wird, beträgt vorzugsweise zumindest 10, insbesondere zumindest 20, zumindest 40 oder zumindest 50 und vorzugsweise zumindest 100 oder zumindest 300 oder insbesondere zumindest 500.
  • Die Breite des Suchfensters beträgt w + b – 1 (2). Die Kantenlänge b des Referenzausschnitts 18 ist vorzugsweise nicht größer als ein Drittel der Breite des Suchfensters 19 und insbesondere nicht größer als ein Viertel bzw. ein Fünftel und vorzugsweise nicht größer als ein Zehntel der Breite des Suchfensters.
  • Für eine jede Position des Referenzausschnitts 18 im Suchfenster 19 wird ein Korrelationswert berechnet. Der Korrelationswert ist ein Maß, wie gut die Bildpunkte des Referenzausschnitts 18 des ersten Flächenbildes mit den Bildpunkten des zweiten Flächenbildes, von welchen sie überlagert sind, übereinstimmen. Als Korrelationswert kann beispielswert die Summe der quadratischen Abstände (SSD: sum of squared difference) verwendet werden. Je geringer dieser Wert ist, desto besser ist die Übereinstimmung. Als Korrelationswert ist auch jede andere Metrik geeignet, die den Unterschied zweier Vektoren beschreibt. Dies können beispielsweise der euklidische Abstand oder ein Kreuzkorrelationswert sein. Weitere geeignete Metriken sind ZNCC (Zero mean Normalized Cross-Correlation), adaptives Binärfenster (adaptive binary window), POC (Phase-Only Correlation), Three-Moded Census, geführter Bildfilter (guided image filter) oder ein minimal spannender Baum (minimum spanning tree).
  • Die Position des Referenzausschnitts 18 im Suchfenster 19, die den besten Korrelationswert aufweist, wird zur Bestimmung der Disparität ausgewählt. Der Abstand D(x, y) des Referenzausschnitts 18 an dieser Position stellt den entsprechenden Disparitätswert dar, der dem entsprechenden Bildpunkt F0(x, y) im ersten Flächenbild zugeordnet wird. Diese Bestimmung der Disparität wird für alle Bildpunkte des ersten Flächenbildes innerhalb eines vorbestimmten, relevanten Bereichs wiederholt. Alternativ kann auch das Suchfenster am Rand durch weitere fiktive Bildpunkte, insbesondere schwarze Bildpunkte, ergänzt werden, so dass das Zentrum des Referenzausschnitts 18 mit einem jeden Bildpunkt des Suchfensters in Deckung gebracht werden kann.
  • Bei dem oben erläuterten Verfahren werden die Disparitäten zwischen dem ersten und zweiten Flächenbild bestimmt (Schritt S4).
  • Da die abzutastenden Objekte mit der Projektionseinrichtung 3 mit einem Messmuster beleuchtet werden, das im vorliegenden Ausführungsbeispiel ein Streifenmuster ist, enthalten die mit den Kameramodulen erfassten Bilder eine entsprechende Struktur. Hierdurch zeigen auch Objekte mit glänzender Oberfläche eine Struktur in den erfassten Bildern. Diese Struktur erlaubt es, die Referenzausschnitte der mit den unterschiedlichen Kameramodulen aufgenommenen Bilder sehr präzise einander zuzuordnen und eine eindeutige Korrelation zu erzielen. Hierzu ist es zweckmäßig, dass die Strukturen in den einzelnen Bildern eindeutig sind. Das Streifenmuster ist deshalb vorzugsweise derart ausgebildet, dass ein beliebiger Referenzausschnitt möglichst nur ein einziges Mal in dem Streifenmuster vorhanden ist. Das Streifenmuster kann entsprechend einer Maximum-Length-Sequence (MLS) ausgebildet sein. Ein solches Muster besitzt über eine sehr lange Sequenz immer wieder eine unterschiedliche Ausbildung, so dass sich die Referenzausschnitte nicht wiederholen und eindeutig sind.
  • Wie es eingangs erläutert worden ist, sind sehr kurze Referenzausschnitt mit lediglich einigen wenigen Bildpunkten nichtzweckmäßig, da die Wahrscheinlichkeit sehr hoch ist, dass derart kurze Referenzausschnitte nicht eindeutig sind. Je länger die Referenzausschnitte sind, desto wahrscheinlicher ist, dass die Referenzausschnitte eindeutig sind. Hierdurch können die Referenzausschnitte nicht beliebig lang gewählt werden, denn der Referenzausschnitt 18 muss deutlich kleiner als das Suchfenster 19 sein, ansonsten könnte nur von einem kleinen Abschnitt des Suchfensters Disparitäten bestimmt werden.
  • Das Höhenprofil wird nach folgender Formel berechnet R = B·f / a·d, wobei R der zu berechnende Abstand zwischen der Oberfläche und der Stereokamera, B die optische Basis der Stereokamera, f die Brennweite der Objektive der Kameramodule, mit welchen das das Messmuster erzeugende Element des Projektors auf das jeweilige Kameramodul abgebildet wird, und a ein Faktor ist, der von einem Lichtweg abhängt, den das Licht vom abzutastenden Gegenstand bis zum Sensor der Kameramodule zurück zu legen hat. Bei einer spiegelnden Oberfläche ist der Wert von a gleich 2, da sich der Lichtweg von der Projektionseinrichtung zur abzutastenden Oberfläche und von dort zu dem jeweiligen Kameramodul erstreckt. Bei nicht-spiegelnden Oberflächen wird die nicht-spiegelnde Oberfläche auf die Sensoren der Kameramodule abgebildet. Der Lichtweg beträgt somit nur den einfachen Lichtweg zwischen der abzutastenden Oberfläche und den Sensoren der Kameramodule. Somit ist der Wert von a für nicht-spiegelnde Oberflächen gleich 1.
  • Die oben angegebene Formel gilt, wenn zumindest die Kamera mit ihrer Blickrichtung lotrecht auf die abzutastende Oberfläche gerichtet ist. Bei spiegelnden Oberflächen sollte dann auch die Projektionseinrichtung so angeordnet sein, dass sie die Lichtstrahlen im Wesentlichen lotrecht auf die abzutastende Oberfläche lenkt. Dies gilt für große Abstände der Kamera und der Projektionseinrichtung von der abzutastenden Oberfläche. Sind jedoch die Kamera und vorzugsweise auch die Projektionseinrichtung gegenüber einem Lot der abzutastenden Oberfläche um einen Winkel α geneigt (7), dann kann die obigen Formel durch folgende Formel für spiegelnde Oberflächen R = B·f / d· cos(α ) / 1 + cos(2α / ) und folgende Formel für nicht spiegelnde Oberflächen dargestellt werden: R = B·f / d·cos(α)
  • Spiegelnde und nicht-spiegelnde Bereiche der abzutastenden Oberfläche können anhand von CAD-Daten eines abzutastenden Objekts unterschieden werden. Die CAD-Daten enthalten Materialeigenschaften, aus welchen spiegelnde und nicht-spiegelnde Bereiche abgeleitet werden können. Mit einem optischen Bildanalyseverfahren wird das abzutastende Objekt erkannt und mit den CAD-Daten in Übereinstimmung gebracht. Es kann zusätzlich ein optisches Bildanalyseverfahren zum automatischen Erkennen von Kanten eingesetzt werden, wodurch auch Objekte mit einer Vielzahl spiegelnder und nicht-spiegelnder Bereiche automatisch detektiert werden können.
  • Alternativ kann man in Kombination eine nicht-diffuse Hellfeldbeleuchtung und eine diffuse Dunkelfeldbeleuchtung verwenden. Bei spiegelnden Oberflächen wird die diffuse Dunkelfeldbeleuchtung in allen möglichen Richtungen reflektiert, sodass die Stereokamera die spiegelnden Bereiche nur als dunkle Bereiche bei Beleuchtung mit der Dunkelfeldbeleuchtung sieht. Hierdurch können mit Hilfe der Dunkelfeldbeleuchtung auf einfache Art und Weise spiegelnde Bereiche und nicht-spiegelnde Bereiche unterschieden werden. Die Hellfeldbeleuchtung und die Dunkelfeldbeleuchtung kann im Frequenzmultiplex angelegt werden.
  • Eine weitere Alternative nicht-spiegelnden Bereiche zu detektieren ist die Detektion einer Eigenstruktur. Nur nicht-spiegelnde Bereiche besitzen eine Eigenstruktur, so dass sie anhand dieser in den Bildern identifizierbar sind.
  • Eine solche Unterscheidung wird nur bei Objekten ausgeführt, die spiegelnde und nicht-spiegelnde Bereiche aufweisen. Objekte, die ausschließlich eine spiegelnde Oberfläche besitzen benötigen keine solche Unterscheidung und können mit einem vorbestimmten Faktor a berechnet werden.
  • 4 zeigt eine alternative Anordnung, die im Wesentlichen der aus 3 entspricht, weshalb gleiche Elemente in 4 mit den gleichen Bezugszeichen wie in 3 gekennzeichnet sind und nicht nochmals erläutert werden.
  • Bei dieser Anordnung weist die Projektionseinrichtung 3 ein Objektiv 23 auf, mit welchem das Streifengitter 21 auf einer Projektionsbildebene 24 abgebildet wird. Um die Projektionsbildebene 24 ist der Projektionsschärfenbereich 25 ausgebildet. Das Streifengitter wird dann durch die Kombination des Objektivs 23 der Projektionseinrichtung 3 und durch das jeweilige Objektiv der Kameramodule bei spiegelnder Oberfläche des abzutastenden Objektes auf die Sensoren der Kameramodule abgebildet. Mit anderen Worten bildet ein Paar von Objektiven bestehend aus einem der Objektive der Kameramodule und dem Objektiv des Projektors ein zusammengesetztes Objektive mit einer Brennweite, die etwa dem Lichtweg vom Streifengitter 21 zu dem Sensor des jeweiligen Kameramoduls führt. Die Kameramodule sind somit mit dem zusammengesetzten Objektiv auf das Streifengitter fokussiert.
  • Der Bereich, in dem sich der Tiefenschärfenbereich 20 und der Projektionsschärfenbereich 25 überlappen, bildet den Abtastbereich 26, der in 4 schraffiert dargestellt ist.
  • Vorzugsweise sind die Stereo-Kamera 2 und die Projektionseinrichtung 3 mit großem Abstand vom abzutastenden Objekt 22 angeordnet, so dass die optischen Achsen der Stereo-Kamera 2 bzw. der entsprechenden Kameramodule 811 und eine optische Achse 27 der Projektionseinrichtung 3 mit einem sehr kleinen spitzen Winkel zueinander angeordnet sind, so dass die Abtastebene 17 und die Projektionsbildebene 24 entsprechend gering zueinander geneigt sind und sich der Tiefenschärfenbereich 20 möglichst mit dem Projektionsschärfenbereich 25 deckt.
  • Eine weitere Abwandlung der Anordnung von Projektionseinrichtung 3 und Stereo-Kamera 2 ist in 5 gezeigt, welche im Wesentlichen der Ausführungsform aus 4 entspricht und sich hiervon dadurch unterscheidet, dass mittels eines halbdurchlässigen Spiegels 28 die optische Achse 27 der Projektionseinrichtung 3 im rechten Winkel in Richtung zum abzutastenden Objekt 22 abgelenkt und mit der optischen Achse 16 der Stereo-Kamera im Bereich zwischen dem halbdurchlässigen Spiegel 28 und dem abzutastenden Objekt 22 in Deckung gebracht wird. Hierdurch sind die Abtastebene 17 und die Projektionsbildebene 24 zueinander parallel ausgebildet. Im vorliegenden Ausführungsbeispiel sind die Abtastebene 17 und die Projektionsbildebene 24 sogar in Deckung gebracht, d.h., dass die Projektionseinrichtung 3 mittels des Objektivs 23 das Streifengitter 21 exakt in die Abtastebene 17 der Stereo-Kamera 2 abbildet. Der Projektionsschärfenbereich 25 ist in diesem Ausführungsbeispiel etwas kleiner als der Tiefenschärfenbereich, wodurch der Projektionsschärfenbereich 25 gleichzeitig den Abtastbereich 26 bildet.
  • Bei dieser Ausführungsform kann der Abtastbereich 26 maximal groß ausgebildet sein. Durch die Verwendung des halbdurchlässigen Spiegels 28 wird jedoch eine gewisse Lichtleistung verloren. Eine weitere Abwandlung der optischen Abtastvorrichtung 1 ist in 7 gezeigt. Die Stereokamera 2 ist mit ihrer Blickrichtung um einen Winkel α gegenüber einem Lot 29 geneigt. Die Projektionseinrichtung 3 ist derart gegenüber dem Lot 29 geneigt angeordnet, dass die von der Projektionseinrichtung 3 auf den Abtastbereich 15 gelenkten Lichtstrahlen 31 wiederum in den Winkel α einschließen.
  • Das abzutastende Objekt 22 ist eine transparente Platte, insbesondere eine Glasplatte, sodass Licht von der Projektionseinrichtung 3 sowohl an einer ersten oberen Oberfläche, der Grenzfläche zwischen Luft und Glas auf der Seite der Projektionseinrichtung 3 und einer unteren Grenzfläche, der Grenzfläche zwischen Glas und Luft auf der von der Projektionseinrichtung abgewandten Seite der Glasplatte, reflektiert wird. Hierdurch werden gleichzeitig Lichtstrahlbündel von unterschiedlichen Punkten des Streifengitters 21, vom Objekt 22 zur Stereo-Kamera 2 reflektiert. Dies führt zu Zweideutigkeiten. Deshalb wird mittels einer Blende 30, welche benachbart zur Projektionseinrichtung 3 angeordnet oder in der Projektionseinrichtung 3 ausgebildet ist, einer der beiden Lichtstrahlen 31 absorbiert und damit von der Stereo-Kamera 2 ferngehalten.
  • Im vorliegenden Ausführungsbeispiel ist das Streifengitter 21, das das Messmuster erzeugende Element darstellt, integral mit der Blende 30 ausgebildet. Das Streifengitter 21 ist beispielsweise als auf einer Glasscheibe ausgebildete Chromstreifen ausgebildet und die Blende ist auf der gleichen Glasscheibe als ein größerer, vollständig verchromter Bereich ausgebildet, der den Lichtdurchtritt durch die Glasscheibe entsprechend vollständig blockiert. In 7 sind die Streifen des Streifengitters 21 parallel zur Bildebene der 7 angeordnet und daher in 7 nicht sichtbar. Benachbart zu dieser Blende 30 ist vorzugsweise ein schwarzer Körper 32 angeordnet, der das von der Blende reflektierte Licht absorbiert.
  • Hierdurch wird sichergestellt, dass nur ein Lichtstrahlbündel, das nur an einer Grenzfläche beziehungsweise Oberfläche des Objektes 22 reflektiert wird, zur Stereo-Kamera 2 gelangt. Hierdurch werden Zweideutigkeiten in dem mit der Stereo-Kamera 2 abgetasteten Messmuster vermieden.
  • Mit allen oben erläuterten Anordnungen können konturierte spiegelnde Oberflächen zuverlässig abgetastet werden, wobei mittels der Projektion des Streifenmusters, das als Messmuster dient, eine Struktur in den mit den einzelnen Kameramodulen erfassten Bildern vorliegt, welche eine klare Zuordnung von Referenzausschnitten der unterschiedlichen Bilder erlaubt. Hierdurch können die Disparitäten mit einer hohen Präzision und damit ein entsprechendes Höhenprofil sehr exakt bestimmt werden. Diese Vorrichtung und das oben erläuterte Verfahren kann auch meistens unmittelbar zum Abtasten von nicht-spiegelnden Oberflächen verwendet werden, wobei bei nicht-spiegelnden Oberflächen oftmals die Struktur durch eine bereits vorhandene Struktur in der Oberfläche der abzutastenden Objekte erzeugt wird, wobei das projizierte Messmuster eine zusätzliche Struktur bewirken kann. Da nicht-spiegelnde Oberflächen das projizierte Messmuster schwächer als eine spiegelnde Oberfläche reflektieren, ist die durch das projizierte Messmuster erzeugte Wirkung bei nicht-spiegelnden Oberflächen geringer als bei spiegelnden Oberflächen. Daher kann es im Einzelfall auch zweckmäßig sein, das erfindungsgemäße Verfahren ausschließlich zum Abtasten von einer spiegelnden Oberfläche zu verwenden und es mit einem Verfahren zum dreidimensionalen berührungslosen Abtasten einer nicht-spiegelnden Oberfläche, wie der Stereoskopie und der Laser-Triangulation, zu kombinieren.
  • Bei dem oben erläuterten Ausführungsbeispiel wird mittels einer Zeilenkamera ein Flächenbild erzeugt. Die vorliegende Erfindung kann gleichermaßen mittels einer Flächenkamera realisiert werden, welche anstelle eines Zeilensensors einen Flächensensor aufweist, der eine rechteckförmige Sensorfläche besitzt.
  • Mit dem erfindungsgemäßen Verfahren ist es auch möglich, anstelle eines Flächenbildes lediglich ein Zeilenbild zu erzeugen, wobei anhand der Zeilenbilder unterschiedlicher Kameramodule, die einen gemeinsamen Abtastbereich abtasten, die Disparitäten und damit ein Höhenprofil bestimmt werden kann. Bei Verwendung von Zeilenbildern müssen zur Bestimmung der Korrelation der Referenzausschnitte im Vergleich zu Flächenbildern wesentlich weniger Rechenvorgänge ausgeführt werden, weshalb die Disparitäten von Zeilenbildern wesentlich schneller und effizienter bestimmt werden können. Die Verwendung von Zeilenbildern ist daher zum Abtasten von sehr schnell entlang der Förderrichtung 7 bewegter Objekte von Vorteil.
  • Bei Verwendung von Zeilenbildern ist es grundsätzlich möglich, anstelle eines zweidimensionalen Messmusters, wie dem oben erläuterten Streifenmuster, auch ein eindimensionales Messmuster zu verwenden. Ein zweidimensionales Messmuster ist jedoch von Vorteil, da es einfacher mit der Sichtlinie 13 in Deckung gebracht werden kann.
  • Bei dem oben erläuterten Ausführungsbeispiel wird ein Streifenmuster als Messmuster verwendet. Grundsätzlich sind auch andere Muster geeignet. Ein Streifenmuster ist jedoch bevorzugt, da Verkippungen zwischen dem abzutastenden Objekt und der Projektionseinrichtung 3 bzw. dem Kameramodul 2 die geringsten Auswirkungen auf die erfassten dreidimensionalen Koordinaten des abzutastenden Objektes haben.
  • Bei dem oben erläuterten Ausführungsbeispiel werden mehrere Kameramodule verwendet, die jeweils ein Objektiv aufweisen. Bei obiger Erläuterung wird davon ausgegangen, dass die Objektive im Wesentlichen identisch ausgebildet sind. Diese Objektive besitzen damit im Wesentlichen identische Tiefenschärfebereiche, weshalb die unterschiedlichen Tiefenschärfenbereiche als ein gemeinsamer Tiefenschärfenbereich betrachtet werden. Sollten die Kameramodule unterschiedliche Objektive aufweisen, dann ist der Tiefenschärfenbereich mit der kleinsten räumlichen Ausdehnung maßgeblich für den Abtastbereich.
  • Bei dem oben erläuterten Ausführungsbeispiel werden die mit den Kameramodulen erfassten Farbbilder in ein erstes und zweites Graustufen-Flächenbild gemäß dem Schritt S3 umgesetzt. Es ist jedoch auch möglich die einzelnen Farbkanäle einer Farbkamera separat zu betrachten. Dies kann bspw. dazu verwendet werden, um mehrere Muster in unterschiedlichen Farben (z.B. Rot, grün und blau) gleichzeitig zu projizieren und jeweils mit einem Farbkanal zu Farbkamera zu erfassen. Hierdurch kann die Auflösung vervielfacht werden. Bei drei Farbmustern kann sie z.B. verdreifacht werden. Ein solch ein Mehrfachmuster kann bspw. mit einer Folie erzeugt werden, die abwechselnd mit einem roten, grünen und blauen Streifen bedruckt ist. Die Streifen können alle die gleiche Breite aufweisen. Dann ist der eindeutige Bereich sehr kurz, weshalb dann auch der Referenzausschnitt derart kurz ausgewählt werden muss. Die Streifen können auch mit unterschiedlicher Breite ausgebildet sein, um ein längere, eindeutige referenzausschnitte bereit zu stellen.
  • Bezugszeichenliste
  • 1
    optische Abtastvorrichtung
    2
    Stereo-Kamera
    3
    Beleuchtungseinrichtung
    4
    Steuereinrichtung
    5
    Bewegungsdetektor
    6
    Förderband
    7
    Förderrichtung
    8
    Kameramodul
    9
    Kameramodul
    10
    Kameramodul
    11
    Kameramodul
    12
    Objektiv
    13
    Sichtlinie
    14
    Streifenmuster
    15
    Abtastbereich
    16
    optische Achse
    17
    Abtastebene (Kamerahauptebene)
    18
    Referenzausschnitt
    19
    Suchfenster
    20
    Tiefenschärfenbereich
    21
    Streifengitter
    22
    Objekt
    23
    Objektiv
    24
    Projektionsbildebene
    25
    Projektionsschärfenbereich
    26
    Abtastbereich
    27
    optische Achse
    28
    halbdurchlässiger Spiegel
    29
    Lot
    30
    Blende
    31
    Lichtstrahl
    32
    schwarzer Körper
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 2006/0158664 A1 [0011]
    • DE 4134546 A1 [0011]
    • DE 4416108 A1 [0011]
    • DE 102015111120 [0049, 0074]
    • DE 102015105656 [0053]

Claims (22)

  1. Verfahren zum Abtasten von spiegelnden Oberflächen mit einer Stereokamera mit zumindest zwei Kameramodulen, welche jeweils ein Objektiv und einen Sensor aufweisen, und derart angeordnet sind, dass sie von einem gemeinsamen Abtastbereich einer abzutastenden Oberfläche jeweils ein Bild erfassen, zumindest einer Projektionseinrichtung zum Projizieren eines vorbestimmten Messmusters auf den Abtastbereich, wobei die Kameramodule auf die Projektionseinrichtung fokussiert sind, so dass ein das Messmuster erzeugende Element der Projektionseinrichtung auf das jeweilige Kameramodul abgebildet wird, wobei Disparitäten anhand von den Messmustern, die in mit beiden Kameramodulen erfassten Bildern enthalten sind, bestimmt werden, und anhand der Disparitäten ein Höhenprofil ermittelt wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei Disparitäten, die anhand von Bildern einer spiegelnden Oberfläche bestimmt werden, das Höhenprofil gemäß folgender Formel berechnet wird R = B·f1 / 2·d, wobei R ein Abstand zwischen der Oberfläche und der Stereokamera, B die optische Basis der Stereokamera, f1 die Brennweite der Objektive der Kameramodule ist, mit welchen das das Messmuster erzeugende Element der Projektionseinrichtung auf das jeweilige Kameramodul abgebildet wird.
  3. Verfahren nach Anspruch 1 oder 2 zum Abtasten von spiegelnden und nicht-spiegelnden Oberflächen, wobei die Kameramodule zum Abtasten von nicht spiegelnden Oberflächen auf die nicht-spiegelnden Oberflächen fokussiert sind, so dass die nicht-spiegelnde Oberfläche auf das jeweilige Kameramodul abgebildet wird und Disparitäten anhand von Strukturen, die in mit beiden Kameramodulen erfassten Bildern enthalten sind, bestimmt werden, und anhand der Disparitäten ein Höhenprofil ermittelt wird.
  4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass bei Disparitäten, die anhand von Bildern einer nicht-spiegelnden Oberfläche bestimmt werden, das Höhenprofil gemäß folgender Formel berechnet wird R = B·f2d, wobei R ein Abstand zwischen der Oberfläche und der Stereokamera, B die optische Basis der Stereokamera, f2 die Brennweite der Objektive der Kameramodule ist, mit welchen die abzutastende Oberfläche auf die Kameramodule abgebildet wird.
  5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Objektive der Kameramodule mit ihrer Brennweite in den Bereich zwischen der abzutastenden Oberfläche und der Projektionseinrichtung derart eingestellt sind, dass sowohl die abzutastenden Oberfläche als auch die Projektionseinrichtung sich in den Tiefenschärfenbereichen der Objektive befinden.
  6. Verfahren nach einem der Ansprüche 1 bis 5 dadurch gekennzeichnet, dass die Objektive der Kameramodule abwechselnd auf die abzutastenden Oberfläche und die Projektionseinrichtung derart fokussiert werden, dass einmal die abzutastenden Oberfläche und das andere Mal das das Messmuster erzeugende Element der Projektionseinrichtung auf das jeweilige Kameramodul abgebildet wird.
  7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass das Höhenprofil für spiegelnde Oberflächen gemäß folgender Formel R = B·f1 / d· cos(α) / 1 + cos(2α), und für nicht spiegelnde Oberflächen gemäß folgender Formel berechnet wird: R = B·f2 / d·cos(α) wobei R ein Abstand zwischen der Oberfläche und der Stereokamera, B die optische Basis der Stereokamera, und f1 die Brennweite der Objektive der Kameramodule, mit welchen das das Messmuster erzeugende Element der Projektionseinrichtung auf das jeweilige Kameramodul abgebildet wird, und f2 die Brennweite der Objektive der Kameramodule ist, mit welchen die abzutastende Oberfläche auf die Kameramodule abgebildet wird, und die Kameramodule und die Projektionseinrichtung gegenüber einem Lot der abzutastenden Oberfläche um einen Winkel α geneigt sind.
  8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Objektive derart angeordnet sind, dass der Abtastbereich in einem Tiefenschärfebereich angeordnet ist, der der Bereich ist, in dem eine Abbildungsschärfe beider Objektive eine vorbestimmte Mindestschärfe aufweist, und ein Projektionsschärfenbereich der Projektionseinrichtung der Bereich ist, in dem das Messmuster mit einer vorbestimmten Projektionsschärfe projiziert wird, und der Projektionsschärfenbereich mit dem Tiefenschärfenbereich überlappt und dieser überlappende Schärfenbereich den Abtastbereich in Blickrichtung der Kameramodule begrenzt.
  9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Mindestschärfe als Restmodulation von zumindest 15% eines regelmäßigen schwarz-/weiß-Linienmusters mit einer Linienbreite definiert ist, die der Breite eines kleinsten Musterelementes des Messmusters entspricht.
  10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass bestimmt wird, ob die abzutastende Oberfläche einen spiegelnden Bereich oder einen nicht-spiegelnden Bereich aufweist und das Höhnprofil im spiegelnden Bereich und im nicht-spiegelnden Bereich jeweils mit einer unterschiedlichen Formel berechnet werden.
  11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass spiegelnde und nicht-spiegelnde Bereiche der abzutastenden Oberfläche nach einer oder mehreren der folgenden Methoden bestimmt werden: – anhand von CAD-Daten eines abzutastenden Objektes, vorzugsweise in Verbindung mit einem optischen Bildanalyseverfahren zum automatischen Erkennen von Kanten, – mit Verwendung einer Hellfeldbeleuchtung (nicht-diffus) für spiegelnde Bereiche und einer Dunkelfeldbeleuchtung (diffus) für nicht-spiegelnde Bereiche im frequenzmultiplex, zeitmultiplex oder mit unterschiedlicher Polarisation, – Bestimmung von Bereichen mit einer Eigenstruktur, welche als nicht-spiegelnde Bereiche beurteilt werden,
  12. Verfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass zur Bestimmung der Disparitäten in einem ersten der beiden Bilder einer der Referenzausschnitte um jeweils einen vorbestimmten Bildpunkt ausgelesen wird, dieser Referenzausschnitt in einem Bereich um einen Bildpunkt des zweiten Bildes an mehreren Positionen angeordnet wird, wobei der Bildpunkt des zweiten Bildes dem Bildpunkt des ersten Bildes geometrisch entspricht, an einer jeden Position des Referenzausschnittes des ersten Bildes im zweiten Bild ein Korrelationswert berechnet wird, der angibt, wie exakt der Referenzausschnitt (18) des ersten Bildes mit dem jeweiligen Bereich des zweiten Bildes übereinstimmt, wobei die Position des Referenzausschnittes (18) im zweiten Bild ausgewählt wird, für welche der beste Korrelationswert bestimmt wird, und der Abstand des vorbestimmten Bildpunktes des Referenzausschnittes des ersten Bildes an der ausgewählten Position zum geometrisch entsprechenden Bildpunkt des zweiten Bildes als Disparität dem vorbestimmten Bildpunkt im ersten Bild zugeordnet wird, und diese Bestimmung der Disparität für weitere Bildpunkte eines vorbestimmten Bereichs des ersten Bildes wiederholt wird.
  13. Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass beim Bestimmen der Disparität eine Näherungsfunktion erstellt wird, die den Zusammenhang zwischen den Abständen und den entsprechenden Korrelationswerten beschreibt, wobei der Abstand als Disparität bestimmt wird, an welchem diese Näherungsfunktion ein Minimum aufweist.
  14. Verfahren nach Anspruch 12 oder 13, dadurch gekennzeichnet, dass als Korrelationswert die Summe der Quadrate der Differenzen der Intensitätswerte der Bildpunkte oder ein Kreuzkorrelationswert berechnet wird.
  15. Verfahren nach einem der Ansprüche 1 bis 14, dadurch gekennzeichnet, dass im Messmuster ein Referenzausschnitt mit einer vorbestimmten Länge eindeutig ist,
  16. Verfahren nach Anspruch 15, dadurch gekennzeichnet, dass ein Messmuster projiziert wird, in dem sich ein Teilmuster mit der Länge des Referenzausschnittes nicht innerhalb einer Länge wiederholt, die einer maximal erfassbaren Disparität entspricht.
  17. Verfahren nach Anspruch 15 oder 16, dadurch gekennzeichnet, dass ein Messmuster projiziert wird, in dem sich ein Teilmuster mit der Länge des Referenzausschnittes nicht innerhalb einer Länge wiederholt, die einem Suchfenster entspricht, in dem die Messmuster auf Disparitäten untersucht werden.
  18. Verfahren nach einem der Ansprüche 15 bis 17, dadurch gekennzeichnet, dass ein Messmuster projiziert wird, in dem ein jedes beliebige Teilmuster mit der Länge des Referenzausschnittes einzigartig in dem projizierten Messmuster ist.
  19. Verfahren nach einem der Ansprüche 15 bis 18, dadurch gekennzeichnet, dass mit den Kameramodulen jeweils Zeilenbilder erfasst werden.
  20. Vorrichtung mit zumindest einer Stereokamera mit zumindest zwei Kameramodulen, welche jeweils ein Objektiv und einen Sensor aufweisen, wobei die Kameramodule derart angeordnet sind, dass sie von einem gemeinsamen Bereich einer abzutastenden Oberfläche jeweils ein Bild erfassen, und die Stereokamera eine Steuereinrichtung aufweist, die zum Ausführen eines Verfahrens nach einem der Ansprüche 1 bis 19 ausgebildet ist.
  21. Vorrichtung nach Anspruch 20, dadurch gekennzeichnet, dass die Sensoren Zeilensensoren sind.
  22. Vorrichtung nach Anspruch 20 oder 21, dadurch gekennzeichnet, dass die Vorrichtung eine Blende (30) aufweist, welche benachbart zur Projektionseinrichtung (3) oder in der Projektionseinrichtung (3) angeordnet ist, um einen von zwei Lichtstrahlen, welche von einem plattenförmigen Objekt (22) zur Stereo-Kamera (2) reflektiert werden, auszublenden.
DE102017116758.7A 2016-07-25 2017-07-25 Verfahren und Vorrichtung zum Abtasten von Oberflächen mit einer Stereokamera Active DE102017116758B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016113677.8 2016-07-25
DE102016113677 2016-07-25

Publications (2)

Publication Number Publication Date
DE102017116758A1 true DE102017116758A1 (de) 2018-01-25
DE102017116758B4 DE102017116758B4 (de) 2021-02-11

Family

ID=60890527

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017116758.7A Active DE102017116758B4 (de) 2016-07-25 2017-07-25 Verfahren und Vorrichtung zum Abtasten von Oberflächen mit einer Stereokamera

Country Status (2)

Country Link
CN (1) CN107655421A (de)
DE (1) DE102017116758B4 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018129201A1 (de) 2018-11-20 2020-05-20 Seho Systemtechnik Gmbh Verfahren und Vorrichtung zum Messen der Höhe einer Lötwelle
CN111919086A (zh) * 2018-03-30 2020-11-10 仓敷纺绩株式会社 线状物的三维测量装置和线状物的三维测量方法
CN112833812A (zh) * 2019-11-22 2021-05-25 卡尔蔡司显微镜有限责任公司 用于检验样品的测量仪器和用于确定样品高度图的方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115103079B (zh) * 2022-06-20 2023-08-08 中亿启航数码科技(北京)有限公司 一种线性扫描装置及其扫描方法
CN116320747A (zh) * 2023-05-19 2023-06-23 四川华鲲振宇智能科技有限责任公司 一种图像传感器与镜头水平校验的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4134546A1 (de) 1991-09-26 1993-04-08 Steinbichler Hans Verfahren und vorrichtung zur bestimmung der absolut-koordinaten eines objektes
DE4416108A1 (de) 1994-05-06 1995-11-09 Fraunhofer Ges Forschung Vorrichtung zum berührungsfreien Vermessen einer Objektoberfläche
US20060158664A1 (en) 2003-02-06 2006-07-20 Koh Young Technology Inc Three-dimensional image measuring apparatus
DE102015105656A1 (de) 2015-04-14 2016-10-20 Chromasens Gmbh Steuermodul für eine Kamera, Kamera, Produktionssystem und Verfahren zum Erfassen von Bildern mittels einer solchen Kamera
DE102015111120A1 (de) 2015-07-09 2017-01-12 Chromasens Gmbh Verfahren und Vorrichtung zum Abtasten von Oberflächen mit einer Stereokamera

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5910845A (en) * 1997-12-02 1999-06-08 Brown; Thomas Mattingly Peripheral viewing optical scanner for three dimensional surface measurement
DE102004020419B3 (de) * 2004-04-23 2005-10-20 3D Shape Gmbh Verfahren und Vorrichtung zur Bestimmung der Form und der lokalen Oberflächennormalen spiegelnder Oberflächen
DE102007037131A1 (de) * 2007-08-07 2008-05-21 Daimler Ag Verfahren zur dreidimensionalen Vermessung einer Oberfläche
JP5986364B2 (ja) * 2011-10-17 2016-09-06 キヤノン株式会社 三次元形状計測装置、三次元形状計測装置の制御方法、およびプログラム
CN102980526B (zh) * 2012-08-23 2016-08-24 杭州先临三维科技股份有限公司 用黑白相机获取彩色图像的三维扫描仪及其扫描方法
US20140198185A1 (en) * 2013-01-17 2014-07-17 Cyberoptics Corporation Multi-camera sensor for three-dimensional imaging of a circuit board
DE102014002084A1 (de) * 2013-10-14 2015-04-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Messung der Ablenkung von Lichtstrahlen durch eine Objektstruktur oder ein Medium
CN105547189B (zh) * 2015-12-14 2018-01-23 南京航空航天大学 基于变尺度的高精度光学三维测量方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4134546A1 (de) 1991-09-26 1993-04-08 Steinbichler Hans Verfahren und vorrichtung zur bestimmung der absolut-koordinaten eines objektes
DE4416108A1 (de) 1994-05-06 1995-11-09 Fraunhofer Ges Forschung Vorrichtung zum berührungsfreien Vermessen einer Objektoberfläche
US20060158664A1 (en) 2003-02-06 2006-07-20 Koh Young Technology Inc Three-dimensional image measuring apparatus
DE102015105656A1 (de) 2015-04-14 2016-10-20 Chromasens Gmbh Steuermodul für eine Kamera, Kamera, Produktionssystem und Verfahren zum Erfassen von Bildern mittels einer solchen Kamera
DE102015111120A1 (de) 2015-07-09 2017-01-12 Chromasens Gmbh Verfahren und Vorrichtung zum Abtasten von Oberflächen mit einer Stereokamera

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111919086A (zh) * 2018-03-30 2020-11-10 仓敷纺绩株式会社 线状物的三维测量装置和线状物的三维测量方法
EP3779355A4 (de) * 2018-03-30 2021-12-01 Kurashiki Boseki Kabushiki Kaisha Dreidimensionale messvorrichtung für lineares objekt und dreidimensionales messverfahren für lineares objekt
DE102018129201A1 (de) 2018-11-20 2020-05-20 Seho Systemtechnik Gmbh Verfahren und Vorrichtung zum Messen der Höhe einer Lötwelle
CN112833812A (zh) * 2019-11-22 2021-05-25 卡尔蔡司显微镜有限责任公司 用于检验样品的测量仪器和用于确定样品高度图的方法
DE102019131693A1 (de) * 2019-11-22 2021-05-27 Carl Zeiss Microscopy Gmbh Messgerät zur untersuchung einer probe und verfahren zum bestimmen einer höhenkarte einer probe
US11168976B2 (en) 2019-11-22 2021-11-09 Carl Zeiss Microscopy Gmbh Measuring device for examining a specimen and method for determining a topographic map of a specimen
CN112833812B (zh) * 2019-11-22 2023-07-18 卡尔蔡司显微镜有限责任公司 用于检验样品的测量仪器和用于确定样品高度图的方法

Also Published As

Publication number Publication date
CN107655421A (zh) 2018-02-02
DE102017116758B4 (de) 2021-02-11

Similar Documents

Publication Publication Date Title
DE102017116758B4 (de) Verfahren und Vorrichtung zum Abtasten von Oberflächen mit einer Stereokamera
DE102013008273B4 (de) Dreidimensionale Bilderfassungsvorrichtung
EP2850386B1 (de) Verfahren und vorrichtung zur inspektion von oberflächen eines untersuchten objekts
DE102013013791B4 (de) Verfahren und Vorrichtung zum berührungslosen Vermessen von Oberflächenkonturen
DE102008002730B4 (de) Verfahren und Vorrichtung zur 3D-Rekonstruktion
EP2019281B1 (de) Verfahren zum Betrieb eines 3D-Sensors
DE102013111761B4 (de) Verfahren und Scanner zum berührungslosen Ermitteln der Position und dreidimensionalen Form von Produkten auf einer laufenden Fläche
DE102008002725B4 (de) Verfahren und Vorrichtung zur 3D-Rekonstruktion
CH692873A5 (de) Vorrichtung und Verfahren zur geometrischen Kalibrierung von CCD-Kameras.
DE102009009372A1 (de) Monitoring von kippbaren Spiegeln
DE102008062995A1 (de) 3D-Kamera zur Raumüberwachung
DE102013212409A1 (de) Verfahren zur Bilderfassung einer vorzugsweise strukturierten Oberfläche eines Objekts und Vorrichtung zur Bilderfassung
DE102009018464B4 (de) Optischer Sensor
DE102012023623B4 (de) Verfahren zum Zusammensetzen von Teilaufnahmen einer Oberfläche eines Objektes zu einer Gesamtaufnahme des Objektes und System zum Erstellen einer Gesamtaufnahme eines Objektes
DE10063293A1 (de) Verfahren und Vorrichtung zur mehrkanaligen Inspektion von Oberflächen im Durchlauf
EP2799810A1 (de) Vorrichtung und Verfahren zum simultanen dreidimensionalen Vermessen von Oberflächen mit mehreren Wellenlängen
EP3775767A1 (de) Verfahren und system zur vermessung eines objekts mittels stereoskopie
WO2000066972A1 (de) Verfahren und vorrichtung zur objektabtastung
EP3502614B1 (de) Optische messeinrichtung
DE10321883A1 (de) Verfahren und Sensor zur hochgenauen optischen Abtastung
DE102006061712A1 (de) Erstellung eines Abstandsbildes
EP3320681B1 (de) Verfahren und vorrichtung zum abtasten von oberflächen mit einer stereokamera
DE102013105102A1 (de) Verfahren und Vorrichtung zur Bestimmung von Merkmalen an Messobjekten
DE102016109131B4 (de) Verfahren zur dreidimensionalen Erfassung eines Objekts
WO2014114663A1 (de) Optische vorrichtung und verfahren zum bestimmen räumlicher koordinaten von oberflächen makroskopischer objekte durch triangulation zweier zeilenkameras

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R082 Change of representative

Representative=s name: HGF EUROPE LLP, DE

Representative=s name: HGF EUROPE LP, DE

R018 Grant decision by examination section/examining division
R020 Patent grant now final