-
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Abtasten von Oberflächen mit einer Stereokamera.
-
Eine Stereokamera ist eine Kamera mit zwei Kameramodulen, welche jeweils ein Objektiv und einen Bildsensor aufweisen. Stereokameras werden in der Regel zur Aufnahme von stereoskopischen Fotografien verwendet. Mittels Triangulation lassen sich die Höhen der einzelnen Punkte eines abzutastenden Objektes bestimmen.
-
Will man Farbbilder, die mit zwei Kameramodulen einer Stereokamera aufgenommen worden sind, überlagern, dann ist dies bei räumlichen Objekten problematisch. Durch die Verzerrungen bzw. Verzeichnungen der unterschiedlichen Blickwinkel der Kameramodule ergeben sich Verschiebungen der Farbintensitäten in den einzelnen Bildern, die bei einer Überlagerung aufgrund der relativen Verschiebung zu Fehlfarben führen. Sind die Kameramodule mit unterschiedlichen Farbfiltern ausgestattet, dann kann sich auch hierdurch eine erhebliche Verschiebung in den Farbintensitäten der einzelnen Bilder ergeben.
-
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zum Abtasten von Oberflächen mit einer Stereokamera zu schaffen, die eine zuverlässige Abtastung von räumlichen Gegenständen erlauben.
-
Die Aufgabe wird durch die Gegenstände gemäß den unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausgestaltungen sind in den jeweiligen Unteransprüchen angegeben.
-
Mit dem erfindungsgemäßen Verfahren zum Abtasten von Oberflächen mit einer Stereokamera mit zumindest zwei Kameramodulen, welche jeweils ein Objektiv und einen Bildsensor aufweisen, und derart angeordnet sind, dass sie von einem gemeinsamen Bereich der Oberfläche jeweils ein Bild erfassen, werden
- – die Disparitäten der beiden Bilder bestimmt,
- – die beiden Bilder unter Berücksichtigung der Disparitäten registriert, und
- – das derart registrierte Bildpaar ausgewertet.
-
Aufgrund der Bestimmung der Disparitäten der beiden Bilder und der Registrierung der beiden Bilder unter Berücksichtigung der Disparitäten werden Verzeichnungen und Verzerrungen in den Bildern aufgrund der unterschiedlichen Blickwinkel der jeweiligen Kameramodule kompensiert, so dass die beiden Bilder des Bildpaares exakt zueinander registriert sind.
-
Durch die Registrierung wird eine derart gute Zuordnung der Intensitäten zu den Bildpunkten erzielt, dass bei Aufnahme von Farbbildern mittels der Stereokamera diese als Grundlage für eine Spektralanalyse verwendet werden können. Die Durchführung einer Spektralanalyse erfordert, dass die einzelnen überlagerten Bildpunkte des Bildpaars möglichst exakt die Farbwerte der korrespondierenden Punkte des abgetasteten Objektes wiedergeben. Durch die Berücksichtigung der Disparitäten beim Registrieren der Bilder können dreidimensionale Körper zuverlässig aufgenommen werden, wobei die einzelnen Farbwerte eines bestimmten Punktes des abgetasteten Objekts den jeweils korrespondierenden und überlagerten Bildpunkten der jeweiligen Bildpaare zugeordnet werden.
-
Die einzelnen Kameramodule können mit unterschiedlichen Filtern versehen sein, wie z. B. Farbfilter, Polarisationsfilter, etc., und die hierdurch für die einzelnen Bildpunkte erhaltene Information kann durch die präzise Überlagerung mit den entsprechenden Bildpunkten des jeweils anderen Bildes exakt kombiniert werden.
-
Bei diesem Verfahren kann zur Bestimmung der Disparitäten in einem ersten der beiden Bilder ein Referenzausschnitt um jeweils einen vorbestimmten zentralen Bildpunkt ausgelesen werden. Dieser Referenzausschnitt wird in einem Bereich um einen Bildpunkt des zweiten Bildes an mehreren Positionen angeordnet, wobei der zentrale Bildpunkt des Referenzausschnitts des zweiten Bildes dem Bildpunkt des ersten Bildes geometrisch entspricht. Mit dem Begriff "geometrisch entspricht" ist gemeint, dass die Bildpunkte der beiden Kameramodule einander entsprechen, wenn sie an einem ebenflächigen Objekt aufgenommen werden würden und über eine entsprechende geometrische Abbildung einander exakt zugeordnet werden würden. In den weiteren Positionen des Referenzausschnittes ist der zentrale Bildpunkt des Referenzausschnittes mit einem Bildpunkt des zweiten Bildes überlagert.
-
An einer jeden Position des Referenzausschnitts des ersten Bildes im zweiten Bild wird ein Korrelationswert berechnet, der angibt, wie gut bzw. exakt der Referenzausschnitt des ersten Bildes mit dem jeweiligen Bereich des zweiten Bildes übereinstimmt. Es wird die Position des Referenzausschnitts im zweiten Bild ausgewählt, für welche der beste Korrelationswert bestimmt wird, und der Abstand des zentralen Bildpunktes des Referenzausschnittes des ersten Bildes an der ausgewählten Position zum geometrisch entsprechenden Bildpunkt des zweiten Bildes wird als Disparität dem vorbestimmten zentralen Bildpunkt im ersten Bild zugeordnet. Diese Bestimmung der Disparität wird für alle Bildpunkte eines vorbestimmten Bereiches des ersten Bildes wiederholt.
-
Bei einem Bestimmen der Disparität kann auch eine Näherungsfunktion erstellt werden, die den Zusammenhang zwischen den Abständen und den entsprechenden Korrelationswerten beschreibt, wobei der Abstand des vorbestimmten zentralen Bildpunktes des Referenzausschnittes des ersten Bildes zum geometrisch entsprechenden Bildpunkt des zweiten Bildes als Parität bestimmt wird, an welcher diese Näherungsfunktion ein Minimum aufweist.
-
Durch Verwendung dieser Näherungsfunktion kann auch ein Abstand als Disparität bestimmt werden, der nicht einem ganzzahligen Vielfachen des Abstandes zweier benachbarter Bildpunkte einem der Bilder entspricht. Eine solche Disparität kann somit auch außerhalb des Rasters des Bildes liegen.
-
Als Näherungsfunktionen können beispielsweise Polynome, Splinefunktionen oder dergleichen verwendet werden.
-
Als Korrelationswert zum Bestimmen der Güte, mit welcher der Referenzausschnitt des ersten Bildes passt, kann die Summe der Quadrate der Differenzen der Intensitätswerte der Bildpunkte oder ein Kreuzkorrelationswert oder ein beliebiges sonstiges Maß für die Übereinstimmung des Referenzausschnittes und des Bildbereiches sein.
-
Vorzugsweise werden die Bildpunkte der Bilder entsprechend den ihnen zugeordneten Disparitäten verschoben und zur Erzeugung von Bildpunkten in einem regelmäßigen Raster eine Interpolation ausgeführt. Diese beiden Schritte werden vorzugsweise in einem Rechenvorgang ausgeführt. Dieser Rechenvorgang ist beispielsweise eine lineare Interpolation.
-
Nach einem besonders bevorzugten Aspekt der vorliegenden Erfindung werden Kameramodule verwendet, die unterschiedliche Farbfilter aufweisen, so dass die einzelnen Kameramodule Farbbilder in unterschiedlicher Farbe aufnehmen. Mit dem Begriff „Farbe“ werden hier vorbestimmte spektrale Bereiche bezeichnet. Die einzelnen Farbbilder können in Merkmalsbilder gewandelt werden, indem einzelne Bildpunkte der Farbbilder in skalare Intensitäten umgesetzt werden, bevor diese Merkmalsbilder verwendet werden, um die Disparitäten zu bestimmen.
-
Die Intensitäten der Bildpunkte der Merkmalsbilder geben jeweils den Helligkeitsbeitrag der jeweiligen Bildpunkte der Farbbilder in einem Pseudo-Graustufenbild wieder. Hierdurch können die Bildpunkte der einzelnen Merkmalsbilder durch Skalare beschrieben werden, die vergleichbare Intensitäten darstellen. Die mit den Kameramodulen erfassten Farbbilder können vektorielle Bildpunkte mit mehreren unterschiedlichen Farbintensitäten (z. B.: RGB) umfassen.
-
Für die Durchführung der Bestimmung der Disparitäten in Echtzeit ist es eine wesentliche Vereinfachung, wenn die Farbbilder in Merkmalsbilder umgesetzt werden, wobei den einzelnen Bildpunkten skalare Intensitäten zugeordnet sind.
-
Die Umwandlung der Farbbilder in Merkmalsbilder kann mittels Transformationsvektoren ausgeführt werden, welche Gewichtungswerte umfassen, die jeweils das Gewicht der einzelnen Farbe für die skalare Intensität wiedergeben.
-
Diese Gewichtungswerte können anhand von physikalischen Modellen des Bildaufnahmeprozesses bestimmt werden. Andererseits ist es auch möglich, die Gewichtungswerte statistisch anhand von mit den Kameramodulen aufgenommenen Bildern von vorbestimmten Objekten, deren Zuordnung der Bildpunkte in den beiden Bildern bekannt ist, zu erstellen.
- • Die Transformationsvektoren können auch an die jeweils abzutastende Oberfläche angepasst werden. Wenn die Tranformationsvektoren an die jeweils abzutastende Oberfläche angepasst werden sollen, dann muss dies sehr schnell und vorzugsweise in Echtzeit erfolgen. Bei der oben angegebenen statistischen Bestimmung der Gewichtungswerte des Transformationsvektors werden vordefinierte Kalibriebilder mit den Kameramodulen abgetastet, wobei in der Regel das gesamte erfasste Bild ausgewertet wird. Dieses statistische Verfahren kann dahingehend abgewandelt werden, dass nicht vordefinierte Kalibrierbilder sondern der an zu untersuchenden Objekten erfassten Bilder auch zum Anpassen der Transformationsvektoren verwendet werden. Hierbei werden nicht alle Bildpunkte verwendet, sondern lediglich Bildpunkte, die zu sogenannten unüberwachten Merkmalen gehören. Als unüberwachte Merkmale werden Punkte in ähnlichen Bildern bezeichnet, die zueinander korrespondieren. Es gibt Verfahren, die derartige unüberwachte Merkmale extrahieren. Werden lediglich Bildpunkte von unüberwachten Merkmalen, bzw. die benachbart zu unüberwachten Merkmalen angeordnet sind und ähnliche Farbintensitäten aufweisen, ausgewertet, dann können die Gewichtungswerte der Transformationsvektoren sehr schnell ermittelt werden, so dass es auch möglich ist, die Transformationsvektoren individuell an unterschiedliche abzutastende Oberflächen während des Betriebs anzupassen.
-
Mit dem registrierten Bildpaar kann ein Oberflächenspektrum der abgetasteten Oberfläche bestimmt werden.
-
Vorzugsweise sind die mit den Kameramodulen erfassten Bilder eindimensionale Bilder. Die Bestimmung der Disparitäten und die Registrierung der Bildpaare erfolgt dann lediglich in der Längsrichtung der Bilder. Grundsätzlich ist dieses Verfahren jedoch auch für zweidimensionale Bilder geeignet.
-
Die Kameramodule können eine Zeilenkamera aufweisen, mit mehreren unterschiedlichen Sensorzeilen, wobei mit einer jeden Sensorzeile ein separates Zeilenbild erfasst wird. Die einzelnen Zeilenbilder werden mittels einer geometrischen Abbildung überlagert.
-
Vorzugsweise ist der Bildsensor eines jeden Kameramoduls ein Referenzausschnitt eines Bildsensorchips. Hierdurch sind die einzelnen Kameramodule bei einem Flächensensorchip in der Ebene zueinander ausgerichtet und bei einem Zeilensensor in Zeilenrichtung zueinander ausgerichtet, wenn die Objektive der Kameramodule keine Verzeichnung aufweisen und der Bildsensorchip exakt zur Abtastrichtung ausgerichtet ist.
-
Vorzugsweise werden mehrere Kameramodule verwendet, wobei zumindest eines der Kameramodule Bestandteil zweier Stereokameras ist. Die einzelnen Kameramodule bilden somit paarweise jeweils eine Stereokamera. Bei vier Kameramodulen, die linear entlang einem Zeilensensorchip ausgebildet sind, sind somit drei Stereokameras vorgesehen. Die vier Kameramodule können auch als sechs Stereokameras verwendet werden, wobei die Bilder paarweise registriert werden.
-
Anhand der Disparitäten kann ein Höhenprofil der abgetasteten Oberfläche bestimmt werden.
-
Eine erfindungsgemäße Vorrichtung bzw. Mehrfachkamera zum Abtasten von Oberflächen umfasst zumindest eine Stereokamera mit zumindest zwei Kameramodulen, welche jeweils ein Objektiv und einen Bildsensor aufweisen, und derart angeordnet sind, dass sie von einem gemeinsamen Bereich einer abzutastenden Oberfläche jeweils ein Bild erfassen, wobei die Vorrichtung eine Steuereinrichtung aufweist, die zum Ausführen eines der oben erläuterten Verfahren ausgebildet ist.
-
Die Vorrichtung weist vorzugsweise eine Beleuchtungseinrichtung auf, die den abzutastenden Bereich ausleuchtet.
-
Weiterhin kann die Vorrichtung mit einer Bewegungseinrichtung zum relativen Bewegen der abzutastenden Oberfläche und der Stereokamera versehen sein.
-
Die Vorrichtung kann auch mehrere Stereokameras aufweisen.
-
Die einzelnen Kameramodule können mit unterschiedlichen funktionellen Filtern, wie z. B. unterschiedlichen Farbfiltern, Polarisationsfiltern oder dergleichen, und/oder verschiedenen Kamerasensoren mit unterschiedlichen Empfindlichkeiten (unterschiedliche Sensitivität, unterschiedliche Farbe, z.B. einmal RGB und einmal Infrarot) versehen sein.
-
Vorzugsweise sind die Bildsensoren der einzelnen Kameramodule jeweils unterschiedliche Abschnitte eines gemeinsamen Sensorchips.
-
Der Bildsensor der Kameramodule kann ein Zeilensensor oder ein Flächensensor sein.
-
Wie es oben bereits ausgeführt ist, können die registrierten Bildpaare zur Spektralanalyse verwendet werden, wenn es sich hierbei um Farbbilder handelt. Hierbei werden insbesondere Kameramodule mit unterschiedlichen spektralen Empfindlichkeiten und/oder unterschiedlichen Farbfiltern verwendet. Hierdurch wird die zur Verfügung stehende Farbinformation erweitert.
-
Mit den registrierten Bildpaaren stehen einerseits Informationen über die dreidimensionale Form der abgetasteten Gegenstände anhand der ermittelten Disparitäten als auch herkömmliche Bildinformationen als ebenflächiges Graustufen- oder Farbbild zur Verfügung. Die registrierten Bilder können deshalb auch zum Abtasten bedruckter dreidimensionaler Gegenstände verwendet werden, um einerseits die Bildinformation an sich zu untersuchen und andererseits die Position der Bildinformation bezüglich der Position der Gegenstände zu bestimmen. Ein typisches Beispiel für eine solche Anwendung ist die Abtastung von einer Computertastatur. Die Computertastatur umfasst eine Vielzahl von Tasten. Jede einzelne Taste ist mit einem Druckbild bedruckt. Bei der Produktion muss automatisch überprüft werden, ob die Druckbilder auf den jeweiligen Tasten korrekt positioniert sind. Da mit der erfindungsgemäßen Kamera die Information von der Form der Gegenstände als auch die Bildinformation der auf den jeweiligen Tasten gedruckten Bilder vorliegen, kann die korrekte Positionierung der einzelnen Druckbilder auf den jeweiligen Tasten überprüft werden. Tasten werden üblicherweise mit weißer oder schwarzer Farbe bedruckt, so dass für diese Anwendung auch Kameramodule geeignet sind, die lediglich in schwarz/weiß die Oberflächen abtasten.
-
Weiterhin kann das erfindungsgemäße Verfahren dazu verwendet werden, optische Eigenschaften, die winkelabhängig sind, zu analysieren, da man aufgrund der zumindest zwei Kameramodule aus zwei unterschiedlichen Blickrichtungen (zwei unterschiedliche Winkel) auf jeweils einen bestimmten Punkt des Objektes blickt. Durch die Registrierung der Bilder ist sichergestellt, dass die beiden Kameramodule auf exakt den gleichen physikalischen Punkt des Objektes blicken. Winkelabhängige optische Eigenschaften sind beispielsweise die bidirektionale Reflektionsfunktion, insbesondere die Verteilung der Leuchtdichte, Glanzwerte oder Rauheit.
-
Wird ein Produktionsprozess überwacht, bei dem Objekte mit einer begrenzten Menge vorbestimmter unterschiedlicher Oberflächen hergestellt werden, dann können diese Oberflächen anhand winkelabhängiger optischer Eigenschaften eindeutig identifiziert werden. Dies gilt insbesondere für die Metallverarbeitung, bei welcher gefräste, geschliffene, beschichtete, perlbestrahlte und unbehandelte Oberflächen vorkommen können. Diese Oberflächen haben unterschiedliche optische Reflektionseigenschaften, die oftmals winkelabhängig sind. Mit dem erfindungsgemäßen Verfahren können diese unterschiedlichen Typen von Oberflächen sehr schnell und sehr zuverlässig detektiert und unterschieden werden.
-
Zusammenfassend kann man festhalten, dass mit dem erfindungsgemäßen Verfahren Objekte abgetastet werden können, wobei gleichzeitig mit hoher Präzision die Form und die Farbe (schwarz/weiß, Graustufen, Farbbild) erfasst werden können, wobei durch die Registrierung der Bilder sowohl die Form- als auch die Farbinformation jeweils sehr präzise den jeweiligen Bildpunkten zuordenbar ist.
-
Aufgrund der Registrierung der Bilder ist das Verfahren so präzise, dass es auch kalibriert werden kann, so dass die abgetasteten Objekte vermessen werden können. Es können vor allem sehr präzise Abmessungen in einer Ebene etwa senkrecht zu den optischen Achsen der Kameramodule bestimmt werden.
-
Die Erfindung wird nachfolgend beispielhaft anhand der Zeichnungen näher erläutert. Die Zeichnungen zeigen in:
-
1 schematisch eine Vorrichtung zum Abtasten von Oberflächen mit einer Vierfach-Kamera in einer perspektivischen Ansicht,
-
2 ein Schema zum Ermitteln von Disparitäten in einem mit der in 1 gezeigten Kamera aufgenommenen Bild,
-
3 jeweils zwei Testkonturen, mit welchen Registrierungsfehler ermittelt worden sind, und
-
4 ein Verfahren zum Abtasten einer Oberfläche in einem Flussdiagramm.
-
Die Erfindung wird im Folgenden anhand eines Ausführungsbeispiels einer optischen Abtastvorrichtung 1 mit einer Vierfach-Kamera 2 erläutert. Die Abtastvorrichtung 1 weist neben der Kamera 2 eine zeilenförmige Lichtquelle 3, eine Steuereinrichtung 4 und einen Bewegungsdetektor 5 auf.
-
Mit dem Bewegungsdetektor 5 wird die Bewegung eines Förderbandes 6 erfasst, mit welchem optisch abzutastende Produkte in Förderrichtung 7 bewegt werden. Anstelle eines Förderbandes kann auch ein bandförmiges Produkt entlang der Abtastvorrichtung 1 bewegt werden.
-
Grundsätzlich ist es auch möglich, dass die Abtastvorrichtung 1 bewegt wird und die abzutastende Oberfläche stillsteht.
-
Die Kamera 2 weist vier Kameramodule 8, 9, 10, 11 auf. Ein jedes Kameramodul 8, 9, 10, 11 ist aus einem Objektiv 12 und einem Bildsensor (nicht dargestellt) ausgebildet. Ein jedes Kameramodul 8, 9, 10, 11 weist einen Farbfilter auf, wobei sich die Farbfilter der unterschiedlichen Kameramodule in der Farbe jeweils unterscheiden. Anstelle eines Farbfilters kann auch ein Polarisationsfilter oder ein anderer Filter, der nur bestimmtes Licht durchlässt, vorgesehen sein. Im vorliegenden Ausführungsbeispiel sind Farbfilter für die Farben vorgesehen. Vorzugsweise sind die unterschiedlichen Filter so ausgebildet, dass deren spektrale Transmissionsbereiche sich zumindest teilweise überlappen. Ein solcher Überlapp bewirkt, dass die unterschiedlichen Bilder übereinstimmende Informationen enthalten, was eine unten näher erläuterte Merkmalstransformation der Bilder erleichtert, bei der Farbbilder in Merkmalsbilder umgewandelt werden.
-
Die Kamera weist einen einzigen Zeilensensorchip auf, wobei Abschnitte dieses Zeilensensorchips den jeweiligen Bildsensor für die jeweiligen Kameramodule 8, 9, 10, 11 bilden.
-
Der Zeilensensorchip umfasst drei parallel nebeneinander angeordnete Sensorzeilen, die jeweils in einer der Farben Rot, Grün und Blau empfindlich sind. Die Spektralbereiche der einzelnen Sensorzeilen erstrecken sich etwa über die Bereiche 400 nm–550 nm (Blau), etwa 450 nm–600 nm (Grün) und etwa 550 nm–700 nm (Rot).
-
Die vier Kameramodule 8, 9, 10, 11 sind derart ausgerichtet, dass sie alle einen gemeinsamen Bereich des Förderbandes 6 erfassen. Dieser gemeinsame Bereich ist eine quer zur Förderrichtung 7 verlaufende Sichtlinie 13.
-
Die Lichtquelle 3 ist als Leuchtdiodenzeile ausgebildet. Sie ist vorzugsweise derart angeordnet, dass sie die Sichtlinie 13, die von einer Kamera 2 erfasst wird, unter einem Winkel von etwa 30° bis 60° gegenüber der Oberfläche des Förderbandes 6 ausleuchtet. Die Leuchtdioden sind vorzugsweise zum Abstrahlen von weißem Licht ausgebildet. Die Lichtquelle 3 ist vorzugsweise so ausgebildet, dass sie Licht über den gesamten Spektralbereich aussendet, in dem die Kamera empfindlich ist. Im vorliegenden Ausführungsbeispiel deckt die Lichtquelle den Spektralbereich von etwa 400 nm bis 700 nm ab.
-
Es können auch mehrere Lichtquellen vorgesehen sein, die beispielsweise Licht mit unterschiedlichen Spektralbereichen emittieren. Unterschiedliche Lichtquellen können auch als Hellfeldbeleuchtung und/oder als Dunkelfeldbeleuchtung ausgebildet sein. Die unterschiedlichen Lichtquellen können abwechselnd das Objekt ausleuchten. Dies wird auch als Multiplexbeleuchtung bezeichnet. Eine solche Multiplexbeleuchtung ist bspw. in der noch nicht veröffentlichten deutschen Patentanmeldung
DE 10 2015 105 656.9 beschrieben, auf welche hiermit Bezug genommen wird.
-
Nachfolgend wird ein Verfahren erläutert, bei dem die oben beschriebene Abtastvorrichtung 1 verwendet wird, um eine sich in Förderrichtung 7 bewegende Oberfläche abzutasten. Das Verfahren wird zur Vereinfachung der Erläuterung lediglich anhand zweier Kameramodule erläutert, die eine Stereokamera bilden. Das Verfahren ist auf eine Mehrfach-Kamera mit einer an sich beliebigen Anzahl von Kameramodulen erweiterbar.
-
Das Verfahren beginnt mit dem Schritt S1.
-
Mit den beiden Kameramodulen 8, 9 werden mehrere aufeinanderfolgende Zeilenbilder der sich in Förderrichtung 7 bewegenden Oberfläche des Förderbandes 6 bzw. von auf dem Förderband 6 befindlichen Produkten erfasst (Schritt S2). Die jeweilige Bildaufnahme eines Zeilenbildes wird mittels des Bewegungsdetektors 5 derart gesteuert, dass die einzelnen Zeilenbilder von gleichmäßig beabstandeten Sichtlinien 13 auf der abzutastenden Oberfläche erfasst werden. Die einzelnen Zeilenbilder werden zu einem farbigen oder mehrkanaligen Flächenbild zusammengesetzt, wobei mit dem Kameramodul 8 ein erstes Flächenbild und mit dem Kameramodul ein zweites Flächenbild erzeugt wird. Ein mehrkanaliges Flächenbild enthält an den einzelnen Bildpunkten mehrere Intensitätswerte, die aus den Intensitäten unterschiedlicher Farbkanäle stammen. Diese mehreren Intensitäten können aber müssen nicht ein Farbbild ergeben.
-
Mit den Kameramodulen 8, 9 werden spektral unterschiedliche mehrkanalige Zeilenbilder aufgenommen, wobei jedem Bildpunkt ein Vektor bestehend aus mehreren Farbintensitätswerten zugeordnet ist, die im vorliegenden Beispiel jeweils einen Farbintensitätswert für die Farbe Rot, einen für die Farbe Blau und einen für die Farbe Grün umfassen. Diese Zeilenbilder werden in Merkmalsbilder umgesetzt (Schritt S2), wobei in den Merkmalsbildern den einzelnen Bildpunkten skalare Intensitäten zugeordnet sind.
-
Die Umwandlung der Zeilenbilder in Merkmalsbilder wird mittels einer Transformation ausgeführt, welche die Farbintensitätswerte in Helligkeitswerte eines Pseudo-Graustufenbildes umsetzt. Die einzelnen Bildpunkte des Merkmalsbildes werden durch Skalare beschrieben, die vergleichbare Intensitäten darstellen.
-
Die Umwandlung der Farbbilder in Merkmalsbilder wird mittels Transformationsvektoren ausgeführt, welche Gewichtungswerte umfassen, die jeweils das Gewicht der einzelnen Farbintensität für die skalare Intensität wiedergeben. Die Vektortransformationen mit dem Transformationsvektoren a1, a2 erfüllen folgende Formel: arga1min||W1a1 – W0a0||E wobei a1 der Transformationsvektor des zweiten Bildes, W1 die Menge der Farbintensitätsvektoren des zweiten Bildes, a0 der Transformationsvektor für das erste Bild und W0 die Menge der Farbintensitätsvektoren des ersten Bildes darstellen. Zunächst wird einer der beiden Transformationsvektoren unabhängig vom anderen Transformationsvektor berechnet. Hierzu wird zumindest ein vorbestimmtes Kalibrierbild mit den Kameramodulen erfasst. Von dem Kalibrierbild sind die Farbwerte bekannt. Mit der Transformation soll die im Bild enthaltene Information maximal erhalten werden. Beispielsweise wird der Transformationsvektor derart berechnet, dass die Varianz des Farbbildes erhalten bleibt. Alternativ ist es beispielsweise auch möglich, den Transformationsvektor bzw. die Transformation derart zu berechnen, dass der Kontrast möglichst erhalten bleibt. Der zweite Transformationsvektor bzw. die zweite Transformation wird dann anhand des ersten Transformationsvektors und obiger Formel ermittelt.
-
Die oben angegebene Formel bedeutet, dass die Farbintensitätsvektoren des ersten Bildes mit dem Transformationsvektor des ersten Bildes transformiert werden und die Farbintensitätsvektoren des zweiten Bildes mit dem Farbintensitätsvektor des zweiten Bildes transformiert werden, wobei die euklidische Differenz zwischen den Farbintensitätsvekoren der jeweiligen Bildpunkte gebildet wird und die Transformationsvektoren derart gewählt werden, dass die Summe der euklidischen Differenzen ein Minimum ergibt. Dies bedeutet mit anderen Worten, dass die Transformationen der beiden Bilder so ausgebildet sind, dass die jeweils transformierten Bilder sich möglichst ähnlich sind, d. h. möglichst wenige Differenzen bestehen. Diese Transformationen sind daher nicht derart ausgebildet, um ein möglichst für das menschliche Auge natürliches Graustufenbild zu erzeugen, sondern um Graustufenbilder zu erzeugen, die möglichst identisch sind. Deshalb wird das Merkmalsbild auch als Pseudo-Graustufenbild bezeichnet.
-
Die Transformationsvektoren können durch numerische Lösung des oben angegebenen Minimierungsproblems ermittelt werden, wobei tatsächlich gemessene Farbintensitätsvektoren eingesetzt werden.
-
Bei obigem Beispiel wird eine lineare Transformation verwendet. Im Rahmen der Erfindung können selbstverständlich auch nichtlineare Transformationen verwendet werden. Weiterhin kann man anstelle der euklidischen Norm auch jedes andere Maß nehmen, mit welchem sich ein Abstand zwischen zwei Vektoren bzw. eine entsprechende Fehlerfunktion darstellen und minimieren lässt.
-
Alternativ ist es auch möglich anstelle einer solchen empirischen Ermittlung der Transformationsvektoren ein numerisches Modell der Kameramodule zu verwenden, das die Umsetzung des empfangenen Lichts durch die Filter und die Bildsensoren beschreibt. Die Einflüsse der einzelnen Komponenten der Kameramodule auf das empfangene Licht sind bekannt. Bei Verwendung eines numerischen Models wird eine der beiden Transformationen bezüglich der Varianz aller möglichen Kameraantworten optimiert und die andere Transformation daran angeglichen, wie es oben bei der empirischen Ermittlung der Transformationsvektoren erläutert ist. Bei der empirischen Ermittlung der Transformationsvektoren werden hingegen nur bestimmte, gemessene Farbwerte berücksichtigt.
-
Die Umsetzung der Farbbilder in Merkmalsbilder erleichtert die nachfolgend erläuterte Bestimmung der Disparitäten.
-
Es werden die Disparitäten des ersten Flächenbildes zum zweiten Flächenbild berechnet (Schritt S4). Hierzu wird im ersten Flächenbild ein Referenzausschnitt 14 um einen Bildpunkt F0(x, y) ausgewählt. Im vorliegenden Ausführungsbeispiel ist der Referenzausschnitt 14 quadratisch mit einer Seitenlänge von b. Dieser Referenzausschnitt 14 wird in einem Suchfenster 15 des zweiten Flächenbildes an mehreren Positionen derart überlagert, dass jeweils der zentrale Bildpunkt F0(x, y) des Referenzausschnitts mit einem Bildpunkt F1(x, y) des ersten Flächenbildes überlagert ist.
-
Wäre die abzutastende Oberfläche exakt ebenflächig, die Kameramodule mit ihren optischen Achsen exakt senkrecht auf diese Oberfläche ausgerichtet, die einzelnen Kameramodule verzeichnungs- und verzerrungsfrei und die spektralen Sensitivitäten der Kameramodule identisch, dann könnten mit den mehreren Kameramodulen Bilder des gemeinsamen Bereichs der abzutastenden Oberfläche erfasst werden, die lediglich mit einer linearen Verschiebung exakt in Deckung gebracht werden könnten, wobei alle Bildpunkte der einzelnen Bilder exakt die Farb- bzw. Lichtintensität desselben Bildpunktes der abzutastenden Oberfläche wiedergeben würden. Diese fiktiven Positionen der Bildpunkte werden im Folgenden als geometrischer Ort bezeichnet, d. h. der Ort auf der abzutastenden Oberfläche für den jeweiligen Bildpunkt, der sich ohne Verzerrung und ohne Verzeichnung bei einer ebenflächigen Oberfläche ergeben würde. Da bei der vorliegenden Kamera die Teilbilder der einzelnen Farben zunächst rektifiziert werden, um der Epipolar-Bedingung zu entsprechen, kann der Referenzausschnitt 14 in y-Richtung exakt mit der korrespondierenden Position des Suchfensters 15 in y-Richtung überlagert werden.
-
In Zeilenrichtung bzw. in Richtung entlang der Sichtlinie 13 werden hingegen bei unterschiedlichen Höhen der Oberfläche erhebliche Verzerrungen bzw. Abweichungen der Bildpunkte von ihrem geometrischen Ort verursacht. Der Referenzausschnitt 14 wird deshalb in Zeilenrichtung bzw. x-Richtung im Suchfenster 15 an mehreren Positionen derart angeordnet, dass jeweils der zentrale Bildpunkt des Referenzausschnittes 14 mit einem Bildpunkt des Suchfensters 15 in Deckung gebracht ist, wobei die beiden Bildpunkte den gleichen y-Wert aufweisen. Die Verschiebung des Referenzausschnittes 14 gegenüber dem geometrischen Ort des Referenzausschnittes im Suchfenster 15 ist als D(x, y) in 2 angegeben. Diese Verschiebung D(x, y) wird auch als Abstand vom geometrischen Ort bezeichnet.
-
Die Anzahl der Bildpunkte, über welche im Suchfenster 15 der Referenzausschnitt 14 in Deckung gebracht wird, ist in 4 mit w bezeichnet.
-
Die Kantenlänge b des Referenzausschnittes 14 beträgt 11 bis 29 Bildpunkte und insbesondere 19 bzw. 21 Bildpunkte. Die Anzahl der Bildpunkte w, mit welchen der Referenzausschnitt 14 in Deckung gebracht wird, beträgt vorzugsweise zumindest 10, insbesondere zumindest 20, zumindest 40 oder zumindest 50 und vorzugsweise zumindest 100 oder zumindest 300 oder insbesondere zumindest 500.
-
Die Breite des Suchfensters beträgt w + b – 1 (2). Die Kantenlänge b des Referenzausschnitts 14 ist vorzugsweise nicht größer als ein Drittel der Breite des Suchfensters 15 und insbesondere nicht größer als ein Viertel bzw. ein Fünftel und vorzugsweise nicht größer als ein Zehntel der Breite des Suchfensters.
-
Für eine jede Position des Referenzausschnitts 14 im Suchfenster 15 wird ein Korrelationswert berechnet. Der Korrelationswert ist ein Maß, wie gut die Bildpunkte des Referenzausschnitts 14 des ersten Flächenbildes mit den Bildpunkten des zweiten Flächenbildes, von welchen sie überlagert sind, übereinstimmen. Als Korrelationswert kann beispielswert die Summe der quadratischen Abstände (SSD: sum of squared difference) verwendet werden. Je geringer dieser Wert ist, desto besser ist die Übereinstimmung. Als Korrelationswert ist auch jede andere Metrik geeignet, die den Unterschied zweier Vektoren beschreibt. Dies können beispielsweise der euklidische Abstand oder ein Kreuzkorrelationswert sein. Weitere geeignete Metriken sind ZNCC (Zero mean Normalized Cross-Correlation), adaptives Binärfenster (adaptive binary window), POC (Phase-Only Correlation), Three-Moded Census, geführter Bildfilter (guided image filter) oder ein minimal spannender Baum (minimum spanning tree).
-
Die Position des Referenzausschnitts 14 im Suchfenster 15, die den besten Korrelationswert aufweist, wird zur Bestimmung der Disparität ausgewählt. Der Abstand D(x, y) des Referenzausschnitts 14 an dieser Position stellt den entsprechenden Disparitätswert dar, der dem entsprechenden Bildpunkt F0(x, y) im ersten Flächenbild zugeordnet wird.
-
Diese Bestimmung der Disparität wird für alle Bildpunkte des ersten Flächenbildes innerhalb eines vorbestimmten, relevanten Bereichs wiederholt. Alternativ kann auch das Suchfenster am Rand durch weitere fiktive Bildpunkte, insbesondere schwarze Bildpunkte, ergänzt werden, so dass das Zentrum des Referenzausschnitts 14 mit einem jeden Bildpunkt des Suchfensters in Deckung gebracht werden kann.
-
Bei dem oben erläuterten Verfahren werden die Disparitäten zwischen dem ersten und zweiten Flächenbild bestimmt (Schritt S4).
-
Sind die Disparitäten bestimmt, dann werden die ursprünglichen Farbbilder gemäß den Disparitäten transformiert, d. h. die Farbbildintensitäten werden um die Disparitäten verschoben. Da die Farbbildintensitäten bzw. Farbbildwerte in einem regelmäßigen Raster angeordnet sein sollen, wird eine Interpolation durchgeführt, mit welcher jedem Bildpunkt im regelmäßigen Raster die entsprechenden Bildintensitätswerte zugeordnet werden. Diese transformierten Farbbilder sind somit bezüglich der Verschiebung der Farbintensitäten derart kompensiert, dass in den transformierten Farbbildern an den Bildpunkten jeweils gleicher Position in den Farbbildern die entsprechenden Farbintensitäten enthalten sind, die mittels des jeweiligen Kameramoduls von derselben Position der abzutastenden Oberfläche erfasst worden sind.
-
Dieses Transformieren der Farbbilder gemäß den Disparitäten wird als Registrieren bezeichnet (Schritt S5). Dadurch, dass alle Farbintensitäten bzw. Graustufen der ursprünglichen Bilder registriert werden, wird keine Information (mit Ausnahme von Rundungsfehlern) verloren. Die korrespondierenden Bildpunkte in den unterschiedlichen Bildern der unterschiedlichen Kameramodule enthalten somit die Farbbildintensitäten, die mit dem jeweiligen Kameramodul von exakt dem gleichen physikalischen Punkt des Objektes abgetastet worden sind. Hierdurch lassen sich die Informationen der mit den unterschiedlichen Kameramodulen aufgenommenen Bilder sehr gut gemeinsam auswerten.
-
Nachdem die Farbbilder registriert worden sind, wird das Verfahren in Schritt S6 beendet.
-
Das oben erläuterte Verfahren kann auch dahingehend abgewandelt werden, dass nach Bestimmung der Korrelationswerte zwischen den Referenzausschnitten 14 und den entsprechenden Bereichen im Suchfenster 15 und der entsprechenden Abstände D zunächst eine Näherungsfunktion ermittelt wird, die den Zusammenhang zwischen den Abständen D und den Korrelationswerten wiedergibt. Von dieser Näherungsfunktion wird das Minimum für den Korrelationswert bestimmt. Dieses Minimum kann auch außerhalb des Rasters der Bildpunkte des Suchfensters liegen. Hiermit können somit auch Disparitäten ermittelt werden, die nicht ein Vielfaches des Abstandes zweier benachbarter Bildpunkte des Suchfensters betragen. Die derart ermittelten Disparitäten werden dann den entsprechenden Bildpunkten des Flächenbildes zugeordnet, aus denen der Referenzausschnitt 14 stammt. Hierdurch wird die Genauigkeit der Disparitäten verbessert.
-
Dieses Verfahren wurde auf zwei räumlich konturierte Schachbrettmuster, wie sie in 3 dargestellt sind, angewandt. Von bestimmten Referenzpunkten wird geometrisch der Ort erfasst. Die euklidischen Abstände der Referenzpunkte werden berechnet und mit den ermittelten Disparitäten verglichen. Die mit obigem Verfahren ermittelten Disparitäten stimmten im Wesentlichen mit den geometrisch ermittelten Abständen überein. Die maximale Abweichung betrug 0,42 des Abstandes zwischen zwei benachbarten Bildpunkten.
-
Mit dem oben erläuterten Ausführungsbeispiel kann eine Spektralanalyse durchgeführt werden. Die vier Kameramodule 8 bis 11 erzeugen jeweils drei Farbkanäle, so dass insgesamt zwölf Farbkanäle für die Spektralanalyse zur Verfügung stehen.
-
Bei der Spektralanalyse wird das Oberflächenspektrum der Bildpunkte über den gesamten erfassten spektralen Bereich rekonstruiert. Im vorliegenden Ausführungsbeispiel erstreckt sich der spektrale Bereich von 400 nm bis 700 nm. Je nach Ausbildung der Lichtquelle und der Kameramodule können auch andere spektrale Bereiche vorgesehen sein, die auch Infrarotlicht und/oder UV-Licht umfassen können.
-
Bei dem oben erläuterten Verfahren werden einmal vorab ermittelte Transformationsvektoren unverändert eingesetzt. Im Rahmen der Erfindung ist es auch möglich, die Transformationsvektoren an die jeweils abzutastende Oberfläche anzupassen.
-
Um die Transformationsvektoren an die jeweils abzutastende Oberfläche anzupassen, werden unüberwachte Merkmale der korrespondierenden Bilder ermittelt. Hierzu sind Standardverfahren bekannt, wie z.B. SURF (Speed Up Robust Function), mit welchen schnell und robust korrespondierende Bildpunkte in ähnlichen Bildern ermittelt werden können.
-
Die Merkmalsvektoren der Bildpunkte der unüberwachten Merkmale werden verglichen und die jeweils ähnlichsten Vektoren werden als korrespondierende Bildpunkte ausgewählt.
-
In einem weiteren Schritt werden Bildbereiche um diese korrespondierenden Bildpunkte in den Bildern ausgewählt. Hierzu wird beispielsweise der mean shift Algorithmus (
Cheng, Yizong (August 1995). "Mean Shift, Mode Seeking, and Clustering". IEEE Transactions on Pattern Analysis and Machine Intelligence (IEEE) 17 (8): 790–799, oder https://en.wikipedia.org/wiki/Mean_shift) verwendet.
-
Anhand der Farbwerte der in diesen Bildbereichen enthaltenen Bildpunkte wird die Merkmalstransformation bestimmt. Da nur ausgewählte Farbwerte von relativ wenigen Bildpunkten verwendet werden, lassen sich die Transformationsvektoren sehr schnell bestimmen, so dass sie in Echtzeit an unterschiedliche abzutastende Oberflächen angepasst werden können.
-
Das oben erläuterte Ausführungsbeispiel der Vierfach-Kamera wird für die Multispektralanalyse verwendet. Ein jedes Kameramodul 8, 9, 10, 11 erzeugt drei Farbkanäle. Für die Multispektralanalyse stehen somit zwölf Farbkanäle zur Verfügung. Dieses Verfahren wird vor allem zur Überwachung von bedruckten Papierbahnen verwendet. Mit dieser Vierfach-Kamera kann die Papierbahn sehr einfach, schnell, präzise und zuverlässig überwacht werden.
-
Da durch die Bestimmung der Disparitäten auch Informationen über die dreidimensionale Form des abgetasteten Objektes vorliegen, können die mit einer solchen Mehrfach-Kamera erfassten Bilder auch anders ausgewertet werden. Eine solche Mehrfach-Kamera kann insbesondere auch zur Überwachung und Kontrolle von bedruckten dreidimensionalen Gegenständen verwendet werden, wobei zunächst die Form der Gegenstände anhand der Disparitäten bestimmt wird und danach das Druckbild überprüft wird. Durch die Berücksichtigung der Form kann bestimmt werden, ob das Druckbild an dem überwachten Gegenstand korrekt positioniert ist. Weiterhin kann anhand der ermittelten Form der Neigungswinkel der abgetasteten Oberfläche bezüglich der von der Lichtquelle ausgesendeten Lichtstrahlung bestimmt werden und dieser bei der Bestimmung optischer Eigenschaften des abgetasteten Objektes mit berücksichtigt werden. Dieser Neigungswinkel hat einen erheblichen Einfluss auf die Reflektion der einfallenden Lichtstrahlen. Auch der Abstand der Oberfläche von den Kameramodulen hat einen erheblichen Einfluss auf die spektrale Farbmessung. Dieser Abstand kann anhand der Disparitäten bestimmt werden und auch bei der Bestimmung der optischen Eigenschaften des abgetasteten Objektes mit berücksichtigt werden. Werden Reflektionseigenschaften des abgetasteten Objektes bestimmt, dann ist es somit zweckmäßig die Neigung der Oberfläche des abzutastenden Objektes bezüglich der Lichtstrahlung und/oder den Abstand der Kameramodule zum Objekt mit zu berücksichtigen.
-
Bezugszeichenliste
-
- 1
- Abtastvorrichtung
- 2
- Kamera
- 3
- Lichtquelle
- 4
- Steuereinrichtung
- 5
- Bewegungsdetektor
- 6
- Förderband
- 7
- Förderrichtung
- 8
- Kameramodul
- 9
- Kameramodul
- 10
- Kameramodul
- 11
- Kameramodul
- 12
- Objektiv
- 13
- Sichtlinie
- 14
- Referenzausschnitt
- 15
- Suchfenster
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
-
Zitierte Nicht-Patentliteratur
-
- Cheng, Yizong (August 1995). "Mean Shift, Mode Seeking, and Clustering". IEEE Transactions on Pattern Analysis and Machine Intelligence (IEEE) 17 (8): 790–799, oder https://en.wikipedia.org/wiki/Mean_shift [0086]