DE102021131620B4

DE102021131620B4 - Photometrisches Stereoverfahren zum Abtasten einer Oberfläche, Verfahren zum Normieren einer Abtastvorrichtung für ein photometrisches Stereoverfahren und Abtastvorrichtung für ein photometrisches Stereoverfahren

Info

Publication number: DE102021131620B4
Application number: DE102021131620.0A
Authority: DE
Inventors: Sebastian Georgi; Timo Eckhard
Original assignee: Chromasens GmbH
Current assignee: Chromasens GmbH
Priority date: 2021-12-01
Filing date: 2021-12-01
Publication date: 2024-02-08
Anticipated expiration: 2041-12-02
Also published as: DE102021131620A1; WO2023099568A1

Abstract

Photometrisches Stereoverfahren zum Abtasten einer Oberfläche mit einer Zeilenkamera und ausgedehnten Beleuchtungseinrichtungen, welche einen zeilenförmigen Abtastbereich aus unterschiedlichen Richtungen beleuchten, wobei von einem Objekt, das sich im Abtastbereich befindet, mehrere Zeilenbilder des gleichen Objektbereichs aufgenommen werdenund für einen jeden Bildpunkt eine Oberflächennormale ne(x) mit folgenden Schritten bestimmt wird: Berechnen für einen jeden Bildpunkt x den Normalenvektor ne(x) anhand von i Beleuchtungs-Richtungsvektoren di(x) und normierten, gemessenen Belichtungswerten INi(x)n⇀e=(d⇀1T(x)d⇀2T(x)⋯d⇀mT(x))−1∗(IN,1(x)IN2(x)…INm(x))wobei die gemessenen Belichtungswerte Ji(x) mit Normierungsfaktoren qi(x) folgendermaßen normiert werdenIN1..m=J1..m(x)∗q⇀1..m(x)und die Richtungsvektoren d1bis dm, welche die Richtung von einer virtuell auf einen Beleuchtungspunkt reduzierten Lichtquelle zu dem jeweiligen Bildpunkt x angeben, mittels einer Näherungsfunktion in Abhängigkeit vom jeweiligen Bildpunkt x bestimmt werden, wobei die Näherungsfunktion vorab mit einem Optimierungsverfahren derart optimiert ist, dass die Abweichungen von derart bestimmten Oberflächennormalen bezüglich bekannter Oberflächennormalen einer Normierungsvorlage minimal sind.

Description

Die vorliegende Erfindung betrifft ein photometrisches Stereoverfahren zum Abtasten einer Oberfläche mit einer Zeilenkamera und mehreren Beleuchtungseinrichtungen, welche einen zeilenförmigen Abtastbereich aus unterschiedlichen Richtungen beleuchten, ein Verfahren zum Normieren einer Abtastvorrichtung für ein photometrisches Stereoverfahren sowie eine Abtastvorrichtung für ein photometrisches Stereoverfahren.
Im Anhang sind Dokumente aufgeführt, die den technischen Hintergrund zur vorliegenden Erfindung wiedergeben.
Aus [1] geht ein photometrisches Stereoverfahren hervor, mit welchem die lokale Krümmung einer Oberfläche aus mehreren Bildern bestimmt wird, die mit unterschiedlichen Beleuchtungsbedingungen aufgenommen worden sind. Mit diesem Verfahren kann die Oberflächentopologie sehr genau erfasst werden, wobei selbst kleine Merkmale zuverlässig gemessen werden können. Kleine Merkmale, wie Löcher, Vorsprünge, Kratzer oder dergleichen, können mit diesem Verfahren wesentlich gezielter und zuverlässiger festgestellt werden, als dies mit anderen 3D-Systemen, wie zum Beispiel Stereokameras, Verfahren mit strukturiertem Licht, etc. bei gleicher optischer Auflösung möglich ist.
Bei diesem Verfahren wird das abzutastende Objekt aus unterschiedlichen Richtungen beleuchtet und mit einer Kamera aufgenommen. Da die Lichtintensität vom jeweiligen Neigungswinkel des abgetasteten Bildpunktes des Objektes und dem Einfallswinkel des auf das Objekt gestrahlten Lichtes abhängt, ergeben sich je nach Neigung des Bildpunktes unterschiedliche Helligkeitswerte. Aus diesen unterschiedlichen Helligkeitswerten kann der einzelnen Normalenvektor des jeweiligen Bildpunktes bestimmt werden. Durch Integrieren der gemessenen Neigung der Bildpunkte kann grundsätzlich die gesamte Oberflächenstruktur bzw. Oberflächentopologie erzeugt werden, wobei sich Fehler bei der Integration aufsummieren, weshalb dies praktisch nur für die Darstellung lokaler Krümmungen geeignet ist.
Das Verfahren gemäß [1] wurde für Oberflächen angewandt, welche einfallende Strahlung nach dem Lambert'schen Gesetz reflektieren.
In [2] wird dieses Verfahren auch für nicht-Lambert'sche Strahler und in [3] für weitere Lichtquellen weiter entwickelt.
Diese bekannten Verfahren tasten die Objekte jeweils mit einer Flächenkamera ab. Als Lichtquellen werden punktförmige Lichtquellen verwendet, da dies für die Berechnung der Oberflächennormalen notwendig ist.
Aus [8] geht ein Verfahren und eine Vorrichtung zur optischen Formvermessung auf glatten, glänzenden oder rauen Oberflächen hervor. Hierzu werden ein photometrisches Stereoverfahren und ein deflektrometrisches Verfahren durch Hinzufügen eines Streukörpers kombiniert werden.
[9] offenbart ein Verfahren zur Erfassung von dreidimensionalen Objektoberflächen. Mittels einer Leuchtenanordnung, welche Leuchten aufweist, die in unterschiedlichen Wellenlängen abstrahlen, und einer Auswerteeinrichtung wird durch die aufgenommenen Helligkeitsverteilungsunterschiede ein dreidimensionales Bild berechnet.
In [10] wird ein Verfahren zur optischen Formerfassung und/oder Prüfung eines Gegenstandes beschrieben. Während Beleuchtungselemente und Gegenstand relativ zueinander bewegt werden, wird eine Bildfolge aufgenommen, aus welcher lokale Oberflächenneigungen berechnet werden können.
Das Dokument [11] zeigt ein Bildinspektionssystem und ein Bildinspektionsverfahren, welche eine Bildgebungsvorrichtung und eine Einstellungsvorrichtung aufweisen, die über ein Netzwerk miteinander verbunden sind. Mit Hilfe der Einstellungsvorrichtung wird die Bildgebungsvorrichtung eingestellt und es werden verschiedene Selektoren festgelegt. Die Werte der Selektoren und die entsprechenden Verzeichnisinformationen werden an die Bildgebungsvorrichtung übertragen, die die Werte speichert und die mehrstufige Verarbeitung ausführt.
Der Erfindung liegt die Aufgabe zugrunde, dieses bekannte Verfahren dahingehend weiterzuentwickeln, dass mit einer einfachen Abtastvorrichtung schnell und zuverlässig die Oberfläche eines Objektes abgetastet werden kann, wobei selbst kleine Strukturen genau und präzise erfasst werden.
Eine weitere Aufgabe der Erfindung liegt darin, eine hierfür geeignete Abtastvorrichtung zu schaffen.
Eine oder mehrere der Aufgaben werden durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausgestaltungen sind in den jeweiligen Unteransprüchen angegeben.
Mit dem erfindungsgemäßen photometrischen Stereoverfahren wird eine Oberfläche mit einer Zeilenkamera und mehreren Beleuchtungseinrichtungen, welche einen zeilenförmigen Abtastbereich aus unterschiedlichen Richtungen beleuchten, wobei von einem Objekt, das sich im Abtastbereich befindet, mehrere Zeilenbilder aufgenommen werden, bei welchen jeweils die Beleuchtungsrichtungen unterschiedlich zum Objekt ausgerichtet sind, und für einen jeden Bildpunkt der abgetasteten Oberfläche eine Oberflächennormale n_e mit folgenden Schritten bestimmt wird:

Berechnen für jeden Bildpunkt x den Normalenvektor n_e(x), anhand von i Beleuchtungsrichtungsvektoren d_i(x) und normierten, gemessenen Belichtungswerten IN_i(x),

{\overset{⇀}{n}}_{e} = {(\begin{matrix} {\overset{⇀}{d}}_{1}^{T} (x) \\ {\overset{⇀}{d}}_{2}^{T} (x) \\ \dots \\ {\overset{⇀}{d}}_{m}^{T} (x) \end{matrix})}^{- 1} * (\begin{matrix} I N_{,1} (x) \\ I N_{2} (x) \\ \dots \\ I N_{m} (x) \end{matrix})

_i

I N_{1.. m} = J_{1.. m} (x) * {\overset{⇀}{q}}_{1.. m} (x)

₁

_m

Bei diesem photometrischen Stereoverfahren wird zum Abtasten einer Oberfläche eines Objektes eine Zeilenkamera verwendet.
Der Vorteil einer Zeilenkamera gegenüber einer Flächenkamera ist, dass an Produktionsstraßen oder dergleichen Objekte kontinuierlich überwacht werden können, wobei die Objekte mit sehr hoher Auflösung abgetastet werden können. Gleichzeitig ist die Zahl der benötigten Rechenoperationen für die Rekonstruktion gegenüber anderen bekannten Verfahren gering. Dadurch, dass ein Zeilensensor Bildpunkte lediglich in einer einzigen Dimension abtastet, ist die Gesamtzahl der Bildpunkte im Vergleich zu einer Flächenkamera gering, jedoch die Auflösung entlang der Zeile sehr groß. Mit einer Zeilenkamera lassen sich somit höhere Abtastraten als mit einer Flächenkamera erzielen, was insbesondere zum Überwachen von bewegten Gütern entlang von Produktionsstraßen oder dgl. von Vorteil ist.
Daher werden Zeilenkameras in der Regel mit einer hohen Abtastfrequenz betrieben, um von der Oberfläche eines abzutastenden Objektes, das bezüglich der Zeilenkamera bewegt wird, eine Vielzahl von Zeilenbildern zu erzeugen, die zu einem Flächenbild zusammengefügt werden können. Eine hohe Abtastfrequenz bzw. Abtastrate bedeutet jedoch, dass die Belichtungszeit für jede einzelne Zeile sehr kurz ist. Dies erfordert, dass die abzutastende Oberfläche mit einer Beleuchtungseinrichtung ausgeführt wird, die Licht mit hoher Intensität abgibt. Eine punktförmige Lichtquelle ist in der Regel hierzu nicht geeignet.
Die Eingangs erläuterten bekannten photometrischen Stereoverfahren benötigen jedoch punktförmige Lichtquellen. Mit herkömmlichen punktförmigen Lichtquellen ist die Lichtintensität zu gering, um ein photometrisches Stereoverfahren praktisch sinnvoll durchzuführen. Wenn man die Belichtungszeit entsprechend verlängern würde, dann ist die Abtastfrequenz so gering, dass keine sinnvolle Abtastung möglich ist.
Wird hingegen eine ausgedehnte Lichtquelle, beispielsweise eine zeilenförmige Lichtquelle oder eine flächige Lichtquelle, verwendet, dann ergeben die dem photometrischen Stereoverfahren zugrunde liegenden Formeln keine korrekten Ergebnisse, denn sie setzen eine punktförmige Lichtquelle voraus. Prinzipiell könnte man die Formeln derart verallgemeinern, dass ausgedehnte Lichtquellen auch verwendet werden können, indem man beispielsweise die ausgedehnte Lichtquelle in kleine Segmente unterteilt, die als punktförmige Lichtquellen betrachtet werden könnten, anhand derer die jeweiligen Intensitäten berechnet werden und dann die mehreren Berechnungen überlagert werden. Dies würde prinzipiell funktionieren, da das Superpositionsprinzip gilt. Praktisch ist dies im laufenden Betrieb hingegen ein immenser Rechenaufwand, der eventuell von einem Hochleistungsrechner bewältigt werden kann, aber für den industriellen Alltag nicht geeignet ist.
Die Erfinder der vorliegenden Erfindung haben zur Lösung dieser Probleme einen anderen Weg eingeschlagen. Bei dem erfindungsgemäßen Verfahren wird eine ausgedehnte Beleuchtungseinrichtung verwendet. Eine ausgedehnte Beleuchtungseinrichtung ist eine Beleuchtungseinrichtung, die im Sinne der dem photometrischen Verfahren zugrunde liegenden Mathematik nicht als punktförmige betrachtet werden kann. Ausgedehnte Beleuchtungseinrichtungen sind in der Regel zeilenförmige oder flächige Beleuchtungseinrichtungen. Hiermit können auf einfache Weise höhere Lichtintensitäten als mit punktförmigen Beleuchtungseinrichtungen erzielt werden.
Die ausgedehnte Beleuchtungseinrichtung wird zur Berechnung der Oberflächennormalen eines bestimmten Bildpunktes x auf einen virtuellen Beleuchtungspunkt reduziert. Diese virtuellen Beleuchtungspunkte einer Beleuchtungseinrichtung können sich für die einzelnen abzutastenden Bildpunkte x unterscheiden. Die Erfinder haben erkannt, dass es nicht einen einzigen „Schwerpunkt“ der ausgedehnten Beleuchtungseinrichtung gibt, mit der die abzutastende Oberfläche ausgeleuchtet wird, sondern dass in Abhängigkeit von dem ausgeleuchteten Bildpunkt der abzutastenden Oberfläche die einzelnen Bereiche der Beleuchtungseinrichtung unterschiedlich starkes Licht zu diesem Bildpunkt der Oberfläche abstrahlen und sich aus Sicht des Bildpunktes der Oberfläche der „Schwerpunkt“ der Lichteinstrahlung von der Beleuchtungseinrichtung verschiebt. Dementsprechend werden erfindungsgemäß Richtungsvektoren, welche die Richtung beschreiben, mit welcher das Licht zu dem jeweiligen Bildpunkt x gestrahlt wird, mittels einer Näherungsfunktion berechnet, wobei die Näherungsfunktion jeweils die Richtung von dem jeweiligen virtuellen Beleuchtungspunkt zu dem abzutastenden Bildpunkt beschreibt. Hierdurch kann die bekannte Mathematik für photometrische Stereoverfahren auch für ausgedehnte Beleuchtungseinrichtungen verwendet werden.
Es hat sich jedoch gezeigt, dass dieser Ansatz allein insbesondere bei größeren ausgedehnten Beleuchtungseinrichtungen unzureichend ist. Betrachtet man eine ausgedehnte Lichtquelle wiederum in kleine Segmente aufgeteilt, so werden Bildpunkte, welche zentral einer ausgedehnten Beleuchtungseinrichtung gegenüberliegend angeordnet sind, von vielen Segmenten gleichzeitig mit hoher Intensität angestrahlt, während Bildpunkte, die am seitlichen Rand angeordnet sind, deutlich weniger intensiv ausgeleuchtet werden. Dies ist grundsätzlich auch bei einer punktförmigen Lichtquelle der Fall, jedoch ergibt sich bei einer ausgedehnten Beleuchtungseinrichtung durch die Überlagerung der mehreren Lichtquellensegmente eine wesentlich komplexere Situation. Um dem Rechnung zu tragen, werden die gemessenen Belichtungswerte mit Normierungsfaktoren normiert. Sowohl die Normierungsfaktoren als auch die Parameter der Näherungsfunktion können vorab bestimmt werden, wie es unten erläutert ist. Hierdurch ergibt sich eine einfache Berechnung der Normalenvektoren der einzelnen Bildpunkte, der abzutastenden Oberfläche eines Objektes, welche mit einer einfachen Prozessoreinrichtung ausführbar ist. Die Prozessoreinrichtung selbst kann in eine Kamera integriert werden, sodass zur Bestimmung der Normalenvektoren der einzelnen Bildpunkte kein separates Computersystem notwendig ist.
Mit dem erfindungsgemäßen Verfahren werden mit einer Zeilenkamera und mehreren Beleuchtungseinrichtungen mehrere Zeilenbilder aufgenommen, bei welchen jeweils die Beleuchtungseinrichtungen unterschiedlich zum zeilenförmigen Abtastbereich ausgerichtet sind. Hierbei erhält man Zeilenbilder, bei welchen jeweils die Beleuchtungsrichtung und die Abtastrichtung unterschiedlich zueinander ausgerichtet sind, sodass die einzelnen Zeilenbilder die notwendigen Informationen zur Bestimmung der Normalenvektoren der einzelnen Bildpunkte enthalten.
Dieses photometrische Stereoverfahren kann auf einfache Art und Weise mit hoher Auflösung und in Echtzeit ausgeführt werden. Hiermit können kleinste Abweichungen an einer Oberfläche eines abzutastenden Objektes zuverlässig festgestellt werden.
Bei diesem Verfahren können mit einer einzigen Relativbewegung zwischen dem abzutastenden Objekt und der Abtastvorrichtung die mehreren unterschiedlich beleuchteten Bilder erfasst und dann entsprechend ausgewertet werden.
Die Normierungsfaktoren können aus einer Look-Up-Tabelle ausgelesen werden. Dies vereinfacht die Berechnung der Oberflächennormalen erheblich.
Die Näherungsfunktion kann ein oder mehrere Polynome aufweisen, mit welchen eine oder mehrere Koordinaten der Richtungsvektoren berechnet werden, wobei für alle Kombinationen aus Zeilenkameras und Beleuchtungseinrichtung jeweils eine separate Näherungsfunktion und ein separater Satz Normierungsfaktoren vorgesehen sind.
Beim bevorzugten Verfahren werden eine einzige Zeilenkamera und mehrere Beleuchtungseinrichtungen verwendet, welche unabhängig voneinander und aufeinanderfolgend abwechselnd jeweils einen Abtastbereich mit Blitzlicht ausleuchten, wobei ein Satz Zeilenbilder erzeugt wird, welche mit jeweils einer unterschiedlichen der Beleuchtungseinrichtungen aufeinanderfolgend aufgenommen worden sind. Die Zeilenbilder eines Objektbereichs, die mit unterschiedlichen Beleuchtungseinrichtungen aufgenommen werden, sind zunächst etwas zueinander versetzt, was auch als „verschränkt“ (engl.: interleaved) bezeichnet wird. Diese Verschränkung kann aufgehoben werden, indem die Zeilenbilder eines solchen Satzes Zeilenbilder so interpoliert oder miteinander registriert werden, dass jeweils ein bestimmter Bildpunkt der Zeilenbilder des Satzes Zeilenbilder die entsprechende Helligkeitsinformation von dem gleichen Ort aufweist, d.h. dass die Zeilenbilder eines solchen Satzes Zeilenbilder exakt übereinander liegen.
Mit der Aufhebung der Verschränkung wird die Präzision der Bestimmung der Normalenvektoren erhöht.
Bei der Interpolation werden mehrere jeweils mit der gleichen Beleuchtungseinrichtung aufgenommen Zeilenbilder interpoliert. Es wird somit über die Zeilenbilder eines Flächenbildes interpoliert, das mit einer bestimmten Beleuchtungseinrichtung aufgenommen worden ist. Es macht keinen Sinn, Zeilenbilder, welche mit unterschiedlichen Beleuchtungseinrichtung aufgenommen worden sind, miteinander zu interpolieren, da sie prinzipbedingt eine andere Helligkeitsinformation aufweisen.
Ein weiterer Aspekt der Erfindung betrifft Verfahren zum Normieren einer Abtastvorrichtung für ein photometrisches Stereoverfahren zum Abtasten einer Oberfläche mit einer Zeilenkamera und mehreren Beleuchtungseinrichtungen, welche einen zeilenförmigen Abtastbereich aus unterschiedlichen Richtungen beleuchten, wobei von einem Objekt, das sich im Abtastbereich befindet, mehrere Zeilenbilder aufgenommen werden. Das Verfahren umfasst folgende Schritte:

- Abtasten einer Normierungsvorlage, wobei Zeilenbilder der Normierungsvorlage erzeugt werden, die hierbei mit unterschiedlichen Neigungen und/oder Kippungen gegenüber der Abtastvorrichtung angeordnet ist, so dass der jeweilige Normalenvektor n_k aller Punkte der Normierungsvorlage bekannt ist,
1. a) Bestimmen von Normierungsfaktoren q_i(x) anhand der gemessenen Belichtungswerte J_i(x) und anhand von simulierten Belichtungswerten l_i(x), welche anhand einer idealen Normierungsvorlage und den jeweiligen Normalenvektoren berechnet werden, wobei vorläufige Normierungsfaktoren jeweils aus dem Quotienten aus simulierten Belichtungswerten und korrespondierenden gemessenen Belichtungswerten berechnet werden und die vorläufigen Normierungsfaktoren für einen jeden Bildpunkt x gemittelt werden, welche die Normierungsfaktoren bilden,
2. b) Bestimmen von Oberflächennormalen n_e der Bildpunkte x anhand der erfassten Zeilenbilder der abgetasteten Normierungsvorlage, wobei zur Berechnung der Oberflächennormalen eine mehrere Parameter enthaltende Näherungsfunktion verwendet wird, mit welcher Richtungsvektoren d₁ bis d_m,, welche die Richtung von einer virtuell auf einen Punkt reduzierten Lichtquelle zu dem jeweiligen Bildpunkt x angeben, verwendet werden,
3. c) Optimieren der Parameter der Näherungsfunktion mit einem Optimierungsverfahren.

Mit diesem Verfahren kann eine Abtastvorrichtung, welche mehrere Beleuchtungseinrichtungen und eine Zeilenkamera aufweist, so normiert werden, dass auf einfache Art und Weise die Abtastvorrichtung in einem photometrischen Stereoverfahren eingesetzt werden kann. Hierbei kann die photometrische Auswertung der Zeilenbilder in Echtzeit erfolgen.
Bei diesem Normierungsverfahren können die Schritte a) bis c) zumindest einmal wiederholt werden, wobei die Normierungsfaktoren q_i(x) mit Hilfe der optimierten Näherungsfunktion erneut berechnet werden.
Ein weiterer Aspekt der vorliegenden Erfindung betrifft eine Abtastvorrichtung für ein photometrisches Stereoverfahren zum Abtasten einer Oberfläche mit einer Zeilenkamera und mehreren ausgedehnten Beleuchtungseinrichtungen, welche derart angeordnet sind, dass sie einen zeilenförmigen Abtastbereich aus unterschiedlichen Richtungen beleuchten, wobei eine Steuereinrichtung vorgesehen und derart ausgebildet ist, dass von einem Objekt, das sich im Abtastbereich befindet, mehrere Zeilenbilder des gleichen Objektbereichs aufgenommen werden, und für einen jeden Bildpunkt eine Oberflächennormale n_e mit folgenden Schritten bestimmt wird:

Berechnen für einen jeden Bildpunkt x den Normalenvektor n_e(x), anhand von i Beleuchtungs-Richtungsvektoren d_i(x) und normierten, gemessenen Belichtungswerten IN_i(x)

{\overset{⇀}{n}}_{e} = {(\begin{matrix} {\overset{⇀}{d}}_{1}^{T} (x) \\ {\overset{⇀}{d}}_{2}^{T} (x) \\ \dots \\ {\overset{⇀}{d}}_{m}^{T} (x) \end{matrix})}^{- 1} * (\begin{matrix} I N_{,1} (x) \\ I N_{2} (x) \\ \dots \\ I N_{m} (x) \end{matrix})

_i

I N_{1.. m} = J_{1.. m} (x) * {\overset{⇀}{q}}_{1.. m} (x)

₁

_m

Mit einer solchen Abtastvorrichtung kann schnell und zuverlässig die Oberfläche eines Objektes abgetastet werden, wobei selbst kleinste Strukturen genau und präzise erkannt werden.
Die ausgedehnten Beleuchtungseinrichtungen sind vorzugsweise zeilenförmige Beleuchtungseinrichtungen.
Die Erfindung wird nachfolgend beispielhaft näher anhand der Zeichnungen erläutert. Die Zeichnung zeigt in:

1 schematisch eine Abtastvorrichtung zum Ausführen des erfindungsgemäßen photometrischen Stereoverfahrens in perspektivischer Ansicht.

Ein Ausführungsbeispiel einer erfindungsgemäßen Abtastvorrichtung 1 ist in 1 schematisch gezeigt. Diese Abtastvorrichtung 1 weist eine Zeilenkamera 2 und 4 Beleuchtungseinrichtungen 3/1 bis 3/4 auf.
Die Zeilenkamera 2 ist eine Farbkamera, welche 3 Sensorzeilen für die Farben rot, grün und blau aufweist. Eine geeignete Farbzeilenkamera ist beispielsweise die allPIXA evo 15k von der Anmelderin, welche 15.063 Bildpunkte aufweist und mit einer Zeilenrate von bis zu 49 kHz abtasten kann.
Die Beleuchtungseinrichtungen 3/1-3/4 sind zeilenförmige Beleuchtungseinrichtungen, welche mit ihren Lichtkegeln alle auf einen gemeinsamen Abtastbereich 4 gerichtet angeordnet sind. Die Beleuchtungseinrichtungen 3 weisen eine Vielzahl von Leuchtdioden auf, welche entlang einer Linie angeordnet sind. Hiermit kann der zeilenförmige Abtastbereich 4 mit hoher Lichtintensität vollständig ausgeleuchtet werden.
Weiterhin ist eine Bewegungseinrichtung (nicht dargestellt) vorgesehen, welche ein abzutastendes Objekt 5 bezüglich der Abtastvorrichtung 1 entlang einer Transportrichtung 6 bewegt.
Zur einfacheren Beschreibung der Erfindung wird ein Koordinatensystem festgelegt, wobei die X-Achse parallel zum Abtastbereich 4, die Y-Achse parallel zur Transportrichtung 6 und die Z-Achse senkrecht zu der X- und Y-Achse verläuft. Mit dem Ausdruck „Bildpunkt x“ wird ein Punkt des abzutastenden Objektes 5 bezeichnet, der die X-Koordinate „x“ aufweist. Dieser Punkt wird mit der Kamera 2 abgetastet, weshalb dieser Punkt als „Bildpunkt“ bezeichnet wird.
Im vorliegenden Ausführungsbeispiel ist die Zeilenkamera 2 mit ihrer optischen Achse 7 senkrecht zur Transportrichtung 6 angeordnet. Der zeilenförmige Abtastbereich 4, der durch das Blickfeld der Zeilenkamera 2 bestimmt wird, verläuft quer zur Transportrichtung 6. Die Zeilenkamera 2 kann mit ihrer optischen Achse 7 jedoch auch unter einem von 90° abweichenden Winkel bezüglich der Transportrichtung 6 angeordnet sein, wobei der Winkel möglichst nicht kleiner als 30° bzw. nicht größer als 150° bzw. nicht kleiner als 45° und nicht größer als 135° ist.
Zwei der Beleuchtungseinrichtungen 3/1 und 3/2 sind etwas oberhalb des Abtastbereichs 4 und in Transportrichtung 6 vor dem Abtastbereich 4 und zwei der Beleuchtungseinrichtungen 3/3 und 3/4 sind in Transportrichtung 6 hinter dem Abtastbereich 4 und ein Stück oberhalb des Abtastbereichs 4 angeordnet. Alle Beleuchtungseinrichtungen 3/1-3/4 sind so ausgerichtet, dass sie den Abtastbereich 4 ausleuchten, d.h., dass die zeilenförmigen Beleuchtungseinrichtungen 3 parallel zum zeilenförmigen Abtastbereich 4 angeordnet sind. Bezüglich eines Mittelpunktes des Abtastbereichs 4 sind die zeilenförmigen Beleuchtungseinrichtung 3 jeweils um ein Stück seitlich versetzt.
Im vorliegenden Ausführungsbeispiel sind die Beleuchtungseinrichtungen 3 spiegelsymmetrisch zu einer Ebene, die senkrecht zur Transportrichtung 6 verläuft und in der der zeilenförmige Abtastbereich 4 enthalten ist, ausgerichtet. Weiterhin sind die Beleuchtungseinrichtungen 3 spiegelsymmetrisch zu einer Ebene angeordnet, die durch den Mittelpunkt des Abtastbereich 4 verläuft und senkrecht zum Abtastbereich 4 steht.
Eine Transportebene 8 ist durch die Transportrichtung 6 und den Abtastbereich 4 definiert. Im vorliegenden Ausführungsbeispiel schließen die Abstrahlungsrichtungen d der einzelnen Beleuchtungseinrichtungen 3 jeweils den gleichen Winkel α mit der Transportebene 8 ein. Eine zu flache Beleuchtung sollte vermieden werden, denn dann erzeugen Konturen sehr lange Schatten, welche die Auswertung beeinträchtigen. Daher sollte der Winkel α zumindest 30° bzw. zumindest 45° und nicht mehr als 150° bzw. 135° betragen. Es sollte auch eine zu steile Beleuchtung vermieden werden, denn dann sind die hierdurch erzeugten Schatten sehr gering, wodurch die Genauigkeit des Verfahrens verringert wird, wenn alle Beleuchtungseinrichtungen sehr steil auf das Objekt gerichtet sind.. Daher sollte der Winkel α von zumindest einer der Beleuchtungseinrichtungen vorzugsweise nicht im Bereich von 75° bis 105° bzw. nicht im Bereich von 60° bis 120° liegen. Es kann auch zweckmäßig sein, dass zumindest zwei der Beleuchtungseinrichtungen bzw. alle Beleuchtungseinrichtungen mit einem Winkel α angeordnet sind, der nicht im Bereich von 75° bis 105° bzw. nicht im Bereich von 60° bis 120° liegt.
Bei dem vorliegenden Ausführungsbeispiel sind, wie es oben erläutert ist, die Beleuchtungseinrichtungen 3/1 bis 3/4 symmetrisch zueinander angeordnet. Es kann jedoch auch zweckmäßig sein, die einzelnen Beleuchtungseinrichtungen mit unterschiedlichen Neigungen gegenüber der Transportebene 8 anzuordnen, um unterschiedliche Empfindlichkeiten bezüglich der Neigung der einzelne Bildpunkte zu erzielen, wie es unten näher erläutert wird.
Die Beleuchtungseinrichtungen 3/1-3/4 und die Zeilenkamera 2 sind mit einer zentralen Steuereinrichtung 9 verbunden. Weiterhin ist ein Instrumentalgeber 10 vorgesehen, der die Transportgeschwindigkeit misst und mit der zentralen Steuereinrichtung 9 verbunden ist. In Abhängigkeit von der Transportgeschwindigkeit wird von der zentralen Steuereinrichtung 9 die Abtastrate eingestellt, mit welcher die Kamera die abzutastenden Objekte 5 erfasst.
Im vorliegenden Ausführungsbeispiel weist eine zentrale Steuervorrichtung 9 einen FPGA auf, um den von der Zeilenkamera erzeugten Bilddatenstrom in Echtzeit aufzubereiten. Zudem weist die zentrale Steuereinrichtung eine Prozessoreinrichtung (zum Beispiel aus der Xilinx Zynq UltraScale+ MPSoC Baureihe) auf, mit welcher das photometrische Stereoverfahren in Echtzeit ausgeführt wird.
Das allgemeine Grundprinzip des photometrischen Stereoverfahrens beruht darauf, dass bei unterschiedlichen Ausleuchtungen mit Punktlichtquellen eines bestimmten Punktes eines abzutastenden Objektes sich unterschiedliche Helligkeitswerte für diesen Punkt ergeben, die ausschließlich von der Lichteinfallsrichtung d der punktförmigen Lichtquellen und dem Normalenvektor n des abzutastenden Punktes abhängen. Somit ergibt sich folgende Gleichung für die Lichtintensitäten J des abgetasteten Punktes des Objektes.: $(\begin{matrix} {\overset{⇀}{d}}_{1}^{T} \\ {\overset{⇀}{d}}_{2}^{T} \\ \dots \\ {\overset{⇀}{d}}_{m}^{T} \end{matrix}) \overset{⇀}{n} (\begin{matrix} J_{1} \\ J_{2} \\ \dots \\ J_{m} \end{matrix})$
Diese Gleichung gilt für Lambert'sche Oberflächen, d.h. Oberflächen, die Licht diffus reflektieren. Der Winkel der Blickrichtung des Sensors, mit dem der Abtastbereich 4 des abgetasteten Objektes abgetastet wird, ist daher nicht relevant, sofern er innerhalb eines gewissen Winkelbereichs liegt, in dem die abzutastende Oberfläche eine nahezu Lambert'sche Reflexionseigenschaft besitzt.
Da die Beleuchtungseinrichtungen 3/1-3/4 keine Punktlichtquellen sind, kann diese Gleichung nicht unmittelbar angewendet werden.
Daher wird die Beleuchtungsrichtung der ausgedehnten Lichtquellen 3/1-3/4 auf einen Bildpunkt x des abzutastenden Objektes mit einer Näherungsfunktion dargestellt. Diese Näherungsfunktion kann für einen Flächensensor folgendermaßen lauten: ${\overset{⇀}{d}}_{1.. m} (x) = (\begin{matrix} a_{1.. m} x^{3} + b_{1.. m} x^{2} + c_{1.. m} x + d_{1.. m} \\ e_{1.. m} x^{3} + f_{1.. m} x^{2} + g_{1.. m} x + h_{1.. m} \\ 1 \end{matrix}) / ‖ {\overset{⇀}{d}}_{1.. m} (x) ‖$
Hierbei werden die X- und Y-Koordinaten der Beleuchtungsrichtung jeweils durch ein Polynom dritten Grades mit den Parametern a bis d bzw. e bis h dargestellt und die Z-Koordinate ist auf „1“ gesetzt.
Eine geeignete Näherungsfunktion für die zeilenförmigen Beleuchtungseinrichtungen 3/1-3/4 lautet: ${\overset{⇀}{d}}_{1.. m} (x) = (\begin{matrix} a_{1.. m} x^{3} + b_{1.. m} x^{2} + c_{1.. m} x + d_{1.. m} \\ e_{1.. m} \\ 1 \end{matrix}) / ‖ {\overset{⇀}{d}}_{1.. m} (x) ‖$
Hierbei wird die X-Koordinate der Beleuchtungsrichtung d durch ein Polynom dritten Grades mit den Parametern a bis d dargestellt. Die Y-Koordinate ist eine Konstante, die sich aus dem Einfallswinkel α im Bezug zum Wert „1“ der Z-Koordinate ergibt. Der Parameter e₁...m kann somit an der Abtastvorrichtung 1 abgemessen und einmal festgelegt werden.
Die Parameter a bis d werden mit einem Optimierungsverfahren bestimmt, wie es unten näher erläutert wird. Zu Beginn des Optimierungsverfahrens können die Parameter a bis d an sich beliebig gewählt werden, wobei es für eine schnelle Optimierung vorteilhaft ist, die Parameter so zu wählen, dass sie den optimierten Parametern möglichst ähnlich sind. Hierzu kann es zweckmäßig sein, beispielsweise für jeden Bildpunkt x des Abtastbereiches, die Richtung d so zu wählen, dass sie an dem Punkt der Beleuchtungseinrichtungen 3/1-3/4 beginnt, der dem jeweiligen Bildpunkt x am nächsten liegt. Es können jedoch auch andere Richtungen zunächst eingestellt werden, wobei es zumindest zweckmäßig ist, dass die Richtung jeweils von einem Punkt der Beleuchtungseinrichtung in Richtung zu dem jeweiligen Bildpunkt x zeigen.
Da die tatsächlich gemessenen Helligkeitswerte etwas von den mit der oben aufgeführten Formel (1) aufgrund der räumlichen Ausdehnung der Beleuchtungseinrichtungen abweichen, werden die gemessenen Belichtungswerte normiert. Diese Normierung kann auch als Kalibrierung bezeichnet werden, denn zunächst werden mittels einer Normierungsvorlage für unterschiedliche Kipp- und Neigewinkel entsprechende Belichtungswerte gemessen. Im vorliegenden Ausführungsbeispiel wird als Normierungsvorlage eine ebenflächige, weiße Normierungsvorlage mit einem Albedo von nahezu eins verwendet. Dies bedeutet, dass die normierte Vorlage Licht diffus reflektiert und nahezu eine perfekte Lambert'sche Oberfläche besitzt.
Diese Normierungsvorlage wird in der Abtastvorrichtung 1 im Abtastbereich 4 angeordnet. Sie wird hierbei mit unterschiedlichen Kippwinkeln angeordnet, wobei die Normierungsvorlage um den Abtastbereich 4 bzw. um die X-Achse gekippt wird. Die Normierungsvorlage wird auch in unterschiedlichen Neigungswinkel angeordnet, wobei die Normierungsvorlage hier um eine Achse parallel zur Transportrichtung 6 bzw. parallel zur Y-Achse geneigt wird. Bei diesen unterschiedlichen Anordnungen der Normierungsvorlage mit unterschiedlichen Kipp- und Neigewinkel werden jeweils die Belichtungswerte J_i(x) für die unterschiedlichen Bildpunkte x gemessen. Die Belichtungswerte können, auch als Bildintensitäten bezeichnet werden, da sie die Lichtintensität bzw. Helligkeit an dem jeweiligen Bildpunkt angeben.
Da die Normierungsvorlage ebenflächig ist, ist der Normalenvektor der Normierungsvorlage für alle Bildpunkte identisch und ergibt sich aus dem jeweiligen Kipp- und Neigewinkel.
Für die unterschiedliche Anordnungen, der Normierungsvorlage werden mit folgender Formel jeweils simulierte Belichtungswerte I(x) der Bildpunkte x berechnet, wobei die Beleuchtungsrichtungsvektoren d(x) mittels der oben aufgeführten Näherungsfunktion für die zeilenförmigen Beleuchtungseinrichtungen 3/1-3/4 bestimmt werden. $(\begin{matrix} I_{k,1} (x) \\ I_{k,2} (x) \\ \dots \\ I_{k, m} (x) \end{matrix}) = (\begin{matrix} {\overset{⇀}{d}}_{1}^{T} (x) \\ {\overset{⇀}{d}}_{2}^{T} (x) \\ \dots \\ {\overset{⇀}{d}}_{m}^{T} (x) \end{matrix}) {\overset{⇀}{n}}_{k}$
Aus diesen idealen Belichtungswerten I_i(x) werden vorläufige Normierungsfaktoren q_i(x) berechnet, indem die idealen Belichtungswerte durch die jeweils gemessenen Belichtungswerte J_i(x) dividiert werden. Diese Normierungsfaktoren werden für die unterschiedlichen Kipp- und Neigewinkel und für den jeweiligen Bildpunkt x separat berechnet.
Das photometrische Stereoverfahren ist vor allem in einem begrenzten Höhenbereich präzise, in dem die Intensität der Beleuchtungen in etwa konstant ist (Abtastbereich). Beim Erstellen der Normierbilder wird möglichst darauf geachtet, dass nur Bildpunkte benutzt werden, die im Abtastbereich liegen. Bei Kippung der Normiervorlage wird daher der nutzbare Bereich der Vorlage auf einen kurzen Bereich reduziert. Bei größeren Neigewinkeln kann man die Daten von mehreren Bildern kombinieren, wobei die geneigte Vorlage in der Höhe variiert bzw. entlang dem Abtastbereich verschoben wird. Alternativ kann die Vorlage gleichzeitig gekippt und geneigt werden, so dass es eine Linie gleicher Höhe gibt, die für die Kalibrierung verwendet werden kann.
Die unterschiedlichen Neige- und Kippwinkel, für welche die Abtastvorrichtung normiert wird, hängen davon ab, welche Objekte hiermit überwacht werden sollen. Sollen bspw. Abweichungen in im Wesentlichen ebenflächigen Objekten, wie z.B. Folien bzw. Geldscheinen, untersucht werden, dann ist es zweckmäßig geringe Kipp- und Neigungswinkel (z.B. von 0° bis ±3° in Schritten von 0,1° und von ±3° bis ±30° in Schritten von 2° bis 5°) zu verwenden. Bei gröberen Strukturen können größere Winkelbereich (z.B. 0° bis ±90°) und grundsätzlich grobe Schrittweiten (z.B. von 3° bis 10°) sinnvoll sein.
Aus diesen vorläufigen Normierungsfaktoren werden die endgültigen Normierungsfaktoren ermittelt, indem alle vorläufigen Normierungsfaktoren jeweils einen bestimmten Bildpunktes x über alle Kipp- und Neigewinkel gemäß folgender Formel gemittelt werden: ${\overset{⇀}{q}}_{1.. m} (x) = \frac{1}{k} \sum_{i = 1}^{k} \overset{⇀}{q} i,1.. m (x)$
Diese Normierungsfaktoren q können auf die gemessenen Bilder J angewendet werden, umso normierte Belichtungswerte IN zu bestimmen: $I N_{1.. m} = J_{1.. m} (x) * {\overset{⇀}{q}}_{1.. m} (x)$
Mit diesen normierten Belichtungswerten IN können die Normalenvektoren n_e(x) mithilfe der Beleuchtungsrichtungsvektoren, die durch die Näherungsfunktion vorgegeben sind, bestimmt werden: ${\overset{⇀}{n}}_{e} = {(\begin{matrix} {\overset{⇀}{d}}_{1}^{T} (x) \\ {\overset{⇀}{d}}_{2}^{T} (x) \\ \dots \\ {\overset{⇀}{d}}_{m}^{T} (x) \end{matrix})}^{- 1} * (\begin{matrix} I N_{,1} (x) \\ I N_{2} (x) \\ \dots \\ I N_{m} (x) \end{matrix})$
Die berechneten Normalenvektoren n_e(x) weichen zunächst von den vorgegebenen Normalenvektoren n_k(x),die mit der in unterschiedlichen Kipp- und Neigewinkeln angeordneten Normierungsvorlage erzeugt worden sind, ab. Die Abweichung bzw. der Fehler zwischen den berechneten und den idealen Normalenvektoren wird als Maß für die Optimierung genutzt, wobei bei der Optimierung die Koeffizienten der Näherungsfunktion für die Beleuchtungsrichtungsvektoren angepasst und mit den entsprechend angepassten Beleuchtungsrichtungsvektoren werden die Normierungsfaktoren erneut berechnet.
Als Optimierungsverfahren wird im vorliegenden Ausführungsbeispiel ein Simplex-Verfahren verwendet. Das Simplex-Verfahren ist beispielsweise folgender Veröffentlichung beschrieben:
LAGARIAS, Jeffrey C. [u.a.]: Convergence properties of the Nelder-Mead simplex method in low dimensions. In: SIAM Journal on Optimization, Vol. 9, 1998, No. 1, S. 112-147. - ISSN 1052-6234 (P); 1095-7189 (E). DOI: 10.1137/S1052623496303470.
Da es sich um ein lineares Optimierungsproblem handelt, können auch andere hierfür geeignete Optimierungsverfahren verwendet werden. Zum Beispiel kann auch ein quasi-Newtonverfahren eingesetzt werden, wie es in folgenden Dokumenten offenbart ist:

• Broyden, C. G.: The convergence of a class of double-rank minimization algorithms 1. general considerations. In: Journal of the Institute of Mathematics and its Applications, Vol. 6, 1970, No. 1, S. 76-90. - ISSN 0272-4960 (P); 1464-3634 (E). DOI: 10.1093/imamat/6.1.76.
• Fletcher, R.: A new approach to variable metric algorithms. In: Computer Journal, Vol. 13, 1970, No. 3, S. 317-322. - ISSN 0010-4620 (P); 1460-2067 (E). DOI: 10.1093/comjnl/13.3.317.
• Goldfarb, Donald: A family of variable-metric methods derived by variational means. In: Mathematics of Computation (MCOM), Vol. 24, 1970, No. 109, Artikelnummer: 0258249 (S. 23-26). - ISSN 0025-5718 (P); 1088-6842 (E). DOI: 10.1090/S0025-5718-1970-0258249-6
• Shanno, D. F. „Conditioning of Quasi-Newton Methods for Function Minimization." In: Mathematics of Computation (MCOM), Vol. 24, 1970, No. 111, Artikelnummer: 0274029 (S. 647-656). - ISSN 0025-5718 (P); 1088-6842 (E). DOI: 10.1090/S0025-5718-1970-0274029-X

Diese Optimierung wird vorzugsweise so oft wiederholt, bis der Fehler e kleiner als 0,05 und insbesondere kleiner als 0,01 für alle Bildpunkte X ist.
Mit den derart optimierten Parametern und Normierungsfaktoren kann dann mit geringer Rechenleistung das photometrische Stereoverfahren auch mit einer Zeilenkamera ausgeführt werden, wie es nachfolgend näher erläutert wird.
Das zu überwachende Objekt 5 wird in Transportrichtung 6 durch den zeilenförmigen Abtastbereich 4 hindurch bewegt, wobei es mit der Zeilenkamera 2 aufeinanderfolgend abgetastet wird. Hierbei steuert die zentrale Steuereinrichtung 9 die Zeilenkamera 2 derart an, dass die einzelnen Zeilenbilder mit dem gleichen örtlichen Abstand das Objekt 5 abtasten, sodass die einzelnen Zeilenbilder zu einem Flächenbild zusammengesetzt werden können, das das Objekt nicht verzerrt zeigt.
Hierbei werden die Beleuchtungseinrichtungen 3/1-3/4 mit der zentralen Steuereinrichtung 9 derart angesteuert, dass beim Abtasten eines Zeilenbildes jeweils eine einzige der Beleuchtungseinrichtungen 3/1-3/4 leuchtet. Die Beleuchtungseinrichtungen 3/1-3/4 werden somit zur Erzeugung eines Blitzlichtes angesteuert, wobei die einzelnen Beleuchtungseinrichtungen 3/1-3/4 immer in der gleichen Reihenfolge blitzen. Hierdurch erzeugt man verschränkte (englisch: interleaved) Zeilenbilder, da die Zeilenbilder, die mit den Beleuchtungen der unterschiedlichen Beleuchtungseinrichtungen aufgenommen werden, zueinander etwas versetzt sind.
Vorzugsweise wird ein Satz Zeilenbilder, der jeweils ein Zeilenbild enthält, das mit einer der unterschiedlichen Beleuchtungseinrichtung 3/1-3/4 beleuchtet ist, innerhalb eines sehr kurzen Zeitintervalls pro Bildzeile (oder Blitzimpuls) aufgenommen und lediglich der zeitliche Abstand des Aufnehmens der einzelnen Zeilen entsprechend der Transportgeschwindigkeit des Objektes gesteuert. Hierdurch ist es möglich, die n verschiedenen Zeilenbilder eines Satzes Zeilenbilder (im vorliegenden Ausführungsbeispiel n=4) mit minimalem zeitlichen Abstand aufzunehmen. Man erhält somit der Anzahl der Beleuchtungseinrichtungen entsprechend viele verschränkte Bilder, die zunächst in einem Pufferspeicher gespeichert werden.
Die Verschränkung der Bilder wird dann in einem weiteren Schritt aufgehoben (englisch: deinterleaved). Dies kann beispielsweise durch eine Interpolation der Bilder erfolgen, sodass sich die einzelnen Zeilen eines Zeilensatzes exakt überlagern. Vorzugsweise wird gleichzeitig eine Korrektur der unterschiedlichen Farbebenen durchgeführt, da die Zeilenkamera drei separate und geringfügig voneinander beabstandete Farbzeilen aufweist.
Aus den so aufbereiteten Bildern können die Normalenvektoren n für einen jeden Bildpunkt x anhand der Beleuchtungs-Richtungsvektoren d_i(x) und den gemessenen Belichtungswerten J_i(x) berechnet werden.
Hierzu können die Beleuchtungs-Richtungsvektoren der einzelnen Beleuchtungseinrichtung vorab in einer Look-Up-Tabelle abgelegt werden. Vorzugsweise werden die Beleuchtungs-Richtungsvektoren multipliziert mit den entsprechenden Normierungsfaktoren q_i(x) und die resultierende Matrix bereits invertiert in der Look-Up-Tabelle gespeichert, sodass diese nur noch mit den gemessenen Belichtungswerten J_i(x) multipliziert werden muss, um den entsprechenden Normalenvektor n_e(x) zu berechnen.
In einem Farbcodierschritt können den einzelnen Normalenvektoren Farben zugeordnet werden, sodass das abgetastete Objekt als Falschfarbenbild ausgeben wird, wobei Änderungen der Normalenvektoren als Farbänderung im Bild gut sichtbar sind. Hierdurch können kleine Unebenheiten, Löcher, Dellen oder Kratzer zuverlässig erkannt werden.
Grundsätzlich ist es auch möglich, die durch die Normalenvektoren definierten Neigungen zu integrieren, um eine vollständige 3D-Darstellung bzw. 3D-Topologie des Objektes zu erzeugen.
Erste Versuche haben gezeigt, dass mit dieser Abtastvorrichtung 1 Objekte, welche eine glatte, ebenflächige Oberfläche aufweisen sollen, zuverlässig und schnell überwacht werden können, wobei entsprechende Fehler wie Vorsprünge, Löcher oder Kratzer zuverlässig festgestellt werden. Hiermit können beispielsweise Fehler in Kunststofffolien sichtbar gemacht werden, welche für eine Batterieproduktion verwendet werden. Es ist auch möglich, gewünschte Oberflächenstrukturen in Geldscheinen sichtbar zu machen.
Das erfindungsgemäße photometrische Stereoverfahren kann auch in Kombination mit einem herkömmlichen Stereoverfahren verwendet werden, mit dem eine 3D-Kontur eines Objektes erzeugt wird, wobei das erfindungsgemäße Verfahren dann vor allem zur Korrektur in der Feinstruktur verwendet wird.
Der Rechenaufwand des Verfahrens ist so gering, dass es unmittelbar in einer in ihrem Gehäuse einer Zeilenkamera integrierten Steuereinrichtung ausgeführt werden kann.
Das oben erläuterte Ausführungsbeispiel weist vier zeilenförmige Beleuchtungseinrichtungen auf. Im Rahmen der Erfindung ist es grundsätzlich auch möglich flächenförmige Beleuchtungseinrichtungen zu verwenden.
Die im obigen Ausführungsbeispiel verwendete symmetrische Anordnung bezüglich einer zur Transportrichtung 6 senkrechten Ebene, in welcher der Abtastbereich 4 enthalten ist, hat den Vorteil, dass sich die zu optimierenden Parameter der spiegelsymmetrisch angeordneten Beleuchtungseinrichtungen sich nun im Vorzeichen unterscheiden. Hierdurch wird der Optimierungsaufwand reduziert.
Bei obigem Ausführungsbeispiel wird eine ebenflächige, weiße Normierungsvorlage mit einem Albedo von nahezu 1 verwendet. Grundsätzlich können auch andere Normierungsvorlagen verwendet werden, insbesondere welche mit einer vorbestimmten Kontur, die beim Normieren dann lediglich ohne zu kippen oder zu neigen geradlinig bzgl. der Abtastvorrichtung bewegt werden. Hierbei muss aber bei der Berechnung der idealen Belichtungswerten die Kontur und damit die Neigung der einzelnen Bildpunkte der Normierungsvorlage berücksichtigt werden.
Beim oben erläuterten Ausführungsbeispiel werden mit der einen Zeilenkamera verschränkte Zeilenbilder des gleichen Objektbereichs aufgenommen, d.h., dass die einzelnen Zeilenbilder mit einem zeitlichen Versatz aufgenommen werden und dann die Verschränkung durch eine Interpolation mit weiteren Zeilenbildern, die mit der der gleichen Beleuchtungssituation aufgenommen worden sind, wieder aufgehoben wird. Im Rahmen der Erfindung ist es auch möglich, mit mehreren Kameras gleichzeitig die Zeilenbilder aufzunehmen. Hierbei sind jedoch die Beleuchtungen des Objektes jeweils einer der Kameras eindeutig zuordbar auszubilden. Dies kann bspw. mit unterschiedlichen Farbfiltern geschehen, welche nur jeweils für einen Spektralbereich durchlässig sind. Korrespondierende Farbfilter sind jeweils auf den einander zugeordneten Beleuchtungseinrichtungen und Kameras angeordnet, so dass die einzelnen Zeilenbilder gleichzeitig aufgenommen werden können. Diese Zeilenbilder sind von Haus aus nicht verschränkt, weshalb es auch nicht notwendig ist, eine solche Verschränkung mittels einer Interpolation aufzuheben,
Die Kameras können durch eine einzige physische Zeilenkamera dargestellt werden, welche mehrere Objektive aufweist, die jeweils den Abtastbereich auf einen Abschnitt der physischen Zeilenkamera abbilden. Die einzelnen Abschnitte, welchen jeweils ein Objektiv zugeordnet ist, bilden eine logische Zeilenkamera im Sinne der vorliegenden Erfindung.
Bezugszeichenliste:

1: Abtastvorrichtung
2: Zeilenkamera
3: Beleuchtungseinrichtung
4: Abtastbereich
5: Objekt
6: Transportrichtung
7: optische Achse
8: Transportebene
9: zentrale Steuereinrichtung
10: Inkrementalgeber

Anhang - Referenzen:

[1] WOODHAM, Robert J.: Gradient and curvature from the photometric-stereo method, including local confidence estimation. In: Journal of the Optical Society of America A (JOSA A): Optics, Image Science, and Vision, Vol. 11, 1994, No. 11, S. 3050-3068. - ISSN 0740-3232 (P); 1520-8532 (E). DOI: 10.1364/JOSAA.11.003050
[2] SUN, Jiuai [u.a.]: Object surface recovery using a multi-light photometric stereo technique for non-Lambertian surfaces subject to shadows and specularities. In: Image and Vision Computing, Vol. 25, 2007, No. 7, S. 1050-1057. - ISSN 0262-8856 (P); 1872-8138 (E). DOI: 10.1016/j.imavis.2006.04.025
[3] BASRI, Ronen ; JACOBS, David ; KEMELMACHER, Ira: Photometric stereo with general, unknown lighting. In: International Journal of Computer Vision, Vol. 72, 2007, No. 3, S. 239-257. - ISSN 1572-2740 (P); 1572-2759 (E). DOI: 10.1007/s11263-006-8815-7.
[4] QUÉAU, Yvain ; DUROU, Jean-Denis ; AUJOL, Jean-François: Normal integration: A survey. In: Journal of Mathematical Imaging and Vision, Vol. 60, 2018, No. 4, S. 576-593. - ISSN 0924-9907 (P); 0924-9907 (E). DOI: 10.1007/s10851-017-0773-x.
[5] Antensteiner, D., Štolc, S., Valentín, K., Blaschitz, B., Huber-Mörk, R., & Pock, T. (2017). Highprecision 3D sensing with hybrid light field & photometric stereo approach in multi-line scan framework. In: Electronic Imaging, Vol. 9, 2017, S. 52-60. - ISSN 2470-1173. DOI: 10.2352/ISSN.2470-1173.2017.9.IRIACV-268
[6] SCHARSTEIN, Daniel ; TANIAI, Tatsunori ; SINHA, Sudipta N.: Semi-global stereo matching with surface orientation priors. In: 2017 International Conference on 3D Vision (3DV), 10-12 Oct. 2017, Qingdao, China, S. 215-224. - ISBN 978-1-5386-2610-8. DOI: 10.1109/3DV.2017.00033.
[7] DU, Hao ; GOLDMAN, Dan B. ; SEITZ, Steven M.: Binocular photometric stereo. In: Proceedings of the British Machine Vision Conference 2011 : BMVC 2011, the 22nd British Machine Vision Conference, University of Dundee, 29 August-2 September 2011. Durham : BMVA Press, 2011. S. 1-11. - ISBN 1-901725-43-X. DOI: 10.5244/C.25.84.
[8] DE 10258130 A1
[9] DE 102007021964 A1
DE 102013212827 A1
DE 102020204246 A1

Claims

Photometrisches Stereoverfahren zum Abtasten einer Oberfläche mit einer Zeilenkamera und ausgedehnten Beleuchtungseinrichtungen, welche einen zeilenförmigen Abtastbereich aus unterschiedlichen Richtungen beleuchten, wobei von einem Objekt, das sich im Abtastbereich befindet, mehrere Zeilenbilder des gleichen Objektbereichs aufgenommen werdenund für einen jeden Bildpunkt eine Oberflächennormale n_e(x) mit folgenden Schritten bestimmt wird: Berechnen für einen jeden Bildpunkt x den Normalenvektor n_e(x) anhand von i Beleuchtungs-Richtungsvektoren d_i(x) und normierten, gemessenen Belichtungswerten IN_i(x) ${\overset{⇀}{n}}_{e} = {(\begin{matrix} {\overset{⇀}{d}}_{1}^{T} (x) \\ {\overset{⇀}{d}}_{2}^{T} (x) \\ \dots \\ {\overset{⇀}{d}}_{m}^{T} (x) \end{matrix})}^{- 1} * (\begin{matrix} I N_{,1} (x) \\ I N_{2} (x) \\ \dots \\ I N_{m} (x) \end{matrix})$
wobei die gemessenen Belichtungswerte J_i(x) mit Normierungsfaktoren q_i(x) folgendermaßen normiert werden $I N_{1.. m} = J_{1.. m} (x) * {\overset{⇀}{q}}_{1.. m} (x)$
und die Richtungsvektoren d₁ bis d_m, welche die Richtung von einer virtuell auf einen Beleuchtungspunkt reduzierten Lichtquelle zu dem jeweiligen Bildpunkt x angeben, mittels einer Näherungsfunktion in Abhängigkeit vom jeweiligen Bildpunkt x bestimmt werden, wobei die Näherungsfunktion vorab mit einem Optimierungsverfahren derart optimiert ist, dass die Abweichungen von derart bestimmten Oberflächennormalen bezüglich bekannter Oberflächennormalen einer Normierungsvorlage minimal sind.
Photometrisches Stereoverfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Normierungsfaktoren q_i(x) aus einer Look-Up-Tabelle (LUT) ausgelesen werden.
Photometrisches Stereoverfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Näherungsfunktion ein oder mehrere Polynome aufweist, mit welchen eine oder mehrere Koordinaten der Richtungsvektoren d₁ bis d_m berechnet werden, wobei für alle Kombinationen aus Zeilenkameras und Beleuchtungseinrichtungen jeweils eine separate Näherungsfunktion und ein separater Satz Normierungsfaktoren q_i(x) vorgesehen sind.
Photometrisches Stereoverfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass eine einzige Zeilenkamera und mehrere Beleuchtungseinrichtungen verwendet werden, welche unabhängig voneinander und aufeinanderfolgend abwechselnd jeweils mit einem Blitzlicht den Abtastbereich ausleuchten, wobei ein Satz Zeilenbilder, welche mit jeweils einer unterschiedlichen der Beleuchtungseinrichtungen aufeinanderfolgend aufgenommen worden sind, zueinander interpoliert oder miteinander registriert werden, so dass jeweils ein bestimmter Bildpunkt der Zeilenbilder des Satzes Zeilenbilder die entsprechende Helligkeitsinformation von dem gleichen Ort aufweist.
Photometrisches Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass bei der Interpolation mehrere jeweils mit der gleichen Beleuchtungseinrichtung aufgenommene Zeilenbilder interpoliert werden.
Verfahren zum Normieren einer Abtastvorrichtung für ein photometrisches Stereoverfahren zum Abtasten einer Oberfläche mit einer Zeilenkamera und mehreren Beleuchtungseinrichtungen, welche einen zeilenförmigen Abtastbereich aus unterschiedlichen Richtungen beleuchten, wobei von einem Objekt, das sich im Abtastbereich befindet, mehrere Zeilenbilder aufgenommen werden, wobei das Verfahren folgende Schritte umfasst: - Abtasten einer Normierungsvorlage, wobei Zeilenbilder der Normierungsvorlage erzeugt werden, die hierbei mit unterschiedlichen Neigungen und/oder Kippungen gegenüber der Abtastvorrichtung angeordnet ist, so dass der jeweilige Normalenvektor n_k aller Punkte der Normierungsvorlage bekannt ist, a) Bestimmen von Normierungsfaktoren q_i(x) anhand der gemessenen Belichtungswerte J_i(x) und anhand von simulierten Belichtungswerten l_i(x), welche anhand einer idealen Normierungsvorlage und den jeweiligen Normalenvektoren berechnet werden, wobei vorläufige Normierungsfaktoren jeweils aus dem Quotienten aus simulierten Belichtungswerten und korrespondierenden gemessenen Belichtungswerten berechnet werden, und die vorläufigen Normierungsfaktoren für einen jeden Bildpunkt x gemittelt werden, welche die Normierungsfaktoren bilden, b) Bestimmen von Oberflächennormalen n_e der Bildpunkte x anhand der erfassten Zeilenbilder der abgetasteten Normierungsvorlage, wobei zur Berechnung der Oberflächennormalen eine mehrere Parameter enthaltende Näherungsfunktion verwendet wird, mit welcher Richtungsvektoren d₁ bis d_m, welche die Richtung von einer virtuell auf einen Punkt reduzierten Lichtquelle zu dem jeweiligen Bildpunkt x angeben, verwendet werden, c) Optimieren der Parameter der Näherungsfunktion mit einem Optimierungsverfahren.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass a) bis c) zumindest einmal wiederholt werden, wobei die Normierungsfaktoren q_i(x) mit Hilfe der optimierten Näherungsfunktion erneut berechnet werden.
Abtastvorrichtung für ein photometrisches Stereoverfahren zum Abtasten einer Oberfläche mit einer Zeilenkamera und mehreren ausgedehnten Beleuchtungseinrichtungen, welche derart angeordnet sind, dass sie einen zeilenförmigen Abtastbereich aus unterschiedlichen Richtungen beleuchten, wobei eine Steuereinrichtung vorgesehen und derart ausgebildet ist, dass von einem Objekt, das sich im Abtastbereich befindet, mehrere Zeilenbilder des gleichen Objektbereichs aufgenommen werden, bei welchen sich jeweils die relative Ausrichtung von Beleuchtungsrichtung relativ zur Abtastrichtung unterscheiden, und für einen jeden Bildpunkt eine Oberflächennormale n_e(x) mit folgenden Schritten bestimmt wird: Berechnen für einen jeden Bildpunkt x den Normalenvektor n_e(x) anhand von i Beleuchtungs-Richtungsvektoren d_i(x) und normierten, gemessenen Belichtungswerten IN_i(x) ${\overset{⇀}{n}}_{e} = {(\begin{matrix} {\overset{⇀}{d}}_{1}^{T} (x) \\ {\overset{⇀}{d}}_{2}^{T} (x) \\ \dots \\ {\overset{⇀}{d}}_{m}^{T} (x) \end{matrix})}^{- 1} * (\begin{matrix} I N_{,1} (x) \\ I N_{2} (x) \\ \dots \\ I N_{m} (x) \end{matrix})$
wobei die gemessenen Belichtungswerte J_i(x) mit Normierungsfaktoren q_i(x) folgendermaßen normiert werden $I N_{1.. m} = J_{1.. m} (x) * {\overset{⇀}{q}}_{1.. m} (x)$
und die Richtungsvektoren d₁ bis d_m, welche die Richtung von einer virtuell auf einen Beleuchtungspunkt reduzierten Lichtquelle zu dem jeweiligen Bildpunkt x angeben, mittels einer Näherungsfunktion in Abhängigkeit vom jeweiligen Bildpunkt x bestimmt werden, wobei die Näherungsfunktion vorab mit einem Optimierungsverfahren derart optimiert ist, dass die Abweichungen von derart bestimmten Oberflächennormalen bezüglich bekannter Oberflächennormalen einer Normierungsvorlage minimal sind.
Abtastvorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass die ausgedehnten Beleuchtungseinrichtungen zeilenförmige Beleuchtungseinrichtungen sind.
Abtastvorrichtung nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Abtastvorrichtung zum Ausführen eines Verfahrens nach einem der Ansprüche 1 bis 5 ausgebildet ist.
Abtastvorrichtung nach einem der Ansprüche 8 bis 10, dadurch gekennzeichnet, dass die Abtastvorrichtung gemäß einem der Ansprüche 6 oder 7 normiert ist.