DE102008044991B4

DE102008044991B4 - Verfahren und Vorrichtung zur dreidimensionalen Erfassung von Objektoberflächen

Info

Publication number: DE102008044991B4
Application number: DE200810044991
Authority: DE
Inventors: Prof. Dr. Ernst Hartmut
Original assignee: IN SITU GmbH; IN-SITU GmbH
Current assignee: IN SITU GmbH; IN-SITU GmbH
Priority date: 2008-08-29
Filing date: 2008-08-29
Publication date: 2011-11-10
Anticipated expiration: 2028-08-30
Also published as: DE102008044991A1

Abstract

Verfahren zur dreidimensionalen optischen Erfassung von Objektoberflächen (2) eines Objektes (1) mit den folgenden Merkmalen: – es wird eine Leuchtenanordnung (L) verwendet, worüber die zu erfassende Oberfläche (2) eines Objektes (1) ausgeleuchtet wird, – es wird eine Leuchtenanordnung (L) mit zumindest vier Leuchten (L1, L2, L3, L4) verwendet, – es wird eine Kameraanordnung (K1, K2) zur Bildaufnahme der zu erfassenden Oberfläche (2) des Objektes (1) verwendet, – es wird eine Auswertevorrichtung verwendet, mittels der aus der durch die Kameraanordnung aufgenommenen Helligkeitsverteilung (T) die Höhengradienten der zu erfassenden Oberfläche (2) in zwei Richtungen ermittelt werden, – die zumindest vier Leuchten (L1, L2, L3, L4) werden um die zu erfassende Oberfläche (2) jeweils in Umfangsrichtung versetzt zueinander liegend angeordnet und strahlen dabei in einem schrägen Winkel auf die zu erfassende Oberfläche (2) des zu untersuchenden Objektes (1), gekennzeichnet durch die folgenden weiteren Merkmale: –...

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur dreidimensionalen Erfassung von Objektoberflächen nach dem Oberbegriff des Anspruches 1 bzw. 15.
Eine Möglichkeit zur dreidimensionalen optischen Erfassung von Oberflächen Z(x, y) eines Objektes ist die Formbestimmung aus Grauwertverteilungen (auch photometrisches Stereosehen oder ”Shape from Shading” genannt). Insoweit wird auch auf die Veröffentlichung von Sandra Söll, Bernhard Roither, Helge Moritz und Hartmut Ernst: ”Three-dimensional surface test with Shape-from-Shading”, Photonic International, Seite 74–76, 2007 verwiesen. Ferner wird auch nach die weitere Vorveröffentlichung A. T. Francot und R. Chellappa: A Method for Enforcing Integrability in Shape from Shading Algorithms, IEEE Transactions on Pattern Analysis and Machine Intelligence Vol. 10, No. 4, pp 439, (1988), erwähnt.
Gemäß diesem vorbekannten Verfahren wird das zu vermessende Objekt mit einer Kamera aufgenommen und daraus ein Bild berechnet. Mit anderen Worten werden mittels der in der Kamera registrierten Helligkeitsverteilung I(x, y) unter Zugrundelegung eines geeigneten Beleuchtungsmodells und unter Berücksichtigung von Nebenbedingungen die Höhengradienten p = dZ/dx und q = dZ/dy der betrachteten Oberfläche in X- und Y-Richtung berechnet. In einem zweiten Schritt wird dann aus den Gradienten die gesuchte Höhenkarte Z(x, y) als Approximation der betrachteten Objektoberfläche berechnet.
In industriellen Applikationen wird meist von einer festen Messanordnung mit einer definierten geometrischen Beziehung zwischen Kamera und Leuchten ausgegangen.
Eine vom Grundsatz her nach dem Stand der Technik bekannte Anordnung ist dabei aus 1 zu entnehmen, wobei in 1 ein Objekt 1 mit einer Oberfläche 2 gezeigt ist, wobei ein zu erfassender Ausschnitt dieser Oberfläche 2 des Objektes 1 über eine Leuchte L ausgeleuchtet und das von der zu erfassenden Oberfläche ausgehende Licht in einer Kamera K abgebildet wird.
Ausgehend von diesem Beispiel wird ein infinitesimales Flächenelement mit Normalenvektor n der Oberfläche Z(x, y) durch die Leuchte L unter dem Richtungsvektor s mit einer Beleuchtungsstärke Q(x, y, z) bestrahlt. Die Kamera selbst mit einer Empfindlichkeit c kann dabei das von diesem sichtbaren infinitesimalen Flächenelement unter dem Richtungsvektor k reflektierte Licht empfangen und aufzeichnen. Die von der Kamera aufgenommene Intensität I(x, y) ist dann gegeben durch: I(x, y) = c·Q(x, y, z)·R(s, n, k) (1)
Das Weltkoordinatensystem ist dabei ohne Beschränkung der Allgemeinheit so gewählt worden, dass die Z-Achse bevorzugt mit der optischen Achse der Kamera zusammenfällt. Die zweidimensionale Bildebene im Sensor der Kamera ist dann parallel zur XY-Ebene dieses Weltkoordinatensystems. Dabei wird ferner angemerkt, dass der Normalenvektor n mit den Komponenten n_x = –p, n_y = –q, n_z = 1 durch die Gradienten p und q definiert ist.
Die als Reflektivität bezeichnete Funktion R(s, n, k) beschreibt das Reflexionsverhalten des beleuchteten Körpers. Sie wird durch ein für die jeweilige Anwendung geeignetes Beleuchtungsmodell angenähert, das im Allgemeinen eine Mischung aus diffuser (Lambert’scher) und spiegelnder Reflexion berücksichtigt: R(s, n, k) = r_d·cosθ + r_s·cos^mε = r_d·s·n + r_s·2·k·(n – s) (2)
Die Winkel θ und ε folgen gemäß Gleichung (2) aus der Messgeometrie. Die Reflexionskoeffizienten r_d für diffuse und r_s für spiegelnde Reflexion sowie der Exponent m sind Materialparameter, die von den lokalen Eigenschaften der Objektoberfläche wie Farbe, aufgedrucktem Muster oder Rauigkeit abhängen. Dazu kommen noch die beiden zur Ermittlung der Höhenkarte benötigten Gradienten p und q, so dass bei einem derartigen allgemeinen Modell fünf Unbekannte zu bestimmen sind.
Dementsprechend sind mindestens fünf unabhängige Aufnahmen erforderlich, die ein Gleichungssystem für fünf Unbekannte liefern. Voraussetzung ist jedoch, dass alle anderen Größen wie Position und Abstrahlcharakteristik der Leuchten sowie die Kameraparameter hinreichend genau bekannt sind.
In manchen industriellen Anwendungen kann durch entsprechende Wahl der Messgeometrie der spiegelnde Reflexionsanteil so weit reduziert werden, dass er vernachlässigbar ist. Übliche Maßnahmen dazu sind eine möglichst große Distanz zwischen Objekt und Kamera sowie eine möglichst flach einstrahlende Beleuchtung. Der spiegelnde Reflexionsanteil kann auch dadurch weiter minimiert werden, dass geeignete optische Filter (z. B. Polarisationsfilter) sowie monochromatisches, möglichst hochfrequentes (z. B. blaues) Licht eingesetzt wird, da in Folge der Oberflächenrauigkeit der reflektierte Anteil mit steigender Lichtfrequenz abnimmt. Als weitere Vereinfachungen werden oft telezentrische Leuchten (also mit konstantem Richtungsvektor s) mit identischer Lichtstärke Q verwendet. Man erhält dann: I(x, y) = c·Q·r_ds·n = ρ·s·n mit der Albedo ρ = c·Q·r (3)
In der Gleichung (3) bezeichnet Q die Lichtintensität, r den ortsabhängigen Reflektionskoeffizienten und c die Lichtempfindlichkeit der Kamera.
Werden mit drei nacheinander eingeschalteten telezentrischen Leuchten mit identischen Lichtstärken Q und zugehörigen, linear unabhängigen Richtungsvektoren s₁, s₂, s₃ drei Bilder mit aus unterschiedlichen Richtungen eingestrahltem Licht aufgenommen, so erhält man gemäß Beziehung (3) drei Gleichungen zur Bestimmung der drei Parameter p, q und ρ. Eine günstige Konstellation ergibt sich mit vier telezentrischen Lichtquellen, die mit Zwischenwinkeln von 90° um eine zentrisch positionierte Kamera angeordnet sind und identische Winkel (vorzugsweise 45°) mit der Z-Achse bilden.
Die vier Aufnahmen liefern ein Gleichungssystem, aus dem sich mit Standardverfahren, etwa der Gauß’schen Methode der kleinsten Quadrate, optimale Näherungslösungen für die drei Unbekannten ermitteln lassen. Durch Hinzunahme noch weiterer Leuchten lässt sich die Genauigkeit des Ergebnisses noch weiter erhöhen oder aber es lassen sich weitere Parameter bestimmen, etwa zur Einbeziehung der spiegelnden Reflexion gemäß Gleichung (2). Ein nach dieser Methode arbeitendes industrielles System ist beispielsweise aus Sandra Söll, B. Roither, H. Moritz and H. Ernst: ”Three-dimensional surface test with Shape-from-Shading”. Photonik International, p. 20–22, 2007 als bekannt zu entnehmen.
Voraussetzung für die Berechnung der Gradienten p und q ist, dass diese bzw. die Normalenvektoren auch auf der gesamten untersuchten Oberfläche Z(x, y) existieren. Dies ist genau dann der Fall, wenn die Oberfläche überall differenzierbar ist. Das Verfahren liefert daher nur für Oberflächen ohne Unstetigkeitsstellen wie scharfen Kanten, Sprüngen und Hinterschneidungen genaue Ergebnisse. Zudem ist erforderlich, dass alle zu vermessenden Bereiche der Oberfläche durch die Kamera sichtbar und nicht abgeschattet sind.
Im nächsten Schritt wird aus den Gradienten die Höhenkarte berechnet.
Dabei ist zu beachten, dass mit dieser Methode nicht die Abstände der Oberflächenpunkte zur Kamera angegeben werden können, sondern nur relative Höhen innerhalb der Objektoberfläche. Die Erstellung einer solchen Höhenkarte kann man sich in Analogie zu einem Spaziergang vorstellen, der bergauf und bergab durch eine Landschaft führt, wobei die Gradienten p und q die Schritthöhen in X- und Y-Richtung bestimmen. Die Aufgabe besteht also darin, längs eines Pfades, der bei einem beliebigen Punkt beginnend von Punkt zu Punkt durch das gesamte Bild führt, die Gradienten aufzuaddieren (bzw. im kontinuierlichen Fall zu integrieren) und für jeden besuchten Punkt das Zwischenergebnis als aktuelle Höhe zu notieren.
Nachteilig und problematisch ist jedoch, dass es eine unendliche Menge solcher Pfade P gibt. Da es sich im physikalischen Sinne bei dem Gradientenfeld g = (p, q) um ein konservatives Vektorfeld handeln müsste, sollten alle Pfade dieselbe Höhenkarte Z(x, y) erzeugen. Dies entspricht wieder der Analogie, dass bei einem Spaziergang die Höhe eines Berges nicht vom Aufstiegsweg abhängt. Da aber aufgrund von Rauschen und unvermeidbaren Messfehlern die Annahme, dass das Vektorfeld g konservativ ist, nicht erfüllt ist, führen unterschiedliche Pfade zu wesentlich unterschiedlichen Ergebnissen. Man ist daher bei der Integration auf Näherungs- und Optimierungsverfahren angewiesen, die möglichst einer Mittelung über alle verschiedenen Pfade entsprechen sollen.
Der bekannteste Algorithmus löst die Aufgabe mit Hilfe eines Optimierungsverfahrens. Siehe dazu auch die eingangs genannte Vorveröffentlichung von R. T. Francot and R. Chellappa ”A Method for Enforcing Integrability in Shape from Shading Algorithms” sowie die weitere Vorveröffentlichung von T. Wei and R. Klette: A New Algorithm for Gradient Field Integration. Image and Vision Computing New Zealand (IVCNZ '2000), Dunedin (2001).
Das Ergebnis lautet: F{Z(x, y)) = –juv / u² + v²[F{p(x, y)} + F{q(x, y)}] (4)
In Gleichung (4) wird durch F{..} eine Fourier-Transformation bezeichnet. Die gesuchte Höhenkarte Z(x, y) lässt sich dann durch Fourier-Rücktransformation ermitteln. Der Algorithmus ist sehr rechenintensiv und erfordert insgesamt drei Fourier-Transformationen.
Darüber hinaus ist aus der DE 41 07 701 A1 ein Verfahren und eine Vorrichtung zur optischen Identifikation von Objekten bekannt. Dabei handelt es sich grundsätzlich allerdings um ein völlig anderes Verfahren und eine andere Vorrichtung, mit der es unmöglich ist, ein Objekt dreidimensional aus der Schattierung zu erfassen. Vielmehr soll mit diesem bekannten Verfahren beispielsweise die Oberfläche sowie die Kontur eines Gegenstandes erkannt werden, beispielsweise eines gesägten Brettes. Dabei wird von einer Beleuchtungsquelle her die Oberfläche beleuchtet und von der Kamera aufgenommen, wohingegen eine zweite Beleuchtungsquelle schräg oder seitlich auf das Objekt strahlen soll, um die Kontur des zu erkennenden Objektes zu erfassen. Soll also sowohl die Oberfläche als auch die Kontur ermittelt werden, ergibt sich bei Zusammenführung der Beleuchtung von oben und der Beleuchtung von der Seite her (jeweils gerichtet auf das betreffende Objekt) eine gegenseitige Überstrahlung. Diese Überstrahlung verhindert eine optimale Erfassung der Messwerte. Gemäß der DE 41 07 701 A1 wird von daher vorgeschlagen, dass beispielsweise ein von oben her auf das auszuwertende Objekt fallendes Licht und ein von der Seite her auf das auszuwertende Objekt fallender Lichtstrahl, der nicht auf die Oberfläche des Objekts fällt (dort strahlt nur die andere Lichtquelle ein), mit unterschiedlicher Wellenlänge betrieben werden sollen. Ferner ist vorgesehen, dass das zu erkennende Objekt aus verschiedenen Ebenen angestrahlt wird (also auf die Oberfläche des Objekts nur eine Lichtquelle strahlt) und zudem die reflektierten Strahlen von dem Detektor alternierend ausgewertet werden.
Bei dem eingangs genannten im Stand der Technik beschriebenen Verfahren besteht der Nachteil, dass unter Verwendung einer Kamera mindestens drei, besser sogar vier, sequentielle Aufnahmen mit unterschiedlichen Beleuchtungsrichtungen erforderlich sind. Dies hat zur Folge, dass die Aufnahme und die nachfolgende Analyse lange dauern und dass daher keine bewegten Objekte aufgenommen werden können.
Aus der Vorveröffentlichung G. Healey, L. Wang: ”Segmenting 3-D surfaces using multicolored illumination”; Computer Vision and Pattern Recognition, Proceedings IEEE Computer Society Conference, 23–25 Jun 1998, Pages 384–389 ist ein Verfahren zur Segmentation von dreidimensionalen Flächen als bekannt zu entnehmen, das eine mehrfarbige Beleuchtung verwendet. Bei dem vorbekannten Verfahren zur Segmentation von dreidimensionalen Flächen werden eine Reihe von Leuchtquellen verwendet, um beispielsweise mittels eines Kamerasystems ein erstes und ein zweites Bild von dem zu untersuchenden Objekt zu erhalten.
Für die erste Bildaufnahme wird eine einzige Lichtquelle oder mehrere Lichtquellen verwendet. Dabei wird für die erste Bildaufnahme eine erste Lichtquelle eingesetzt, die weißes Licht erzeugt. Für die zweite Bildaufnahme werden eine kleine Anzahl von mehreren Lichtquellen mit unterschiedlicher Spektralverteilung eingesetzt, vorzugsweise Lichtquellen, die einmal mit rotem Licht, mit grünem Licht und wiederum mit weißem Licht strahlen. Um ein entsprechend dreidimensionales Objekt richtig auszuleuchten, sollen dabei bevorzugt zumindest sechs Lichtquellen eingesetzt werden. Aus den beiden sequentiell aufgenommenen Bildern, bei denen das zu untersuchende dreidimensionale Objekt nacheinander mit sehr unterschiedlichen Spektren aus unterschiedlichen Richtungen beleuchtet wurde, werden dann in einem nächsten Schritt unter Verwendung eines mathematischen Modells Änderungen der Orientierung von ebenen Flächenelementen im Raum berechnet. Dabei lassen sich Änderungen in der Orientierung ebener Flächen aus den erwähnten lediglich beiden Aufnahmen ermitteln, da wegen der Beleuchtung mit vielen Lichtquellen mit stark unterschiedlichen, linear unabhängigen Spektren die Elimination der Reflexionskoeffizienten der Oberflächenpunkte aus den Gleichungen gelingt. Dabei geht es jedoch nicht um die dreidimensionale Erfassung von Oberflächen, sondern ausschließlich um die in der Praxis häufig wichtige Segmentation von ebenen Oberflächenbereichen, die identische oder zumindest ähnliche Orientierungen aufweisen. Dabei ist es ausreichend, dass nur Änderungen in der Orientierung, also nur Änderungen der Gradienten erfasst werden können und nicht die Gradienten selbst. Diese vorbekannte Methode ist daher auf die Segmentierung ebener Flächenelemente durch die Detektion von Diskontinuitäten beschränkt, wobei starke Krümmungen zu Fehlinterpretationen führen können, wie dies in der vorstehend genannten Vorveröffentlichung Seite 387, rechte Spalte, vorletzter Absatz ausgeführt ist.
Schließlich ist aus der DE 10 2006 009 593 A1 eine Vorrichtung zur Aufnahme von mehreren Bildern von scheibenförmigen Objekten als bekannt zu entnehmen. Dazu werden mindestens zwei Beleuchtungseinheiten verwendet, die mit unterschiedlichem Licht strahlen. Mittels der einen Lichtquelle soll dabei eine Hellfeld-Beleuchtung und mittels der zweiten Lichtquelle eine Dunkelfeld-Beleuchtung durchgeführt werden. Als Hellfeld-Beleuchtung wird bevorzugt Blau und für die Dunkelfeld-Beleuchtung vorzugsweise Rot verwendet, also deutlich unterschiedliche Lichtspektren. Die Verwendung derartiger unterschiedlicher Lichtspektren eröffnet dann die Möglichkeit, dass die so gewonnenen Bilder in einer gewöhnlichen Farbkamera getrennt werden können.
Beide vorstehend genannten Vorveröffentlichungen liefern jedoch keine dreidimensionale Abbildung der Oberfläche.
Demgegenüber ist es Aufgabe der vorliegenden Erfindung, ein verbessertes Verfahren sowie eine verbesserte Vorrichtung insbesondere zur schnellen dreidimensionalen optischen Erfassung von Objektoberflächen zu schaffen, insbesondere auch von bewegten Objekten.
Die Aufgabe wird erfindungsgemäß bezüglich des Verfahrens entsprechend den im Anspruch 1 und bezüglich der Vorrichtung entsprechend den im Anspruch 15 angegebenen Merkmalen gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.
Durch die vorliegende Erfindung werden wesentliche Vorteile gegenüber bisherigen Lösungen realisiert.
Durch die vorliegende Erfindung wird das Shape-from-Shading-Verfahren bzw. eine zugehörige Shape-from-Shading-Vorrichtung dahingehend verbessert, dass die Aufnahme und die Analyse von 3D-Objekten sehr viel schneller erfolgen kann, so dass vergleichsweise problemlos selbst bewegte Objekte analysiert werden können.
Gegenüber dem Stand der Technik arbeitet das erfindungsgemäße Verfahren mit einer Kombination aus zumindest zwei (bevorzugt hochauflösenden) Kameras K1 und K2 in Verbindung mit zumindest vier monochromatischen, telezentrischen Leuchten L1 bis L4, die mit unterschiedlichen, aber exakt bekannten Winkeln zueinander montiert und auf die zu erfassende Oberfläche des Objektes ausgerichtet sind. Dabei sollen die Leuchten mit nahe benachbarten Wellenlängen λ1 und λ2 strahlen, wobei sehr kleine Wellenlängenabstände von z. B. Δλ ≈ 10 nm bis 20 nm erzielt werden sollen.
Bevorzugt wird für die Leuchten blaues Licht verwendet, also Licht mit einer Wellenlänge, bei der die Empfindlichkeit typischer CCD-Kameras noch ca. 70% beträgt, so dass eine relativ große Lichtausbeute möglich ist. Zudem ist kurzwelliges Licht vorteilhafter, da dadurch Beugungseffekte minimiert und diffuse Reflexionsanteile gegenüber dem spiegelnden Anteil erhöht werden.
Weitere Vorteile, Einzelheiten und Merkmale der Erfindung ergeben sich nachfolgend aus dem anhand von Zeichnungen dargestellten Ausführungsbeispiel. Dabei zeigen im Einzelnen:
1: eine Erläuterung des Prinzips der dreidimensionalen Vermessung durch Analyse von Grauwertverteilungen nach dem Stand der Technik;
2: einen schematischen Aufbau einer erfindungsgemäßen Vorrichtung unter Verwendung von vier Leuchten und zwei Kameras; und
3: ein Blockschaltdiagramm zur Verdeutlichung des Hardware-Aufbaus der erfindungsgemäßen Vorrichtung.
In 2 ist das zu untersuchende Objekt 1 in schematischer Seitendarstellung (also nicht räumlich) wiedergegeben. Es weist eine zu untersuchende Oberfläche 2 auf, wobei das Objekt im gezeigten Ausführungsbeispiel mit vier monochromatischen Leuchten L1, L2, L3 und L4 entsprechend den nachfolgenden Erläuterungen beleuchtet wird. Die vier Leuchten L1 bis L4 sind um das zu untersuchende Objekt 1 angeordnet, im gezeigten Ausführungsbeispiel also um eine zu dem zu untersuchenden Objekt vertikal verlaufende Zentralachse, welche die optische Achse des aus der Optik L, dem Strahlteiler ST und den zwei Kameras K2 und K2 bestehenden Sensors bildet. Dabei wird bevorzugt ein dichroitischer Strahlteiler ST verwendet (Dichro-Strahlteiler). Die Anordnung ist derart, dass das von den Leuchten L1 bis L4 auf die zu untersuchende Objektoberfläche 2 abgestrahlte und von dort reflektierte Licht in dem Raum zwischen den Leuchten L1 bis L4 frei und unbehindert bis zu den Kameras K1 und K2 reflektiert wird.
Bei den Kameras K1 und K2 handelt es sich um hochauflösende Kameras. Bei den Leuchten L1 bis L4 handelt es sich um vier monochromatische, telezentrische Leuchten, die mit unterschiedlichen, aber exakt bekannten Winkeln zueinander montiert und auf die zu erfassende Oberfläche des Objektes ausgerichtet sind. Die Leuchten L1 und L3 strahlen mit Wellenlänge λ1, die Leuchten L2 und L4 mit Wellenlänge λ2. Für die verwendeten beiden Wellenlängen der Leuchten kann man beispielsweise blaues Licht mit λ1 = 380 nm und λ2 = 395 nm wählen, deren Wellenlängendifferenz in diesem Fall also Δλ = 15 nm beträgt.
Während des Verfahrens werden mit beiden Kameras synchron zwei Bilder aufgenommen, wobei gleichzeitig mit den Leuchten L1 (mit Wellenlänge λ1) und L2 (mit Wellenlänge λ2) aus unterschiedlichen Richtungen telezentrisches Licht eingestrahlt wird. Nach einer Belichtungszeit von typischerweise ca. 50 μsec werden in beiden Kameras die Bilder in den abgedeckten Bereich des Chips verschoben. Bekanntermaßen sind Kameras verfügbar, bei denen der für derartige Kameras typische Bildtransfer innerhalb von wenigen μsec, d. h. insbesondere innerhalb von ca. 2 μsec durchgeführt werden kann. Danach wird mit den Leuchten L3 (mit Wellenlänge λ1) und L4 (mit Wellenlänge λ2) wiederum aus unterschiedlichen Richtungen mit derselben Belichtungsdauer von ca. 50 μsec geblitzt, wobei abermals in beiden Kameras synchron Bilder aufgenommen werden. Danach werden parallel aus beiden Kameras jeweils beide Teilbilder ausgelesen, so dass schließlich vier Teilbilder zur Verfügung stehen.
Die beiden Kameras K1 und K2 nehmen über einen Strahlteiler ST das zu vermessende Objekt unter identischen Blickwinkeln auf. Der Strahlteiler ST teilt in einer typischen, als Würfel gestalteten Ausführungsform mittels einer unter 45° in einem Glasprisma angebrachten dichroitischen Beschichtung S das eingestrahlte Licht so, dass bei einer bei (λ1 + λ2)/2 gewählten Transmissionskante alle Wellenlängen, die kürzer sind als λ1 gespiegelt werden und alle Wellenlängen, die größer sind als λ2 durchgelassen werden. Auf die Austrittsflächen F des Strahlteilerwürfels (also des Strahlteilers ST) sind in dieser typischen Ausführungsvariante dielektrische Filter Fλ1 bzw. Fλ2 aufgedampft, welche die beiden Wellenlängen von λ1 bzw. λ2 herausfiltern und störendes Umgebungslicht blockieren. Damit kann die erforderliche Kanaltrennung zwischen den beiden Wellenlängen von besser als 1:1000 erreicht werden. Symmetrisch um den aus Strahlteilern und den beiden Kameras bestehenden Sensor sind die vier telezentrischen Leuchten L1, L2, L3 und L4 angeordnet. Diese sind mit intensiven Lichtquellen ausgerüstet, beispielsweise mit vier blauen Hochleistungs-LEDs, vor denen ebenfalls dielektrische Filter Fλ1 bzw. Fλ2 angebracht sind, um die gewünschten Wellenlängen zu selektieren.
Auf dem Lichtweg von der zu untersuchenden Objektoberfläche 2 zu dem Strahlteiler ST kann dem Strahlteiler ST vorgelagert noch eine Linse oder ein Linsensystem L angeordnet sein.
Die ersten beiden Halbbilder der beiden Kameras werden parallel mit einer Belichtungszeit von typischerweise ca. 50 μsec aufgenommen, ebenso die folgenden beiden Halbbilder, diese aber zeitlich kurz beispielsweise in wenigen μsec (typisch 2 μsec) nach den ersten beiden Halbbildern, also seriell. Die gesamte Bildaufnahme erfolgt also mit ca. 100 μsec wesentlich schneller, als es der für Standardkameras typischen Bildwechselfrequenz von 50 Bildern pro Sekunde entspricht. Aus der erfindungsgemäßen, speziellen Aufnahmetechnik ergibt sich als zusätzlicher Vorteil, dass sich eine eventuelle Bewegung des Objektes von der ersten zur zweiten Aufnahme durch Kreuzkorrelation ermitteln lässt. In 3 ist diese Rechenoperation durch das Hardware-Modul Corr angedeutet. Dadurch wird eine Lagekorrektur des zweiten Bildpaares möglich, so dass doppelt so hohe Geschwindigkeiten der bewegten Objekte toleriert werden können wie bei einer einzigen Aufnahme mit 100 μsec Belichtungszeit.
Da beim Shape-from-Shading-Verfahren (kurz auch SfS-Verfahren genannt) in die zu berechnende Albedo auch die variablen Reflexionskoeffizienten der betrachteten Oberfläche mit eingehen, ist die Verwendung monochromatischen Lichts von Vorteil, da die Reflexionskoeffizienten im Allgemeinen von der Wellenlänge abhängen können. Bei polychromatischem Licht können sich dementsprechend Farbfehler ergeben. Als weiterer Vorteil der Erfindung ist zu nennen, dass solche Farbfehler effizient unterdrückt werden können, da nur zwei sehr nahe beieinander liegende Lichtwellenlängen verwendet werden. Die Kanaltrennung von zwei Frequenzen ist sehr effizient möglich, so dass man einen sehr kleinen Wellenlängenabstand von Δλ ≈ 10 bis 20 nm erreichen kann. Diese Wellenlängendifferenz liegt aber bereits in der Größenordnung typischer Emissionsbreiten von Hochleistungsdioden, so dass Farbfehler nicht größer sondern eher kleiner sein werden als beim einfachen Shape-from-Shading-Verfahren mit vier ungefilterten seriellen Aufnahmen.
Nachfolgend soll der weitere Aufbau einer entsprechenden zugehörigen Vorrichtung und insbesondere unter Bezugnahme auf 3 erläutert werden.
Die Analyse der über die Kameras erhaltenen Daten soll in Hardware-Modulen erfolgen, wie sie in 3 in größerem Detail wiedergegeben sind.
Das Modul Sync dient dazu, den Bildtransfer in den Kameras zu steuern und die Kameras miteinander zu synchronisieren. Auch die parallele Bildaufnahme in einem Frame-Grabber Grab wird damit synchronisiert. Bei der bevorzugten Verwendung hochauflösender Kameras mit digitalem Ausgang und dem erforderlichen parallelen Auslesen der Bilder aus beiden Kameras sind sehr hohe Anforderungen an den Frame-Grabber zu stellen.
Durch das Modul Flash wird die Blitzsteuerung der LEDs vorgenommen; auch diese wird durch das Modul Sync synchronisiert, da die vier Blitzlampen L1 bis L4 immer dann strahlen müssen, wenn die zugeordneten Kameras die entsprechende Aufnahme machen. Mit anderen Worten müssen also die betreffenden Lampen gleichzeitig mit der dann die Aufnahme durchführenden Kamera strahlen.
Das Modul Corr führt eine Kreuzkorrelation der beiden Bilder aus dem ersten Belichtungszyklus mit den beiden Bildern aus dem zweiten Belichtungszyklus durch. Dadurch kann der Bewegungsvektor der betrachteten Oberfläche ermittelt und zu Korrektur verwendet werden, so dass sich die Zeitauflösung entsprechend um den Faktor 2 verbessert.
Die Analyse der Bilder und die Berechnung erfolgt in einem speziellen Prozessor. Zunächst geht man von der Umsetzung des Algorithmus von Francot and Chellappa gemäß eingangs genannter Veröffentlichung aus. Eine Geschwindigkeitssteigerung der Auswertung ergibt sich durch eine auf einer mathematischen Umformung beruhende Reduktion von drei Fourier-Transformationen auf nur zwei: F{Z(x, y)} = –1 / 4π²(u² + v²)F{ΔZ(x, y)} (5)
Dabei kann der nun erforderliche Laplace-Operator von Z(x, y) leicht und schnell durch numerische Ableitung der gemessenen Gradienten p und q berechnet werden: ΔZ(x, y) = ∇g = ∂p / ∂x + ∂q / ∂y (6)
Dies wird in der typischerweise als FPGA ausgeführten Hardware-Komponente (siehe 3) in Echtzeit ausgeführt. Anzumerken ist, dass vor Berechnung der Gradienten die ggf. aus der Geschwindigkeitsschätzung resultierende Lagekorrektur des zweiten Bildpaares mit Hilfe des Moduls Corr erfolgen sollte.
Die Rückführung auf nur noch zwei Fourier-Transformationen erlaubt die parallele Ausführung der Fourier-Rücktransformation zur Berechnung der Höhenkarte des aktuellen Bilds sowie die zeitgleiche Berechnung des Laplace-Operators und der Fourier-Transformation für das folgende Bild in zwei Prozessoren FFT^–1 und FFT. Aus der Fourier-Rücktransformation folgt unmittelbar die gesuchte Höhenkarte Z(x, y).

Claims

Verfahren zur dreidimensionalen optischen Erfassung von Objektoberflächen (2) eines Objektes (1) mit den folgenden Merkmalen: – es wird eine Leuchtenanordnung (L) verwendet, worüber die zu erfassende Oberfläche (2) eines Objektes (1) ausgeleuchtet wird, – es wird eine Leuchtenanordnung (L) mit zumindest vier Leuchten (L1, L2, L3, L4) verwendet, – es wird eine Kameraanordnung (K1, K2) zur Bildaufnahme der zu erfassenden Oberfläche (2) des Objektes (1) verwendet, – es wird eine Auswertevorrichtung verwendet, mittels der aus der durch die Kameraanordnung aufgenommenen Helligkeitsverteilung (T) die Höhengradienten der zu erfassenden Oberfläche (2) in zwei Richtungen ermittelt werden, – die zumindest vier Leuchten (L1, L2, L3, L4) werden um die zu erfassende Oberfläche (2) jeweils in Umfangsrichtung versetzt zueinander liegend angeordnet und strahlen dabei in einem schrägen Winkel auf die zu erfassende Oberfläche (2) des zu untersuchenden Objektes (1), gekennzeichnet durch die folgenden weiteren Merkmale: – für die zumindest vier Leuchten (L1, L2, L3, L4) werden telezentrische Leuchten (L1, L2, L3, L4) verwendet, – die zumindest vier Leuchten (L1, L2, L3, L4) erzeugen jeweils monochromatisches Licht, – zumindest zwei Leuchten (L1, L3) erzeugen monochromatisches Licht mit einer ersten Wellenlänge (λ1), – zumindest zwei Leuchten (L2, L4) erzeugen monochromatisches Licht mit einer zweiten Wellenlänge (λ2), – die Kameraanordnung umfasst zumindest zwei Kameras (K1, K2), – mit den zumindest zwei Kameras (K1, K2) werden zwei Bilder synchron oder zumindest teilweise zeitgleich (synchron) aufgenommen, – in einem ersten Schritt wird mit der ersten Kamera (K1) das von einer ersten Leuchte (L1) mit der Wellenlänge (λ1) ausgestrahlte Licht und synchron oder zumindest teilweise synchron dazu von der zweiten Kamera (K2) das von einer zweiten Leuchte (L2) mit der Wellenlänge (λ2) ausgestrahlte Licht aufgenommen und in zwei Bildern gespeichert, – in einem zweiten Schritt wird mit der ersten Kamera (K1) das von der dritten Leuchte (L3) mit der Wellenlänge (λ1) ausgestrahlte Licht und synchron oder zumindest teilweise synchron dazu mit der zweiten Kamera (K2) das von der vierten Leuchte (L4) mit der Wellenlänge (λ2) ausgestrahlte Licht aufgenommen, und – es wird eine Optik verwendet, mittels der die von der zu erfassenden Oberfläche (2) des Objektes (1) erfassten Helligkeitsverteilungen für die unterschiedlichen Wellenlängen separiert werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die jeweils zumindest beiden Leuchten (L1, L2 bzw. L3, L4), die bei den synchronen oder zumindest teilweise synchronen Aufnahmen der zu erfassenden Oberfläche (2) des zu untersuchenden Objektes (1) leuchten, paarweise gegenüberliegend oder zumindest im wesentlichen paarweise gegenüberliegend zu dem zu untersuchenden Objekt (1) angeordnet sind.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass vier Leuchten (L1, L2, L3, L4) verwendet werden, die in unterschiedlichen, aber exakt definierten Winkeln zueinander in Bezug auf die zu erfassende Objektoberfläche (2) angeordnet werden.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die vier Leuchten (L1, L2, L3, L4) um das zu erfassende Objekt herum jeweils um 90° versetzt zueinander angeordnet werden und schräg, vorzugsweise in einem Winkel von 25° bis 75°, insbesondere zwischen 30° bis 60° und insbesondere 40° bis 50° und vorzugsweise von 45° einstrahlen, d. h. auf die Objektebene, über der sich die zu erfassende Oberfläche (2) erhebt.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass zur Erzeugung zweier Bilder jeweils zwei gegenüberliegende Leuchten (L1, L2 bzw. L3, L4) gleichzeitig oder zumindest teilsynchron mit unterschiedlichem monochromatischem Licht strahlen.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die mehreren verwendeten Leuchten (L1, L2, L3, L4) in gleichem Winkel auf die zu erfassende Oberfläche (2) des Objektes (1) ausgerichtet werden.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die telezentrischen Leuchten (L1, L2, L3, L4) mit blauem Licht strahlen, wobei jeweils zwei der telezentrischen Leuchten (L1, L3; L2, L4) vorzugsweise mit blauem Licht zwischen 360 nm und 420 nm strahlen.
Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die telezentrischen Leuchten (L1, L2, L3, L4) mit kurzwelligem Licht, insbesondere vorzugsweise mit einer Wellenlängendifferenz (Peakwellen-Differenz) Δλ zwischen 10 nm bis 20 nm, vorzugsweise um 15 nm strahlen.
Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass vor einer jeweiligen Einfallsöffnung und/oder Blende einer Kamera (K1, K2) und/oder einem den Kameras vorgeschalteten Strahlteiler (ST) Filter (F1, F2) positioniert werden, wobei die Filter (F1, F2) so abgestimmt sind, dass das Licht der Leuchten (L1, L3) in die eine darauf abstimmte Kamera (K1) und das Licht der weiteren Leuchten (L2, L4) in die darauf abgestimmte weitere Kamera (K2) fällt.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass Filter (F1, F2) verwendet werden, deren Bandbreite kleiner als 100 nm, vorzugsweise kleiner als 50 nm, 40 nm, 30 nm und insbesondere kleiner als 20 nm, vorzugsweise um 10 nm ist.
Verfahren nach einem der Ansprüche 9 oder 10, dadurch gekennzeichnet, dass Filter (F1, F2) verwendet werden, die bezüglich ihres Durchlässigkeitsbereiches eine Wellenlängendifferenz aufweisen, die kleiner ist als 100 nm, insbesondere kleiner ist als 50 nm, 40 nm, 30 nm und vorzugsweise um 20 nm ist.
Verfahren nach einem der Ansprüche 9 bis 11, dadurch gekennzeichnet, dass Filter (F1, F2) verwendet werden, deren Wellenlängendifferenzen zueinander in einem Bereich des 0,5 bis 3-Fachen, vorzugsweise zwischen dem 1- und 2-Fachen der jeweiligen Bandbreite des verwendeten Filters (F1, F2, F3) liegt.
Verfahren nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass eine Auswerteoptik verwendet wird, die halbdurchlässige Spiegel, Strahlteiler (ST) oder dichroitische Strahlteiler (ST), Blenden und/oder Filter (F1, F2, F3) zur Aufspaltung der wellenlängenabhängigen Strahlengänge in getrennte Strahlengänge umfasst.
Verfahren nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass eine Mikroprozessoranordnung (μP) mit einer Synchronisationsvorrichtung (Sync) verwendet wird, worüber die Aufnahmen und der Aufnahmezeitpunkt der verwendeten Kameras (K1, K2) gesteuert und/oder synchronisiert wird.
Vorrichtung zur dreidimensionalen optischen Erfassung von Objektoberflächen (2) eines Objektes (1) mit folgenden Merkmalen: – es ist eine Leuchtenanordnung (L) mit zumindest vier Leuchten (L1, L2, L3, L4) vorgesehen, worüber die zu erfassende Oberfläche (2) eines Objektes (1) ausgeleuchtet wird, – es ist eine Kameraanordnung (K1, K2) zur Bildaufnahme der zu erfassenden Oberfläche (2) des Objektes (1) vorgesehen, – es ist eine Auswertevorrichtung vorgesehen, mittels der aus der von der Kameraanordnung erhaltenen Helligkeitsverteilung (I) die Höhengradienten der zu erfassenden Oberfläche (2) in zwei Richtungen ermittelbar sind, – die zumindest vier Leuchten (L1, L2, L3, L4) sind um die zu erfassende Oberfläche (2) jeweils in Umfangsrichtung versetzt zueinander liegend angeordnet und strahlen dabei in einem schrägen Winkel auf die zu erfassende Oberfläche (2) des zu untersuchenden Objektes (1), gekennzeichnet durch die folgenden weiteren Merkmale: – die zumindest vier Leuchten (L1, L2, L3, L4) bestehen aus telezentrischen Leuchten (L1, L2, L3, L4), – die zumindest vier Leuchten (L1, L2, L3, L4) erzeugen jeweils monochromatisches Licht, – zumindest zwei Leuchten (L1, L3) erzeugen monochromatisches Licht mit einer ersten Wellenlänge (λ1), – zumindest zwei Leuchten (L2, L4) erzeugen monochromatisches Licht mit einer zweiten Wellenlänge (λ2), – die Kameraanordnung (K1, K2) umfasst zumindest zwei Kameras (K1, K2), – mit den zumindest zwei Kameras (K1, K2) sind zwei Bilder synchron oder zumindest teilweise zeitgleich (synchron) aufnehmbar, – in einem ersten Schritt ist mit der ersten Kamera (K1) das von einer ersten Leuchte (L1) mit der Wellenlänge (λ1) ausgestrahlte Licht und synchron oder zumindest teilweise synchron dazu von der zweiten Kamera (K2) das von einer zweiten Leuchte (L2) mit der Wellenlänge (λ2) ausgestrahlte Licht aufnehmbar, – in einem zweiten Schritt ist mit der ersten Kamera (K1) das von der dritten Leuchte (L3) mit der Wellenlänge (λ1) ausgestrahlte Licht und synchron oder zumindest teilweise synchron dazu mit der zweiten Kamera (K2) das von der vierten Leuchte (L4) mit der Wellenlänge (λ2) ausgestrahlte Licht aufnehmbar, und – es ist eine Optik vorgesehen, mittels der die von der zu erfassenden Oberfläche (2) des Objektes (1) erfassten Helligkeitsverteilungen für die unterschiedlichen Wellenlängen separierbar sind.
Vorrichtung nach Anspruch 15, dadurch gekennzeichnet, dass die jeweils zumindest beiden Leuchten (L1, L2 bzw. L3, L4), die bei den synchronen oder zumindest teilweise synchronen Aufnahmen leuchten, paarweise gegenüberliegend oder zumindest im Wesentlichen paarweise gegenüberliegend zu dem zu untersuchenden Objekt (1) angeordnet sind.
Vorrichtung nach Anspruch 15 oder 16, dadurch gekennzeichnet, dass vier Leuchten (L1, L2, L3, L4) vorgesehen sind, die in unterschiedlichen, aber exakt definierten Winkeln zueinander in Bezug auf die zu erfassende Objektoberfläche (2) angeordnet sind.
Vorrichtung nach Anspruch 17, dadurch gekennzeichnet, dass die vier Leuchten (L1, L2, L3, L4) um das zu erfassende Objekt herum jeweils um 90° versetzt zueinander angeordnet sind und schräg, vorzugsweise in einem Winkel von 25° bis 75°, insbesondere zwischen 30° bis 60° und insbesondere 40° bis 50° und vorzugsweise von 45° einstrahlen, d. h. auf die Objektebene, über der sich die zu erfassende Oberfläche (2) erhebt.
Vorrichtung nach einem der Ansprüche 15 bis 18, dadurch gekennzeichnet, dass die Leuchten (L1, L2, L3, L4) so ansteuerbar sind, dass während der Erzeugung zweier Bilder jeweils zwei gegenüberliegende Leuchten (L1, L2 bzw. L3, L4) gleichzeitig oder zumindest teilsynchron mit unterschiedlichem monochromatischem Licht strahlen.
Vorrichtung nach einem der Ansprüche 15 bis 19, dadurch gekennzeichnet, dass die mehreren verwendeten Leuchten (L1, L2, L3, L4) in gleichem Winkel auf die zu erfassende Oberfläche (2) des Objektes (1) ausgerichtet sind.
Vorrichtung nach einem der Ansprüche 15 bis 20, dadurch gekennzeichnet, dass die telezentrischen Leuchten (L1, L2, L3, L4) mit kurzwelligem Licht, insbesondere blauem Licht strahlen, wobei jeweils zwei der telezentrischen Leuchten (L1, L3; L2, L4) vorzugsweise mit blauem Licht zwischen 360 nm und 420 nm strahlen.
Vorrichtung nach einem der Ansprüche 15 bis 21, dadurch gekennzeichnet, dass die telezentrischen Leuchten (L1, L2, L3, L4) vorzugsweise mit einer Wellenlängendifferenz (Peakwellen-Differenz) Δλ zwischen 10 nm bis 20 nm, vorzugsweise um 15 nm strahlen.
Vorrichtung nach einem der Ansprüche 15 bis 22, dadurch gekennzeichnet, dass vor einer jeweiligen Einfallsöffnung und/oder Blende einer Kamera (K1, K2) und/oder einem den Kameras vorgeschalteten Strahlteiler (ST) Filter (F1, F2) positioniert sind, wobei die Filter (F1, F2) so abgestimmt sind, dass das Licht der Leuchten (L1, L3) in die eine darauf abstimmte Kamera (K1) und das Licht der weiteren Leuchten (L2, L4) in die darauf abgestimmte weitere Kamera (K2) fällt.
Vorrichtung nach Anspruch 23, dadurch gekennzeichnet, dass Filter (F1, F2) vorgesehen sind, deren Bandbreite kleiner als 100 nm, vorzugsweise kleiner als 50 nm, 40 nm, 30 nm und insbesondere kleiner als 20 nm, vorzugsweise um 10 nm ist.
Vorrichtung nach einem der Ansprüche 23 oder 24, dadurch gekennzeichnet, dass Filter (F1, F2) vorgesehen sind, die bezüglich ihres Durchlässigkeitsbereiches eine Wellenlängendifferenz aufweisen, die kleiner ist als 100 nm, insbesondere kleiner ist als 50 nm, 40 nm, 30 nm und vorzugsweise um 20 nm ist.
Vorrichtung nach einem der Ansprüche 22 bis 24, dadurch gekennzeichnet, dass Filter (F1, F2) vorgesehen sind, deren Wellenlängendifferenzen zueinander in einem Bereich des 0,5 bis 3-Fachen, vorzugsweise zwischen dem 1- und 2-Fachen der jeweiligen Bandbreite des verwendeten Filters (F1, F2, F3) liegt.
Vorrichtung nach einem der Ansprüche 15 bis 26, dadurch gekennzeichnet, dass eine Auswerteoptik vorgesehen ist, die halbdurchlässige Spiegel, Strahlteiler (ST) oder dichroitische Strahlteiler (ST), Blenden und/oder Filter (F1, F2, F3) zur Aufspaltung der wellenlängenabhängigen Strahlengänge in getrennte Strahlengänge umfasst.
Vorrichtung nach einem der Ansprüche 15 bis 27, dadurch gekennzeichnet, dass eine Mikroprozessoranordnung (μP) mit einer Synchronisationsvorrichtung (Sync) verwendet wird, worüber die Aufnahmen und der Aufnahmezeitpunkt der verwendeten Kameras (K1, K2) gesteuert und/oder synchronisiert wird.