DE102007021964A1

DE102007021964A1 - Verfahren und Vorrichtung zur dreidimensionalen Erfassung von Objektoberflächen

Info

Publication number: DE102007021964A1
Application number: DE200710021964
Authority: DE
Inventors: Sandra Söll
Original assignee: In Situ & Co KG GmbH; In-Situ & Cokg GmbH
Current assignee: IN-SITU GMBH, 82054 SAUERLACH, DE
Priority date: 2007-05-10
Filing date: 2007-05-10
Publication date: 2008-11-20
Anticipated expiration: 2027-05-11
Also published as: DE102007021964B4

Abstract

Ein verbessertes Verfahren oder eine verbesserte Vorrichtung zur dreidimensionalen optischen Erfassung von Objektoberflächen (2) eines Objekts (1) umfasst folgende Merkmale: - es wird eine Leuchtenanordnung (L) mit zumindest zwei, im Ausführungsbeispiel mit drei Leuchten (L1, L2, L3) verwendet, - die zumindest beiden Leuchten strahlen mit unterschiedlichen Wellenlängen, und - es wird eine Auswerteoptik und/oder Auswerteelektronik verwendet, mittels der die von der zu erfassenden Oberfläche (2) des Objektes (1) aufgenommene Helligkeitsverteilung für die unterschiedlichen Wellenlängen getrennt, aber zeitlich simultan in zumindest zwei, im Ausführungsbeispiel mit drei Kameras (K1, K2, K3) erfasst wird.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur dreidimensionalen Erfassung von Objektoberflächen nach dem Oberbegriff des Anspruches 1 bzw. 17.
Eine Möglichkeit zur dreidimensionalen optischen Erfassung von Oberflächen Z(x, y) eines Objektes ist die Formbestimmung aus Grauwertverteilungen (auch photometrisches Stereosehen oder "Shape from Shading" genannt). Insoweit wird auch auf die Veröffentlichung von B. Horn und M. Brooks (eds.) "Shape from Shading", MIT Press, 1989 verwiesen.
Gemäß diesem vorbekannten Verfahren wird das zu vermessende Objekt mit einer Kamera aufgenommen und daraus ein Bild berechnet. Mit anderen Worten wird mittels der in der Kamera registrierten Helligkeitsverteilung I(x, y) unter Zugrundelegung eines geeigneten Beleuchtungsmodells und unter Berücksichtigung von Nebenbedingungen die Höhengradienten p = ∂Z/dx und q = ∂Z/dy der betrachteten Ober fläche in X- und Y-Richtung berechnet. In einem zweiten Schritt wird dann aus den Gradienten die gesuchte Höhenkarte Z(x, y) als Approximation der betrachteten Objektoberfläche berechnet.
In industriellen Applikationen wird meist von einer festen Messanordnung mit einer definierten geometrischen Beziehung zwischen Kamera und Leuchten ausgegangen.
Eine vom Grundsatz her nach dem Stand der Technik bekannte Anordnung ist dabei aus 1 zu entnehmen, wobei in 1 ein Objekt 1 mit einer Oberfläche 2 gezeigt ist, wobei ein zu erfassender Ausschnitt dieser Oberfläche 2 des Objektes 1 über eine Leuchte L ausgeleuchtet und das von der zu erfassenden Oberfläche ausgehende Licht in einer Kamera K abgebildet wird.
Ausgehend von diesem Beispiel wird ein infinitesimales Flächenelement mit Normalenvektor n der Oberfläche Z(x, y) durch eine Leuchte unter dem Richtungsvektor s mit einer Beleuchtungsstärke Q(x, y, z) bestrahlt. Die Kamera selbst mit einer Empfindlichkeit c kann dabei dieses sichtbare infinitesimale Flächenelement unter dem Richtungsvektor k empfangen und aufzeichnen. Die von der Kamera aufgenommene Intensität I(x, y) ist dann gegeben durch: I(x, y) = c·Q(x, y, z)·R(s, n, k) (1)
Das Weltkoordinatensystem ist dabei ohne Beschränkung der Allgemeinheit so gewählt worden, dass die Z-Achse bevorzugt mit der optischen Achse der Kamera zusammenfällt. Die zweidimensionale Bildebene im Sensor der Kamera ist dann parallel zur XY-Ebene dieses Weltkoordinatensystems. Dabei wird ferner angemerkt, dass der Normalenvektor n mit den Komponenten n_x = –p, n = –q, n_z = 1 durch die Gradienten p und q definiert ist.
Die als Reflexivität bezeichnete Funktion R(s, n, k) beschreibt das Reflexionsverhalten des beleuchteten Körpers. Sie wird durch ein für die jeweilige Anwendung geeignetes Beleuchtungsmodell angenähert, das im Allgemeinen eine Mischung aus diffuser (Lambert'scher) und spiegelnder Reflexion berücksichtigt: R(s, n, k) = rd·cosθ + rs·cosmε = rd·s·n + rs·2·k·(n – s) (2)
Die Winkel θ und ε folgen gemäß Gleichung (2) aus der Messgeometrie. Die Reflexionskoeffizienten r_d für diffuse und r_s für spiegelnde Reflexion sowie der Exponent m sind Materialparameter, die von den lokalen Eigenschaften der Objektoberfläche wie Farbe, aufgedrucktem Muster oder Rauigkeit abhängen. Dazu kommen noch die beiden zur Ermittlung der Höhenkarte benötigten Gradienten p und q, so dass bei einem derartigen allgemeinen Modell fünf Unbekannte zu bestimmen sind.
Dementsprechend sind mindestens fünf unabhängige Aufnahmen erforderlich, die ein Gleichungssystem für fünf Unbekannte liefern. Voraussetzung ist jedoch, dass alle anderen Größen wie Position und Abstrahlcharakteristik der Leuchten sowie die Kameraparameter hinreichend genau bekannt sind.
In manchen industriellen Anwendungen kann durch entsprechende Wahl der Messgeometrie der spiegelnde Reflexionsanteil so weit reduziert werden, dass er vernachlässigbar ist. Übliche Maßnahmen dazu sind eine möglichst große Distanz zwischen Objekt und Kamera sowie eine möglichst flach einstrahlende Beleuchtung. Der spiegelnde Reflexionsanteil kann auch dadurch weiter minimiert werden, dass geeignete optische Filter (z. B. Polarisationsfilter) sowie monochromatisches, möglichst hochfrequentes (z. B. blaues) Licht eingesetzt wird, da in Folge der Oberflächenrauigkeit der reflektierende Anteil mit steigender Lichtfrequenz abnimmt. Als weitere Vereinfachungen werden oft telezentrische Leuchten (also mit konstantem Richtungsvektor s) mit identischer Lichtstärke Q verwendet.
Man erhält dann: I(x, y) = c·Q·rds·n = ρ·s·n mit der Albedo ρ =c·Q·r (3)
Werden mit drei nacheinander eingeschalteten telezentrischen Leuchten mit identischen Lichtstärken Q und zugehörigen, linear unabhängigen Richtungsvektoren s₁, s₂, s₃ drei Bilder aufgenommen, so erhält man gemäß Beziehung (3) drei Gleichungen zur Bestimmung der drei Parameter p, q und ρ. Eine besonders einfache Konstellation ergibt sich mit vier telezentrischen Lichtquellen, die mit Zwischenwinkeln von 90° um eine zentrisch positionierte Kamera angeordnet sind und identische Winkel (vorzugsweise 45°) mit der Z-Achse bilden.
Die vier Aufnahmen liefern ein Gleichungssystem, aus dem sich mit Standardverfahren, etwa der Gauß'schen Methode der kleinsten Quadrate, optimale Näherungslösungen für die drei Unbekannten ermitteln lassen. Durch Hinzunahme noch weiterer Leuchten läßt sich die Genauigkeit des Ergebnisses noch weiter erhöhen oder aber es lassen sich weitere Parameter bestimmen, etwa zur Einbeziehung der spiegelnden Reflexion gemäß Gleichung (2). Ein nach dieser Methode arbeitendes industrielles System ist beispielsweise aus Sandra Söll, B. Roither, H. Moritz and H. Ernst: Three-dimensional surface test with "Shape-from-Shading". Photonic International, p. 74–76, 2007 als bekannt zu entnehmen.
Voraussetzung für die Berechnung der Gradienten p und q ist, dass diese bzw. die Normalenvektoren auch auf der gesamten untersuchten Oberfläche Z(x, y) existieren. Dies ist genau dann der Fall, wenn die Oberfläche überall differenzierbar ist. Das Verfahren liefert daher nur für Oberflächen ohne Unstetigkeitsstellen wie scharfen Kanten, Sprüngen und Hinterschneidungen genaue Ergebnisse. Zudem ist erforderlich, dass alle zu vermessenden Bereiche der Oberfläche durch die Kamera sichtbar und nicht abgeschattet sind.
Im nächsten Schritt wird aus den Gradienten die Höhenkarte berechnet.
Dabei ist zu beachten, dass mit dieser Methode nicht die Abstände der Oberflächenpunkte zur Kamera angegeben werden können, sondern nur relative Höhen innerhalb der Objektoberfläche. Die Erstellung einer solchen Höhenkarte kann man sich in Analogie zu einem Spaziergang vorstellen, der bergauf und bergab durch eine Landschaft führt, wobei die Gradienten p und q die Schritthöhen in X- und Y-Richtung bestimmen. Die Aufgabe besteht also darin, längs eines Pfades, der bei einem beliebigen Punkt beginnend von Punkt zu Punkt durch das gesamte Bild führt, die Gradienten aufzuaddieren (bzw. im kontinuierlichen Fall zu integrieren) und für jeden besuchten Punkt das Zwischenergebnis als aktuelle Höhe zu notieren.
Dieses Vorgehen entspricht der Integration des Vektorfeldes g = (p, q), die dann die Fläche Z(x, y) als Ergebnis liefert. Von daher muss also folgendes Integral gelöst werden:
Als Startpunkt der Integration kann ein beliebiger Punkt (x₀, y₀) auf der betrachteten Objektoberfläche mit einer zugehörigen Starthöhe Z₀(x₀, y₀) dienen. Alle Höhenangaben verstehen sich dann als relative Höhenangaben bezogen auf diese Starthöhe. Werden absolute Distanzmaße benötigt, so lässt sich eine Starthöhe Z₀(x₀, y₀) mit einer anderen Messtechnik ermitteln, beispielsweise durch Laser-Triangulation.
Die erwähnte Integration läuft über einen im Punkt (x₀, y₀) beginnenden Pfad P über das Vektorfeld g mit infinitesimalem, vektoriellem Linienelement ds. In der diskreten Ebene wird die Integration zu einer Summe und das Linienelement ds gibt den nächsten zu besuchenden benachbarten Punkt an. Es kann also nur die acht Werte (0, ±1), (±1, 0) und (+1, ±1) annehmen.
Nachteilig und problematisch ist jedoch, dass es eine unendliche Menge solcher Pfade P gibt. Da es sich im physikalischen Sinne bei dem Gradientenfeld g um ein konservatives Vektorfeld handeln müsste, sollten alle Pfade dieselbe Höhenkarte Z(x, y) erzeugen. Dies entspricht wieder der Analogie, dass bei einem Spaziergang die Höhe eines Berges nicht vom Aufstiegsweg abhängt. Da aber aufgrund von Rauschen und unvermeidbaren Messfehlern die Annahme, dass das Vektorfeld g konservativ ist, nicht erfüllt ist, führen unterschiedliche Pfade zu wesentlich unterschiedlichen Ergebnissen. Man ist daher bei der Integration auf Näherungs- und Optimierungsverfahren angewiesen, die möglichst einer Mittelung über verschiedene Pfade entsprechen sollen. Dafür gibt es verschiedene Methoden, siehe beispielsweise B. Horn and M. Brooks (eds.): "Shape from Shading", MIT Press, 1989. Eine schnelle und verhältnismäßig leicht zu realisierende Variante, ist in Ch. Wagner: "Informationstheoretische Grenzen optischer 3D-Sensoren", Doktorarbeit, Universität Erlangen-Nürnberg, 2003, beschrieben, die sich auch gut für die Implementierung mit einem speziellen Prozessor eignet, und die im Folgenden beschrieben wird.
Aus der Differentialgeometrie weiß man, dass die Rotation eines Vektorfeldes g genau dann Null ist, also ∇ × g = 0, wenn das Vektorfeld konservativ ist. Ferner gilt, dass die Divergenz eines Vektorfeldes g dessen Rotation eliminiert. Bildet man also die Divergenz ∇g, so erhält man ein Ergebnis, das mit dem identisch ist, das man erzielen würde, wenn der Rotationsanteil von g tatsächlich Null wäre. Da ja g = ∇Z(x, y) der Gradient der gesuchten Fläche Z(x, y) ist, gilt wegen ∇∇ = Δ, dass die Divergenz ∇g, nämlich die Summe der Ableitungen von p und q, gerade ΔZ(x, y) ist, also der Laplace-Operator von Z(x, y) ergibt:
Die benötigte Summe der zweiten partiellen Ableitungen von Z(x, y) kann einfach als numerische Ableitung der gemessenen Gardienten p und q berechnet werden. Der Nachteil, dass wegen der Messunsicherheiten die Rotation von g nicht Null wird, ist dadurch behoben.
Aus ΔZ(x, y) lässt sich die Fläche Z(x, y) nun mithilfe der Fourier-Transformation
berechnen. Dazu nutzt man die folgende allgemein gültige Beziehung:
Dabei sind u und v die Frequenzkomponenten des Fourier-Raumes in horizontaler und vertikaler Richtung. Die gesuchte Höhenkarte Z(x, y) lässt sich dann durch Fourier-Rücktransformation erhalten.
Aufgabe der vorliegenden Erfindung ist es von daher, ein verbessertes Verfahren sowie eine verbesserte Vorrichtung zur dreidimensionalen optischen Erfassung von Objektoberflächen zu schaffen.
Die Aufgabe wird erfindungsgemäß bezüglich des Verfahrens entsprechend den im Anspruch 1 und bezüglich der Vorrichtung entsprechend den im Anspruch 17 angegebenen Merkmalen gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.
Durch die vorliegende Erfindung werden entscheidungserhebliche Vorteile gegenüber bisherigen Lösungen realisiert.
Bei dem nach dem Stand der Technik beschriebenen Verfahren bestehen nämlich die Nachteile, dass mindestens drei Aufnahmen mit unterschiedlichen Beleuchtungsrichtungen erforderlich sind. Da bei der in üblichen Anwendungsfällen vorwiegend diffusen Streuung die Schattierung gemäß Gleichung (3) nicht von der Beobachtungsrichtung k abhängt, führt eine Verwendung mehrerer Kameras ebenfalls nicht unmittelbar zum Ziel, da bei diffuser Reflexion zwingend unterschiedliche Lichtrichtungen erforderlich sind. Bei bewegten Objekten kann man das Problem dadurch lösen, dass nacheinander an aufeinander folgenden Positionen die erforderlichen Aufnahmen mit unterschiedlichen Beleuchtungsrichtungen gemacht und diese dann gemeinsam verarbeitet werden. Allerdings ergibt sich ein Zeitvorteil bei diesem Pipeline-Verfahren nur bei einem Fließband; außerdem ist eine sehr genaue Positionierung erforderlich.
Demgegenüber arbeitet das erfindungsgemäße Verfahren mit einer Kombination von mehreren Kameras (d. h. zumindest zwei Kameras), wobei die zumindest beiden Leuchten ebenfalls mit unterschiedlichen Winkeln zueinander auf die zu erfassende Oberfläche des Objektes ausgerichtet sind. Im Rahmen des erfindungsgemäßen Verfahrens bzw. bei der erfindungsgemäßen Vorrichtung werden nunmehr Leuchten verwendet, die mit unterschiedlichen Wellenlängen strahlen. Zudem ist eine Auswerteoptik und/oder Auswerteelektronik vorgesehen, mittels der die von der zu untersuchenden Oberfläche reflektierte und erfasste Helligkeitsverteilung für die unterschiedlichen Wellenlängen getrennt erfasst wird. Dies eröffnet die Möglichkeit, dass die Aufnahme simultan erfolgen kann, wodurch sich ein sehr viel schnelleres Verfahren ergibt.
Bei dem erfindungsgemäßen Verfahren bzw. der erfindungsgemäßen Vorrichtung wird also eine Kombination von mehreren Kameras bevorzugt mit optischen Strahlteilern, Filtern und multiplen, aufeinander abgestimmten Leuchten derart verwendet, dass mit einer simultanen Aufnahme zwei oder mehr Bilder synchron erfasst und gespeichert werden können, aus denen unmittelbar die Gradienten sowie ΔZ(x, y) errechnet werden können.
Bevorzugt wird monochromatisches, sehr schmalbandiges Licht verwendet, d. h. bevorzugt Licht, dessen Bandbreite bevorzugt deutlich unter 100 nm liegt, vorzugsweise eine Größenordnung von beispielsweise um 10 nm aufweist.
Bevorzugt werden beispielsweise Halogenleuchten in Verbindung mit schmalbandigen, beispielsweise dielektrischen Filtern eingesetzt. Aber auch LEDs können verwendet werden, da die gewünschten Wellenlängenunterschiede im Bereich der Fertigungstoleranzen derartiger LEDs liegen.
Die Wellenlängendifferenzen der mehreren Lichtstrahlen sollen bevorzugt möglichst gering sein, aber so, dass innerhalb der jeweiligen Bandbreiten kein Überlapp mit den anderen verwendeten Lichtquellen entsteht.
Bevorzugt werden für die Auswerteoptik entsprechende Lichtfilter vor die Kameras platziert, die exakt auf die jeweiligen Peak-Wellenlängen der zugehörigen Lichtquellen abgestimmt sind. Die Bandbreiten der Lichtfilter sollen mit denen der zugehörigen Lichtquellen übereinstimmen. Dadurch können die Lichtstrahlen in den Kameras gut separiert werden. Betragen beispielsweise die Bandbreiten der Leuchten und der Filter sowie auch die Wellenlängendifferenzen ca. 10 nm, so ist eine Unterdrückung benachbarter Wellenlängen in den Kameras um mehr als ca. den Faktor 1000 möglich.
In einer bevorzugten Ausführungsform der Erfindung können die von der zu untersuchenden Objektoberfläche reflektierten Lichtstrahlen über teilweise durchlässige (bevorzugt halbdurchlässige) Spiegel entsprechend aufgeteilt werden, so dass in Verbindung mit den Filtern jeweils mittels einer Kamera nur die von einer Leuchte ausgesendeten und von dem zu untersuchenden Objekt reflektierten Strahlen erfasst und aufgenommen werden können. Bei Verwendung mehrerer halbdurchlässiger Spiegel führt dies natürlich zu einer Intensitätsminderung der Lichtanteile, die durch mehrere halbdurchlässige Spiegel fallen. Dies kann durch eine entsprechende Regelung der Lichtleistung und/oder eine Kalibration der verwendeten Kameraempfindlichkeiten ausgeglichen werden.
Weitere Vorteile, Einzelheiten und Merkmale der Erfindung ergeben sich nachfolgend aus dem anhand von Zeichnungen dargestellten Ausführungsbeispiel. Dabei zeigen im Einzelnen:
1: eine Erläuterung des Prinzips der dreidimensionalen Vermessung durch Analyse von Grauwertverteilungen nach dem Stand der Technik; und
2: einen schematischen Aufbau einer erfindungsgemäßen Vorrichtung unter Verwendung von drei Leuchten und drei Kameras.
In 2 ist das zu untersuchende Objekt 1 in schematischer Seitendarstellung (also nicht räumlich) wiedergegeben. Es weist eine zu untersuchende Oberfläche 2 auf, wobei das Objekt im gezeigten Ausführungsbeispiel mit drei monochromatischen Leuchten L1, L2 und L3 bevorzugt simultan beleuchtet wird.
Die Wellenlängen des von den drei Leuchten L1, L2 und L3 ausgestrahlten Lichtes sind so abgestimmt, dass sie nahe benachbart sind. Dabei ist ferner zu berücksichtigen, dass die Abstimmung so erfolgt, dass die Wellenlängen der drei Leuchten L1 bis L3 durch die verwendeten drei Kameras K1, K2 und K3 in Verbindung mit den Filtern F1 bis F3 gut separiert werden können. Beim heutigen Stand der Technik bietet sich hierbei an, Wellenlängendifferenzen von bevorzugt 10 nm bis 100 nm zu verwenden, also beispielsweise um 20 nm.
Im gezeigten Ausführungsbeispiel ist jedem Linsensystem der drei Kameras K1 bis K3 jeweils eine Filteranordnung F1 bis F3 zur Separierung der unterschiedlichen, von den Leuchten L1 bis L3 stammenden, reflektierten Lichtstrahlen mit unterschiedlichen Wellenlängen zugeordnet, wobei die typischen Bandbreiten dieser Filter beispielsweise bei 10 nm liegen können.
Dabei kommt es vor allem auf die Abstimmung zwischen Bandbreiten der Leuchten und der Filter sowie auf die Wellenlängendifferenzen an, um eine gute und ausreichende Unterdrückung bzw. Separation des Lichts der benachbarten Leuchten in den Kameras zu gewährleisten. Eine ausreichende Unterdrückung um ca. den Faktor 1000 kann beispielsweise mit Bandbreiten der Leuchten und Filter von ca. 10 nm und Wellenlängendifferenzen in derselben Größenordnung erreicht werden.
Allgemein sollten die Wellenlängendifferenzen des von den Leuchten emittierten Lichts zwischen dem 0,5-Fachen bis dem 3-Fachen, vorzugsweise zwischen dem 1- bis 2-Fachen der Bandbreite der Filter liegen.
Die Leuchten können beispielsweise aus Halogenleuchten, vorzugsweise in Verbindung mit schmalbandigen (beispielsweise dielektrischen) Filtern oder entsprechend ausgewählten LEDs bestehen.
Das von der Oberfläche 2 reflektierte Licht wird bei Durchführung des erfindungsgemäßen Verfahrens durch den ersten halbdurchlässigen Spiegel S1 in zwei Bündel B1.1 und B1.2 aufgeteilt, von denen das eine Lichtbündel B1 durch das erste Filter F1 in die Kamera K1 fällt. Das zweite aufgeteilte Lichtbündel B1.2 wird bei dem gezeigten Ausführungsbeispiel um 90° abgelenkt und fällt auf einen nachfolgenden zweiten, bevorzugt ebenfalls halbdurchlässigen Spiegel S2. Dieser teilt das einfallende Licht wiederum in zwei Bündel auf, nämlich das eine Bündel B2.1, das durch den Filter F2 in die Kamera K2 gelangt, wohingegen das zweite Lichtbündel B2.2 durch den nachfolgenden Filter F3 in die Kamera K3 fällt.
Die Verwendung halbdurchlässiger Spiegel hat zur Folge, dass im Vergleich zu einer Anordnung ohne halbdurchlässige Spiegel in Kamera K1 nur 50% und in den Kameras K2 und K3 nur jeweils 25% der vom Objekt reflektierten Intensität ankommt. Dies kann durch entsprechende Regelung der Lichtleistungen und/oder durch eine entsprechende Kalibrierung in der nachfolgenden Verarbeitung ausgeglichen werden.
Da, wie erwähnt, die Wellenlängen des von den Leuchten emittierten Lichtes eng benachbart sind, ist keine wesentliche Änderung der Reflexivität der Oberfläche 2 des Objektes 1 zu erwarten, so dass man mit den gleichzeitig mit leicht unterschiedlichen Wellenlängen aufgenommenen Bildern so verfahren kann, als wären sie unter einer Beleuchtung mit einer einzigen gemittelten Wellenlänge nacheinander aufgenommen worden.
Die exakte Gleichzeitigkeit der Aufnahmen durch die drei Kameras wird durch eine Mikroprozessorsteuerung μP mit einer Synchronisationsvorrichtung Sync sicher gestellt. Im Vergleich zur herkömmlichen Technik ist bei dem erfindungsgemäßen Verfahren also die dreidimensionale (3D) Erfassung von Objekten in Video-Echtzeit möglich; sie ist damit genauso schnell wie die Erfassung eines üblichen zweidimensionalen (2D) Videobildes.
Neben einer schnellen Bilderfassung ist für die Arbeitsgeschwindigkeit eines Sensors aber auch die Effizienz der Auswertung der Bilddaten von Bedeutung. Dies geschieht nach dem erfindungsgemäßen Verfahren in einem Prozessor, der neben der bereits erwähnten Synchronisationsvorrichtung Sync einen Pixelprozessor PP und zwei Prozessoren zur Ausführung einer schnellen Fouriertransformationen FFT bzw. Rücktransformation FFT^–1 enthält.
Der Pixelprozessor PP dient dazu, die Bestimmung der Gradienten p und q gemäß Gleichung (3) sowie die Berechnung von ΔZ(x, y) = p_x + q_y gemäß Gleichung (5) auszuführen. Werden mehr als zwei bzw. drei Kameras mit zusätzlichen Filtern und Strahlteilern verwendet, so kann entweder eine Optimierung durch Lösung des entsprechenden überbestimmten Gleichungssystems stattfinden, was zu einer Fehlerminimierung und somit zu einer robusten Lösung führt, und/oder es kann durch Verwendung von Gleichung (4) anstelle von Gleichung (3) auch eine spiegelnde Reflexion mit einbezogen werden.
Die im Pixelprozessor PP auszuführenden Operationen beinhalten nur vorab aus der Messanordnung bekannte Parameter sowie die gemessenen Intensitäten einzelner Bildpunkte (Pixel), aber keine Einbeziehung benachbarter Bildpunkte. Derartige Operationen sind mit Standardmethoden schnell und schritthaltend mit der Bildaufnahme durchführbar, d. h., das Ergebnis steht bereits zur Verfügung, wenn die Bildaufnahme abgeschlossen ist.
In den nachfolgenden Prozessorstufen FFT und FFT^–1 wird die in Gleichung (6) beschriebene Fouriertransformation ausgeführt bzw. die Fourier-Rücktransformation zur letztendlichen Berechnung der gesuchten Höhenkarte Z(x, y). Die beiden Fouriertransformationen sind der Bildaufnahme und dem Pixelprozessor als Pipeline nachgeschaltet und arbeiten ebenfalls schritthaltend mit dem Videotakt.
Gegenüber herkömmlichen Verfahren kann bei dem erfindungsgemäßen Verfahren die Aufnahme von dreidimensionalen (3D) Bildern im Videotakt (üblicherweise 50 Bilder pro Sekunde) erfolgen, wobei auch die Berechnung der Oberfläche Z(x, y) mit derselben Geschwindigkeit durchgeführt werden kann.
Als optionale Erweiterung kann noch eine Zusatzeinrichtung (beispielsweise ein in 2 angedeuteter Laser-Abstandssensor L) eingesetzt werden, womit an zumindest einem Punkt der Oberfläche der der Integrationskonstante Z₀(x₀, y₀) entsprechende absolute Abstand vom Objekt zum Sensor gemessen werden kann. Durch Bezugnahme darauf wird erreicht, dass aus der durch das beschriebene Verfahren nur relativ erfassten Höhenkarte der Oberfläche für alle Oberflächenpunkte auch absolute Abstände angegeben werden können.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

- B. Horn und M. Brooks (eds.) "Shape from Shading", MIT Press, 1989 [0002]
- Sandra Söll, B. Roither, H. Moritz and H. Ernst: Three-dimensional surface test with "Shape-from-Shading". Photonic International, p. 74–76, 2007 [0014]
- B. Horn and M. Brooks (eds.): "Shape from Shading", MIT Press, 1989 [0021]
- Ch. Wagner: "Informationstheoretische Grenzen optischer 3D-Sensoren", Doktorarbeit, Universität Erlangen-Nürnberg, 2003 [0021]

Claims

Verfahren zur dreidimensionalen optischen Erfassung von Objektoberflächen (2) eines Objektes (1) mit den folgenden Merkmalen: – es wird eine Leuchtenanordnung (L) verwendet, worüber die zu erfassende und/oder auszuleuchtende Oberfläche (2) eines Objektes (1) ausgeleuchtet wird, – es wird mindestens eine Kamera (K) zur Aufnahme eines Bildes der zu erfassenden Oberfläche (2) des Objektes (1) verwendet, – es wird eine Auswertevorrichtung verwendet, mittels der aus der in der Kamera bzw. den Kameras (K) erhaltenen Helligkeitsverteilung (I) die Höhengradienten der zu erfassenden Oberfläche (2) in zwei Richtungen (vorzugsweise in X- und Y-Richtung) ermittelt werden, gekennzeichnet durch die folgenden weiteren Merkmale: – es wird eine Leuchtenanordnung (L) mit zumindest zwei Leuchten (L1, L2, L3) verwendet, – die zumindest beiden Leuchten (L1, L2, L3) strahlen mit unterschiedlichen Wellenlängen, und – es wird eine Auswerteoptik und/oder Auswerteelektronik verwendet, mittels der die von der zu erfassenden Oberfläche (2) des Objektes (1) erfassten Helligkeitsverteilungen für die unterschiedlichen Wellenlängen separiert werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass monochromatische Leuchten (L1, L2, L3) mit unterschiedlichen Peak-Wellenlängen verwendet werden.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass mehrere Kameras (K1, K2, K3) verwendet werden, vorzugsweise pro monochromatischer Leuchte (L1, L2, L3) jeweils eine zugeordnete Kamera (K1, K2, K3).
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Kameras (K1, K2, K3) alle unter demselben Winkel oder aber in unterschiedlichen Winkeln auf die zu erfassende Oberfläche (2) des Objektes (1) ausgerichtet werden.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die mehreren verwendeten Leuchten (L1, L2, L3) in einem unterschiedlichen Winkel zueinander auf die zu erfassende Oberfläche (2) des Objektes (1) ausgerichtet werden.
Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass vor einer jeweiligen Einfallsöffnung und/oder Blende einer Kamera (K1, K2, K3) ein Filter (F1, F2, F3) positioniert wird, wobei die Filter (F1, F2, F3) so abgestimmt sind, dass das Licht der Leuchten (L1, L2, L3) in unterschiedliche Kameras (K1, K2, K3) fällt.
Verfahren nach einem der Ansprüche 3 bis 6, dadurch gekennzeichnet, dass jeder Leuchte (L1, L2, L3) ein Filter (F1, F2, F3) und eine Kamera (K1, K2, K3) zugeordnet ist, so dass das Licht einer Leuchte (L1, L2, L3) nur in eine Kamera (K1, K2, K3) fällt.
Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass Filter (F1, F2, F3) verwendet werden, deren Bandbreite kleiner als 100 nm, vorzugsweise kleiner als 50 nm, 40 nm, 30 nm und insbesondere kleiner als 20 nm, vorzugsweise um 10 nm ist.
Verfahren nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, dass Filter (F1, F2, F3) verwendet werden, die bezüglich ihres Durchlässigkeitsbereiches eine Wellenlängendifferenz aufweisen, die kleiner ist als 100 nm, insbesondere kleiner ist als 50 nm, 40 nm, 30 nm und vorzugsweise um 20 nm ist.
Verfahren nach einem der Ansprüche 6 bis 9, dadurch gekennzeichnet, dass Filter (F1, F2, F3) verwendet werden, deren Wellenlängendifferenzen zueinander in einem Bereich des 0,5 bis 3-Fachen, vorzugsweise zwischen dem 1- und 2-Fachen der jeweiligen Bandbreite des verwendeten Filters (F1, F2, F3) liegt.
Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass die Leuchten (L1, L2, L3) simultan oder zumindest zeitweise simultan leuchten und/oder die Kameras das von der Oberfläche (2) des erfassten Objekts (1) reflektierte Licht gleichzeitig oder nahezu gleichzeitig aufnehmen.
Verfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass alle oder ein Teil der Leuchten (L1, L2, L3) innerhalb eines vorwählbaren Zeitfensters zeitlich versetzt zueinander leuchten oder gegebenenfalls nur in verkürzten Zeitabschnitten simultan leuchten.
Verfahren nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass eine Auswerteoptik verwendet wird, die halbdurchlässige Spiegel, Strahlteiler, Blenden und/oder Filter (F1, F2, F3) zur Aufspaltung der wellenlängenabhängigen Strahlengänge in getrennte Strahlengänge umfasst.
Verfahren nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass bei Verwendung von n-Leuchten (L1, L2, L3), wobei n eine ganz natürliche Zahl größer 1 ist, n – 1 halbdurchlässige Spiegel (S1, S2) verwendet werden.
Verfahren nach einem der Ansprüche 1 bis 14, dadurch gekennzeichnet, dass eine Mikroprozessoranordnung (μP) mit einer Synchronisationsvorrichtung (Sync) verwendet wird, worüber die Aufnahmen und der Aufnahmezeitpunkt der verwendeten Kameras (K1, K2, K3) gesteuert und/oder synchronisiert wird.
Verfahren nach Anspruch 15, dadurch gekennzeichnet, dass zwei Prozessoren für die Ausführung einer Fourier-Transformation (FFT) sowie einer Rücktransformation (FFT^–1) verwendet werden.
Vorrichtung zur dreidimensionalen optischen Erfassung von Objektoberflächen (2) eines Objektes (1) mit den folgenden Merkmalen: – es ist eine Leuchtenanordnung (L) vorgesehen, worüber die zu erfassende und/oder auszuleuchtende Oberfläche (2) eines Objektes (1) ausgeleuchtet wird, – es ist eine Kamera (K) zur Aufnahme eines Bildes der zu erfassenden Oberfläche (2) des Objektes (1) vorgesehen, – es ist ferner eine Auswertevorrichtung vorgesehen, mittels der aus der in der Kamera bzw. den Kameras (K) erhaltenen Helligkeitsverteilung (I) die Höhengradienten der zu erfassenden Oberfläche (2) in zwei Richtungen (vorzugsweise in X- und Y-Richtung) ermittelt werden, gekennzeichnet durch die folgenden weiteren Merkmale: – die Leuchtenanordnung (L) umfasst zumindest zwei Leuchten (L1, L2, L3), – die zumindest beiden Leuchten (L1, L2, L3) strahlen mit unterschiedlichen Wellenlängen, und – es ist eine Auswerteoptik und/oder Auswerteelektronik vorgesehen, mittels der die von der zu erfassenden Oberfläche (2) des Objektes (1) erfassten Helligkeitsverteilungen für die unterschiedlichen Wellenlängen separiert werden.
Vorrichtung nach Anspruch 17, dadurch gekennzeichnet, dass die Leuchten (L1, L2, L3) aus monochromatischen Leuchten (L1, L2, L3) mit unterschiedlichen Peak-Wellenlängen bestehen.
Vorrichtung nach Anspruch 17 oder 18, dadurch gekennzeichnet, dass mehrere Kameras (K1, K2, K3) vorgesehen sind, vorzugsweise pro monochromatischer Leuchte (L1, L2, L3) jeweils eine zugeordnete Kamera (K1, K2, K3).
Vorrichtung nach einem der Ansprüche 17 bis 19, dadurch gekennzeichnet, dass die Kameras (K1, K2, K3) alle unter demselben Winkel oder aber in unterschiedlichen Winkeln auf die zu erfassende Oberfläche (2) des Objektes (1) ausgerichtet sind.
Vorrichtung nach einem der Ansprüche 17 bis 20, dadurch gekennzeichnet, dass die mehreren verwendeten Leuchten (L1, L2, L3) in einem unterschiedlichen Winkel zueinander auf die zu erfassende Oberfläche (2) des Objektes (1) ausgerichtet sind.
Vorrichtung nach einem der Ansprüche 17 bis 21, dadurch gekennzeichnet, dass vor einer jeweiligen Einfallsöffnung und/oder Blende einer Kamera (K1, K2, K3) ein Filter (F1, F2, F3) positioniert ist, wobei die Filter (F1, F2, F3) so abgestimmt sind, dass das Licht der Leuchten (L1, L2, L3) in unterschiedliche Kameras (K1, K2, K3) fällt.
Vorrichtung nach einem der Ansprüche 19 bis 22, dadurch gekennzeichnet, dass jeder Leuchte (L1, L2, L3) ein Filter (F1, F2, F3) und eine Kamera (K1, K2, K3) zugeordnet ist, so dass das Licht einer Leuchte (L1, L2, L3) nur in eine Kamera (K1, K2, K3) fällt.
Vorrichtung nach Anspruch 22 oder 23, dadurch gekennzeichnet, dass Filter (F1, F2, F3) vorgesehen sind, deren Bandbreite kleiner als 100 nm, vorzugsweise kleiner als 50 nm, 40 nm, 30 nm und insbesondere kleiner als 20 nm, vorzugsweise um 10 nm ist.
Vorrichtung nach einem der Ansprüche 22 bis 24, dadurch gekennzeichnet, dass Filter (F1, F2, F3) vorgesehen sind, die bezüglich ihres Durchlässigkeitsbereiches eine Wellenlängendifferenz aufweisen, die kleiner ist als 100 nm, insbesondere kleiner ist als 50 nm, 40 nm, 30 nm und vorzugsweise um 20 nm ist.
Vorrichtung nach einem der Ansprüche 22 bis 25, dadurch gekennzeichnet, dass Filter (F1, F2, F3) vorgesehen sind, deren Wellenlängendifferenzen zueinander in einem Bereich des 0,5 bis 3-Fachen, vorzugsweise zwischen dem 1- und 2-Fachen der jeweiligen Bandbreite des verwendeten Filters (F1, F2, F3) liegt.
Vorrichtung nach einem der Ansprüche 17 bis 26, dadurch gekennzeichnet, dass die Leuchten (L1, L2, L3) simultan oder zumindest zeitweise simultan betreibbar und/oder die Kameras das von der Oberfläche (2) des erfassten Objekts (1) reflektierte Licht gleichzeitig oder nahezu gleichzeitig aufnehmen.
Vorrichtung nach einem der Ansprüche 17 bis 27, dadurch gekennzeichnet, dass alle oder ein Teil der Leuchten (L1, L2, L3) innerhalb eines vorwählbaren Zeitfensters zeitlich versetzt zueinander leuchten oder gegebenenfalls nur in verkürzten Zeitabschnitten simultan leuchten.
Vorrichtung nach einem der Ansprüche 17 bis 28, dadurch gekennzeichnet, dass die Auswerteoptik halbdurchlässige Spiegel, Strahlteiler, Blenden und/oder Filter (F1, F2, F3) zur Aufspaltung der wellenlängenabhängigen Strahlengänge in getrennte Strahlengänge umfasst.
Vorrichtung nach einem der Ansprüche 17 bis 29, dadurch gekennzeichnet, dass bei n-Leuchten (L1, L2, L3), wobei n eine ganz natürliche Zahl größer 1 ist, n – 1 halbdurchlässige Spiegel (S1, S2) vorgesehen sind.
Vorrichtung nach einem der Ansprüche 17 bis 30, dadurch gekennzeichnet, dass eine Mikroprozessoranordnung (μP) mit einer Synchronisationsvorrichtung (Sync) vorgesehen ist, worüber die Aufnahmen und der Aufnahmezeitpunkt der verwendeten Kameras (K1, K2, K3) steuerbar und/oder synchronisierbar sind.
Vorrichtung nach Anspruch 31, dadurch gekennzeichnet, dass ein oder mehr Prozessoren für die Ausführung einer Fourier-Transformation (FFT) sowie einer Rücktransformation (FFT^–1) vorgesehen sind.
Vorrichtung nach einem der Ansprüche 17 bis 32, dadurch gekennzeichnet, dass die zur Ermittlung der dreidimensionalen Oberfläche des betrachteten Objekts erforderlichen Aufnahmen von Bildern nahezu oder ebenso schnell erfolgt wie die Aufnahme eines herkömmlichen zweidimensionalen Bildes, üblicherweise nach der europäischen Norm, also mit 50 Bildern pro Sekunde.
Vorrichtung nach einem der Ansprüche 17 bis 33, dadurch gekennzeichnet, dass die optische und elektronische Ermittlung der dreidimensionalen Oberfläche des betrachteten Objekts schritthaltend mit der Bildaufnahme erfolgt.