DE102007021964B4

DE102007021964B4 - Verfahren und Vorrichtung zur dreidimensionalen Erfassung von Objektoberflächen

Info

Publication number: DE102007021964B4
Application number: DE200710021964
Authority: DE
Inventors: Sandra Söll
Original assignee: IN SITU GmbH; IN-SITU GmbH
Current assignee: IN-SITU GMBH, 82054 SAUERLACH, DE
Priority date: 2007-05-10
Filing date: 2007-05-10
Publication date: 2013-02-21
Anticipated expiration: 2027-05-11
Also published as: DE102007021964A1

Abstract

Verfahren zur dreidimensionalen optischen Erfassung von Objektoberflächen (2) eines Objektes (1) mit den folgenden Merkmalen: – es wird eine Leuchtenanordnung (L) verwendet, worüber die zu erfassende und/oder auszuleuchtende Oberfläche (2) eines Objektes (1) ausgeleuchtet wird, – es wird mindestens eine Kamera (K) zur Aufnahme eines Bildes der zu erfassenden Oberfläche (2) des Objektes (1) verwendet, – es wird eine Auswertevorrichtung verwendet, mittels der aus der in der Kamera bzw. den Kameras (K) erhaltenen Helligkeitsverteilung (I) die Höhengradienten der zu erfassenden Oberfläche (2) in zwei Richtungen (vorzugsweise in X- und Y-Richtung) ermittelt werden, und – es wird eine Leuchtenanordnung (L) mit zumindest drei Leuchten (L1, L2, L3) verwendet, – die zumindest drei Leuchten (L1, L2, L3) strahlen mit unterschiedlichen Wellenlängen, – es wird eine Auswerteoptik und/oder Auswerteelektronik verwendet, mittels der die von der zu erfassenden Oberfläche (2) des Objektes (1) erfassten Helligkeitsverteilungen für die unterschiedlichen...

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur dreidimensionalen Erfassung von Objektoberflächen nach dem Oberbegriff des Anspruches 1 bzw. 14.
Eine Möglichkeit zur dreidimensionalen optischen Erfassung von Oberflächen Z(x, y) eines Objektes ist die Formbestimmung aus Grauwertverteilungen (auch photometrisches Stereosehen oder ”Shape from Shading” genannt). Insoweit wird auch auf die Veröffentlichung von Sandra Söll, B. Berhard Roither, Helge Moritz und Hartmut Ernst: ”Three-dimensional surface test with Shape-from-Shading”, Photonic International, Seite 74–76, 2007 verwiesen.
Gemäß diesem vorbekannten Verfahren wird das zu vermessende Objekt mit einer Kamera aufgenommen und daraus ein Bild berechnet. Mit anderen Worten wird mittels der in der Kamera registrierten Helligkeitsverteilung I(x, y) unter Zugrundelegung eines geeigneten Beleuchtungsmodells und unter Berücksichtigung von Nebenbedingungen die Höhengradienten p = ∂Z/dx und q = ∂Z/dy der betrachteten Oberfläche in X- und Y-Richtung berechnet. In einem zweiten Schritt wird dann aus den Gradienten die gesuchte Höhenkarte Z(x, y) als Approximation der betrachteten Objektoberfläche berechnet.
In industriellen Applikationen wird meist von einer festen Messanordnung mit einer definierten geometrischen Beziehung zwischen Kamera und Leuchten ausgegangen.
Eine vom Grundsatz her nach dem Stand der Technik bekannte Anordnung ist dabei aus 1 zu entnehmen, wobei in 1 ein Objekt 1 mit einer Oberfläche 2 gezeigt ist, wobei ein zu erfassender Ausschnitt dieser Oberfläche 2 des Objektes 1 über eine Leuchte L ausgeleuchtet und das von der zu erfassenden Oberfläche ausgehende Licht in einer Kamera K abgebildet wird.
Ausgehend von diesem Beispiel wird ein infinitesimales Flächenelement mit Normalenvektor n der Oberfläche Z(x, y) durch eine Leuchte unter dem Richtungsvektor s mit einer Beleuchtungsstärke Q(x, y, z) bestrahlt. Die Kamera selbst- mit einer Empfindlichkeit c kann dabei dieses sichtbare infinitesimale Flächenelement unter dem Richtungsvektor k empfangen und aufzeichnen. Die von der Kamera aufgenommene Intensität I(x, y) ist dann gegeben durch: I(x, y) = c·Q(x, y, z)·R(s, n, k) (1)
Das Weltkoordinatensystem ist dabei ohne Beschränkung der Allgemeinheit so gewählt worden, dass die Z-Achse bevorzugt mit der optischen Achse der Kamera zusammenfällt. Die zweidimensionale Bildebene im Sensor der Kamera ist dann parallel zur XY-Ebene dieses Weltkoordinatensystems. Dabei wird ferner angemerkt, dass der Normalenvektor n mit den Komponenten n_x = –p, n_v = –q, n_z = 1 durch die Gradienten p und q definiert ist.
Die als Reflexivität bezeichnete Funktion R(s, n, k) beschreibt das Reflexionsverhalten des beleuchteten Körpers. Sie wird durch ein für die jeweilige Anwendung geeignetes Beleuchtungsmodell angenähert, das im Allgemeinen eine Mischung aus diffuser (Lambert'scher) und spiegelnder Reflexion berücksichtigt: R(s, n, k) = r_d·cosθ + r_s·cos^mε = r_d·s·n + r_s·2·k·(n – s) (2)
Die Winkel θ und ε folgen gemäß Gleichung (2) aus der Messgeometrie. Die Reflexionskoeffizienten r_d für diffuse und r_s für spiegelnde Reflexion sowie der Exponent m sind Materialparameter, die von den lokalen Eigenschaften der Objektoberfläche wie Farbe, aufgedrucktem Muster oder Rauigkeit abhängen. Dazu kommen noch die beiden zur Ermittlung der Höhenkarte benötigten Gradienten p und q, so dass bei einem derartigen allgemeinen Modell fünf Unbekannte zu bestimmen sind.
Dementsprechend sind mindestens fünf unabhängige Aufnahmen erforderlich, die ein Gleichungssystem für fünf Unbekannte liefern. Voraussetzung ist jedoch, dass alle anderen Größen wie Position und Abstrahlcharakteristik der Leuchten sowie die Kameraparameter hinreichend genau bekannt sind.
In manchen industriellen Anwendungen kann durch entsprechende Wahl der Messgeometrie der spiegelnde Reflexionsanteil so weit reduziert werden, dass er vernachlässigbar ist. Übliche Maßnahmen dazu sind eine möglichst große Distanz zwischen Objekt und Kamera sowie eine möglichst flach einstrahlende Beleuchtung. Der spiegelnde Reflexionsanteil kann auch dadurch weiter minimiert werden, dass geeignete optische Filter (z. B. Polarisationsfilter) sowie monochromatisches, möglichst hochfrequentes (z. B. blaues) Licht eingesetzt wird, da in Folge der Oberflächenrauigkeit der reflektierende Anteil mit steigender Lichtfrequenz abnimmt. Als weitere Vereinfachungen werden oft telezentrische Leuchten (also mit konstantem Richtungsvektor s) mit identischer Lichtstärke Q verwendet. Man erhält dann: I(x, y) = c·Q·r_ds·n = p·s·n mit der Albedo ρ = c·Q·r (3)
Werden mit drei nacheinander eingeschalteten telezentrischen Leuchten mit identischen Lichtstärken Q und zugehörigen, linear unabhängigen Richtungsvektoren s₁, s₂, s₃ drei Bilder aufgenommen, so erhält man gemäß Beziehung (3) drei Gleichungen zur Bestimmung der drei Parameter p, q und ρ. Eine besonders einfache Konstellation ergibt sich mit vier telezentrischen Lichtquellen, die mit Zwischenwinkeln von 90° um eine zentrisch positionierte Kamera angeordnet sind und identische Winkel (vorzugsweise 45°) mit der Z-Achse bilden.
Die vier Aufnahmen liefern ein Gleichungssystem, aus dem sich mit Standardverfahren, etwa der Gauß'schen Methode der kleinsten Quadrate, optimale Näherungslösungen für die drei Unbekannten ermitteln lassen. Durch Hinzunahme noch weiterer Leuchten läßt sich die Genauigkeit des Ergebnisses noch weiter erhöhen oder aber es lassen sich weitere Parameter bestimmen, etwa zur Einbeziehung der spiegelnden Reflexion gemäß Gleichung (2). Ein nach dieser Methode arbeitendes industrielles System ist beispielsweise aus Sandra Söll, B. Roither, H. Moritz and H. Ernst: Three-dimensional surface test with ”Shape-from-Shading”. Photonik International, p. 20–22, 2007 als bekannt zu entnehmen.
Voraussetzung für die Berechnung der Gradienten p und q ist, dass diese bzw. die Normalenvektoren auch auf der gesamten untersuchten Oberfläche Z(x, y) existieren. Dies ist genau dann der Fall, wenn die Oberfläche überall differenzierbar ist. Das Verfahren liefert daher nur für Oberflächen ohne Unstetigkeitsstellen wie scharfen Kanten, Sprüngen und Hinterschneidungen genaue Ergebnisse. Zudem ist erforderlich, dass alle zu vermessenden Bereiche der Oberfläche durch die Kamera sichtbar und nicht abgeschattet sind.
Im nächsten Schritt wird aus den Gradienten die Höhenkarte berechnet.
Dabei ist zu beachten, dass mit dieser Methode nicht die Abstände der Oberflächenpunkte zur Kamera angegeben werden können, sondern nur relative Höhen innerhalb der Objektoberfläche. Die Erstellung einer solchen Höhenkarte kann man sich in Analogie zu einem Spaziergang vorstellen, der bergauf und bergab durch eine Landschaft führt, wobei die Gradienten p und q die Schritthöhen in X- und Y-Richtung bestimmen. Die Aufgabe besteht also darin, längs eines Pfades, der bei einem beliebigen Punkt beginnend von Punkt zu Punkt durch das gesamte Bild führt, die Gradienten aufzuaddieren (bzw. im kontinuierlichen Fall zu integrieren) und für jeden besuchten Punkt das Zwischenergebnis als aktuelle Höhe zu notieren.
Dieses Vorgehen entspricht der Integration des Vektorfeldes g = (p, q), die dann die Fläche Z(x, y) als Ergebnis liefert. Von daher muss also folgendes Integral gelöst werden: Z(x, y) = Z₀(x₀, y₀) + ∫gds (4)
Als Startpunkt der Integration kann ein beliebiger Punkt (x₀, y₀) auf der betrachteten Objektoberfläche mit einer zugehörigen Starthöhe Z₀(x₀, y₀) dienen. Alle Höhenangaben verstehen sich dann als relative Höhenangaben bezogen auf diese Starthöhe. Werden absolute Distanzmaße benötigt, so lässt sich eine Starthöhe Z₀(x₀, y₀) mit einer anderen Messtechnik ermitteln, beispielsweise durch Laser-Triangulation.
Die erwähnte Integration läuft über einen im Punkt (x₀, y₀) beginnenden Pfad P über das Vektorfeld g mit infinitesimalem, vektoriellem Linienelement ds. In der diskreten Ebene wird die Integration zu einer Summe und das Linienelement ds gibt den nächsten zu besuchenden benachbarten Punkt an. Es kann also nur die acht Werte (0, ±1), (±1, 0) und (±1, ±1) annehmen.
Nachteilig und problematisch ist jedoch, dass es eine unendliche Menge solcher Pfade P gibt. Da es sich im physikalischen Sinne bei dem Gradientenfeld g um ein konservatives Vektorfeld handeln müsste, sollten alle Pfade dieselbe Höhenkarte Z(x, y) erzeugen. Dies entspricht wieder der Analogie, dass bei einem Spaziergang die Höhe eines Berges nicht vom Aufstiegsweg abhängt. Da aber aufgrund von Rauschen und unvermeidbaren Messfehlern die Annahme, dass das Vektorfeld g konservativ ist, nicht erfüllt ist, führen unterschiedliche Pfade zu wesentlich unterschiedlichen Ergebnissen. Man ist daher bei der Integration auf Näherungs- und Optimierungsverfahren angewiesen, die möglichst einer Mittelung über verschiedene Pfade entsprechen sollen. Dafür gibt es verschiedene Methoden, siehe beispielsweise B. Horn and M. Brooks (eds.): ”Shape from Shading”, MIT Press, 1989. Eine schnelle und verhältnismäßig leicht zu realisierende Variante, ist in Ch. Wagner: ”Informationstheoretische Grenzen optischer 3D-Sensoren”, Doktorarbeit, Universität Erlangen-Nürnberg, 2003, beschrieben, die sich auch gut für die Implementierung mit einem speziellen Prozessor eignet, und die im Folgenden beschrieben wird.
Aus der Differentialgeometrie weiß man, dass die Rotation eines Vektorfeldes g genau dann Null ist, also ∇ × g = 0, wenn das Vektorfeld konservativ ist. Ferner gilt, dass die Divergenz eines Vektorfeldes g dessen Rotation eliminiert. Bildet man also die Divergenz ∇g, so erhält man ein Ergebnis, das mit dem identisch ist, das man erzielen würde, wenn der Rotationsanteil von g tatsächlich Null wäre. Da ja g = ∇Z(x, y) der Gradient der gesuchten Fläche Z(x, y) ist, gilt wegen ∇∇ = Δ, dass die Divergenz ∇g, nämlich die Summe der Ableitungen von p und q, gerade ΔZ(x, y) ist, also der Laplace-Operator von Z(x, y) ergibt:
Die benötigte Summe der zweiten partiellen Ableitungen von Z(x, y) kann einfach als numerische Ableitung der gemessenen Gardienten p und q berechnet werden. Der Nachteil, dass wegen der Messunsicherheiten die Rotation von g nicht Null wird, ist dadurch behoben.
Aus ΔZ(x, y) lässt sich die Fläche Z(x, y) nun mithilfe der Fourier-Transformation F berechnen. Dazu nutzt man die folgende allgemein gültige Beziehung:
Dabei sind u und v die Frequenzkomponenten des Fourier-Raumes in horizontaler und vertikaler Richtung. Die gesuchte Höhenkarte Z(x, y) lässt sich dann durch Fourier-Rücktransformation erhalten.
Darüber hinaus ist aus der DE 41 07 701 A1 ein Verfahren und eine Vorrichtung zur optischen Identifikation von Objekten bekannt. Dabei handelt es sich grundsätzlich allerdings um ein völlig anderes Verfahren und eine andere Vorrichtung, mit der es unmöglich ist, ein Objekt dreidimensional aus der Schattenverteilung zu erfassen. Vielmehr soll mit diesem bekannten Verfahren beispielsweise die Oberfläche sowie die Kontur eines Gegenstandes erkannt werden, beispielsweise eines gesägten Brettes. Dabei wird von einer Beleuchtungsquelle her Oberfläche beleuchtet und von der Kamera aufgenommen, wohingegen eine zweite Beleuchtungsquelle schräg oder seitlich auf das Objekt strahlen soll, um die Kontur des zu erkennenden Objektes zu erfassen. Soll also sowohl die Oberfläche als auch die Kontur ermittelt werden, ergibt sich bei Zusammenführung der Beleuchtung von oben und der Beleuchtung von der Seite her (jeweils gerichtet auf das betreffende Objekt) eine gegenseitige Überstrahlung. Diese Überstrahlung verhindert eine optimale Erfassung der Messwerte. Gemäß der DE 41 07 701 A1 wird von daher vorgeschlagen, dass beispielsweise ein von oben her auf das auszuwertende Objekt fallendes Licht und ein von der Seite her auf das auszuwertende Objekt fallender Lichtstrahl, der nicht auf die Oberfläche des Objekts fällt (dort strahlt nur die andere Lichtquelle ein), mit unterschiedlicher Wellenlänge betrieben werden sollen. Ferner ist vorgesehen, dass das zu erkennende Objekt aus verschiedenen Ebenen angestrahlt wird (also auf die Oberfläche des Objekts nur eine Lichtquelle strahlt) und zudem die reflektierten Strahlen von dem Detektor alternierend ausgewertet werden.
Eine Arbeit bezüglich informationstheoretischer Grenzen optischer 3D-Sensoren ist beispielsweise aus Wagner Ch., Doktorarbeit, Universität Erlangen-Nürnberg, 2003, bekannt geworden. Insbesondere in Kapitel 6.4 ”Single Shot Sensor für einfarbige Textur” ist abgehandelt, dass das in dieser Vorveröffentlichung beschriebene Verfahren nur für einfarbige Objekttexturen geeignet ist, und zwar auch deshalb, weil mittels einer Beleuchtungseinrichtung gearbeitet wird, die in den drei Grundfarben rot, grün und blau strahlt.
In der gleichen Vorveröffentlichung ist deshalb auf Seite 65 festgehalten, dass dieses in dieser Vorveröffentlichung beschriebene Verfahren zur Folge hat, dass das zu untersuchende Objekt zwar eine Textur besitzen darf, dass es aber einfarbig sein muss in dem Sinn, dass das Verhältnis zum Reflexionskoeffizienten überall gleich ist. Dabei wird davon ausgegangen, dass Gegenstände mit einer metallisch glänzenden Oberfläche und viele Gegenstände aus Kunststoff einfarbig sind. Es wird festgehalten, dass dort, wo dies nicht der Fall sei, man einen anderen Weg gehen müsse.
Ansonsten wird gemäß dieser Vorveröffentlichung beschrieben, dass eine einzige Kamera verwendet wird, in der die verschiedenen Farbanteile des reflektierten Lichts ermittelt werden können. Dass gemäß dieser Vorveröffentlichung eine rote, grüne und blaue Beleuchtung verwendet wird, die sich zudem in ihren Farbanteilen überlappen, ist der Tatsache geschuldet, dass sich durch diese farbige Bestrahlung in der Summe weißes Licht ergeben soll.
Ein Verfahren zur Überprüfung von Oberflächen, insbesondere ebenen Oberflächen, ist beispielsweise auch aus der WO 2003/012412 A2 bekannt geworden. Hier wird mit drei Lichtquellen gearbeitet, die von unterschiedlicher Position aus einen auszuwertenden Oberflächenbereich bestrahlen. Die reflektierten Strahlen werden über eine Linse in einer Kamera abgebildet, um dann eine Auswertung vorzunehmen. In dieser Vorveröffentlichung wird lediglich abgehandelt, dass separate Weißlicht-Quellen verwendet werden sollen, um auch farbige Oberflächen zu erfassen. Dabei wird erwähnt, dass bevorzugt eine elektromagnetische Strahlung im nahen Infrarot-Bereich durchgeführt werden soll, wobei eine Separation der Lichtbereiche zwischen 5 bis 25 nm vorgeschlagen wird.
Das aus der WO 2003/012412 A2 bekannt Verfahren zielt aber nicht auf die unterschiedliche 3D-Erfassung von Körpern und Oberflächen ab, hat also vor allem nichts mit dem in der vorliegenden Anmeldung abgehandelten ”Shape from Shading” zu tun.
Aufgabe der vorliegenden Erfindung ist es von daher, ein verbessertes Verfahren sowie eine verbesserte Vorrichtung zur dreidimensionalen optischen Erfassung von Objektflächen zu schaffen, die nicht nur einfarbige, sondern vor allem auch farbig gestaltete Oberflächen aufweisen können.
Die Aufgabe wird erfindungsgemäß bezüglich des Verfahrens entsprechend den im Anspruch 1 und bezüglich der Vorrichtung entsprechend den im Anspruch 14 angegebenen Merkmalen gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.
Durch die vorliegende Erfindung werden entscheidungserhebliche Vorteile gegenüber bisherigen Lösungen realisiert.
Bei dem nach dem Stand der Technik beschriebenen Verfahren bestehen nämlich die Nachteile, dass mindestens drei Aufnahmen mit unterschiedlichen Beleuchtungsrichtungen erforderlich sind. Da bei der in üblichen Anwendungsfällen vorwiegend diffusen Streuung die Schattierung gemäß Gleichung (3) nicht von der Beobachtungsrichtung k abhängt, führt eine Verwendung mehrerer Kameras ebenfalls nicht unmittelbar zum Ziel, da bei diffuser Reflexion zwingend unterschiedliche Lichtrichtungen erforderlich sind. Bei bewegten Objekten kann man das Problem dadurch lösen, dass nacheinander an aufeinander folgenden Positionen die erforderlichen Aufnahmen mit unterschiedlichen Beleuchtungsrichtungen gemacht und diese dann gemeinsam verarbeitet werden. Allerdings ergibt sich ein Zeitvorteil bei diesem Pipeline-Verfahren nur bei einem Fließband; außerdem ist eine sehr genaue Positionierung erforderlich.
Demgegenüber arbeitet das erfindungsgemäße Verfahren mit einer Kombination von mehreren Kameras (d. h. zumindest zwei Kameras), wobei die zumindest beiden Leuchten ebenfalls mit unterschiedlichen Winkeln zueinander auf die zu erfassende Oberfläche des Objektes ausgerichtet sind. Im Rahmen des erfindungsgemäßen Verfahrens bzw. bei der erfindungsgemäßen Vorrichtung werden nunmehr Leuchten verwendet, die mit unterschiedlichen Wellenlängen strahlen. Zudem ist eine Auswerteoptik und/oder Auswerteelektronik vorgesehen, mittels der die von der zu untersuchenden Oberfläche reflektierte und erfasste Helligkeitsverteilung für die unterschiedlichen Wellenlängen getrennt erfasst wird. Dies eröffnet die Möglichkeit, dass die Aufnahme simultan erfolgen kann, wodurch sich ein sehr viel schnelleres Verfahren ergibt.
Bei dem erfindungsgemäßen Verfahren bzw. der erfindungsgemäßen Vorrichtung wird also eine Kombination von mehreren Kameras bevorzugt mit optischen Strahlteilern, Filtern und multiplen, aufeinander abgestimmten Leuchten derart verwendet, dass mit einer simultanen Aufnahme zwei oder mehr Bilder synchron erfasst und gespeichert werden können, aus denen unmittelbar die Gradienten sowie ΔZ(x, y) errechnet werden können.
Bevorzugt wird monochromatisches, sehr schmalbandiges Licht verwendet, d. h. bevorzugt Licht, dessen Bandbreite bevorzugt deutlich unter 30 nm liegt, vorzugsweise eine Größenordnung von beispielsweise um 10 nm aufweist.
Bevorzugt werden beispielsweise Halogenleuchten in Verbindung mit schmalbandigen, beispielsweise dielektrischen Filtern eingesetzt. Aber auch LEDs können verwendet werden, da die gewünschten Wellenlängenunterschiede im Bereich der Fertigungstoleranzen derartiger LEDs liegen.
Die Wellenlängendifferenzen der mehreren Lichtstrahlen sollen bevorzugt möglichst gering sein, aber so, dass innerhalb der jeweiligen Bandbreiten kein Überlapp mit den anderen verwendeten Lichtquellen entsteht.
Bevorzugt werden für die Auswerteoptik entsprechende Lichtfilter vor die Kameras platziert, die exakt auf die jeweiligen Peak-Wellenlängen der zugehörigen Lichtquellen abgestimmt sind. Die Bandbreiten der Lichtfilter sollen mit denen der zugehörigen Lichtquellen übereinstimmen. Dadurch können die Lichtstrahlen in den Kameras gut separiert werden. Betragen beispielsweise die Bandbreiten der Leuchten und der Filter sowie auch die Wellenlängendifferenzen ca. 10 nm, so ist eine Unterdrückung benachbarter Wellenlängen in den Kameras um mehr als ca. den Faktor 1000 möglich.
In einer bevorzugten Ausführungsform der Erfindung können die von der zu untersuchenden Objektoberfläche reflektierten Lichtstrahlen über teilweise durchlässige (bevorzugt halbdurchlässige) Spiegel entsprechend aufgeteilt werden, so dass in Verbindung mit den Filtern jeweils mittels einer Kamera nur die von einer Leuchte ausgesendeten und von dem zu untersuchenden Objekt reflektierten Strahlen erfasst und aufgenommen werden können. Bei Verwendung mehrerer halbdurchlässiger Spiegel führt dies natürlich zu einer Intensitätsminderung der Lichtanteile, die durch mehrere halbdurchlässige Spiegel fallen. Dies kann durch eine entsprechende Regelung der Lichtleistung und/oder eine Kalibration der verwendeten Kameraempfindlichkeiten ausgeglichen werden.
Weitere Vorteile, Einzelheiten und Merkmale der Erfindung ergeben sich nachfolgend aus dem anhand von Zeichnungen dargestellten Ausführungsbeispiel. Dabei zeigen im Einzelnen:
1: eine Erläuterung des Prinzips der dreidimensionalen Vermessung durch Analyse von Grauwertverteilungen nach dem Stand der Technik; und
2: einen schematischen Aufbau einer erfindungsgemäßen Vorrichtung unter Verwendung von drei Leuchten und drei Kameras.
In 2 ist das zu untersuchende Objekt 1 in schematischer Seitendarstellung (also nicht räumlich) wiedergegeben. Es weist eine zu untersuchende Oberfläche 2 auf, wobei das Objekt im gezeigten Ausführungsbeispiel mit drei monochromatischen Leuchten L1, L2 und L3 bevorzugt simultan beleuchtet wird.
Die Wellenlängen des von den drei Leuchten L1, L2 und L3 ausgestrahlten Lichtes sind so abgestimmt, dass sie nahe benachbart sind. Dabei ist ferner zu berücksichtigen, dass die Abstimmung so erfolgt, dass die Wellenlängen der drei Leuchten L1 bis L3 durch die verwendeten drei Kameras K1, K2 und K3 in Verbindung mit den Filtern F1 bis F3 gut separiert werden können. Beim heutigen Stand der Technik bietet sich hierbei an, Wellenlängendifferenzen von bevorzugt 10 nm bis 100 nm zu verwenden, also beispielsweise um 20 nm.
Im gezeigten Ausführungsbeispiel ist jedem Linsensystem der drei Kameras K1 bis K3 jeweils eine Filteranordnung F1 bis F3 zur Separierung der unterschiedlichen, von den Leuchten L1 bis L3 stammenden, reflektierten Lichtstrahlen mit unterschiedlichen Wellenlängen zugeordnet, wobei die typischen Bandbreiten dieser Filter beispielsweise bei 10 nm liegen können.
Dabei kommt es vor allem auf die Abstimmung zwischen Bandbreiten der Leuchten und der Filter sowie auf die Wellenlängendifferenzen an, um eine gute und ausreichende Unterdrückung bzw. Separation des Lichts der benachbarten Leuchten in den Kameras zu gewährleisten. Eine ausreichende Unterdrückung um ca. den Faktor 1000 kann beispielsweise mit Bandbreiten der Leuchten und Filter von ca. 10 nm und Wellenlängendifferenzen in derselben Größenordnung erreicht werden.
Allgemein sollten die Wellenlängendifferenzen des von den Leuchten emittierten Lichts zwischen dem 0,5-Fachen bis dem 3-Fachen, vorzugsweise zwischen dem 1- bis 2-Fachen der Bandbreite der Filter liegen.
Die Leuchten können beispielsweise aus Halogenleuchten, vorzugsweise in Verbindung mit schmalbandigen (beispielsweise dielektrischen) Filtern oder entsprechend ausgewählten LEDs bestehen.
Das von der Oberfläche 2 reflektierte Licht wird bei Durchführung des erfindungsgemäßen Verfahrens durch den ersten halbdurchlässigen Spiegel S1 in zwei Bündel B1.1 und B1.2 aufgeteilt, von denen das eine Lichtbündel B1.1 durch das erste Filter F1 in die Kamera K1 fällt. Das zweite aufgeteilte Lichtbündel B1.2 wird bei dem gezeigten Ausführungsbeispiel um 90° abgelenkt und fällt auf einen nachfolgenden zweiten, bevorzugt ebenfalls halbdurchlässigen Spiegel S2. Dieser teilt das einfallende Licht wiederum in zwei Bündel auf, nämlich das eine Bündel B2.1, das durch den Filter F2 in die Kamera K2 gelangt, wohingegen das zweite Lichtbündel B2.2 durch den nachfolgenden Filter F3 in die Kamera K3 fällt.
Die Verwendung halbdurchlässiger Spiegel hat zur Folge, dass im Vergleich zu einer Anordnung ohne halbdurchlässige Spiegel in Kamera K1 nur 50% und in den Kameras K2 und K3 nur jeweils 25% der vom Objekt reflektierten Intensität ankommt. Dies kann durch entsprechende Regelung der Lichtleistungen und/oder durch eine entsprechende Kalibrierung in der nachfolgenden Verarbeitung ausgeglichen werden.
Da, wie erwähnt, die Wellenlängen des von den Leuchten emittierten Lichtes eng benachbart sind, ist keine wesentliche Änderung der Reflexivität der Oberfläche 2 des Objektes 1 zu erwarten, so dass man mit den gleichzeitig mit leicht unterschiedlichen Wellenlängen aufgenommenen Bildern so verfahren kann, als wären sie unter einer Beleuchtung mit einer einzigen gemittelten Wellenlänge nacheinander aufgenommen worden.
Die exakte Gleichzeitigkeit der Aufnahmen durch die drei Kameras wird durch eine Mikroprozessorsteuerung μP mit einer Synchronisationsvorrichtung Sync sicher gestellt. Im Vergleich zur herkömmlichen Technik ist bei dem erfindungsgemäßen Verfahren also die dreidimensionale (3D) Erfassung von Objekten in Video-Echtzeit möglich; sie ist damit genauso schnell wie die Erfassung eines üblichen zweidimensionalen (2D) Videobildes.
Neben einer schnellen Bilderfassung ist für die Arbeitsgeschwindigkeit eines Sensors aber auch die Effizienz der Auswertung der Bilddaten von Bedeutung. Dies geschieht nach dem erfindungsgemäßen Verfahren in einem Prozessor, der neben der bereits erwähnten Synchronisationsvorrichtung Sync einen Pixelprozessor PP und zwei Prozessoren zur Ausführung einer schnellen Fouriertransformationen FFT bzw. Rücktransformation FFT^–1 enthält.
Der Pixelprozessor PP dient dazu, die Bestimmung der Gradienten p und q gemäß Gleichung (3) sowie die Berechnung von ΔZ(x, y) = p_x + q_y gemäß Gleichung (5) auszuführen. Werden mehr als zwei bzw. drei Kameras mit zusätzlichen Filtern und Strahlteilern verwendet, so kann entweder eine Optimierung durch Lösung des entsprechenden überbestimmten Gleichungssystems stattfinden, was zu einer Fehlerminimierung und somit zu einer robusten Lösung führt, und/oder es kann durch Verwendung von Gleichung (4) anstelle von Gleichung (3) auch eine spiegelnde Reflexion mit einbezogen werden.
Die im Pixelprozessor PP auszuführenden Operationen beinhalten nur vorab aus der Messanordnung bekannte Parameter sowie die gemessenen Intensitäten einzelner Bildpunkte (Pixel), aber keine Einbeziehung benachbarter Bildpunkte. Derartige Operationen sind mit Standardmethoden schnell und schritthaltend mit der Bildaufnahme durchführbar, d. h., das Ergebnis steht bereits zur Verfügung, wenn die Bildaufnahme abgeschlossen ist.
In den nachfolgenden Prozessorstufen FFT und FFT^-1 wird die in Gleichung (6) beschriebene Fouriertransformation ausgeführt bzw. die Fourier-Rücktransformation zur letztendlichen Berechnung der gesuchten Höhenkarte Z(x, y). Die beiden Fouriertransformationen sind der Bildaufnahme und dem Pixelprozessor als Pipeline nachgeschaltet und arbeiten ebenfalls schritthaltend mit dem Videotakt.
Gegenüber herkömmlichen Verfahren kann bei dem erfindungsgemäßen Verfahren die Aufnahme von dreidimensionalen (3D) Bildern im Videotakt (üblicherweise 50 Bilder pro Sekunde) erfolgen, wobei auch die Berechnung der Oberfläche Z(x, y) mit derselben Geschwindigkeit durchgeführt werden kann.
Als optionale Erweiterung kann noch eine Zusatzeinrichtung (beispielsweise ein in 2 angedeuteter Laser-Abstandssensor L) eingesetzt werden, womit an zumindest einem Punkt der Oberfläche der der Integrationskonstante Z₀(x₀, y₀) entsprechende absolute Abstand vom Objekt zum Sensor gemessen werden kann. Durch Bezugnahme darauf wird erreicht, dass aus der durch das beschriebene Verfahren nur relativ erfassten Höhenkarte der Oberfläche für alle Oberflächenpunkte auch absolute Abstände angegeben werden können.

Claims

Verfahren zur dreidimensionalen optischen Erfassung von Objektoberflächen (2) eines Objektes (1) mit den folgenden Merkmalen: – es wird eine Leuchtenanordnung (L) verwendet, worüber die zu erfassende und/oder auszuleuchtende Oberfläche (2) eines Objektes (1) ausgeleuchtet wird, – es wird mindestens eine Kamera (K) zur Aufnahme eines Bildes der zu erfassenden Oberfläche (2) des Objektes (1) verwendet, – es wird eine Auswertevorrichtung verwendet, mittels der aus der in der Kamera bzw. den Kameras (K) erhaltenen Helligkeitsverteilung (I) die Höhengradienten der zu erfassenden Oberfläche (2) in zwei Richtungen (vorzugsweise in X- und Y-Richtung) ermittelt werden, und – es wird eine Leuchtenanordnung (L) mit zumindest drei Leuchten (L1, L2, L3) verwendet, – die zumindest drei Leuchten (L1, L2, L3) strahlen mit unterschiedlichen Wellenlängen, – es wird eine Auswerteoptik und/oder Auswerteelektronik verwendet, mittels der die von der zu erfassenden Oberfläche (2) des Objektes (1) erfassten Helligkeitsverteilungen für die unterschiedlichen Wellenlängen separiert werden, gekennzeichnet durch die folgenden weiteren Merkmale: – zur dreidimensionalen optischen Erfassung von farbigen Objektoberflächen (2) eines Objektes (1) werden monochromatische Leuchten (L1, L2, L3) mit unterschiedlichen Peak-Wellenlängen verwendet, – es werden mehrere Kameras (K1, K2, K3) verwendet, wobei jeder monochromatischen Leuchte (L1, L2, L3) eine Kamera (K1, K2, K3) mit einer zugehörigen Einfallsöffnung und/oder Blende zugeordnet ist, – jeder Leuchte (L1, L2, L3) wird ein Filter (F1, F2, F3) und eine Kamera (K1, K2, K3) zugeordnet, so dass das Licht einer Leuchte (L1, L2, L3) nur in eine Kamera (K1, K2, K3) fällt, – es werden Filter (F1, F2, F3) verwendet, deren Bandbreite kleiner als 30 nm ist, und – es werden Filter (F1, F2, F3) verwendet, die bezüglich ihres Durchlässigkeitsbereiches eine Wellenlängendifferenz aufweisen, die kleiner ist als 30 nm.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Kameras (K1, K2, K3) alle unter demselben Winkel oder aber in unterschiedlichen Winkeln auf die zu erfassende Oberfläche (2) des Objektes (1) ausgerichtet werden.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die mehreren verwendeten Leuchten (L1, L2, L3) in einem unterschiedlichen Winkel zueinander auf die zu erfassende Oberfläche (2) des Objektes (1) ausgerichtet werden.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Filter (F1, F2, F3) vor einer jeweiligen Einfallsöffnung und/oder Blende der Kameras (K1, K2, K3) positioniert werden, wobei die Filter (F1, F2, F3) so abgestimmt sind, dass das Licht der Leuchten (L1, L2, L3) in unterschiedliche Kameras (K1, K2, K3) fällt.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass Filter (F1, F2, F3) verwendet werden, deren Bandbreite kleiner als 20 nm, vorzugsweise um 10 nm ist.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass Filter (F1, F2, F3) verwendet werden, die bezüglich ihres Durchlässigkeitsbereiches eine Wellenlängendifferenz aufweisen, die vorzugsweise um 20 nm oder kleiner als 20 nm ist.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass Filter (F1, F2, F3) verwendet werden, deren Wellenlängendifferenzen zueinander in einem Bereich des 0,5 bis 3-Fachen, vorzugsweise zwischen dem 1- und 2-Fachen der jeweiligen Bandbreite des verwendeten Filters (F1, F2, F3) liegt.
Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Leuchten (L1, L2, L3) simultan oder zumindest zeitweise simultan leuchten und/oder die Kameras das von der Oberfläche (2) des erfassten Objekts (1) reflektierte Licht gleichzeitig oder nahezu gleichzeitig aufnehmen.
Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass alle oder ein Teil der Leuchten (L1, L2, L3) innerhalb eines vorwählbaren Zeitfensters zeitlich versetzt zueinander leuchten oder gegebenenfalls nur in verkürzten Zeitabschnitten simultan leuchten.
Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass eine Auswerteoptik verwendet wird, die halbdurchlässige Spiegel, Strahlteiler, Blenden und/oder Filter (F1, F2, F3) zur Aufspaltung der wellenlängenabhängigen Strahlengänge in getrennte Strahlengänge umfasst.
Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass bei Verwendung von n Leuchten (L1, L2, L3), wobei n eine ganz natürliche Zahl größer 1 ist, n – 1 halbdurchlässige Spiegel (S1, S2) verwendet werden.
Verfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass eine Mikroprozessoranordnung (μP) mit einer Synchronisationsvorrichtung (Sync) verwendet wird, worüber die Aufnahmen und der Aufnahmezeitpunkt der verwendeten Kameras (K1, K2, K3) gesteuert und/oder synchronisiert wird.
Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass zwei Prozessoren für die Ausführung einer Fourier-Transformation (FFT) sowie einer Rücktransformation (FFT^–1) verwendet werden.
Vorrichtung zur dreidimensionalen optischen Erfassung von Objektoberflächen (2) eines Objektes (1) mit den folgenden Merkmalen: – es ist eine Leuchtenanordnung (L) vorgesehen, worüber die zu erfassende und/oder auszuleuchtende Oberfläche (2) eines Objektes (1) ausgeleuchtet wird, – es ist mindestens eine Kamera (K) zur Aufnahme eines Bildes der zu erfassenden Oberfläche (2) des Objektes (1) vorgesehen, – es ist ferner eine Auswertevorrichtung vorgesehen, mittels der aus der in der Kamera bzw. den Kameras (K) erhaltenen Helligkeitsverteilung (I) die Höhengradienten der zu erfassenden Oberfläche (2) in zwei Richtungen (vorzugsweise in X- und Y-Richtung) ermittelt werden, und – die Leuchtenanordnung (L) umfasst zumindest drei Leuchten (L1, L2, L3), – die zumindest drei Leuchten (L1, L2, L3) strahlen mit unterschiedlichen Wellenlängen, – es ist eine Auswerteoptik und/oder Auswerteelektronik vorgesehen, mittels der die von der zu erfassenden Oberfläche (2) des Objektes (1) erfassten Helligkeitsverteilungen für die unterschiedlichen Wellenlängen separiert werden, gekennzeichnet durch die folgenden weiteren Merkmale: – die Leuchten (L1, L2, L3) bestehen aus monochromatischen Leuchten (L1, L2, L3) mit unterschiedlichen Peak-Wellenlängen, – es sind mehrere Kameras (K1, K2, K3) vorgesehen, wobei jeder monochromatischen Leuchte (L1, L2, L3) jeweils eine Kamera (K1, K2, K3) zugeordnet ist, – jeder Leuchte (L1, L2, L3) ist ein Filter (F1, F2, F3) und eine Kamera (K1, K2, K3) zugeordnet, so dass das Licht einer Leuchte (L1, L2, L3) nur in eine Kamera (K1, K2, K3) fällt, – die Filter (F1, F2, F3) weisen eine Bandbreite auf, die kleiner ist als 30 nm, und – die Filter (F1, F2, F3) weisen bezüglich ihres Durchlässigkeitsbereiches eine Wellenlängendifferenz auf, die kleiner ist als 30 nm.
Vorrichtung nach Anspruch 14, dadurch gekennzeichnet, dass die Kameras (K1, K2, K3) alle unter demselben Winkel oder aber in unterschiedlichen Winkeln auf die zu erfassende Oberfläche (2) des Objektes (1) ausgerichtet sind.
Vorrichtung nach Anspruch 14 oder 15, dadurch gekenn- zeichnet, dass die mehreren verwendeten Leuchten (L1, L2, L3) in einem unterschiedlichen Winkel zueinander auf die zu erfassende Oberfläche (2) des Objektes (1) ausgerichtet sind.
Vorrichtung nach einem der Ansprüche 14 bis 16, dadurch gekennzeichnet, dass vor einer jeweiligen Einfallsöffnung und/oder Blende einer Kamera (K1, K2, K3) ein Filter (F1, F2, F3) positioniert ist, wobei die Filter (F1, F2, F3) so abgestimmt sind, dass das Licht der Leuchten (L1, L2, L3) in unterschiedliche Kameras (K1, K2, K3) fällt.
Vorrichtung nach einem der Ansprüche 14 bis 17, dadurch gekennzeichnet, dass Filter (F1, F2, F3) vorgesehen sind, deren Bandbreite kleiner als 20 nm und vorzugsweise um 10 nm ist.
Vorrichtung nach einem der Ansprüche 14 bis 18, dadurch gekennzeichnet, dass Filter (F1, F2, F3) vorgesehen sind, die bezüglich ihres Durchlässigkeitsbereiches eine Wellenlängendifferenz aufweisen, die kleiner ist als 20 nm und vorzugsweise um 20 nm ist.
Vorrichtung nach einem der Ansprüche 14 bis 19, dadurch gekennzeichnet, dass Filter (F1, F2, F3) vorgesehen sind, deren Wellenlängendifferenzen zueinander in einem Bereich des 0,5 bis 3-Fachen, vorzugsweise zwischen dem 1- und 2-Fachen der jeweiligen Bandbreite des verwendeten Filters (F1, F2, F3) liegt.
Vorrichtung nach einem der Ansprüche 14 bis 20, dadurch gekennzeichnet, dass die Leuchten (L1, L2, L3) simultan oder zumindest zeitweise simultan betreibbar sind und/oder die Kameras das von der Oberfläche (2) des erfassten Objekts (1) reflektierte Licht gleichzeitig oder nahezu gleichzeitig aufnehmen.
Vorrichtung nach einem der Ansprüche 14 bis 21, dadurch gekennzeichnet, dass alle oder ein Teil der Leuchten (L1, L2, L3) innerhalb eines vorwählbaren Zeitfensters zeitlich versetzt zueinander leuchten oder gegebenenfalls nur in verkürzten Zeitabschnitten simultan leuchten.
Vorrichtung nach einem der Ansprüche 14 bis 22, dadurch gekennzeichnet, dass die Auswerteoptik halbdurchlässige Spiegel, Strahlteiler, Blenden und/oder Filter (F1, F2, F3) zur Aufspaltung der wellenlängenabhängigen Strahlengänge in getrennte Strahlengänge umfasst.
Vorrichtung nach einem der Ansprüche 14 bis 23, dadurch gekennzeichnet, dass bei n Leuchten (L1, L2, L3), wobei n eine ganz natürliche Zahl größer 1 ist, n – 1 halbdurchlässige Spiegel (S1, S2) vorgesehen sind.
Vorrichtung nach einem der Ansprüche 14 bis 24, dadurch gekennzeichnet, dass eine Mikroprozessoranordnung (μP) mit einer Synchronisationsvorrichtung (Sync) vorgesehen ist, worüber die Aufnahmen und der Aufnahmezeitpunkt der verwendeten Kameras (K1, K2, K3) steuerbar und/oder synchronisierbar sind.
Vorrichtung nach Anspruch 25, dadurch gekennzeichnet, dass ein oder mehr Prozessoren für die Ausführung einer Fourier-Transformation (FFT) sowie einer Rücktransformation (FFT^–1) vorgesehen sind.
Vorrichtung nach einem der Ansprüche 14 bis 26, dadurch gekennzeichnet, dass die zur Ermittlung der dreidimensionalen Oberfläche des betrachteten Objekts erforderlichen Aufnahmen von Bildern nahezu oder ebenso schnell erfolgt wie die Aufnahme eines herkömmlichen zweidimensionalen Bildes, also im Videotakt nach der europäischen Norm üblicherweise mit 50 Bildern pro Sekunde.
Vorrichtung nach einem der Ansprüche 14 bis 27, dadurch gekennzeichnet, dass die optische und elektronische Ermittlung der dreidimensionalen Oberfläche des betrachteten Objekts schritthaltend mit der Bildaufnahme erfolgt.