-
Stand der Technik
-
Die
Erfindung betrifft ein Verfahren zur Erzeugung eines Abstandbildes
für die 3D-Rekonstruktion einer Objektoberfläche
aus der Korrespondenz von Pixeln der Bilder mindestens eines Bildsensors, der
die Szene aufnimmt, wobei mittels eines Projektors mit einer Strukturblende
Grauwertmuster oder Farbmuster mit definierten lokal unterschiedlichen Helligkeiten
oder Farben auf die Objektoberfläche projiziert werden.
-
Die
Erfindung bezieht sich weiterhin auf eine entsprechende Vorrichtung
mit einer Sensorikanordnung zur Erzeugung eines Abstandbildes für
die 3D-Rekonstruktion einer Objektoberfläche aus der Korrespondenz
von Pixeln der Bilder mindestens eines Bildsensors, wobei mittels
einer Lichtquelle homogenes Licht auf die Objektoberfläche
projizierbar ist und mit derselben oder einer zweiten Lichtquelle und
einer Strukturblende Grauwertmuster oder Farbmuster mit definierten
lokal unterschiedlichen Helligkeiten oder Farben auf die Objektoberfläche
projizierbar sind.
-
Die
klassische Streifenprojektion mit einer Kamera und dazu kalibriertem
Streifenprojektor führt die Erzeugung einer 3D-Punktewolke
zur 3D-Rekonstruktion von Objektoberflächen durch die Aufnahme mehrerer
Bilder mit Hilfe des Phasenshift-Verfahrens und des Graycode-Verfahrens,
wobei jeweils die Streifenbreite zum vorherigen Bild halbiert wird
und dadurch jede Streifenkante eindeutig einem Projektorstrahl zugeordnet
werden kann, durch.
-
Eine
Erweiterung ist die Kombination von Streifenprojektoren mit einer
Stereokameraanordnung, wobei die beiden Stereokameras zueinander kalibriert
sind, so dass durch Korrespondenzpunktzuordnung des linken und des
rechten Bildes aus der Stereo-Triangulation der Abstand in jedem
Korres pondenzpunkt bestimmt werden kann. Die Korrespondenzpunkte
liegen dabei auf den Epipolarlinien nach der Stereokalibrierung
und Bildrektifizierung. Die Ebene, welche die beiden Projektionszentren
der Kameras und der aufgenommene Objektpunkt aufspannen, wird dabei
Epipolarebene genannt. Diese schneidet die beiden Bilder in jeweils
einer Geraden, der so genannten Epipolarlinie. Der Projektor kann zusätzlich
zu den beiden Kameras kalibriert sein. Die Projektorkalibrierung
ist nicht notwendig und zudem aufwendig, erhöht aber in
der Regel die Robustheit und Genauigkeit.
-
Die
Streifen werden binär im Schwarz-Weiß-Wechsel
mit Graubildkameras oder mit einer eigenen Farbe für jeden
Streifen mit Farbkameras aufgenommen. Die Farbvariante vereinfacht
die Korrespondenzpunktzuordnung, besitzt aber andere Probleme der
Farbauswertung (z. B. u. a. Weißabgleich). Bei den genannten
Verfahren werden statt Streifen auch andere geometrische oder texturierte
Muster verwendet.
-
In
der
WO 2007/079805 [1]
wird ein Verfahren und eine Vorrichtung zum Erstellen eines Abstandbildes
einer Szene aus der Korrespondenz von Pixeln der Bilder einer ersten
Kamera und mindestens einer zweiten Kamera, die die Szene in Stereo-Anordnung
aufnehmen, beschrieben. Dabei ist vorgesehen, dass die Szene bei
einer ersten Beleuchtung mit einem Zufalls- oder Pseudozufallsmuster
beleuchtet wird, das hinsichtlich wenigstens eines Modulationsmerkmals
in zumindest einer räumlichen Dimension als Zufallsfolge
bzw. Pseudozufallsfolge ausgebildet ist. Dabei ist vorgesehen, dass
bei der ersten Beleuchtung ein erstes Bild von mindestens zwei Kameras
aufgenommen wird, die Szene bei einer zweiten Beleuchtung beleuchtet
wird, wobei ein zweites Bild mit der zweiten Beleuchtung von mindestens
zwei Kameras aufgenommen wird. Für mindestens zwei Kameras
wird aus dem ersten und dem zweiten von der jeweiligen Kamera aufgenommenen Bild
pixelweise ein Verhältnis berechnet, bei dem ein in dem
Pixel aufgenommener Wert des Modulationsmerkmals aus dem einen Bild
in den Zähler und das Modulationsmerkmal aus dem anderen
Bild in den Nenner des Verhältniswertes gesetzt wird. Die
Korrespondenz von Pixeln der Szene wird auf Basis eines Vergleichs
der Modulationsmerkmal-Verhältnisse von Pixeln verschiedener
Kameras bestimmt.
-
Dies
erfolgt insbesondere auf zugeordneten Epipolarlinien der Stereo-Kameras.
Das Quotientenbild aus beiden Bildern unterschiedlicher Helligkeit
ist weitgehend unabhängig vom Betrachtungswinkel und gegenüber
der Farbe, Helligkeit, Oberflächenrauigkeit und -neigung
sowie der Textur der betrachteten Oberfläche.
-
Die
in der
WO 2007/079805 vorgeschlagene Verfahrensvarianten
umfassen sowohl Graubild- als auch Farbkameras, wobei die erste
und zweite Beleuchtung mit unterschiedlichen Farben vorzugsweise
gleichzeitig oder mit unterschiedlicher Polarisation bei Verwendung
eines Strahlteilers mit Polarisationsfilter erfolgt. Die Zufallsmuster
werden vorzugsweise durch zwei überlagerte Gittermuster
mit einem definierten Abstand projiziert, wobei die lokale Gitterkonstante
mindestens eines Musters pseudo-zufällig variiert wird.
Diese Muster werden von mindestens zwei Lichtquellen beleuchtet
und ergeben dadurch unterschiedliche Moirémuster. Diese
Muster können auch mit nur einer Projektionseinheit durch Überlagerung zweier
der gegeneinander verschiebbaren Masken oder mit nur einer derartigen
Maske durch rotatorische oder translatorische Bewegungen erzeugt
werden.
-
Zur
Erzeugung einer 3D-Punktewolke aus der 3D-Rekonstruktion von Objektoberflächen
kann auch nach dem Stand der Technik vorgesehen sein, die zu vermessende
Objektoberfläche mit farbigen Mustern zu beleuchten. Die
relevanten Verfahren zur kodierten Musterprojektion sind in den
nachfolgenden Schriften behandelt.
-
L.
Zhang, B. Curless und S. M. Seitz („Rapid shape acquisition
using color structured light and multipass dynamic programming"/Inf.
Symposium an 3D Data Processing Visualization and Transmission, Padova,
Italy, June 2002)[2] generieren aus den 8 möglichen
RGB-Farben pj = {000, 001, ..., 111} durch eine
bitweise XOR-Verknüpfung mit k = 7 möglichen Farbkanalübergängen
dj = {001, 010, 011, 100, 101, 111} über
die Formel Pj +
1 = pjXORdj (1)und einer
beliebigen Startphase p0 aus {000, 001,
..., 111} von einem Streifen zum nächsten eine Folge von kn Streifen, wobei jeweils eine Untermenge
von n benachbarten Streifen in Kombination nur jeweils ein einziges
Mal auftritt. Dazu werden De Bruijn-Zahlenfolgen verwendet, die
sich dadurch auszeichnen, dass sich jeweils eine Sub-Sequenz von
n Werten aus k möglichen Zahlen nie wiederholt (H.
Fredricksen: „The lexicographically least debruijn cycle"/Journal
of Combintorial Theory, 9 (1), S. 509–510, 1970)[3].
-
J.
Tajima und M. Iwakawa („3D Data acquisition by rainbow
range finder"/International Conference an Pattern Recognition,
S. 309–313, 1990)[4] projizieren ein Regenbogen-Muster
mit kontinuierlichem Farbspektrum über die Bildspalten.
Es werden zwei Bilder zeitlich hintereinander mit einer Grauwertkamera
mit zwei verschiedenen Farbfiltern aufgenommen. Aus den beiden Bildern
wird zur Erhöhung der Robustheit gegenüber unterschiedlichen
Oberflächenreflektionseigenschaften die Intensitätsrelation für
jeden Bildpunkt berechnet.
-
In
der Schrift
US 6,147,760 [5]
wird das zuvor beschriebene Verfahren durch Verwendung einer Farbkamera
und einem so genannten linear variablen Wellenlängenfilter,
der ein kontinuierliches Farbspektrum als Regenbogen über
die Bildspalten erzeugt, verbessert.
-
B.
Carrihill und R. Hummel („Experiments with the intensity
ratio depth sensor"/Computer Vision, Graphics and Image
Processing, Vol. 32, S. 337–358, Academic Press, 1985)[6]
nehmen mit einem Intensitätsverhältnis-Sensor
das erste Bild mit konstanter homogener Beleuchtung und ein zweites Bild
mit kontinuierlich ansteigendem Grauwert von einer Bildspalte zur
nächsten mit weichem Grauwertübergang und vielen
verschiedenen Grauwerten auf und setzen dann die beiden Bilder zueinander
ins Verhältnis zur Erhöhung der Robustheit gegenüber beliebigen
Oberflächeneinflüssen.
-
Aus
der Patentanmeldung
DE 10
2006 048 726.5 [7] der Anmelderin ist als Anwendungsbeispiel ein
Verfahren zum Vermessen der Rad- oder Achsgeometrie eines Fahrzeuges
bekannt, bei dem während der Drehung des Rades mindestens
ein an diesem vorhandenes oder für die Messung eigens angebrachtes
Merkmal optisch mittels mindestens einer bildgebenden Sensoreinheit
unter unstrukturierter Beleuchtung erfasst und auf der Basis der
so erhaltenen Bilddaten eine Auswertung zum Bestimmen der Rad- oder
Achsgeometrie durchgeführt wird. Dabei ist vorgesehen,
dass während der Drehung zusätzlich zu der unstrukturierten
Beleuchtung gleichzeitig oder in zeitlicher Abfolge strukturiert
beleuchtet wird und dass in die Auswertung auch die aus der strukturierten
Beleuchtung erhaltenen Bilddaten einbezogen werden.
-
Eine
weitere Patentanmeldung der Anmelderin (
DE 10 2006 048 725.7 )[8] beschreibt
zum Ermitteln der Drehachse eines Fahrzeugrades, bei dem während
der Drehung des Rades Lichtmuster zumindest auf das Rad projiziert
und von dem reflektierte Lichtmuster von einer kalibrierten bildgebenden
Sensorik aufgenommen und in einer Auswerteeinrichtung ausgewertet
wird. Dabei wird bei der Auswertung eine radbezogene 3D-Punktwolke
bestimmt und an diese ein parametrisches Oberflächenmodell
des Rades angepasst. Zum Erhalten der Radachsen werden Radnormalenvektoren
für verschiedene Drehlagen des Rades berechnet und aus
der räumlichen Bewegung des Radnormalenvektors der Drehachsvektor
als Drehachse berechnet.
-
Nachteilig
beim oben zitierten Stand der Technik nach [1] ist einerseits, dass
keine durch die Projektion der Zufalls-Lichtmuster auf die Objektoberfläche
definierte Auflösung in der x-y-Ebene erreicht werden kann,
wodurch die Helligkeitsauflösung nicht immer unterscheidbar
und dadurch die Zuordnung nicht sicher gewährleistet ist.
Dabei verringern die kontinuierlichen Farbspektren mit vielen Farben oder
Grauwerten nach [2], [3], [4] bei schwachem Kontrast zwischen benachbarten
Streifen die Stabilität der Korrespondenzpunktzuordnung.
-
Es
ist daher Aufgabe der Erfindung, ein Verfahren zur Erzeugung eines
Abstandbildes aus der 3D-Rekonstruktion von Objektoberflächen
bereitzustellen, welches gegenüber dem Stand der Technik die
Stabilität der Korrespondenzpunktzuordnung erhöht.
-
Es
ist weiterhin Aufgabe der Erfindung, eine entsprechende Vorrichtung
bereitzustellen, mit der das erfindungsgemäße
Verfahren durchführbar ist.
-
Vorteile der Erfindung
-
Die
das Verfahren betreffende Aufgabe wird dadurch gelöst,
dass Muster in Form von Grauwertmuster oder Farbmuster mit einer
konstanten spatialen, d. h. räumlichen Auflösung
in x-y-Ebene projiziert werden und dass jedes Strukturelement der
Muster derart gewählt wird, dass jedes einen von seinem
benachbarten Strukturelement stark unterschiedlichen Helligkeitswert
besitzt.
-
Die
die Vorrichtung betreffende Aufgabe wird dadurch gelöst,
dass eine Strukturblende Muster in Form von Grauwertmuster oder
Farbmuster mit einer konstanten spatialen Auflösung in
x-y-Ebene aufweist und jedes Strukturelement der Muster einen von
seinem benachbarten Strukturelement stark unterschiedlichen und
großen, von dem mindestens einen Bildsensor sicher unterscheidbaren,
Helligkeitswert besitzt.
-
Im
Gegensatz zu den im Stand der Technik erwähnten Verfahren
mit Musterprojektoren ist die vorgeschlagene Verfahrensart weitgehend
unabhängig vom Betrachtungswinkel und gegenüber
der Farbe, Helligkeit, Oberflächenrauhigkeit und Oberflächenneigung
sowie einer Textur der betrachteten Objektoberfläche, so
dass keine aufwändige Bildanalyse zur Korrespondenzpunktfindung
mangels eindeutiger Bildmerkmale und ausreichenden Kontrasts notwendig
ist. Gegenüber der
WO
2007/079805 [1] werden in dem, in dieser Erfindung vorgeschlagenen Verfahren
die projizierten Gittermuster nicht durch lokal unterschiedliche
Gitterkonstanten in ihrer spatialen Ausdehnung variiert, sondern
Muster mit konstanter Größe und Ausdehnung auf
die Objekte projiziert, so dass in jedem Bildabschnitt die gleiche
konstante spatiale und definierte Auflösung in der x-y-Ebene
sichergestellt ist.
-
Eine
Verfahrensvariante sieht dabei vor, dass mit mindestens einem ersten
Bildsensor und mindestens einem zweiten Bildsensor, die die Szene in
Stereo-Anordnung aufnehmen, oder mit nur einem Bildsensor und einem
dazu kalibrierten Projektor zur Projektion der Grauwert- oder Farbmuster
auf die Objektoberfläche die Abstandsbilder erzeugt werden.
-
Streifenmuster
mit wenigen sich voneinander stark unterscheidenden Farben oder
Grauwerten und einer konstanten Streifenbreite als projizierte Muster
bieten hierbei besondere Vorteile hinsichtlich des Kontrastes auf
der Objektoberfläche.
-
Eine
Verfahrensvariante sieht dabei vor, dass die Strukturelemente der
Muster derart gewählt werden, dass diese eine vom linken
und rechten Rand der projizierten Musterfläche zur Mitte
der projizierten Musterfläche hin symmetrische gegenläufige Helligkeitsabstufung
mit hohem Kontrast aufweisen. Durch die für jedes Strukturelement
des Musters, hier insbesondere für die Streifen, fest definierte
Helligkeit kann die Helligkeit gegenläufig derart verteilt
werden, dass der Kontrast je zweier benachbarter Strukturelemente
immer möglichst hoch ist. Das ist mit der im Stand der
Technik [1] vorgeschlagenen pseudo-zufälligen Verteilung
nicht gegeben, die durch pseudo-zufällige Helligkeitsvariation
häufig benachbarte Strukturelemente mit sehr geringem Kontrastunterschied
erzeugt. Diese sind hier gegenüber [1] eindeutig definiert,
so dass damit die lokale spatiale Auflösung in der x-y-Ebene
weiter erhöht werden kann.
-
In
einer Verfahrensvariante ist vorgesehen, dass zur Generierung der
Streifenmuster eine De Bruijn-Zahlenfolge (siehe [3]) verwendet
wird, mit denen verschiedene Kombinationen einer Untermenge von
n benachbarten Streifen bei k verschiedenen Farben nebeneinander
umgesetzt werden. Mit der vorgeschlagenen Verfahrensvariante kann
gegenüber dem Stand der Technik [2] die Anzahl der unterschiedlichen
Farben frei definiert werden (z. B. 3, 4 oder 5 Farben), so dass
sich voneinander stark unterscheidende Farben oder Grauwerte verwendet
werden können. Dabei ist nach der Erfindung vorgesehen,
dass zwischen den Farbstreifen eindeutig unterscheidbare, z. B.
dunkle bzw. schwarze Streifen als Seperatoren eingefügt
werden, so dass in jeder Kante ein hoher Kontrast sichergestellt
ist. Dabei kann zur zusätzlichen Erhöhung der
Streifenzahl dieses Muster wiederholt werden, da die sich wiederholenden
Streifen-Untermengen genügend weit auseinander liegen.
Die Schnittpunkte aus vertikalen Streifen und Stereo-Epipolarlinien
aus rektifizierten Bildern ergeben eine relativ dichte Tiefenkarte.
-
Zur
Erhöhung der Robustheit gegenüber unterschiedlichen
Oberflächenreflexionseigenschaften können als
Variante der Farbstreifenmuster die De Bruijn-Zahlenfolge nicht
mit k Farben sondern mit i verschiedenen Helligkeitswerten in einem
oder zwei von drei Kanälen einer Farbkamera, insbesondere den
Primärfarben Rot, Grün und Blau, kodiert werden.
Statt kontinuierlicher Farb- oder Grauwertübergänge
werden in dem hier vorgeschlagenen Verfahren eine definierte Anzahl
von wenigen stark voneinander unterschiedlichen Farben oder Grauwerten verwendet,
so dass die Identifikation der einzelnen Farben bzw. Grauwerte in
den aufgenommenen Bildern und die Zuordnung der Streifen im linken
und rechten Bild robust erfolgen können. Dies wird durch die
sich nicht wiederholenden Subsequenzen benachbarter Streifen erreicht.
Im Gegensatz zu den im Stand der Technik [4], [5] bzw. [6] beschriebenen
Verfahren wird mit dem erfindungsgemäßen Verfahren erreicht,
dass eine Unterscheidung der einzelnen Streifen oder Bildspalten
und damit eine eindeutige Korrespondenzpunktzuordnung vom rechten
zum linken Bild ermöglicht wird. Die Nachteile hinsichtlich der
geringen Kontraste und der Abhängigkeit der Intensitätsverhältnisse
von der Streifenfarbe sowie der Farbauflösung der verwendeten
Bildsensoren werden damit verringert. Ebenso kann eine Abhängigkeit von
den Oberflächeneigenschaften minimiert werden.
-
In
einfacher Weise ist vorgesehen, dass zur Erzeugung der Muster ein
Dia als Vorlage verwendet wird, auf dem die Strukturelemente in
Form von Bandsperrfiltern unterschiedlicher Dämpfung oder
in Form von lichtundurchlässigen Bereichen aufgebracht
sind. Die Bandsperrfilter lassen z. B. bei einer Weißlichtquelle
alle Lichtwellenlängen außer den Lichtwellenlängen
einer bestimmten Farbe (z. B. rot) ungehindert durch. Die einzelnen
Strukturelemente dämpfen jeweils unterschiedlich stark
lediglich den einen Wellenlängenbereich des Bandsperrfilters
ab (hier z. B. rot), so dass dadurch ein strukturiertes Muster mit
unterschiedlichen Helligkeitsstufen z. B. der Farbe Rot erzeugt
werden kann. Dieses Dia kann im Strahlengang zwischen einer Lichtquelle
und der Objektoberfläche platziert werden. So können
sowohl Dias mit Farbmustern als auch zueinander ins Verhältnis
gesetzte Grauwertmuster in unterschiedlichen Farbkanälen
gewählt werden. Je nach Objektbeschaffenheit können durch
Wechsel des Dias unterschiedliche Muster projiziert werden. Damit
kann beispielsweise die Gitterkonstante oder die Helligkeitsabstufungen
an die Messaufgabe angepasst werden. Ebenso lässt sich
auch die Farbe der Muster an die Objektfarbe anpassen. Grundsätzlich
sind auch rechnergestützte Mustergeneratoren denkbar, mit
denen ein oder mehrere LCD-Filter im Strahlengang zwischen Lichtquelle
und Objektoberfläche angesteuert werden können.
-
Eine
Verfahrensvariante sieht vor, dass die Objektoberfläche
mit den Bildsensoren bei einer gleichförmigen Referenzhelligkeit
als Referenzbild R(x, y) und das Bild der Objektoberfläche
mit projiziertem Muster als Strukturbild S(x, y) aufgenommen wird,
wobei die Blickwinkel der Bildsensoren bei beiden Aufnahmen bei
einer zeitlich nacheinander folgenden oder einer gleichzeitiger
Aufnahme gleich bleiben, und das Strukturbild S(x, y) und das Referenzbild
R(x, y) zueinander pixelweise zu einem Verhältnisbild SR(x,
y) ins Verhältnis gesetzt werden. Das Verhältnisbild
SR(x, y) verstärkt den Kontrast und ist wesentlich unabhängiger
von Oberflächeneigenschaften wie Betrachtungswinkel, Farbe,
Helligkeit, Oberflächenrauhigkeit und -neigung oder Textur, wodurch
eine eindeutige Zuordnung der einzelnen Strukturelemente im linken
zum rechten Stereo-Bild ermöglicht wird. Eine Korrespondenzpunktzuordnung
ist wesentlich robuster gegenüber Störeinflüssen
und Variationen der Objektoberfläche und wird damit wesentlich
erleichtert.
-
Dabei
wird die pixelweise Verhältnisbildung anhand einer experimentell
oder rechnerisch ermittelten Tabelle bestimmt, die einer Lichtempfindlichkeitskennlinie
der Bildsensoren für den jeweiligen Wellenlängenbereich
des projizierten Strukturelementes entspricht. Mit diesem LUT-Verfahren (Look-up
Table) können diese Rechenoperationen sehr schnell durchgeführt
werden, so dass sehr schnelle Bildfolgen realisiert werden können.
-
Als
Bildsensoren werden bevorzugt hochdynamische Graubildkameras (z.
B. 10 bis 16 bit CCD oder CMOS-Kameras) oder Farbbildkameras (z.
B. mit 8 bis 10 bit Farbtiefe) eingesetzt, die einerseits eine hohe
Auflösung und andererseits eine hohe Empfindlichkeit sowie
ein geringes Rauschen aufweisen.
-
Zur
zusätzlichen Erhöhung der Robustheit bei der Identifikation
der einzelnen Strukturelemente eines Musters, z. B. des zuvor beschriebenen
Streifenmusters, können die Strukturelemente des projizierten
Musters zusätzlich mit Texturmerkmalen, wie schraffierte
Schräglinien, Kreise, Kreuze etc., überlagert
werden, welche ebenfalls auf dem Projektionsdia aufgebracht sind.
Alternativ können derartige Texturmarken auch durch einen
Laser und einem diffraktiven optischen Element (DOE) erzeugt werden. Dadurch
ergibt sich auf der Objektoberfläche ein projiziertes Pixelmuster,
welches in regelmäßigen Abständen Markierungen
in Form von hellen Laserspots aufweist.
-
Eine
besonders bevorzugte Verfahrensvariante sieht in einem so genannten
One-Shot-Verfahren vor, dass das Strukturbild S(x, y) und das Referenzbild
R(x, y) gleichzeitig mit den Bildsensoren aufgenommen werden, wobei
das Referenzbild R(x, y) mittels einer homogenen farbigen Beleuchtung
in einem bestimmten Wellenlängenbereich des sichtbaren
Lichtes und das Strukturbild S(x, y) mittels der Strukturblende
in einem dazu komplementären Wellenlängenbereich
des sichtbaren Lichtes aufgenommen wird. Das Referenzbild R(x, y)
wird beispielsweise generiert, indem eine unstrukturierte homogene Beleuchtung
im grünen und/oder blauen Wellenlängenbereich
erzeugt wird und gleichzeitig das Strukturbild S(x, y) mittels einer
strukturierten Beleuchtung im roten Wellenlängenbereich
generiert wird. Diese Verfahrensvariante ermöglicht eine
Shading-Korrektur insbesondere bei dynamischen Bildszenen mit bewegten
Objekten. Damit werden beispielsweise auch schnelle Objektanalysen
während Fertigungsabläufen mit kurzen Fertigungstaktzeiten
ermöglicht. Dies bietet zusätzliche Vorteile gegenüber dem
Stand der Technik [4] bzw. [6].
-
Dabei
kann das homogene farbige Licht zur Aufnahme des Referenzbildes
R(x, y) und das strukturierte Licht zur Aufnahme des Strukturbildes
S(x, y) durch einen semitransparenten Strahlteiler auf die Objektoberfläche
projiziert werden, womit sich insgesamt für einen derartigen
Projektor ein kompakter und auch kostengünstiger Aufbau,
ohne mechanisch bewegte Teile, ergibt.
-
Für
die Projektion zur Aufnahme des Referenzbildes R(x, y) und des Strukturbildes
S(x, y) wird näherungsweise monochromatisches Licht unterschiedlicher
Farbe oder Weißlicht mit verschiedenen Farbfiltern in getrennten
oder im selben Lichtweg verwendet. Als näherungsweise monochromatische Lichtquellen
werden insbesondere farbige LEDs eingesetzt, mit denen sich inzwischen
sehr kompakte, leistungsfähige und zudem kostengünstige
Lichtquellen für die Projektion realisieren lassen.
-
Zur
Bestimmung einer 3D-Objektlage im Raum kann vorgesehen sein, dass
vor den zu detektierenden Bauteilen bzw. Objektoberflächen
jeweils ein Trainingsobjekt in einer Einlernphase von verschiedenen
Seiten mit einem oder mehreren Bildsensoren mit Farbstreifen oder
alternativ dazu zum einen mit dem projizierten Muster und zum anderen
mit unstrukturierter Beleuchtung nacheinander oder gleichzeitig
aufgenommen und eine 3D-Punktewolke für jede Ansicht aus
dem jeweiligen Verhältnisbild SR(x, y) oder dem Strukturbild
S(x, y) bestehend aus dem Farbstreifenbild rekonstruiert wird und die
3D-Punktewolke der verschiedenen Ansichten zu einem Trainingsmodell
im 3D-Raum überlagert werden. Weiterhin ist vorgesehen,
dass zur Objektlagebestimmung eine 3D-Punktewolke aus einer bestimmten
Ansicht generiert und in diese 3D-Punktewolke das Trainingsmodell
angepasst wird, indem das Trainingsmodell durch Transformation skaliert,
gedreht und/oder verschoben wird. Die Endlage des Trainingsmodells in
der 3D-Punktewolke entspricht der 3D-Lage im Raum des zu detektierenden
Zielobjektes. Man erhält damit eine 3D-Objektlageerkennung
durch ein so genanntes 3D-Matching eines trainierten Modells.
-
Besonders
bevorzugt wird das Abstandsbild aus den Bildern wie folgt berechnet:
Aus den segmentierten Farb-/Grauwertstreifen der Kamerabilder und
der als Strukturblende vorliegenden Diavorlage (z. B. BMP-Bild)
werden die Mittellinien beispielsweise mit dem Skeleton-Operator
und/oder die Streifenkanten extrahiert und daraus zeilenweise Zahlenreihen
generiert, welche den jeweiligen Farb/Grauwert der Streifenbildmittellinie
repräsentieren. Beispielsweise sind das 0 = Schwarz, 1
= Gelb, 2 = Magenta, 3 = Blaugrün bzw. Cyan, 4 = Weiß.
Dies stellt im Übrigen auch den besten Kompromiss zwischen max.
Kontrast der unterschiedlichen Farben (meist in 2 Farbkanälen)
und der max. Helligkeit (Vollaussteuerung in mind. 2 Kanälen)
dar. Jeweils n benachbarte Zahlen der vollständigen Diavorlage
werden mit den Zahlenreihen aller Bilder für jede einzelne
Bildzeile separat gematcht. Bei einem Stereoaufbau werden jeweils
die sich entsprechenden Epipolarlinien in den rektifizierten Bildern
gematcht.
-
Treten
Lücken in den Zahlenreihen auf, z. B. durch Verdeckung
oder Zusammenwachsen einzelner Streifen, so dass dort keine Mittellinie
und/oder Streifenkanten extrahiert wurde, so werden diese anhand
der vollständigen Diavorlage aufgefüllt, so dass eine
möglichst vollständige korrekte Zuordnung der Streifenmittellinien
und/oder Streifenkanten sichergestellt ist. Aus dieser Zuordnung
können die Disparitäten für jeden Mittelstreifenpunkt
und/oder Streifenkantenpunkt in jeder Bildzeile entweder aus der pixelweisen
Verschiebung der Bildgeber oder aus der Triangulation mit den kalibrierten
Streifen des Projektors berechnet werden.
-
Optional
kann z. B. mit Dynamic Programming Methoden zeilenweise die Zuordnung
verbessert werden. Fehlzuordnungen oder fehlerhafte Korrespondenzen
in einzelnen Linien können durch eine vertikale Ausreißerkorrektur
(z. B. Medianfilterung) interpoliert werden.
-
Das
erfindungsgemäße Verfahren, wie es in seinen verschiedenen
Varianten zuvor beschrieben wurde, kann beispielsweise zur Oberflächenprüfung, Oberflächenvermessung,
beispielsweise bei Sichtprüfplätzen oder Oberflächenqualitätsprüfsystemen, zur
Objektlagebestimmung, insbesondere für Fügeprozesse,
Greif- und Ablegeaufgaben oder Sortieraufgaben beim Einsatz von
Roboter-Handlingssystemen, oder für einen 3D-Scanner eingesetzt
werden. Insbesondere kann das Verfahren auch als schnelles 3D-Scanning-System
beispielsweise zur Lagekontrolle von bewegten Bauteilen bzw. Objektoberflächen eingesetzt
werden.
-
Zeichnungen
-
Die
Erfindung wird im Folgenden anhand der in den Figuren dargestellten
Ausführungsbeispiele näher erläutert.
Es zeigen:
-
1 in
schematischer Darstellung eine Sensorikanordnung zur 3D-Rekonstruktion
aus Stereobildern mit Referenzarm,
-
2 in
schematischer Darstellung ein weiteres Ausführungsbeispiel
für eine Sensorikanordnung ohne Referenzarm,
-
3 eine
Strukturblende zur Erzeugung eines Projektionsmusters mit Streifen
unterschiedlicher, fest definierter Helligkeiten,
-
4 eine
Strukturblende zur Erzeugung farbiger Streifenfolgen gemäß dem
Stand der Technik,
-
5 eine
Strukturblende zur Erzeugung einer farbigen Streifenfolge gemäß der
Erfindung,
-
6 eine
Strukturblende zur Erzeugung von entsprechend den Farbkanälen
einer Kamera kodierten Streifen und entsprechend anderen Farbkanälen
homogener Helligkeit,
-
7 eine
Strukturblende zur Erzeugung einer Streifenfolge mit zusätzlichen
Muster,
-
Beschreibung der Ausführungsbeispiele
-
1 zeigt
eine Sensorikanordnung 1 zur Erzeugung eines Abstandbildes
für die 3D-Rekonstruktion einer Objektoberfläche 10 aus
der Korrespondenz von Pixeln der Bilder eines ersten Bildsensors 20 (links)
und mindestens eines zweiten Bildsensors 30 (rechts), die
zueinander in einer Stereo-Anordnung stehen, wobei mittels einer
ersten Lichtquelle 60 und einer optional dazu korrespondierenden
Linsenanordnung 70 homogenes Licht auf die Objektoberfläche 10 projizierbar
ist und mit einer zweiten Lichtquelle 80, einer optional
zur zweiten Lichtquelle 80 korrespondierenden Linsenanordnung 70 und
einer Strukturblende 90 Grauwertmuster oder Farbmuster
mit definierten lokal unterschiedlichen Helligkeiten oder Farben
auf die Objektoberfläche 10 projizierbar sind.
Zur Projektion des homogenen Lichts und des strukturierten Lichts
kann alternativ die gleiche Lichtquelle 60, 80 vorgesehen
sein.
-
Die
Strukturblende 90 weist Grauwertmuster oder Farbmuster
mit einer konstanten spatialen Auflösung in x-y-Ebene auf.
Jedes Strukturelement der Muster besitzt einen von seinem benachbarten Strukturelement
stark unterschiedlichen Helligkeitswert. Die Strukturelemente sind
in Form von Bandsperrfiltern unterschiedlicher Dämpfung
oder in Form von lichtundurchlässigen Bereichen auf einem
Dia, welches sich im Strahlengang zwischen der zweiten Lichtquelle 80 und
der Objektoberfläche 10 befindet, aufgebracht.
-
Die
Projektionsteileinheit bestehend aus der ersten Lichtquelle 60 und
der Linsenanordnung 70 zur Beleuchtung der Szenerie mit
homogenem Licht stellt hierbei einen Referenzarm dar. Die homogene und
die strukturierte Beleuchtung werden in der gezeigten Anordnung
mittels eines semitransparenten Strahlteilers 40 überlagert.
Zwischen dem semitransparenten Strahlteiler 40 und der
Projektoberfläche ist eine Linsenanordnung 50 vorgesehen,
welche als Projektorobjektiv dient.
-
Bei
dem bevorzugten Ausführungsbeispiel der Vorrichtung nach 2 ist
eine Sensorikanordnung 1 mit einem sehr kompakten Aufbau
eines Projektors gezeigt, wobei gegenüber 1 ein
Referenzarm eingespart ist. Dieser Aufbau umfasst eine Hochleistungs-Leuchtdiode
(LED) als Lichtquelle 60, deren Licht die als Farb-Dia
ausgebildete Strukturblende 90 durchstrahlt. Die Linsenanordnung 50 dient
als Objektiv des Projektors. Zum Schutz der Strukturblende 90 kann
zwischen der Lichtquelle 60 und der Strukturblende 90 optional
ein IR-Filter oder Hotmirror 100 angeordnet sein, der insbesondere den
Temperatureintrag auf die Strukturblende 90 reduzieren
soll. Die Objektoberfläche 10 wird mittels zweier
Farbkameras (Bildsensoren 20, 30) erfasst.
-
3 zeigt
eine Strukturblende 90 in einer beispielhaften Ausgestaltung.
Dabei sind die Strukturelemente eines Streifenmusters derart gewählt, dass
diese eine vom linken und rechten Rand der projizierten Musterfläche
zur Mitte der projizierten Musterfläche hin symmetrische
gegenläufige Helligkeitsabstufung mit hohem Kontrast aufweist.
Die Streifenfarben bzw. Grauwerte können für ein
effizientes und robustes Matching von Zahlenfolgen des rechten und
linken Bildes mit den voll ständigen Zahlenfolgen der Streifen
des projizierten Musters z. B. wie folgt kodiert werden, dass der
Wert „+2” für ein Kontrastverhältnis
steht, wenn der linke und rechte Nachbarstreifen, jeweils getrennt
durch einen schwarzen Streifen, heller ist als der betrachtete Streifen.
Der Wert „–2” bedeutet, dass der linke
und rechte Nachbarstreifen dunkler ist. Ein Wert „–1” bedeutet,
dass der linke Nachbarstreifen dunkler und der rechte Nachbarstreifen
heller ist. Ein Wert „+1” bedeutet schließlich,
dass der linke Nachbarstreifen heller und der rechte Nachbarstreifen
dunkler ist.
-
In
einfacher Weise ist vorgesehen, dass als Strukturblende 90 ein
Dia verwendet wird, auf dem die Strukturelemente in Form von Bandsperrfiltern unterschiedlicher
Dämpfung oder in Form von lichtundurchlässigen
Bereichen aufgebracht sind. Das Dia ist dabei, wie in 1 gezeigt,
im Strahlengang zwischen der Lichtquelle 80 und dem Strahlteiler 40 angeordnet.
Eine einfache Realisierung des Dias ergibt sich mit einem mittels
Dia-Gelichter projizierten BMP-Bildes, mit dem ein Standard-Kleinbild-Diafilm belichtet
wird. Alternativ kann auf eine Glasscheibe mittels eines Lasers
die Farbe in verschiedenen Schichten aufgebracht werden.
-
Mit
der Sensorikanordnung und der verwendeten Strukturblende lässt
sich eine Kontrastverbesserung und Unabhängigkeit gegenüber
Objektoberflächeneinflüssen realisieren. Dazu
ist lediglich eine Aufnahme der Objektoberfläche 10 erforderlich,
so dass vorteilhaft das Verfahren bzw. die Vorrichtung bei dynamischen
Bildszenen anwendbar ist.
-
Dieses
so genannten One-Shot-Verfahren sieht vor, dass ein Referenzbild
R(x, y) 110 und ein Strukturbild S(x, y) 120 gleichzeitig
mit den Bildsensoren 20, 30 aufgenommen werden,
wobei das Referenzbild R(x, y) 110 mittels einer homogenen
farbigen Beleuchtung in einem bestimmten Wellenlängenbereich
des sichtbaren Lichtes und das Strukturbild S(x, y) 120 mittels
der Strukturblende 90 in einem dazu komplementären
Wellenlängenbereich des sichtbaren Lichtes aufgenommen
wird. Das Referenzbild R(x, y) 110 wird, wie in 1 gezeigt,
beispielsweise generiert, indem eine unstrukturierte homogene Beleuchtung
im grünen und/oder blauen Wellenlängenbereich
erzeugt wird und gleichzeitig das Strukturbild S(x, y) 120 mittels
einer strukturierten Beleuchtung im roten Wellenlängenbereich
generiert wird. Dabei werden das homogene farbige Licht zur Aufnahme des
Referenzbildes R(x, y) 110 und das strukturierte Licht
zur Aufnahme des Strukturbildes S(x, y) 120 z. B. durch
den semitransparenten Strahlteiler 40 oder durch das One-Shot-Dia
nach 2 auf die Objektoberfläche 10 projiziert.
-
Für
die Projektion zur Aufnahme des Referenzbildes R(x, y) 110 und
des Strukturbildes S(x, y) 120 wird bevorzugt näherungsweise
monochromatisches Licht unterschiedlicher Farbe oder Weißlicht mit
verschiedenen Farbfiltern verwendet. Als näherungsweise
monochromatische Lichtquellen 60, 80 in 1 werden
bevorzugt farbige LEDs eingesetzt. Die Lichtquelle 60 ist
dabei als blau bzw. blaugrün leuchtende LED und die Lichtquelle 80 als
rot leuchtende LED ausgebildet.
-
Als
Bildsensoren 20, 30 werden bevorzugt hochdynamische
Graubildkameras (z. B. 10 bis 16 bit CCD- oder CMOS-Kameras) oder
Farbbildkameras (z. B. mit 8 bis 12 bit Farbtiefe) eingesetzt.
-
Für
eine Shading-Korrektur werden das Strukturbild S(x, y) 120 und
das Referenzbild R(x, y) 110 zueinander pixelweise zu einem
Verhältnisbild SR(x, y) 130 mittels der Beziehung SR(x, y) = Srot(x, y)/Rblau/grün(x, y) (2)ins Verhältnis
gesetzt. Dabei wird die pixelweise Verhältnisbildung anhand
einer experimentell oder rechnerisch ermittelten Tabelle bestimmt,
die einer Lichtempfindlichkeitskennlinie der Bildsensoren 20, 30 für den
jeweiligen Wellenlängenbereich des projizierten Strukturelementes
entspricht. Mit diesem LUT-Verfahren (Look-up Table) können
diese Rechenoperationen sehr schnell durchgeführt werden,
so dass sehr schnelle Bildfolgen realisiert werden können.
-
Das
Verhältnisbild SR(x, y) 130 verstärkt
den Kontrast und ist wesentlich unabhängiger von Oberflächeneigenschaften
wie Betrachtungswinkel, Farbe, Helligkeit, Oberflächenrauhigkeit
und -neigung oder Textur, wodurch eine eindeutige Zuordnung der einzelnen
Strukturelemente im linken zum rechten Stereo-Bild ermöglicht
wird. Durch die Unterdrückung von Oberflächeninformationen
ist eine Korrespondenzpunktzuordnung wesentlich robuster gegenüber
Störeinflüssen und Variationen der Objektoberfläche
und wird damit wesentlich erleichtert.
-
4 zeigt
eine Strukturblende 90 zur Erzeugung farbiger Streifenfolgen
gemäß dem Stand der Technik [2]. Zur Generierung
der Streifenmuster wird eine De Bruijn-Zahlenfolge verwendet, mit
denen kn verschiedene Kombinationen einer
Untermenge von n benachbarten Streifen bei k verschiedenen Farben
nebeneinander umgesetzt werden. Hier ist die Anzahl der Farben,
mit denen die Streifenmuster generiert werden, auf acht Streifenfarben
festgelegt. Lediglich die Anzahl der möglichen Farbübergänge kann
variiert werden. Die Streifenfolge ist generiert in Anlehnung an
[2] mit n = 3 benachbarten Streifen, die je eine Subsequenz bilden
und k = 5 erlaubten Farbübergängen. Im Bild kommen
alle möglichen 8 Farben vor, aber nur 5 Farbübergänge.
Jede 3er Streifen-Subsequenz tritt nur einmal in der ganzen Streifenfolge
bestehend aus kn = 125 Streifen auf. Benachbarte
Streifen können dabei auch sich ähnelnde Farben
wie Magenta (Rosa) und Rot oder Weiß und Gelb aufweisen,
die sich in einem Farbkanal, d. h. erlaubte Farbübergänge
in mindestens einem Kanal dj, unterscheiden.
Diese Streifenübergänge können im Reflexionsbild
bei beliebigen Objektoberflächen 10 oft nicht
mehr voneinander unterschieden werden.
-
Erfindungsgemäß ist
daher vorgesehen, dass zwischen den Farbstreifen dunkle bzw. schwarze
Streifen als Seperatoren eingefügt werden.
-
5 zeigt
eine Strukturblende 90 zur Erzeugung farbiger Streifenfolgen,
wobei zur Generierung der Streifenmuster nach [6] eine De Bruijn-Zahlenfolge
verwendet wird. Diese weist eine Subsequenz mit n = 3 benachbarten
Streifen auf, wobei zwischen diesen Farbstreifen schwarze Streifen
eingefügt sind. Für die De Bruijn-Zahlenfolge
wurde hier k = 4 in diesem Beispiel zulässigen Farben Blau,
Grün, Rot und Weiß sowie n = 3 für die
Streifen-Nachbarschaft gewählt, so dass es insgesamt 2·kn = 128 Streifen inkl. der schwarzen Zwischenstreifen
gibt.
-
6 zeigt
eine Strukturblende 90 zur Erzeugung einer weiteren farbigen
Streifenfolge. Diese wurde analog der in 5 dargestellten
Streifenfolge generiert, wobei statt der k = 4 Farben 4 verschiedene
Helligkeitswerte im Rot- und im Blau-Kanal des RGB-Bildes kodiert
sind, während der Grün-Kanal einen homogenen Referenzgrauwert
(hier 128) aufweist. Zudem werden die Farbstreifenmuster mit k verschiedenen
Farbsättigungswerten in nur einer oder zwei der drei Primärfarben
Rot, Grün und Blau kodiert.
-
Die
in den 4, 5 und 6 dargestellten
farbigen Strukturblenden 90 eignen sich besonders, wenn
als Lichtquellen 60, 80 Weißlichtquellen
verwendet werden.
-
In 7 ist
eine weitere Streifenfolge als Strukturblende 90 dargestellt,
bei der zur zusätzlichen Erhöhung der Robustheit
bei der Identifikation der einzelnen Musterelemente die Strukturelemente des
projizierten Musters zusätzliche Texturmerkmale, z. B.
schraffierte Schräglinien, Kreise, Kreuze etc., aufweisen.
Diese können ebenfalls auf dem Projektionsdia aufgebracht
sein.
-
Mit
dem erfindungsgemäßen Verfahren und der erfinderischen
Ausgestaltung der Vorrichtung kann ein preiswertes 3D-Scanning-System
realisiert werden, welches ein breites Anwendungsspektrum im Bereich
der Oberflächenqualitätskontrolle sowie im Bereich
von Objektlageerkennungssystemen, insbesondere bei bewegten Bauteilen
bzw. Objektoberflächen, ermöglicht. Die Einsatzgebiete
können u. a. sein: Roboter-Handlingssysteme, automatisierte
Fügeprozesse, 3D-Handscanner z. B. für die Medizintechnik
oder allgemein zur 3D-Digitalisierung beliebiger Objekte oder Anwendungen
im Bereich der Virtual Reality.
-
Gegenüber
dem Stand der Technik kann mit dem Verfahren und der Vorrichtung
die Stabilität der Korrespondenzpunktzuordnung insbesondere
bei der Oberflächenprüfung, bei Oberflächenvermessungen
oder bei der Lagekontrolle von Bauteilen bzw. Objektoberflächen
erhöht werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- - WO 2007/079805 [0006, 0008, 0021]
- - US 6147760 [0012]
- - DE 102006048726 [0014]
- - DE 102006048725 [0015]
-
Zitierte Nicht-Patentliteratur
-
- - L. Zhang,
B. Curless und S. M. Seitz („Rapid shape acquisition using
color structured light and multipass dynamic programming”/Inf.
Symposium an 3D Data Processing Visualization and Transmission,
Padova, Italy, June 2002) [0010]
- - H. Fredricksen: „The lexicographically least debruijn
cycle”/Journal of Combintorial Theory, 9 (1), S. 509–510,
1970 [0010]
- - J. Tajima und M. Iwakawa („3D Data acquisition by
rainbow range finder”/International Conference an Pattern
Recognition, S. 309–313, 1990) [0011]
- - B. Carrihill und R. Hummel („Experiments with the
intensity ratio depth sensor”/Computer Vision, Graphics
and Image Processing, Vol. 32, S. 337–358, Academic Press,
1985) [0013]