-
Stand der Technik
-
Die
Erfindung betrifft ein Verfahren zur Erzeugung eines Abstandbildes
für die 3D-Rekonstruktion einer Objektoberfläche
aus der Korrespondenz von Pixeln der Bilder mindestens eines Bildsensors, der
die Szene aufnimmt, wobei mittels eines Projektors mit einer Strukturblende
Muster mit Strukturelementen in Form von Grauwertmuster oder Farbmuster
mit verrauschten zufälligen lokal unterschiedlichen Helligkeiten
oder Farben auf die Objektoberfläche projiziert werden.
-
Die
Erfindung bezieht sich weiterhin auf eine entsprechende Vorrichtung
mit einer Sensorikanordnung zur Erzeugung eines Abstandbildes für
die 3D-Rekonstruktion einer Objektoberfläche aus der Korrespondenz
von Pixeln der Bilder mindestens eines Bildsensors, wobei mittels
einer Lichtquelle homogenes Licht auf die Objektoberfläche
projizierbar ist und mit derselben oder einer zweiten Lichtquelle und
einer Strukturblende Muster mit Strukturelementen in Form Grauwertmuster
oder Farbmuster mit verrauschten zufälligen lokal unterschiedlichen
Helligkeiten oder Farben auf die Objektoberfläche projizierbar
sind.
-
Die
klassische Streifenprojektion mit einer Kamera und dazu kalibriertem
Streifenprojektor führt die Erzeugung einer 3D-Punktewolke
zur 3D-Rekonstruktion von Objektoberflächen durch die Aufnahme mehrerer
Bilder mit Hilfe des Phasenshift-Verfahrens und des Graycode-Verfahrens,
wobei jeweils die Streifenbreite zum vorherigen Bild halbiert wird
und dadurch jede Streifenkante eindeutig einem Projektorstrahl zugeordnet
werden kann, durch.
-
Eine
Erweiterung ist die Kombination von Streifenprojektoren mit einer
Stereokameraanordnung, wobei die beiden Stereokameras zueinander kalibriert
sind, so dass durch Korrespondenzpunktzuordnung des linken und des
rechten Bildes aus der Stereo-Triangulation der Abstand in jedem
Korrespondenzpunkt bestimmt werden kann. Die Korrespondenzpunkte
liegen dabei auf den Epipolarlinien nach der Stereokalibrierung
und Bildrektifizierung. Die Ebene, welche die beiden Projektionszentren
der Kameras und der aufgenommene Objektpunkt aufspannen, wird dabei
Epipolarebene genannt.
-
Diese
schneidet die beiden Bilder in jeweils einer Geraden, der so genannten
Epipolarlinie. Der Projektor kann zusätzlich zu den beiden
Kameras kalibriert sein. Die Projektorkalibrierung ist nicht notwendig
und zudem aufwendig, erhöht aber in der Regel die Robustheit
und Genauigkeit.
-
Die
Streifen werden binär im Schwarz-Weiß-Wechsel
mit Graubildkameras oder mit einer eigenen Farbe für jeden
Streifen mit Farbkameras aufgenommen. Die Farbvariante vereinfacht
die Korrespondenzpunktzuordnung, besitzt aber andere Probleme der
Farbauswertung (z. B. u. a. Weißabgleich). Bei den genannten
Verfahren werden statt Streifen auch andere geometrische oder texturierte
Muster verwendet.
-
In
der
DE 10 2006
001 634 B3 [1] wird ein Verfahren zur Erstellung eines
Abstandbildes aus der Korrespondenz von Pixeln der Bilder einer
ersten Kamera und einer zweiten Kamera in Stereoanordnung vorgestellt.
Kennzeichnend für das Verfahren ist eine erste Beleuchtung
der Szene mit einem Zufalls- oder Pseudozufallsmuster mit Aufnahme
eines ersten Bildes mit beiden Kameras und eine zweite Beleuchtung
der Szene, mit Aufnahme eines zweiten Bildes mit beiden Kameras,
wobei für beide Kameras pixelweise eine Berechnung eines
Helligkeitsverhältnisses aus dem ersten und dem zweiten
Bild durchgeführt und durch Vergleich der Helligkeitsverhältnisse von
Pixeln verschiedener Kameras eine Korrespondenz der Pixel hergestellt
wird. Dies erfolgt insbesondere auf einander zugeordneten Epipolarlinien
der Stereokameras. Das Quotientenbild aus beiden Bildern unterschiedlicher
Helligkeit ist weitgehend unabhängig vom Betrachtungswinkel
und gegenüber der Farbe, Helligkeit, Oberflächenrauhigkeit
und -neigung sowie Textur der betrachteten Objektoberfläche.
-
Die
vorgeschlagenen Verfahrensvarianten mit Streifenmuster – vorzugsweise
entlang von Epipolarlinien – umfassen sowohl Graubild-
als auch Farbkameras, wobei die erste und zweite Beleuchtung mit
unterschiedlichen Farben, vorzugsweise gleichzeitig (One-Shot-Verfahren)
bei Verwendung eines Strahlteilers mit Polarisationsfilter oder
Farbkameras erfolgt. Die Zufallsmuster werden vorzugsweise durch
zwei überlagerte Gittermuster mit einem definierten Abstand
projiziert, wobei die lokale Gitterkonstante mindestens eines Musters
pseudo-zufällig variiert wird. Diese Muster werden von
mindestens zwei Lichtquellen beleuchtet und ergeben dadurch unterschiedliche
Moirémuster. Diese Muster können auch mit nur
einer Projektionseinheit durch Überlagerung zweier der
gegeneinander verschiebbaren Masken oder mit nur einer derartigen
Maske durch rotatorische oder translatorische Bewegung erzeugt werden.
-
In
der
DE 103 59 104
B3 [2] wird ein Musterprojektionsverfahren mit nur einer
Kamera und einem dazu kalibrierten Projektor vorgestellt, welches
mit einer Bildaufnahme (One-Shot-Verfahren) ein Abstandsbild der
Oberfläche erstellt. Als Muster wird ein nicht codiertes
Schwarzweiß-(Binär-) oder Graustufen-Muster hoher
Entropie, vorzugsweise weißes Rauschen, auf die Oberfläche
projiziert. Im Falle nicht binärer Graustufenmuster werden
Muster mit gleicher bzw. sehr ähnlicher Charakteristik
verwendet, wie sie auch von
F. Devernay et al. „Structured light
on dynamic scenes using standard stereoscopy algorithms",
INRIA Research Report 4477, June 2002 [3] beschrieben sind.
-
Zur
Erzeugung einer 3D-Punktewolke aus der 3D-Rekonstruktion von Objektoberflächen
kann auch nach dem Stand der Technik vorgesehen sein, die zu vermessende
Objektoberfläche mit farbigen Mustern zu beleuchten.
-
Aus
der Patentanmeldung
DE 10
2006 048 726.5 [5] der Anmelderin ist als Anwendungsbeispiel ein
Verfahren zum Vermessen der Rad- oder Achsgeometrie eines Fahrzeuges
bekannt, bei dem während der Drehung des Rades mindestens
ein an diesem vorhandenes oder für die Messung eigens angebrachtes
Merkmal optisch mittels mindestens einer bildgebenden Sensoreinheit
unter unstrukturierter Beleuchtung erfasst und auf der Basis der
so erhaltenen Bilddaten eine Auswertung zum Bestimmen der Rad- oder
Achsgeometrie durchgeführt wird. Dabei ist vorgesehen,
dass während der Drehung zusätzlich zu der unstrukturierten
Beleuchtung gleichzeitig oder in zeitlicher Abfolge strukturiert
beleuchtet wird und dass in die Auswertung auch die aus der strukturierten
Beleuchtung erhaltenen Bilddaten einbezogen werden.
-
Eine
weitere Patentanmeldung der Anmelderin (
DE 10 2006 048 725.7 ) [6] beschreibt
zum Ermitteln der Drehachse eines Fahrzeugrades, bei dem während
der Drehung des Rades Lichtmuster zumindest auf das Rad projiziert
und von dem reflektierte Lichtmuster von einer kalibrierten bildgebenden
Sensorik aufgenommen und in einer Auswerteeinrichtung ausgewertet
wird. Dabei wird bei der Auswertung eine radbezogene 3D-Punktwolke
bestimmt und an diese ein parametrisches Oberflächenmodell
des Rades angepasst. Zum Erhalten der Radachsen werden Radnormalenvektoren
für verschiedene Drehlagen des Rades berechnet und aus
der räumlichen Bewegung des Radnormalenvektors der Drehachsvektor
als Drehachse berechnet.
-
Nachteilig
beim oben zitierten Stand der Technik nach [1] ist, dass zwei Kameras
benötigt werden. Außerdem ist ein weiterer Nachteil,
dass aufgrund der verwendeten vertikalen Streifenmuster zwar die
Stabilität der Korrespondenzpunktzuordnung in horizontaler
Richtung deutlich verbessert werden kann, aber in vertikaler Richtung
die Korrespondenzpunktzuordnung bei bestimmten detailreichen Objektoberflächen
noch unzureichend sein kann.
-
Gemäß dem
Stand der Technik nach [2] ist nachteilig, dass die Robustheit bzw.
die Stabilität der Korrespondenzpunktzuordnung infolge
von störenden Oberflächeneffekten noch unzureichend
ist
-
Es
ist daher Aufgabe der Erfindung, ein Verfahren zur Erzeugung eines
Abstandbildes aus der 3D-Rekonstruktion von Objektoberflächen
bereitzustellen, welches gegenüber dem Stand der Technik einerseits
die Stabilität der Korrespondenzpunktzuordnung sowohl in
x- und in y-Richtung der Objektoberfläche erhöht
und andererseits einen einfachen, kompakten Aufbau ermöglicht.
-
Es
ist weiterhin Aufgabe der Erfindung, eine entsprechende Vorrichtung
bereitzustellen, mit der das erfindungsgemäße
Verfahren durchführbar ist.
-
Vorteile der Erfindung
-
Die
das Verfahren betreffende Aufgabe wird dadurch gelöst,
dass Muster mit Strukturelementen in Form von Grauwertmuster oder
Farbmuster sowohl in horizontaler als auch in vertikaler Richtung mit
hoher Raumfrequenz variiert und in beiden Richtungen mit einem hohen
Informationsgehalt auf die Objektoberfläche projiziert
werden, wobei mit dem Bildsensor ein Strukturbild S(x, y) von der
Objektoberfläche aufgenommen und mit einem Referenzbild R(x,
y), bei welchem die Objektoberfläche mit dem gleichen Bildsensor
bei einer Beleuchtung mit einer gleichförmigen Referenzhelligkeit
aus gleichem Blickwinkel zeitlich nacheinander folgend oder gleichzeitig
aufgenommen wurde, pixelweise zu einem Verhältnisbild SR(x,
y) ins Verhältnis gesetzt wird.
-
Die
pixelweise Verhältnisbildung bei der Erzeugung des Verhältnisbildes
SR(x, y) kann anhand einer experimentell oder rechnerisch ermittelten
Tabelle bestimmt werden, die einer Lichtempfindlichkeitskennlinie
der Bildsensoren für den jeweiligen Wellenlängenbereich
des projizierten Strukturelementes entspricht. Mit diesem LUT-Verfahren (Look-up
Table) können diese Rechenoperationen sehr schnell durchgeführt
werden, so dass sehr schnelle Bildfolgen realisiert werden können.
-
Die
die Vorrichtung betreffende Aufgabe wird dadurch gelöst,
dass die Strukturblende Muster mit Strukturelementen in Form von
Grauwertmuster, binären Schwarz-Weiß-Muster oder
Farbmuster als Rauschmuster in Form von Pixelmuster aufweist, die sowohl
in horizontaler als auch in vertikaler Richtung mit hoher Raumfrequenz
variieren und in beiden Richtungen einen hohen Informationsgehalt
aufweisen.
-
Im
Gegensatz zu den im Stand der Technik [2] erwähnten Verfahren
ist die vorgeschlagene Verfahrensart durch die Verhältnisbildung
vom Strukturmuster zur homogenen Referenzbeleuchtung weitgehend
unabhängig vom Betrachtungswinkel und gegenüber
der Farbe, Helligkeit, Oberflächenrauhigkeit und Oberflächenneigung
sowie einer Textur der betrachteten Objektoberfläche, so
dass keine aufwändige Bildanalyse zur Korrespondenzpunktfindung
mangels eindeutiger Bildmerkmale und ausreichenden Kontrasts notwendig
ist. Gegenüber der
DE 10 2006 001 634 B3 [1] kann statt zwei
Kameras lediglich eine Kamera mit kalibriertem Projektor eingesetzt
werden.
-
Durch
die Verwendung von Farbmustern in Form von Pixelmuster mit hoher
Punktdichte und höherem Kontrast von zueinander benachbarten
Pixel im Vergleich zu Grauwertmustern kann die Korrespondenzpunktfindung
gegenüber dem Stand der Technik [2] verbessert werden.
Dadurch wird das Matching der Sub-Pattern von Projektionsmuster
und Kamerabildern robuster. Außerdem können im
Vergleich zu Binär-Mustern kleinere Sub-Pattern wieder erkannt
werden, da ein höherer Informationsgehalt auf gleicher
Fläche mit einer höheren Pixelanzahl kodiert ist.
Mit kleinerem Sub-Pattern ist die Gefahr geringer, dass einzelne
Bereiche nicht erkannt werden, wenn ein Teil des Patterns verdeckt
ist oder nicht genügend Kontrast besitzt.
-
Eine
Verfahrensvariante sieht dabei vor, dass mit mindestens einem ersten
Bildsensor und mindestens einem zweiten Bildsensor, die die Szene in
Stereo-Anordnung aufnehmen, oder mit nur einem Bildsensor und einem
dazu kalibrierten Projektor zur Projektion der Grauwert- oder Farbmuster
auf die Objektoberfläche die Abstandsbilder erzeugt werden. Die
zwei als Kameras ausgeführten Bildsensoren in Stereoanordnung
können dabei mit dem Projektor unkalibriert oder zur Erhöhung
der Robustheit auch kalibriert zueinander angeordnet sein.
-
Gegenüber
[1] kann durch die Verwendung eines Rauschmusters mit hoher Punktedichte
und hohem horizontalen sowie vertikalen Informationsgehalt, wie
es in dieser Erfindung vorgeschlagen wird, die Rekonstruktion von
sehr dichten Abstandwerten für jedes Pixel sowohl in horizontaler
als auch vertikaler Richtung mit Standardverfahren zur Korrelation von
Sub-Pattern des Projektionsmusters mit dem Kamerabild sowie mit
Standardverfahren zur Korrespondenzpunktzuordnung von dichten Stereoverfahren
(D. Scharstein/R. Szeliski „High-accuracy stereo depth
maps using structured light", IEEE Conference for Computer
Vision and Pattern Recognition, Vol. 1, Madison, Winsconsin, USA, June
2003 [7] bzw. Heiko Hirschmüller „Stereo
Vision in Structured Environments by Consistent Semi-Global Matching",
Institut of Robotics and Mechatronics, Oberpfaffenhofen, German
Aerospace Center (DLR) [8]) im Falle von zwei Kameras ermöglicht
werden. Daraus kann für jedes Pixel die Disparität
und damit der Abstand zur Kamerabasis mit Hilfe der Kalibrierung
von Kamera zu Projektor und/oder bei zwei oder mehr Kameras der
Stereokalibrierung berechnet werden.
-
Im
Gegensatz zur
DE 103
59 104 B3 [2] sowie zu [3], in der zwar auch eine Strukturmusterkodierung
wie oben beschrieben vorgeschlagen wird, werden durch die Verhältnisbildung
von Strukturbild S(x, y) und Referenzbild R(x, y) störende
Oberflächeneinflüsse, wie Reflexe, Schatten, Farbabweichungen
und dgl., deutlich reduziert.
-
Vorteilhaft
ist bei den zuvor beschrieben Verfahrensvarianten, wenn die mittels
der Strukturblende erzeugte Beleuchtung zur Erzeugung des Strukturbildes
S(x, y) und die Beleuchtung mit der gleichförmigen Referenzhelligkeit
zur Erzeugung des Referenzbildes R(x, y) überlagert werden.
-
Dabei
kann vorgesehen sein, dass die Pixelmuster aus einem farbigen Rauschmuster
gebildet werden und die verschiedenen Helligkeitswerte in einem
oder zwei von drei Kanälen einem als Farbkamera ausgebildeten
Bildsensor, insbesondere in den Primärfarben Rot, Grün
und Blau, kodiert werden.
-
Eine
besonders bevorzugte Verfahrensvariante sieht in einem so genannten
One-Shot-Verfahren vor, dass das Strukturbild S(x, y) und das Referenzbild
R(x, y) gleichzeitig mit den Bildsensoren aufgenommen werden, wobei
das Referenzbild R(x, y) mittels einer homogenen farbigen Beleuchtung
in einem bestimmten Wellenlängenbereich des sichtbaren
Lichtes und das Strukturbild S(x, y) mittels der Strukturblende
in einem dazu komplementären Wellenlängenbereich
des sichtbaren Lichtes aufgenommen wird. Das Referenzbild R(x, y)
wird beispielsweise generiert, indem eine unstrukturierte homogene Beleuchtung
im grünen und/oder blauen Wellenlängenbereich
erzeugt wird und gleichzeitig das Strukturbild S(x, y) mittels einer
strukturierten Beleuchtung im roten Wellenlängenbereich
generiert wird. Diese Verfahrensvariante ermöglicht eine
Shading-Korrektur insbesondere bei dynamischen Bildszenen mit bewegten
Objekten. Damit werden beispielsweise auch schnelle Objektanalysen
während Fertigungsabläufen mit kurzen Fertigungstaktzeiten
ermöglicht.
-
Dabei
kann das homogene farbige Licht zur Aufnahme des Referenzbildes
R(x, y) und das strukturierte Licht zur Aufnahme des Strukturbildes
S(x, y) durch einen semitransparenten Strahlteiler auf die Objektoberfläche
projiziert werden, womit sich insgesamt für einen derartigen
Projektor ein kompakter und auch kostengünstiger Aufbau,
ohne mechanisch bewegte Teile, ergibt.
-
Für
die Projektion zur Aufnahme des Referenzbildes R(x, y) und des Strukturbildes
S(x, y) wird näherungsweise monochromatisches Licht unterschiedlicher
Farbe oder Weißlicht mit verschiedenen Farbfiltern in getrennten
oder im selben Lichtweg verwendet. Als näherungsweise monochromatische Lichtquellen
werden insbesondere farbige LEDs eingesetzt, mit denen sich inzwischen
sehr kompakte, leistungsfähige und zudem kostengünstige
Lichtquellen für die Projektion realisieren lassen.
-
Eine
besonders kompakte und lichtstarke Weißlichtquelle kann
mit einer Weißlicht-LED mit hoher Lichtausbeute realisiert
werden. Derartige High-Power- oder High-Brighness-LEDs lassen sich zudem
im Blitzbetrieb kurzzeitig mit bis zum 20-fachen Nennstrom betreiben,
so dass extrem helle Lichtblitze erzeugt werden können,
was vorteilhaft hinsichtlich einer kurzen Belichtungszeit insbesondere
bei bewegten Objektoberflächen ist.
-
In
einfacher Weise ist vorgesehen, dass zur Erzeugung der Muster ein
Dia verwendet wird, auf dem die Strukturelemente in Form von Bandsperrfiltern
unterschiedlicher Dämpfung oder in Form von lichtundurchlässigen
Bereichen aufgebracht sind. Die Bandsperrfilter lassen z. B. bei
einer Weißlichtquelle alle Lichtwellenlängen außer
den Lichtwellenlängen einer bestimmten Farbe (z. B. rot)
ungehindert durch. Die einzelnen Strukturelemente dämpfen jeweils
unterschiedlich stark lediglich den einen Wellenlängenbereich
des Bandsperrfilters ab (hier z. B. rot), so dass dadurch ein strukturiertes
Muster mit unterschiedlichen Helligkeitsstufen z. B. der Farbe Rot erzeugt
werden kann. Dieses Dia kann im Strahlengang zwischen einer Lichtquelle
und der Objektoberfläche platziert werden. So können
sowohl Dias mit Farbmustern als auch zueinander ins Verhältnis
gesetzte Grauwertmuster in unterschiedlichen Farbkanälen
gewählt werden. Je nach Objektbeschaffenheit können
durch Wechsel des Dias unterschiedliche Muster projiziert werden.
Damit kann beispielsweise die Raumfrequenz zur Erzeugung der Pixelmuster oder
die Helligkeitsabstufungen an die Messaufgabe angepasst werden.
Ebenso lässt sich auch die Farbe der Muster an die Objektfarbe
anpassen. Grundsätzlich sind auch rechnergestützte
Mustergeneratoren denkbar, mit denen ein oder mehrere LCD-Filter
im Strahlengang zwischen Lichtquelle und Objektoberfläche
angesteuert werden können.
-
Als
Bildsensoren werden bevorzugt hochdynamische Graubildkameras (z.
B. 10 bis 16 bit CCD oder CMOS-Kameras) oder Farbbildkameras (z.
B. mit 8 bis 10 bit Farbtiefe) eingesetzt, die einerseits eine hohe
Auflösung und andererseits eine hohe Empfindlichkeit sowie
ein geringes Rauschen aufweisen.
-
Zur
zusätzlichen Erhöhung der Robustheit bei der Identifikation
der einzelnen Musterelemente können für alle zuvor
beschriebenen Verfahrensvarianten mit einem Laser und einem diffraktiven
optischen Element (DOE) dem auf die Objektoberfläche projizierten
Pixelmuster in regelmäßigen Abständen Markierungen
in Form von hellen Laserspots zusätzlich überlagert
werden.
-
Zur
Bestimmung einer 3D-Objektlage im Raum kann vorgesehen sein, dass
vor den zu detektierenden Bauteilen bzw. Objektoberflächen
jeweils ein Trainingsobjekt in einer Einlernphase von verschiedenen
Seiten mit einem oder mehreren Bildsensoren mit Farbstreifen oder
alternativ dazu zum einen mit dem projizierten Muster und zum anderen
mit unstrukturierter homogener Beleuchtung zeitlich nacheinander
folgend oder gleichzeitig aufgenommen und eine 3D-Punktewolke für
jede Ansicht aus dem jeweiligen Verhältnisbild SR(x, y)
oder dem Strukturbild S(x, y) rekonstruiert wird und die 3D-Punktewolke
der verschiedenen Ansichten zu einem Trainingsmodell im 3D-Raum überlagert
werden. Weiterhin ist vorgesehen, dass zur Objektlagebestimmung
eine 3D-Punktewolke aus einer bestimmten Ansicht generiert und in
diese 3D-Punktewolke das Trainingsmodell angepasst wird, indem das
Trainingsmodell durch Transformation skaliert, gedreht und/oder
verschoben wird. Die Endlage des Trainingsmodells in der 3D-Punktewolke
entspricht der 3D-Lage im Raum des zu detektierenden Zielobjektes.
Man erhält damit eine 3D-Objektlageerkennung durch ein
so genanntes 3D-Matching eines trainierten Modells.
-
Das
erfindungsgemäße Verfahren, wie es in seinen verschiedenen
Varianten zuvor beschrieben wurde, kann beispielsweise zur Oberflächenprüfung, Oberflächenvermessung,
beispielsweise bei Sichtprüfplätzen oder Oberflächenqualitätsprüfsystemen, zur
Objektlagebestimmung, insbesondere für Fügeprozesse,
Greif- und Ablegeaufgaben oder Sortieraufgaben beim Einsatz von
Roboter-Handlingssystemen, oder für einen 3D-Scanner eingesetzt
werden. Insbesondere kann das Verfahren auch als schnelles 3D-Scanning-System
beispielsweise zur Lagekontrolle von bewegten Bauteilen bzw. Objektoberflächen eingesetzt
werden.
-
Zeichnungen
-
Die
Erfindung wird im Folgenden anhand der in den Figuren dargestellten
Ausführungsbeispiele näher erläutert.
Es zeigen:
-
1 in
schematischer Darstellung eine Sensorikanordnung zur 3D-Rekonstruktion
aus Stereobildern mit Referenzarm,
-
2 in
schematischer Darstellung eine Sensorikanordnung zur 3D-Rekonstruktion
mit einem Bildsensor,
-
3 in
schematischer Darstellung ein weiteres Ausführungsbeispiel
für eine Sensorikanordnung zur 3D-Rekonstruktion aus Stereobildern
ohne Referenzarm,
-
4a eine
Strukturblende zur Erzeugung eines Projektionsmusters mit einem
farbigen Zufallsmuster,
-
4b einen
vergrößerten Ausschnitt eines Teil der Strukturblende
gemäß der 4a,
-
5a eine
weitere Strukturblende mit einem Grauwert-Zufallsmuster
-
5b einen
vergrößerten Ausschnitt eines Teil der Strukturblende
gemäß der 5a.
-
Beschreibung der Ausführungsbeispiele
-
1 zeigt
beispielhaft in einer schematischen Darstellung eine Sensorikanordnung 1 zur
Erzeugung eines Abstandbildes für die 3D-Rekonstruktion
einer Objektoberfläche 10 aus der Korrespondenz
von Pixeln der Bilder eines ersten Bildsensors 20 (links)
und mindestens eines zweiten Bildsensors 30 (rechts), die
zueinander in einer Stereo-Anordnung stehen, wobei mittels einer
ersten Lichtquelle 60 und einer dazu optional korrespondierenden
Linsenanordnung 70 homogenes Licht auf die Objektoberfläche 10 projizierbar
ist und mit einer zweiten Lichtquelle 80, einer zur zweiten
Lichtquelle 80 optionalen korrespondierenden Linsenanordnung 70 und einer
Strukturblende 90 Grauwertmuster, binäre Schwarz-Weiß-Muster
und/oder Farbmuster mit verrauschten zufälligen lokal unterschiedlichen
Helligkeiten oder Farben auf die Objektoberfläche 10 projizierbar
sind. Die Projektionsteileinheit bestehend aus der ersten Lichtquelle 60 und
der Linsenanordnung 70 zur Beleuchtung der Szenerie mit
homogenem Licht stellt hierbei einen Referenzarm dar. Die homogene
und die strukturierte Beleuchtung werden in der gezeigten Anordnung
mittels eines semitransparenten Strahlteilers 40 überlagert.
Zwischen dem semitransparenten Strahlteiler 40 und der
Projektoberfläche ist eine Linsenanordnung 50 vorgesehen,
welche als Projektorobjektiv dient.
-
Die
Strukturblende 90 weist Grauwertmuster, binäre
Schwarz-Weiß-Muster und/oder Farbmuster als Rauschmuster
in Form von Pixelmuster auf, die sowohl in horizontaler als auch
in vertikaler Richtung, entsprechend der x- und y-Achse auf der
Objektoberfläche 10, mit hoher Raumfrequenz variieren
und in beiden Richtungen einen hohen Informationsgehalt aufweisen.
-
In
einfacher Weise ist vorgesehen, dass als Strukturblende 90 ein
Dia verwendet wird, auf dem die Strukturelemente in Form von Bandsperrfiltern unterschiedlicher
Dämpfung oder in Form von lichtundurchlässigen
Bereichen aufgebracht sind. Das Dia ist dabei, wie in 1 gezeigt,
im Strahlengang zwischen der Lichtquelle 80 und dem Strahlteiler 40 innerhalb
der Strukturblende 90 ausgebildet angeordnet. Eine einfache
Realisierung des Dias ergibt sich mit einem mittels Dia-Belichter
projizierten BMP-Bildes, mit dem ein Standard-Kleinbild-Diafilm belichtet
wird. Alternativ kann auf eine Glasscheibe mittels eines Lasers
die Farbe in verschiedenen Schichten, beispielsweise in den drei
Grundfarben Rot, Grün und Blau, aufgebracht werden.
-
Mit
dieser Anordnung gemäß 1 kann ein so
genanntes One-Shot-Verfahren zum Einsatz kommen, welches vorsieht,
dass ein Referenzbild R(x, y) und ein Strukturbild S(x, y) gleichzeitig
mit den Bildsensoren 20, 30 aufgenommen werden,
wobei das Referenzbild R(x, y) mittels einer homogenen farbigen
Beleuchtung in einem bestimmten Wellenlängenbereich des
sichtbaren Lichtes und das Strukturbild S(x, y) mittels der Strukturblende 90 in
einem dazu komplementären Wellenlängenbereich
des sichtbaren Lichtes aufgenommen wird. Das Referenzbild R(x, y)
wird, wie in 1 gezeigt, beispielsweise generiert,
indem eine unstrukturierte homogene Beleuchtung im grünen
und/oder blauen Wellenlängenbereich erzeugt wird und gleichzeitig
das Strukturbild S(x, y) mittels einer strukturierten Beleuchtung
im roten und/oder grünen Wellenlängenbereich generiert
wird. Dabei werden das homogene farbige Licht zur Aufnahme des Referenzbildes
R(x, y) und das strukturierte Licht zur Aufnahme des Strukturbildes
S(x, y) durch den semitransparenten Strahlteiler 40 auf
die Objektoberfläche 10 projiziert.
-
Für
die Projektion zur Aufnahme des Referenzbildes R(x, y) und des Strukturbildes
S(x, y) wird bevorzugt näherungsweise monochromatisches Licht
unterschiedlicher Farbe oder Weißlicht mit verschiedenen
Farbfiltern verwendet. Als näherungsweise monochromatische
Lichtquellen 60, 80 in 1 werden
bevorzugt farbige LEDs eingesetzt. Die Lichtquelle 60 ist
dabei beispielsweise als blau bzw. blau-grün leuchtende
LED und die Lichtquelle 80 als rot bzw. rot-grün
leuchtende LED ausgebildet.
-
Für
eine Shading-Korrektur werden das Strukturbild S(x, y) und das Referenzbild
R(x, y) zueinander pixelweise zu einem Verhältnisbild SR(x,
y) mittels der Beziehung SR(x, y)
= Srot(x, y)/Rblau/grün(x,
y) (1) ins
Verhältnis gesetzt. Dabei wird die pixelweise Verhältnisbildung
anhand einer experimentell oder rechnerisch ermittelten Tabelle
bestimmt, die einer Lichtempfindlichkeitskennlinie der Bildsensoren 20, 30 für den
jeweiligen Wellenlängenbereich des projizierten Strukturelementes
entspricht. Mit diesem LUT-Verfahren (Look-up Table) können
diese Rechenoperationen sehr schnell durchgeführt werden,
so dass sehr schnelle Bildfolgen realisiert werden können.
-
2 zeigt
eine Sensorikanordnung 1 die lediglich einen als Farbkamera
ausgebildeten Bildsensor 20 aufweist, der zum Projektor
mit der Lichtquelle 60, der Strukturblende 90 und
der als Objektiv dienenden Linsenanordnung 50 in einem
Scannerkopf 110 definiert zueinander angeordnet ist. Dieser
Aufbau umfasst eine Weißlicht-Hochleistungs-Leuchtdiode
(LED) als Lichtquelle 60, deren Licht die als Farb-Dia
ausgebildete Strukturblende 90 durchstrahlt. Zum Schutz
der Strukturblende 90 ist zwischen Lichtquelle 60 und
Strukturblende 90 optional ein IR-Filter bzw. Hotmirror 100 angeordnet,
der insbesondere den Temperatureintrag auf die Strukturblende 90 reduzieren
soll. Hierbei handelt es sich um einen sehr kompakten Aufbau, der
aus Standardkomponenten zusammengesetzt sein kann, die zudem Kostenvorteile
gegenüber existierenden Systemen besitzen.
-
Bei
dem Ausführungsbeispiel der Vorrichtung nach 3 ist
eine Sensorikanordnung 1 mit zwei Bildsensoren 20, 30,
welche auch als Farbkameras ausgebildet sind, in Stereoanordnung
dargestellt. Bei diesem ebenfalls sehr kompakten Aufbau ist ein
Projektor gezeigt, bei dem gegenüber 1 der
Referenzarm eingespart ist. Dieser Aufbau umfasst wie in 2 eine
Weißlicht-Hochleistungs-Leuchtdiode (LED) als Lichtquelle 60,
deren Licht die als Farb-Dia ausgebildete Strukturblende 90 durchstrahlt,
Der Projektor mit der Linsenanordnung 50, der Strukturblende 90 und
dem zwischen Lichtquelle 60 und Strukturblende 90 angeordneten
optionalen IR-Filter 100 entspricht im Wesentlichen dem Projektoraufbau
der Sensorikanordnung in 2. Die Objektoberfläche 10 wird
mittels zweier Farbkameras (Bildsensoren 20, 30),
die in Stereoanordnung zueinander montiert sind, erfasst.
-
4a zeigt
eine Strukturblende 90 in einer beispielhaften Ausgestaltung.
Diese besteht aus einem farbigen Rauschmuster in Form eines Pixelmuster
mit hoher Pixelauflösung sowohl in horizontaler als auch
in vertikaler Richtung. Die Szenerie wird dabei mit mindestens einem
als Farbkamera ausgebildeten Bildsensor 20 aufgenommen. 4b zeigt
zur Verdeutlichung einen vergrößerten Ausschnitt
eines Teiles der Strukturblende 90 gemäß der 4a.
-
In 5a ist
ein als Strukturblende 90 ausgebildetes One-Shot-Dia dargestellt,
welches Grauwert-Rauschmuster aufweist, welche im Rot- und Grün-Kanal
eines RGB-Bildes kodiert sind. Die homogene Referenzbeleuchtung
ist im Blau-Kanal des RGB-Bildes kodiert. Diese Art der Strukturblende 90 kann
beispielsweise in den in 2 und 3 gezeigten
Sensorikanordnungen 1 vorteilhaft eingesetzt werden. Mit
dieser Strukturblende 90 wird statt einem farbigen Muster
sowohl ein entsprechendes Grauwert-Rauschmuster als auch ein gleichförmiger Helligkeitswert
aus der gleichen Richtung mit unstrukturierter, homogener Beleuchtung
auf die Objektoberfläche 10 projiziert. Die beiden
Beleuchtungsarten sind dabei vorzugsweise überlagert und
werden gleichzeitig mit mindestens einer Farbkamera (Bildsensor 20)
aufgenommen, wobei im Rot- und Grün-Kanal des Bildsensors 20 das
Strukturbild S(x, y) und im Blau-Kanal des Bildsensors 20 das
Referenzbild R(x, y) erfasst wird. Das Strukturbild S(x, y) und
das Referenzbild R(x, y) werden anschließend zueinander
pixelweise zu einem Verhältnisbild SR(x, y) gemäß der
Beziehung SR(x, y) = Srot/grün(x,
y)/Rblau(x, y) (2)ins Verhältnis
gesetzt.
-
5b zeigt
zur Verdeutlichung einen vergrößerten Ausschnitt
eines Teiles der Strukturblende 90 gemäß der 5a.
-
Eine
Alternative zur dargestellte Variante einer Strukturblende 90 gemäß 5a ist,
dass statt der Grauwertmuster ein binäres Rauschmuster
als Schwarz-Weiß-Muster, kodiert im Rot- und Grün-Kanal
eines RGB-Bildes, eingesetzt wird. Die homogene Referenzbeleuchtung
ist ebenfalls im Blau-Kanal des RGB-Bildes kodiert.
-
Mit
den zuvor beschriebenen Sensorikanordnungen 1 und den Ausführungsbeispielen
für die Strukturblenden 90 lässt sich
eine Unabhängigkeit gegenüber Objektoberflächeneinflüssen
realisieren. Dazu ist lediglich eine Aufnahme der Objektoberfläche 10 erforderlich,
so dass vorteilhaft das Verfahren bzw. die Vorrichtung bei dynamischen
Bildszenen anwendbar ist. Es kann ein preiswertes 3D-Scanning-System
realisiert werden, welches ein breites Anwendungsspektrum im Bereich
der Oberflächenqualitätskontrolle sowie im Bereich
von Objektlageerkennungssystemen, insbesondere bei bewegten Bauteilen
bzw. Objektoberflächen, ermöglicht. Die Einsatzgebiete
können u. a. sein: Roboter-Handlingssysteme, automatisierte
Fügeprozesse, 3D-Handscanner z. B. für die Medizintechnik
oder allgemein zur 3D-Digitalisierung beliebiger Objekte oder Anwendungen
im Bereich der Virtual Reality.
-
Gegenüber
dem Stand der Technik kann mit dem Verfahren und der Vorrichtung
die Stabilität der Korrespondenzpunktzuordnung insbesondere
zur Oberflächenprüfung, Oberflächenvermessung,
zur Objektlagebestimmung, insbesondere für Fügeprozesse,
Greif- und Ablegeaufgaben oder Sortieraufgaben, oder für
einen 3D-Scanner sowohl in x- als auch in y-Richtung der Objektoberfläche
erhöht werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- - DE 102006001634
B3 [0007, 0020]
- - DE 10359104 B3 [0009, 0024]
- - DE 102006048726 [0011]
- - DE 102006048725 [0012]
-
Zitierte Nicht-Patentliteratur
-
- - F. Devernay
et al. „Structured light on dynamic scenes using standard
stereoscopy algorithms”, INRIA Research Report 4477, June
2002 [0009]
- - D. Scharstein/R. Szeliski „High-accuracy stereo depth
maps using structured light”, IEEE Conference for Computer
Vision and Pattern Recognition, Vol. 1, Madison, Winsconsin, USA,
June 2003 [0023]
- - Heiko Hirschmüller „Stereo Vision in Structured Environments
by Consistent Semi-Global Matching”, Institut of Robotics
and Mechatronics, Oberpfaffenhofen, German Aerospace Center (DLR) [0023]