-
Die
Erfindung betrifft ein Verfahren und Anordnungen zur Gewinnung eines
Abstandsbildes. Abstandsbilder codieren im Gegensatz zu konventionellen
Bildern, die Grauwerte oder Farben codieren, die Entfernung von
Objektpunkten vom Sensor (i.a. einer Kamera) oder die Höhe der Objektpunkte
relativ zu einer Ebene. Technische Anwendungen finden sich u.a.
in Montagekontrolle, Robotik, Meßtechnik, Archäologie,
Bekleidungsindustrie, Biometrie, Medizin, Reverse Engineering.
-
Eine Übersicht über eingesetzte
Verfahren mit einer Tabelle kommerziell erhältlicher Systeme wird in [1]
gegeben, ergänzend
zu den Verfahren siehe auch [2].
-
Das
hier offengelegte Verfahren betrifft die Trangulation mit Stereo-Kameras.
Bei Stereo-Verfahren ist das schwierigste Problem die Herstellung
der Korrespondenz der Bildpunkte. Ist die Korrespondenz bekannt, so
kann nach bekannten mathematischen Methoden (siehe z.B. [3]) ein
entprechendes Abstandsbild berechnet werden.
-
Zur
Herstellung der Korrespondenz werden klassisch Bildanalysemethoden
auf Basis der Extraktion konturhafter oder blob-artiger Merkmale
eingesetzt; eine gefundene Zuordnung ist jedoch wegen möglicher Probleme
bei der Merkmalsextraktion. nicht wirklich sicher, außerdem muß zwischen
den Merkmalen geschätzt
oder interpoliert werden. Um diese Probleme zu umgehen, verwendet
man zusätzlich
strukturiertes Licht.
-
Bei
regelmäßig sich
wiederholenden Lichtstrukturen wie z.B. den verbreiteten Streifenmustern
treten Mehrdeutigkeiten auf, die mit dem codierten Lichtansatz beseitigt
werden können. Üblicherweise
wird dabei mit einer einzelnen Kamera gearbeitet, wobei die Geometrie
der Lichtquelle selbst zur Triangulation herangezogen wird. Eine Übersicht
gibt [4].
-
WO
2005/010825 A2 zeigt ein Verfahren zur Erstellung eines Abstandsbildes,
bei dem eine erste Beleuchtung der Szene ("object") mit einem Zufallsmuster ("randomgrid") und eine zweite
Beleuchtung mit einem sog. "striped
grid" durchgeführt wird,
dabei werden ein erstes und ein zweites Bild mit jeweils einer Kamera aufgenommen.
In einem ersten Schritt nach der Aufnahme der ersten Bilder mit
beiden Kameras wird die Korrespondenz zwischen Koordinaten der beiden
ersten Bilder bestimmt. Nach der Aufnahme der zweiten Bilder wird
die im ersten Schritt ermittelte Korrespondenz dazu genutzt, Musterstreifen
zwischen den beiden zweiten Aufnahmen der Szene zu identifizieren.
Schließlich
werden bspw. mittels Triangulation die 3D-Koordinaten der Szene
ermittelt.
-
Nach
US 6 542 250 B1 werden
mindestens zwei Muster verwendet, die Zufallsmuster sein können. In einem
iterativen Vorgang wird, ausgehend von einer initialen Schätzung, punktweise
eine Vorwärtsrechnung von
Raumkoordinaten zu Bildkoordinaten von zwei Kameras realisiert,
mit Verfeinerung bei jedem Iterationsschritt.
-
Es
wird auch mit einzelnen texturierten Beleuchtungmustern und texturelementeweiser
Korrespondenzbestimmung gearbeitet, z.B. mit den Systemen der Firmen
3Q/3DMD ([5]). Dies hat den Nachteil, daß sich die Texturelemente aus
verschiedenen Blickrichtungen unterschiedlich darstellen können (Glanz,
Schattierung, Form) und daher schwierig auszuwerten sind und somit
unsichere Ergebnisse liefern können.
Die Verfahren werden daher nur auf nicht zu stark strukturierten
Oberflächen mit
breiter Reflexionskeule verwendet (matte Oberflächen). Nach [6] wird das Problem
durch eine speziell gewählte
Form der Merkmale entschärft: Linienelemente
mit sich zufällig
verändernder
Intensität
und Orientierung; es dürfen
nur Elemente mit zueinander passender Orientierung und Intensität miteinander
gepaart werden. Nachteilig ist, a) dass die Intensität aus verschiedenen
Richtungen betrachtet unterschiedlich ist, b) daß diese Elemente für eine zuverlässige Auswertung
eine gewisse Ausdehnung haben müssen
und deshalb eine pixelweise Korrespondenzbildung wieder eine Interpolation
zwischen den Merkmalen erfordert.
-
Nach
[4] S. 841–842,
Absatz 5.1, werden mit einer Kamera mehrere Bilder einer Szene mit
jeweils unterschiedlichen Beleuchtungsmustern aufgenommen und anschließend für jedes
Bild jeweils das Helligkeitsverhältnis
("intensity ratio") relativ zu einer
konstanten Beleuchtung berechnet ("codification based on grey levels").
-
Eine
Sonderform des Codierten Lichts ist die Codierung durch ein kontinuierlich über das
Blickfeld verlaufendes Farbmuster ("Regenbogen"), mit einer einzelnen Kamera, nach
JP 61075210 (1986) oder
US 5675407 (1997). Ein Problem
dabei ist der hohe Preis für
den Projektor, realisiert z.B. über
ein "linear variable wavelength
filter".
-
Nach
US 6028672 (2000) geschieht
bei kontinuierlich verlaufendem Farbmuster die Triangulation nicht zwischen
Kamera und Projektor, sondern zwischen zwei Kameras, bei Farbvergleich
auf epipolaren Linien der beiden Kameras. Das entschärft die
Forderung nach geometrisch präziser
Farb-Projektion,
denn so können beliebige
Farbmuster verwendet werden (s. Spalte 6, Zeile 45), es verbleiben
jedoch noch grundsätzliche
Probleme mit der Farbauswertung.
-
Diese
sollen nach
US 6556706 (2003,
gleicher Anmelder) durch diverse Maßnahmen verringert werden,
u.a. dadurch, dass die Lichtprojektion scheibenweise nur Licht einer
Wellenlänge
enthält
(s. z.B. Spalte 5, Zeile 35: „..impose
a ,single spectral light condition' to the projector").
-
Vom
gleichen Anmelder wurden auch Anordnungen mit sich drehendem Laser-Lichtschlitz
vorgeschlagen, mit einer Kamera, wobei sich die Lichtintensität winkelabhängig verändert, bei
einer Bildaufnahme steigend und bei einer Bildaufnahme fallend (im
folgenden gegenläufig
genannt). Über
das Intensitätsverhältnis eines
Pixels aus den Aufnahmen kann eine eindeutige Zuordnung zum zugehörigen Projektionswinkel
getroffen werden. Nachteilig ist die mechanische Bewegung und die
erforderliche Präzision
bei der Projektion;
US 6600168 (2003).
-
Eine
statische Anordnung zur Erzeugung von über das Blickfeld gegenläufigen Beleuchtungsmustern, mit
einer Kamera, wird in
US 6897946 (2005)
beschrieben, erzeugt durch zwei nah benachbarte, geringfügig gegeneinander
gedrehte Lampen mit Reflektoren.
-
Eine
weitere Anordnung zur Erzeugung von über das Blickfeld gegenläufigen Beleuchtungsmustern wird
in
US 6618123 (2003)
beschrieben, mit einem Feld von LEDs, die so angesteuert werden,
dass über
das Blickfeld hinweg gegenläufige
Beleuchtungsmuster entstehen (s. z.B.
4). Die
Anordnung arbeitet mit einer einzelnen Kamera und benötigt homogene
Lichtkeulen und eine aufwendige Kalibrierung mit einer ebenen Platte
(s. z.B. Spalte 8).
-
Ein
allgemeiner Nachteil von Verfahren mit über das Blickfeld kontinierlich,
gegenläufigen
Beleuchtungsmustern besteht darin, dass sich bei ebener Vorlage
die Helligkeitswerte benachbarter Pixel nur wenig unterscheiden
und die genaue lokale Zuordnung dadurch schwierig wird.
-
Um
dennoch eine gute Zuordnung (und damit gute Abstandsmessung) zu
erreichen, müssen
genaue und hochauflösende
Wandler eingesetzt werden. Um die Beleuchtungsdynamik mit niedrigen
Helligkeitswerten gut auszunutzen und auch dunkle Oberflächenpartien
gut auswerten zu können,
muß bei
der Verhältnisrechnung
durch kleine Zahlen dividiert werden; es müssen also auch. bei kleinen
Zahlen genügendsignifikante Bits
zur Verfügung
stehen. Bei der Verwendung von zwei Kameras müssen diese genau aufeinander
abgestimmt sein.
-
Ziel
der Erfindung ist die Bereitstellung eines Verfahrens und einer
Vorrichtung, die die o.g. Nachteile vermeiden.
-
Die
Aufgabe wird gelöst
nach den unabhängigen
Ansprüchen.
-
Unter
Helligkeitsverhältnis
ist das mathematische Verhältnis
zweier Helligkeiten h1 und h2, also h1/h2 oder h2/h1 gemeint, oder
eine sonstige Verhältnisbildung
in diesem Sinne, z.B. (h1 – g)/(h2 – g), wobei
g eine zuvor gemessene Grundhelligkeit bei Umgebungslicht ist.
-
Zufalls-
oder Pseudozufallsmuster werden im folgenden kurz Zufallsmuster
genannt. Unter Pseudo-Zufallsmuster werden hier auch determinierte
Muster subsumiert, die innerhalb eines gewissen lokalen Bereichs
keine Wiederholungen aufweisen, über
eine Mindestlänge
gesehen. Die Mindestlänge
muß dabei
mindestens so groß sein,
wie es unter Berücksichtigung
der Abbildungsverhältnisse
der maximalen Disparität
korrespondierender Pixel entspricht.
-
Zum
Erläuterung
ein numerisches Beispiel:
-
Die
Zahlenfolge mit Werten 0, 1, 2, 3 (generiert mit einem digitalen
Pseudo-Zufallsgenerator) wiederholt sich ab der Mindestlänge von
18 Werten (Zeichen "^"), darin kommen jedoch
keine Wiederholungen von lokalen Bereichen der Länge 3 (oder mehr) vor.
-
Besonders
bevorzugt geschieht die Beleuchtung bei den beiden Aufnahmen aus
jeweils dem gleichen Raumwinkel, oder zumindest näherungsweise.
Dadurch wird sichergestellt, daß das
Verhältnis
von zwei gemessenen Helligkeitswerten nur durch die Projektion des
Musters bestimmt ist und unabhängig
von der Farbe, der Helligkeit, der Oberflächenrauigkeit und der Oberflächenneigung
des Objekts und besonders wichtig, unabhängig vom Betrachtungswinkel,
und damit für
beide Kameras gleich ist.
-
Beispielsweise
ist aus der 2D-Meßtechnik
mit Bildverarbeitung bekannt, daß Werkstückkanten aus beleuchtungstechnischen
Gründen
je nach Ausprägung
(Verrundung, Fase...) unterschiedliche Meßergebnisse liefern können. Durch
die Unabhängigkeit
von der Oberflächenneigung
werden hier solche Probleme beseitigt.
-
Bevorzugt
wird nicht nur mit einem, sondern mindestens mit zwei Zufalls- oder
Pseudo-Zufallsmustern gearbeitet; solche Lösungen sind je nach technischem
Ansatz (s.u.) leichter zu realisieren und liefern außerdem signifikantere
Meßergebnisse
(stärkere örtliche
Strukturierung nach Verhältnisbildung).
-
Die
mathematische Herstellung der Korrespondenz kann geschehen wie in
der oben erwähnten
Schrift
US 6082672 gezeigt,
im Unterschied dazu jedoch nicht auf Basis eines Vergleichs von
Farben eines über
das Blickfeld gehenden Farbverlaufs, sondern aufgrund des Vergleich
der Helligkeitsverhältnisse
(Quotient) von Pixeln der zwei Aufnahmen mit verschiedenen Zufallsmustern.
-
Bei
der Korrespondenzfindung entfällt
das oben geschilderte Problem der genauen Abstimmung der Kameras
aufeinander, wenn man nicht nur die Verhältnisse der Helligkeitswerte
vergleicht, sondern lokale Verläufe
der Verhältnisse
der Helligkeitswerte, was man beispielsweise durch stückweise
normierte eindimensionale Korrelation. entlang der epipolaren Linien
realisieren kann.
-
Sobald
die Korrespondenz hergestellt ist, kann das Abstandsbild nach bekannten
Methoden berechnet werden (siehe z.B. [3] oder die oben erwähnte Schrift
US 6082672 ).
-
Bei
nicht-binären
Zufallsmustern ist, abgesehen von unwahrscheinlichen Sonderfällen, eine
eindeutige Korrespondenzbestimmung pixelweise und über Interpolation
sogar Subpixelweise möglich.
-
Die
Lösung
vermeidet die oben zitierten Probleme mit Farbauswertung, außerdem den
oben geschilderten allgemeinen Nachteil von Verfahren mit über das
Blickfeld kontinuierlichen, gegenläufigen Beleuchtungsmustern:
die Zufallsmuster dürfen
lokal hohen Kontrast besitzen. Der Lösung liegt die Erkenntnis zugrunde,
daß ein
lokal kontinuierlicher Verlauf, wie bisher vorgeschlagen, nicht
erforderlich ist. es genügt,
wenn bei korrespondierenden Punkten lokal der VERLAUF DES O.G. VERHÄLTNISSES
der Helligkeitswerte gleich oder sogar nur gleichartig ist. Es dürfen nur
nicht lokal periodisch sich wiederholende Verläufe von Verhältnissen
auftreten, um Mehrdeutigkeiten zu vermeiden. Bei Pseudo-Zufallsmustern
ist dies über
die Mindestlänge aus
geschlossen, bei Zufallsmustern aufgrund der Zufallsnatur unwahrscheinlich.
Dennoch gelegentlich auftretende Fälle können durch Wiederholung mit mindestens
einem weiteren Zufallsmuster so gut wie ausgeschlossen werden.
-
Die
oben geschilderten Probleme bei texturierten Beleuchtungmustern
mit texturelementeweiser Korrespondenzbestimmung werden durch das
pixelweise Arbeiten und über
die Verhältnisrechnung
vermieden; eine Bildanalyse zur Bestimmung der Position der Texturelemente
entfällt.
-
Andererseits
wird gerade aufgrund der texturartigen Zufallsmuster, mit pixelweiser
Verhältnisrechnung,
das o.g. Problem gegenläufiger
Beleuchtungsmuster über
das Blickfeld vermieden, dass sich bei ebener Vorlage die Helligkeitswerte
benachbarter Pixel nur wenig unterscheiden: aufgrund der Zufallsnatur
kann dieser Fall nur für
einzelne oder sehr wenigedirekt benachbarte Pixel auftreten.
-
Das
Verfahren kann vorteilhaft mehrfach mit verschiedenen Beleuchtungseinheiten,
jede bestehend aus einer oder mehreren Projektionseinheiten, realisiert
werden, mit Fusion der Ergebnisse, Lokal der global realisiert aufgrund
von Sicherheitsmaßen
(z.B. aufgrund Kontrast, Ausblenden von Ergebnissen aus Helligkeitsübersteuerten
Regionen) oder aufgrund Mittelung oder aufgrund Mehrheitsentscheidungen.
Ein besonders praxis relevanter Vorteil ist dabei das automatische
Unterdrücken
lokaler Übersteuerung
bei lokalem Glanz (Glanzwinkelbedingung nur für eine der Beleuchtungseinheiten
erfüllt).
-
Pixelweise
im Sinne der Ansprüche
heißt
für jeweils
eine Kamera, dass die Helligkeiten von Pixeln gleicher Bildkoordinaten
zueinander ins Verhältnis
gesetzt werden (oder zumindest näherungsweise
gleicher; lokale Mittelungen können
sinnvoll sein, z.B. für
Subpixelalgorithmen, ein systematischer kleiner Offset kann sich als
notwendig erweisen). Für
dynamische Szenen, z.B. bei bewegten Werkstücken, sind entsprechend dem Verschiebungsvektorfeld
(im Bildbereich) versetzte Pixel ins Verhältnis zu setzen. In einfachen
Fällen
(bekannte werkstückverschiebung,
z.B. auf Förderband,
langbrennweitige Betrachtung, geringe Höhenunterschiede) ist das Verschiebungsvektorfeld
priori bekannt. Mit kleiner werdender Brennweite und mit steigenden
Höhenunterschieden
ist jedoch das Verschiebungsvektorfeld zunehmend vom Endergebnis,
der Höhe
der Objektpunkte, abhängig.
Die Lösung
des Teufelskreises sollte mit iterativen Methoden möglich sein
(Schätzung
des Verschiebungsvektorfeldes mit zunehmender Genauigkeit, Optimierung
mit einem Gütemaß aus zu
minimierender mittlerer Tiefenvariation und zu maximierender Ähnlichkeit
aus korrespondierenden Verhältniswerten) – eine mathematische
Herausforderung, aber nach Einschätzung des Anmelders kein grundsätzlich unlösbares Problem.
-
Technische Realisierung
von Zufallsmustern:
-
Eine
erste technische Realisierung (Ohne Figur) ist die Verwendung eines
Beamers (Mikrospiegel-Array) zur programmierbaren Projektion von
Pseudozufallsmustern.
-
Im
folgenden werden anhand 1 bis 11 mehrere
erfindungsgemäße Lösungen beschrieben, wobei
solche ohne mechanische Bewegung vorgezogen werden.
-
Die
Anordnungen werden vorzugsweise so getroffen, dass die Zufallsmuster
im Bild grob entlang den epipolaren Linien verlaufen; quer dazu
ist es eher günstig,
wenn nur geringe Helligkeitsvariationen vorliegen (wichtig bei ungenauer
Kamerakalibrierung).
-
2 zeigt
eine Szene mit einer Unterlage 1a, auf der ein Werkstück 1b liegt.
Unterlage 1a und Werkstück 1b werden
kurz als Objekt 1 bezeichnet. Es ist die Höhe der Oberflächenpunkte von
Unterlage und Werkstück,
kurz der Objektpunkte, zu bestimmen. Die Szene kann natürlich auch
nur aus einem Ausschnitt eines Werkstückes bestehen. Die Szene wird über zwei
Stereo-Kameras 2 betrachtet und eine näherungsweise punktlichtförmige Lichtquelle 3 beleuchtet.
Im Beleuchtungs-Strahlengang
befindet sich eine Maske 4, lokal unterschiedlich transparent
in Form eines Pseudo-Zufallsmusters. Das Muster besteht vorzugsweise
aus Streifen die in den Bildern grob gesehen quer zu den epipolaren
Linien verlaufen. Die Maske ist durch elektrische Ansteuerung veränderbar,
z.B. wie von Flüssigkristallanzeigen
bekannt; auf diese Weise sind mit bekannter Display-Technik unterschiedliche
Muster realisierbar. Es ist damit auch möglich, ineinander verwobene
unterschiedliche Farbmuster zu realisieren. Die Lichtquelle sollte
möglichst
punkt-lichtförmig
sein, um eine allzu starke Überlagerung
von Strahlen unterschiedlicher Intensität zu vermeiden. Aus 3 links
ist ersichtlich, wie sich sonst an einem Punkt helle und dunkle
Stellen bei der Projektion überlagern
können.
Eine gewisse Verschmierung (Unschärfe) des abgebildeten Musters
macht jedoch prinzipiell nichts aus. Eine Verbesserung zeigt 3 rechts,
durch klassiche Abbildung mit einem Kondensor 6 und ein
Objektiv 7. Auch hier ist allerdings auf eine möglichst
kleine Apertur zu achten (Schärfentiefe).
Die Projektionseinheit 5 besteht hier aus Beleuchtung und
steuerbarer Maske, ggf. mit Kondensor und Objektiv.
-
Es
ist natürlich
möglich,
mit mehreren Projektionseinheiten zeitlich hintereinander zu arbeiten
und die Ergebnisse zu fusionieren (lokale Mittelung oder Auswahl
aufgrund von Qualitätsmaßen); sollen
sie gleichzeitig aktiv sein, so ist, wie in 4 dargestellt,
darauf zu achten, dass die projizierten Muster möglichst gut koinzidieren, ansonsten
kommt es, wie in 3 links, zur Überlagerung
heller und dunkler Musterstellen.
-
5 zeigt
eine Anordnung mit zwei nah benachbarten, näherungsweise punktförmigen Lichtquellen, z.B.
LEDs, deren Lichtkegel unterschiedliche Helligkeitsmuster ausstrahlen.
Man bemüht
sich beider Herstellung von LEDs um möglichst homogene Lichtkegel,
aufgrund von Unregelmäßigkeiten
der Oberflächen
(Linsen-Effekte), Materialeinschlüssen Luftblasen, Geometrieabweichungen
etc. ergeben sich jedoch mehr oder weniger zufällige inhomogene Strukturen.
Diese Dreckeffekte 10 können
dazu herangezogen werden, Zufallsmuster zu Projizieren. Solche Effekte
können
natürlich
teilweise auch absichtlich herbeigeführt werden. Man kann den gleichen
Effekt anstelle von Dreckeffekten auch durch Vorsatz einer entprechend
strukturierten Maske erreichen. Die beiden LEDs projizieren nun
einerseits unterschiedliche Zufallsmuster, projizieren jedoch andererseits
aufgrund ihrer Nähe
näherungsweise
aus dem gleichen Raumwinkel. In der Zeichnung besitzt die vordere
LED 8 einen stark strukturierten, die hintere 9 einen
homogenen Lichtkegel. Die Projektionseinheit 5 besteht
hier aus beiden LEDs und ggf. Maske.
-
6 zeigt
Anordnungen mit mehreren Projektionseinheiten. Wesentlich ist, daß sich die
Lichtkegel der Projektionseinheiten, sofern sie gleichzeitig eingeschaltet
sind, entweder nicht oder nur gering überlappen, oder daß sie gemäß 4 aufeinander
abgestimmt sind. Linienförmige
Projektionseinheiten nach 7 unten sollten
i.a. quer zu den epipolaren Linien orientiert sein; wie oben erwähnt sollten
die Zufallsmuster im Bild grob entlang den epipolaren Linien verlaufen
und quer dazu nur geringe Helligkeitsvariationen aufweisen.
-
7 zeigt
das Moiré-Prinzip,
zur Einführung
der Lösung
nach 8. 7 zeigt oben ein regelmäßiges Gitter 11,
darunter ein weiteres regelmäßiges Gitter
mit geringfügig
abweichender Gitterkonstante. Durch Überlagerung der Gitter 11 und 12 entsteht
ein Interferenzmuster (Mitte). Eine geringfügige Verschiebung der Gitter
gegeneinander verändert
die Phase des Referenzmusters grob (unten). 8 zeigt
in der oberen Doppelreihe die Überlagerung
eines gleichmäßigen Gitters 11 mit
einem Gitter 13, das gegenüber Gitter 11 pseudozufällige Abweichungen
der lokalen Gitterkonstanten besitzt. Hier entsteht durch Überlagerung
ein entprechendes pseudozufälliges
Muster. Das technisch Interessante daran ist, daß durch eine sehr kleine Änderung
der Relativlage der Gitter eine grobe Veränderung der pseudozufälligen Interferenzmuster
entsteht (8, zweite Doppelreihe). Man
kann also mit einer sehr kleinen Bewegung eines Gitters, z.B. durch
Piezoelemente, grobe Änderungen
an pseudozufälligen
Mustern erzeugen. Die dritte und die vierte Doppelreihe zeigen das
gleiche Prinzip, wobei zwei verschiedene pseudozufällige Muster
gleicher oder nahezu gleicher Gitterkonstante überlagert werden, bei denen
an zufälligen
Stellen Phasensprünge
um 180 Grad eingebaut sind (vorzugsweise so, daß keine zwei opake Striche
aufeinander folgen dürfen).
-
Eine
geringe Verdrehung der Muster gegeneinander führt zu einem Moiré, quer
zum erwünschten
Moiré,
dieses ist jedoch "langwellig" und deshalb nicht
störend.
-
8a zeigt
zur Ergänzung,
daß auch
bei Überlagerung
einfacher, pseudozufälliger
Strichmuster, sich durch eine Verschiebung unterschiedliche Zufallsmuster
erzeugen lassen. Hier allerdings ist eine größere Verschiebung erforderlich
als bei Moiré-Technik;
letztere ist daher vom Anmelder bevorzugt.
-
9 zeigt
eine Lösung
mit einer beweglichen Maske 14 mit festem Pseudozufallsmuster 15,
wobei sich die Maske im Beleuchtungskegel bewegt. Die zwei Bildaufnahmen
geschehen zu verschiedenen Zeitpunkten in der Weise, daß sie effektiv
mit verschiedenen Beleuchtungsmustern erfolgt. In der Zeichnung
wird speziell die Maske gedreht, sie kann natürlich ebensogut linear oder
rotatorisch oszillieren. Es ist lediglich bei den Bildaufnahmen
darauf zu achten, daß sie
für beide
Kameras exakt gleichzeitig und mit gleichen Integrationsintervallen
stattfinden. Diese Vorausetzung entfällt, wenn die Maske durch.
eine mechanische Einrichtung zwei diskrete feste Stellungen einnehmen
kann.
-
1:
zeigt eine bevorzugte Lösung
ohne Bewegung. Die Zufallsmuster werden hier, wie in 8 erläutert, in
Moirétechnik
durch Überlagerung
von Gittern realisiert, wobei bei mindestens einem die Gitterkonstante
in pseudo-zufälliger
Weise variiert. Erfindungsgemäß haben
die Gitter nun zueinander einen Abstand d, so dass sich bei Beleuchtung
aus unterschiedlicher Richtung unterschiedliche Moirémuster
ergeben, ohne dass eine mechanische Bewegung erforderlich wäre. Im Beispiel 1 sind
die Gitter grob gesehen quer zu den epipolaren Linien angeordnet,
so dass auch die Moiré-Zufallsmuster grob
gesehen quer zu den epipolaren Linien verlaufen. Im Beispiel ist
die Obere Maske 21 gleichförmig, die untere Maske 22 pseudozufällig strukturiert.
Beleuchtet wird die Szene über
eine Projektionseinheit, die aus zwei näherungsweise punktförmigen oder linienförmigen oder,
durch Zusammensetzung von punktförmigen
Quellen, linienförmigen
Lichtquellen besteht. 1 zeigt zwei Lichtquellen 23,
bestehend aus je zwei Reihen 26 von punktförmigen Quellen 27,
z.B. LEDs, die zusammen jeweis näherungsweise
linienförmige
Lichtquellen bilden; sie sind vorteilhaft zumindest näherungsweise
wie die Gitter ausgerichtet. Zur Erzeugung von zwei verschiedenen
Pseudo-Zufallsmustern werden die Reihen einer Projektionseinheit
einzeln eingeschaltet. Dadurch entstehen in der Szene unterschiedliche
Muster. Der große
Vorteil dieses Ansatzes besteht darin, dass a) keine Bewegung erforderlich
ist, dass b) die entstehenden Muster drastisch unterschiedlich sind,
dass c) trotzdem die Beleuchtung effektiv aus fast dem gleichen
Raumwinkel erfolgt (wichtig, s.o.) und dass d) die Charakteristik
der Pseudo-Zufallsmuster
an die Anwendung angepaßt
werden kann.
-
Mit
mehreren Projektionseinheiten 23, wie in 1 gezeigt,
kann zusätzlich,
mit den gleichen Gittern, ein (wiederum anderes) Paar von Pseudo-Zufallsmustern
erzeugt werden, das jedoch bei Beleuchtung aus einer bewußt anderen
Raumrichtung entsteht. Damit kann eine weitere, unabhängige Auswertung
mit Fusion der Ergebnisse realisier werden, wie oben für verschiedene
Beleuchtungseinheiten geschildert; Vorteile siehe auch dort.
-
Die
beschriebenen erfindungsgemäßen Lösungen mit
durchleuchteten Mustern, einschließlich Moiré bildenden Mustern, betreffen
natürlich
in analoger weise anstelle von Durchlicht auch entprechende Auflichtlösungen mit
lokal verschiedenartig reflektierenden Spiegelflächen.
-
10 zeigt
eine Maske, die aus einem transparenten Behälter 16 besteht, in
dem sich stochastisch teiltransparente Partikel 17 bewegen,
z.B. in einer Flüssigkeit.
Solch eine Anordnung könnte
z.B. in der Mikroskopie eine Rolle spielen. Auch hier ist darauf
zu achten, dass die Bildaufnahmen miteinander synchronisiert sind.
-
Natürlich können die
Lösungen
nach 9 und 10 ebenso wie die nach 2 durch
die klassische Projektionsanordnung mit Kondensor und Objektiv ergänzt werden
(3). Dies gilt auch für die Anordnung nach 1,
wobei man die Schärfenebene
zwischen die beiden Muster legen wird und über einen geeigneten Strahlengang
dafür sorgt,
dass bei den beiden Bildaufnahmen die wirksame Lichtquelle (analog
zur Pupille einer Aufnahmeanordnung) der Projektionsanordnung an
zwei leicht verschiedene Stellen zu liegen kommt (z.B. mit zwei
seitlich versetzten Lichtquellen vor dem Kondensor; die Lichtquelle
wird üblicherweise
in die Abbildungslinse abgebildet).
-
Eine
weitere Lösung
mit Bewegung (nicht gezeichnet) besteht darin, Beleuchtungselemente
mit zufällig
oder poseudozufällig
strukturiertem Lichtkegel, wie z.B. 5, Nr. 8,
eventuell an geordnet nach 6, zubewegen,
z.B. durch Vibration der Befestigung und ggf. zusätzlich durch
flexible Aufhängung
der Beleuchtungselemente.
-
11 zeigt
eine Scanner-Lösung:
ein Lichtschlitz wird auf eine Ablenkeinheit
18 projiziert,
in der Figur ein Dreh-Polygon
als Beispiel, und von dort auf die Szene. Die Lichtquelle
3 ist
hier beispielsweise eine Laser-Lichtquelle mit Zylinderlinse zur
Strahlaufweitung (nicht gezeichnet), wie bei Laserscannern üblich. Die Lichtquelle
wird in zufälliger
oder pseudozufälliger
Weise helligkeitsmoduliert. Integrationszeit der Kameras und Ablenkgeschwindigkeit
werden so aufeinander abgestimmt, dass innerhalb eines Integrationsintervalls
die Szene im interessierenden Bereich überstrichen wird. Es werden
je Kamera zwei Bildaufnahmen realisiert. Die Kameras brauchen nicht
mit der Ablenkeinheit abgestimmt zu sein. Dies ist ein Vorteil gegen
den oben geschilderten Ansatz
US
6600168 . Der Zufallsgenerator braucht weder mit den Kameras
noch mit der Ablenkeinheit synchronisiert zu sein.
-
Zur
Trennung der beiden Beleuchtungen sind Farbe und Polarisation zwar
möglich,
werden aber nicht bevorzugt; Farbe wegen der oben zitierten Probleme
bei Farbauswertung, Polarisation wegen möglicher betrachtungswinkelabhängiger Polarisationseffekte,
insbesondere auf nichtmetallischen Oberflächen (in der Nähe des Brewster
Winkels).
-
Zur
Realisierung mit Farbe geschehen die erste und die zweite Beleuchtung
mit unterschiedlichen Farben, vorzugsweise gleichzeitig, und die
Bildaufnahme mit Farbkameras um die Farbkanäle zu trennen.
-
Zur
Realisierung mit Polarisation geschehen die erste und die zweite
Beleuchtung mit unterschiedlicher Polarisation, vorzugsweise gleichzeitig,
und bei der Bildaufnahme werden die Kanäle durch Strahlteiler (z.B.
Strahlteilerwürfel,
halbdurchlässige
Spiegel) und nachgeschaltete Polarisationsfilter getrennt.
-
Vorteile:
-
Das
Verfahren funktioniert auch für
farbige Objekte, auch bei starker Farbsättigung (ein Problem bei der
Codierung mit Farbmustern, siehe [1]).
-
Es
sind für
die Erstellung eines kompletten Abstandsbildes nur 2 Aufnahmen mit
Standardkameras erforderlich.
-
Bei
klassichen Stereoverfahren ist die Korrespondenz nur bei Helligkeits-Diskontinuitäten berechenbar,
z.B. an Objektkanten. Mit den hier vorgestellten Verfahren gilt
diese Einschränkung
nicht; für
die Korrespondenzfindung entfällt
eine komplizierte Bildanalyse zur Bestimmung von Bildelementen (Kanten,
Ecken, Blobs etc).
-
Ein
wesentlicher Vorteil des Verfahren ist, dass lokale Diskontinuitäten der
Helligkeit, durch Färbung, Aufdruck,
Schmutz, Lunker, Markierungen, Bearbeitungsriefen, Ölfilm und
dgl. keine Rolle spielen (sie können für die Korrespondenzfindung
u.U. sogar hilfreich sein). Dies gilt auch für natürliche Strukturen, wie sie
z.B. bei Textilien auftreten.
-
Das
oben geschilderte Problem der Division durch kleine Zahlen (dunkle
Oberflächenpartie
und kleine Helligkeit) spielt hier insofern eine geringe Rolle,
als aufgrund des Zufallsstruktur nur kleine lokale Bereichen davon
betroffen sein können, weshalb
daraus nur geringe Disparitätsfehler
bei der Korrespondenzfindung resultieren.
-
Ein
anwendungstechnischer Vorteil besteht darin, dass die Beleuchtung
nicht kalibriert zu sein braucht. Man kann also einerseits eine
Einheit mit fest miteinander verbundenen vorkalibrierten Stereokameras
verwenden, andererseits eine oder mehrere Beleuchtungseinheiten,
bestehend aus einer oder mehreren Projektionseinheiten, die abhängig von
der konkreten Aufgabenstellung beliebig im Raum montierbar sind
(Zugänglichkeit,
Vermeiden von Glanzwinkeln und Schatten) ohne irgendeine Beleuchtungs-Kalibrierung
und ohne strikte Forderung an eine scharfe Abbildung der Zufallsmuster;
die Beleuchtungseinheiten müssen
nur die Objekte grob „treffen".
-
Natürlich kann
eine 2-Kamera-Stereoanordnung auch mit einer einzelnen Kamera in
verschiedenen Positionen realisiert werden, z.B. an einem Roboterarm.
-
Natürlich betrifft
das Verfahren genauso Anordnungen mit mehr als zwei Kameras, mit
Stereo auswertung jeweils zwischen Kamerapaaren; ggf mit Fusion
der Ergebnisse aufgrund von Sicherheitsmaßen (z.B. aufgrund Kontrast,
Ausblenden von Ergebnissen aus Helligkeits übersteuerten Regionen) oder
Mehrheitsentscheidungen.
-
Natürlich kann
die geschilderte Vorgehensweise auch mehrfach in verschiedener Lage
relativ zur Objektoberfläche
realisiert werden, z.B. mit dem Objekt oder mit Kameras und ggf.
auch Beleuchtung an einem Roboterarm, mit anschließender Fusion
der Ergebnisse.
-
Natürlich können die
hier geschilderten Verfahren auch für eine Kombination von Abstandsbildern
mit Grauwertbildern oder Farbbildern verwendet werden. Dies ist
z.B. bei Körperscannern
für Zwecke
der Visualisierung üblich.
-
Nicht-Patent Literatur:
-
- [1] Review of 20 years of range sensor development. Journal
of Electronic Imaging, 13 (1): 231–240. Jan. 2004. National Research
Council Canada.
- [2] Paul J. Besl: Active, Optical Range Imaging Sensors. Machine
Vision and Applications. (1988) 1:127–152.
- [3] Yi Ma, Stefano Soatto, Jana Kosecka, S. Shankar Sastry:
An Invitation to 3D, Springer Verlag 2004.
- [4] J. Battle, E. Mouaddib, J. Salvi: Recent Progress in Coded
Structured Light as a Technique to Solve the Correspondence Problem.
A Survey. Pattern Recognition, Vol. 31, No. 7, p 963–982, 1998.
- [5] http://www.3dmd.com/AboutUs/Technology.asp, heruntergeladen
am 7. Jan. 2006
- [6] D. Viejo, J. M. Sa'z,
M.A. Cazorla, F. Escolano: Active Stereo Based Compact Mapping.
Proc. of the IEEE/RSJ Intern. Conf. on Intell. Robots and Systems.
Canada, August 2005