-
Die
Erfindung betrifft 3D-Rekonstruktion von statischen Szenen aus 2D-Bilddaten
durch vereinheitlichte Kombination von geometrischen und photometrischen
Verfahren gemäß dem Oberbegriff
des Patentanspruchs 1.
-
Insbesondere
in der industriellen Bildverarbeitung besteht zunehmend die Anforderung
aus zweidimensionalen Bilddaten die dreidimensionale Struktur von
Werkstücken
oder von Oberflächen
derselben zu rekonstruieren. Hierzu ist eine Vielzahl möglicher
Bildverarbeitungsalgorithmen bekannt.
-
Faugeras
(O. Faugeras, Three-Dimensional Computer Vision – A Geometric Viewpoint, MIT
Press, Cambridge, USA, 1993) und Kraus (K. Kraus, Photogrammetrie,
Band 1, 7. Auflage, de Gruyter, 2004) beschreiben eine Methode zur
3D-Rekonstruktion
einer Szene gemäß der Methode
des Structure from Motion (SFM). Hierbei erfolgt die Rekonstruktion
der Szene durch simultane Bestimmung der internen und externen Kameraparameter
(bis auf eine Skalierungskonstante) aus mehreren von verschiedenen
Orten aufgenommenen Bildern der Szene. Hierbei wird die Position
von geeigneten Bildmerkmalen (meist Ecken oder Kanten) über die
Bildsequenz unter Einsatz eines Tracking-Verfahrens verfolgt, so
daß Korrespondenzen
zwischen den Merkmalen in den einzelnen Bildern hergestellt werden
können – es ist
also bekannt, welche Bildmerkmale zum selben physikalischen Objekt
bzw. Objektteil in der Szene gehören.
Die simultane Bestimmung der internen und externen Kameraparameter
(und damit also „ganz
nebenbei" auch der
3D-Struktur der
Szene) erfolgt üblicherweise
mit der Methode des Bündelausgleichs
(Bundle Adjustment) durch Minimierung einer geeigneten Fehlerfunktion.
Stereoskopische Verfahren zur 3D-Szenenrekonstruktion
stellen eine Untermenge des Bündelausgleichsverfahrens
dar.
-
Die
Rekonstruktion einer Oberfläche
bzw. ihres Gradientenfeldes anhand des Intensitätsverlaufs im Bild unter Einbeziehung
von Annahmen über
das Reflexionsverhalten der Oberfläche wird Shape from Shading
(SFS) genannt. Bei diffuser Reflexion lässt sich mit drei von geeignet
verteilten Orten aufgenommenen Bildern der Oberfläche eine
eindeutige Lösung
für die
Gradienten und den Höhenverlauf
der Oberfläche und
ihre ortsabhängige
Albedo ableiten. Aus einem einzigen Bild ist eine eindeutige Lösung (wenn überhaupt) nur
unter Einbeziehung von Rand- oder Regularisierungsbedingungen, also
bestimmten Annahmen über
die Gestalt der Oberfläche,
zu erhalten. Insbesondere geeignete Randbedingungen sind oftmals
nicht verfügbar, wodurch
das Rekonstruktionsproblem stark mehrdeutig wird. Details hierzu
finden sich bei Horn und Brooks (B. K. P. Horn, M. J. Brooks, Shape
from Shading. MIT Press, Cambridge, USA, 1989).
-
Anstatt
allein anhand der Reflektanz kann zur Bestimmung des Gradientenfeldes
einer Oberfläche auch
ihr Polarisationsverhalten verwendet werden (Shape from Polarization,
SFP). Die Polarisationseigenschaften, gegeben durch Polarisationsgrad
und -richtung, glatter dielektrischer Oberflächen sind durch ein einfaches
Modell gegeben; so beispielsweise beschrieben von Miyazaki (D. Miyazaki,
M. Kagesawa, K. Ikeuchi, Transparent Surface Modeling from a Pair
of Polarization Images, IEEE Transactions on Pattern Analysis and Machine
Intelligence, vol. 26, no. 1, 2004). Glatte metallische Oberflächen polarisieren
einfallendes unpolarisiertes Licht nicht, rauhe metallische Oberflächen (z.
B. Guß-
und Schmiedeeisen) bewirken allerdings eine gut messbare Polarisation.
Ein physikalisches Modell für
solche rauhen metallischen Oberflächen existiert derzeit nicht,
so dass die Polarisationseigenschaften durch Messung z. B. mittels
eines Goniometers ermittelt und anschließend durch Ablegen in einer
Tabelle oder Anpassung eines geeigneten analytischen Zusammenhangs,
z. B. eines Polynoms, dem Rekonstruktionsverfahren zur Verfügung gestellt
werden müssen;
ein derartiges Verfahren wird beispielsweise in der nachveröffentlichten
deutschen Patentanmeldung Nr. 102004062461.5 beschrieben. Rahmann
und Canterakis (S. Rahmann, N. Canterakis, Reconstruction of Specular
Surfaces using Polarization Imaging, IEEE Computer Society Conference
on Computer Vision and Pattern Recognition (CVPR), volume I, pp.
149-155, IEEE Computer Society Press, Kauai, USA, December 2001) beschreiben,
dass man aus dem Polarisationsgrad und/oder der Polarisationsrichtung
in derselben Weise wie bei der SFS-Methode eine Lösung für das Feld
der Oberflächengradienten
und damit auch der Oberfläche selbst
bestimmen kann. Abhängig
von den Polarisationseigenschaften der Oberfläche und der Anzahl der verfügbaren Bilder
ist diese Lösung
eindeutig, mehrdeutig oder unendlich vieldeutig, so dass wie bei
der SFS-Methode gegebenenfalls geeignete Regularisierungsbedingungen
einzuführen
sind.
-
Die
Bestimmung der Entfernung eines Objekts in der Szene von der Kamera
mittels Depth from Defocus (DFD) erfolgt durch Schätzung der
sog. Point Spread Function (PSF), d. h. der Intensitätsverteilung,
in die eine punktförmige
Licht quelle durch das Objektiv und den Bildsensor transformiert
wird, aus einem einzigen oder mehreren unterschiedlich fokussierten
pixelsynchronen Bildern der Szene. Wurde das Objektiv entsprechend
kalibriert, lässt
sich aus der PSF direkt der Abstand des betreffenden Objekts von
der Kamera ableiten. Details zu diesem Verfahren wurden auch durch
Chaudhuri (S. Chaudhuri, A. N. Rajagopalan, Depth from Defocus,
Springer-Verlag
Telos, 1999) beschrieben. Bildregionen, die einen hohen Intensitätsgradienten
aufweisen, sind in besonderer Weise zur Bestimmung der PSF geeignet,
da sich letztere vor allem durch ihre Auswirkung auf die hohen Ortsfrequenzen
im Bild bemerkbar macht.
-
Jedes
dieser aus dem Stand der Technik bekannten Verfahren zur Rekonstruktion
der dreidimensionalen Parameter einer Szene aus zweidimensionalen
Bilddatensätzen
liefert nur unter jeweils unterschiedlichen Voraussetzungen gute
Ergebnisse. Mit SFM lassen sich nur diejenigen Objektteile rekonstruieren,
die einen hohen Intensitätsgradienten
im Bild aufweisen, also meist Objektkanten und -ecken, da nur solche
Gebiete in der Bildsequenz hinreichend präzise verfolgt werden können. Darüber hinaus
beeinträchtigen
Fehlkorrespondenzen die Qualität
des Rekonstruktionsergebnisses erheblich. DFD liefert im Prinzip
für jeden
Punkt im Bild einen Entfernungswert. Auch hier ist allerdings zur
vernünftigen
Abschätzung
der PSF ein hoher Intensitätsgradient
erforderlich, in gleichförmig
hellen Bildregionen generiert das Verfahren keine präzisen Daten.
Außerdem
beeinträchtigen
Sensorrauschen und ungenaue Kalibrierung des Objektivs die Genauigkeit
der ermittelten Tiefenwerte. Mit SFS lassen sich oftmals nur unter
Kenntnis von Randwerten eindeutige Lösungen erhalten. Die Qualität des Rekonstruktionsergebnisses
ist in Bildbereichen mit nur schwach veränderlicher Intensität am besten.
SFP weist in diesem Zusammenhang ähnliche Eigenschaften auf wie SFS.
Die einzelnen Verfahren lösen
somit nur jeweils einen Teil des 3D-Rekonstruktionsproblems. Dichte
und unabhängig
vom Ort in der Szene präzise
Entfernungsdaten lassen sich so nicht gewinnen.
-
Bei
den neuesten Ansätzen
zur Rekonstruktion von 3D-Bildszenen
werden aus dem Stand der Technik bekannte Verfahren bereits auf
algorithmischer Ebene miteinander fusioniert. So beschreiben Wang
und Qi (Z. Wang, F. Qi, Shape and motion from simultaneous equations
with closed-loop solution, Journal of the pattern recognition society,
pp. 2257-2260, Elsevier Ltd., 2004) einen neuen Rekonstruktionsalgorithmus,
welcher die Methoden des SFM und des SFS miteinander verbindet.
-
Aufgabe
der Erfindung ist es deshalb, ein Verfahren zur 3D-Rekonstruktion
von statischen Szenen aus 2D-Bilddaten zu finden, welches bei unterschiedlichsten
Randbedingungen dichte und vom Ort unabhängige präzise Entfernungsdaten erzeugt.
-
Die
Aufgabe wird durch ein Verfahren mit den Merkmalen des Patentanspruchs
1 gelöst.
Vorteilhafte Ausgestaltungen und Weiterentwicklungen des Verfahrens
werden durch die Unteransprüche
beschrieben.
-
Ausgangspunkt
der erfindungsgemäßen Lösung des
Rekonstruktionsproblems ist die Kombination bzw. die Fusion der
aus dem Stand der Technik bekannten Verfahren bereits auf der algorithmischen
Ebene. Hierzu werden zur 3D-Rekonstruktion einer statischen Szene
aus 2D-Bilddaten von dieser Szene mittels eines Bildsensors 2D-Bilddaten
erfasst. Hiernach werden auf Basis der Methode des Depth from Defocus
(DFD) die Inten sitätsverteilung,
in die eine punktförmige
Lichtquelle durch das Objektiv und den Bildsensor transformiert wird,
aus mehreren unterschiedlich fokussierten pixelsynchronen Bildern
der Szene geschätzt.
Dies entspricht der Ermittlung der Point Spread Function (PSF) für alle oder
einzelne Bildpunkte aus denen die statische Szene rekonstruiert
werden soll. In erfinderischer weise werden die Bilder der zu rekonstruierenden
Szene zusätzlich
daraufhin untersucht, ob sie genügend
Bereiche mit ausreichendem Intensitätsgradienten aufweisen, welche
im Rahmen der Anwendung der Methode des Structure from Motion (SFM)
in einer Sequenz von Bildern verfolgt werden können. Weist die zu rekonstruierende
Szene Bereiche mit ausreichendem Intensitätsgradienten auf, so wird diese
Szene mittels der Methode des Shape from Motion (SFM) rekonstruiert,
wobei die ermittelte PSF einen Parameter der der SFM zugrunde liegenden
Fehlerfunktion bildet. Anderenfalls wird die Szene mittels der Methode
des Shape from Shading (SFS) rekonstruiert, wobei die ermittelte
PSF zur Korrektur der Fehlerfunktion des SFS dient. Dies wurde entsprechend
auch durch Chaudhuri (S. Chaudhuri, A. N. Rajagopalan, Depth from
Defocus, Springer-Verlag Telos, 1999) beschrieben.
-
Ob
ein Bildbereich innerhalb des Bildes der zu rekonstruierenden Szene
einen ausreichenden Intensitätsgradienten
zur Anwendung der Methode des Shape from Motion (SFM) vorweist,
kann beispielsweise mit Hilfe des beim Harris Corner Detektors verwendeten
Strukturtensors C
ermittelt werden, wozu hierbei
die Summen über
die Pixel in der Nachbarschaft des betrachteten Pixels I gebildet
werden.
-
Ergibt
sich für
einen frei wählbaren,
insbesondere applikationsspezifisch experimentell bestimmbaren, Schwellwert
S, dass S < det(C) – k·trace(C)2 (2),wobei
k eine kleine Zahl, insbesondere 0.04 ist, so kann davon ausgegangen
werden, dass ein Bildbereich einen für die Anwendung des SFM ausreichenden
Intensitätsgradienten
aufweist.
-
Ob
für die
Anwendung des SFM in genügender
Zahl derartige Bildbereiche mit ausreichendem Intensitätsgradienten
im Bild der zu rekonstruierenden Szene vorhanden sind ergibt sich
daraus, ob sich hierdurch die externen und internen Kameraparameter,
beispielsweise mittels der Methode des Bündelausgleichs (Bundle Adjustment),
bestimmen lassen.
-
Stehen
zusätzliche
Informationen oder Angaben, insbesondere über Randbedingungen, über die
Szene zur Verfügung,
so ist es gewinnbringend auch möglich
die Point Spread Function (PSF) mittels der Methode des Depth from
Defocus (DFD) bereits aus einem einzigen Bild der Szene an Stelle
einer Mehrzahl von Bildern zu bestimmen.
-
Bei
der SFM-Methode wird mit dem Optimierungsverfahren des Bündelausgleichs
eine Fehlerfunktion ESFM({Xi,Yi,Zi,ui,vi,}) (3)optimiert,
die im Wesentlichen von den 3D-Positionen {Xi,Yi,Zi} der Korrespondenzpunkte
in der Szene und ihren daraus resultierenden projizierten 2D-Positionen
{ui,vi} im Bild
abhängt.
Anstatt eine einzelne Kamera in der Szene zu bewegen, ist es selbstverständlich auch
denkbar mehrere, an unterschiedlichen Positionen installierte, statische
Kameras zu verwenden, im einfachsten Fall ein Stereo-Kamerapaar,
ohne dass dies die Eigenschaften des hier beschriebenen Ansatzes ändert. Im
Sinne einer Fusion wird die Fehlerfunktion ESFM um einen
Term EDFD ergänzt, der die Abweichung der
ermittelten Entfernungen der Korrespondenzpunkte von der Kamera
von ihren gemäß dem DFD-Ansatz
erwarteten Entfernungen beschreibt: E = ESFM + λ·EDFD, λ > 0 (4).
-
Diese
Kombination ist vorteilhaft, weil es sich bei den Korrespondenzpunkten
stets um Bildbereiche mit hohem Intensitätsgradienten handelt, denn
ansonsten wäre
eine Korrespondenzbildung nur ungenau oder gar nicht möglich, und
auch der DFD-Ansatz liefert für
solche Bildbereiche die besten Ergebnisse. Fehler beim Bündelausgleich,
die beispielsweise auf eine ungenaue Bestimmung der Koordinaten
der Korrespondenzpunkte im Bild zurückzuführen sind, können so
kompensiert werden. Der DFD-Fehler EDFD wirkt
daher als Regularisierungsbedingung.
-
In
Bildregionen mit geringem Intensitätsgradienten kann die 3D-Position
der zugehörigen
Szenenpunkte nicht oder nur sehr ungenau durch Bündelausgleich bestimmt werden,
weil eine Korrespondenzanalyse hier oft nicht möglich ist. Für die zugehörigen Bereiche
der Szene bietet sich die Integration von mit der SFS-Methode ermittelter
Tiefeninformation an. Im Allgemeinen ist die Fokussierung der Objekte
der Szene über
das Bildfeld hinweg nicht konstant, sondern von der jeweiligen Entfernung
abhängig.
Diese örtlich
variable Bildunschärfe
kann als Merkmal zur 3D-Rekonstruktion der Szene nach der DFD-Methode
dienen. Aus diesem Grunde ist bei der 3D-Rekonstruktion von schwach strukturierten
Objektteilen mit der SFS-Methode die Berücksichtigung der durch die
jeweilige Defokussierung verursachten Bildunschärfe bzw. der resultierenden PSF
unerlässlich.
Im einfachsten Falle lässt
sich die durch Defokussierung hervorgerufene Bildunschärfe als Faltung
des ungestörten
Bildes mit einer rotationssymmetrischen gauß schen PSF der Breite σ beschreiben. Das
DFD-Verfahren schätzt
im Zuge der Entfernungsbestimmung eines Szenenpunktes die Form der
PSF, hier speziell den Parameter σ,
für den
zugehörigen
Bildbereich.
-
Die
so erhaltene PSF wird dann in einer bereits durch Joshi et. al (M.
V. Joshi, S. Chaudhuri. Photometric Stereo Under Blurred Observations.
17th Int. Conf. on Pattern Recognition, vol. 3, pp. 169-172, Cambridge,
UK, 2004) beschriebenen Weise direkt in die 3D-Rekonstruktion der
Oberfläche
durch SFS einbezogen. Hierbei wird der Intensitätsfehler unter Einbeziehung
der PSF beschrieben als
mit I als dem gemessenen
Pixelwert, R als dem entsprechenden Wert im rekonstruierten Bild
und G der entsprechenden PSF mit welcher die Werte R gefaltet werden.
Hierbei bietet es sich jedoch gewinnbringend an, nicht wie durch
Joshi beschrieben die PSF parallel zu den Parametern der SFS aus
dem Bild mitzuschätzen, sondern
die PSF vorab mittels der DFD-Methode zu ermitteln und im Rahmen
des von Joshi beschriebenen SFS-Verfahrens
fest vorzugeben.
-
In
besonders vorteilhafter Weise wird hierdurch als Ergebnis dieses
Verfahrens, eine durch SFS im 3D-Raum rekonstruierte Oberfläche, so
bestimmt wurde, dass ihr Verlauf (z. B. im Sinne eines Abstandsmaßes im 3D-Szenenraum)
möglichst
gut mit einer in anderen Bildbereichen (Bereiche mit hohen Intensitätsgradienten)
durch Kombination von DFM und DFD, entsprechend obiger Beschreibung,
rekonstruierten Szene verträglich
ist.
-
Zur
weiteren Regularisierung des SFS-Verfahrens kann zusätzlich Schatteninformation
in der von Wöhler
(C. Wöhler,
3D surface reconstruction by self-consistent fusion of shading and
shadow features, 17th Int. Conf. on Pattern Recognition, vol. 2,
pp. 204-207, Cambridge, UK, 2004) beschriebenen Weise herangezogen
werden. Darüber
hinaus ist die Verwendung von Polarisationsinformation durch Kombination
von SFS mit SFP entsprechend der in der nachveröffentlichten deutschen Patentanmeldung
Nr. 102004062461.5 beschriebenen Weise direkt möglich.
-
Häufig ist
es schwierig die Methode des Shape from Shading SFS so zu parametrisieren,
dass sie hin zu einer eindeutigen Lösung konvergiert. Dies ist
oft nur unter Einbeziehung von Rand- oder Regularisierungsbedingungen
möglich.
Besonders vorteilhaft ist es deshalb Randbedingungen, die eine eindeutige
(oder auf wenige Möglichkeiten
beschränkte)
Lösung
des Shape-from-Shading-Problems liefern, aus Szenenpunkten bzw.
-bereichen herzuleiten, die am Rand der Bildregion liegen und welche
einen ausreichenden Intensitätsgradienten
aufweisen, so dass deren 3D-Position in der Szene mittels Structure
from Motion (SFM) ermittelt werden kann. Hierzu kann gewinnbringend
wie vorab beschrieben das SFM mit der Methode des DFD kombiniert
werden.
-
Andererseits
ist es aber sehr wohl auch denkbar aus den am Rand der Bildregion
liegenden Szenenpunkten oder Szenenbereichen fehlerbehaftete Größen zur
Verbesserung der Rekonstruktion auf Basis der Methode des SFS herzuleiten.
-
In
besonders gewinnbringender Weise lässt sich die 3D-Rekonstruktion weiter
verbessern, wenn auch Informationen über Tiefendifferenzen direkt
in die Minimierung der im Rahmen der Methode des SFM oder der Methode
des SFS verwandten Fehlerfunktionen einfließen. Diese Tiefendifferenzen
können
aus beliebigen Quellen stammen und müssen im Kamerakoordinatensystem
bekannt sein. Dabei werden die Tiefendifferenzen nicht als fehlerfreie
Randbedingungen verwendet, sondern beispielsweise im Sinne des Minimierungsverfahrens
der kleinsten Fehlerquadrate zusammen mit den anderen fehlerbehafteten
Messwerten (beispielsweise Intensitäts- und Polarisationswerte)
betrachtet werden. Besonders geeignete Tiefeninformation lässt sich beispielsweise
durch Stereobildverarbeitung, Schattenanalyse oder Lasertriangulation
ermitteln.
-
In
besonders vorteilhafter Weise eignet sich die Erfindung zur Inspektion
von Oberflächen
bzw. Werkstücken
bei der Produktion und Prüfung
industrieller Werkstücke.
Insbesondere lässt
sich dieses vorteilhafte Inspektionsverfahren gewinnbringend in
einen Produktionsablauf integrieren.
