-
Die
Erfindung betrifft 3D-Rekonstruktion von statischen Szenen aus 2D-Bilddaten
durch vereinheitlichte Kombination von geometrischen und photometrischen
Verfahren gemäß dem Oberbegriff
des Patentanspruchs 1.
-
Insbesondere
in der industriellen Bildverarbeitung besteht zunehmend die Anforderung
aus zweidimensionalen Bilddaten die dreidimensionale Struktur von
Werkstücken
oder von Oberflächen
derselben zu rekonstruieren. Hierzu ist eine Vielzahl möglicher
Bildverarbeitungsalgorithmen bekannt.
-
Faugeras
(O. Faugeras, Three-Dimensional Computer Vision – A Geometric Viewpoint, MIT
Press, Cambridge, USA, 1993) und Kraus (K. Kraus, Photogrammetrie,
Band 1, 7. Auflage, de Gruyter, 2004) beschreiben eine Methode zur
3D-Rekonstruktion
einer Szene gemäß der Methode
des Structure from Motion (SFM). Hierbei erfolgt die Rekonstruktion
der Szene durch simultane Bestimmung der internen und externen Kameraparameter
(bis auf eine Skalierungskonstante) aus mehreren von verschiedenen
Orten aufgenommenen Bildern der Szene. Hierbei wird die Position
von geeigneten Bildmerkmalen (meist Ecken oder Kanten) über die
Bildsequenz unter Einsatz eines Tracking-Verfahrens verfolgt, so
daß Korrespondenzen
zwischen den Merkmalen in den einzelnen Bildern hergestellt werden
können – es ist
also bekannt, welche Bildmerkmale zum selben physikalischen Objekt
bzw. Objektteil in der Szene gehören.
Die simultane Bestimmung der internen und externen Kameraparameter
(und damit also „ganz
nebenbei" auch der
3D-Struktur der
Szene) erfolgt üblicherweise
mit der Methode des Bündelausgleichs
(Bundle Adjustment) durch Minimierung einer geeigneten Fehlerfunktion.
Stereoskopische Verfahren zur 3D-Szenenrekonstruktion
stellen eine Untermenge des Bündelausgleichsverfahrens
dar.
-
Die
Rekonstruktion einer Oberfläche
bzw. ihres Gradientenfeldes anhand des Intensitätsverlaufs im Bild unter Einbeziehung
von Annahmen über
das Reflexionsverhalten der Oberfläche wird Shape from Shading
(SFS) genannt. Bei diffuser Reflexion lässt sich mit drei von geeignet
verteilten Orten aufgenommenen Bildern der Oberfläche eine
eindeutige Lösung
für die
Gradienten und den Höhenverlauf
der Oberfläche und
ihre ortsabhängige
Albedo ableiten. Aus einem einzigen Bild ist eine eindeutige Lösung (wenn überhaupt) nur
unter Einbeziehung von Rand- oder Regularisierungsbedingungen, also
bestimmten Annahmen über
die Gestalt der Oberfläche,
zu erhalten. Insbesondere geeignete Randbedingungen sind oftmals
nicht verfügbar, wodurch
das Rekonstruktionsproblem stark mehrdeutig wird. Details hierzu
finden sich bei Horn und Brooks (B. K. P. Horn, M. J. Brooks, Shape
from Shading. MIT Press, Cambridge, USA, 1989).
-
Anstatt
allein anhand der Reflektanz kann zur Bestimmung des Gradientenfeldes
einer Oberfläche auch
ihr Polarisationsverhalten verwendet werden (Shape from Polarization,
SFP). Die Polarisationseigenschaften, gegeben durch Polarisationsgrad
und -richtung, glatter dielektrischer Oberflächen sind durch ein einfaches
Modell gegeben; so beispielsweise beschrieben von Miyazaki (D. Miyazaki,
M. Kagesawa, K. Ikeu chi, Transparent Surface Modeling from a Pair
of Polarization Images, IEEE Transactions on Pattern Analysis and Machine
Intelligence, vol. 26, no. 1, 2004). Glatte metallische Oberflächen polarisieren
einfallendes unpolarisiertes Licht nicht, rauhe metallische Oberflächen (z.
B. Guß-
und Schmiedeeisen) bewirken allerdings eine gut messbare Polarisation.
Ein physikalisches Modell für
solche rauhen metallischen Oberflächen existiert derzeit nicht,
so dass die Polarisationseigenschaften durch Messung z. B. mittels
eines Goniometers ermittelt und anschließend durch Ablegen in einer
Tabelle oder Anpassung eines geeigneten analytischen Zusammenhangs,
z. B. eines Polynoms, dem Rekonstruktionsverfahren zur Verfügung gestellt
werden müssen;
ein derartiges Verfahren wird beispielsweise in der nachveröffentlichten
deutschen Patentanmeldung Nr. 102004062461.5 beschrieben. Rahmann
und Canterakis (S. Rahmann, N. Canterakis, Reconstruction of Specular
Surfaces using Polarization Imaging, IEEE Computer Society Conference
on Computer Vision and Pattern Recognition (CVPR), volume I, pp.
149–155,
IEEE Computer Society Press, Kauai, USA, December 2001) beschreiben,
dass man aus dem Polarisationsgrad und/oder der Polarisationsrichtung
in derselben Weise wie bei der SFS-Methode eine Lösung für das Feld
der Oberflächengradienten
und damit auch der Oberfläche selbst
bestimmen kann. Abhängig
von den Polarisationseigenschaften der Oberfläche und der Anzahl der verfügbaren Bilder
ist diese Lösung
eindeutig, mehrdeutig oder unendlich vieldeutig, so dass wie bei
der SFS-Methode gegebenenfalls geeignete Regularisierungsbedingungen
einzuführen
sind.
-
Die
Bestimmung der Entfernung eines Objekts in der Szene von der Kamera
mittels Depth from Defocus (DFD) erfolgt durch Schätzung der
sog. Point Spread Function (PSF), d. h. der Intensitätsverteilung,
in die eine punktförmige
Lichtquelle durch das Objektiv und den Bildsensor transformiert wird,
aus einem einzigen oder mehreren unterschiedlich fokussierten pixelsynchronen
Bildern der Szene. Wurde das Objektiv entsprechend kalibriert, lässt sich
aus der PSF direkt der Abstand des betreffenden Objekts von der
Kamera ableiten. Details zu diesem Verfahren wurden auch durch Chaudhuri
(S. Chaudhuri, A. N. Rajagopalan, Depth from Defocus, Springer-Verlag Telos, 1999)
beschrieben. Bildregionen, die einen hohen Intensitätsgradienten
aufweisen, sind in besonderer Weise zur Bestimmung der PSF geeignet,
da sich letztere vor allem durch ihre Auswirkung auf die hohen Ortsfrequenzen
im Bild bemerkbar macht.
-
Jedes
dieser aus dem Stand der Technik bekannten Verfahren zur Rekonstruktion
der dreidimensionalen Parameter einer Szene aus zweidimensionalen
Bilddatensätzen
liefert nur unter jeweils unterschiedlichen Voraussetzungen gute
Ergebnisse. Mit SFM lassen sich nur diejenigen Objektteile rekonstruieren,
die einen hohen Intensitätsgradienten
im Bild aufweisen, also meist Objektkanten und -ecken, da nur solche
Gebiete in der Bildsequenz hinreichend präzise verfolgt werden können. Darüber hinaus
beeinträchtigen
Fehlkorrespondenzen die Qualität
des Rekonstruktionsergebnisses erheblich. DFD liefert im Prinzip
für jeden
Punkt im Bild einen Entfernungswert. Auch hier ist allerdings zur
vernünftigen
Abschätzung
der PSF ein hoher Intensitätsgradient
erforderlich, in gleichförmig
hellen Bildregionen generiert das Verfahren keine präzisen Daten.
Außerdem
beeinträchtigen
Sensorrauschen und ungenaue Kalibrierung des Objektivs die Genauigkeit
der ermittelten Tiefenwerte. Mit SFS lassen sich oftmals nur unter
Kenntnis von Randwerten eindeutige Lösungen erhalten. Die Qualität des Rekonstruktionsergebnisses
ist in Bildbereichen mit nur schwach veränderlicher Intensität am besten.
SFP weist in diesem Zusammenhang ähnliche Eigenschaften auf wie
SFS. Die einzelnen Verfahren lösen
somit nur jeweils einen Teil des 3D-Rekonstruktionsproblems. Dichte
und unabhängig
vom Ort in der Szene präzise
Entfernungsdaten lassen sich so nicht gewinnen.
-
Bei
den neuesten Ansätzen
zur Rekonstruktion von 3D-Bildszenen
werden aus dem Stand der Technik bekannte Verfahren bereits auf
algorithmischer Ebene miteinander fusioniert. So beschreiben Wang
und Qi (Z. Wang, F. Qi, Shape and motion from simultaneous equations
with closed-loop solution, Journal of the pattern recognition society,
pp. 2257–2260,
Elsevier Ltd., 2004) einen neuen Rekonstruktionsalgorithmus, welcher
die Methoden des SFM und des SFS miteinander verbindet.
-
Aufgabe
der Erfindung ist es deshalb, ein Verfahren zur 3D-Rekonstruktion
von statischen Szenen aus 2D-Bilddaten zu finden, welches bei unterschiedlichsten
Randbedingungen dichte und vom Ort unabhängige präzise Entfernungsdaten erzeugt.
-
Die
Aufgabe wird durch ein Verfahren mit den Merkmalen des Patentanspruchs
1 gelöst.
Vorteilhafte Ausgestaltungen und Weiterentwicklungen des Verfahrens
werden durch die Unteransprüche
beschrieben.
-
Bei
dem Verfahren zur 3D-Rekonstruktion einer statischen Szene aus 2D-Bilddaten
werden mittels eines Bildsensors 2D-Bilddaten der Szene erfasst.
Auf Basis der Methode des Depth from Defocus (DFD) eine Intensitätsverteilung,
in die eine punktförmige
Lichtquelle durch ein Objektiv und einen Bildsensor transformiert wird,
aus einer Sequenz mehrerer unterschiedlich fokussierter Bilder der
Szene geschätzt
wird, was der Ermittlung einer Point Spread Function (PSF) für einzelne
Bildpunkte aus denen die statische Szene rekonstruiert werden soll
entspricht. Die eigentliche Rekonstruktion der Szene aus den Bilddaten
erfolgt sodann mittels der Methode des Shape from Motion (SFM),
wobei die ermittelte PSF einen Parameter einer der Methode des SFM
zugrunde liegenden Fehlerfunktion bildet.
-
Durch
diese erfinderische Kombination der Methode des DFD und der Methode
des SFM wird es nun in besonders vorteilhafter Weise möglich absolute
Entfernungswerte für
die Rekonstruktion der beobachteten Szene zu ermitteln. Entgegen
dem aus dem Stand der Technik bekannten ist hierzu keine Kalibration
oder aufwändige
Justage der Kameraanordnung notwendig, wie dies beispielsweise bei
der Verwendung einer eine Stereokameraanordnung notwendig wäre. Während beim
Stand der Technik die absoluten Entfernungsmesswerte durch die zusätzliche
Anwendung der Methode des DFD einzig in ihrer Präzision verbessert werden (Rajagopalan,
A.N. et al.; Depth Estimation and Image Restauration Using Defocused
Stereo Pairs; IEEE Transactions on Pattern Analysis and Machine
Intelligence, 26 (1), S. 1521–1525,
2004; -oder- Klarquist, W.N. et al.; Maximum-Likelihood Depth-from-Defocus
for Active Vision; IEEE/RSJ Int. Conf. on Intelligent Robots and
Systems 95, Vol. 3, S. 374–379,
1995), wird durch die Erfindung der Stand der Technik durch ein
neuartiges Verfahren bereichert, welche die Bestimmung absoluter
Entfernungsmesswerte mittels einfacher Messtechnik, ohne die Notwendigkeit
einer externen Kalibrierung ermöglicht.
So ergibt sich bereits eine absolute Entfernungsmessung mittels
einer Monokamera, welche die Bilder einer sich bewegenden Szene
erfasst.
-
Die
beiden Methoden DFD und SFM ergänzen
sich somit in synergetischer Weise indem die die Methode des DFD,
welche an sich relativ ungenaue Informationen über die Struktur einer Szene
aber gute Tiefeninformation hierüber
liefert, mit ihrer Tiefeninformation die Methode des SFM ergänzt, welche
an sich zwar gute Strukturinformation liefert, dies mit unbekannter
Skalierung).
-
In
besonders gewinnbringender Weise werden zur Ermittlung der Point
Spread Function (PSF) in den Bildern der Szene Bildausschnitte mit
ausreichendem Intensitätsgradienten
ausgewählt
und diese durch die Sequenz der Bilder verfolgt werden. Zur Verfolgung
von Punkten innerhalb einer Bildsequenz, bestehend aus wenigstens
2 Bildern der Szene, in welcher die zu rekonstruierenden Szene bzw.
Struktur in Bewegung zu dem Bildsensor (Kamera) erfasst wird eignet
sich beispielsweise der Ansatz von Shi und Tomasi (Shi, Tomasi;
Good features to track; Proc. CVPR 1994, 5. 593–600, Seattle). Dabei werden
Bildausschnitte mit ausreichendem Intensitätsquotienten durch die Detektion
von Ausschnitten mit möglichst
hohem minimalen Eigenwert des Strukturtensors bestimmt und durch
die Bildsequenz verfolgt. Hierdurch wird mit der Methode des SFM
die 3D-Szenenstruktur bis auf einen Skalierungsfaktor rekonstruiert.
-
Ob
ein Bildbereich innerhalb des Bildes der zu rekonstruierenden Szene
einen ausreichenden Intensitätsquotienten
bzw. Intensitätsgradienten
zur Anwendung der Methode des Shape from Motion (SFM) vorweist,
kann beispielsweise auch mit Hilfe des beim Harris Corner Detektors
verwendeten Strukturtensors C
ermittelt werden, wozu hierbei
die Summen über
die Pixel in der Nachbarschaft des betrachteten Pixels I gebildet
werden.
-
Ergibt
sich für
einen frei wählbaren,
insbesondere applikationsspezifisch experimentell bestimmbarer, Schwellwert
S, dass S < det(C) – k·trace(C)2 (2),wobei
k eine kleine Zahl, insbesondere 0.04 ist, so kann davon ausgegangen
werden, dass ein Bildbereich einen für die Anwendung des SFM ausreichenden
Intensitätsgradienten
aufweist.
-
Innerhalb
der Auswahl von Bildausschnitten derjenige Bildausschnitt bestimmt
wird, welcher die höchste
Bildschärfe
aufweist. Relativ zu diesem werden sodann die jeweilige PSF der
anderen ausgewählten Bildausschnitte
in der Bildsequenz und damit deren absolute Entfernung zu Kamera
bestimmt. Hierbei wird der der Zusammenhang zwischen der PSF und
Objektentfernung anhand eines bekannten Objekts (Kalibrationsobjekt)
ermittelt wird; hierzu eignet sich vorteilhaft in bekannter Weise
ein Schachbrettmuster.
-
Bei
der SFM-Methode wird mit dem Optimierungsverfahren des Bündelausgleichs
eine Fehlerfunktion ESFM ({Xi,Yi,Zi,ui,vi}) (3)optimiert,
die im Wesentlichen von den 3D-Positionen {Xi,Yi,Zi} der Korrespondenzpunkte
in der Szene und ihren daraus resultierenden projizierten 2D-Positionen
{ui,vi} im Bild
abhängt.
Anstatt eine einzelne Kamera in der Szene zu bewegen, ist es selbstverständlich auch
denkbar mehrere, an unterschiedlichen Positionen installierte, statische
Kameras zu verwenden, im einfachsten Fall ein Stereo-Kamerapaar,
ohne dass dies die Eigenschaften des hier beschriebenen Ansatzes ändert. Im
Sinne einer Fusion wird die Fehlerfunktion ESFM um einen
Term EDFD ergänzt, der die Abweichung der
ermittelten Entfernungen der Korrespondenzpunkte von der Kamera
von ihren gemäß dem DFD-Ansatz
erwarteten Entfernungen beschreibt: E ~ = ESFM + λ·EDFD, λ > 0 (4).
-
Diese
Kombination ist vorteilhaft, weil es sich bei den Korrespondenzpunkten
stets um Bildbereiche mit hohem In tensitätsgradienten handelt, denn
ansonsten wäre
eine Korrespondenzbildung nur ungenau oder gar nicht möglich, und
auch der DFD-Ansatz liefert für
solche Bildbereiche die besten Ergebnisse. Fehler beim Bündelausgleich,
die beispielsweise auf eine ungenaue Bestimmung der Koordinaten
der Korrespondenzpunkte im Bild zurückzuführen sind, können so
kompensiert werden. Der DFD-Fehler EDFD wirkt
daher als Regularisierungsbedingung.
-
In
denjenigen Bereichen der Bilder der Szene, welche nicht den ausgewählten Bildausschnitten
zuzuordnen sind (dies sind im allgemeinen diejenigen Bildausschnitte,
welche keinen für
die Anmeldung der Methode des SFM geeigneten Intensitätsgradienten
aufweisen), kann gewinnbringend die Rekonstruktion der Szene mittels
der Methode des Shape from Shanding (SFS) oder der Methode des Shape
from Polarisation (SFP) erfolgen (analog zu: Samaras D. et. al.;
Variable Albedo Surface Reconstruction from Stereo and Shape from
Shading; IEEE Conf. on Computer Vision and Pattern Recognition,
2000, Vol. 1, pp. 1480, 2000).
-
In
besonders gewinnbringender Weise lässt sich die 3D-Rekonstruktion weiter
verbessern, wenn auch Informationen über Tiefendifferenzen direkt
in die Minimierung der im Rahmen der Methode des SFM oder der Methode
des SFS verwandten Fehlerfunktionen einfließen. Diese Tiefendifferenzen
können
aus beliebigen Quellen stammen und müssen im Kamerakoordinatensystem
bekannt sein. Dabei werden die Tiefendifferenzen nicht als fehlerfreie
Randbedingungen verwendet, sondern beispielsweise im Sinne des Minimierungsverfahrens
der kleinsten Fehlerquadrate zusammen mit den anderen fehlerbehafteten
Messwerten (beispielsweise Intensitäts- und Polarisationswerte)
betrachtet werden. Besonders geeignete Tiefeninformation lässt sich beispielsweise
durch Stereobildverarbeitung, Schattenanalyse oder Lasertriangulation
ermitteln.
-
In
besonders vorteilhafter Weise eignet sich die Erfindung zur Inspektion
von Oberflächen
bzw. Werkstücken
bei der Produktion und Prüfung
industrieller Werkstücke.
Insbesondere lässt
sich dieses vorteilhafte Inspektionsverfahren gewinnbringend in
einen Produktionsablauf integrieren.
