-
Die
Erfindung betrifft ein Verfahren zur dreidimensionalen Vermessung
einer Oberfläche,
insbesondere einer spekular reflektierenden Oberfläche mit
einer bekannten Reflektanzfunktion, bei dem ein linkes Bild und
ein rechtes Bild der von einer Punktlichtquelle beleuchteten Oberfläche mittels
eines auf Standard-Stereogeometrie kalibrierten binokularen Kamerasystems,
umfassend eine linke Kamera und eine rechte Kamera, aufgenommen
wird, wobei mittels eines Blockmatching-Verfahrens eine Tiefenkarte
der Oberfläche
bestimmt wird, die eine erste Anzahl von Tiefenpunkten umfasst.
-
Zur
dreidimensionalen Vermessung einer Oberfläche ist es bekannt, die Oberfläche mit
einem Stereo-Kamerasystem aufzunehmen und Stereo-Bildverarbeitungsverfahren
auf die Aufnahmen anzuwenden. Hierbei wird häufig vorausgesetzt, dass die
betrachtete Oberfläche
diffus reflektiert, d. h. eine Lambert-Reflektanz aufweist (Horn,
B. K. P., 1986. Robot Vision. MIT Press, Cambridge, MA, USA.; Franke,
U., Joos, A., 2000. Real-Time Stereo Vision for Urban Traffic Scene
Understanding. Proc. IEEE Conf. an Intelligent Vehicles, S. 273-278.; Hirschmüller, 2006. Stereo
Vision in Structured Environments by Consistent Semi-Global Matching.
Proc. IEEE Conf. an Computer Vision and Pattern Recognition, Vol.
2, S. 2386-2393.).
Da die Reflektanz der Oberfläche
unabhängig
von der Blickrichtung ist, werden bei diesen klassischen Stereoverfahren
auf zueinander gehörigen
Epipolaren befindliche Bildbereiche in den beiden Bildern direkt
hinsichtlich ihrer Ähnlichkeit
untersucht. Dies erfolgt mittels geeigneter Ähnlichkeitsmaße wie z.
B. des Kreuzkorrelationskoeffizenten, der Summe der Differenzquadrate,
der Summe der absoluten Differenzen oder auch der Differenz der
Pixelintensitäten.
Bei spekular (spiegelnd) reflektierenden Oberflächen finden diese Verfahren keine
oder nur sehr wenige korrespondierende Punkte, weil ein Punkt auf
der Objektoberfläche
in den beiden Stereobildern aufgrund der Reflexionseigenschaften
nicht ähnlich
aussehen kann.
-
Manche
Stereo-Verfahren zur Analyse spekularer Oberflächen verwenden projizierte
Linienmuster zur Erzeugung von Paaren von Korrespondenzpunkten.
Hierbei wird allerdings im Allgemeinen ein rein spekulares Verhalten
der Oberfläche
vorausgesetzt (Lowitzsch, S., Kaminski, J., Knauer, M. C, Häusler, G.,
2005. Vision and Modeling of Specular Surfaces. VMV Workshop, Erlangen.),
was solche Verfahren für
Oberflächen,
die sich weder wie diffuse Oberflächen noch wie Spiegeloberflächen verhalten (z.
B. rauhe Metalloberflächen),
ungeeignet macht. Andere Stereoverfahren wandeln das Prinzip der
Annahme einer Lambert-Oberfläche
dahingehend ab, dass die Reflektanz der Oberfläche durch einen diffusen und
einen spekularen Anteil beschrieben wird. Es wird eine gegenseitige
Ausrichtung der beiden Kameras des Stereokamerasystems gewählt, die
dahingehend optimal ist, dass zum einen die Blickrichtungen der
Kameras möglichst
stark gegeneinander verdreht sind (konvergentes Stereo) und die
Intensitätsdifferenzen
aufgrund des spekularen Anteils der Reflektanzfunktion gleichzeitig
so klein wie möglich gehalten
werden (Bhat, D. N., Nayar, S. K.., 1996. Stereo and Specular
Reflection, hit. J. of Computer Vision 26(2), S. 91-106.).
Der optimale Winkel zwischen den Kamerablickrichtungen ist hierbei
von der Breite des spekularen Anteils der Reflektanzfunktion und
damit von der Oberflächenrauhigkeit
abhängig. Unter
diesen Randbedingungen kann ein Stereo-Ansatz mit den üblichen Ähnlichkeitsmaßen mit
gutem Erfolg verwendet werden, wobei sich die Robustheit des Verfahrens
durch Verwendung eines trinokularen Kamerasystems steigern lässt. Aus
(D'Angelo,
P., Wöhler,
C, 2006. Image-based
3D surface reconstruction by combination of sparse depth data with
shape from shading and polarisation. In: The International Archives
of the Photogrammetry, Remote Sensing and Spatial Information Sciences,
vol. XXXVI, part 3, pp. 124-129. Symposium of ISPRS Commission
III, Photogrammetric Computer Vision (PCV06), Bonn, Germany, 2006.)
ist ein Verfahren zur bildbasierten, dreidimensionalen Oberflächenrekonstruktion
bekannt.
-
Es
ist eine Aufgabe der Erfindung, ein neuartiges Verfahren zur dreidimensionalen
Vermessung einer Oberfläche,
insbesondere einer spekular reflektiven Oberfläche anzugeben.
-
Die
Aufgabe wird erfindungsgemäß gelöst durch
ein Verfahren mit den Merkmalen des Anspruchs 1.
-
Vorteilhafte
Weiterbildungen sind Gegenstand des Unteranspruchs 2.
-
Bei
einem erfindungsgemäßen Verfahren
zur dreidimensionalen Vermessung einer Oberfläche mit einer bekannten Reflektanzfunktion
werden ein linkes Bild und ein rechtes Bild der von einer Punktlichtquelle
beleuchteten Oberfläche
mittels eines auf Standard-Stereogeometrie kalibrierten binoku laren Kamerasystems,
umfassend eine linke Kamera und eine rechte Kamera, aufgenommen.
Mittels eines Blockmatching-Verfahrens
wird eine Tiefenkarte der Oberfläche
bestimmt, die eine erste Anzahl von Tiefenpunkten umfasst. Diese
Tiefenkarte ist zunächst recht
grob bzw. dünn
besetzt. Anschließend
wird mindestens eine Iteration einer Prozedur mit den folgenden
Schritten durchlaufen:
- – durch simultane Auswertung
zumindest der Tiefenpunkte und photometrischer Bildinformationen der
Kameras wird ein genaueres Tiefenprofil ermittelt, in dem in einem
Koordinatensystem mindestens einer der Kameras eine größere, zweite Anzahl
von Tiefenpunkten und Oberflächennormalen
den jeweiligen Bildpixel zugeordnet ist;
- – die
Tiefenpunkte und/oder die Oberflächennormalen
und/oder eine Beleuchtungsrichtung der Punktlichtquelle werden/wird
in ein Koordinatensystem der jeweils anderen der Kameras, insbesondere
in ein rektifiziertes Koordinatensystem transformiert;
- – mittels
der durch die Transformation ermittelten Größen und der Reflektanzfunktion
wird ein eine Intensitätsverteilung
wiedergebendes synthetisches Bild im rektifizierten Koordinatensystem
ermittelt;
- – eine
Disparität
zwischen dem synthetischen Bild und dem von einer der Kameras aufgenommenen Bild
und ein korrigiertes dreidimensionales Bild werden berechnet, das
durch Transformation in das Koordinatensystem der Kamera, bei der
ein korrigiertes Tiefenpro fil mit neuen Tiefenpunkten entsteht,
einer weiteren Iteration der Prozedur zuführbar ist.
-
Das
Verfahren ist bei Betrachtung spekular reflektierender Oberflächen der
Verwendung eines klassischen Stereoanalyse-Ansatzes vorzuziehen, weil
letztere statt eines spekularen ein diffuses, blickrichtungsunabhängiges Reflexionsverhalten
der Oberfläche
voraussetzen. Hierdurch kann in vielen Fällen lediglich eine sehr geringe
Anzahl von Korrespondenzen extrahiert werden, oftmals für weniger
als ein Prozent der Bildpixel. Das beschriebene Verfahren bietet
demgegenüber
insbesondere für
spekulare Oberflächen
den Vorteil, dass die photometrischen und polarimetrischen Eigenschaften
der Oberfläche physikalisch
korrekt berücksichtigt
werden. Dies führt zu
einer Steigerung der Genauigkeit der gemessenen Disparitätswerte
und einer signifikanten Erhöhung
des Anteils der Bildpixel, für
die Disparitäten
bestimmt werden können.
-
Im
Folgenden wird ein Ausführungsbeispiel der
Erfindung anhand einer Zeichnung näher erläutert.
-
Dabei
zeigen:
-
1 eine
schematische Darstellung eines Verfahrens zur dreidimensionalen
Vermessung einer Oberfläche.
-
In 1 ist
eine schematische Darstellung eines Verfahrens zur dreidimensionalen
Vermessung einer Oberfläche
gezeigt. Zunächst
werden ein linkes Bild und ein rechtes Bild der von einer Punktlichtquelle
beleuchteten Oberfläche
mittels eines auf Standard-Stereogeometrie kalibrierten binokularen
Kamerasystems, umfassend eine linke Kamera und eine rechte Kamera,
aufgenommen. Jedes der Bilder weist Bildzeilen auf, die Epipolarlinien
entsprechen. Mittels eines stereoskopischen Blockmatching-Standardverfahrens
wird eine Tiefenkarte 1.1 der Oberfläche bestimmt, die aufgrund
der oben beschriebenen Probleme bei spekularem Reflexionsverhalten
der Oberfläche
sehr dünn
besetzt ist und nur wenige Tiefenpunkte enthält. Diese wenigen Tiefenpunkte
werden als absolute Tiefenwerte für ein Verfahren nach (D'Angelo, P., Wöhler, C,
2006. Image-based 3D surface reconstruction by combination of sparse
depth data with shape from shading and polarisation. In: The International
Archives of the Photogrammetry, Remote Sensing and Spatial Information
Sciences, vol. XXXVI, part 3, pp. 124-129. Symposium of ISPRS
Commission III, Photogrammetric Computer Vision (PCV06), Bonn, Germany,
2006.) verwendet, bei dem eine dichte Oberflächenrekonstruktion durch simultane
Auswertung der photometrischen Bildinformationen Intensität 2.1,
Polarisationswinkel 3.1 und Polarisationsgrad 4.1 und
der dünn
besetzten Stereo-Tiefenkarte 1.1 mit den Tiefenpunkten
ermittelt wird.
-
Im
Rahmen des Verfahrens wird das von einem Oberflächenpunkt reflektierte Licht
durch die beobachtete Intensität 2.1,
den Polarisationswinkel 3.1 (d.h. die Richtung, in welcher
das Licht linear polarisiert ist) und den Polarisationsgrad 4.1 beschrieben. Es
wird vorausgesetzt, dass Modelle verfügbar sind, die diese photopolarimetrischen
Eigenschaften bezüglich
der Oberflächennormalen K0n →, der Beleuchtungsrichtung K0S → und
der Blickrichtung K0v1 → beschreiben. Diese
Modelle können
entweder physikalisch fundiert oder empirisch sein.
-
Ist
die Anzahl der durch das Blockmatching-Standardverfahren bestimmbaren
Tiefenpunkte zu gering, können
auch Tiefendaten aus anderen Datenquellen (z.B. Triangulations-Sensoren oder Laserscanner)
verwendet werden.
-
Ein
Koordinatensystem für
die linke Kamera sei im Folgenden mit K0 und ein Koordinatensystem für die rechte
Kamera mit K1 bezeichnet. Ein rektifiziertes Koordinatensystem der
in Standardgeometrie rektifizierten linken Kamera wird mit R0 und
ein entsprechendes rektifiziertes Koordinatensystem für die rechte
Kamera mit R1 bezeichnet. Die Transformationen zwischen diesen Koordinatensystemen
und damit auch die Blickrichtungen K0v1 →, K0v2 → der Kameras (hier im Koordinatensystem
K0) sind aus der Kalibrierung des Stereokamerasystems bekannt. Des
weiteren sei angenommen, dass die Oberfläche mit einer Punktlichtquelle
beleuchtet wird, deren Beleuchtungsrichtung K0S → ebenfalls
bekannt ist. Eine Reflektanzfunktion der Oberfläche ist aus einer Referenzmessung
bekannt.
-
Das
Verfahren liefert ein initiales dichtes Tiefenprofil 5.1 im
Koordinatensystem K0, das als eine Punktewolke mit einer Anzahl
m Tiefenpunkten der Form K0x →i mit
i = l, ..., m betrachtet werden kann, wobei jedem Bildpixel ein
Tiefen-punkt K0x →i zugeordnet wird.
-
Darüber hinaus
liefert das Verfahren nach d'Angelo und Wöhler eine Oberflächennormale K0n → für
jeden Punkt der Punktewolke im Koordinatensystem K0. Die Punktewolke
wird in das rektifizierte Koordinatensystem R1 der rechten Kamera
transformiert gemäß R1x →i = R1K0 TK0x →i , wobei R1 / K0T eine aus der Kamerakalibrierung
bekannte Transformationsmatrix angibt. Eine analoge Operation wird
für die
Oberflächennormalen K0n → und die Be leuchtungsrichtung K0S → durchgeführt, wobei
sich Vektoren für
die Oberflächennormale R1n → und die Beleuchtungsrichtung R1S → ergeben.
Mit diesen transformierten Größen wird
mit der als bekannt angenommenen Reflektanzfunktion ein synthetisches
Bild 6 berechnet, das die erwartete Intensitätsverteilung
im rektifizierten Koordinatensystem R1 wiedergibt. Eine entsprechende
Operation kann auch für
den Polarisationsgrad 4.1 und/oder den Polarisationswinkel 3.1 durchgeführt werden.
-
Ungenauigkeiten
in der durch R1x →i gegebenen
Punktwolke machen sich hierbei durch einen lateralen Versatz Δd zwischen
dem synthetisch berechneten Bild 6 und dem real beobachteten
Bild 7 im Koordinatensystem bemerkbar. Dieser Versatz tritt aufgrund
der Rektifizierung in Standardgeometrie entlang der Epipolaren v,
d. h. entlang der Bildzeilen, auf und weist im allgemeinen Fall
für jede
Epipolare v einen unterschiedlichen Wert Δd(v) auf. Die Bestimmung des
Versatzes Δd(v)
erfolgt analog zur Bestimmung der Disparität bei einem Stereo-Bildpaar
vorteilhafterweise mittels eines Blockmatching-Verfahrens oder aber
auch mittels eines dichten Stereoverfahrens, wobei als Eingabebilder
für das
Disparitätsbestimmungsverfahren
das für
das rektifizierte Koordinatensystem R1 synthetisch berechnete Bild 6 der Oberfläche und
das entsprechende real beobachtete Bild 7 verwendet werden.
-
Für jeden
Punkt R1x →i mit den
Koordinaten R1ui, R1vi und di ist die zugehörige Disparität di durch die Gleichung di =
bf/R1zi gegeben,
wobei b eine Basisbreite des Kamerasystems und f eine Brennweite und
zi einen Abstand des Punktes von einer Bildebene
der Kamera, also eine Tiefeninformation im rektifi zierten Koordinatensystem
R1 angibt. Für
alle Punkte wird aus den neuen Bildkoordinaten ui (corr) = R1ui – Δdi, vi (corr) = R1vi und di (corr) = di +Δdi eine korrigierte 3D-Position R1x →i (corr) im Koordinatensystem
R1 gemäß Standardgeometrie
für eine
korrigierte Tiefenkarte 1.2 berechnet. Die Punktewolke
der Tiefenkarte 1.2 kann vom rektifizierten Koordinatensystem
R1 in das Koordinatensystem K0 transformiert werden, was in einer
durch die Vektoren K0x →i (corr) beschriebenen Punktewolke im Tiefenprofil 5.2 resultiert.
-
In
einer weiteren Iteration kann das Verfahren mit den so entstandenen
Tiefenpunkten K0x →i (corr) des Tiefenprofils 5.2 erneut
gestartet werden. Die Prozedur kann so lange wiederholt werden,
bis die Disparitätskorrekturen Δdi vergleichbar mit der Genauigkeit der Kamerakalibrierung
sind. Bei Problemen der Nahbereichsphotogrammetrie bedeutet dies in
der Regel, dass die mittlere Disparitätskorrektur einige zehntel
Pixel und die Standardabweichung etwa 1 Pixel beträgt.
-
Sind
die Disparitätskorrekturen
von dieser Größenordnung,
ist es vorteilhaft, die Bildinformationen Intensität 2.2,
Polarisationswinkel 3.2 und Polarisationsgrad 4.2 der
rechten Kamera mit zu berücksichtigen.
Hierzu wird die jeweilige Bildinformation 2.2, 2.3, 2.4 unter
Kenntnis der Kalibrierdaten des binokularen Kamerasystems sowie
der 3D-Position jedes Bildpixels vom Koordinatensystem K1 in das
Koordinatensystem K0 transformiert. Diese beiden Bilder sind mit
guter Genauigkeit pixelsynchron, da Δdi von
der Größenordnung
oder kleiner als 1 Pixel ist. Daher kann das Verfahren im Sinne
eines photometrischen bzw. photopolarimetrischen Stereoverfahrens
mit zwei Intensitätsbildern 2.1, 2.2 und
gegebenen falls zusätzlich
zwei Polarisationswinkel-Bildern 3.1, 3.2 und/oder
zwei Polarisationsgrad-Bildern 4.1, 4.2 verwendet
werden. Hierbei ist zu berücksichtigen,
dass die Beleuchtungsrichtung K0S → für beide
Bilder identisch, die Blickrichtungen K0v1 →, K0v2 → jedoch unterschiedlich sind. Bei dieser
Ausprägung
des Verfahrens fließen
sämtliche
zur Verfügung
stehenden photopolarimetrischen und geometrischen Informationen
gleichberechtigt in die 3D-Rekonstruktion ein.
-
Tiefenprofile
und andere Größen können alternativ
im Koordinatensystem K1 betrachtet und entsprechend in das rektifizierte
Koordinatensystem R2 transformiert und von dort rücktransformiert
werden.
-
Das
Verfahren ist auch unter Verzicht auf eine Transformation in das
rektifizierte Koordinatensystem R1, R2 möglich. Stattdessen kann eine Transformation
in das Koordinatensystem K1, K0 der jeweils anderen Kamera erfolgen.
In diesem Fall erfolgt eine Korrespondenzsuche bevorzugt entlang der
Epipolarlinien.
-
- 1.1,
1.2
- Tiefenkarte
- 2.1,
2.2
- Intensität
- 3.1,
3.2
- Polarisationswinkel
- 4.1,
4.2
- Polarisationsgrad
- 5.1,
5.2
- Tiefenprofil
- 6
- synthetisches
Bild
- 7
- reales
Bild
- b
- Basisbreite
des Kamerasystems
- di
- Disparität, Koordinate
eines Punktes im Tiefenprofil
- Δd
- lateraler
Versatz
- f
- Brennweite
- K0
- Koordinatensystem
der linken Kamera
- K1
- Koordinatensystem
der rechten Kamera
- K0n →, R1n →
- Oberflächennormale
- R0
- rektifiziertes
Koordinatensystem der linken Kamera
- R1
- rektifiziertes
Koordinatensystem der rechten Kamera
- K0S →, R1S →
- Beleuchtungsrichtung
der Punktlichtquelle
- R1 / K0T
- Transformationsmatrix
- u
- Koordinate
eines Punktes im Tiefenprofil
- v
- Epipolare,
Koordinate eines Punktes im Tiefenprofil
- K0v1 →
- Blickrichtung
der linken Kamera
- K0v2 →
- Blickrichtung
der rechten Kamera
- K0x →i, R1x →i
- Punkt
im Tiefenprofil