-
Die
Erfindung betrifft ein Verfahren und eine Vorrichtung zur bildgestützten Oberflächenrekonstruktion durch
Kombination von Schattierungs- und Polarisationsmerkmalen.
-
Eine
wichtige Problemstellung der industriellen Bildverarbeitung ist
die Inspektion der Oberfläche
von Bauteilen, insbesondere von metallischen Oberflächen (Guß-, Schmiede-,
und Pressteilen), mit dem Ziel der Detektion von Oberflächendefekten.
Zur Vermeidung von Pseudofehlern ist es hierbei von besonderem Interesse,
irrelevante, zweidimensionale Verfärbungen bzw. Verschmutzungen
der Oberfläche
von relevanten, dreidimensionalen Oberflächenfehlern (Vertiefungen wie
beispielsweise Poren, Lunker; Erhöhungen) zu unterscheiden.
-
In
der Regel erfolgt in der industriellen Messtechnik die dreidimensionale
Rekonstruktion von Oberflächen
durch photogrammetrische Verfahren wie beispielsweise durch die
Streifenprojektion. Solche Techniken erfordern einen sehr hohen
Einrichtungs- und Kalibrieraufwand. Eine Einzelmessung ist zu zeitaufwendig
für den
Einsatz in der 100%-Inline-Qualitätsprüfung, so
dass mit diesen Verfahren allenfalls eine Stichprobenprüfung möglich ist.
Dasselbe gilt für
die Oberflächenprüfung mittels
mikroskopischer oder interferometrischer Verfahren.
-
Ein
bildgestütztes
3D-Rekonstruktionsverfahren zum Einsatz in der industriellen Qualitätsprüfung, bei welchem
Schatten und Reflektanzmerkmale („Shape-from-Shading") kombiniert werden,
wird durch Hafezi und Wähler
beschrieben (K. Hafezi, C. Wähler:
A general framework for three-dimensional surface reconstruction
by self-consistent fusion of shading and shadow features and its
application to industrial quality inspection tasks, SPIE Photonics
Europe, Optical Metrology in Production Engineering, pp. 138–149, Straßburg, 2004). Der
Einrichtungs- und Kalibrieraufwand der dort beschriebenen verfahren
ist gering, und sie eignen sich aufgrund des vergleichsweise geringen
Rechenaufwandes zur 100%-Inline-Qualitätsprüfung. Die
Zuverlässigkeit dieses
Verfahrens nimmt allerdings stark ab, wenn die Reflexionseigenschaften
der Oberfläche
nicht diffus sind, sondern eine stark gerichtete Reflexionscharakteristik
aufweisen.
-
Alternativ
werden durch Wolff et al. und Rahmann et al. bildgestützte 3D-Rekonstruktionsvefahren
beschrieben, welche auf der Verwendung von Polarisationsinformation
basieren (L.B. Wolff, T.E. Boult: Constraining object features using
a polarization reflectance model, IEEE Transactions an Pattern Analysis
and Machine Intelligence",
Vol. 13, No. 7, 1991; S. Rahmann, N. Canterakis: Reconstruction
of specular surfaces using polarization imaging, IEEE Computer Socienty
Conference an Computer Vision and Pattern Recognition (CVPR), Vol.
I, pages 149–155,
IEEE Computer Society Press, Kauai, USA, 2001). Solche Verfahren
eignen sich insbesondere für
nichtmetallische, dielektrische Materialien, deren Polarisationseigenschaften
(Polarisationsgrad und -richtung) durch ihren Brechungsindex und
ihre Dielektrizitätskonstante
gegeben sind. Bei metallischen Oberflächen müssen die Polarisationseigenschaften
in geeigneter Weise gemessen werden. In der Praxis zeigt sich insbesondere
bei metallischen Oberflächen,
dass es Bereiche von Oberflächenorientierungen gibt,
in denen die Polarisationseigenschaften nur schwach von der Oberflächenorientierung
abhängen
und damit die 3D-Struktur der Oberfläche nur sehr ungenau bestimmt
werden kann.
-
Ein
Verfahren zur bildbestützten
Oberflächenrekonstruktion
wird von Clark und Yuille (J. J. Clark, A. L. Yuille: Shape From
Shading via the Fusion of Specular and Lambertiona Image Components,
in: Proc. of 10th Intern. Conf. an Pattern Recognition, 1990, Vol.
1, S. 88–92)
beschrieben. Hierbei wird der zu rekonstruierende Teil der Oberfläche zum
einen hinsichtlich seiner diffusen Reflektanzeigenschaften und zum
anderen hinsichtlich seiner spiegelnden Reflektanzeigenschaften
vermessen. Die gewonnenen Messwerte werden sodann im Rahmen einer
zu minimierenden Fehlerfunktion miteinander kombiniert, wobei innerhalb
der zu minimierenden Fehlerfunktion reflektanz-bezogene Fehlerterme
in Abhängigkeit
vom spekularen Anteil des reflektierten Lichts gewichtet werden.
-
Das
US-Patent US 5 028 138 A zeigt
eine Vorrichtung zur bildgestützten
Oberflächenrekonstruktion, bei
welcher die zu rekonstruierende Oberfläche mit einer Beleuchtungseinheit
beleuchtet und mit einem zur Beleuchtungseinheit geometrisch versetzt
angeordneten Lichtsensor erfasst wird. Der Lichtsensor steht in
Verbindung mit einer Auswerteeinheit in Verbindung. Hierbei sind
der Lichtsensor und die Auswerteeinheit so gestaltet, dass das von
dem Lichtsensor empfangene Licht im Hinblick auf die Reflektions-
und Polarisationseigenschaften der zu rekonstruierenden Oberfläche ausgewertet
werden können.
-
Aufgabe
der Erfindung ist es ein neuartiges Verfahren und eine zur Durchführung dieses
Verfahrens geeignete Vorrichtung zu finden, um sowohl von diffusen
als auch von nicht-diffusen Oberflächen zuverlässig deren 3D-Oberflächenstruktur
zu bestimmen.
-
Die
Aufgabe wird durch ein Verfahren und eine Vorrichtung mit den Merkmalen
der Patentansprüchen 1
und 6 gelöst.
Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung werden
durch die untergeordneten Ansprüche
beschrieben.
-
In
erfinderischer Weise erfolgt die bildgestützte Oberflächenrekonstruktion dadurch,
dass ein zu rekonstruierender Teil der Oberfläche zum einen hinsichtlich
seiner Reflektanzeigenschaften nach der Methode des Shape-from-Shading und
zum anderen hinsichtlich seiner Polarisationseigenschaften nach
der Methode des Shape-from-Polarisation
vermessen wird. In besonderer Weise werden hierbei die Messwerte
miteinander im Rahmen einer zu minimierenden Fehlerfunktion miteinander
kombiniert. Im Rahmen dieser Minimierung werden die Fehlerterme
in einer Weise gewichtet, die vom sprekularen Anteil des reflektierten
Lichts abhängt. Hierzu
ist es denkbar in besonders vorteilhafter Weise den spekularen Anteil
des reflektierten Lichts aus dem Polarisationsgrad des durch den
Lichtsensor empfangenen Lichts abzuleiten, oder diesen in einer
dem Fachmann bekannten Weise auf Basis des Verfahrens des Shape-from-Shading
zu ermitteln.
-
Durch
die Erfindung werden gewinnbringend die Vorteile der Verfahren „Shape-from-Shading" und „Shape-from-Polarisation" vereint, während die
sich bei der separaten Anwendung der Verfahren ergebenden Nachteile
vermieden werden. Denn im Bereich diffuser Reflexion ist die Oberflächenrekonstruktion
anhand der Reflektanz (Shape-from-Shading) das von beiden Verfahren
genauere, da die Polarisationsparameter in diesem Bereich nur schwach
von der Oberflächenorientierung
abhängen
und somit mittels Shape-from-Polarisation die Oberflächenorientierung
nur schwer ableitbar ist. In der Nähe der spekularen Reflexion
hingegen hängen
die Polarisationsparameter wesentlich stärker von der Oberflächenorientierung
ab, so dass diese aus ihnen mit guter Genauigkeit abgeleitet werden
können.
Demgegenüber
ist die Oberflächenrekonstruktion
anhand der Reflektanz bei spekularer Reflexion nicht sehr präzise, da
eine gute Modellierung der spekular reflektierten Lichtintensität schwierig
ist und außerdem
von Bauteil zu Bauteil, auch innerhalb einer Serie, stark variieren
kann. Darüber
hinaus ist die Oberflächenkonstruktion
allein anhand der Reflektanz insbesondere bei Verwendung einer einzigen
Lichtquelle ein stark unterbestimmtes Problem, d.h. es existieren
unendlich viele sehr verschiedenartige Oberflächen, die den beobachteten
Intensitätsverlauf
mit guter Genauigkeit reproduzieren.
-
Eine
für das
Verfahren geeignete Fehlerfunktion in der allgemeinen Form:
e = es + λiei + λpep + λded (1)setzt
sich in besonders vorteilhafter Weise aus einer Regularisierungsbedingung,
wie beispielsweise der Glattheitsbedingung
es = p2x + p2y + q2x + q2y (2) und dem aus dem Shape-from-Shading-Ansatz
stammenden Reflektanzfehlerterm
ei = (I – R(p,q))2 (3)zusammen,
wobei I der gemessenen Intensität
entspricht und R(p,q) die modellierte Reflektanz darstellt. Der Fehlerterm
ep = (φobs – φmod(p,q))2 (4)beschreibt
die Abweichung des gemessenen Polarisationswinkels φ
obs vom modellierten Polarisationswinkel φ
mod(p,q). Der Polarisationsgrad wird durch
die Fehlerfunktion
ed =
(ρobs – ρmod(p,q))2 (5)berücksichtigt,
wobei ρ
obs dem gemessenen Polarisationsgrad und ρ
mod(p,q)
dem modellierten Polarisationsgrad entspricht. Die Gewichte λ
i, λ
p und λ
d bestimmen
den Einfluss der Fehlerterme.
-
Nachfolgend
wird die Erfindung anhand von Ausführungsbeispielen und mit Hilfe
von Figuren im Detail erläutert.
Dabei zeigen:
-
1 Messanordnung
zur Durchführung
der erfindungsgemäßen Oberflächenrekonstruktion.
-
2 Die
geometrischen Verhältnisse
wie sie bei einer Vermessung eines Objektes zur Gewinnung von dessen
Reflektanz R(p,q), dessen modellierten Polarisationswinkel φmod(p,q) oder dessen modellierten Polarisationsgrad ρmod(p,q)
vorliegen
-
3 Gemessener und mittels Polynomfit angepasster
Verlauf des Polarisationswinkels φ über unterschiedlichen Winkelkonstellationen
zwischen Objekt und Einheit aus Beleuchtung und Bildaufnahme.
-
4 Gemessener und mittels Polynomfit angepasster
Verlauf des Polarisationsgrad p über
unterschiedlichen Winkelkonstellationen zwischen Objekt und Einheit
aus Beleuchtung und Bildaufnahme.
-
In
der 1 ist schematisch eine erfindungsgemäße Vorrichtung
zur bildgestützten
Rekonstruktion der Oberfläche
eines Objektes 1 dargestellt. Diese besteht aus einer Beleuchtungseinheit 2 mit
wenigstens einer Lichtquelle (2a, 2b), mittels
welcher zumindest ein Teilbereiches der zu rekonstruierenden Oberfläche des Objektes 1 beleuchtet
werden kann. Des Weiteren findet sich bei der Vorrichtung auch ein
in Bezug auf die Beleuchtungseinheit unter einem bekannten geometrischen
Versatz angeordneter Lichtsensor 3, welchem eine Auswerteeinheit 4 zugeordnet
ist. Hierbei sind der Lichtsensor 3 oder die Auswerteeinheit 4 so
ausgestaltet, dass das von dem Lichtsensor 3 empfangene
Licht im Hinblick auf die Reflektions- und die Polarisationseigenschaften
der zu rekonstruierenden Oberfläche
des Objektes 1 ausgewertet werden kann. In vorteilhafter Weise
besteht der Lichtsensor 3 aus wenigstens zwei Sensorelementen 3a und 3b.
Hierbei ist eines der Sensorelemente 3b polarisationssensitiv
auszugestalten, insbesondere durch den Vorsatz eines Polarisationsfilters 5.
In einer alternativen Ausgestaltung kann aber der Lichtsensor gleichsam
gewinnbringend auch durch wenigstens ein Sensorelement gebildet
werden, welches wechselweise polarisationssensitiv und -unsensitiv geschaltet
werden kann, beispielsweise durch eine mechanisch in den Strahlengang
einklappbares bzw. eindrehbares Polarisationsfilter 5.
Weiterhin kann für
den Fehlerterm des Shape-from-Shading auch der bei der Messung von
Polarisationsgrad und -richtung mitberechnete unpolarisierte Lichtanteil
für die
gemessenen Intensität
I eingesetzt werden. Um bei der Realisierung der erfindungsgemäßen Vorrichtung
auf kostengünstige Standardkomponenten
zurückgreifen
zu können,
bietet es sich an dass der Lichtsensor als Sensorelement wenigstens
einen Bildsensor, insbesondere eine Kamera umfasst.
-
Auch
die Beleuchtungseinheit 2 kann wie in 1 aufgezeigt,
durch eine Mehrzahl von Beleuchtungsquellen 2a, 2b gebildet
werden. Werden diese Beleuchtungsquellen 2a und 2b unter
einem bekannten geometrischen Versatz zueinander angeordnet, so
kann die zu rekonstruierende Oberfläche unter unterschiedlichen Randbedingungen
bezüglich
der Winkelkonstellation zwischen Beleuchtungsquellen 2a und 2b und
dem Lichtsensor 3 betrachtet werden, so dass sich das Rekonstruktionsergebnis
durch die Redundanz der Daten oder durch synergetische Effekte verbessert
werden kann. In den Fällen
in denen hierbei der geometrische Versatz zwischen den Beleuchtungsquellen 2a und 2b der
Beleuchtungseinheit 2 und dem Lichtsensor 3 nicht
bekannt ist, kann dieser im Rahmen eines dem Fachmann geläufigen Optimierungsprozesses
aus der Empfangsinformation des Lichtsensors 3 geschätzt werden.
-
Für die Fehlerterme
(Gleichungen (3), (4) u. (5)) der Fehlerfunktion (Gleichung (1))
ist es notwendig die modellierte Reflektanz R(p,q), den modellierten
Polarisationswinkel φ
mod(p,q) und den modellierten Polarisationsgrad ρ
mod(p,q)
des zu rekonstruierenden Oberflächenbereichs
20 kennen.
Zur Ermittlung dieser Werte kann eine Vorrichtung dienen, bei welcher
die Beleuchtung
21 und der Lichtsensor
22, insbesondere
eine Kamera, unter einem festen geometrischen Versatz (Phasenwinkel α) zueinander
gehalten werden und gemeinsam unter unterschiedlichem Winkel gegenüber der
Objektoberfläche
gedreht werden können.
Hierbei ist es gleichsam denkbar die Beleuchtungs-/Lichtsensor-Anordnung zu drehen,
beispielsweise mit Hilfe von deren Montage an einem in mehreren
Freiheitsgraden beweglichen Roboter, oder aber die Beleuchtungs-/Lichtsensor-Anordnung
an einer Position zu halten und das Objekt in unterschiedliche Raumrichtungen
zu neigen, beispielsweise mit Hilfe dessen Montage auf einem Goniometer.
2 beschreibt
die geometrischen Verhältnisse wie
sie bei einer derartigen Vermessung eines Objektes zur Gewinnung
dessen Reflektanz R(p,q), dessen modellierten Polarisationswinkel φ
mod(p,q) oder dessen modellierten Polarisationsgrad ρ
mod(p,q))
vorliegen. Der Winkel zwischen der Beleuchtungsrichtung S → und der
Kamerablickrichtung ν → wird hierbei in der einschlägigen Literatur als Phasenwinkel α bezeichnet.
Beispielsweise mittels eines Goniometers kann das zu untersuchende
Objekt
20 um zwei zueinander orthogonale Achsen um die
einstellbaren Winkel θ und ϕ gedreht
werden. Hierbei wird das Goniometer so angeordnet, dass die Oberflächennormale n →(0,0)
der Probe in Nullstellung (θ = ϕ =
0) in derselben Ebene liegt wie die Vektoren S → und ν →. Aus den als
bekannt angenommenen Positionen von Beleuchtung
21 und
Kamera
22 relativ zum Objekt
20 lassen sich für jede am
Goniometer eingestellte Winkelkonfiguration (θ,ϕ) der Lichteinfallswinkel θ
i (Winkel zwischen n →(θ,ϕ) und S →), der Emissionswinkel θ
e (Winkel zwischen n →(θ,ϕ) und ν →) und der
Azimutwinkel ψ (der
Winkel zwischen den beiden Vektoren S →' und ν →', die sich durch die Projektion von S → und ν → auf
die durch n →(θ,ϕ)
beschriebene Ebene ergeben) bestimmen. Aufgrund von Symmetrieeigenschaften,
die für
fast alle gängigen
Metalloberflächen
gültig
sind, lassen sich die Reflexions- und
Polarisationseigenschaften sodann vollständig in Abhängigkeit von den Winkeln θ
i, θ
e, ψ und α beschreiben,
wobei der Winkel ψ von
den Winkeln θ
i, θ
e und α abhängt, gemäß
-
Die
Messung von Polarisationsgrad und -richtung kann beispielsweise
mit der bei Rahmann beschriebenen Kombination aus Kamera und linearem
Polarisationsfilter erfolgen (S. Rahmann; Interferring 3D scene structure
from a single polarisation image, Conference an Polarization and
Color Techniques in Industrial Inspection, SPIE Proceedings, Vol.
3826, pp. 22–33,
München,
Deutschland, Juni 1999).
-
Zur
Durchführung
des erfindungsgemäßen Verfahrens
kann die Reflexions- und Polarisationscharakteristik eines Objektes 1 direkt
aus den mit dem beschriebenen Messverfahren erzeugten Messwerttabellen (entsprechend 3a bzw. 4a)
entnommen werden. Andererseits ist es sehr wohl auch denkbar, diese Messwerte
durch ein geeignetes physikalisches Verfahren oder ein Ad-hoc-Modell,
beispielsweise einen Polynomansatz (Polynomfit) anzupassen; entsprechend 3b bzw. 4b;
in diesem Falle liegt die Reflektions- und Polarisationscharakteristik
des Objektes 1 in analytischer Form vor.
-
Das
Rekonstruktionsergebnis aus der kombinierten Betrachtung der Objektoberfläche mittels
der Verfahren des Shape-from-Shading
und des Shape-from-Polarisation kann weiter verbessert werden, wenn
entsprechend bekannter Ergänzungen
des Shape-from-Shading auch noch Schatteninformation mit berücksichtigt
wird (K. Hafezi, C. Wähler:
A general framework for three-dimensional surface reconstruction
by self-consistent fusion of shading and shadow features and ist
application to industrial quality inspection tasks., SPIE Photonics
Europe, Optical Metrology in Production Engineering, pp. 138–149, Straßburg, 2004).
Dasselbe gilt für
die zusätzliche
Beachtung geeigneter Regularisierungsbedingungen, wie beispielsweise
die Glattheit der Oberfläche
oder die Integrabilität
der Oberflächengradienten,
so dass die Fehlerfunktion durch den bereits von Horn (B.K.P. Horne:
Shape from Shading, MIT Press, Cambridge, Massachusetts, 1989 oder
B.K.P. Horn: Height and Gradient from Shading, MIT technical report,
http://people.csail.mit.edu/people/bkph/ AIM/AIM-1105A-TEX.pdf)
beschriebenen Variationsansatz erfolgen kann.
