-
Die
Erfindung betrifft Verfahren zur optischen Erfassung von Objekten
gemäß Oberbegriff
des Anspruchs 1.
-
Die
schnelle Detektion der dreidimensionalen Gestalt von Objekten ist
von zunehmender Bedeutung, beispielsweise im Bereich der Fertigung
zur Produktkontrolle oder auch für
selbst steuernde Fahrzeuge, Maschinen oder Roboter, die sich in
einer Umgebung eigenständig
orientieren und bewegen sollen.
-
Für die optische
Erfassung der dreidimensionalen Koordinate eines Punktes im Raum
sind wenigstens zwei Beobachtungsstandpunkte und eine bekannte Beobachtungsbasis
notwendig. Ein klassischer Fall ist die Stereoskopie, bei der ein
Objektpunkt mit zwei Kameras beobachtet wird. Ein wesentliches Problem
dabei ist, dass ein Objektpunkt, der von einer Kamera auf einen
bestimmten Bildpunkt abgebildet wird, zur Auswertung im Bild der
anderen Kamera wiedergefunden werden muss. Das ist prinzipiell nur
bei diffus reflektierenden Objektoberflächen problemlos möglich, da
beide Kameras nur dann eine ähnliche
Grauwertverteilung für
einen Objektpunkt sehen können.
-
Um
dieses Problem zu umgehen ist es sinnvoll, eine Kamera durch einen
Projektor zu ersetzen. Ein Projektor entspricht vom Prinzip her
einer inversen Kamera und kann mathematisch genauso beschrieben
werden.
-
Das
Grundprinzip derartiger Verfahren zur Objekterfassung besteht in
der speziellen Beleuchtung des Objekts mit einem Projektionsmuster
und der Auswertung der dabei von einer oder mehrerer Kameras unter
vorgegebenen Bedingungen vom Objekt aufgenommenen Bilder. In der
Literatur werden verschiedene Verfahren zur optischen Bestimmung von
Objektformen mittels einer Kombination aus n Projektoren und m Kameras
beschrieben. Relativ verbreitet sind beispielsweise Verfahren, die
mit nur einer oder zwei Kameras und einem Projektor auskommen Die
Kalibrierung von derartigen Systemen erfolgt üblicherweise nach Standardverfahren
der Photogrammetrie.
-
Üblicherweise
werden als Muster parallele Streifen oder auch Gitter verwendet.
Ein wesentliches Problem bei dem genannten Prinzip stellt die Auflösung und
Zuordnung eines Punktes des vom Projektor auf das Objekt gestrahlten
Beleuchtungsmusters zum korrespondierenden Bildpunkt in der Kamera
dar. Bei Objekten mit stetigen Oberflächen kann das beispielsweise
durch einfaches Abzählen der
Streifen im Bild erfolgen. Üblicherweise
wird es jedoch durch die zeitlich aufeinanderfolgende Projektion
mehrerer Muster gelöst.
Ein Gray-Kode (Gray 1953) mit n Mustern erlaubt so die Zuordnung
von 2n eindimensionalen Positionen im Projektor
zum jeweils beleuchteten Objektpunkt. Der Projektor wird dadurch
wie eine Kamera mit sehr langen aber schmalen Bildpunkten behandelt
(Linienkamera-Modell).
-
Zur
Bestimmung der 3-D-Koordinate des Objektpunktes erhält man dabei
ausreichende Informationen: Die Lage des Objektpunktes wird in der
Kamera-Bildebene mit zwei Koordinaten u und v bestimmt und im Projektor
mit einer Koordinate ζ (= Nummer
der Linie des Musters). Die Koordinaten u und v definieren mit dem
Lochkameramodell der Kamera eine Gerade g im Raum, die Projektorkoordinate ζ legt mit
dem Linienkameramodell des Projektors eine Ebene E im Raum fest.
Gerade und Ebene schneiden sich im günstigen Fall in genau einem Punkt
p. Das ist der gesuchte Objektpunkt.
-
Das
beschriebene Verfahren funktioniert sehr gut in der Praxis und liefert
sehr dichte Daten, bei günstigen
Objekteigenschaften einen 3D-Punkt je Bildpunkt der Kamera. Der
Nachteil liegt in der langen Messzeit. Zur Aufnahme mehrerer Bilder
werden mit einem schnell umschaltbaren Projektor mindestens einige
Sekunden benötigt,
typisch sind fünf
bis 60 Sekunden. Während
der Aufnahmezeit muss das Objekt in absoluter Ruhe sein. Eine Erfassung
von bewegten Objekten ist mit diesem Prinzip nicht möglich. Darum
wurde auch schon ein Verfahren zur Bestimmung der Objektgestalt
aus einem einzigen Kamerabild vorgestellt (Proesmans and VanGool
1997). Es weist aber verschiedene Nachteile auf und zielt nicht
auf eine messtechnische Anwendung, sondern eher auf den Einsatz
in qualitativen Anwendungen, wie z.B. die Erzeugung von Virtual-Reality
Modellen.
-
Die
Erfindung geht aus von dem dargestellten Stand der Technik. Ihr
liegt die Aufgabe zugrunde, ein alternatives Verfahren zur 3dimensionalen optischen
Erfassung von Objekten zu entwickeln, das eine sehr schnelle Detektion
ermöglicht,
so dass auch schnell bewegte Objekte analysiert werden können.
-
Diese
Aufgabe wird bei einem Verfahren gemäß Oberbegriff des Hauptanspruchs
1 gelöst
durch die kennzeichnenden Merkmale des Anspruchs 1. Weitere Ausführungsformen
und vorteilhafte Details der Erfindung sind Gegenstand der Unteransprüche.
-
Das
erfindungsgemäße Verfahren
wird im Folgenden näher
beschrieben unter Bezugnahme auf die Figuren und die darin angegebenen
Bezugszeichen.
-
Es
zeigt:
-
1:
Anordnung zur Durchführung
des erfindungsgemäßen Verfahrens
-
2:
Gittermuster zur Projektion auf das Objekt
-
3:
Ausschnitt eines Kamerabildes mit verzerrtem Gittermuster
-
Die
Messanordnung zur Durchführung
des erfindungsgemäßen Verfahrens
besteht im einfachsten Fall aus nur einem Musterprojektor (1)
und einer Kamera (2), wie in 1 dargestellt.
Linien (3) im Projektordia (4) werden auf das
zu analysierende Objekt (5) projiziert und die auf der
Objektoberfläche
gebildeten Lichtstreifen (6) von der Kamera als Reihe von
Bildpunkten (8) detektiert. Wesentlich für die Qualität der Auswertung
und damit für
die erreichbare Präzision
der rekonstruierten Objektoberfläche
ist die definierte räumliche
Anordnung der verschiedenen Komponenten des Erfassungssystems, z.B. Festlegung
der Positionen von Projektor(en) und Kamera(s) zueinander als Triangulationsbasis
(9).
-
Wie
bei der Stereometrie muss man auch bei dieser Konfiguration die
Zuordnungsproblematik zwischen Projektor (1) und Kamera
(2) lösen.
Um die genannten Nachteile zu umgehen, kann man unter Reduktion
der räumlichen
Abtastungsdichte an Stelle eines eindimensionalen Streifenmusters
ein zweidimensionales Linienmuster verwenden. Das in 2 dargestellte
gitterförmige
Muster für
das Projektordia (4) besteht nur aus schwarzen und weißen Flächen und
hat drei charakteristische Größen. Das
sind die Periodenlänge λ = a + b,
die Linienbreite b und der Richtungswinkel a. Das Dia hat beispielsweise
eine Fläche
der Größe A·B.
-
Das
quadratische, rechteckförmige
oder rautenförmige
Projektionsmuster ist dabei von der Orientierung vorzugsweise so
gestaltet, dass die Epipolarlinien der Kamera (2) das Muster
ungefähr
unter einem 45°-Winkel
schneiden. Periodenlänge
und Linienbreite ergeben sich aus der Auflösung der verwendeten Kamera.
Idealerweise ist die Projektion formatfüllend im Ka merabild. Der Abbildungsmaßstab von
Projektor zu Kamera ist also näherungsweise
1.
-
Um
die Position und Orientierung der Linien im Kamerabild mit hinreichender
Genauigkeit, d.h. 1/10 bis 1/50 Bildpunkt, bestimmen zu können, brauchen
sie eine Mindestbreite b von etwa 2,5 bis 3 Bildpunkten. Da sich
diese Breite durch perspektivische Verzerrungen verringern kann,
sollten die Breite der Linien mindestens 3 bis 4 Bildpunkte betragen.
Um benachbarte Linien eindeutig unterscheiden zu können, sollte
der Abstand a der Linien mindestens 2 Linienbreiten betragen. Die
Periodenlänge
beträgt
somit etwa 10,5 Bildpunkte. Damit kann man aus der horizontalen
Bildpunktzahl du der Kamera die Periodenlänge λ abschätzen: λ = A·10,5/du (1)
-
Die
Gitterparameter a und b ergeben sich dann zu: b = ☐λ (2) a = ☐λ (3)
-
Für eine Diagröße von A
= B = 20 mm und eine Kameraauflösung
von du = 1024 Bildpunkten ergeben sich folgende
Werte: λ ≈ 205,1 μm (4) b ≈ 68,4 μm (5) a ≈ 136,7 μm (6)
-
Auf
ein Dia passen somit etwa 97 Perioden.
-
Gelingt
es, die projizierten Kreuzungspunkte der Linien (7) im
Kamerabild als Pixel (8) zu lokalisieren und deren Positionen
dem jeweiligen Kreuzungspunkt im Projektor zuzuordnen, hat man sowohl
in der Kamera als auch im Projektor je zwei Koordinaten bestimmt.
Dadurch verschiebt sich das geometrische Problem vom eindeutigen
Schnitt einer Geraden mit einer Ebene zum Schnitt zweier Geraden.
Da die eigentliche Schnittbedingung auf Grund numerischer Ungenauigkeiten
fast nie exakt erfüllt
ist, berechnet man in der Photogrammetrie üblicherweise einen sogenannten
Vorwärtsschnitt,
bei dem der nächste
Punkt der beiden Geraden bestimmt wird. Dieses Problem ist überbestimmt
und erlaubt durch die Ermittlung des Abstandes der beiden Geraden eine
Kontrolle der Eingangsgrößen. Dadurch
lässt sich
die Zuordnung der beiden Punkte überprüfen.
-
Die
im Folgenden aufgeführten
Schritte sind für
die Bildanalyse und die Bestimmung der 3D-Koordinaten notwendig.
Die Bildanalyse des detektierten Musters (3) teilt
sich in zwei Schritte. Zunächst werden
die Kreuzungspunkte (8) im Bild gesucht und Lage und Nachbarschaftsbeziehung
zugeordnet. Anschließend
werden durchgehende Verbindungslinien zwischen benachbarten Kreuzungspunkten
analysiert und z.B. mit Hilfe einer ,Snake' oder einer anderen mathematischen Beschreibung
modelliert, um die Datendichte zu erhöhen.
-
Analyse der
Kreuzungspunkte
-
Mit
einem Subpixel-genauen Standardverfahren aus der zweidimensionalen
Mustererkennung (Koninckx and Gool, 2002) werden Kreuzungspunkte (8)
im Kamerabild gesucht und ihre Position pk mit
hoher Genauigkeit bestimmt. Die Epipolarlinie eines Kreuzungspunktes
wird aus der Kenntnis der Modelle von Kamera (2) und Projektor
(1) und ihrer äußeren Orientierung,
sowie der Tiefe des Messvolumens berechnet. Die Epipolarlinie ist
eine Linie auf dem Projektionsdia, näherungsweise eine Gerade. Der Kreuzungspunkt
pp auf dem Dia, der der Epipolarlinie am
nächsten
liegt, wird der zugehörigen
Position pk im Kamerabild zugeordnet. Der
Abstand des Kreuzungspunktes zur Epipolarlinie ist das sogenannte Residuum
und dient als Maß für die Sicherheit
der Zuordnung. Mit einer absoluten Schwelle lassen sich grobe Fehlzuordnungen
vermeiden. In ungünstigen Situationen,
wenn z.B. die Epipolarlinie mehrere Kreuzungspunkte schneidet, kann
es Mehrdeutigkeiten geben. Diese können durch die Überbestimmung aufgelöst werden.
-
Ist
die Zuordnung für
alle im Kamerabild sichtbaren Punkte erfolgt, kann mit der Analyse
der Nachbarschaftstopologie im Kamerabild begonnen werden. Zwei
Kreuzungspunkte, die im Kamerabild eine durchgehende Verbindungslinie
aufweisen, müssen
auch auf dem Projektionsdia benachbart sein. Existiert hier ein
Widerspruch in der Zuordnung, lässt
er sich Auflösen
oder zumindest erkennen.
-
Nach
erfolgter Zuordnung können
für alle Punktepaare
{pk, pp} mit Hilfe
des Vorwärtseinschnittes
die zugehörigen
3-D-Koordinaten
P berechnet werden. Auf diese Art erhält man einige Tausend bis Zehntausend
3-D-Punkte der Objektoberfläche.
-
Analyse der
Liniensegmente
-
Um
die Punktausbeute zu erhöhen,
werden anschließend
die Liniensegmente zwischen den Kreuzungspunkten analysiert. Als
Ausgangspunkt dient die bereits bekannte Netztopologie. Ein Liniensegment
wird z.B. mit Hilfe einer ,Snake' (Soika, 2002)
oder einer anderen mathematischen Beschreibung für eine gekrümmte Linie dargestellt. Der
Linienschwerpunkt wird dazu Subpixel-genau erfasst. Entlang der
Linie werden äquidistante
Punkte in der gewünschten
Auflösung – typischerweise
der Pixelgröße der Kamera
entsprechend – ausgewählt und über die
Epipolargeometrie die zugehörigen
Koordinate auf dem korrespondierenden Liniensegment im Projektor
bestimmt. Das entspricht einem Schnitt der Epipolarlinie mit dem
entsprechenden Liniensegment auf dem Dia. Dadurch erhält man wieder
ein Punktepaar {pk, pp},
dessen 3-D-Koordinate P bestimmt werden kann. So ergibt sich schließlich eine
Zahl von rund 105 3-D-Punkten für ein typisches
Kamerabild.
-
Für das dargestellte
Verfahren müssen
die äußeren und
inneren Orientierungen von Kamera und Projektor bekannt sein. Diese
werden über
die bekannten Kalibrierverfahren der Photogrammetrie gewonnen.
-
Das
erfindungsgemäße Verfahren
bietet die Möglichkeit,
aus einem einzelnen Kamerabild flächenhafte Messdaten von nicht
kontinuierlichen Objektoberflächen
zu gewinnen. Frühere
Versuche auf diesem Gebiet von Proesmans, and Van Gool (1997) unterscheiden
sich wesentlich in der Art und Anordnung des Projektionsmusters
sowie der Auswertung der Bilder.
-
Besonders
hervorzuheben ist die Eignung des Verfahrens für schnell bewegte Objekte.
Die maximale Relativgeschwindigkeit des Objektes zum Messsystem
ist nur durch die Dauer der Belichtungszeit, bzw. der Beleuchtungszeit
begrenzt. Geschwindigkeiten von bis über 100 m/s lateral zur Kamera sind
technisch machbar.
-
Das
Verfahren ist nicht auf das dargestellte Ausführungsbeispiel beschränkt. Vielmehr
können auch
umgekehrt den Projektorkreuzungspunkten Pp Epipolarlinien
im Kamerabild mit den nächstliegenden
Kreuzungspunkten an den Positionen Pk zugeordnet
werden damit korrespondierende Punktepaare {Pk,
Pp} gebildet werden und mittels Berechnung der
Schnittpunkte der Projektionsgeraden der Punktepaare {Pk,
Pp} die dreidimensionalen Koordinaten P der
detektierten Schnittpunkte (7) auf der Objektoberfläche bestimmt
werden.
-
Literatur
-
- ELLSON, R. N., AND J. H. NURRE, editors (1997, Mar.). SPIE
Proceedings: Three-Dimensional Image Capture, Vol. 3023, Bellingham,
Washington, USA. SPIE.
- GOOL, L. V., editor (2002, Sept.): 24th DAGM Symposium, Zürich, Vol.
2449 of Lecture Notes on Computer Science, Berlin, Heidelberg. DAGM:
Springer.
- GRAY, F. (1953, 17. Mar.): Pulse Code Communications. US-Patent
2,632,058.
- KONINCKX, T., AND L. V. GOOL (2002, Sept.): Efficient, Active
3D Acquisition, Based on a Pattern-Specific Snake. In Gool (2002),
pp. 557–565.
- PROESMANS, M., AND L. J. VAN GOOL (1997, Mar.): One-shot active
3D image capture. Bellingham, Washington, USA.
- SOJKA, E. (2002, Sept.): A New and Efficient Algorithm for Detecting
the Corners in Digital Images. In Gool (2002), pp. 125–132.