-
Die
Erfindung betrifft eine Vorrichtung zur Bestimmung von Raumkoordinaten
eines Objekts mit:
- – einem Projektor, der auf
das Objekt ein Muster mit bekannten Projektionsdaten projiziert;
- – einer
Kamera, die ein Objektbild des auf das Objekt projizierten Musters
erzeugt;
- – einer
der Kamera nachgeschalteten Datenverarbeitungseinheit, die aus dem
Objektbild und den bekannten Projektionsdaten Raumkoordinaten des
Objekts bestimmt.
-
Die
Erfindung betrifft ferner ein Verfahren zur Bestimmung von Raumkoordinaten
eines Objekts mit den Verfahrensschritten:
- – Projektion
eines Musters mit bekannten Projektionsdaten auf ein Objekt,
- – Erzeugen
eines Objektbilds mit Hilfe einer Kamera und
- – Bestimmen
der Raumkoordinaten aus den bekannten Projektionsdaten in einer
Datenverarbeitungseinheit.
-
Eine
derartige Vorrichtung und ein derartiges Verfahren sind aus der
DE 199 63 333 A1 bekannt. Bei
der bekannten Vorrichtung und dem bekannten Verfahren wird von einem
Projektor ein zweidimensionales Farbmuster auf die Oberfläche des
zu untersuchenden Objekts projiziert. Eine Kamera, deren Lage bezüglich des
Projektors bekannt ist, erfasst das auf das Objekt projizierte Farbmuster.
Mit Hilfe eines Triangulationsverfahrens können anschließend die
dreidimensionalen Koordinaten eines Punkts auf der Oberfläche des
Objekts berechnet werden.
-
Die
bekannte Vorrichtung und das bekannte Verfahren eignen sich insbesondere
zur Vermessung von großflächigen einfarbigen
Gegenständen.
Wenn die Oberfläche
des zu vermessenden Ob jekts jedoch in räumlicher Hinsicht oder in Bezug
auf die Einfärbung
des Objektes kleinteilig strukturiert ist, ist es häufig schwierig,
das Objektbild zu analysieren, da entweder das projizierte Muster
aufgrund von Abschattungen oder Kanten nur unvollständig im
Objektbild enthalten ist oder weil das projizierte Farbmuster durch
die Einfärbung
der Oberfläche
des zu vermessenden Objekts verfälscht
wird. Darüber
hinaus ist die Ortsauflösung
des bekannten Verfahrens eingeschränkt, da zur Codierung der Projektionsdaten
im Farbmuster Farbflächen
mit einer bestimmten räumlichen
Ausdehnung verwendet werden müssen.
-
Ausgehend
von diesem Stand der Technik liegt der Erfindung die Aufgabe zugrunde,
ein Verfahren und eine Vorrichtung zu schaffen, mit denen sich auch
kleinteilig strukturierte Oberflächen
eines zu vermessenden Objekts mit großer Genauigkeit erfassen lassen.
-
Diese
Aufgabe wird durch eine Vorrichtung und ein Verfahren mit den Merkmalen
der unabhängigen
Ansprüche
gelöst.
In davon abhängigen
Ansprüchen
sind vorteilhafte Ausgestaltungen und Weiterbildungen angegeben.
-
Die
Vorrichtung zeichnet sich dadurch aus, dass wenigstens eine weitere
Kamera ein weiteres Objektbild erzeugt und die Datenverarbeitungseinheit
aus den Objektbildern mittels eines Triangulationsverfahrens zusätzliche
Raumkoordinaten des Objekts bestimmt.
-
Bei
der Vorrichtung können
die Raumkoordinaten auf zweierlei Weise bestimmt werden. Zum einen
ist es möglich,
die Musterbilder unabhängig
voneinander auf der Grundlage der bekannten Projektionsdaten des
projizierten Musters auszuwerten.
-
Vorzugsweise
werden dabei die Raumkoordinaten aus den Musterbildern auf der Grundlage
der Projektionsdaten des projizierten Musters bestimmt. Erst wenn
einem Bildpunkt in einem der beiden Musterbilder keine Raumkoordinaten
zugeordnet werden können,
werden in den beiden Musterbildern zueinander korrespondierende
Bildpunkte gesucht und aus den Bildkoordinaten mit Hilfe eines Triangulationsverfahrens
versucht, die fehlenden Raumkoordinaten zu bestimmen.
-
Bei
einer bevorzugten Ausführungsform
der Vorrichtung und des Verfahrens werden die zueinander korrespondierenden
Bildpunkte entlang so genannter Epipolarlinien gesucht. Die Epipolarlinien sind
die Projektion der einem Bildpunkt eines Musterbilds zugeordneten
Sichtlinie in ein anderes Musterbild. Das auf das zu vermessende
Objekt projizierte Muster ist dabei vorzugsweise so ausgebildet,
dass die Epipolarlinien eine Vielzahl von Musterflächen durchqueren,
so dass bei der Suche entlang der Epipolarlinien auf die im projizierten
Muster codierte Ortsinformation zurückgegriffen werden kann.
-
Bei
einer weiteren bevorzugten Ausführungsform
enthält
das auf das Objekt projizierte Muster redundant codierte Ortsinformationen.
Dadurch können
Fehler beim Decodieren des Musters eliminiert werden.
-
Weitere
Eigenschaften und Vorteile der Erfindung gehen aus der nachfolgenden
Beschreibung hervor, in der Ausführungsbeispiele
der Erfindung anhand der beigefügten
Zeichnung erläutert
werden. Es zeigen:
-
1 eine
Vorrichtung zur Bestimmung der räumlichen
Struktur eines Objekts; und
-
2 eine
Darstellung der Vorrichtung aus 1 mit eingezeichneten
Sichtlinien und Bildkoordinatensystemen.
-
1 zeigt
eine Messvorrichtung 1 zur Bestimmung der räumlichen
Struktur eines Objekts 2. Die Messvorrichtung 1 umfasst
einen Projektor 3, der ein Muster 4 auf eine Oberfläche 5 des
Objekts 2 projiziert. Neben dem Projektor 3 sind
Kame ras 6 angeordnet, die das auf das Objekt 2 projizierte
Muster 4 erfassen. Die Kameras 6 sind jeweils
an einem Rechner 7 angeschlossen.
-
Die
Kameras 6 erzeugen die in 2 dargestellten
Musterbilder 8 und 9. Die Lagen von Bildpunkten
Sl und Sr in den
Musterbildern 8 und 9 werden mit Hilfe von Bildkoordinatensystemen 10 und 11 beschrieben.
Weiterhin sind in 2 Objektivkoordinatensysteme 12 und 13 dargestellt,
die die Lage von Objektiven der Kameras 6 verdeutlichen.
In der Praxis befinden sich die Musterbilder 8 und 9 in
Strahlrichtung hinter den Objektiven der Kameras 6 und 7. Der
Einfachheit halber sind jedoch in 2 die Musterbilder 8 und 9 in
Strahlrichtung vor den Objektivkoordinatensystemen 12 und 13 eingezeichnet.
An den geometrischen Verhältnissen ändert sich
jedoch dadurch nichts.
-
Ferner
sind in 2 Sichtlinien 14 und 15 eingezeichnet,
die jeweils von einem Objektpunkt S auf der Oberfläche 5 des
Objekts 2 zu einem Ursprung Ol des
Objektivkoordinatensystems 12 und zu einem Ursprung Or des Objektivkoordinatensystems 13 verlaufen.
Entlang der Sichtlinien 14 und 15 wird der Objektpunkt
S im Musterbild 8 auf den Bildpunkt Sl und
im Musterbild 9 auf den Bildpunkt Sr abgebildet.
Die Bildpunkte Sl und Sr werden
auch als korrespondierende Bildpunkte bezeichnet. Die zueinander korrespondierenden
Bildpunkte Sl und Sr liegen
auf epipolaren Linien 16 und 17, die jeweils die
Projektion der Sichtlinien 14 und 15 in das jeweils
andere Musterbild 8 und 9 sind.
-
Die
Oberflächenkoordinaten
der Oberfläche 5 des
Objekts 2 können
bei der Messvorrichtung 1 zum einen gemäß dem Strukturierten-Licht-Ansatz bestimmt
werden. Bei diesem Verfahren wird beispielsweise wie in 1 und 2 dargestellt,
das zu vermessende Objekt mit einem Streifenmuster beleuchtet. Zu
jedem Bildpunkt in den Musterbildern 8 und 9 ist
nun die Ebene zu identifizieren, in der der Objektpunkt S liegt,
der dem Bildpunkt Sl oder Bildpunkt Sr entspricht. Diese Aufgabe wird auch als Identifikationsproblem
bezeichnet. Da die Winkel bekannt sind, unter denen ein Streifen
des Musters 4 auf das Objekt 2 projiziert wird,
kann der Winkel der Sichtlinie 14 oder 15 nach
Identifikation der jeweiligen Ebene oder des jeweiligen Streifens
im Musterbild 8 oder 9 bestimmt werden. Da ferner
der Abstand zwischen dem Projektor 3 und der jeweiligen
Kamera 6 bekannt ist, kann durch Triangulation der Abstand des
Objektpunkts S aus einem der Musterbilder 8 oder 9 bestimmt
werden.
-
Beim
Codierten-Licht-Ansatz, einer abgewandelten Ausführungsform des Strukturierten-Licht-Ansatzes,
wird das Identifikationsproblem dadurch gelöst, dass nacheinander verschiedene, aus
Streifen zusammengesetzte Muster 4 auf das Objekts 2 projiziert
werden, wobei die Streifenbreiten der Muster 4 variieren.
Für jede
dieser Projektionen wird ein Musterbild 8 oder 9 aufgenommen
und für
jeden Bildpunkt im Musterbild 8 oder 9 wird die
jeweilige Farbe festgestellt. Bei Schwarz-Weiß-Bildern
beschränkt
sich die Feststellung der Farbe auf die Feststellung, ob der jeweilige
Objektpunkt hell oder dunkel erscheint. Für jeden Bildpunkt ergibt nun
die Feststellung der bei einer bestimmten Projektion angenommenen
Farbe einen mehrstelligen Code, durch den die Ebene identifiziert
werden kann, in der der zugehörige
Objektpunkt S liegt.
-
Mit
dieser Ausführungsform
des Codierten-Licht-Ansatzes lassen sich besonders hohe Auflösungen erzielen.
Weil jedoch bei diesem Verfahren jeder Objektpunkt S während der
Projektion seine Lage beibehalten muss, eignet sich das Verfahren nur
für statische
unbewegte Objekte, aber nicht für sich
bewegende oder sich verformende Objekte, wie beispielsweise Personen
oder bewegte Objekte auf einer Transporteinrichtung.
-
Bei
einer modifizierten Ausführungsform
des Codierten-Licht-Ansatzes
werden die jeweiligen Ebenen räumlich
in ein- oder zweidimensionalen Mustern codiert, indem die Projektsdaten oder
Ortsinformationen durch Gruppen von benachbarten verschiedenfarbigen
Streifen oder Rechtecken oder durch verschiedene Symbole codiert
werden. Die Gruppen von benachbarten verschiedenfarbigen Streifen
oder Rechtecken, die eine Ortsinformation enthalten, werden im Folgenden
Marken genannt. Eine derartige Marke besteht beispielsweise aus
der horizontalen Folge von jeweils vier benachbarten farbigen Streifen,
wobei die einzelnen Marken auch überlappen können. Die
in den Musterbildern 8 und 9 enthaltenen räumlichen
Marken werden im Rechner 7 decodiert und dadurch werden
die Ortsinformationen zurückgewonnen.
Wenn die Marken vollständig
in den Musterbildern 8 und 9 sichtbar sind, lassen
sich mit diesem Verfahren die Koordinaten der Oberfläche 5 des Objekts
grundsätzlich
auch dann gewinnen, wenn sich das Objekt 2 bewegt. Die
Zuverlässigkeit
bei der Decodierung der Marken kann noch weiter gesteigert werden,
indem zur Codierung der Marken redundante Codes verwendet werden,
die das Erkennen von Fehlern erlauben.
-
Die
Decodierung derartiger Codes kann mit handelsüblichen Arbeitsplatzrechnern 7 in
Echtzeit durchgeführt
werden, da für
jeden Bildpunkt des Musterbilds 8 oder 9 nur eine
begrenzte Umgebung analysiert werden muss.
-
Wenn
die zu vermessende Oberfläche 5 jedoch
räumliche
Strukturen aufweist, die kleiner als die projizierten Marken sind,
kann es zu Schwierigkeiten bei der Decodierung kommen, da unter
Umständen
Marken nicht vollständig
sichtbar sind. Darüber
hinaus kann die Reflexion an der Oberfläche 5 auch gestört sein.
Beispielsweise kann die Oberfläche 5 selbst
ein Streifenmuster zeigen, das das auf die Oberfläche 5 projizierte
Muster 4 stark stört.
Ein solches das projizierte Muster 4 stark störendes Muster
ist beispielsweise das Streifenmuster eines Barcodes. Weiterhin
treten an den Rändern
des Objekts 2 häufig
Ungenauigkeiten bei der Bestimmung der Raumkoordinaten auf, da die
Marken entlang den Rändern
des Objekts abrupt abbrechen.
-
Bei
der Messvorrichtung 1 ist zur Lösung dieser Probleme eine Vielzahl
von Kameras 6 vorgesehen. Gegebenenfalls können auch
mehr als zwei Kameras 6 bei einer Messvorrichtung von der
Art der Messvorrichtung 1 verwendet werden.
-
In
einem ersten Verfahrensschritt werden die von den n Kameras 6 aufgenommenen
Musterbilder 8 und 9 gemäß dem Strukturierten-Licht-Ansatz
ausgewertet. Daraus ergeben sich dann n Tiefenkarten. Im Allgemeinen
treten jedoch in diesen Tiefenkarten Bereiche auf, in denen aus
den oben genannten Gründen
kein Tiefenwert bestimmt werden konnte. In den meisten Fällen ist
der Anteil der Problembereiche, in denen keine Tiefenwerte bestimmt
werden können,
bezüglich
der Gesamtfläche
verhältnismäßig klein.
-
In
einem zweiten Verfahrensschritt wird nun eine Stereoverarbeitung
nach dem Prinzip des Stereosehens durchgeführt.
-
Gemäß dem Prinzip
des Stereosehens lassen sich die Koordinaten der Oberfläche 5 des
Objekts 2 gewinnen, indem die Oberfläche 5 von den Kameras 6 aus
aufgenommen wird, wobei die Positionen der Kameras 6 genau
bekannt sind. Wenn, wie in 2 dargestellt,
die einem Objektpunkt S zugeordneten Bildpunkte Sl und
Sr in den Musterbildern 8 und 9 identifiziert
werden können,
folgt die räumliche Position
des Objektpunkts S aus dem Schnitt der mindestens zwei Sichtlinien 14 und 15.
Je zwei Positionen der Kameras 6 und der Objektpunkt S
bilden ein Dreieck mit einer Basis 18 bekannter Länge und bekannten
Basiswinkeln φl und φr. Damit lassen sich die Koordinaten des
Objektpunkts S auf der Oberfläche 5 mit
Hilfe der so genannten Triangulation bestimmen.
-
Allerdings
ist das Auffinden von korrespondierenden Bildpunkten Sl und
Sr mit Problemen behaftet. Die Lösung des
Korrespondenzproblems wird zwar zunächst dadurch vereinfacht, dass
ein Objektpunkt S mit Bildpunkt Sl auf der
durch Sl und die bekannte Kamerageometrie
festgelegten Sichtlinie 14 liegen muss. Die Suche nach
den Bildpunkten Sr im Musterbild 9 kann
sich also auf die Projektion der Sichtlinie 14 in die Bildebene
der anderen Kamera 6, auf die so genannte Epipolarlinie 17 beschränken. Dennoch
bleibt die Lösung
des Korrespondenzproblems insbesondere unter Echtzeitbedingungen schwierig.
-
Grundsätzlich besteht
zwar die Möglichkeit, bestimmte
Annahmen über
das Musterbild 8 oder 9 zu treffen. Beispielsweise
kann die Annahme getroffen werden, dass die Musterbilder 8 und 9 annähernd gleich
aussehen ("Similarity
Constraint"), oder
angenommen werden, dass die räumliche
Reihenfolge der Merkmale des Objekts 2 in allen Musterbildern 8 und 9 gleich
ist ("Ordering Constraint"). Diese Annahmen
treffen aber nicht unter allen Umständen zu, da das Aussehen des
Objekts 2 stark vom Betrachtungswinkel abhängt.
-
Bei
der Messvorrichtung 1 wird die Lösung des Korrespondenzproblems
jedoch dadurch vereinfacht, dass auf das Objekt 2 das bekannte
Muster 4 projiziert wird. Bei der Messvorrichtung 1 braucht
daher nur entlang der Epipolarlinien 16 und 17 nach entsprechenden
Markenteilen gesucht werden. Insbesondere bei einfarbigen Flächen ist
das ein wesentlicher Vorteil.
-
Darüber hinaus
wird der Stereoverarbeitungsschritt ausschließlich in den Problembereichen durchgeführt, in
denen der Strukturierte-Licht-Ansatz keine Raumkoordinaten des Objekts 2 liefern
konnte. Häufig
handelt es sich bei den Problembereichen um Bereiche mit ausgeprägter optischer
Struktur, die durch die Projektion des Musters 4 noch verstärkt wird.
Die Problembereiche sind daher für
eine Verarbeitung nach dem Prinzip des Stereosehens im Allgemeinen
gut geeignet.
-
Ferner
kann der Stereoverarbeitungsschritt dazu verwendet werden, die Ortsauflösung zu
steigern, da auch innerhalb der Marken Korrespondenzpunkte bestimmt
werden können.
So ist es mit dem kombinierten Verfahren möglich, nicht nur den Marken grenzen
oder anderen Markenmerkmalen, sondern jedem Pixel oder Bildpunkt
der Kameras 6 einen genauen Tiefenwert zuzuordnen.
-
Schließlich können durch
die Anwendung der Messvorrichtung 1 Abschattungen vermieden werden,
denn die Tiefenwerte können
bereits dann berechnet werden, wenn ein Bereich der Oberfläche 5 im
gemeinsamen Sichtfeld von wenigstens zwei Kameras 6 oder
einer Kamera 6 und dem Projektor 3 liegt.
-
Somit
ist es mit der Messvorrichtung 1 im Gegensatz zu herkömmlichen
Messvorrichtungen möglich,
auch bei sehr kleinen oder sehr bunten Objekten mit vielen Tiefensprüngen unter
unkontrollierten Aufnahmebedingungen, zum Beispiel bei starkem Fremdlicht,
mit einem einzigen Paar von Musterbildern 8 und 9 genaue
dreidimensionale Daten von sehr hoher Auflösung zu gewinnen. Insbesondere lassen
sich dreidimensionale Daten von bewegten Objekten 2 bestimmen,
wie beispielsweise von vorbeilaufenden Personen oder von Gegenständen auf einem
Fließband.
Die Auswertung der von den Kameras 6 gelieferten Daten
kann auf einem handelsüblichen
Arbeitsplatzrechner in Echtzeit erfolgen.
-
Im
Vergleich zu einer Vorrichtung, die allein nach dem Prinzip des
Stereosehens arbeitet, ist die Messvorrichtung 1 deutlich
effizienter, und aufgrund der redundanten Codierung der Muster 4 erheblich zuverlässiger.
Darüber
hinaus liefert die Messvorrichtung 1 auch bei optisch unstrukturierten
Oberflächen zuverlässige Daten
und trägt
zur Reduzierung von Abschattungen bei.
-
Im
Vergleich zu Vorrichtungen, die ausschließlich nach dem Strukturierten-Licht-Ansatz
arbeiten, liefert die Messvorrichtung 1 genauere Daten bei
Objektkanten und kleinen Oberflächen 5.
Ferner werden auch dann genaue Daten erzeugt, wenn die Reflexion
der Marken gestört
ist. Schließlich
kann auch eine höhere
räumliche
Auflösung
erzielt werden. Auch Abschat tungen werden im Vergleich zum Stand
der Technik besser unterdrückt.
-
Die
hier beschriebene Messvorrichtung 1 eignet sich für die robuste
Erfassung von fein strukturierten Oberflächen in Echtzeit auch bei sich
schnell bewegenden, farbigen Objekten 2 in unkontrollierten Umgebungen
wie im Freien, in öffentlichen
Gebäuden
oder in Fabrikhallen. Im Zusammenhang mit der Konstruktion besteht
die Notwendigkeit, Gegenstände
für Nachbauten,
für die
Herstellung von Ersatzteilen oder der Erweiterung bestehender Anlagen
oder Maschinen dreidimensional zu vermessen. Diese Aufgaben können mit
Hilfe der Messvorrichtung 1 erfüllt werden. Auch in der Qualitätssicherung
kann die Messvorrichtung 1 eingesetzt werden. Die Messvorrichtung 1 ist
ferner für
die Identifizierung und Authentifizierung von Personen anhand biometrischer Merkmale
geeignet, zum Beispiel für
die Gesichtserkennung oder die dreidimensionale Verifikation durch eine Überprüfung der
Handgeometrie. Die Messvorrichtung 1 kann ferner auch für Aufgaben
wie die Qualitätskontrolle
von Lebensmitteln oder das dreidimensionale Erfassen von Gegenständen für die Modellierung
von Objekten für
virtuelle Realitäten
im Multimedia- und Spielebereich eingesetzt werden.