-
Die
Erfindung betrifft ein Verfahren und eine Vorrichtung zum Gewinnen
eines Abstandsbildes. Abstandsbilder codieren im Gegensatz zu konventionellen
Bildern, die Grauwerte oder Farben codieren, die Entfernung von
Objektpunkten vom Sensor (im Allgemeinen einer Kamera) oder die
Höhe der Objektpunkte relativ zu einer Ebene. Die Bildpunkte
eines Abstandsbildes enthalten also eine Entfernungsinformation
(z. B. Abstand oder Höhe) des jeweils zugehörigen
abgebildeten Objektpunktes. Technische Anwendungen finden sich u.
a. in Montagekontrolle, Robotik, Messtechnik, Archäologie,
Bekleidungsindustrie, Biometrie, Medizin und Reverse Engineering.
-
Das
in der vorliegenden Anmeldung beschriebene Verfahren betrifft die
Triangulation mit Stereo-Kameras zur berührungslosen Gewinnung
eines Abstandsbildes. Stereo-Systeme benutzen zwei oder mehr Videokameras,
die starr miteinander verbunden sind und die gleiche Szene beobachten.
Bei Stereo-Verfahren ist das schwierigste Problem die Herstellung
der Korrespondenz der Bildpunkte, d. h. die Zuordnung der Bildpunkte
der einen Kamera zu denen der Bildpunkte der anderen Kamera. Ist
die Korrespondenz bekannt, so kann nach bekannten mathematischen
Methoden ein entsprechendes Abstandsbild berechnet werden.
-
Zum
Herstellen der Korrespondenz werden klassisch Bildanalysemethoden
auf Basis der Extraktion konturhafter oder blob-artiger Merkmale
eingesetzt; eine gefundene Zuordnung ist jedoch wegen möglicher
Probleme bei der Merkmalsextraktion nicht wirklich sicher, außerdem
muss zwi schen den Merkmalen geschätzt oder interpoliert
werden. Um diese Probleme zu umgehen, verwendet man zusätzlich strukturiertes
Licht.
-
In
der internationalen Patentanmeldung
PCT/EP 2006/010577 , angemeldet
am 3. November 2006 und zum Zeitpunkt der vorliegenden Anmeldung
unveröffentlicht, wird das Erstellen von Abstandsbildern
mittels quer oder schräg zu den epipolaren Linien verlaufender
Zufalls- oder Pseudozufallsmuster beschrieben, das eine erhebliche
Verbesserung in Bezug auf die Korrespondenzbildung bedingt. Aus
einer pixelweisen Berechnung eines Verhältnisses von Modulationswerten
aus verschiedenen Bildaufnahmen mit verschiedenen Mustern ergeben
sich verschiedene Vorteile wie die Unabhängigkeit von Oberflächeneigenschaften.
Das resultierende Quotientenbild ist per se völlig unabhängig
von den Oberflächeneigenschaften des Objekts sowie der
Richtung der Oberflächen-Normalen. Die Bestimmung der korrespondierenden
Punkte (das Hauptproblem bei Stereoauswertung) wird dadurch ganz wesentlich
erleichtert.
-
Die
dort beschriebenen Verfahren und Vorrichtungen setzen jedoch die
Verwendung von mindestens zwei verschiedenen Beleuchtungsmustern voraus,
von denen mindestens eines ein Zufalls- oder Pseudozufallsmuster
ist, was bei manchen praktischen Anwendungen aufwendig sein kann.
-
In 11 der oben genannten Anmeldung wird eine
Beleuchtungsanordnung mit einer bewegten Maske mit Zufallsmuster
beschrieben; es werden mit dieser Anordnung mindestens zwei verschiedene Muster
projiziert. In der Beleuchtungsanordnung ist ein bewegtes Teil erforderlich.
Die Position der Beleuchtungseinrichtung relativ zur Szene ist dabei gleichbleibend.
-
Für
dynamische Szenen, z. B. bei bewegten Werkstücken, wird
in derselben Anmeldung (S. 19 Zeile 18 ff des Ursprungsdokuments)
angegeben, dass entsprechend dem Verschiebungsvektorfeld (im Bildbereich)
versetzte Pixel ins Verhältnis zu setzen sind; die beiden
Beleuchtungen, mit mindestes einem Zufalls- oder Pseudozufallsmuster,
sind dabei unterschiedlich.
-
Der
Erfindung liegt die Aufgabe zugrunde, die in der internationalen
Patentanmeldung
PCT/EP 2006/010577 angegebenen
Verfahren und Vorrichtungen derart weiterzubilden, dass der apparative Aufwand
verringert wird.
-
Die
Aufgabe wird erfindungsgemäß gelöst durch
Verfahren und Vorrichtungen mit den Merkmalen der beigefügten
unabhängigen Patentansprüche. Bevorzugte zusätzliche
Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus
den abhängigen Patentansprüchen und der nachfolgenden Beschreibung
mit zugehörigen Zeichnungen.
-
Die
Aufgabe wird also dadurch gelöst, dass bei relativ zum
Beleuchtungsmuster bewegter Szene nur ein Beleuchtungsmuster verwendet
wird. Dieses gleiche Beleuchtungsmuster kann von derselben Projektionseinheit
realisiert werden, wobei Beleuchtungsmuster und Projektionseinheit
zueinander fix sind. Die Projektionseinheit braucht also weder bewegte
Teile noch eine aufwendige Einrichtung für veränderbare
Beleuchtungsmuster (Mikrospiegel, Elektronik) zu besitzen. Erfindungsgemäß ist
das Beleuchtungsmuster sowohl in Bewegungsrichtung (Verschieberichtung)
als auch in Richtung der epipolaren Linien moduliert. Letzteres
wird vorzugsweise durch ein schräg zu den epipolaren Linien
und schräg zur Bewegungsrichtung verlaufendes Streifenmuster realisiert.
-
Sind
Kameras und Szene nicht zueinander fest angeordnet, so geschieht
die Zuordnung von Pixeln desselben Objektpunktes verschiedener Aufnahmen
aus Kenntnis des Verschiebungsvektorfelds im Bild, das wiederum
aus der zumindest näherungsweise bekannten Verschiebung
zwischen Szene und Beleuchtungsmuster gewonnen werden kann.
-
Auf
die Offenbarung der oben genannten internationalen Patentanmeldung
PCT/EP 2006/010577 wird
vollinhaltlich in Bezug genommen, insbesondere in Bezug auf:
- – Die Merkmale und Eigenschaften von
Zufalls- oder Pseudozufallsmustern.
- – Die Möglichkeiten zur Erzeugung und technischen
Realisierung von Zufalls- oder Pseudozufallsmustern.
- – Die Ausführungsformen von Zufalls- oder
Pseudozufallsmustern, die im vorliegenden Zusammenhang besondere
Vorteile aufweisen.
- – Die Vorteile und praktische Anwendung der Anordnung
von Zufalls- oder Pseudozufallsmustern, die schräg oder
quer zu den epipolaren Linien angeordnet sind.
- – Die Vorteile und praktische Anwendung der Bildung
von Modulationsmerkmal-Verhältnissen,
- – Die grundsätzlichen Vorteile eines gattungsgemäßen
Verfahrens gegenüber den früher bekannten Verfahren.
- – Die Verwendung von mehr als zwei Kameras mit Realisierung
einer Fusion.
- – Die Verwendung eines Farbparameters oder von Polarisation
als Modulationsmerkmal.
-
Bei
der Bildung des Modulationsmerkmal-Verhältnisses zu den
ins Verhältnis gesetzten Modulationsmerkmalen kann ein
Offset-Wert g hinzugerechnet oder abgezogen werden. Es ist also
das mathematische Verhältnis zweier Werte h1 und h2, also
h1/h2 oder h2/h1 gemeint, oder eine sonstige Verhältnisbildung
in diesem Sinne, z. B. (h1 – g1)/(h2 – g2), (h1
+ g1)/(h2 – g2), (h1 – g1)/(h2 + g2), (h1 + g1)/(h2
+ g2). Dabei kann g1 und g2 gleich oder verschieden sein. Die Addition
oder Subtraktion der Werte g1 und/oder g2 kann beispielsweise der
Berücksichtigung eines zuvor gemessenen Grundwertes bei
Umgebungslicht dienen, oder der Vermeidung der Division durch Null
oder durch sehr kleine Werte dienen.
-
Zufalls-
oder Pseudozufallsmuster werden im Folgenden auch kurz Zufallsmuster
genannt. Unter Pseudozufallsmuster werden hier auch determinierte
Muster (Quasi-Zufallsmuster) subsumiert, die innerhalb eines gewissen
lokalen Bereichs keine Wiederholungen aufweisen, über eine Mindestlänge gesehen.
Hinsichtlich weiterer Erläuterungen zu Zufallsmustern und
Pseudozufallsmustern einschließlich Quasizufallsfolgen
wird auf die oben genannte internationale Patentanmeldung
PCT/EP 2006/010577 Bezug
genommen.
-
Unter
einem Zufallsmuster bzw. Pseudozufallsmuster wird im Rahmen der
vorliegenden Erfindung entsprechend eine zweidimensionale Struktur verstanden,
die mindestens ein Modulationsmerkmal, z. B. Intensität/Helligkeit,
Farbe bzw. ein Farbparameter wie Farbintensität oder Farbsättigung,
Polarisation, Phase, Frequenz etc., aufweist, das in dem Muster
in zumindest einer räumlichen Dimension als Zufallsfolge
bzw. Pseudozufallsfolge ausgebildet ist, d. h. hinsichtlich dieses
Modulationsmerkmals in Form einer Zufallsfolge bzw. Pseudozufallsfolge
in zumindest einer räumlichen Dimension lokal moduliert
ist. Im Rahmen der vorliegenden Anmeldung ist das Zufalls- bzw.
Pseudozufallsmuster im Wesentlichen in einer ersten räumlichen
Dimension lokal moduliert und in der zweiten räumlichen
Dimension im Wesentlichen nicht oder nur wenig moduliert. Vorzugsweise
handelt es sich um ein Streifenmuster bzw. um ein Muster mit einer
streifenähnlichen Struktur. Dabei sind die Streifen in
dem von den Kameras aufgenommenen Bild im Wesentlichen so zu den
epipolaren Linien orientiert, dass das Muster im Wesentlichen entlang
der epipolaren Linien moduliert ist. Außerdem ist das Muster
in Bewegungsrichtung moduliert.
-
Der
Vorteil von schräg zu den epipolaren Linien verlaufenden
Projektionsstreifen ist in der oben genannten internationalen Patentanmeldung
PCT/EP 2006/010577 erläutert.
Die schräge Projektion ermöglicht es, dass in
die Auswertung der Bildinformation zum Erstellen des Abstandsbildes
Zuordnungen von zueinander unterschiedlichen Werten einbezogen werden,
die zu demselben Objektpunkt gehören, aber aus verschiedenen
epipolaren Linien stammen, die benachbart oder nah zueinander angeordnet
sind, und stabilisiert dadurch die Auswertung der Bildinformation
zum Erstellen des Abstandsbildes. Mit schrägen Projektionsstreifen
kann erfindungsgemäß gleichzeitig erreicht werden,
dass das Muster auch in Bewegungsrichtung moduliert ist; daraus
wiederum ergibt sich die Mög lichkeit, bei bekanntem Verschiebungsvektorfeld
mit nur einem einzelnen Muster auszukommen.
-
Es
werden pro Kamera mindestens zwei Bilder in unterschiedlicher Relativposition
von Beleuchtungsmuster und Szene aufgenommen. Mit zunehmender Zahl
von solchen Bildern und damit mit zunehmender Zahl verwendeter Modulationsmerkmale (Vergleich
von Vektoren mit Modulationsmerkmalen) nimmt die Robustheit der
Auswertung zu.
-
Weitere
Einzelheiten und Vorteile der Erfindung werden anhand eines Ausführungsbeispiels
unter Bezugnahme auf die beigefügte Zeichnung erläutert.
Die beschriebenen Merkmale können einzeln oder in Kombination
verwendet werden, um bevorzugte Ausgestaltungen der Erfindung zu
schaffen.
-
Die
Szene in 1 umfasst eine Unterlage 1,
auf der ein Werkstück 2 liegt. Unterlage 1 und Werkstück 2 bilden
die auszuwertende Szene 3 und werden auch als Objekt bezeichnet.
Das Werkstück 2 ist beispielsweise eine sich im
Wesentlichen linear erstreckende Dichtraupe auf einer zu verklebenden Autoscheibe,
welche die Unterlage 1 bildet. Es ist die Höhe
der Oberflächenpunkte von Unterlage 1 und Werkstück 2,
kurz der Objektpunkte, zu bestimmen. Die Szene kann natürlich
auch nur aus einem Ausschnitt eines Werkstückes 2 bestehen.
Die Szene wird über zwei Stereo-Kameras 4, 5 betrachtet
und mit einer Projektionseinheit 9 beleuchtet.
-
Die
Projektionseinheit
9 projiziert ein pseudozufälliges
Strichmuster
19 auf die Szene
3; dieses Strichmuster
19 ist
zur Vereinfachung der Zeichnung in einer Ebene knapp über
dem Werkstück
2 aufgefangen gezeichnet. Die technische
Realisierung des Beleuchtungsmusters kann in bekannter Weise erfolgen,
inklusive der in der oben genannten internationalen Patentanmeldung
PCT/EP 2006/010577 beschriebenen
Techniken, beispielsweise mit einer Projektionseinheit mit einer
Maske, die lokal unterschiedlich transparent in Form eines Pseudozufallsmusters
ist, oder mit Leuchtdioden mit deutlich inhomogenem Leuchtkegel.
In
-
1 ist
die Projektionseinheit als Punktlichtquelle mit Maske gezeichnet;
man wird stattdessen jedoch die klassische Anordnung mit Abbildungsoptik
bevorzugen, da damit die Beleuchtung der Szenenpunkte aus einem
großen Raumwinkel ermöglicht wird.
-
Das
projizierte Muster besteht vorzugsweise aus Streifen 8,
die in den von den Kameras 4, 5 aufgenommenen
Bildern grob gesehen schräg zu den epipolaren Linien und
zur Bewegungsrichtung verlaufen.
-
Die
Winkel zwischen Streifenmuster und Epipolarlinie bzw. Streifenmuster
und Bewegungsrichtung liegen zwischen 20° und 70°.
In Fällen, in denen die epipolaren Linien nicht parallel
verlaufen, gilt für diese Betrachtung eine mittlere Richtung
der epipolaren Linien in dem aktiv auszuwertenden Teil des von der
Kamera aufgenommenen Bildfeldes, d. h. dem Teil, in dem sich die
auszuwertende Szene 3 bzw. das Objekt befindet.
-
Zwei
mögliche Bewegungsrichtungen sind in 1 mit
dicken Pfeilen angedeutetL; in beiden Fällen verläuft
die Bewegung schräg zum Streifenmuster.
-
Zwischen
den beiden Bildaufnahmen wird mittels einer nicht dargestellten
Verschiebeeinrichtung eine Relativverschiebung realisiert zwischen Werkstück 2 einerseits
und Beleuchtungsmuster 19 andererseits. Dabei ändert
sich das projizierte Zufalls- oder Pseudozufallsmuster an den Objektpunkten
der Szene 3 aufgrund der Relativverschiebung. Die Wegstrecke
der Relativverschiebung kann entweder unmittelbar mittels einer
Messeinrichtung gemessen oder vorteilhafterweise direkt aus Positions- oder
Verschiebedaten der Verschiebeeinrichtung abgeleitet werden. Wenn
beispielsweise das Objekt 2 mittels eines Werkstücktransports,
beispielsweise einem Transportband oder einer mehrachsengesteuerten
Robotik, verschoben wird oder die Projektionseinheit 9 mittels
einer Positioniereinrichtung verschoben wird, können die
relativen Lageänderungen unmittelbar aus den zugehörigen
Daten abgeleitet werden. Die Zuordnung von Pixeln eines Objektpunktes in
den Aufnahmen der Kameras 4, 5, die aufgrund der
zwischen den zwei Aufnahmen erfolgenden Relativverschie bung in dem
von den Kameras 4, 5 aufgenommenen Bild relativ
zueinander verschoben sind, zu dem selben Objektpunkt kann auf Basis
der so zumindest näherungsweise bekannten Wegstrecke, um
die die Relativverschiebung erfolgte, durchgeführt werden.
-
In
praktischen Anwendungen wird man nicht immer sowohl das Werkstück 2 bzw.
die Szene 3 als auch die Projektionseinheit 9 bewegen,
um die Relativverschiebung zu erzeugen. Eine erste vorteilhafte Ausführungsform
kann darin bestehen, dass die Szene 3 stationär
im Raum angeordnet wird und die Projektionsmuster 19 relativ
zu der Szene verschoben werden, beispielsweise mittels einer Linearführung. Eine
andere vorteilhafte Ausführungsform kann darin bestehen,
dass die Projektionseinheit 9 und damit das Projektionsmuster 19 fest
im Raum angeordnet werden und die Szene 3 relativ dazu
verschoben wird, beispielsweise mittels eines Lineartransports.
-
Die
Projektionseinheit 9, mit der die Szene mit dem Zufalls-
bzw. Pseudozufallsmuster beleuchtet wird, ist vorzugsweise fest
relativ zu den Kameras 4, 5; so kann eine integrierte
und ggf. miniaturisierte Sensoreinheit mit Beleuchtung und Kameras
realisiert werden. Die Projektionseinheit 9 kann jedoch auch
relativ zu den Kameras 4, 5 beweglich angeordnet
sein.
-
Anmerkung:
Die epipolaren Linien sind in der Bildebene definiert; mit der Sprechweise
"Zufallsmuster in Richtung der epipolaren Linien moduliert" oder
"Streifen schräg zu epipolaren Linien" ist natürlich
die Abbildung der Zufallsmuster/Streifen im Bild, relativ zu den
epipolaren Linien gemeint.
-
Bevorzugte
Anwendungsgebiete sind auf dem Gebiet der Kontrolle von Höhenprofilen
wie Kleberaupen, Dichtnähten oder Schweiß-/Lötnähten, und
die Verfolgung von Höhenprofilen, wie sie zum automatischen
Nachführen beim Schweißen gefordert sein kann.
Der besondere Vorteil der Erfindung liegt darin, dass die für
solche Anwendungen ohnehin gegebene Bewegung für eine Vereinfachung
der Beleuchtungsanordnung ausgenutzt werden kann. Bewegte Teile
oder aufwendige Elektronik (Beamer) entfallen. Dadurch wiederum
eröffnen sich Möglichkeiten zur Miniaturisierung.
-
Gerade
bei Anwendungen der genannten Art ist eine Miniaturisierung der
Sensoranordnung und damit auch der Beleuchtungsanordnung von Wichtigkeit.
-
Aufgaben
wie die Vermessung von Schweiß- oder Kleberaupen-Höhenprofilen
werden normalerweise mittels Laser-Lichtschnitt gelöst.
Nachteilig dabei sind die unvermeidlichen Laser-Speckles sowie an
glänzenden Oberflächen die hohe Empfindlichkeit gegenüber
der Oberflächenneigung (Licht wird nicht in die Kamera
hinein reflektiert; es ergeben sich sog. Aussetzer). Mit der erfindungsgemäßen
Anordnung kann jeder Objektpunkt aus einem relativ großen Raumwinkel
beleuchtet werden, die Empfindlichkeit gegenüber schwankender
Oberflächenneigung wird dadurch verringert.
-
Mit
der erfindungsgemäßen Anordnung können
Profile in Stereoanordnung auch so aufgenommen werden, dass Bewegung
und epipolare Linien parallel oder näherungsweise parallel
verlaufen (Szene in 1 um 90 Grad gedreht); dann
ergeben sich an den Seitenflanken des Profils keine Stereo-Abschattungen,
was für viele Anwendungen von Vorteil ist.
-
- 1
- Unterlage
- 2
- Werkstück
- 3
- Szene
- 4
- Kamera
- 5
- Kamera
- 7
- Maske
- 8
- Streifen
- 9
- Projektionseinheit
- 19
- pseudozufälliges
Strichmuster
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- - EP 2006/010577 [0004, 0008, 0012, 0014, 0016, 0020]