-
Die
Erfindung betrifft ein Verfahren zur Bestimmung von Korrespondenzen
von Bildpunkten in stereoskopisch mittels Kameras aufgenommenen Bildern,
bei dem anhand eines Vergleiches von Koordinaten korrespondierender
Bildpunkte der Bilder ein Disparitätsbild ermittelt wird.
-
Systeme
zu stereoskopischen Bilderfassung erfordern eine präzise
Kalibrierung der Kameras, da bereits geringste Kalibrierfehler,
auch als Dekalibrierungen bezeichnet, zu einer ungenauen dreidimensionalen
Rekonstruktion aus zweidimensionalen Bildern, vor allem an Kanten,
welche parallel zu einer Stereobasislinie verlaufen, führen.
-
Aus
der
JP 2001 116 545
A ist eine Vorrichtung zur Erfassung von Objekten in einer
Umgebung eines Fahrzeuges bekannt. Dabei sind zwei Kameras an dem
Fahrzeug angeordnet, anhand welcher Bilddaten von Objekten einer
Fahrzeugumgebung erfassbar sind. Zur Filterung von Kanten aus den
Bilddaten ist ein Kantenfilter vorgesehen, wobei auf Kantenlinien
ein Suchbereich gesetzt wird. Weiterhin ist eine stereoskopische
Zuordnungseinheit zur Zuordnung von Bilddaten eines linken und eines
rechten Bildes und einer Z-Koordinate zu dem spezifizierten Suchbereich
vorgesehen, wobei die Z-Koordinate einen Abstand jedes Kantenpunktes
einer vertikalen Kantenlinie von der jeweiligen Kamera darstellt
und aus einer Parallaxe der Kameras ermittelt wird. Für eine
horizontale Kantenlinie, für welche die Parallaxe der Kameras
nicht ermittelbar ist, ist eine Interpolationseinheit vorgesehen,
anhand derer die Z-Koordinate basierend auf den vertikalen Kantenlinien
interpoliert wird. Allen Kantenpunkten, welche horizontale Kantenlinien
und Umrisskantenlinien des Objektes umfassen, sind dreidimensionale
Koordinaten zuordbar. Ferner ist eine Objekterkennungseinheit vorgesehen,
mittels welcher eine Größe, eine Form und eine
Lage des Objektes aus den Koordinaten des Kantenbildes ableitbar
sind. Weiterhin ist aus einer Kontinuität der horizontalen
und vertikalen Kantenlinien ein Einbezug des Objektes einschätzbar.
-
Die
US 2007/0291992 A1 offenbart
eine Vorrichtung zur Entfernungsmessung, welche eine Bildverarbeitung
nutzt. Mittels der Vorrichtung ist eine Entfernung zu einem Objekt,
welches viele schiefe Kanten aufweist, ermittelbar. Zu der Ermittlung
der Entfernung wird zumindest ein von zwei erfassten Bildern horizontal
verkleinert, so dass die schrägen Kanten vertikalen Kanten ähneln,
aus welchen charakteristische Endpunkte ermittelt werden. Aus einem
Vergleich von Koordinaten der charakteristischen Endpunkte in beiden
Bildern wird eine Entfernung zu dem Objekt ermittelt.
-
Ferner
ist aus “H. Hirschmüller: Accurate and Efficient
Stereo Processing by Semi-Global Matching and Mutual Information;
2005 IEEE Computer Society Conference an Computer Vision and Pattern
Recognition (CVPR'05) – Volume 2, pp. 807–814” ein Semi-Global-Matching-Algorithmus
bekannt, welcher darauf basiert, Transinformation (mutual information) als Ähnlichkeitskriterium
zu nutzen. Transinformation oder mutual information ist ein Maß,
das die Stärke des statistischen Zusammenhangs zweier Größen,
in diesem Fall zweier Bilder angibt. Dabei wird für jede der
Größen die Entropie, meist die Shannonentropie und
die Vereinigungsentropie (englisch: joint entropy) beider Größen
ermittelt. Die Transinformation ergibt sich aus der Summe der Entropien
der Größen abzüglich ihrer Vereinigungsentropie.
Weiterhin wird ein Disparitätsbild anhand einer Akkumulation
von Kosten entsprechend einer Ähnlichkeit von einzelnen Bildpunkten
in zwei erfassten Bildern erzeugt. Sprünge von Disparitäten
werden mit Straftermen belegt, wobei ein kleiner Strafterm berücksichtigt
wird, wenn sich die Disparität zwischen benachbarten Bildpunkten
geringfügig ändert und ein großer Strafterm, wenn
eine sprungartige Änderung der Disparität zwischen
benachbarten Bildpunkten vorliegt. Man spricht hierbei auch von
einer Glattheitsbeschränkung (smoothness constraint).
-
Der
Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Bestimmung
von Korrespondenzen von Bildpunkten in mindestens zwei stereoskopisch aufgenommenen
Bildern anzugeben, anhand welchem eine qualitativ hochwertige dreidimensionale Rekonstruktion
auch bei nicht optimaler Kalibrierung von Kameras möglich
ist.
-
Die
Erfindung wird erfindungsgemäß durch ein Verfahren
gelöst, welches die in den beiden unabhängigen
Ansprüchen 1 und 2 Verfahrens angegebenen Merkmale aufweist.
-
Vorteilhafte
Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
Bei
dem erfindungsgemäßen Verfahren zur Bestimmung
von Korrespondenzen von Bildpunkten in mindestens zwei stereoskopisch
mittels Kameras aufgenommenen Bildern wird anhand eines Vergleiches
von Koordinaten korrespondierender Bildpunkte der Bilder ein Disparitätsbild
ermittelt. Erfindungsgemäß werden in einer Bildvorverarbeitung
bei horizontal nebeneinander angeordneten Kameras mittels eines
Kantenfilters horizontale Kanten aus den stereoskopischen Bildern
gefiltert. Aufgrund des Herausfilterns der horizontalen Kanten werden
auch bei Dekalibrierungen der Kameras sehr gute Ergebnisse bei der
dreidimensionalen Rekonstruktion erreicht, da bei horizontal nebeneinander
angeordneten Kameras eine Erzeugung von Ungenauigkeiten an horizontalen
Kanten, welche in diesem Fall parallel zu der Stereobasislinie verlaufen,
durch Dekalibrierungen vermieden werden.
-
Alternativ
oder zusätzlich werden entsprechend einer Ähnlichkeit
der korrespondierenden Bildpunkte in den stereoskopisch aufgenommenen
Bildern Kosten horizontal, vertikal und diagonal akkumuliert, wobei
die Kosten entlang von Kanten erhöht werden. Hieraus resultiert
in vorteilhafter Weise, dass Tiefensprünge (= Sprünge
der Disparitäten) entlang von horizontalen Kanten verhindert
werden und somit ebenfalls eine hohe Robustheit gegenüber
Dekalibrierungen horizontal nebeneinander angeordneter Kameras erreicht
wird, da angenommen wird, dass sich derartige Strukturen immer in
einer gleichen Entfernung bzw. in sich langsam ändernder
Entfernung zu den Kameras befindet, was in der Praxis sehr gut zutrifft.
-
Daraus
folgend eignet sich das erfindungsgemäße insbesondere
zu einem Einsatz in einem Fahrzeug, bei welchem beispielsweise durch
Erschütterungen geringfügige Dekalibrierungen
der Kameras auftreten können. Auch ergibt sich in besonders
vorteilhafter Weise, dass eine Qualität und Dichte der
dreidimensionalen Rekonstruktion steigt sowie eine geringe Anzahl
falscher Korrespondenzen zwischen Bildpunkten der stereoskopisch
erfassten Bilder sinkt.
-
Ausführungsbeispiele
der Erfindung werden im Folgenden anhand einer Zeichnung näher
erläutert.
-
Dabei
zeigt:
-
1 schematisch
einen ersten Verfahrensablauf zur Bestimmung von Korrespondenzen
von Bildpunkten in stereoskopisch mittels Kameras aufgenommenen
Bildern.
-
Die
einzige 1 zeigt einen ersten Verfahrensablauf zur Bestimmung
von Korrespondenzen von Bildpunkten P1, P2 (auch Pixel genannt)
in stereoskopisch mittels nicht näher dargestellter, horizontal
nebeneinander angeordneten Kameras aufgenommenen Bildern.
-
Dabei
werden in einem ersten Verfahrensschritt S1, welcher als Bildvorverarbeitung
vor einer eigentlichen Bildverarbeitung stattfindet, mittels eines
nicht näher dargestellten Kantenfilters horizontale Kanten
H1, H2 aus den stereoskopischen aufgenommenen Bildern B1, B2 gefiltert.
Bei dem Kantenfilter handelt es sich insbesondere um einen Sobel-Operator,
einen Prewitt-Operator oder einen anderen geeigneten, aus der Literatur
bekannten Kantenfilter, welcher vorzugsweise nur auf vertikale Kanten
V1, V2 anspricht, so dass die horizontalen Kanten H1, H2 in einfacher
Art und Weise gefiltert werden können.
-
Zur
eigentlichen Bildverarbeitung werden die Bilder B1, B2, welche nur
noch vertikale Kanten V1, V2 aufweisen, in einem zweiten Verfahrensschritt
S2 derart verarbeitet, dass mittels zumindest eines der zahlreichen
aus dem Stand der Technik bekannten Stereoalgorithmen Koordinaten
des Bildpunktes P1 des einen Bildes B1 mit Koordinaten des als potentiell
korrespondierend betrachteten Bildpunktes P2 des anderen Bildes
B2 verglichen werden. Aus einem Abstand der Bildpunkte P1 und P2
zueinander, einer so genannten Disparität wird der Abstand
eines Objektes, welches die Bildpunkte P1 und P2 aufweist, zu den
Kameras bestimmt. Nach diesem Algorithmus werden Disparitäten
für alle Bildpunkte der Bilder B1, B2, welche auf den vertikalen
Kanten V1 und V2 liegen, erzeugt und ein Disparitätsbild
D bzw. eine Disparitätskarte erzeugt, welche eine dreidimensionale Repräsentation
des Objekts in seinem Kontext darstellen. Auf diese Weise kann die
Entfernung und räumliche Lage des Objekts im Verhältnis
zu den Kameras ermittelt werden.
-
Alternativ
zu der Filterung der horizontalen Kanten H1, H2 mittels des Kantenfilters
werden die stereoskopisch erfassten Bilder B1, B2 im ersten Verfahrensschritt
S1 mittels eines Semi-Global-Matching-Algorithmus gemäß ”H.
Hirschmüller: Accurate and Efficient Stereo Processing
by Semi-Global Matching and Mutual Information; 2005 IEEE Computer Society
Conference an Computer Vision and Pattern Recognition (CVPR'05) – Volume
2, pp. 807–814” abgetastet und Kosten
entsprechend der Ähnlichkeit der Bildpunkte P1, P2 horizontal,
vertikal und diagonal akkumuliert. Die Kostenberechnung basiert
dabei auf einer Berechnung der Transinformation auf die einzelnen
Bildpunkte P1, P2 der Bilder B1, B2 bezogen.
-
Abweichend
zu dem aus ”H. Hirschmüller: Accurate
and Efficient Stereo Processing by Semi-Global Matching and Mutual
Information; 2005 IEEE Computer Society Conference an Computer Vision
and Pattern Recognition (CVPR'05) – Volume 2, pp. 807–814” bekannten
Semi-Global-Matching-Algorithmus, bei welchem Sprünge in
Disparitäten benachbarter Bildpunkte, wie sie beispielsweise
an Grauwertkanten auftreten, je nach ihrer Größe
mit einem kleinen oder einem großen Strafterm belegt werden,
werden erfindungsgemäß die Kosten entlang von
Kanten H1, H2, V1, V2 erhöht, da sich an diesen die Disparitäten
nur gering ändern. Somit sind alle Kanten H1, H2, V1, V2,
jedoch insbesondere die horizontalen Kanten H1, H2 erfassbar, so
dass die horizontalen Kanten H1, H2 aufgrund der hohen Kosten nicht
bei der Erstellung des Disparitätsbildes D berücksichtigt
werden.
-
Weiterhin
werden zusätzlich beide Strafterme an den horizontalen
Kanten H1, H2 deutlich erhöht, so dass glatte Lösungen
bevorzugt werden. Diese Vorgehensweise nutzt insbesondere den Aspekt,
dass horizontale Kanten H1, H2 insbesondere dann vorliegen, wenn
eine Kamera rechtwinklig auf Flächen blickt.
-
Zusätzlich
ist es möglich, die beiden Verfahren, d. h. mittels der
Bildvorverarbeitung die Filterung der horizontalen Kanten H1, H2
anhand des Kantenfilters und die Erhöhung der Kosten bzw.
der Strafterme, zu kombinieren. Dabei wird zunächst die
Filterung der horizontalen Kanten H1, H2 im ersten Verfahrenschritt
S1 und anschließend im zweiten Verfahrensschritt S2 die
Abtastung der Bilder B1, B2 mittels des Semi-Global-Matching-Algorithmus
und die Erhöhung der Kosten bzw. Strafterme durchgeführt. Diese
Kombination stellt ein besonders leistungsfähiges, einfach
und schnell durchführbares sowie gegen Dekalibrierungen
der Kameras nahezu unempfindliches Verfahren dar, da die horizontalen
Kanten H1, H2 unterdrückt und gleichzeitig die Glattheitsbeschränkung,
der so genannte smoothness constraint, welche durch die Berücksichtigung
der Strafterme realisiert wird, genutzt werden.
-
- B1,
B2
- Bild
- D
- Disparitätsbild
- H1,
H2
- Horizontale
Kante
- P1,
P2
- Bildpunkt
- S1,
S2
- Verfahrensschritt
- V1,
V2
- Vertikale
Kante
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- - JP 2001116545
A [0003]
- - US 2007/0291992 A1 [0004]
-
Zitierte Nicht-Patentliteratur
-
- - H. Hirschmüller:
Accurate and Efficient Stereo Processing by Semi-Global Matching
and Mutual Information; 2005 IEEE Computer Society Conference an
Computer Vision and Pattern Recognition (CVPR'05) – Volume
2, pp. 807–814 [0005]
- - H. Hirschmüller: Accurate and Efficient Stereo Processing
by Semi-Global Matching and Mutual Information; 2005 IEEE Computer
Society Conference an Computer Vision and Pattern Recognition (CVPR'05) – Volume
2, pp. 807–814 [0018]
- - H. Hirschmüller: Accurate and Efficient Stereo Processing
by Semi-Global Matching and Mutual Information; 2005 IEEE Computer
Society Conference an Computer Vision and Pattern Recognition (CVPR'05) – Volume
2, pp. 807–814 [0019]