-
Die
Erfindung betrifft ein Verfahren zur Bestimmung von Korrespondenzen
von Bildpunkten in stereoskopisch mittels Kameras aufgenommenen Bildern,
bei dem anhand eines Vergleichs von Koordinaten korrespondierender
Bildpunkte der Bilder ein Disparitätsbild ermittelt wird.
Die Erfindung betrifft weiterhin eine Verwendung eines Verfahrens
in einem Fahrzeug zur Erfassung einer Umgebung des Fahrzeugs.
-
Aus ”H.
Hirschmüller: Accurate and Efficient Stereo Processing
by Semi-Global Matching and Mutual Information; 2005 IEEE Computer
Society Conference an Computer Vision and Pattern Recognition (CVPR'05) – Volume
2, pp. 807–814” ist ein Semi-Global-Matching-Algorithmus
bekannt, welcher darauf basiert, Transinformation (mutual information) als Ähnlichkeitskriterium
zu nutzen. Transinformation oder mutual information ist ein Maß,
das die Stärke des statistischen Zusammenhangs zweier Größen,
in diesem Fall zweier Bilder, angibt. Dabei wird für jede der
Größen die Entropie, meist die Shannonentropie und
die Vereinigungsentropie (englisch: joint entropy) ermittelt. Die
Transinformation ergibt sich aus der Summe der Entropien der Größen
abzüglich ihrer Vereinigungsentropie. Weiterhin wird ein
Disparitätsbild anhand einer Akkumulation von Kosten entsprechend
einer Ähnlichkeit von einzelnen Bildpunkten in zwei erfassten
Bildern erzeugt. Sprünge von Disparitäten werden
mit Straftermen belegt, wobei ein kleiner Strafterm berücksichtigt
wird, wenn sich die Disparität zwischen benachbarten Bildpunkten
geringfügig ändert und ein großer Strafterm,
wenn eine sprungartige Änderung der Disparität
zwischen benachbarten Bildpunkten vorliegt. Man spricht hierbei auch
von einer Glattheitsbeschränkung (smoothness constraint).
-
Der
Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Bestimmung
von Korrespondenzen von Bildpunkten in mindestens zwei stereoskopisch aufgenommenen Bildern
anzugeben, anhand welchem eine qualitativ hochwertige dreidimensionale Rekonstruktion
möglich ist. Der Erfindung liegt weiterhin die Aufgabe
zugrunde, eine Verwendung des Verfahrens anzugeben.
-
Hinsichtlich
des Verfahrens wird die Aufgabe erfindungsgemäß durch
die im Anspruch 1 angegebenen Merkmale und hinsichtlich der Verwendung durch
die im Anspruch 7 angegebenen Merkmale gelöst.
-
Vorteilhafte
Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
Bei
dem Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten
in stereoskopisch mittels Kameras aufgenommenen Bildern wird anhand
eines Vergleichs von Koordinaten korrespondierender Bildpunkte der
Bilder ein Disparitätsbild ermittelt.
-
Erfindungsgemäß werden
in Bereichen der Bilder, in welchen ein vorgegebener Kontrastgrenzwert
unterschritten wird, ermittelte Disparitätswerte geglättet.
-
In
diesen Bereichen mit geringem Kontrast erhöhen sich die
Disparitäten nicht oder nur gering. Somit wird durch die
Glättung der Disparitätswerte in diesen Bereichen
in besonders vorteilhafter Weise erzielt, Fehlkorrespondenzen zu
vermeiden oder zumindest deren Anzahl signifikant zu verringern.
Insbesondere in den Bereichen der Bilder mit geringem Kontrast wird
eine Verringerung von Fehlern erreicht, so dass beispielsweise bei
einer Verwendung des Verfahrens in einem Fahrzeug zur Erfassung
von dessen Umgebung eine aus den Fehlkorrespondenzen resultierende,
fehlerhafte Ermittlung und daraus folgende Darstellung von so genannten
Phantomobjekten vermieden werden.
-
Unter
der Glättung der Disparitätswerte für die
Bereiche mit geringem Kontrast, beispielsweise eine Aufnahme eines
Himmels, wird dabei verstanden, dass in diesen Bereichen keine sprunghaften Veränderungen
der Disparität zugelassen werden. Das heißt, wird
bei der Bestimmung der Korrespondenzen eine sprunghafte Veränderung
der Disparität bei gleichzeitiger Unterschreitung des Kontrastgrenzwerts
ermittelt, wird der Disparitätswert unter Berücksichtungen
weiterer Vorgaben, insbesondere in Abhängigkeit der Größe
der Disparität, derart verändert, dass keine sprunghafte
Veränderung zwischen den Disparitäten auftritt,
d. h. dass die Ergebnisse der Disparitätswerte geglättet
werden.
-
Ausführungsbeispiele
der Erfindung werden im Folgenden anhand einer Zeichnung näher
erläutert.
-
Dabei
zeigt:
-
1 schematisch
einen Verfahrensablauf zur Bestimmung von Korrespondenzen von Bildpunkten
in stereoskopisch mittels Kameras aufgenommenen Bildern.
-
Die
einzige 1 zeigt einen möglichen Verfahrensablauf
zur Bestimmung von Korrespondenzen von Bildpunkten BP1, BP2 (auch
Pixel genannt) in stereoskopisch mittels nicht näher dargestellter, horizontal
nebeneinander angeordneter Kameras aufgenommenen Bildern B1, B2.
-
Zur
Bildverarbeitung werden die Bilder B1, B2 in einem Stereoalgorithmus
derart verarbeitet, dass Koordinaten eines Bildpunkts BP1 des einen Bilds
B1 mit Koordinaten eines als potentiell korrespondierend betrachteten
Bildpunkts BP2 des anderen Bilds B2 verglichen werden. Aus einem
Abstand der Bildpunkte BP1 und BP2 zueinander, der so genannten
Disparität, und einem bekannten Abstand der horizontal
nebeneinander Kameras, der so genannten Basisbreite, wird der Abstand
eines Objekts, welches die Bildpunkte BP1 und BP2 aufweist, zu den
Kameras bestimmt. Nach diesem Algorithmus werden Disparitäten
für alle Bildpunkte BP1, BP2 der Bilder B1, B2 erzeugt
und ein Disparitätsbild D oder eine Disparitätskarte
erzeugt, welche eine dreidimensionale Repräsentation des
Objekts in seinem Kontext darstellen. Auf diese Weise wird die Entfernung und
räumliche Lage des Objekts im Verhältnis zu den Kameras
ermittelt.
-
Die
Ermittlung des Disparitätsbilds D erfolgt beispielsweise
anhand eines so genannten, aus ”H. Hirschmüller:
Accurate and Efficient Stereo Processing by Semi-Global Matching
and Mutual Information; 2005 IEEE Computer Society Conference an Computer
Vision and Pattern Recognition (CVPR'05) – Volume 2, pp.
807–814” bekannten Semi-Global-Matching-Algorithmus,
wobei die Bilder B1, B2 abgetastet und Kosten entsprechend der Ähnlichkeit der
Bildpunkte BP1, BP2 horizontal, vertikal und diagonal akkumuliert
werden. Die Kostenberechnung basiert dabei auf einer Berechnung
der Transinformation auf die einzelnen Bildpunkte BP1, BP2 der Bilder
B1, B2 bezogen. Dabei werden insbesondere aus Gründen der
Rechenzeiteffizienz und einer Robustheit gegen Dekalibrierungen
der Kameras nicht-lineare Bewertungsfunktionen, bevorzugt ein so genannter
Census-Operator, verwendet. Dieser Census-Operator zeichnet sich
unter anderem durch eine hohe Robustheit gegenüber Kalibrier-,
Rektifizier- und Belichtungsfehlern sowie seine Effizienz bei der Implementierung
in Stereo-Systeme aus.
-
Zusätzlich
werden vorzugsweise Sprünge in Disparitäten benachbarter
Bildpunkte, wie sie beispielsweise an Grauwertkanten auftreten,
je nach ihrer Größe mit einem kleinen Strafterm
P1 oder einem großen Strafterm P2 belegt. Diese so genannte
Glattheitsbeschränkung, auch als smoothness constraint bekannt,
wird wiederum beispielsweise durch den aus ”H.
Hirschmüller: Accurate and Efficient Stereo Processing
by Semi-Global Matching and Mutual Information; 2005 IEEE Computer
Society Conference an Computer Vision and Pattern Recognition (CVPR'05) – Volume
2, pp. 807–814” bekannten Semi-Global-Matching-Algorithmus
realisiert.
-
Um
zu vermeiden, dass insbesondere in Bereichen der Bilder B1, B2,
in welchen ein vorgegebener Kontrastgrenzwert K unterschritten wird,
so genannte Phantomobjekte ermittelt werden, wird vor der Erzeugung
des Disparitätsbilds D der Kontrast von benachbarten Bildpunkten
BP1 oder BP2 in den Bildern B1, B2 ermittelt. Dies erfolgt durch
eine Ermittlung der Differenz von Grauwerten der benachbarten Bildpunkte
BP1 oder BP2 in den jeweiligen Bildern B1, B2.
-
Bei
der Ermittlung des Disparitätsbilds D werden anschließend
in diesen Bereichen, wie z. B. dem Himmel bei der Erfassung der
Umgebung eines Fahrzeugs, die Disparitätswerte geglättet.
-
Diese
Glättung erfolgt dabei im vorliegenden Ausführungsbeispiel
durch eine gezielte Erhöhung eines oder beider Strafterme
P1, P2 in den Bereichen mit geringem Kontrast zwischen den Bildpunkten BP1
oder BP2, da sich die Disparitäten in diesen Bereichen
erwartungsgemäß nur gering oder nicht ändern.
Das heißt, wenn bei der Bestimmung der Korrespondenzen
eine sprunghafte Veränderung der Disparität bei
einer gleichzeitigen Unterschreitung des Kontrastgrenzwerts K ermittelt
wird, wird das Ergebnis der Disparität unter Berücksichtungen
der Größe der Disparität durch Beaufschlagung
der Disparität mit einem der Strafterme P1 oder P2 derart verändert,
dass keine sprunghafte Veränderung zwischen den Disparitäten
auftritt.
-
Zur
Erhöhung der Verfahrensgeschwindigkeit werden zusätzlich
die Bereiche mit geringem Kontrast im Voraus ausgewählt.
Dies erfolgt beispielsweise durch Erfahrungswerte oder durch Erfassung
von horizontalen und/oder vertikalen Kanten in den Bildern B1, B2.
So wird beispielsweise der Horizont in den Bildern B1, B2 anhand
einer horizontal verlaufenden Kante ermittelt. Da sich der Himmel oberhalb
des Horizonts befindet, ist es durch die Erfassung des Horizonts
in besonders vorteilhafter Weise möglich, dass der Kontrast
nur im Bereich oberhalb des Horizonts ermittelt werden muss. Dadurch
wird eine signifikante Erhöhung der Verfahrensgeschwindigkeit
gegenüber einer Erfassung des Kontrasts in dem gesamten
Bild B1, B2 erzielt.
-
Um
jedoch in den Bereichen mit geringem Kontrast real vorhandene Objekte
im Gegensatz zu den Phantomobjekten bei der Erzeugung des Disparitätsbilds
D zu berücksichtigen, wird vorzugsweise ein Disparitätsgrenzwert
vorgegeben, unterhalb dessen Werts die Glättung der Disparitätwerte
ausgeführt wird.
-
- B1,
B2
- Bild
- BP1,
Bp2
- Bildpunkt
- D
- Disparitätsbild
- K
- Kontrastgrenzwert
- P1,
P2
- Straftherm
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- - H. Hirschmüller:
Accurate and Efficient Stereo Processing by Semi-Global Matching
and Mutual Information; 2005 IEEE Computer Society Conference an
Computer Vision and Pattern Recognition (CVPR'05) – Volume
2, pp. 807–814 [0002]
- - H. Hirschmüller: Accurate and Efficient Stereo Processing
by Semi-Global Matching and Mutual Information; 2005 IEEE Computer
Society Conference an Computer Vision and Pattern Recognition (CVPR'05) – Volume
2, pp. 807–814 [0015]
- - H. Hirschmüller: Accurate and Efficient Stereo Processing
by Semi-Global Matching and Mutual Information; 2005 IEEE Computer
Society Conference an Computer Vision and Pattern Recognition (CVPR'05) – Volume
2, pp. 807–814 [0016]