-
Die
Erfindung betrifft ein Verfahren zur Analyse von korrespondierenden
Bildpunkten in zumindest zwei Bilddatensätzen, bei dem
Signaturinformationen für jeden Bildpunkt der Bilddatensätze
ermittelt werden, wobei zur Ermittlung korrespondierender Bildpunkte
für in beiden Bilddatensätzen übereinstimmende
Signaturinformationen eine Korrespondenzhypothese erstellt wird.
-
Aus
der
DE 103 51 778
A1 sind ein Verfahren und eine Vorrichtung zur Korrespondenzanalyse
in Bilddatensätzen bekannt, um innerhalb von zwei Bilddatensätzen
miteinander korrespondierende Bildpunkte (Pixel) zu identifizieren.
Dabei wird in einem ersten Schritt der Bilddatensatz mit einem Signaturoperator
derart transformiert, dass für jedes Pixel ein Signaturstring
berechnet und in einer Signaturtabelle gemeinsam mit den Pixelkoordinaten
abgelegt wird, wobei in einem nächsten Schritt jedes Pixel
des anderen Bilddatensatzes mittels desselben Signaturoperators
transformiert wird, worauf die resultierenden Signaturstrings gemeinsam
mit den jeweiligen Pixelkoordinaten in einer weiteren Signaturtabelle
abgelegt werden. Die Einträge der beiden Signaturtabellen
werden dahingehend untersucht, ob Signaturstrings vorliegen, welche
in beiden Tabellen aufzufinden sind, worauf in diesen Fällen
für die diesen Signaturstrings zugeordneten Koordinaten
eine Korrespondenzhypothese generiert und in einer Hypothesenliste
zur Weiterverarbeitung gespeichert wird.
-
Der
Erfindung liegt die Aufgabe zugrunde, ein gegenüber dem
Stand der Technik verbessertes Verfahren zur Analyse von korrespondierenden
Bildpunkten in zumindest zwei Bilddatensätzen anzugeben.
-
Die
Aufgabe wird erfindungsgemäß mit einem Verfahren
gelöst, welches die im Anspruch 1 angegebenen Merkmale
aufweist.
-
Vorteilhafte
Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
Bei
dem Verfahren zur Analyse von korrespondierenden Bildpunkten in
zumindest zwei Bilddatensätzen, bei dem Signaturinformationen
für jeden Bildpunkt der Bilddatensätze ermittelt
werden, wird zur Ermittlung korrespondierender Bildpunkte für
in beiden Bilddatensätzen übereinstimmende Signaturinformationen eine
Korrespondenzhypothese erstellt. Erfindungsgemäß werden
Wavelet-Koeffizienten oder Signaturinformationen von Nachbarbildpunkten
zumindest eines der korrespondierenden Bildpunkte derart interpoliert,
dass eine subpixelgenaue Verschiebung der korrespondierenden Bildpunkte
in den Bilddatensätzen ermittelt wird.
-
Bei
den Bilddatensätzen kann es sich sowohl um zeitlich nacheinander
und monokular erfasste Bilder oder gleichzeitig und stereoskopisch
erfasste Bilder handeln. Die Signaturinformationen enthalten dabei
Informationen über die Umgebung des jeweiligen Bildpunkts.
Mit anderen Worten: In den Signaturinformationen sind Eigenschaften
der den Bildpunkt umgebenden Nachbarbildpunkte enthalten. Die Signaturinformationen werden
dabei insbesondere nach dem aus der
DE 103 51 778 A1 der Anmelderin bekannten
Verfahren zur Korrespondenzanalyse in Bilddatensätzen ermittelt,
deren Gegenstand hiermit vollumfänglich durch Referenz aufgenommen
wird.
-
Aus
der erfindungsgemäßen zusätzlichen subpixelgenauen
Schätzung der korrespondierenden Bildpunkte und der daraus
ableitbaren Bildverschiebung ergibt sich in besonders vorteilhafter
Weise, dass einfach und effektiv eine Bewegung von Objekten ermittelbar
ist, wobei eine Trennschärfe bei dieser Bewegungsermittlung
vergrößert und somit verbessert wird. Daraus folgend
ist es beispielsweise bei einer Verwendung des Verfahrens in einem
Fahrzeug möglich, Erfassungsbereiche, d. h. Sichtweiten,
von Bilderfassungseinheiten zu erhöhen und somit Funktionen
von Fahrerassistenzsystemen zu verbessern. Dabei können
Funktionen eines Bremsassistenzsystems und eines Abstandsregelsystems
verbessert werden, wobei insbesondere das Fahrzeug querende Objekte
präzise und schnell ermittelt werden. Die durch die Interpolation
ermittelte subpixelgenaue Verschiebung ist weiterhin mit besonders
geringer Rechenleistung und sehr geringer Rechenzeit ermittelbar.
-
Neben
der Ermittlung der Bewegung von das Fahrzeug querenden Objekten
anhand einer Analyse zeitlich nacheinander und monokular erfasster
Bilder ist es alternativ oder zusätzlich auch möglich,
die Bewegung des Fahrzeugs selbst präziser zu ermitteln,
da sich aufgrund der Möglichkeit der sehr genauen Ermittlung von
Bildverschiebungen in stereoskopisch erfassten Bildern sehr genaue
Tiefeninformationen ableiten lassen.
-
Ausführungsbeispiele
der Erfindung werden im Folgenden anhand von Zeichnungen näher
erläutert.
-
Dabei
zeigen:
-
1A schematisch
einen Ausschnitt aus einem ersten Bild, welcher einen ersten Bildpunkt
und diesen umgebende Nachbarbildpunkte zeigt,
-
1B schematisch
einen Ausschnitt aus einem zweiten Bild, welcher einen zweiten Bildpunkt
und diesen umgebende Nachbarbildpunkte zeigt, und
-
2 schematisch
ein Diagramm zur Ermittlung einer subpixelgenauen Verschiebung korrespondierender
Bildpunkte.
-
Einander
entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen
versehen.
-
In
den 1A und 1B sind Ausschnitte A1 und A2
aus einem ersten Bild und einem zweiten Bild dargestellt, welche
jeweils einen Bildpunkt B1 und B2 sowie diesen umgebende Nachbarbildpunkte
B1.1 bis B1.8 und B2.1 bis B2.8 zeigen.
-
Bei
den Bildern handelt es sich um monokular und zeitlich nacheinander
erfasste Bilder, wobei die Erfassung beispielsweise von einer an
einem Fahrzeug angeordneten Kamera erfolgt. Die Bilder zeigen dabei eine
Szene aus einer Umgebung des Fahrzeugs, wobei aus Bilddatensätzen
der Bilder Informationen zum Betrieb von einem oder mehreren Fahrerassistenzsystemen
des Fahrzeugs generiert werden. Aus den Bilddatensätzen
werden zum Beispiel Informationen generiert, aus welchen Bewegungen
von in der Umgebung des Fahrzeugs vorhandenen Objekten ermittelt
werden. Hierzu werden im zeitlich früher erfassten ersten
Bild und im zeitlich später erfassten zweiten Bild korrespondierende
Bildpunkte B1 und B2 (= Pixel) ermittelt, welche das gleiche Objekt
bzw. den gleichen Bereich des Objekts darstellen.
-
Zur
Ermittlung der korrespondierenden Bildpunkte B1 und B2 werden für
jeden Bildpunkt B1, B2 der Bilddatensätze Signaturinformationen
ermittelt. Die Signaturinformationen enthalten Eigenschaften der
den jeweiligen Bildpunkt B1, B2 umgebenden Nachbarbildpunkte B1.1
bis B1.8 und B2.1 bis B2.8, wobei zur Ermittlung der korrespondierenden
Bildpunkte B1, B2 für in beiden Bilddatensätzen übereinstimmende
Signaturinformationen eine Korrespondenzhypothese erstellt wird.
Die Ermittlung der Signaturinformationen und der Korrespondenzhypothese
der Bildpunkte B1, B2 erfolgt insbesondere nach dem aus der
DE 103 51 778 A1 bekannten
Verfahren zur Korrespondenzanalyse der Anmelderin.
-
Erfindungsgemäß werden
die Signaturinformationen der Nachbarbildpunkte B1.1 bis B1.8, B2.1
bis B2.8 zumindest eines der korrespondierenden Bildpunkte B1, B2
derart interpoliert, dass eine subpixelgenaue Verschiebung der korrespondierenden
Bildpunkte B1, B2 in den Bilddatensätzen ermittelt wird.
-
Die
Ermittlung der subpixelgenauen Verschiebung erfolgt dabei anhand
einer so genannten Subpixel-Interpolation auf den vorhandenen Signaturinformationen,
wobei hierfür in vorteilhafter Weise lediglich eine geringe
Rechenzeit erforderlich ist.
-
Zur
Durchführung der Subpixel-Interpolation werden zunächst
die Signaturinformationen des zeitlich zuerst erfassten ersten Bilds
gespeichert. Anschließend werden die Signaturinformationen
für das zweite Bild ermittelt.
-
Bei
einer exakten Übereinstimmung der Signaturinformationen
von zwei Bildpunkten, hier den Bildpunkten B1 und B2, werden die
Signaturinformationen der Nachbarbildpunkte B2.1 bis B2.8 des zweiten
Bildpunkts B2 interpoliert. Die ermittelte Signaturinformation des
zweiten Bildpunkts B2 weist dabei eine so genannte Hammingdistanz
d mit dem Wert ”0” zum zeitlich eher erfassten
ersten Bildpunkt, dem so genannten Ausgangspatch, auf.
-
Anschließend
wird von den Nachbarbildpunkten B2.1 bis B2.8 um die gefundene Korrespondenz,
das heißt um den zweiten Bildpunkt B2, eine absolute Differenz
bzw. ein absoluter Abstand in Form einer Hammingdistanz d im Signatur-Raum
berechnet werden, wobei das Ergebnis dieser Berechnung drei Kostenwerte v1,
v2, v3 sind.
-
Diese
drei Kostenwerte v1, v2, v3 sind in einem Diagramm in 2 näher
dargestellt, wobei auf der horizontalen Achse des Diagramms eine
jeweilige Bildspalte S und der vertikalen Achse des Diagramms die Hammingdistanz
d aufgetragen ist.
-
Der
Kostenwert v2 entspricht dabei dem Bildpunkt B2, welcher als Referenzbildpunkt
bzw. Referenzpixel die Hammingdistanz d mit dem Wert ”0” aufweist.
Bei der Interpolation wird durch die drei Kostenwerte v1, v2, v3
eine geeignete Funktion gelegt, anhand welcher eine Subpixel-Position
POS interpoliert wird. Bei der Funktion handelt es sich im dargestellten
Ausführungsbeispiel um eine so genannte Equiangular-Fit-Funktion.
Alternativ sind jedoch auch weitere geeignete Funktionen, wie beispielsweise
eine so genannte Parabel-Fit-Funktion verwendbar.
-
Die
Subpixel-Position wird beispielsweise anhand folgender Formel ermittelt:
-
Anhand
der ermittelten Subpixel-Position POS ist sehr exakt eine Bildverschiebung
zwischen dem ersten und dem zweiten Bildpunkt B1, B2 ermittelbar.
-
Alternativ
zu der dargestellten Interpolation der Signaturinformationen der
Nachbarbildpunkte B2.1 bis B2.8 wird die Bildverschiebung zwischen
den Bildpunkten B1 und B2 anhand einer Interpolation von ternär quantisierten
Wavelet-Koeffizienten der Nachbarbildpunkte B2.1 bis B2.8 ermittelt.
Die Wavelet-Koeffizienten werden dabei in einer so genannten Wavelet-Transformation
ermittelt, bei der es sich um eine lineare Zeit-Frequenz-Transformation
handelt.
-
Bei
dieser Methode der Interpolation wird im Vergleich zur oben dargestellten
Methode lediglich angenommen, dass die Bildpunkte B1 und B2 miteinander
korrespondieren. Da die Signaturinformationen einige Wavelet-Koeffizienten,
wie beispielsweise Mittelwerte, nicht berücksichtigen,
ist der Wert der Hammingdistanz d des Kostenwerts v2 nicht sicher ”0”.
Daher wird bei der Interpolation die Hammingdistanz d für
den Kostenwert v2 zu ”0” angenommen und die Hammingdistanzen
d werden zu dem zentralen Wavelet-Koeffizienten berechnet. Die anschließende
Subpixel-Interpolation erfolgt gemäß dem oben
beschriebenen Verfahren, welches sich auf 2 bezieht.
Zur Berechnung besonders exakter Hammingdistanzen d ist es dabei
möglich, die Wavelet-Koeffizienten des zeitlich zuvor erfassten
Bilds zu speichern.
-
Alternativ
zu der beschriebenen Ermittlung der Bildverschiebungen zeitlich
nacheinander und monokular erfasster Bilder können die
Bildpunkte B1, B2 auch aus zwei zeitgleich und stereoskopisch erfassten
Bildern stammen, wobei die Bilder insbesondere mittels zwei in einem
definierten Abstand nebeneinander am Fahrzeug angeordneter Kameras
erfasst werden. Anhand einer Analyse der Bildpunkte B1, B2 und deren Nachbarbildpunkte
B1.1 bis B1.8, B2.1 bis B2.8 gemäß der oben beschriebenen
Interpolation der Signaturinformationen oder Wavelet-Koeffizienten
der Nachbarbildpunkte B1.1 bis B1.8, B2.1 bis B2.8 ist es in besonders
vorteilhafter Weise möglich, Tiefeninformationen oder Disparitäten
besonders exakt zu ermitteln. Somit können Eigenbewegungen
des Fahrzeugs, an welchem die zwei Bilderfassungseinheiten zur stereoskopischen
Erfassung der Bilder angeordnet sind, in einfacher und gleichzeitig
sehr genauer Weise ermittelt werden.
-
Bezugszeichenliste
-
-
- A1
- Ausschnitt
- A2
- Ausschnitt
- B1
- Bildpunkt
- B1.1 bis B1.8
- Nachbarbildpunkt
- B2
- Bildpunkt
- B2.1 bis B2.8
- Nachbarbildpunkt
- d
- Hammingdistanz
- POS
- Subpixel-Position
- S
- Bildspalte
- v1
- Kostenwert
- v2
- Kostenwert
- v3
- Kostenwert
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- - DE 10351778
A1 [0002, 0007, 0018]
