DE102011013776A1

DE102011013776A1 - Verfahren zur Erfassung und/oder Verfolgung von Objekten

Info

Publication number: DE102011013776A1
Application number: DE102011013776A
Authority: DE
Inventors: Nikolas Engelhard; Dr. Ing. Krüger Lars
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2011-03-12
Filing date: 2011-03-12
Publication date: 2011-11-10

Abstract

Die Erfindung betrifft ein Verfahren zur Erfassung und/oder Verfolgung von Objekten (O1, O2), insbesondere in einer Fahrzeugumgebung, wobei die Objekte (O1, O2) aus einem optischen Fluss anhand einer Ermittlung von korrespondierenden Bildpunkten in zumindest zwei Bildern (B1 bis Bn) erfasst werden. Erfindungsgemäß wird eine Entfernung der Objekte (O1, O2) aus dem optischen Fluss anhand der Ermittlung der korrespondierenden Bildpunkte in den zumindest zwei Bildern (B1 bis Bn) ermittelt und es bleiben diejenigen Objekte (O1, O2) unberücksichtigt, welche sich in einem Erfassungsbereich (E2) eines Entfernungs-Messsensors (3) befinden und deren aus dem optischen Fluss ermittelte Entfernung kleiner ist als ein mittels des Entfernungs-Messsensors (3) ermittelter Entfernungswert.

Description

Die Erfindung betrifft ein Verfahren zur Erfassung und/oder Verfolgung von Objekten, insbesondere in einer Fahrzeugumgebung, wobei die Objekte aus einem optischen Fluss anhand einer Ermittlung von korrespondierenden Bildpunkten in zumindest zwei Bildern erfasst werden.
Aus der DE 103 51 778 A1 ist ein Verfahren zur Korrespondenzanalyse in Bilddatensätzen bekannt, um innerhalb von zwei Bilddatensätzen miteinander korrespondierende Bildpunkte, im Folgenden auch als Pixel bezeichnet, zu identifizieren. Dabei wird in einem ersten Schritt der Bilddatensatz mit einem Signaturoperator derart transformiert, dass für jedes Pixel ein Signaturstring berechnet und in einer Signaturtabelle gemeinsam mit den Pixelkoordinaten abgelegt wird, wobei in einem nächsten Schritt jedes Pixel des anderen Bilddatensatzes mittels desselben Signaturoperators transformiert wird, worauf die resultierenden Signaturstrings gemeinsam mit den jeweiligen Pixelkoordinaten in einer weiteren Signaturtabelle abgelegt werden. Die Einträge der beiden Signaturtabellen werden dahingehend untersucht, ob Signaturstrings vorliegen, welche in beiden Tabellen aufzufinden sind, worauf in diesen Fällen für die diesen Signaturstrings zugeordneten Koordinaten eine Korrespondenzhypothese generiert und in einer Hypothesenliste zur Weiterverarbeitung gespeichert wird. Weiterhin ist eine Verwendung des Verfahrens zur Korrespondenzanalyse bei der Berechnung eines optischen Flusses innerhalb einer Sequenz von Kamerabilddaten bekannt, wobei anhand des optischen Flusses Objekte in Szenarien erfasst und verfolgt werden.
Der Erfindung liegt die Aufgabe zugrunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Erfassung und/oder Verfolgung von Objekten anzugeben.
Die Aufgabe wird erfindungsgemäß mit einem Verfahren gelöst, welches die im Anspruch 1 angegebenen Merkmale aufweist.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
In einem Verfahren zur Erfassung und/oder Verfolgung von Objekten, insbesondere in einer Fahrzeugumgebung, werden die Objekte aus einem optischen Fluss anhand einer Ermittlung von korrespondierenden Bildpunkten in zumindest zwei Bildern erfasst.
Erfindungsgemäß wird eine Entfernung der Objekte aus dem optischen Fluss anhand der Ermittlung der korrespondierenden Bildpunkte in den zumindest zwei Bildern ermittelt und diejenigen Objekte bleiben unberücksichtigt, welche sich in einem Erfassungsbereich eines Entfernungs-Messsensors, insbesondere eines Ultraschallsensors oder Radarsensors, befinden und deren aus dem optischen Fluss ermittelte Entfernung kleiner ist als ein mittels des Entfernungs-Messsensors ermittelter Entfernungswert.
Aus dem erfindungsgemäßen Verfahren resultiert in vorteilhafter Weise, dass eine Mehrdeutigkeit zwischen der Entfernung und einer Geschwindigkeit der Objekte vermieden wird, so dass in einfacher Weise zwischen bewegten und unbewegten Objekten unterschieden werden kann. Weiterhin ist es möglich, dreidimensionale Positions- und Geschwindigkeitsinformationen zu ermitteln.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.
Dabei zeigt:
1 schematisch ein Fahrzeug mit einer Bilderfassungsvorrichtung und einem Entfernungs-Messsensor.
In der einzigen 1 ist ein Fahrzeug 1 mit einer Bilderfassungsvorrichtung 2 und einem Entfernungs-Messsensor 3 dargestellt, wobei mittels der Bilderfassungsvorrichtung 2 Bilder B1 bis Bn einer Umgebung des Fahrzeugs 1 in einem Erfassungsbereich E1 erfasst werden.
Die Bilderfassungsvorrichtung 2 umfasst in nicht näher dargestellter Weise eine oder mehrere Kameras, wobei mittels der zumindest einen Kamera mehrere Bilder B1 bis Bn zeitlich nacheinander oder mittels mehrerer Kameras Bilder B1 bis Bn gleichzeitig und/oder zeitlich nacheinander erfasst werden. Dabei ist die Bilderfassungsvorrichtung 2 in einem Ausführungsbeispiel zur Erfassung der Fahrzeugumgebung in Abschnitten, d. h. zur Erfassung der Fahrzeugumgebung vor, hinter und/oder seitlich des Fahrzeugs 1, vorgesehen.
Alternativ oder zusätzlich ist die Bilderfassungsvorrichtung 2 zur Realisierung eines so genannten ”Surround-Views” vorgesehen, mittels welchem einem Fahrer des Fahrzeugs 1 die Fahrzeugumgebung vollständig in einem Winkel von 360° ausgebbar ist.
In einem alternativen oder zusätzlichen Ausführungsbeispiel ist die Bilderfassungsvorrichtung 2 derart ausgebildet, dass das Fahrzeug 1 und dessen Umgebung aus einer Vogelperspektive ausgebbar sind.
Zur Erfassung und Verfolgung von Objekten O1, O2 in der Umgebung des Fahrzeugs 1 wird ein optischer Fluss ermittelt. Der optische Fluss wird anhand einer Berechnung von Korrespondenzen zwischen zeitlich nacheinander erfassten Bildern B1 bis Bn bei bekannter Bewegung des Fahrzeugs 1 ermittelt. Hierzu werden in den Bildern B1 bis Bn korrespondierende Bildpunkte ermittelt.
Um eine Mehrdeutigkeit zwischen einer Entfernung der Objekte O1, O2 von der Bilderfassungsvorrichtung 2 und somit vom Fahrzeug und einer Geschwindigkeit bei der Ermittlung des optischen Flusses zu vermeiden, werden aus den Bildern B1 bis Bn unbewegte Objekte O1 rekonstruiert, Erkennungsfehler anhand von Messungen eines Entfernungs-Messsensors 3 eliminiert und bewegte Objekte O2 rekonstruiert.
Die Rekonstruktion unbewegter Objekte O1 erfolgt, wie allgemein bekannt, aus dem optischen Fluss durch Berechnung der Korrespondenzen zwischen den Bildern B1 bis Bn mit bekannter Bewegung des Fahrzeugs 1. Hierbei werden die Korrespondenzen beispielsweise durch ein aus "F. Stein: Efficient Computation of Optical Flow Using the Census Transform, Lecture Notes in Computer Science, 2004, Volume 3175/2004, Seiten 79–86, Springer Verlag" bekanntes PowerFlow-Verfahren berechnet und ermittelte Koordinaten in Strahlen in einem Kamerakoordinatesystem des aktuellen Bildes B1 bis Bn umgewandelt. Danach werden Schnittpunkte der Strahlen bestimmt. Alternativ oder zusätzlich werden die Schnittpunkte anhand von anderen Verfahren, beispielsweise mittels Epipolargeometrie ermittelt.
Die Schnittpunkte bilden rekonstruierte Punkte. Punkte, welche bestimmte Gütekriterien erfüllen, beispielsweise einen minimalen Winkel zwischen den Strahlen aufweisen, werden in eine dreidimensionale Rastergrafik, insbesondere ein dünn besetztes Voxel-Raster, übertragen
Das Voxel-Raster wird zum Beispiel durch so genannte Splay-Bäume – im Englischen Splay-Trees – realisiert, welche gleichzeitig eine so genannte leastrecently-used-Optimierung des Zugriffs anbieten. Der Zweck des Voxel-Rasters besteht darin, nahe beieinander liegende Schnittpunkte, d. h. rekonstruierte Punkte, mit geringem Abstand für den nächsten Schritt zu gruppieren.
In allen Punkten eines Voxels oder nebeneinander liegender Voxel werden Häufungen in Form von Häufungspunkten gesucht. Dies erfolgt beispielsweise durch Clustering, Dichteschätzung und/oder durch so genanntes Mode-Searching auf Basis eines so genannten Medoid-Shift-Algorithmus. Eine andere Möglichkeit besteht darin, einen so genannten Mean-Shift-Algorithmus von mehreren Start-Punkten innerhalb des Voxels auszuführen.
Die Voxel sind in einem ortsfesten Koordinatensystem definiert, insbesondere relativ zur Fahrzeugposition beim Aktivieren der Surround-View-Funktion. Dadurch wird verhindert, dass Zwischenergebnisse kontinuierlich ins aktuelle Fahrzeug-Koordinatensystem umgerechnet werden müssen.
Eine Rekonstruktion aus Messdaten des Entfernungs-Messsensors 3, welcher vorzugsweise als Ultraschall-Sensor ausgebildet ist, erfolgt in ähnlicher Weise. Für jeden Entfernungs-Messwert wird auf Basis der aktuellen Fahrzeugposition und -orientierung relativ zum ortsfesten Koordinatensystem ein Kreisbogen in ein Voxel-Raster, welches identisch zu oder unterschiedlich zum Voxel-Raster des optischen Flusses sein kann, eingetragen. Parameter des Kreisbogens, insbesondere ein Mittelpunkt und ein Winkelbereich, sind abhängig von einer Einbau-Position des Entfernungs-Messsensors 3 am Fahrzeug 1 und einem konstruktiv bedingten Erfassungsbereich E2 des Entfernungs-Messsensors 3.
Der Kreisbogen wird durch eine Anzahl von Punkten auf dem Kreisbogen oder Segmenten des Kreisbogens dargestellt. Ist eine feste Anzahl von Messungen erfolgt, wird eine Dichteschätzung ähnlich zur Bildverarbeitung der Bilderfassungsvorrichtung ausgeführt und es werden Häufungen in Form von Häufungspunkten ermittelt. Bei einer alternativen Ausbildung des Entfernungs-Messsensors 3 als Radarsensor ist eine Anwendung auf Radar-Daten mit unverändertem Algorithmus möglich. Weiterhin können je nach Verfügbarkeit von Ultraschall- und Radarsensoren verschiedene Kombinationen ohne Verfahrensänderung eingesetzt werden.
Ermittelte Häufungspunkte beider Sensoren, d. h. der Bilderfassungsvorrichtung 2 und des Entfernungs-Messsensors 3, werden vorzugsweise zur Realisierung einer Fahrerassistenzfunktion, beispielsweise zur Fahrtplanung oder zur Prüfung einer Kollision mit einem Fahrschlauch, verwendet.
Die Rekonstruktion unbewegter Objekte O1 aus dem optischen Fluss tendiert zu Falsch-Positiven. Das heißt, das Verfahren erkennt vermehrt Objekte O1 an Positionen, an denen in der Realität keine sind. Zur Elimination von Erkennungsfehlern bleiben diejenigen Objekte O1 unberücksichtigt, welche sich im Erfassungsbereich E2 des Entfernungs-Messsensors 3 befinden und deren aus dem optischen Fluss ermittelte Entfernung kleiner ist als ein mittels des Entfernungs-Messsensors 3 ermittelter Entfernungswert.
Weiterhin wird zwischen unbewegten Objekten O1 und bewegten Objekten O2 unterschieden. Bewegte Objekte O2 weisen eine relativ geringe Häufigkeit auf und sind nur dann von Interesse, wenn sie einen vorgegebenen Bereich im Bild B1 bis Bn einnehmen.
Zur Erfassung der bewegten Objekte O2 werden die Punkte und/oder Segmente der Kreisbögen mit den zugehörigen Entfernungswerten aus der Messung mit dem Entfernungs-Messsensor 3 und einem vorgebbaren Höhenwert in die Bilder B1 bis Bn projiziert. Der Höhenwert liegt dabei vorzugsweise in einem Höhenbereich zwischen den Werten 0 und 2 Meter. Alle Fluss-Vektoren, welche in einen Punkt und/oder ein Segment eines Kreisbogens fallen, werden unter Annahme einer korrekten Entfernung des Punktes oder Segments in eine radiale Bewegung umgerechnet. Aus nahe beieinander liegenden Fluss-Vektoren mit ähnlicher Radial-Geschwindigkeit wird mittels Clustering eine Objekthypothese bezüglich der Bewegtheit und Unbewegtheit der Objekte O1, O2 generiert, wobei die Objekthypothese beispielsweise mittels eines Kalmen-Filters getreckt werden.
Bezugszeichenliste

1: Fahrzeug
2: Bilderfassungsvorrichtung
3: Entfernungs-Messsensor
B1 bis Bn: Bild
E1: Erfassungsbereich
E2: Erfassungsbereich
O1: Objekt
O2: Objekt

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 10351778 A1 [0002]

Zitierte Nicht-Patentliteratur

”F. Stein: Efficient Computation of Optical Flow Using the Census Transform, Lecture Notes in Computer Science, 2004, Volume 3175/2004, Seiten 79–86, Springer Verlag” [0018]

Claims

Verfahren zur Erfassung und/oder Verfolgung von Objekten (O1, O2), insbesondere in einer Fahrzeugumgebung, wobei die Objekte (O1, O2) aus einem optischen Fluss anhand einer Ermittlung von korrespondierenden Bildpunkten in zumindest zwei Bildern (B1 bis Bn) erfasst werden, dadurch gekennzeichnet, dass eine Entfernung der Objekte (O1, O2) aus dem optischen Fluss anhand der Ermittlung der korrespondierenden Bildpunkte in den zumindest zwei Bildern (B1 bis Bn) ermittelt wird, und dass diejenigen Objekte (O1, O2) unberücksichtigt bleiben, welche sich in einem Erfassungsbereich (E2) eines Entfernungs-Messsensors (3) befinden und deren aus dem optischen Fluss ermittelte Entfernung kleiner ist als ein mittels des Entfernungs-Messsensors (3) ermittelter Entfernungswert.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass Koordinaten der korrespondierenden Bildpunkte ermittelt und in Strahlen in einem Kamerakoordinatensystem eines aktuellen Bildes (B1 bis Bn) umgewandelt werden.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass Schnittpunkte der Strahlen ermittelt und in eine dreidimensionale Rastergrafik, insbesondere ein Voxel-Raster, übertragen werden, wobei nahe nebeneinander liegende Schnittpunkte in der dreidimensionalen Rastergrafik gruppiert werden.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass innerhalb der dreidimensionalen Rastergrafik Häufungen von Schnittpunkten ermittelt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für die mittels des Entfernungs-Messsensors (3) ermittelten Entfernungswerte auf Basis einer aktuellen Position und Orientierung des Entfernungs-Messsensors (3) relativ zu einem ortsfesten Koordinatensystem ein Kreisbogen in eine dreidimensionale Rastergrafik, insbesondere ein Voxel-Raster, übertragen werden, wobei nahe nebeneinander liegende Punkte und/oder Segmente der Kreisbögen in der dreidimensionalen Rastergrafik gruppiert werden und Häufungen ermittelt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zwischen unbewegten Objekten (O1) und bewegten Objekten (O2) unterschieden wird.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass zur Ermittlung der bewegten Objekte (O2) die Punkte und/oder Segmente der Kreisbögen mit aus den mittels des Entfernungs-Messsensors (3) ermittelten zugehörigen Entfernungswerten und einem vorgebbaren Höhenwert in die Bilder (B1 bis Bn) projiziert werden, wobei Fluss-Vektoren, welche in einen Punkt und/oder ein Segment eines Kreisbogens fallen, in eine radiale Bewegung umgerechnet werden und aus nahe beieinander liegenden Fluss-Vektoren mit ähnlicher Radial-Geschwindigkeit eine Objekthypothese bezüglich der Bewegtheit und Unbewegtheit der Objekte (O1, O2) generiert wird.