-
Die Erfindung betrifft ein Verfahren zur Erkennung von Begrenzungen eines Fahrbahnrandes für ein Fahrzeug, bei dem eine Umgebung des Fahrzeugs mittels zumindest einer Stereokameraanordnung erfasst wird, wobei anhand erfasster Bilddaten Hypothesen zur Lage und/oder zum Verlauf der Begrenzungen in den Bilddaten erzeugt werden.
-
Aus der
DE 10 2009 039 568 A1 sind ein Verfahren und eine Vorrichtung zur Erkennung von Objekten bekannt, wobei aus Bildern einer Szene Intensitätsdaten und Tiefendaten oder Intensitätsdaten und Disparitätsdaten erfasst werden. Anhand der Intensitätsdaten und Tiefendaten oder der Intensitätsdaten und Disparitätsdaten wird mittels zumindest eines Musterklassifikators zwischen verschiedenen Objektklassen in den Bildern unterschieden und ein jeweiliges Objekt wird einer Objektklasse zugeordnet. Als Objektklasse werden dabei Elemente einer Infrastruktur einer Umgebung eines Fahrzeugs vorgegeben, wobei die Elemente Fahrbahnbegrenzungen und verschiedene Randbebauungen der Fahrbahn umfassen. Die Intensitätsdaten und Tiefendaten oder die Intensitätsdaten und Disparitätsdaten werden anhand eines passiven Messverfahrens ermittelt, wobei die Intensitätsdaten aus einem mittels einer ersten Bildererfassungseinheit erfassten ersten Bild ermittelt werden. Die Tiefendaten oder Disparitätsdaten werden aus weiteren Bildern ermittelt, welche mittels zumindest zwei weiteren Bilderfassungseinheiten erfasst werden. Ferner werden die Intensitätsdaten und die Tiefendaten oder die Intensitätsdaten und Disparitätsdaten zu einem Merkmalsvektor extrahiert und verknüpft, wobei der Merkmalsvektor dem Musterklassifikator als Eingangsinformation zugeführt wird.
-
Weiterhin ist aus der
DE 10 2004 057 296 A1 eine Fahrassistenzvorrichtung zur Warnung eines Führers eines Kraftfahrzeugs vor einem drohenden Abkommen von der Fahrbahn oder einem Verlassen der Fahrspur mit einem bildgebenden Sensor bekannt. Mit dem bildgebenden Sensor ist eine Auswertevorrichtung zur Erkennung von Fahrbahnrand- und Fahrbahnmarkierungen und Fahrbahnrändern in dem vom bildgebenden Sensor erfassten Bereich verbunden. Mit der Auswertevorrichtung ist eine Warnvorrichtung verbunden. Zusätzlich ist als abstandgebender Sensor eine Stereokamera mit der Auswertevorrichtung verbunden, mit der der Abstand zu gegenüber der Fahrbahnoberfläche erhabenen Objekten im Bereich des Fahrbahnrandes und zu einer Kante, an der die Fahrbahnoberfläche im Bereich des Fahrbahnrandes endet und zu einem tieferen Umland hin abfällt, bestimmbar ist. Bei den erhabenen Objekten im Bereich des Fahrbahnrandes handelt es sich um eine bauliche Begrenzung des Fahrbahnrandes, wobei die bauliche Begrenzung als Bordsteinkante ausgebildet ist.
-
Aus der
EP 1 705 901 A2 sind ein Verfahren und eine Vorrichtung zur Bildverarbeitung bekannt, wobei mittels einer Erfassungseinheit anhand des so genannten Template-Matchings Bilder von Fahrbahnmarkierungen detektiert werden.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Erkennung von Begrenzungen eines Fahrbahnrandes für ein Fahrzeug anzugeben.
-
Die Aufgabe wird erfindungsgemäß mit einem Verfahren gelöst, welches die im Anspruch 1 angegebenen Merkmale aufweist.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
In einem Verfahren zur Erkennung von Begrenzungen eines Fahrbahnrandes für ein Fahrzeug wird eine Umgebung des Fahrzeugs mittels zumindest einer Stereokameraanordnung erfasst, wobei anhand erfasster Bilddaten Hypothesen zur Lage und/oder zum Verlauf der Begrenzungen in den Bilddaten erzeugt werden.
-
Erfindungsgemäß werden die Hypothesen in einem Trackingverfahren zeitlich nachverfolgt und zeitlich nachverfolgte Bildbereiche werden klassifiziert, wobei die Klassifizierung in Bildbereichen zumindest eines mittels zumindest einer Einzelkamera der Stereokameraanordnung erfassten Einzelbildes und in Bildbereichen zumindest eines aus den Bilddaten in einer stereoskopischen Bildverarbeitung erzeugten Disparitätsbilds durchgeführt wird.
-
Das erfindungsgemäße Verfahren ermöglicht in besonders vorteilhafter Weise eine zuverlässige und robuste Erkennung sowie Feinlokalisierung der Begrenzungen von Fahrbahnrändern, insbesondere von Spur- und Bordsteinverläufen in Grauwert- und Disparitätsbildern. Das Trackingverfahren ermöglicht die Detektion möglicher Hypothesen, d. h. möglicher Kandidaten von Spur- und Bordsteinverläufen. Auch ist eine Vorsteuerung anhand einer Groblokalisierung aus digitalen Karten möglich. Ferner ermöglicht das Verfahren zum einen eine Erweiterung bereits bestehender Funktionen zur Fahrspurerkennung im außerstädtischen und innerstädtischen Bereich und zum anderen eine verbesserte Eigenlokalisierung im innenstädtischen Bereich.
-
Weiterhin wird die Erhöhung der Robustheit der Spurerkennung in außerstädtischen und innerstädtischen Bereichen verbessert, da typische störende Signale, beispielsweise hervorgerufen durch Teerfugen oder Spiegelungen auf nasser Fahrbahn, welche von bekannten trackingbasierten Verfahren als Begrenzungen erkannt werden, von echten Begrenzungen unterschieden werden können.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
-
Dabei zeigen:
-
1 schematisch einen Ablauf des erfindungsgemäßen Verfahrens zur Erkennung von Begrenzungen eines Fahrbahnrandes für ein Fahrzeug, und
-
2 schematisch mittels einer Stereokameraanordnung erfasste Bilddaten einer Umgebung des Fahrzeugs.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
In 1 ist ein möglicher Ablauf des erfindungsgemäßen Verfahrens zur Erkennung von Begrenzungen G eines Fahrbahnrandes für ein nicht gezeigtes Fahrzeug dargestellt.
-
Zunächst wird mittels einer fahrzeugfest angeordneten Stereokameraanordnung 1, welche zwei in einem bekannten Abstand und einem bekannten Winkel zueinander angeordnete Einzelkameras 1.1, 1.2 umfasst, eine Umgebung des Fahrzeugs erfasst.
-
Mittels der Stereokameraanordnung 1 werden erfasste Bilddaten, d. h. erfasste Einzelbilder B1 bis Bn der Einzelkameras 1.1, 1.2, einer ersten Auswerteeinheit 2 zugeführt, welche als so genannter Hypothesen-Tracker ausgebildet ist. Bei den Einzelbildern B1 bis Bn handelt es sich insbesondere um Grauwertbilder. Mittels der ersten Auswerteeinheit 2 werden anhand der Einzelbilder B1 bis Bn Hypothesen H1 bis Hm zur Lage und zum Verlauf der Begrenzungen G in den Einzelbildern B1 bis Bn erzeugt und die Hypothesen H1 bis Hm werden in einem Trackingverfahren, beispielsweise mittels eines Kalmanfilters, zeitlich nachverfolgt. Dabei wird insbesondere nach als Fahrbahnmarkierungen FM und Bordsteine BS ausgebildeten Begrenzungen G in den Einzelbildern B1 bis Bn gesucht. Das heißt, anhand der Hypothesen H1 bis Hm werden Bildbereiche BB1 in den Einzelbildern B1 bis Bn erzeugt, an welchen sich hypothetisch Begrenzungen G der Fahrbahn befinden, und zeitlich nachverfolgt. Ein solcher Bildbereich BB1 ist schematisch in 2 dargestellt.
-
Die erste Auswerteeinheit 2 ist mit einer digitalen Karte 3 gekoppelt, welche beispielsweise Bestandteil einer nicht dargestellten Navigationsvorrichtung des Fahrzeugs ist. Von der digitalen Karte 3 werden Kartendaten D an die erste Auswerteeinheit 2 übertragen.
-
Weiterhin ist die erste Auswerteeinheit 2 mit einer zweiten Auswerteeinheit 4 gekoppelt, welcher von der ersten Auswerteeinheit 2 die Einzelbilder B1 bis Bn und die Hypothesen H1 bis Hm zugeführt werden.
-
Auch die zweite Auswerteeinheit 4 ist mit der digitalen Karte 3 gekoppelt, von welcher Kartendaten D an die zweite Auswerteeinheit 2 übertragen werden. Ferner ist die zweite Auswerteeinheit 4 mit der Stereokameraanordnung 1 gekoppelt, wobei der zweiten Auswerteeinheit 4 von der Stereokameraanordnung 1 aus den Einzelbildern B1 bis Bn in einer stereoskopischen Bildverarbeitung erzeugte Disparitätsbilder DB1 bis DBx zugeführt werden. Mittels der zweiten Auswerteeinheit 4 wird in den Disparitätsbildern DB1 bis DBx nach als Fahrbahnmarkierungen FM und Bordsteine BS ausgebildeten Begrenzungen G gesucht. Das heißt, es werden Hypothesen H1 bis Hm zur Lage und zum Verlauf der Begrenzungen G in den Disparitätsbildern DB1 bis DBx erzeugt.
-
Diese Hypothesen H1 bis Hm werden ebenfalls in einem Trackingverfahren, beispielsweise mittels eines Kalmanfilters, zeitlich nachverfolgt. Anhand der Hypothesen H1 bis Hm werden Bildbereiche BB2 in den Disparitätsbildern DB1 bis DBx erzeugt, an welchen sich hypothetisch Begrenzungen G der Fahrbahn befinden, und zeitlich nachverfolgt. Ein solcher Bildbereich BB2 ist schematisch in 3 dargestellt.
-
Die Bildbereiche B81, BB2, in welchen sich die Begrenzungen G befinden, sind durch eine Erwartung der Existenz und Position von der als Fahrbahnmarkierungen FM sowie Bordsteine BS ausgebildeten Begrenzungen G bestimmt. Als Quelle für diese Erwartung werden zwei Verfahren verwendet.
-
In einem ersten Verfahren wird die Erwartung auf Basis eines Spurerkennungsmodells ermittelt. Dabei wird ein Straßenverlauf mittels Parametern, die beispielsweise eine Spurbreite, eine Krümmung und eine Krümmungsänderung umfassen, beschrieben. Dabei kommen Trackingverfahren im Grauwertbild zum Einsatz, die alle potenziellen Markierungs- und Bordsteinkandidaten verfolgen.
-
In einem zweiten alternativ oder zusätzlich durchgeführten Verfahren wird die Erwartung auf Basis einer Groblokalisation des eigenen Fahrzeugs anhand der Kartendaten D der digitalen Karte 3 erzeugt. Dabei sind die Positionen und Verläufe von Fahrbahnmarkierungen FM sowie Bordsteinen BS in dieser digitalen 3 Karte abgelegt. Im Fall der Ausbildung der Begrenzungen G als Bordsteine BS ist vorzugsweise zusätzlich das dreidimensionale Höhenprofil in der digitalen Karte 3 abgelegt, so dass besonders genaue Hypothesen H1 bis Hm erzeugbar sind.
-
Die zeitlich nachverfolgten Bildbereiche BB1, BB2 der Einzelbilder B1 bis Bn und Disparitätsbilder DB1 bis DBx werden mittels eines in der zweiten Auswerteeinheit 4 vorgesehenen Klassifikators 4.1 klassifiziert, welcher beispielsweise als neuronales Netz ausgebildet ist.
-
Dieser Klassifikator 4.1 hat in einem statistischen Lernprozess Modelle zur Unterscheidung von Fahrbahnmarkierungen FM sowie Bordsteinen BS von anderen Objekten gelernt. Dabei werden zur Klassifikation von als Fahrbahnmarkierungen FM ausgebildeten Begrenzungen G vorzugsweise ausschließlich die als Grauwertbilder ausgebildeten Einzelbilder B1 bis Bn verwendet.
-
Im Gegensatz zu Fahrbahnmarkierungen FM haben Bordsteine BS einen sehr charakteristischen Tiefenverlauf. Für die Klassifikation von als Bordsteine BS ausgebildeten Begrenzungen G des Fahrbahnrandes werden daher die Einzelbilder B1 bis Bn und die Disparitätsbilder DB1 bis DBx verwendet. Hierzu hat der Klassifikator 4.1 im Lernprozess aus den Disparitätsdaten implizit eine dreidimensionale Modellvorstellung von Bordsteinen BS gelernt.
-
Bei der Klassifikation werden die zeitlich nachverfolgten Bildbereiche BB1, BB2 mit hinterlegten Modelldaten der Begrenzungen G verglichen und diesen zugeordnet.
-
Bordsteinverläufe zeichnen sich im Grauwertbild durch niedrigere Kontraste als Fahrbahnmarkierungen aus und sind daher schwieriger bzw. ungenauer von dem trackingbasierten Spurerkennungssystem als Kandidaten zu identifizieren. Die Verwendung der Einzelbilder B1 bis Bn und Disparitätsbilder DB1 bis DBx ermöglicht eine Klassifikation im zweidimensionalen und dreidimensionalen Bereich, wodurch die Robustheit sowie die Lokalisierungsgenauigkeit des Straßenverlaufes deutlich erhöht werden.
-
Nach der Klassifikation mittels der zweiten Auswerteeinheit 4 erfolgt eine Auswertung dieser Klassifikation mittels einer dritten Auswerteeinheit 5, wobei bei der Auswertung zwischen als Fahrbahnmarkierung FM und als Bordstein BS ausgebildeten Begrenzungen G unterschieden wird. Auch werden weitere Objekte O klassifiziert und ausgewertet, welche weder Fahrbahnmarkierungen FM noch Bordsteine BS sind.
-
Die robuste Positionsbestimmung von Fahrbahnmarkierungen FM und Bordsteine BS sowie von deren Verlauf verbessert eine mögliche Eigenlokalisierung des Fahrzeugs mittels der digitalen Karte, welche Spur- und Bordsteinannotationen A enthält, deutlich. Hier erfolgt eine Rückkopplung, bei der eine noch ungenaue, beispielsweise anhand einer satellitengestützten Navigationsvorrichtung ermittelte Eigenposition genutzt wird, um eine grobe Erwartung der Position von Straßenverläufen zu generieren. Die folgende genaue Positionsbestimmung von Straßenverläufen durch das erfindungsgemäße Verfahren verbessert die Genauigkeit der Eigenpositionsbestimmung.
-
Hierzu wird mittels einer vierten Auswerteeinheit 6 nach der Klassifikation und der Auswertung anhand der klassifizierten Begrenzungen G und der Kartendaten D die Lokalisierung des Fahrzeugs durchgeführt, wobei die Lokalisierung aufgrund der sehr robusten Erkennung der Begrenzungen G in sehr zuverlässiger Weise möglich ist.
-
In nicht gezeigten Ausführungsbeispielen sind mehrere der Auswerteeinheiten 2, 4, 5 und 6 als eine gemeinsame oder mehrere gemeinsame Auswerteeinheiten ausgebildet.
-
2 zeigt ein Einzelbild B1 mit einem Verlauf einer Begrenzung G des Fahrbahnrandes sowie einen zeitlich nachverfolgten Bildbereich BB1.
-
In 3 ist ein Disparitätsbild DB1 mit einem Verlauf einer Begrenzung G des Fahrbahnrandes sowie einem zeitlich nachverfolgten Bildbereich BB2 dargestellt.
-
Bezugszeichenliste
-
- 1
- Stereokameraanordnung
- 1.1
- Einzelkamera
- 1.2
- Einzelkamera
- 2
- erste Auswerteeinheit
- 3
- digitale Karte
- 4
- zweite Auswerteeinheit
- 4.1
- Klassifikator
- 5
- dritte Auswerteeinheit
- 6
- vierte Auswerteeinheit
- A
- Spur- und Bordsteinannotationen
- B1 bis Bn
- Einzelbild
- BB1
- Bildbereich
- BB2
- Bildbereich
- BS
- Bordstein
- D
- Kartendaten
- DB1 bis DBx
- Disparitätsbild
- FM
- Fahrbahnmarkierung
- G
- Begrenzung
- H1 bis Hm
- Hypothese
- O
- Objekt
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102009039568 A1 [0002]
- DE 102004057296 A1 [0003]
- EP 1705901 A2 [0004]
