-
Gebiet der Technik
-
Die vorliegende Offenbarung betrifft ein Verfahren und ein System zum Erfassen von Fahrspurbegrenzungen. Insbesondere stellen das System und das Verfahren eine genaue Erfassung von Fahrspurbegrenzungen für ein semi-autonomes oder ein autonomes Fahrzeug bereit.
-
Hintergrund
-
Fahrbahnmarkierungen werden zur Orientierung, zur Warnung oder zur Information der Verkehrsteilnehmer auf den Fahrbahnbelag gezeichnet. Sie weisen den Vorteil auf, dass sie oft noch zu sehen sind, wenn ein aufgerichtetes Schild verdeckt ist. Die 1A bis 1H zeigen Fahrbahnmarkierungen, die als durchgehende, 102b, oder massive, 102b, und als gestrichelte Fahrbahnmarkierungen, 102a, klassifiziert sind (siehe z.B. die 1A). Mehrere Linienbegrenzungen auf der Fahrbahn sind ebenfalls üblich (siehe z.B. die 1B bis 1H).
-
Bei semi-autonom oder autonom betriebenen Fahrzeugen hängt die Spurerkennung von der Erfassung der Fahrspurmarkierungen ab, weshalb die Spurerkennung für das Manövrieren eines autonomen Fahrzeugs entscheidend ist. Es sind zahlreiche anspruchsvolle Verfahren zur Spurerkennung vorgeschlagen worden, beispielsweise „Vision Lane Marking Detection and Classification for Vision-Based Navigation System“ (IEEE, 2015) und die Patente mit den Veröffentlichungsnummern
CN105426864B und
CN103295403 . Derartige Verfahren und Systeme berücksichtigen jedoch nicht mehrere Fahrspurmarkierungen, wie in den
1B bis
1H dargestellt. Die
1B bis
1E veranschaulichen beispielhaft doppelte Fahrspurmarkierungen und die
1F bis
1H veranschaulichen beispielhaft dreifache Fahrspurmarkierungen, die Fahrspurbegrenzungen auf Fahrbahnenn definieren.
-
Die 2 veranschaulicht beispielhaft eine solche Bestimmung von Fahrspurbegrenzungen 201a bis 201e, die jeweils unter Verwendung von Verfahren des Standes der Technik aus den Fahrspurmarkierungen 201a bis 202e erfasst wurden. Es ist erkennbar, dass Verfahren des Standes der Technik mehrere Fahrspurmarkierungen nicht berücksichtigen, und somit die Fahrspurbegrenzungen üblicherweise nicht den tatsächlichen Fahrspurbegrenzungen auf der Fahrbahn 201b bis 201d entsprechen. Diese Ungenauigkeit bei der Bestimmung von Fahrspurbegrenzungen kann dazu führen, dass die Anpassung des Linienmodells fehlschlägt. Somit kann das autonome Fahrzeug sich versehentlich in die angrenzende Fahrspur manövrieren oder in diese abweichen, was gefährlich sein kann.
-
Daher besteht ein langgehegter und unerfüllter Bedarf an einer genauen Fahrspurbegrenzungserfassung in Fällen, in denen mehrere Fahrspurmarkierungen eine Fahrspur einer Fahrbahn definieren.
-
Kurzdarstellung
-
Die vorliegende Erfindung betrifft ein Verfahren und ein System zum Erfassen von Fahrspurbegrenzungen, wie in den beigefügten Ansprüchen dargelegt. Insbesondere stellen das System und das Verfahren eine genaue Erfassung von Fahrspurbegrenzungen für ein semi-autonomes oder ein autonomes Fahrzeug bereit.
-
In einer Ausführungsform beginnt das Verfahren mit dem Empfang eines oder mehrerer Bilder einer Fahrbahnoberfläche, die Fahrbahnmarkierungen umfasst. Aus diesen Bildern werden eine oder mehrere Randlinien der Fahrbahnmarkierungen erfasst, wobei die Randlinien im Wesentlichen parallel zur Längsachse des Ego-Fahrzeugs verlaufen. Ferner werden mehrere virtuelle Linien senkrecht zur Längsachse des Ego-Fahrzeugs aufgetragen, wobei jede virtuelle Linie periodisch in einem entsprechenden vorbestimmten Abstand von dem Ego-Fahrzeug und entlang der Längsachse des Ego-Fahrzeugs aufgetragen wird.
-
In einer Ausführungsform wird für jede virtuelle Linie eine Anzahl von Schnittpunkten zwischen der jeweiligen virtuellen Linie und der einen oder den mehreren Randlinien bestimmt. Der Abstand zwischen jedem Schnittpunkt und der Längsachse des Ego-Fahrzeugs wird sortiert. Ferner wird ein erster Satz von Randlinien mit einem Schnittpunkt, der einen Mindestabstand von der Längsachse des Ego-Fahrzeugs aufweist, ausgewählt. Der erste Satz von Randlinien grenzt den Innenrand einer ersten Fahrbahnmarkierung ab.
-
In einer Ausführungsform umfasst das Verfahren ferner das Auswählen eines zweiten Satzes von Randlinien mit Schnittpunkten, die einen zweiten Mindestabstand von der Längsachse des Ego-Fahrzeugs aufweisen, wobei der zweite Satz von Randlinien den Innenrand einer zweiten Fahrbahnmarkierung abgrenzt.
-
Das Verfahren umfasst ferner das Auswählen eines n-ten Satzes von Randlinien mit Schnittpunkten, die einen n-ten Mindestabstand von der Längsachse des Ego-Fahrzeugs aufweisen, wobei der n-te Satz von Randlinien den Innenrand einer n-ten Fahrbahnmarkierung abgrenzt.
-
Das System zum Erfassen von Innenbegrenzungen von Fahrbahnmarkierungen zum Manövrieren eines Fahrzeugs umfasst mindestens eine Bilderfassungseinrichtung, einen Prozessor, der mit der Bilderfassungseinrichtung wirkgekoppelt ist, und einen Speicher, der mit dem Prozessor wirkgekoppelt ist, wobei der Speicher computerlesbare Anweisungen speichert und die computerlesbaren Anweisungen den Prozessor zu Folgendem konfigurieren:
- Empfangen eines oder mehrerer Bilder von der
- Bilderfassungseinrichtung, wobei das eine oder die Bilder eine Fahrbahnoberfläche umfassen, die Fahrbahnmarkierungen aufweist;
- Erfassen einer oder mehrerer Randlinien der aus den Bildern erfassten Fahrbahnmarkierungen, wobei die Randlinien im Wesentlichen parallel zur Längsachse des Ego-Fahrzeugs verlaufen;
- Auftragen mehrerer virtueller Linien senkrecht zur Längsachse des Ego-Fahrzeugs, wobei jede virtuelle Linie periodisch in einem entsprechenden vorbestimmten Abstand von dem Ego-Fahrzeug und entlang der Längsachse des Ego-Fahrzeugs aufgetragen wird; für jede virtuelle Linie:
- Bestimmen einer Anzahl von Schnittpunkten zwischen der jeweiligen virtuellen Linie und der einen oder den mehreren Randlinien;
- Sortieren des Abstands zwischen jedem Schnittpunkt und der Längsachse des Ego-Fahrzeugs; und
- Auswählen eines ersten Satzes von Randlinien, die einen Schnittpunkt mit einem Mindestabstand von der Längsachse des Ego-Fahrzeugs aufweisen, wobei der erste Satz von Randlinien den Innenrand einer ersten Fahrbahnmarkierung abgrenzt.
-
Der Prozessor ist ferner konfiguriert zum Auswählen eines zweiten Satzes von Randlinien mit Schnittpunkten, die einen zweiten Mindestabstand von der Längsachse des Ego-Fahrzeugs aufweisen, wobei der zweite Satz von Randlinien den Innenrand einer zweiten Fahrbahnmarkierung abgrenzt.
-
Der Prozessor ist ferner konfiguriert zum Auswählen eines n-ten Satzes von Randlinien mit Schnittpunkten, die einen n-ten Mindestabstand von der Längsachse des Ego-Fahrzeugs aufweisen, wobei der n-te Satz von Randlinien den Innenrand einer n-ten Fahrbahnmarkierung abgrenzt.
-
In einer Ausführungsform umfasst das Fahrzeug ein semi-autonomes Fahrzeug oder ein autonomes Fahrzeug.
-
Somit stellen das Verfahren und das System gemäß der vorliegenden Erfindung eine genaue Abgrenzung von Fahrbahnmarkierungen bereit, um das Manövrieren eines autonomen Fahrzeugs zu unterstützen.
-
Figurenliste
-
Die Erfindung wird besser verständlich anhand der nachfolgenden Beschreibung einer Ausführungsform derselben, die unter Bezugnahme auf die beigefügten Zeichnungen lediglich beispielhaft angeführt wird. Es zeigen beispielhaft:-
- die 1A ein Ego-Fahrzeug zusammen mit Fahrbahnmarkierungen;
- die 1B bis1E verschiedene Arten von doppelten Fahrbahnmarkierungen;
- die 1F bis 1H verschiedene Arten von dreifachen Fahrbahnmarkierungen;
- die 2 Abgrenzungslinien zur Fahrbahnmarkierung, die gemäß dem Stand der Technik erfasst wurden;
- die 3 die Erfassung einer einzelnen Fahrbahnmarkierung gemäß einigen Ausführungsformen der vorliegenden Erfindung;
- die 4 die Erfassung einer dreifachen Fahrbahnmarkierung gemäß einigen Ausführungsformen der vorliegenden Erfindung;
- die 5 die Erfassung einer einzelnen Fahrbahnmarkierung zu beiden Seiten des Ego-Fahrzeugs gemäß einigen Ausführungsformen der vorliegenden Erfindung; und
- die 6 die Architektur der verschiedenen Komponenten des Systems gemäß einigen Ausführungsformen der vorliegenden Erfindung.
-
Ausführliche Beschreibung der Zeichnungen
-
Die vorliegende Erfindung betrifft ein Verfahren und ein System zum Erfassen von Fahrspurbegrenzungen. Insbesondere stellen das System und das Verfahren eine genaue Erfassung von Fahrspurbegrenzungen für ein semi-autonomes Fahrzeug bereit.
-
Die 3 zeigt beispielhaft die Erfassung einer einzelnen Fahrbahnmarkierung gemäß einigen Ausführungsformen der vorliegenden Erfindung. Das Verfahren beginnt mit dem Empfang eines oder mehrerer Bilder einer Fahrbahnoberfläche, die Fahrbahnmarkierungen 302 innerhalb des interessierenden Bereichs 303 auf der linken Seite eines Ego-Fahrzeugs 301 umfasst. Es versteht sich, dass sich das hier beschriebene Ego-Fahrzeug sowohl auf ein semi-autonomes Fahrzeug als auch auf ein autonomes Fahrzeug in Verwendung beziehen kann. Aus diesen Bildern werden eine oder mehrere Randlinien der Fahrbahnmarkierungen erfasst, wobei die Randlinien im Wesentlichen parallel zur Längsachse X des Ego-Fahrzeugs 301 verlaufen. Ferner werden mehrere virtuelle Linien senkrecht zur Längsachse des Ego-Fahrzeugs aufgetragen, wobei jede virtuelle Linie periodisch in entsprechenden vorbestimmten Abständen d1-4 von dem Ego-Fahrzeug und entlang der Längsachse X des Ego-Fahrzeugs 301 aufgetragen wird.
-
Für jede virtuelle Linie wird eine Anzahl von Schnittpunkten i1,1, i1,2, i1,3, i1,4 zwischen der jeweiligen virtuellen Linie und der einen oder den mehreren Randlinien bestimmt. Der Abstand zwischen jedem Schnittpunkt i1,1, i1,2, i1,3, i1,4 und der Längsachse X des Ego-Fahrzeugs wird sortiert. Ferner wird ein erster Satz von Randlinien mit einem Schnittpunkt, der einen Mindestabstand von der Längsachse X des Ego-Fahrzeugs aufweist, ausgewählt. Der erste Satz von Randlinien grenzt den Innenrand einer ersten Fahrbahnmarkierung ab.
-
Dies wird deutlicher aufgezeigt in der 4, die dreifache Fahrbahnmarkierungen 402 im interessierenden Bereich 403 links von dem Ego-Fahrzeug zeigt. In der 4 sind mehrere virtuelle Linien X = k1 und X = k2 senkrecht zur Längsachse X des Ego-Fahrzeugs 401 aufgetragen, wobei jede virtuelle Linie periodisch in entsprechenden vorbestimmten Abständen k1-2 von dem Ego-Fahrzeug und entlang der Längsachse X des Ego-Fahrzeugs 401 aufgetragen ist.
-
Für jede virtuelle Linie wird eine Anzahl von Schnittpunkten (in der 4 als * gezeigt) zwischen der jeweiligen virtuellen Linie und der einen oder den mehreren Randlinien bestimmt. Ein Fachmann wird erkennen, dass mehrere Kreuzungspunkte auf einer virtuellen Linie mehrere Fahrbahn-/Fahrspurmarkierungen bedeuten. Des Weiteren wird der Abstand zwischen jedem Schnittpunkt und der Längsachse X des Ego-Fahrzeugs sortiert. In diesem Beispiel werden für die virtuelle Linie X=k1 die Abstände d0, d1, d2 sortiert und für die virtuelle Linie X=k2 werden die Abstände d0, di sortiert.
-
Ferner wird ein erster Satz von Randlinien mit einem Schnittpunkt, der einen Mindestabstand von der Längsachse X des Ego-Fahrzeugs aufweist, d.h. bei d0 von X=k1 und d0 von X=k2, ausgewählt. Der erste Satz von Randlinien grenzt den Innenrand einer ersten Fahrbahnmarkierung 402a ab.
-
Das Verfahren umfasst ferner das Auswählen eines zweiten Satzes von Randlinien mit Schnittpunkten, die einen zweiten Mindestabstand (di von X=k1 und di von X=k2)von der Längsachse X des Ego-Fahrzeugs 401 aufweisen, wobei der zweite Satz von Randlinien den Innenrand einer zweiten Fahrbahnmarkierung 402b abgrenzt.
-
In ähnlicher Weise kann das Verfahren ferner das Auswählen eines n-ten Satzes von Randlinien mit Schnittpunkten, die einen n-ten Mindestabstand von der Längsachse des Ego-Fahrzeugs aufweisen, umfassen, wobei der n-te Satz von Randlinien den Innenrand einer n-ten Fahrbahnmarkierung abgrenzt.
-
Die 5 zeigt beispielhaft die Erfassung einer einzelnen Fahrbahnmarkierung zu beiden Seiten des Ego-Fahrzeugs gemäß einigen Ausführungsformen der vorliegenden Erfindung auf. Gemäß dem oben offenbarten Verfahren sind die Fahrbahnmarkierung 502a in dem interessierenden Bereich 503a, der zur Linken des Ego-Fahrzeugs 501 liegt, und die Fahrbahnmarkierung 502b in dem interessierenden Bereich 503b, der zur Rechten des Ego-Fahrzeugs 501 liegt, abgebildet. In ähnlicher Weise sind die virtuellen Linien X=d1, X=d2, X=d3 und X=d4 aufgetragen, was zu den Kreuzungspunkten iL1, iL2, iL3, iL4 auf der linken Seite und iR1, iR2 auf der rechten Seite führt, wobei eine Linie, die durch iL1, iL2, iL3, iL4 verläuft, die Innengrenze der linken Fahrbahnmarkierung 502a abgrenzt, und eine Linie, die durch iR1, iR2 verläuft, die Innengrenze der rechten Fahrbahnmarkierung 502b abgrenzt.
-
Die 6 veranschaulicht beispielhaft die Architektur der verschiedenen Komponenten des Systems gemäß einigen Ausführungsformen der vorliegenden Erfindung. Das System umfasst mindestens eine Bilderfassungseinrichtung 603, einen Prozessor 601, der mit der Bilderfassungseinrichtung 603 wirkgekoppelt ist, und einen Speicher 602, der mit dem Prozessor 601 wirkgekoppelt ist, wobei der Speicher 602 computerlesbare Anweisungen speichert und die computerlesbaren Anweisungen den Prozessor 601 zu Folgendem konfigurieren:
- Empfangen eines oder mehrerer Bilder von der Bilderfassungseinrichtung 603, wobei das eine oder die mehreren Bilder eine Fahrbahnoberfläche umfassen, die Fahrbahnmarkierungen aufweist;
- Erfassen einer oder mehrerer Randlinien der aus den Bildern erfassten Fahrbahnmarkierungen, wobei die Randlinien im Wesentlichen parallel zur Längsachse des Ego-Fahrzeugs verlaufen;
- Auftragen mehrerer virtueller Linien senkrecht zur Längsachse des Ego-Fahrzeugs, wobei jede virtuelle Linie periodisch in einem entsprechenden vorbestimmten Abstand von dem Ego-Fahrzeug und entlang der Längsachse des Ego-Fahrzeugs aufgetragen wird;
- für jede virtuelle Linie:
- Bestimmen einer Anzahl von Schnittpunkten zwischen der jeweiligen virtuellen Linie und der einen oder den mehreren Randlinien;
- Sortieren des Abstands zwischen jedem Schnittpunkt und der Längsachse des Ego-Fahrzeugs; und
- Auswählen eines ersten Satzes von Randlinien, die einen Schnittpunkt mit einem Mindestabstand von der Längsachse des Ego-Fahrzeugs aufweisen, wobei der erste Satz von Randlinien den Innenrand einer ersten Fahrbahnnmarkierung abgrenzt.
-
Der Prozessor 601 ist ferner konfiguriert zum Auswählen eines zweiten Satzes von Randlinien mit Schnittpunkten, die einen zweiten Mindestabstand von der Längsachse des Ego-Fahrzeugs aufweisen, wobei der zweite Satz von Randlinien den Innenrand einer zweiten Fahrbahnmarkierung abgrenzt.
-
Der Prozessor 601 ist ferner konfiguriert zum Auswählen eines n-ten Satzes von Randlinien mit Schnittpunkten, die einen n-ten Mindestabstand von der Längsachse des Ego-Fahrzeugs aufweisen, wobei der n-te Satz von Randlinien den Innenrand einer n-ten Fahrbahnmarkierung abgrenzt.
-
Somit stellen das Verfahren und das System gemäß der vorliegenden Erfindung eine genaue Abgrenzung von Fahrbahnmarkierungen bereit, um das Manövrieren eines autonomen Fahrzeugs zu unterstützen.
-
Ein Durchschnittsfachmann erkennt ferner, dass die verschiedenen beispielhaften logischen/funktionalen Blöcke, Module, Schaltungen und Verfahrensschritte, die in Verbindung mit den hierin offenbarten Ausführungsformen beschrieben wurden, als elektronische Hardware oder als eine Kombination aus Hard- und Software implementiert werden können. Um diese Austauschbarkeit von Hardware und einer Kombination aus Hard- und Software deutlich zu machen, wurden verschiedene beispielhafte Komponenten, Blöcke, Module, Schaltungen und Schritte oben allgemein hinsichtlich ihrer Funktionalität beschrieben. Ob eine solche Funktionalität als Hardware oder als eine Kombination aus Hard- und Software implementiert wird, hängt von der Konstruktionsentscheidung eines Duchschnittsfachmanns ab. Solche Fachleute können die beschriebene Funktionalität für jede spezielle Anwendung unterschiedlich implementieren, jedoch sollten derartige offensichtliche Konstruktionsentscheidungen nicht so interpretiert werden, dass sie eine Abweichung von dem Anwendungsbereich der vorliegenden Erfindung bewirken.
-
Das in der vorliegenden Offenbarung beschriebene Verfahren kann mit verschiedenen Mitteln implementiert werden. Beispielsweise kann die in der vorliegenden Offenbarung beschriebene Vorrichtung in Hardware, Firmware, Software oder einer beliebigen Kombination daraus implementiert sein. Für eine Hardwareimplementierung können die Verarbeitungseinheiten oder der Prozessor/die Prozessoren, oder die Steuerung/die Steuerungen implementiert werden in einer oder mehreren anwendungsspezifischen integrierten Schaltungen (ASICs), digitalen Signalprozessoren (DSPs), digitalen Signalverarbeitungsvorrichtungen (DSPDs), programmierbaren Logikvorrichtungen (PLDs), feldprogrammierbaren Gate-Arrays (FPGAs), Prozessoren, Controllern, Mikrocontrollern, Mikroprozessoren, elektronischen Vorrichtungen, und anderen elektronischen Einheiten, die dazu ausgelegt sind, die hierin beschriebenen Funktionen auszuführen, oder in einer Kombination aus diesen.
-
Für eine Firmware- und/oder Softwareimplementierung können Softwarecodes in einem Speicher gespeichert und von einem Prozessor ausgeführt werden. Der Speicher kann innerhalb der Prozessoreinheit oder außerhalb der Prozessoreinheit implementiert sein. Wie hierin verwendet, bezieht sich der Begriff „Speicher“ auf jede Art von flüchtigem Speicher oder nichtflüchtigem Speicher.
-
In der Beschreibung gelten die Begriffe „umfassen“, „umfasst“ und „umfassend“ oder jede Abwandlung derselben, sowie die Begriffe „einschließen“, „schließt ein“, „eingeschlossen“ und „einschließlich“ oder jede Abwandlung derselben als völlig austauschbar und sollten im weitest möglichen Sinne interpretiert werden.
-
Ein einschlägig tätiger Fachmann wird erkennen, dass die obige Erfindung eine robuste und kostengünstige Lösung für die im Stand der Technik festgestellten Probleme bereitstellt.
-
Die Erfindung ist nicht auf die weiter oben beschriebenen Ausführungsformen beschränkt, sondern kann sowohl hinsichtlich der Konstruktion als auch im Detail variiert werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- CN 105426864 B [0003]
- CN 103295403 [0003]
