-
Die
Erfindung betrifft ein Verfahren zum Betrieb eines Fahrerassistenzsystems,
wobei Bilder der Umgebung des Fahrzeugs erfasst werden, aus diesen
Bildern Indikatoren für Gefahr- und/oder Baustellen ermittelt
werden und eine Gefahr- und/oder Baustelle erkannt wird.
-
Die
Erfindung betrifft weiterhin eine Vorrichtung zum Betrieb eines
Fahrerassistenzsystems, umfassend zumindest einen Sensor zur Erfassung
von Bildern einer Umgebung des Fahrzeugs und einer Bildverarbeitungseinheit
zur Ermittlung und Erkennung von Indikatoren für Gefahr-
und/oder Baustellen aus diesen Bildern.
-
Aus
der
DE 10 2004
058 037 A1 ist eine Fahrunterstützungsvorrichtung
zum Verhindern einer Fahrzeugkollision bekannt. Die Fahrunterstützungsvorrichtung
beinhaltet eine Kamera, eine Ziel-Erfassungsvorrichtung und einen
Prozessor, wobei die Kamera eine Abbildung eines vorbestimmten Bereichs vor
einem Fahrzeug aufnimmt. Die Ziel-Erfassungsvorrichtung erfasst
in der Abbildung ein Ziel, das meldet, dass das Fahrzeug anzuhalten
ist, um eine Fahrzeugkollision zu verhindern. In einem Fall, in
dem die Ziel-Erfassungsvorrichtung eine Mehrzahl der Ziele erfasst,
hält der Prozessor automatisch das Fahrzeug an einer sicheren
Position an, die erforderlich ist, um zu verhindern, dass das Fahrzeug
mit einem anderen Fahrzeug kollidiert. Als Ziele werden insbesondere
Bremslichter von Fahrzeugen, Stoppsignale von Ampeln oder Verkehrszeichen
erfasst.
-
Weiterhin
ist aus der
DE
10 2004 003 848 A1 ein Verfahren zur Erkennung von gekennzeichneten Gefahr-
und/oder Baustellen im Bereich von Fahrbahnen bekannt, bei dem Abstandsbilder
eines Erfassungsbereichs eines an einem Fahrzeug gehaltenen Sensors
für elektromagnetische Strahlung, insbesondere eines Laserscanners,
verwendet werden und in den Abstandsbildern nach Kennzeichen für gekennzeichnete Gefahr-
und/oder Baustellen gesucht wird. Zur Erkennung der Gefahr- oder
Baustelle werden insbesondere ein Vorhandensein und/oder eine Lage
von charakteristischen Gegenständen, wie Leitpfosten und/oder
eine Anzahl, eine Breite und/oder ein Verlauf von erkannten Fahrspuren
verwendet. Auch wird erkannt, ob sich das Fahrzeug auf einer Fahrbahn
in einer vorgesehenen Richtung oder entgegen der vorgesehenen Richtung
bewegt.
-
Die
DE 10 2004 061 822
A1 offenbart ein Verfahren zur Erkennung von Fahrbahnmarkierungen,
insbesondere im Baustellenbereich, wobei die Fahrbahnmarkierungen
in Form von Bildkoordinaten vorliegen, wobei die Bildkoordinaten
aus einem farbigen Umgebungsbild eines Kraftfahrzeugs ermittelt werden.
Bei dem Verfahren wird in einem ersten Schritt ein Sättigungshistogramm
der Fahrbahnmarkierungen errechnet, aus dem Sättigungshistogramm werden
die Sättigungswerte oberhalb einer vorgegebenen ersten
Schwelle bestimmt und es wird eine gelbe Fahrbahnmarkierungen anzeigende
erste Marke gesetzt, wenn die Anzahl der oberhalb der Schwelle liegenden
Sättigungswerte größer als ein vorgegebener
Wert ist. Alle Fahrbahnmarkierungen mit einem niedrigen Sättigungsmittelwert
und mit Farbtonmittelwerten, die nicht im gelben Farbtonbereich
liegen, also weiße Fahrbahnmarkierungen, werden als unsicher
gekennzeichnet. Ansonsten wird keine erste Marke gesetzt.
-
Ferner
beschreibt die
US
2008/0137908 A1 ein Verfahren zur Erfassung und Identifizierung
eines Verkehrszeichens mittels einer rechnergestützen Vorrichtung,
die in einem Fahrzeug angeordnet ist. Die Vorrichtung umfasst eine
an dem Fahrzeug montierte Kamera, welche Bilder einer Umgebung des Fahrzeugs
in einem Kamerablickfeld erfasst und an eine Bildverarbeitungseinheit
sendet. Mittels der Bildverarbeitungseinheit werden in den Bildern
die Verkehrszeichen detektiert und weitere Fahrerassistenzfunktionen
ausgeführt. Dabei werden die Bilder in jeweils einen ersten
Abschnitt und einen zweiten Abschnitt unterteilt, wobei aus dem
ersten Abschnitt die Verkehrszeichen detektiert werden und der zweite Abschnitt
zur Ausführung der Fahrerassistenzfunktion genutzt wird.
Bei Verkehrszeichen, welche mehreren Fahrspuren zugeordnet sind,
wird mittels des Verfahrens erkannt, auf welcher Fahrspur sich das Fahrzeug
befindet und welches Verkehrzeichen dieser Fahrspur zugeordnet ist.
-
Der
Erfindung liegt die Aufgabe zugrunde, ein gegenüber dem
Stand der Technik verbessertes Verfahren und eine verbesserte Vorrichtung
zum Betrieb eines Fahrerassistenzsystems anzugeben, anhand derer
der Betrieb des Fahrerassistenzsystems derart verbesserbar ist,
dass eine Sicherheit von Fahrzeuginsassen und anderen Verkehrsteilnehmern
erhöht wird.
-
Hinsichtlich
des Verfahrens wird die Aufgabe erfindungsgemäß durch
die in Anspruch 1 angegebenen Merkmale und hinsichtlich der Vorrichtung
durch die in Anspruch 10 angegebenen Merkmale gelöst.
-
Vorteilhafte
Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
Bei
dem Verfahren zum Betrieb eines Fahrerassistenzsystems werden Bilder
der Umgebung des Fahrzeugs erfasst, aus diesen Bildern Indikatoren
für Gefahr- und/oder Baustellen ermittelt und die Gefahr-
und/oder Baustelle erkannt.
-
Erfindungsgemäß werden
vor dem Beginn der Gefahr- und/oder Baustelle als Indikatoren zumindest
in dem Bild enthaltene Verkehrszeichen anhand einer Mustererkennung
ermittelt und bei einem erkannten Muster wird auf eine Gefahr- und/oder Baustelle
geschlossen.
-
Aufgrund
der Ermittlung der Verkehrszeichen als Indikatoren für
eine Gefahr- und/oder Baustelle anhand der Mustererkennung aus den
Bildern wird zum einen eine sichere Erfassung der Gefahr- und/oder
Baustellen auf oder neben einer Fahrbahn, auf welcher sich das Fahrzeug
bewegt, erzielt. Zum anderen ist die Erfassung bereits vor dem Beginn
der Gefahr- und/oder Baustelle möglich, woraus in besonders
vorteilhafter Weise die Möglichkeit einer rechtzeitigen
Umschaltung des Fahrerassistenzsystems in einen so genannten ”Baustellen-Betriebsmodus” resultiert.
Unter dem ”Baustellen-Betriebsmodus” wird dabei
verstanden, dass das Fahrerassistenzsystem automatisch eine Bewegung
des Fahrzeugs und/oder eine Funktion von Fahrzeugkomponenten an
eine Fahrsituation in der Gefahr- und/oder Baustelle anpasst.
-
Ausführungsbeispiele
der Erfindung werden im Folgenden anhand von Zeichnungen näher
erläutert.
-
Dabei
zeigen:
-
1 schematisch
eine Vorrichtung zum Betrieb eines Fahrerassistenzsystems,
-
2 schematisch
eine Gefahr- und/oder Baustelle, und
-
3A bis 3F schematisch
verschiedene Beispiele von Verkehrszeichen und Fahrspurbegrenzungen,
welche als Indikator für eine Gefahr- und/oder Baustelle
genutzt werden.
-
Einander
entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen
versehen.
-
In 1 ist
eine Vorrichtung 1 zum Betrieb eines Fahrerassistenzsystems 2 dargestellt,
wobei die Vorrichtung 1 einen Sensor 1.1 zur Erfassung
von Bildern B einer Umgebung eines nicht näher dargestellten
Fahrzeugs umfasst. Bei dem Sensor 1.1 handelt es sich insbesondere
um eine Kamera.
-
Die
Vorrichtung 1 umfasst weiterhin eine Verkehrszeichenerkennungsvorrichtung 1.2,
wobei der Sensor 1.1 Bestandteil der Verkehrszeichenerkennungsvorrichtung 1.2 ist.
-
Ferner
ist eine Bildverarbeitungseinheit 1.3 zur Ermittlung und
Erkennung von Indikatoren I für eine in 2 näher
dargestellte Gefahr- und/oder Baustelle GB aus diesen Bildern B
vorgesehen, wobei die Bildverarbeitungseinheit 1.3 ebenfalls
Bestandteil der Verkehrszeichenerkennungsvorrichtung 1.2 ist.
-
Alternativ
sind der Sensor 1.1 und/oder die Bildverarbeitungseinheit 1.3 in
nicht näher dargestellter Weise Bestandteile der Vorrichtung 1,
welche mit der Verkehrszeichenerkennungsvorrichtung 1.2 gekoppelt
ist.
-
Auch
ist die Vorrichtung 1 mit einer Navigationsvorrichtung 3,
insbesondere einer so genannten GPS-Navigationsvorrichtung, des
Fahrzeugs gekoppelt, anhand welcher Positionsdaten POS des Fahrzeugs
ermittelbar und der Vorrichtung 1 zuführbar sind.
-
Wird
mittels der Vorrichtung 1 eine Gefahr- und/oder Baustelle
GB erfasst, wird das Fahrerassistenzsystem 2 derart angesteuert,
dass es schon rechtzeitig vor der Gefahr- und/oder Baustelle GB
in einem so genannten ”Baustellen-Betriebsmodus” betrieben
wird. Dabei wird mittels des Fahrerassistenzsystems 1 automatisch
eine Bewegung des Fahrzeugs und/oder eine Funktion von Fahrzeugkomponenten,
beispielsweise eine Lichtverteilung von Scheinwerfern, eine Fahrwerkseinstellung
oder Ähnliches, an eine Fahrsituation in der Gefahr- und/oder Baustelle
GB angepasst. Auch kann das Fahrerassistenzsystem 2 für
die Zeitdauer während einer Fahrt des Fahrzeugs durch die
Gefahr- und/oder Baustelle GB in einen passiven Betrieb, in einen
Betrieb, in welchem keine Warnungen ausgegeben werden, und/oder
in einen Betrieb überführt werden, in welchem
ein Regeleingriff in die Steuerung des Fahrzeugs bereits zu einem
früheren oder erst zu einem späteren Zeitpunkt
als während eines ”Normalbetriebs” erfolgt.
-
In 2 ist
ein Beispiel einer Gefahr- und/oder Baustelle GB dargestellt. Die
dargestellte Fahrbahn F ist aus zwei Fahrspuren FS1, FS2, welche
in einer gleichen erste Fahrtrichtung verlaufen, und zwei Fahrspuren
FS3, FS4, welche entgegengesetzt zu der ersten Fahrtrichtung verlaufen,
gebildet. Die Fahrspuren FS1, FS2 und die Fahrspuren FS3, FS4 sind
jeweils durch Fahrspurbegrenzungen FB1, bei welchen es sich um Fahrbahnmarkierungen
handelt, begrenzt.
-
Zwischen
den in entgegengesetzten Fahrtrichtungen verlaufenden Fahrspuren
FS2, FS3 befindet sich eine weitere Fahrspurbegrenzung FB2, welche
als Schutzplanke ausgebildet ist.
-
Die
Gefahr- und/oder Baustelle GB zeichnet sich durch eine geänderte
Spurführung aus, wobei ein befahrbarer Bereich der Fahrspuren
FS1, FS2 und der Fahrspuren FS3, FS4 jeweils durch weitere Fahrspurbegrenzungen
FB3 derart begrenzt ist, dass für jede Fahrtrichtung jeweils
eine Fahrspur zur Verfügung steht. Bei den Fahrspurbegrenzungen
FB3 handelt es sich im dargestellten Ausführungsbeispiel um
so genannte Leit- oder Warnbaken.
-
Mittels
des Sensors 1.1 der Vorrichtung 1 wird, wie bereits
beschrieben, die Umgebung des Fahrzeugs in Bildern B erfasst. Anhand
der Bildverarbeitungseinheit 1.3 werden vor dem Beginn
der Gefahr- und/oder Baustelle GB als Indikatoren I zumindest in
dem Bild B enthaltene Verkehrszeichen VZ, welche beispielhaft in
den 3A bis 3E näher dargestellt
sind, anhand einer Mustererkennung ermittelt.
-
Das
heißt, dass mittels des Sensors 1.1 die Bilder
B der Umgebung des Fahrzeugs erfasst werden und mittels der Auswerteeinheit 1.3 anhand
eines Suchalgorithmus in den Bildern B nach Verkehrszeichen VZ gesucht
wird.
-
Nach
der Ermittlung der Verkehrszeichen VZ aus den Bildern B werden diese
klassifiziert, d. h. die mittels der Verkehrszeichen VZ dargestellten
Verbote und/oder Gebote werden erfasst. Dies geschieht insbesondere
in der Art, dass die in den Bildern B ermittelten Verkehrszeichen
VZ mittels der Auswerteeinheit 1.3 mit in der Vorrichtung 1 hinterlegten
Verkehrszeichen-Mustern verglichen werden und den ermittelten Verkehrszeichen
VZ deren Regelungsgehalt zugeordnet wird.
-
Da
sich die Gefahr- und/oder Baustellen GB häufig durch eine
Begrenzung einer zulässigen Höchstgeschwindigkeit
(= Ist-Geschwindigkeitsbegrenzung) auszeichnen, welche von einer
Begrenzung (= Soll-Geschwindigkeitsbegrenzung) im ”Normalzustand” der
Fahrbahn, d. h. wenn sich keine Gefahr- und/oder Baustelle GB auf
dieser befindet, abweicht, wird die Gefahr- und/oder Baustelle GB
dann erkannt, wenn die durch das erfasste Verkehrszeichen VZ dargestellte
Ist-Geschwindigkeitsbegrenzung geringer als die für einen
aktuellen Straßenabschnitt gespeicherte Soll-Geschwindigkeitsbegrenzung
ist. Die Soll-Geschwindigkeitsbegrenzung wird dabei insbesondere
aus dem in der Navigationsvorrichtung 3 gespeicherten Kartenmaterial
entnommen.
-
In
einer Gefahr- und/oder Baustelle GB, beispielsweise auf einer Autobahn,
sind vor deren Beginn meist Verkehrszeichen VZ in Abständen
aufgestellt, anhand derer die zulässige Höchstgeschwindigkeit
in Etappen verringert dargestellt wird, beispielsweise von 100 km/h
auf 80 km/h und anschließend auf 60 km/h, was auch als
so genannter Baustellentrichter bekannt ist. Aus diesem Grund wird
die Gefahr- und/oder Baustelle GB dann erkannt, wenn mehrere Ist-Geschwindigkeitsbegrenzungen
in vorgegebenen Abständen und in einer absteigenden Reihenfolge
auf den Verkehrszeichen VZ erkannt werden.
-
Auch
zeichnen sich Gefahr- und/oder Baustellen GB dadurch aus, dass Verkehrszeichen
VZ mit Begrenzungen der zulässigen Höchstgeschwindigkeit
in relativ kurzen Abständen wiederholt aufgestellt sind,
so dass die Information, dass in vorgegeben Abständen wiederholt
mittels der Vorrichtung 1 erfasste Geschwindigkeitsbegrenzungen
vorhanden sind, die als Indikator I für das Vorhandensein
der Gefahr- und/oder Baustelle GB genutzt werden.
-
Zusätzlich
wird als Indikator I für die Gefahr- und/oder Baustelle
GB eine Situation erkannt, wenn die dargestellte Spurverlagerung
erfasst wird. Als Indikator für die dargestellte Spurverlagerung
wird insbesondere erfasst, dass der dargestellte Verlauf der als
Leit- oder Warnbaken ausgebildeten Fahrspurbegrenzungen FB3 erfasst
wird. Auch kann zusätzlich der Verlauf der durch die von
den Fahrspurbegrenzungen FB3 begrenzten Fahrspuren FS1 bis FS4 erfasst
und mit beispielsweise in der Navigationsvorrichtung 3 hinterlegten
Verläufen der Fahrspuren FS1 bis FS4 verglichen werden,
so dass bei einer Abweichung des Verlaufes einer oder mehrerer der
Fahrspuren FS1 bis FS4 auf das Vorhandensein einer Gefahr- und/oder
Baustelle GB geschlossen wird.
-
Als
Fahrspurbegrenzungen FB1 bis FB3 werden neben den bereits genannten
Schutzplanken, Leit- oder Warnbaken und Fahrbahnmarkierungen auch
Leitpfosten, Bordsteine oder eine in der 3F näher
dargestellte, als Verkehrsleitkegel ausgebildete Fahrspurbegrenzung
FB4 erfasst und erkannt.
-
Zusätzlich
werden nicht näher dargestellte Reflektoren oder Warnleuchten,
welche insbesondere blinkend betrieben werden, als Begrenzung von Fahrspuren
erkannt, wobei die Reflektoren beispielsweise an oder auf den Fahrspurbegrenzungen
FB1 bis FB4 angeordnet sind. Diese Erkennung wird insbesondere bei
Dunkelheit mittels eines nicht näher dargestellten Sensors
eines intelligenten Fernlichtassistenten ausgeführt.
-
Als
weiterer Indikator I wird für die Gefahr- und/oder Baustelle
GB eine Situation erfasst, in welcher eine Bewegung des Fahrzeugs
auf einer Gegenfahrspur oder dem Standstreifen ermittelt wird, insbesondere
bei gleichzeitiger Erfassung der Fahrspurbegrenzungen FB1 bis FB4,
welche ebenfalls auf die Gefahr- und/oder Baustelle GB hinweisen. Hierzu
werden die Positionsdaten POS des Fahrzeugs ermittelt, und aus den
Positionsdaten POS und vorzugsweise in der Navigationsvorrichtung 3 gespeicherten
Straßendaten wird ermittelt, auf welcher Fahrspur sich
das Fahrzeug befindet und ob es sich dabei um eine Gegenfahrspur
handelt.
-
Als
weiterer Hinweis auf eine Baustelle kann eine Reduktion einer mittels
optischen Mitteln erfassten Spurweite, sowie eine von der in Kartendaten
hinterlegte Spuranzahl abweichende optisch erfasste Spuranzahl verwendet
werden.
-
Gleichsam
wird als Indikator I für eine Gefahr- und/oder Baustelle
wenigstens eine in dem Bild enthaltene Warnleuchte detektiert. Derartige
Warnleuchten werden dabei häufig im Bereich von Gefahr- und/oder
Baustellen eingesetzt und können sowohl permanent leuchtend
als auch als Blinkleuchte ausgestaltet sein.
-
Alternativ
ist in nicht näher dargestellter Weise eine optische Spurerkennung
vorgesehen, anhand welcher ermittelt wird, auf welcher Fahrspur sich
das Fahrzeug befindet.
-
In 3A ist
ein Verkehrzeichen VZ dargestellt, welches Verkehrsteilnehmer vor
einer Baustelle warnt. Wird dieses Verkehrzeichen VZ als Indikator I
erfasst, wird darauf geschlossen, dass sich das Fahrzeug einer Gefahr-
und/oder Baustelle GB nähert.
-
Eine
alternative Ausbildung des Verkehrszeichens VZ zeigt 3B,
wobei das Verkehrszeichen VZ ebenfalls vor einer Baustelle warnt.
-
In 3C ist
eine Kombination aus verschiedenen Verkehrszeichen VZ1 bis VZ5 dargestellt,
welche aus einer Kombination von Warnhinweisschildern (VZ1, VZ4),
einem Fahrtrichtungspfeil (VZ2) und Warnbaken (VZ3, VZ5) gebildet
ist. Auch eine derartige Kombination von Verkehrszeichen VZ1 bis VZ5
stellt einen Indikator I für eine Gefahr- und/oder Baustelle
GB dar.
-
Ein
mittels der Verkehrszeichenerkennungsvorrichtung 1.2 erfasstes
Verkehrszeichen VZ gemäß 3D, welches
eine so genannte Überleitungstafel darstellt, stellt ebenfalls
den Indikator I für eine Gefahr- und/oder Baustelle GB
dar. Zusätzlich umfasst die Überleitungstafel
ein Zusatzzeichen ZZ, welches eine Entfernung bis zum Beginn der
Gefahr- und/oder Baustelle GB, im dargestellten Ausführungsbeispiel
200 m, angibt.
-
Auch
dieses Zusatzzeichen ZZ wird mittels der Verkehrszeichenerkennungsvorrichtung 1.2 erfasst
und erkannt. Somit wird zum einen die Gefahr- und/oder Baustelle
GB schon vor deren Beginn erfasst und zum anderen kann der ”Baustellen-Betriebsmodus” des
Fahrerassistenzsystems 2 anhand des Zusatzzeichens ZZ genau
zum Beginn der Gefahr- und/oder Baustelle GB aktiviert werden.
-
3E zeigt
ein weiteres Ausführungsbeispiel eines erfassten Verkehrszeichens
VZ mit einem Zusatzzeichen ZZ, wobei die Kombination der beiden Zeichen
angibt, dass in einer Entfernung von 2 km eine Baustelle beginnt.
-
In
nicht näher dargestellter Weise können mittels
der Verkehrszeichenerkennungsvorrichtung 1.2 auch auf Leuchttafeln
dargestellte Verkehrszeichen erfasst werden, wobei auch alternierend
oder blinkend dargestellte Verkehrzeichen erfassbar sind.
-
3F zeigt
die Fahrspurbegrenzungen FB4, welche als Verkehrsleitkegel ausgebildet
und mittels der Verkehrszeichenerkennungsvorrichtung 1.2 erfassbar
sind.
-
Zusammenfassend
ist es aufgrund der Möglichkeit der frühzeitigen
Erfassung und Erkennung der Gefahr- und/oder Baustellen GB möglich,
dass das Fahrerassistenzsystem 2 während der gesamten Durchfahrt
durch die Gefahr- und/oder Baustelle GB an die Fahrsituation in
dieser angepasst und somit die Sicherheit für Insassen
des Fahrzeugs und andere Verkehrsteilnehmer erhöht wird.
Auch wird durch diese angepasste Betriebsweise des Fahrerassistenzsystems 2 insbesondere
ein Komfort für die Insassen, vorzugsweise den Fahrer des
Fahrzeugs erhöht.
-
- 1
- Vorrichtung
- 1.1
- Sensor
- 1.2
- Verkehrszeichenerkennungsvorrichtung
- 1.3
- Bildverarbeitungseinheit
- 2
- Fahrerassistenzsystem
- 3
- Navigationsvorrichtung
- B
- Bild
- FB1
bis FB4
- Fahrspurbegrenzung
- FS1
bis FS4
- Fahrspur
- GB
- Gefahr-
und/oder Baustelle
- I
- Indikator
- POS
- Position
- VZ
- Verkehrszeichen
- VZ1
bis VZ5
- Verkehrszeichen
- ZZ
- Zusatzzeichen
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- - DE 102004058037
A1 [0003]
- - DE 102004003848 A1 [0004]
- - DE 102004061822 A1 [0005]
- - US 2008/0137908 A1 [0006]