-
Die Erfindung betrifft ein Verfahren zur automatischen Längsführung eines Kraftfahrzeugs mittels eines längsführenden Fahrerassistenzsystems mit Stop-and-Go-Funktion, bei welchem mittels einer Erfassungseinrichtung des Fahrerassistenzsystems Informationen betreffend ein vorausfahrendes Fahrzeug erfasst werden, bei welchem durch das Fahrerassistenzsystem das Kraftfahrzeug in Abhängigkeit von den mittels der Erfassungseinrichtung erfassten Informationen automatisch in den Stand gebremst und bei Erfassung der erneuten Anfahrt des vorausfahrenden Fahrzeugs gegebenenfalls in Abhängigkeit von einem vom Fahrer über eine Eingabeeinrichtung gebbaren Bestätigungssignal automatisch wieder angefahren wird und bei welchem zumindest ab dem Zeitpunkt des Stillstands des Kraftfahrzeugs kontinuierlich das Fahrzeugvorfeld mittels einer Überwachungseinrichtung, die eine Bildaufnahmeeinrichtung umfasst, welche eine Sequenz von Einzelbildern des Fahrzeugvorfelds liefert, auf etwaige im Fahrzeugvorfeld befindliche Hindernisse überwacht wird.
-
Ein solches Verfahren ist bekannt aus der
EP 2028632 A2 . Dabei werden zur Hinderniserfassung entweder Differenzbilder aus jeweils einem ersten Einzelbild und einem zeitlich danach aufgenommenen zweiten Einzelbild erzeugt und ausgewertet oder es werden zur Hinderniserfassung die Vektoren des optischen Flusses der Bildinformation zumindest eines Teils der Bildpunkte zweier zeitlich nacheinander aufgenommener, sich aus Bildpunkten zusammensetzender Einzelbildern ermittelt und ausgewertet.
-
-
Es ist eine Aufgabe der Erfindung, ein Verfahren der eingangs genannten Gattung hinsichtlich der Absicherung des automatischen Wiederanfahrens verbessert abzusichern.
-
Gelöst wird diese Aufgabe durch ein Verfahren gemäß Anspruch 1. Vorteilhafte Ausführungsformen und Weiterbildungen der Erfindung ergeben sich aus dem abhängigen Anspruch 2.
-
Erfindungsgemäß werden zur Detektion von Hindernissen im Fahrzeugvorfeld aus den Einzelbildern charakteristische Bildmerkmale extrahiert und zeitlich innerhalb der Sequenz von Einzelbildern getrackt und es wird ein im Verlauf der Sequenz erfolgendes Auftreten und/oder Verschwinden eines oder mehrerer charakteristischer Bildmerkmale bestimmt und ausgewertet und/oder es wird eine im Verlauf der Sequenz erfolgende Veränderung einer räumlichen Verteilung eines oder mehrerer charakteristischer Bildmerkmale im jeweiligen Einzelbild oder einem Bildausschnitt desselben bestimmt und ausgewertet.
-
Die Erfindung basiert auf der Überlegung, dass etwaige Hindernisse im Fahrzeugvorfeld mit hoher Wahrscheinlichkeit einzelne charakteristische Bildmerkmale (bzw. die diesen Bildmerkmalen zugrunde liegenden Objektmerkmale) verdecken. Das Auftreten oder der Wegfall einer solchen Verdeckung führt also mit hoher Wahrscheinlichkeit zum Auftreten und/oder Verschwinden eines oder mehrerer, ggf. sogar aller, charakteristischer Bildmerkmale. Ebenso führt das Auftreten oder der Wegfall einer solchen Verdeckung mit hoher Wahrscheinlichkeit zu einer Veränderung der räumlichen Verteilung einzelner oder aller charakteristischer Bildmerkmale im jeweiligen Einzelbild bzw. in einem Bildausschnitt des Einzelbilds.
-
Bezieht sich die Auswertung der räumlichen Verteilung auf einen Bildausschnitt des jeweiligen Einzelbilds, so wird dieser Bildausschnitt vorzugsweise für die Auswertung der gesamten Sequenz gleichbleibend festgelegt. Im einfachsten Fall ist der Bildausschnitt von vornherein festgelegt.
-
Bezieht sich die Auswertung der räumlichen Verteilung auf einen Bildausschnitt des jeweiligen Einzelbilds, so wird dieser Bildausschnitt gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung anhand der räumlichen Verteilung der charakteristischen Bildmerkmale in einem oder mehreren Einzelbildern zu Beginn der Sequenz festgelegt.
-
Die Auswertung der räumlichen Verteilung erfolgt vorzugsweise derart, dass aus der räumlichen Verteilung und gegebenenfalls weiteren Eigenschaften der charakteristischen Bildmerkmale eine so genannte Merkmals-Signatur bestimmt und ausgewertet wird. Vorzugsweise wird nur von signifikanten Veränderungen der räumlichen Verteilung bzw. der Merkmals-Signatur auf das Vorhandensein eines Hindernisses im Fahrzeugvorfeld geschlossen. Die Signifikanz einer Veränderung kann im einfachsten Fall daran bemessen werden ob eines oder mehrere charakteristische Maße für die Veränderung der räumlichen Verteilung bzw. der Merkmals-Signatur eine absolute oder relative Schwelle überschreiten.
-
Als charakteristische Bildmerkmale eignen sich insbesondere Ecken und Kanten in den Einzelbildern.
-
Eine Objekterkennung und/oder Szeneninterpretation ist im Zusammenhang mit der Auswertung des Auftretens und/oder Verschwindens eines oder mehrerer charakteristischer Bildmerkmale bzw. im Zusammenhang mit der Auswertung der Veränderung einer räumlichen Verteilung eines oder mehrerer charakteristischer Bildmerkmale im jeweiligen Einzelbild oder einem Bildausschnitt desselben nicht erforderlich und kann somit entfallen, wodurch Ressourcen, Rechenzeit, Energie und der Aufwand des Verfahrens reduziert werden können.
-
Die Robustheit des Verfahrens kann gesteigert werden, indem zur Detektion von Hindernissen im Fahrzeugvorfeld zusätzlich Differenzbilder aus jeweils einem ersten Einzelbild und einem zeitlich danach aufgenommenen zweiten Einzelbild erzeugt und ausgewertet werden.
-
Die Kombination der Hinderniserkennung auf Basis des Trackings charakteristischer Bildmerkmale mit einem solchen Differenzbildverfahren überrascht insoweit, als das Differenzbildverfahren im Wesentlichen darauf beruht, Bildteile bzw. Bildinformationen der aufgenommenen Einzelbilder auszuwerten, die ein Hindernis betreffen bzw. zeigen, während die Hinderniserkennung auf Basis des Trackings charakteristischer Bildmerkmale im Wesentlichen darauf beruht, Bildteile bzw. Bildinformationen der aufgenommenen Einzelbilder auszuwerten, die gerade keine Hindernisse betreffen bzw. zeigen. In anderen Worten: Ein Differenzbildverfahren dient in der Regel dazu, Hindernisinformation auf direktem Wege zu gewinnen, während Hindernisse beim Tracking charakteristischer Bildmerkale in der Regel eine Störung darstellen und nur indirekt erkannt werden, weil sie das Tracking verfälschen bzw. behindern.
-
Die Robustheit des erfindungsgemäßen Verfahrens kann ferner gesteigert werden, indem zusätzlich Vektoren des optischen Flusses der Bildinformation zumindest eines Teils der Bildpunkte zweier zeitlich nacheinander aufgenommener, sich aus Bildpunkten zusammensetzender Einzelbildern ermittelt und ausgewertet werden.
-
Auch die Kombination der Hinderniserkennung auf Basis des Trackings charakteristischer Bildmerkmale mit einem solchen Verfahren auf Basis des optischen Flusses überrascht insoweit, als das Verfahren auf Basis des optischen Flusses im Wesentlichen darauf beruht, Bildteile bzw. Bildinformationen der aufgenommenen Einzelbilder auszuwerten, die ein Hindernis betreffen bzw. zeigen, während die Hinderniserkennung auf Basis des Trackings charakteristischer Bildmerkmale im Wesentlichen darauf beruht, Bildteile bzw. Bildinformationen der aufgenommenen Einzelbilder auszuwerten, die gerade keine Hindernisse betreffen bzw. zeigen. In anderen Worten: Ein Verfahren auf Basis des optischen Flusses dient in der Regel dazu, Hindernisinformation auf direktem Wege zu gewinnen, während Hindernisse beim Tracking charakteristischer Bildmerkale in der Regel eine Störung darstellen und nur indirekt erkannt werden, weil sie das Tracking verfälschen bzw. behindern.
-
In besonderem Maße kann die Robustheit des erfindungsgemäßen Verfahrens gesteigert werden, indem zur Detektion von Hindernissen im Fahrzeugvorfeld zusätzlich Differenzbilder aus jeweils einem ersten Einzelbild und einem zeitlich danach aufgenommenen zweiten Einzelbild erzeugt und ausgewertet werden und zusätzlich Vektoren des optischen Flusses der Bildinformation zumindest eines Teils der Bildpunkte zweier zeitlich nacheinander aufgenommener, sich aus Bildpunkten zusammensetzender Einzelbildern ermittelt und ausgewertet werden.
-
Wird die Hinderniserkennung auf Basis des Trackings charakteristischer Bildmerkmale mit einem solchen Differenzbildverfahren und/oder einem solchen Verfahren auf Basis des optischen Flusses kombiniert, werden die Einzelergebnisse mehrerer Verfahren vorzugsweise gemeinsam einer Plausibilitätsprüfung unterzogen, um ein Gesamtergebnis zu bestimmen.
-
Die Robustheit und/oder Qualität des erfindungsgemäßen Verfahrens kann weiter gesteigert werden, indem zusätzlich Signale weiterer Bildaufnahmeeinrichtungen und/oder nicht-optischer Sensoren am Fahrzeug, insbesondere ultraschallbasierter Abstandssensoren, gewonnen und ausgewertet werden. Eine Fusion der einzelnen Verfahren kann jeweils auf Signalebene, auf Ergebnisebene oder auf einer dazwischen liegenden Ebene vorgenommen werden.
-
Im Folgenden wird ein bevorzugtes Ausführungsbeispiel der Erfindung beschrieben. Daraus ergeben sich weitere Details, bevorzugte Ausführungsformen und Weiterbildungen der Erfindung.
-
Es wird ausgegangen von einem Kraftfahrzeug, das ausgerüstet ist mit einem so genannten ACC-Stop-and-Go-System.
-
Das Kraftfahrzeug bzw. ACC-Stop-and-Go-System verfügt über ein System zur videobasierten Fahrzeugdetektion, welches für die ACC-Stop-and-Go-Funktionalität genutzt wird. Die videobasierte Fahrzeugdetektion erfolgt auf Basis von Bildern zumindest einer von dem ACC-Stop-and-Go-System umfassten Kamera. Auf Basis von Bildern dieser Kamera ist auch eine Hindernisdetektion im Fahrzeugvorfeld während des Stillstands des Fahrzeugs durchführbar. Man spricht diesbezüglich auch von einer Hindernisdetektion im Anfahrbereich. Zur Hindernisdetektion im Anfahrbereich des Fahrzeugs bilden gängige Verfahren und Algorithmen zur Merkmalsextraktion und Bewegungsdetektion aus Videodaten die Grundlage.
-
Bei den heute im Serieneinsatz befindlichen Fahrerassistenzsystemen mit ACC-S&G-Funktionalität fährt das Fahrzeug in der Regel nur innerhalb einer kurzen Zeitspanne automatisch wieder an. Nach Überschreiten dieser Zeitspanne wird lediglich ein so genannter „Go-Request” an den Fahrer ausgegeben, dem der Fahrer allerdings nicht ohne eigene Rückversicherung, ob ein Anfahren gefahrlos möglich ist, Folge leisten darf. Es wird also ein Bestätigungssignal des Fahrers „eingeholt”. Eine Unterdrückung des „Go-Request” im Falle des Vorhandenseins von Hindernissen im Anfahrbereich findet nicht statt. Die Zeitspanne des automatischen Anfahrens ist aus Sicherheitsgründen entsprechend kurz gewählt.
-
Grundsätzlich gilt für Kraftfahrzeuge mit einem ACC-Stop-and-Go-System: Wurde das Fahrzeug, z. B. an einer Ampel, hinter einem anderen Fahrzeug bis in den Stillstand abgebremst, ist es für ein automatisches Losfahren oder zur Absicherung des Go-Requests vorteilhaft, eine Überwachung dahingehend vorzusehen, ob sich „Hindernisse” (z. B. Fußgänger, Einkaufswagen etc.) zwischen den beiden Fahrzeugen befinden und ein gefahrloses Losfahren möglich ist. Die Überwachung kann auf Bildern einer Kamera mit nachgeschalteter Bildverarbeitung und entsprechender Bildverarbeitungsalgorithmik basieren.
-
Im vorliegenden Beispielsystem wird die Position des Vorderfahrzeuges im Bild detektiert und in Verbindung mit dem eigenen prädizierten Fahrschlauch zur Bestimmung des zu überwachenden kritischen Bereichs herangezogen.
-
Für die Überwachung werden insgesamt drei Mechanismen bzw. Einzelverfahren in geeigneter Weise kombiniert:
- a) Eine Bewegungsanalyse, beispielsweise über Verfahren des Optischen Flusses o. ä., prüft auf Bewegung im zu überwachenden Bereich bzw. auf Bewegung in diesen hinein bzw. hinaus.
- b) Sobald das Eigenfahrzeug zum Stillstand kommt, wird ein Referenzbild des zu überwachenden Bereichs als Template aufgenommen. Dieses Template wird für eine Differenzbildanalyse verwendet, um Veränderungen und somit Hindernisse im Fahrzeugvorfeld zu detektieren. Um Fehldetektionen zu vermeiden, wird eine geeignete Template-Update-Strategie verwendet.
- c) Im zu überwachendem Bildbereich werden zusätzlich robuste Bildmerkmale (wie z. B. Ecken) extrahiert, zeitlich getrackt und deren räumliche Verteilung bestimmt. Eine signifikante Änderung dieser Merkmals-Signatur bzw. des Vorhandenseins dieser Merkmale über der Zeit in räumlich zusammenhängenden Bildbereichen lässt auf Verdeckungen durch etwaige Hindernisse schließen.
-
Durch eine geeignete Kombination der genannten drei Einzelverfahren lassen sich verschiedene Schwachpunkte der Einzelverfahren, wie z. B. Detektion von Objekten bei geringem Bildkontrast, Detektion sich langsam bewegender Objekte, wirksam abmildern bzw. umgehen.
-
Im einfachsten Fall werden die Ergebnisse eines Einzelverfahrens anhand der Ergebnisse zumindest eines anderen Verfahrens auf Plausibilität geprüft.
-
Zusätzlich ergänzen sich die verschiedenen Verfahren insbesondere in der Form, dass mit einer Bewegungsanalyse allein zwar gut Objekte erkannt werden können, die sich zwischen Eigen- und Vorderfahrzeug bewegen, aber schlecht entschieden werden kann, ob wieder alle Objekte den Gefahrenbereich verlassen haben. Wenn zum Beispiel zwei Fußgänger hintereinander in den kritischen Bereich hineinlaufen und einer von beiden abrupt stehen bleibt, während der andere den Bereich verlässt, dann ist dies in der Regel kaum von einem einzelnen Fußgänger, der den Bereich durchquert, zu unterscheiden. Im ersten Fall dürfte das Fahrzeug danach nicht wieder losfahren, im zweiten Fall schon. In Kombination mit den beiden anderen Verfahren ist das stehende Objekt aber sehr wohl detektierbar, so dass ein Wiederanfahren möglich ist, nachdem sich ein Objekt im Gefahrenbereich befunden hat.
-
Zusätzlich ergänzen sich die Differenzbildanalyse und das Merkmalstracking besonders gut in der Form, dass das Merkmalstracking auch noch bzw. schon bei einer leichten Bewegung der Fahrzeuge funktioniert, während die Differnzbildanalyse in Bildbereichen ohne merkmalsgebende Strukturelemente funktioniert. Somit liefert in jeder Situation zumindest eines der beiden Verfahren ein valides Ergebnis.
-
In Kombination mit einer ultraschallbasierten Abstandssensorik, beispielsweise einer von Fahrzeugen der Anmelderin bekannten so genannten PDC-Sensorik, können zusätzlich Bereiche abgedeckt werden, die mit der Kamera nicht eingesehen werden können.
-
Weiterhin lässt sich die Verlässlichkeit bzw. die Zuverlässigkeit des Verfahrens durch einen auf einem anderen physikalischen Messprinzip basierenden Sensor weiter steigern.
-
Das beschriebene Beispielsystem ermöglicht gegenüber heute im Serieneinsatz befindlichen Fahrerassistenzsystemen eine längere Zeitspanne, in der autonom wieder losgefahren werden kann, bzw. verbessert die Absicherung des Go-Requests eines ACC-Stop-and-Go-Systems.
-
Dabei haben kamerabasierte Systeme den Vorteil, weitgehend der Wahrnehmung des Fahrers zu entsprechen bzw. an dieser orientiert ausgeführt zu sein. Sie erzeugen somit für den Fahrer und die umgebenen Personen in der Regel ein erwartungsgemäßes Verhalten.
-
Das beschriebene Beispielsystem bietet ein bedeutsames und weitgehend kostenfrei realisierbares Sicherheits-Addon insbesondere für videobasierte ACC-Systeme, welche erhebliche Kostenvorteile im Vergleich zu radarbasierten ACC-Systemen bieten.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- EP 2028632 A2 [0002]
- WO 2007033870 A1 [0003]