-
Stand der Technik
-
Die vorliegende Erfindung betrifft ein Verfahren zur Bestimmung der Kollisionszeit eines mit einem Videosystem ausgerüsteten Fahrzeuges nach dem Oberbegriff des beigefügten Anspruchs 1, wie dieses aus dem Dokument
DE 10 2007 049 706 A1 bekannt ist. Die Erfindung betrifft auch ein Fahrzeugführungssystem zur Durchführung des Verfahrens.
-
Bekannt sind videogestützte Systeme, die dem Führer eines Fahrzeuges Informationen über den Abstand zu ortsfesten oder beweglichen Hindernissen liefern.
-
Weiterhin sind videogestützte Systeme bekannt, welche in die Längs- und Querregelung eines Fahrzeugs eingreifen, um durch Abstands- und Spurhaltung einen Sicherheits- und/oder Komfortgewinn zu erzielen.
-
Aus der
DE 10 2007 049 706 A1 ein Verfahren zur Bestimmung der Kollisionszeit eines mit einem Videosystem ausgerüsteten Fahrzeuges anhand einer Auswertung von Videobildern der Fahrzeugumgebung bekannt. Zur Bestimmung des Kollisionszeit des Fahrzeuges mit Objekten aus der Fahrzeugumgebung wird ein Bildverarbeitungsmodul verwendet, das die periodisch von dem Videosystem aufgenommenen digitalen Umgebungsbilder auswertet und in diesen Umgebungsbildern Objekte vordefinierter Objektklassen erkennt. Die vordefinierten Objektklassen können Hindernisse wie Fahrzeuge, Personen, Leitplanken und dergleichen sein. Das Bildverarbeitungsmodul liefert für jedes erkannte Objekt Ortungsdaten wie den Abstand, die laterale Position und die laterale Ausdehnung des Objekts (Z. B. Fahrzeugbreite). Aus den genannten Ortungsdaten wird dann für jedes mittels des Bildverarbeitungsmoduls geortete Objekt eine Kollisionszeit berechnet, die als die Zeit zu verstehen ist, die bei konstanter Geschwindigkeit des Fahrzeuges bis zur Kollision des Fahrzeuges mit dem jeweiligen Objekt vergehen würde.
-
Unter optischem Fluss versteht man ein Vektorfeld, das für jedes Pixel eines digitalen Bildes die zweidimensionale Bewegung des entsprechenden Bildpunktes in einer Bildsequenz angibt. Mit bekannten Verfahren lässt sich aus dem Inhalt des Bildes der optische Fluss bestimmen (z. B. Berthold K. P. Horn und Brian G. Schunck: „Determining Optical Flow", Artificial Intelligence, Band 17, Nr. 1 bis 3, Seiten 185–203, 1981).
-
Zur Bestimmung der Kollisionszeit des Fahrzeuges werden die Kollisionszeiten für die mittels des Bildverarbeitungsmoduls georteten Umgebungsobjekte und weitere Kollisionszeiten für die mittels eines Radarsensors georteten Umgebungsobjekte verwendet.
-
Nachteilig dabei ist, dass bei der Bestimmung der Kollisionszeit des Fahrzeuges die Objekte aus der Fahrzeugumgebung einzeln erkannt und geortet werden. Außerdem wird für jedes mittels des Videosystems erkannte Objekt und für jedes mittels des Radarsystems erkannte Objekt eine eigene Kollisionszeit berechnet. Bei der Berechnung der Kollisionszeiten der mittels des Videosystems erkannten Objekte wird also jedes einzelne Objekt aus dem gesamten Videobild extrahiert und getrennt ausgewertet. All diese verschiedenen Kollisionszeiten werden dann zur Bestimmung der Kollisionszeit des Fahrzeuges verwendet. Dieses Verfahren ist mit hohem Rechenaufwand verbunden. Ein Fahrzeugsystem zur Durchführung dieses Verfahrens muss mit kostenintensiven Ressourcen ausgestattet werden, die die notwendige Rechenleistung in einer geeignet kurzen Zeit aufbringen können. Die Segmentierung der Messwerte pro Objekt reduziert zusätzlich die Zuverlässigkeit der berechneten Kollisionszeiten.
-
Offenbarung der Erfindung
-
Aufgabe der Erfindung ist es, ein Verfahren mit den Merkmalen des Oberbegriffs des Anspruchs 1 bereitzustellen, mit dem die Bestimmung der Kollisionszeit eines mit einem Videosystem ausgerüsteten Fahrzeuges zuverlässig und in einfacher Weise ohne unnötigen Rechenaufwand geschieht.
-
Diese Aufgabe wird durch ein Verfahren zur Bestimmung der Kollisionszeit eines mit einem Videosystem ausgerüsteten Fahrzeuges nach Anspruch 1 gelöst. Ein entsprechendes Fahrzeugführungssystem zur Durchführung dieses Verfahrens bildet den Gegenstand eines Nebenanspruchs.
-
Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.
-
Bei dem erfindungsgemäßen Verfahren wird die Kollisionszeit eines mit einem Videosystem ausgerüsteten Fahrzeuges anhand einer Auswertung von Videobildern der Fahrzeugumgebung bestimmt. Erfindungsgemäß wird ein Kollisionsparameter zur Bestimmung der Kollisionszeit des Fahrzeuges mit irgendeinem Teil der Fahrzeugumgebung berechnet, wobei die Berechnung des Parameters mittels der Integration der Expansionsrate des optischen Flussfeldes der gesamten, vom Videosystem aufgenommenen Fahrzeugumgebung im Videobild erfolgt.
-
Vorteilhafterweise wird als Kollisionsparameter eine Kollisionszeit (Time-To-Collision TTC) verwendet, die als die Zeit zu verstehen ist, die bei unveränderter Geschwindigkeit des Fahrzeuges bis zur Kollision mit irgendeinem (sichtbaren) Teil der Fahrzeugumgebung vergehen würde. Dabei wird die Kollisionszeit als Merkmal der gesamten sichtbaren Fahrzeugumgebung verstanden.
-
Nähert sich ein Fahrzeug einem stationären Hindernis, kann man in einer Kamera in dem bewegten Fahrzeug eine Vergrößerung des Abbildes des Hindernisses z. B. mittels des optischen Flusses feststellen. Aus der Expansionsrate des Flusses, der zum Abbild des Hindernisses gehört, lässt sich unmittelbar die Kollisionszeit des Fahrzeuges mit diesem Hindernis berechnen.
-
Bei der erfindungsgemäßen Bestimmung der Kollisionszeit unmittelbar aus der (verallgemeinerten) Integration der Expansionsrate des optischen Flusses der sichtbaren Fahrzeugumgebung ist eine relativ geringe Rechenleistung notwenig, da die Bestimmung der Kollisionszeit in einer einfacher Weise erfolgt, ohne dass Objekte erkannt und klassifiziert und Flussvektoren diesen Objekten aus der Fahrzeugumgebung zugeordnet werden müssen. Dabei ist es nicht nötig, jedem Punkt des Videobildes eine Distanz zuzuordnen.
-
Außerdem ist für diese Bestimmungsmethode nur eine Auswertung der vom Videosystem (wie z. B. von einer Video-Monokamera) aufgenommenen Bilder der Fahrzeugumgebung notwendig, ohne dass weitere Sensoren zur Erkennung bzw. Ortung der Hindernisse aus der Fahrzeugumgebung notwendig sind.
-
Hindernisse, also Teile der Umgebung, die mit dem Fahrzeug kollidieren könnten, erzeugen größere Expansionsraten als Freiraum. Das Hindernis mit der geringsten Entfernung erzeugt den größten Beitrag und dominiert die Größe des Integrals über die Expansionsraten, bevor es zu einer Kollision kommt.
-
Daraus kann ein Fahrzeugsführungssystem zum Durchführen des erfindungsgemäßen Verfahrens die Kollisionszeit unmittelbar bestimmen. Das erfindungsgemäße Fahrzeugführungssystem kann das Fahrzeug anhand dieser Kollisionszeit automatisch und ohne Objektmodell regeln. Die Regelantwort ist abhängig vom Abstand zu dem Teil der Fahrzeugumgebung, der dem Fahrzeug am nächsten ist. Dabei erfordert das erfindungsgemäße Regelverfahren eine geringe Rechenleistung bzw. eine geringere Rechenleistung als bekannte Verfahren. Es sind Betriebsparameter wie z. B. der minimale Abstand des Fahrzeugs zum Hindernis und die maximale Bremsbeschleunigung leicht und über einen großen Bereich einstellbar.
-
Die Expansionsrate des optischen Flusses der sichtbaren Fahrzeugumgebung lässt sich in einfacher Weise bestimmen. Vorzugsweise wird der Kollisionsparameter, insbesondere die Kollisionszeit unmittelbar aus dem Integral über die Divergenz des optischen Flussfeldes der gesamten sichtbaren Fahrzeugumgebung berechnet.
-
Insbesondere wird bei der erfindungsgemäßen Berechnung des Kollisionsparameters das optische Flussfeld der Fahrzeugumgebung verwendet, aus dem die Flussvektoren des Flussfeldes entfernt werden, das von der bekannten Eigenbewegung des Fahrzeuges über die Fahrbahn erzeugt wird.
-
Um genau bestimmen zu können, welche Flussvektoren zu Hindernissen aus der Umgebung gehören, kann eine Segmentierung des Flussfeldes erzeugt werden. Bei bekannter Eigenbewegung des Fahrzeugs lässt sich ein Flussfeld ermitteln, das von der Bewegung des Fahrzeugs über der Straße (einer Grundebene) erzeugt wird. Alle Flussvektoren, die dem Modell der bewegten Grundebene nicht entsprechen, gehören zu irgendeinem Hindernis aus der Fahrzeugumgebung.
-
Errechnet man den Kollisionsparameter, insbesondere die Kollisionszeit aus dem Fluss aller Hindernisse, so sorgt das Hindernis mit dem geringsten Abstand zum Fahrzeug für einen signifikanten Beitrag zur berechneten Kollisionszeit, der mit zunehmender Annäherung steigt. Damit ist eine weitere Unterscheidung der Hindernisse (sollten mehrere Hindernisse vorhanden sein) nicht unbedingt nötig.
-
Nach Subtraktion der Flussvektoren, die zur Straßenoberfläche gehören, stammen alle Flussvektoren von Bildbereichen, in denen die (Hindernis-)Umgebung abgebildet ist. Für diese Segmentierung ist die Detektierung oder Bestimmung von Objekten nicht nötig.
-
Hier ist unter Fluss aller Hindernisse der Fluss zu verstehen, der aus den Bildbereichen gemessen wird, die keinen Freiraum abbilden. Also ist der Fluss aller Hindernisse auch als ein bild-basiertes Maß zu verstehen, nicht jedoch als Eigenschaft, die Objekten zugeordnet wird.
-
Demgemäß wird die Segmentierung auf dem Flussfeld durchgeführt und ist dadurch gegenüber vielen optischen Effekten deutlich robuster als bekannte Segmentierungen auf Grund des Bildinhaltes.
-
Bei der erfindungsgemäßen Segmentierung sind neben den mittels des Videosystems aufgenommenen Videobildern und der Momentangeschwindigkeit keine weiteren Sensorsignale erforderlich.
-
Bei dem erfindungsgemäßen Verfahren werden kein explizites Umgebungsmodell und keine weitere Sensoren zur Entfernungsbestimmung benötigt.
-
Insbesondere wird erfindungsgemäß ein Fahrzeugführungssystem zur Durchführung des erfindungsgemäßen Verfahrens bereitgestellt, wobei das Fahrzeugführungssystem mindestens ein Videosystem und eine Auswerteeinheit zur Auswertung von Videobildern umfasst. Vorzugsweise umfasst das Videosystem eine Monokularkamera.
-
Vorteilhafterweise umfasst das Fahrzeugführungssystem eine Steuereinheit, die zum Steuern des Fahrverhaltens des Fahrzeugs mittels des Kollisionsparameters, insbesondere der Kollisionszeit, ausgebildet ist.
-
Erfindungsgemäß wird ein Kollisionsparameter, insbesondere eine Kollisionszeit, unmittelbar aus dem optischen Fluss der sichtbaren Fahrzeugumgebung ermittelt, der als Regelgröße in einem System zur Fahrzeugführung eingesetzt werden kann. Der Kollisionsparameter, insbesondere die Kollisionszeit wird erfindungsgemäß aus dem ganzen Flussfeld der Umgebung durch Integration extrahiert, möglicherweise nach Kompensation der bekannten Eigenbewegung des Fahrzeugs.
-
Der erfindungsgemäße Kollisionsparameter, insbesondere die erfindungsgemäße Kollisionszeit ist dadurch nicht objektbezogen, sondern eine integrale Größe der insgesamt beobachteten Umgebung. Dadurch unterscheidet sich das erfindungsgemäße Fahrzeugführungssystem von aus dem Stand der Technik bekannten Fahrzeugführungssystem, bei denen der Berechnung eines Kollisionsparameters eine Objektextraktion vorgeschaltet ist und der Kollisionsparameter insbesondere die Kollisionszeit objektbezogen bestimmt wird. In bekannten Systemen aus dem Stand der Technik wird eine Kollisionszeit aus einem extrahierten Objektmodell bestimmt und häufig auch nicht als Regelgröße eines Systems zum Fahrzeugführung verwendet.
-
Erfindungsgemäß ist die Steuereinheit zum Steuern der Motorkraft und/oder der Bremse des Fahrzeuges mittels des Kollisionsparameters ausgebildet.
-
Vorteilhafterweise kann dann die Geschwindigkeit des Fahrzeugs entlang seiner Längsachse (die Längsgeschwindigkeit) in einfacher Weise durch die Steuerung der Motorkraft und/oder der Bremse des Fahrzeuges mittels der Steuereinheit erfolgen.
-
Vorteilhafterweise wird die Steuereinheit als Einparkhilfe verwendet.
-
Wesentlich bei der Erfindung ist die Implementierung eines Verfahrens zur Bildauswertung, welches unmittelbar die Regelgröße (den Kollisionsparameter wie z. B. die Kollisionszeit) liefert. Diese Regelgröße wird erfindungsgemäß in einfacher und zuverlässiger Weise zur Längsregelung des Fahrzeuges, insbesondere zur automatischen Längsregelung beim Einparken des Fahrzeuges verwendet.
-
Bei einer besonders vorteilhaften Ausführungsform der Erfindung ist die Steuereinheit zum Steuern des Fahrverhaltens des Fahrzeugs, insbesondere seiner Längsgeschwindigkeit, mittels einer konstanten Kollisionszeit ausgebildet.
-
Regelt man die Längsgeschwindigkeit eines beispielsweise einparkenden Fahrzeuges so, dass die Kollisionszeit TTC konstant bleibt, so sinkt mit der Annäherung an das Hindernis die Eigengeschwindigkeit des Fahrzeuges. Zusätzlich lassen sich aus der bekannten Eigengeschwindigkeit und der Kollisionszeit andere Kollisionsparameter wie z. B. die Distanz des Fahrzeugs zum Hindernis leicht ermitteln. Wählt man eine konstante Kollisionszeit, ist die zeitlich abhängige Distanz des Fahrzeugs zum Hindernis zu jeder Zeit als Produkt aus der Kollisionszeit und der Eigengeschwindigkeit des Fahrzeugs zu berechnen.
-
Theoretisch kann die Annäherung des Fahrzeugs an das Hindernis beliebig lange erfolgen, ohne dass es jemals zu einer Kollision mit dem Hindernis kommt. Beendet man die Regelung, sobald die Eigengeschwindigkeit eine feste Schwelle unterschreitet, so hat das Fahrzeug auch einen definierten Abstand zum Hindernis erreicht. Wenn z. B. die konstante Kollisionszeit TTC 1 s und die Endgeschwindigkeit des Fahrzeuges 0,1 m/s sind, dann beträgt die vom Fahrzeug erreichte Enddistanz zum Hindernis 10 cm.
-
Mit dem erfindungsgemäßen Fahrzeugführungssystem wird dem Führer eines Fahrzeuges beim Einparken ermöglicht, sich einerseits vor Kollisionen mit benachbarten Fahrzeugen zu schützen und andererseits den Manövrierraum optimal auszunutzen. Dies erfolgt erfindungsgemäß durch eine automatische Längsregelung (Motorkraft, Bremse) des Fahrzeuges, welche nicht nur den Abstand des Fahrzeuges zu Hindernissen, sondern auch dessen zeitliche Änderung regelt.
-
Zeichnung
-
Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnung im Detail beschrieben. In der Zeichnung ist:
-
1 Ein Fahrzeug mit einem erfindungsgemäßen Fahrzeugführungssystem zu Beginn eines Einparkmanövers, und
-
2 das Fahrzeug mit erfindungsgemäßen Fahrzeugführungssystem aus der 1 zu einem späteren Zeitpunkt des Einparkmanövers.
-
Bevorzugte Ausführungsform der Erfindung
-
In der 1 ist ein Fahrzeug 10 mit einem erfindungsgemäßen Fahrzeugführungssystem (nicht dargestellt) zu Beginn eines Einparkmanövers dargestellt. Dabei ist d0 der Abstand des einparkenden Fahrzeuges 10 zu einem stehenden Hindernis 20, das hier ein stehendes Fahrzeug ist. Der Abstand d0 beträgt 2 m.
-
Die Geschwindigkeit des Fahrzeuges 10 zu Beginn des Einparkmanövers ist mit v0 bezeichnet und beträgt 2 m/s. Die Zeit zu Beginn des Einparkmanövers wird mit t bezeichnet und beträgt 0 s.
-
Die ausgewählte konstante Kollisionszeit TTC beträgt 1 s.
-
In der 2 ist das Fahrzeug 10 mit dem erfindungsgemäßen Fahrzeugführungssystem (nicht dargestellt) aus der 1 zu einem späteren Zeitpunkt t des Einparkmanövers dargestellt. Die Zeit t beträgt hier x s.
-
Das einparkende Fahrzeug 10 hat sich dem anderen Fahrzeug 20 angenähert. Auf Grund der mittels des erfindungsgemäßen Fahrzeugführungssystems durchgeführten Regelung des Fahrzeugs 10 hat sich seine Geschwindigkeit v(t) auf 0,2 m/s verringert. Dabei ist d(t) der Abstand des einparkenden Fahrzeuges 10 zu einem stehenden Hindernis 20, das hier ein stehendes Fahrzeug ist. Der Abstand d(t) beträgt jetzt 0,2 m. Hier beträgt die ausgewählte konstante Kollisionszeit TTC weiterhin 1 s.
-
Die Kollisionszeit TTC ist die Zeit, die bis zur Berührung des Fahrzeuges 10 mit dem Hindernis 20 bei konstanter Geschwindigkeit v0 des einparkenden Fahrzeuges 10 vergehen würde. Die Kollisionszeit TTC ist auch als Abklingkonstante der Geschwindigkeit des Fahrzeuges 10 bei Regelung auf konstante TTC zu verstehen. In diesem Fall gilt immer TTC·v(t) = d(t).
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102007049706 A1 [0001, 0004]
-
Zitierte Nicht-Patentliteratur
-
- Berthold K. P. Horn und Brian G. Schunck: „Determining Optical Flow”, Artificial Intelligence, Band 17, Nr. 1 bis 3, Seiten 185–203, 1981 [0005]
