DE102009006336A1

DE102009006336A1 - Verfahren zur Überwachung eine Einparkvorgangs

Info

Publication number: DE102009006336A1
Application number: DE102009006336A
Authority: DE
Inventors: Richard Dr. Auer; Stefan Dr. Brosig; Daniel Mossau; Dennis Rosebrock; Jens Spehr
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2008-03-28
Filing date: 2009-01-27
Publication date: 2009-10-01
Anticipated expiration: 2029-01-28
Also published as: DE102009009815B4; DE102009006336B4; DE102009005553A1; DE102009005566A1; ATE483951T1; DE102009005505A1; DE102008060684B4; DE102008062708A1; DE102009006331A1; DE102009010006B4; DE102009005566B4; DE102009006335A1; WO2009118098A1; DE102009005554A1; DE102009005553B4; DE102009010006A1; DE102008060684A1; DE102009006335B4; DE102009006331B4; EP2263060A1

Abstract

Bei einem Verfahren zur Überwachung eines automatischen Einparkvorgangs eines Kraftfahrzeugs, wobei vor dem Einparkvorgang während der Vorbeifahrt des Kraftfahrzeugs an einer Parklücke diese mittels eines kamerabasierten Verfahrens vermessen wird und Hindernisse in der Umgebung der Parklücke bestimmt werden, wird während des automatischen Einparkvorgangs mittels des kamerabasierten Verfahrens die Umgebung des Kraftfahrzeugs weiterhin vermessen, werden bei der Vermessung während des Einparkvorgangs neu detektierte Hindernisse mit den vorher detektierten Hindernissen verglichen, und wird ein Warnsignal generiert, wenn eine Diskrepanz zwischen den neu detektierten und vorher detektierten Hindernissen auftritt.

Description

Die Erfindung betrifft ein Verfahren zur Überwachung eines automatischen Einparkvorgangs eines Kraftfahrzeugs gemäß dem Oberbegriff des Anspruchs 1 sowie eine entsprechende Vorrichtung gemäß dem Oberbegriff des Anspruchs 7.
Moderne Kraftfahrzeuge werden immer größer und unübersichtlicher, wohingegen Parkplätze dem Anschein nach immer kleiner werden. Aufgrund der heutigen Verkehrsdichte führte dies zu Problemen beim Einparken, insbesondere beim Einparken in einer komplexen Parkplatzsituation, beispielsweise einem engen Parkhaus oder Parkgarage.
Um den Fahrer eines Kraftfahrzeugs beim Einparken zu entlasten, sind Einparksysteme in der Entwicklung, die dem Fahrer ein unterstütztes oder sogar automatisches Einparken anbieten.
Ein bereits in Serie befindliches Einparksystem, welches den Fahrer beim Einparken unterstützt, ist das System Park-Assist der Volkswagen AG, welches auf Anforderung des Fahrers mittels einer Ultraschallsensorik bei der Vorbeifahrt an einem Parkplatz diesen ausmisst, und, falls die ausgemessene Parklücke ausreichend groß ist, den Fahrer zu einer geeignete Ausgangsposition für die Einfahrt in die Parklücke dirigiert. Ist eine geeignete Ausgangsposition erreicht, so legt der Fahrer den Rückwärtsgang ein und gibt vorsichtig Gas. Das Einlenken wird von dem Parkassistenten vorgenommen und geschieht automatisch, wobei der Parkassistent der Vorgang sicherheitshalber abbricht, sobald der Fahrer das Lenkrad berührt oder schneller als eine vorgegebene Geschwindigkeit, beispielsweise 7 km/h, fährt. Allerdings wird davon ausgegangen, dass der Fahrer den Einparkvorgang visuell überwacht und per Bremse eingreift, falls ein neues Hindernis in dem avisierten Parkplatz auftaucht.
Allerdings kann der Park-Assist richtig enge Parklücken nicht ansteuern, sondern er benötigt aufgrund seines einzügigen Einparkens eine Mindest-Parklückenlänge.
Weiterhin sind vollautomatische Parkassistenten in der Entwicklung, die auf einem sich auf Motion-Stereo stützenden videobasierten Verfahren zur Parklückenvermessung basieren. Ein derartiger Parkassistent ist in der Druckschrift E. Wahl: "Realisierung eines Parkassistenten, basierend auf Motion-Stereo", 16. Aachener Kolloquium Fahrzeug- und Motorentechnik 2007, S. 871–880, beschrieben. Dabei werden während der Fahrt des Kraftfahrzeugs mittels eines Kamerasystems räumlich versetzte Bilder der Umgebung des Kraftfahrzeugs ermittelt, wobei aus der Folge der Bilder räumliche Strukturen bestimmt werden können. Eine Beschreibung der Ermittlung von Strukturen aus der Bewegung des Kraftfahrzeugs mittels Kamerabilder ist beispielsweise in dem Artikel P. A. Beardsley et al.: "Sequential Updating of Projective And Affine Structure from Motion", International Journal of Computer Vision 23(3), 235–259 (1997), beschrieben. Dabei können je nach vorgegebenen Randbedingungen projektive, affine und/oder euklidsche Strukturen bestimmt werden.
Nachteilig bei den in der Entwicklung befindlichen automatischen Einparksystemen unter Verwendung von Motion-Stereo ist die Annahme, dass sämtliche detektierten Hindernisse statisch sind. Mit anderen Worten, ändert sich die Umgebungssituation auf der Vorbeifahrt, beispielsweise weil ein detektiertes Hindernis nicht statisch ist, oder weil neue Hindernisse dazukommen, so wird dies in der Planung des Einparkvorgangs nicht berücksichtigt, obwohl es bei Auftreten solcher dynamischer Hindernisse leicht zu Kollisionen bzw. Unfällen kommen kann.
Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zur Überwachung eines automatischen Einparkvorgangs zu schaffen, bei dem dynamische Hindernisse berücksichtigt werden.
Diese Aufgabe wird durch ein Verfahren zur Überwachung eines automatischen Einparkvorgangs eines Kraftfahrzeugs mit den Merkmalen des Anspruchs 1 sowie durch eine entsprechende Vorrichtung mit den Merkmalen des Anspruchs 7 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
Bei dem erfindungsgemäßen Verfahren zur Überwachung eines automatischen Einparkvorgangs eines Kraftfahrzeugs, wobei vor dem eigentlichen Einparkvorgang während der Vorbeifahrt des Kraftfahrzeugs an einer Parklücke diese mittels eines kamerabasierten Verfahrens vermessen wird und Hindernisse in der Umgebung der Parklücke bestimmt werden, wird während des automatischen Einparkvorgangs mittels des kamerabasierten Verfahrens die Umgebung des Kraftfahrzeugs weiterhin vermessen. Die während des Einparkvorgangs neu detektierte Hindernisse werden mit den beim Ausmessen der Parklücke detektierten Hindernisse verglichen und es wird ein Warnsignal generiert, wenn eine Diskrepanz zwischen den neu detektierten und den vorher delektierten Hindernissen auftritt. Kommt es daher beim Vergleich zwischen beim Ausmessen detektierten Hindernissen und den während des Einparkvorgangs fortlaufend detektierten Hindernisse zu einer Unstimmigkeit, so deutet dies auf ein neues oder fehlendes, auf jeden Fall aber auf ein dynamisches Hindernis hin.
Insbesondere kann der durch das automatische Einparkverfahren beabsichtigte Fahrschlauch des Kraftfahrzeugs während des automatischen Einparkvorgangs überwacht werden.
Vorzugsweise bestimmt das kamerabasierte Verfahren aus den aufgenommenen Bildern während der Bewegung des Fahrzeugs durch ein Motion-Stereo-Verfahren die Parklücke und die in der Umgebung der Parklücke angeordneten Hindernisse.
Weiter bevorzugt werden die Ergebnisse der Vermessungen der Parklücke und die ermittelten Objekte während des Einparkvorgangs in einer Umfeldkarte der Parklücke gespeichert, so dass ein reales Bild der Umgebung der Parklücke entsteht, wobei die in der Parklücke angeordneten dynamischen Hindernisse gegebenenfalls angezeigt werden. Die Umfeldkarte kann dabei fahrbahnfest oder fahrzeugfest sein. Die fahrzeugfeste Umfeldkarte eignet sich insbesondere zur Darstellung des Umfeldes des Kraftfahrzeugs für den Fahrer, da dies seiner eigenen Realität entspricht, d. h. der Fahrer ist relativ zum Fahrzeug in Ruhe und für den Fahrer ändert sich die Umgebung mit der Bewegung des Fahrzeugs.
Falls ein Warnsignal generiert wurde, d. h., falls der Vergleich eine Diskrepanz ergab, so wird eine Warnung an den Fahrer erzeugt. Eine derartige Warnung kann eine akustische, eine optische oder eine haptische Warnung sein, wobei Kombinationen der genannten Warnmöglichkeiten zulässig sind.
Insbesondere kann im Fall der Generierung des Warnsignals ein aktiver Eingriff in die Fahrzeugführung eingeleitet werden. Ein derartiger aktiver Eingriff kann eine Notbremsung des Fahrzeugs und/oder ein aktiver Lenkeingriff sein.
Die erfindungsgemäße Vorrichtung zur Durchführung des im Vorangegangenen erläuterten Verfahrens umfasst mindestens ein Kamerasystem zur Erzeugung von Bildern der Umgebung des Kraftfahrzeugs, eine Einrichtung zur Ausmessung von Parklücken und Bestimmung von Objekten in der Umgebung des sich in Fahrt befindlichen Kraftfahrzeugs durch ein Motion-Stereo-Verfahren aus den Bildern des Kamerasystems, eine Einrichtung zum Vergleichen der während des Einparkvorgangs aufgefundenen Hindernissen mit denen zuvor beim Ausmessen des Parkplatzes detektierten Hindernissen und eine Einrichtung zum Generieren eines Warnsignals, wenn der Vergleich ergibt, dass zwischen den Hindernissen keine Übereinstimmung vorliegt.
Insbesondere weist die erfindungsgemäße Vorrichtung eine Einrichtung zur Erzeugung einer geeigneten Warnung an den Fahrer auf, wenn ein Warnsignal generiert wurde.
Vorzugsweise verfügt das Fahrzeug über eine Einrichtung zur Durchführung eines aktiven Eingriffs in das Fahrgeschehen, falls ein Warnsignal generiert wurde. Eine derartige Einrichtung kann eine Notbremseinrichtung sein, die von dem generierten Warnsignal angesteuert werden kann, wodurch das Fahrzeug während des automatischen Einparkvorgangs kurzfristig zum Stillstand kommt, um eine Kollision, beispielsweise mit einem dynamischen Hindernis wie einem Fußgänger, zu vermeiden. Ein weiteres Beispiel wäre eine Einrichtung zur Durchführung eines Lenkeingriffs.
Weiter bevorzugt weist die erfindungsgemäße Einrichtung eine Klassifizierungseinrichtung auf, in der klassifiziert wird, ob das während des Einparkvorgangs detektierte Hindernis relevant ist, also sich beispielsweise innerhalb des voraussichtlichen Fahrtschlauchs des Kraftfahrzeugs befindet. Sollte das Hindernis nicht relevant sein, sich also beispielsweise nicht im projektierten Fahrschlauch befinden, so wird kein Warnsignal generiert.
Eine bevorzugte Ausführungsform der Erfindung wird nachfolgend anhand der einzigen Figur erläutert, die ein Blockdiagramm der erfindungsgemäßen Vorrichtung zeigt.
Die in der Figur schematisch dargestellte erfindungsgemäße Vorrichtung weist ein Kamerasystem 1 auf, mittels dem Bilder der Umgebung eines nicht dargestellten Kraftfahrzeugs aufgenommen werden, vorzugsweise Bilder der Umgebung einer möglichen Parklücke. Die von dem Kamerasystem 1 ermittelten Messdaten werden einer Berechnungseinrichtung 2 zugeführt, die mittels eines Motion-Stereo-Verfahrens Objekte und Strukturen in der Umgebung des Kraftfahrzeugs ermittelt. Das hier verwendete Motion-Stereo-Verfahren basiert darauf, dass aufgrund der Bewegung des Kraftfahrzeugs die aufgenommenen Bilder die Umgebung unter verschiedenen Winkeln wiedergeben, wodurch mittels Triangulationsverfahren Objekte und Strukturen bestimmt und vermessen werden können. Dabei kann das kamerabasierte Motion-Stereo-Verfahren durch Daten einer nicht dargestellten Ultraschallsensorik unterstützt werden. Die von der Berechnungseinrichtung 2 ermittelten Messwerte bzw. Strukturen der Umgebung des Kraftfahrzeugs werden in eine Speichereinrichtung 3 abgespeichert, wobei die Speichereinrichtung 3 eine Umfeldkarte der Umgebung des Kraftfahrzeugs, d. h., der Umgebung des avisierten Parkplatzes, erzeugen kann. Bei einem automatischen Einparkvorgang wird daher vor dem eigentlichen Einparkvorgang mit dem Kamerasystem 1, der Berechnungseinrichtung 2 und der Speichereinrichtung 3 der Parkplatz vermessen und Strukturen im Umfeld des Parkplatzes bestimmt. Ferner wird davon ausgehend eine Einparkstrategie zum automatischen Einparken festgelegt.
Während des automatischen Einparkvorgangs werden mit den obigen Komponenten weiterhin die Umgebung des Fahrzeuges vermessen und Objekte im Umfeld des Fahrzeugs und damit im Umfeld des Parkplatzes bestimmt. Diese neu bestimmten Objekte werden ebenfalls in der Speichereinrichtung 3 abgelegt. Daher ist in der Speichereinrichtung 3 eine Umfeldkarte des Parkplatzes abgelegt, welche die Objekte und Strukturen während des Ausmessens des Parkplatzes und gegebenenfalls neu während des Einparkvorgangs detektierte Objekte und Strukturen enthält.
Mit einer Vergleichereinrichtung 4 werden nun die beim Ausmessen des Parkplatzes detektierten Hindernisse mit den während des Einparkvorgangs detektierten Hindernisse verglichen. Falls keine Diskrepanz vorhanden ist, der Vergleich also Übereinstimmung feststellt, wird kein Warnsignal generiert. Fällt der Vergleich jedoch negativ aus, mit anderen Worten, es gibt mindestens ein Hindernis, das neu ist oder nicht mehr detektiert werden kann, so wird ein Warnsignal in der Einrichtung 5 generiert. Dabei kann die Generierung des Warnsignals von einer ebenfalls im Vergleicher 4 oder einem nachfolgend angeordneten, nicht dargestellten Klassifikator abhängen, der klassifiziert, ob die während des Einparkvorgangs neu detektierten Hindernisses relevant sind, d. h. ob die neu detektierten Hindernisse für den Einparkvorgang überhaupt wesentlich sind. Liegen daher beispielsweise die neu detektierten Hindernisse so weit von dem projektierten Fahrschlauch des Einparkvorgangs weg, dass sie für den Einparkvorgang nicht relevant sind, so braucht kein Warnsignal generiert werden.
Ferner kann nachfolgend der Einrichtung zur Erzeugung eines Warnsignals eine nicht dargestellte Einrichtung zur Durchführung eines aktiven Eingriffs in das Fahrgeschehen angeordnet sein, mit der beispielsweise eine Notbremsung und/oder ein aktiver Lenkeingriff ausgelöst wird.

1: Kamerasystem
2: Berechnungseinrichtung
3: Speichereinrichtung
4: Vergleichereinrichtung
5: Einrichtung zur Generierung eines Warnsignals

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

- E. Wahl: ”Realisierung eines Parkassistenten, basierend auf Motion-Stereo”, 16. Aachener Kolloquium Fahrzeug- und Motorentechnik 2007, S. 871–880 [0006]
- P. A. Beardsley et al.: ”Sequential Updating of Projective And Affine Structure from Motion”, International Journal of Computer Vision 23(3), 235–259 (1997) [0006]

Claims

Verfahren zur Überwachung eines unterstützten oder automatischen Einparkvorganges eines Kraftfahrzeugs, wobei vor dem Einparkvorgang während der Vorbeifahrt des Kraftfahrzeugs an einer Parklücke diese mittels eines kamerabasierten Verfahrens vermessen wird und Hindernisse in der Umgebung der Parklücke bestimmt werden, dadurch gekennzeichnet, dass während des automatischen Einparkvorgangs mittels des kamerabasierten Verfahrens die Umgebung des Kraftfahrzeugs weiterhin vermessen wird, bei der Vermessung während des Einparkvorgangs neu detektierte Hindernisse mit den vor dem Einparkvorgang detektierten Hindernissen verglichen werden, und ein Warnsignal generiert wird, wenn eine Diskrepanz zwischen den neu detektierten und zuvor detektierten Hindernissen auftritt.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der projektierte Fahrschlauch des automatischen Einparkvorgangs während des Einparkvorgangs vermessen wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das kamerabasierte Verfahren aus den aufgenommenen Bildern durch ein Motion-Stereo-Verfahren die Parklücke vermisst und Hindernisse bestimmt.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Ergebnisse der Vermessungen in einer Umfeldkarte der Parklücke gespeichert werden.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass im Fall der Generierung des Warnsignals eine Warnung an den Fahrer erzeugt wird.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass im Fall der Generierung des Warnsignals eine Notbremsung eingeleitet wird.
Vorrichtung zur Durchführung des Verfahrens nach einem der vorangegangenen Ansprüche mit mindestens einem Kamerasystem (1) zur Erzeugung von Bildern der Umgebung des Kraftfahrzeugs, einer Einrichtung (2) zur Ausmessung von Parklücken und Bestimmung von Objekten in der Umgebung des Kraftfahrzeugs durch ein Motion-Stereo-Verfahren aus den Bildern des Kamerasystems, gekennzeichnet durch eine Einrichtung (4) zum Vergleichen der während des Einparkvorgangs aufgefundenen Hindernisse mit den zuvor beim Ausmessen des Parkplatzes detektierten Hindernissen, und einer Einrichtung (5) zum Generieren eines Warnsignals, wenn der Vergleich ergibt, dass keine Übereinstimmung vorliegt.
Vorrichtung nach Anspruch 7, dadurch gekennzeichnet, dass die Vorrichtung eine Einrichtung zur Erzeugung einer Warnung an den Fahrer aus dem Warnsignal aufweist.
Vorrichtung nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass die Vorrichtung eine Speichereinheit (3) zur Generierung und Speicherung einer Umfeldkarte des Parkplatzes aufweist.
Vorrichtung nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, dass die Vorrichtung eine Einrichtung zur Durchführung eines aktiven Eingriffs in das Fahrgeschehen aufweist, falls ein Warnsignal generiert wurde.