-
Die Erfindung betrifft ein Verfahren zur vorausschauenden, kamerabasierten Parkplatzdetektion nach der im Oberbegriff von Anspruch 1 näher definierten Art, sowie ein Fahrzeug zur Durchführung des Verfahrens.
-
Zur Komfortseigerung einer fahrzeugführenden Person sind sogenannte Parkassistenten bekannt, mit deren Hilfe ein assistiertes oder automatisiertes Einparken eines Fahrzeugs in eine freie Parklücke ermöglicht wird. Damit der Parkassistent das Fahrzeug sicher in die freie Parklücke steuern kann, ist es erforderlich, die Parklücke zu vermessen. Hierzu muss typischerweise eine fahrzeugführende Person mit dem Fahrzeug an der freien Parklücke vollständig vorbeifahren. Fährt das Fahrzeug beispielsweise im hektischen Stadtverkehr, kann es vorkommen, dass die fahrzeugführende Person zum Einfahren in die Parklücke nicht mehr zurücksetzen kann, da bereits ein weiterer Verkehrsteilnehmer dicht zum Fahrzeug aufgeschlossen hat. Zudem ist das Vermessen der freien Parklücke aufgrund der Sensitivität der zum Vermessen verwendeten Sensoren lediglich bis zu einer bestimmten maximalen Geschwindigkeit möglich.
-
Zur Erkennung und Vermessung potenzieller Parklücken werden typischerweise Ultraschallsensoren und Kamerasensoren verwendet. Ultraschallsensoren besitzen dabei den Nachteil, dass sie eine ausreichende Genauigkeit lediglich bis zu einer typischen Reichweite in einer Größenordnung von 5 Metern aufweisen. Ist eine Parklücke weiter als 5 Meter zum Fahrzeug entfernt, ist diese mit Hilfe von Ultraschallsensoren somit nicht ausreichend genau vermessbar. Kamerasysteme hingegen weisen den Nachteil auf, dass teilweise verdeckte Parklücken, beispielsweise durch ein vor einer Parklücke parkendes Fahrzeug, eventuell nicht richtig erkannt werden.
-
Ferner sind aus der
DE 10 2019 204 094 A1 ein Verfahren und ein Fahrerassistenzsystem zur Unterstützung eines Fahrers eines Fahrzeugs bei einem Einparkmanöver bekannt. Mit Hilfe des Fahrerassistenzsystems kann eine freie Parklücke bereits erkannt werden, bevor das Fahrzeug an der freien Parklücke vorbeigefahren ist. Zudem wird ein automatischer Parkvorgang ermöglicht, bei dem mit besonders wenig Zügen in die freie Parklücke eingefahren wird. Zum Erkennen einer freien Parklücke greift das Fahrerassistenzsystem auf Sensordaten zurück, welche mit Hilfe wenigstens einer Kamera, einem Lidar, einem Radar und/oder einem Ultraschallsensor erzeugt werden. Bevorzugt wird dabei eine freie Parklücke auch vermessen. Die Druckschrift nennt jedoch keine Details, wie eine freie Parklücke vorausschauend erkannt werden kann.
-
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein verbessertes Verfahren zur vorausschauenden, kamerabasierten Parkplatzdetektion anzugeben, mit dessen Hilfe eine geeignete Parklücke vor einer Vorbeifahrt an der Parklücke mit einem Fahrzeug besonders zuverlässig detektiert wird.
-
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zur vorausschauenden, kamerabasierten Parkplatzdetektion mit den Merkmalen des Anspruchs 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sowie ein Fahrzeug zur Durchführung des Verfahrens ergeben sich aus den hiervon abhängigen Ansprüchen.
-
Bei einem Verfahren zur vorausschauenden, kamerabasierten Parkplatzdetektion der eingangs genannten Art werden erfindungsgemäß zumindest die folgenden Verfahrensschritte ausgeführt:
- - Aktivieren der Parkplatzdetektion;
- - Erkennen von Hindernismerkmalen in wenigstens einem von wenigstens einer am Fahrzeug angeordneten Kamera erzeugten Kamerabild;
- - Projizieren der Hindernismerkmale in eine zu einem Fahrbahnrand parallele und zur Fahrbahn orthogonale Merkmalebene;
- - Kartografieren der in der Merkmalebne befindlichen Hindernismerkmale zu einer Merkmalkarte durch Strahlenbildung von den Hindernismerkmalen ausgehender und zur Kamera reichender Strahlen;
- - Analyse der Merkmalkarte zur Musterdetektion von einem charakteristischen Abstand zueinander aufweisenden Hindernismerkmalen:
- - Suchen nach Anomalien in detektierten Mustern, wobei das Vorliegen einer Anomalie auf das Vorhandensein einer Parklücke hindeutet; und nach Möglichkeit
- - bei wenigstens einer erkannten Anomalie: Rücktransformation einer Position der Anomalie aus der Merkmalkarte in ein dreidimensionales, eine Umgebung des Fahrzeugs beschreibendes Koordinatensystem.
-
Mit Hilfe des erfindungsgemäßen Verfahrens wird das besonders zuverlässige vorausschauende Detektieren einer zum Einparken mit dem Fahrzeug geeigneten Parklücke ermöglicht. Durch das spezielle Vorgehen ist es möglich, eine freie Parklücke bei einer beliebigen Fahrzeuggeschwindigkeit zu erkennen. Zudem muss das Fahrzeug nicht erst an der freien Parklücke vorbeifahren, um diese zu erkennen. So wird die Gefahr reduziert, dass ein Verkehrsteilnehmer zum Fahrzeug aufgeschlossen hat und somit ein Einparkvorgang in die freie Parklücke durch das Blockieren des Fahrzeugs seitens des Verkehrsteilnehmers nicht mehr möglich ist. Mit Hilfe des erfindungsgemäßen Verfahrens lassen sich Längs-, Quer- und Schrägparklücken erkennen.
-
Hierzu werden Hindernismerkmale von einer freien Parklücke begrenzenden Hindernissen erkannt. Bei einem Hindernismerkmal kann es sich beispielsweise um ein beliebiges charakteristisches Element eines parkenden Fahrzeugs oder von Infrastruktur, beispielsweise eine Hauswand, Mauer, Baum, Pfosten, Laterne oder dergleichen handeln.
-
Häufig verfügen Fahrzeuge heutzutage über wenigstens eine Außenkamera zur Überwachung eines Fahrzeugumfelds. Somit sind zur Durchführung des erfindungsgemäßen Verfahrens keine separaten und teuren Sensoren notwendig. Zur Erkennung der Hindernismerkmale kommen bewährte Bilderkennungsalgorithmen wie beispielsweise eine Hough Circle Transformation zum Einsatz.
-
Die aus dem wenigstens einem Kamerabild und der Merkmalebene generierte Merkmalkarte entspricht dabei einem sogenannten, aus der Signalverarbeitung bekannten Chirp. Da die Hindernisse mit zunehmen Abstand zum Fahrzeug aufgrund der Perspektive näher zusammengerückt erscheinen, liegen auch die Hindernismerkmale weit entfernter Hindernisse näher zusammen. Entsprechend liegen beim Kartografieren der Merkmalkarte den Hindernismerkmalen entsprechende Signale weit entfernter Hindernisse näher zusammen, als den Hindernismerkmalen naher Hindernissen entsprechende Signale.
-
Zur Analyse der Merkmalkarte kann diese verarbeitet werden. Beispielsweise kann die Merkmalkarte, bzw. ein einem Chirp entsprechendes Signal, einer Fast-FourierTransformation (FFT) unterzogen werden.
-
Eine vorteilhafte Weiterbildung des Verfahrens sieht vor, dass nach dem erfolgreichen Detektieren wenigstens einer Parklücke ein Fahrerassistenzsystem zum wenigstens unterstützen Einparken mit dem Fahrzeug in die Parklücke vorkonditioniert wird. Das Einparken in die Parklücke kann also assistiert erfolgen, oder automatisch. Ein assistiertes Einparken sieht vor, dass eine fahrzeugführende Person eine Fahrzeuglängsführung übernimmt, während das Fahrzeug automatisch lenkt, oder die fahrzeugführende Person eine Querführung des Fahrzeugs übernimmt, während das Fahrzeug automatisch beschleunigt oder verzögert.
-
Auch hier erfordert das Fahrerassistenzsystem das Vermessen der Parklücke. Dies erfolgt gemäß aus dem Stand der Technik bekannten Lösungen durch das Auswerten von Sensordaten beispielsweise einer Kamera, eines Ultraschallsensors, eines Radarsensors und/oder eines Lldars. Das Vermessen der Parklücke erfolgt hierbei beim sich annähern des Fahrzeugs an die freie Parklücke. Dabei verfügt das Fahrerassistenzsystem nach Möglichkeit über eine ungefähre Positionsinformation dank der Rücktransformation der in der Merkmalkarte erkannten Anomalie in das dreidimensionale, die Umgebung des Fahrzeugs beschreibende Koordinatensystem.
-
Es besteht die Möglichkeit, dass zwar in der Merkmalkarte eine Anomalie erkannt wird, jedoch eine Position der Anomalie nicht ausreichend genau angegeben werden kann. In diesem Falle kann auch keine Rücktransformation in das dreidimensionale, die Umgebung des Fahrzeugs beschreibende Koordinatensystem erfolgen. Es kann jedoch eine Information über das Erkennen einer freien Parklücke an die fahrzeugführende Person ausgegeben werden, damit diese frühzeitig auf die freie Parklücke hingewiesen wird. So kann die fahrzeugführende Person ausreichend früh mit einem Bremsmanöver beginnen, damit diese nicht an der freien Parklücke vorbeifährt. Nach Möglichkeit erfolgt jedoch eine Rücktransformation in das die Umgebung des Fahrzeugs beschreibende Koordinatensystem.
-
Entsprechend einer weiteren vorteilhaften Ausgestaltung des Verfahrens sieht das Vorkonditionieren des Fahrerassistenzsystems vor, dass wenigstens ein fahrzeugspezifischer Parameter angepasst wird. Hierdurch kann das Fahrzeug vor Erreichen der freien Parklücke so vorbereitet werden, dass ein assistiertes oder automatisches Einfahren in die freie Parklücke vom Fahrerassistenzsystem durchgeführt werden kann. Bevorzugt wird dabei als fahrzeugspezifischer Parameter eine Fahrzeuggeschwindigkeit reduziert und/oder ein Lenkwinkel angepasst. So bremst das Fahrzeug beim Erkennen einer freien Parklücke rechtzeitig ab und richtet sich gegebenenfalls in Richtung der freien Parklücke aus. Durch das Abbremsen wird es den übrigen Fahrzeugsensoren ermöglicht, die freie Parklücke frühzeitig und genau zu vermessen. Dies kann durch einen automatischen Lenkeingriff seitens des Fahrerassistenzsystems noch unterstützt werden.
-
Entsprechend einer weiteren vorteilhaften Ausgestaltung des Verfahrens wird ein Kennzeichen und/oder wenigstens ein Rad eines parkenden Fahrzeugs als Hindernismerkmal erkannt. Typischerweise verfügt ein Fahrzeug über Räder und über ein Kennzeichen, was den Einsatz des erfindungsgemäßen Verfahrens in verschiedenen Verkehrssituationen gewährleistet. Da auch in verschiedenen Ländern Fahrzeuge Räder und Kennzeichen aufweisen, ist auch ein Einsatz des erfindungsgemäßen Verfahrens weltweit möglich. Typischerweise befindet sich ein Kennzeichen an einer Fahrzeugfront oder am Heck eines Fahrzeugs und Räder an der Seite eines Fahrzeugs. So können beispielsweise Längsparklücken durch das Erkennen von Rädern und Querparklücken durch das Erkennen von Kennzeichen erkannt werden. Eine Schrägparklücke kann sowohl durch das Erkennen von Kennzeichen und/oder Rädern erkannt werden.
-
Eine weitere vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens sieht vor, dass wenigstens eine Monokamera zum Erzeugen der Kamerabilder verwendet wird. Monokameras weisen einen vergleichsweise einfachen Aufbau auf und sind somit kostengünstig. Hierdurch kann ein Konstruktionsaufwand des Fahrzeugs zur Durchführung des Verfahrens vereinfacht werden. Dabei ist die Monokamera so am Fahrzeug angebracht, dass diese einen in Fahrtrichtung des Fahrzeugs vorausliegenden Abschnitt wenigstens Bereichsweise einsehen kann. Beispielsweise ist die Monokamera im Bereich einer Windschutzscheibe des Fahrzeugs oder an einem Außenspiegel angebracht.
-
Entsprechend einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens werden durch Anwendung von Structure-From-Motion dreidimensionale Tiefeninformationen durch Analyse wenigstens zweier zeitlich aufeinanderfolgender Kamerabilder generiert. Dies ermöglicht Stereosehen mit Hilfe einer Monokamera. Dabei wird ausgenutzt, dass sich bei einem sich bewegenden Fahrzeug die Monokamera zu zwei unterschiedlichen Zeitpunkten an unterschiedlichen Orten befindet. Das Erzeugen der Kamerabilder wird dabei zeitlich so angepasst, dass die mit der Monokamera erzeugten Kamerabilder Kamerabildern, die mit einer Stereokamera erzeugt wurden, entsprechen. Hierdurch ist dreidimensionales Sehen möglich. So ist auch das Vermessen einer Parklücke mit Hilfe einer Monokamera möglich.
-
Bevorzugt wird die Kamera von einem Fahrzeughersteller vor Auslieferung des Fahrzeugs und/oder von selbst, während einer Nutzungsdauer des Fahrzeugs kalibriert. Kommt es zu einer Dejustage der Kamera während eines Betriebs des Fahrzeugs, so kann mit Hilfe einer Selbstkalibration die Durchführbarkeit des erfindungsgemäßen Verfahrens gewährleistet werden, ohne die Erfordernis, dass eine Kalibration der Kamera in einer Werkstatt erfolgen muss. Hierdurch kann ein Komfort für eine fahrzeugführende Person gesteigert werden.
-
Bei einem Fahrzeug mit wenigstens einer Kamera und einer Recheneinheit sind erfindungsgemäß die Kamera und die Recheneinheit zur Durchführung eines im vorigen beschriebenen Verfahrens eingerichtet. Bei der Kamera kann es sich um eine Mono- oder Stereokamera handeln. Das Fahrzeug kann eine oder auch mehrere solcher Kameras aufweisen. Insbesondere durch das Vorsehen mehrerer Kameras kann ein besonders breites Fahrzeugumfeld erfasst werden. Bei der Recheneinheit handelt es beispielsweise um einen zentralen Bordcomputer, um ein Steuergerät eines Fahrzeuguntersystems oder dergleichen. Das Fahrzeug kann von einem Pkw, Lkw, Transporter, Bus oder dergleichen ausgebildet sein.
-
Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens zur vorausschauenden, kamerabasierten Parkplatzdetektion ergeben sich auch aus den Ausführungsbeispielen, welche nachfolgend unter Bezugnahme auf die Figuren näher beschrieben werden.
-
Dabei zeigen:
- 1 eine schematische Darstellung einzelner Verfahrensschritte eines erfindungsgemäßen Verfahrens zum Detektieren einer freien Parklücke; und
- 2 ein Ablaufdiagramm des erfindungsgemäßen Verfahrens.
-
1 a) zeigt ein mit einer in 1 b) gezeigten Kamera 4 eines Fahrzeugs 1 erzeugtes Kamerabild 5. Das Kamerabild 5 zeigt eine typische Verkehrssituation im Stadtverkehr. So fährt das Fahrzeug 1 auf einer Fahrbahn 7 an parkenden Fahrzeugen 13 vorbei. Die parkenden Fahrzeuge 13 parken hinter einem Fahrbahnrand 6 auf geeigneten Parkflächen. Zwischen den parkenden Fahrzeugen 13 befindet sich eine zum Einparken mit dem Fahrzeug 1 geeignete Parklücke 2.
-
Mit Hilfe eines erfindungsgemäßen Verfahrens ist es möglich, die freie Parklücke 2 vor einem Vorbeifahren an der freien Parklücke 2 mit dem Fahrzeug 1 zu erkennen. Hierdurch wird eine fahrzeugführende Person des Fahrzeugs 1 frühzeitig und komfortabel auf die freie Parklücke 2 hingewiesen und dazu in die Lage versetzt komfortabel in die freie Parklücke 2 einzuparken.
-
In einem ersten Verfahrensschritt werden Hindernismerkmale 3, hier in Form von Rädern der parkenden Fahrzeuge 13, im Kamerabild 5 erkannt.
-
1b) verdeutlicht einen sich hieran anschließenden Verfahrensschritt. So ist es unwahrscheinlich, dass alle im Kamerabild 5 erkannten parkenden Fahrzeuge 13 in einer Ebene parken. So werden die Hindernismerkmale 3 durch das Erzeugen von den Hindernismerkmalen 3 ausgehenden Strahlen 10 in Richtung der Kamera 4 in eine gemeinsame Merkmalebene 8 projiziert. Die Merkmalebene 8 befindet sich vom Fahrzeug 1 aus gesehen im oder hinter dem Fahrbahnrand 6, und ist in 1b) aus Gründen der Darstellbarkeit hinter den parkenden Fahrzeugen 13 gezeigt. Die Merkmalebene 8 ist parallel zum Fahrbahnrand 6 ausgerichtet und steht orthogonal auf der Fahrbahn 7. Ferner lässt sich aus 1b) erkennen, dass das Fahrzeug 1 eine Recheneinheit 14 zum Auswerten von der Kamera 4 erzeugter Kamerabilder 5 umfasst. Analog lassen sich mit der Recheneinheit 14 oder auch einer weiteren, nicht dargestellten Recheneinheit Steuerungsbefehle im Rahmen einer Fahrerassistenz zum Steuern des Fahrzeugs 1 generieren.
-
1c) zeigt eine Draufsicht auf die Merkmalebene 8. Durch das Projizieren der Hindernismerkmale 3 in die Merkmalebene 8 wird eine Merkmalkarte 9 erzeugt. Diese umfasst entsprechende Muster 12, die jeweils einen charakteristischen Abstand Δx zueinander aufweisen. Durch eine geeignete Analyse, beispielsweise eine Fast FourierTransformation der in der Merkmalkarte 9 gezeigten Muster 12, wird eine transformierte Darstellung 15 der Merkmalkarte 9 generiert. Diese umfasst den Mustern 12 entsprechende Signalpunkte 16.
-
1c) zeigt im oberen Bereich den Fall, dass in einer Reihe parkender Fahrzeuge 13 keine freie Parklücke 2 vorliegt. Im unteren Bereich von 1c) befindet sich hingegen eine freie Parklücke 2, was durch das Auftreten einer Anomalie 11 erkannt werden kann. Dabei entspricht eine solche Anomalie 11 einer Abweichung im Auftreten der charakteristischen Abstände Δx der in der Merkmalkarte 9 vorhandenen Muster 12. Dies wird durch Betrachtung der transformierten Darstellung 15 besonders deutlich ersichtlich, indem einer der Signalpunkte 16 fehlt.
-
1d) zeigt eine Rücktransformation der gefundenen Anomalie 11 aus der Merkmalkarte 9 in ein dreidimensionales, ein Umfeld des Fahrzeugs 1 beschreibendes Koordinatensystem. Dabei wird in der Umgebung des Fahrzeugs 1 eine Parklückenposition 17, deren Relativabstand zum Fahrzeug 1 näherungsweise bekannt ist, abgeschätzt.
-
In 1e) ist die abgeschätzte Parklückenposition 17 noch einmal in das in 1a) gezeigte Kamerabild 5 eingezeichnet. Liegt eine Information über das Vorliegen einer freien Parklücke 2 und gegebenenfalls auch die abgeschätzte Parklückenposition 17 vor, so wird im Rahmen einer Fahrerassistenz ein fahrzeugspezifischer Parameter verändert. So kann das Fahrzeug 1 seine Geschwindigkeit reduzieren und/oder einen Lenkwinkel verändern, um schneller und/oder einfacher in die freie Parklücke 2 einzuparken.
-
2 zeigt ein Ablaufdiagramm des erfindungsgemäßen Verfahrens. Im Verfahrensschritt 200 wird die Kamera 4 des Fahrzeugs 1 kalibriert. Dies kann ab Werk vor Auslieferung des Fahrzeugs 1 von einem Fahrzeughersteller durchgeführt werden. Im Verfahrensschritt 201 wird die Parkplatzsuche aktiviert. Im Verfahrensschritt 202 werden in von der Kamera 4 erzeugten Kamerabildern 5 Hindernismerkmale 3 detektiert. Das Aktivieren der Parkplatzsuchfunktion kann von einer fahrzeugführenden Person manuell durchgeführt werden oder auch automatisch erfolgen, beispielsweise weil sich das Fahrzeug 1 in einer bestimmten Region, beispielsweise einer Stadt, aufhält und beispielsweise eine kritische Fahrzeuggeschwindigkeit unterschritten hat.
-
Dabei ist es auch möglich, dass erneut der Verfahrensschritt 200 zum Kalibrieren der Kamera 4 während eines Betriebs des Fahrzeugs 1 erfolgt.
-
Im Verfahrensschritt 203 werden in wenigstens einem Kamerabild 5 vorliegende Hindernismerkmale 3 in eine Merkmalebene 8 projiziert. Im Verfahrensschritt 204 werden die in die Merkmalebene 8 projizierten Hindernismerkmale 3 kartografiert. Hieraus wird eine Merkmalkarte 9 erstellt. Im sich daran anschließenden Verfahrensschritt 205 werden dann Muster in der Merkmalkarte 9 detektiert.
-
Liegt eine Anomalie 11 in der Merkmalkarte 9 vor, so wird diese im Verfahrensschritt 206 aufgefunden. Das Vorliegen einer solchen Anomalie 11 deutet auf eine freie Parklücke 2 hin. Dann kann eine Information über das Vorliegen einer freien Parklücke 2 bereits zur Ausgabe einer Warnung an die fahrzeugführende Person des Fahrzeugs 1 dienen. Eine solche Warnung kann beispielsweise optischer, akustischer und/oder haptischer Natur sein. Beispielsweise kann eine Hinweisnachricht auf einer Anzeige des Fahrzeugs 1 eingeblendet werden. Auch kann ein Hinweiston ausgegeben werden und/oder beispielsweise das Lenkrad des Fahrzeugs 1 vibrieren. Hierdurch wird die fahrzeugführende Person frühzeitig auf die freie Parklücke 2 hingewiesen, wodurch zuverlässig verhindert werden kann, dass die fahrzeugführende Person das Fahrzeug 1 an der freien Parklücke 2 vorbeisteuert.
-
Auch lässt sich alleinig über die Information über das Vorhandensein einer freien Parklücke 2 bereits ein Fahrerassistenzsystem zum wenigstens unterstützten Einparken in die freie Parklücke 2 im Verfahrensschritt 208 vorkonditionieren.
-
Lassen es die Randbedingungen zu, so kann im Verfahrensschritt 207 ein Rücktransformieren einer Position der Anomalie 11 aus der Merkmalkarte 9 in ein die Umgebung des Fahrzeugs 1 beschreibendes, dreidimensionales Koordinatensystem erfolgen. Somit kann eine Parklückenposition 17 der freien Parklücke 2 relativ zum Fahrzeug 1 abgeschätzt werden. Hierdurch kann beispielsweise eine kontaktanaloge Darstellung einer auf die freien Parklücke 2 hinweisenden Information, beispielsweise auf einem Headup-Display erfolgen.
-
Es ist auch möglich, dass das Fahrerassistenzsystem erst dann vorkonditioniert wird, wenn im Verfahrensschritt 207 die Parklückenposition 17 abgeschätzt wurde. Mit anderen Worten schließt sich dann der Verfahrensschritt 208 an den Verfahrensschritt 207 an.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102019204094 A1 [0004]
