DE102017130488A1

DE102017130488A1 - Verfahren zur Klassifizierung von Parklücken in einem Umgebungsbereich eines Fahrzeugs mit einem neuronalen Netzwerk

Info

Publication number: DE102017130488A1
Application number: DE102017130488.6A
Authority: DE
Inventors: Malte Joos; Mathieu Bulliot; Mahmoud Shalaby; Jean-Francois Bariant; Ayman Mahmoud
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2017-12-19
Filing date: 2017-12-19
Publication date: 2019-06-19
Also published as: WO2019121035A1; US20210216797A1; US11455808B2

Abstract

Die Erfindung betrifft ein Verfahren zur Klassifizierung von Parklücken in einem Umgebungsbereich eines Fahrzeugs mit einem Fahrunterstützungssystem zur Verfügung, wobei das Fahrzeug wenigstens einen ersten Umgebungssensor und einen zweiten Umgebungssensor aufweist, umfassend die Schritte Empfangen von ersten Sensordaten mit dem Fahrunterstützungssystem von dem wenigstens einen ersten Umgebungssensor aus dem Umgebungsbereich, Erkennen eines parklückenartigen Teilbereichs des Umgebungsbereichs in den ersten Sensordaten, Anfordern von durch den wenigstens einen zweiten Umgebungssensor aus dem parklückenartigen Teilbereich erfassten zweiten Sensordaten von dem Fahrunterstützungssystem, sobald der parklückenartige Teilbereich in den ersten Sensordaten erkannt wird; Übermitteln der angeforderten zweiten Sensordaten an eine fahrzeugseitige Rechnereinheit umfassend ein Deep Neuronal Network (DNN), und Klassifizieren des parklückenartigen Teilbereiches in Kategorien mit dem DNN, wobei die Kategorien gültige, beparkbare Parklücken und ungültige, nicht beparkbare Parklücken umfassen. Die Erfindung betrifft außerdem ein Fahrunterstützungssystem, insbesondere Parkassistenzsystem, für ein Fahrzeug zum Erfassen von Parklücken. Die Erfindung betrifft weiterhin ein Fahrzeug mit einem Fahrunterstützungssystem.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Klassifizierung von Parklücken in einem Umgebungsbereich eines Fahrzeugs, wobei durch wenigstens einen ersten fahrzeugseitigen Umgebungssensor aus dem Umgebungsbereich erfasste erste Sensordaten von einem fahrzeugseitigen Fahrunterstützungssystem empfangen werden und ein parklückenartiger Teilbereich des Umgebungsbereiches in den ersten Sensordaten erkannt wird. Auch betrifft die vorliegende Erfindung ein Fahrunterstützungssystem, insbesondere ein Parkassistenzsystem für ein Fahrzeug. Des Weiteren betrifft die vorliegende Erfindung ein Fahrzeug mit einem Fahrunterstützungssystem, insbesondere Parkassistenzsystem.
Fahrunterstützungssysteme, insbesondere Fahrassistenzsysteme, sind Systeme, die entwickelt wurden, um Fahrzeugsysteme zu automatisieren und im Hinblick auf Sicherheit und ein verbessertes Fahrverhalten zu verbessern. Dabei wurden Sicherheitsmerkmale entwickelt, um Kollisionen bzw. Unfälle zu vermeiden, indem Technologien eingesetzt werden, die den Fahrer auf potentielle Gefahren hinweisen oder, die Kollisionen vermeiden, beispielsweise durch das Einleiten von Sicherheitsmaßnahmen oder durch die Übernahme der Fahrzeugkontrolle. Im Falle der autonomen Fahrzeuge können Fahrunterstützungssysteme die Kontrolle des Fahrzeugs übernehmen. Adaptive Merkmale können das Licht automatisieren, adaptive Cruise Control bereitstellen, das Bremsen automatisieren, Verkehrshinweise mit einbauen, Verbindung zu Smartphones herstellen, den Fahrer z.B. in Bezug auf andere Fahrzeuge oder verschiedene Arten von Gefahren alarmieren, das Fahrzeug in der richtigen Spur halten, oder zeigen, was sich in toten Winkeln befindet. Fahrunterstützungssysteme umfassen die vorhergenannten Fahrassistenzsysteme und sind gewöhnlich abhängig vom Input aus mehreren Datenquellen, wie z.B. die fahrzeugseitige Bildaufnahme, Bildprozessierung, Radarsensoren, LiDAR, Ultraschallsensoren und andere Quellen. Neuronale Netzwerke werden seit kurzem in der Prozessierung des Inputs von solchen Daten innerhalb des Fahrassistenzsystems, oder generell innerhalb von Fahrunterstützungssystemen, eingesetzt.
Parkassistenzsysteme, welche einen Fahrer eines Fahrzeugs bei Parkvorgängen unterstützen können, sind bereits aus dem Stand der Technik bekannt. Solche Parkassistenzsysteme erkennen Parklücken bzw. parklückenartige Teilbereiche in einem Umgebungsbereich des Fahrzeugs bei einer Vorbeifahrt des Fahrzeugs an den parklückenartigen Teilbereichen, indem beispielsweise in den parklückenartigen Teilbereich begrenzende Objekte sowie Ausmaße bzw. geometrische Abmessungen des parklückenartigen Teilbereiches erkannt werden. Dazu vermessen die Parkassistenzsysteme in der Regel die Parklücke und erkennen beispielsweise eine Länge, eine Breite und eine Tiefe der Parklücke sowie eine relative Position der Parklücke bezüglich des Fahrzeugs. Zumeist werden solche Parklückeninformationen mit fahrzeugseitigen Abstandssensoren, beispielsweise Ultraschallsensoren, erfasst.
Allerdings ist es für solche Parkassistenzsysteme üblicherweise nicht möglich, bei erfassten parklückenartigen Teilbereichen zwischen gültigen, beparkbaren Parklücken und ungültigen, nicht parkbaren Parklücken zu unterscheiden. Gültige, beparkbare Parklücken sind beispielsweise solche Parkzonen, in welchen das Fahrzeug verkehrsregelkonform abgestellt bzw. geparkt werden darf. Ungültige Parklücken sind beispielsweise Parkverbotszonen, Haus-und Hofeinfahrten, Bushaltestellen, Grünstreifen, Feuerwehranfahrtszonen, etc. Diese ungültigen Parklücken werden zwar assistenzsystemseitig erkannt und dem Fahrer als potentielle Parklücken bereitgestellt bzw. angezeigt, wobei es sich also um „falsch positive Parklücken“ handelt, jedoch darf das Fahrzeug in einer solchen ungültigen Parklücke nicht abgestellt werden. Besonders Parkassistenzsysteme, die auf Ultraschalldaten basieren, haben eine hohe Rate an falsch positiven Parklücken. Es ist auch sehr schwer, anhand von Ultraschalldaten zwischen Längs- und Querparklücken zu unterscheiden. Beispielsweise könnte eine große Lücke entweder eine Längsparklücke (parallel zur Fahrbahn) oder zwei Querparklücken (senkrecht zur Fahrbahn) darstellen. Die Folge ist, dass solche üblichen Parkassistenzsysteme in der Regel nicht das richtige Parkmanöver bestimmen können und daher eine manuelle Auswahl durch den Fahrer erforderlich ist.
In der jüngeren Vergangenheit sind Fahrunterstützungssysteme, welche Kamerasysteme („Surround View Systems“) umfassen, immer beliebter geworden. Zusätzlich gibt es immer mehr Forschungsergebnisse zu neuronalen Netzwerken, sogenannten Deep Neuronal Networks (DNNs), insbesondere zu Convolution Neuronal Networks (CNNs). Die Entwicklung von solchen neuronalen Netzwerken wurde durch den Anstieg der Leistungskraft von Computersystemen beschleunigt.
Convolutional Neuronal Networks (CNNs) sind bei Anwendungen zur Klassifizierung und Kategorisierung sehr erfolgreich, aber der überwiegende Teil der Forschung befasst sich lediglich mit gewöhnlichen photometrischen RGB Bildern und hat keinen Fokus auf integrierte Fahrzeugvorrichtungen. Dazu kommt, dass integrierte Hardware-Vorrichtungen für Fahrzeuge einen niedrigen Energieverbrauch aufweisen müssen und daher nur eine geringe Rechnerleistung haben.
Auf dem Gebiet des Maschinenlernens sind Convolutional Neuronal Networks eine Klasse von tiefen („deep“) „feed-forward“ künstlichen neuronalen Netzwerken, welche bereits in der Analyse von visuellen Bildern angewendet wurden. CNNs verwenden mehrschichtige Perzeptrons, die so entworfen wurden, dass sie nur minimales Vorprozessieren erfordern. Convolutional Neuronal Networks wurden durch biologische Vorgänge inspiriert, wobei deren Verschaltungsmuster zwischen Neuronen der Organisation des tierischen visuellen Cortex nachempfunden ist. Individuelle kortikale Neuronen antworten auf Stimuli nur in einer begrenzten Region des visuellen Feldes, welches als das rezeptive Feld bekannt ist. Die rezeptiven Felder von verschiedenen Neuronen überlappen teilweise, so dass sie das ganze visuelle Feld erfassen.
CNNs verwenden im Vergleich zu anderen Algorithmen zur Bildklassifizierung relativ wenig an Vorprozessierung. Das bedeutet, dass das Netzwerk die Filter erlernt, die in herkömmlichen Algorithmen von Hand erstellt wurden. Diese Unabhängigkeit von bereits vorhandenem Wissen und menschlicher Arbeitsleistung bei der Erstellung von Merkmalen ist ein großer Vorteil. CNNs finden Anwendung in der Bild- und Videoerkennung, in Recommender-Systemen und in der Spracherkennung.
DE 10 2012 216 994 A1 offenbart ein Verfahren zur Parkplatzvermittlung, wobei Verkehrsteilnehmer Informationen über freie Parkplätze ermitteln und die Informationen an ein Cloud-Computing-System übermitteln. Das Cloud-Computing-System nimmt Informationen über die freien Parkplätze in eine freie Parkplatzkarte abrufbar auf. Solche Informationen, welche fahrzeugseitig bestimmt und an das Cloud-Computing-System übermittelt werden, können beispielsweise Meta-Informationen über die Parkplätze sein, welche beispielsweise durch eine fahrzeugseitig durchgeführte Schildererkennung gewonnen werden. Solche Schilder sind beispielsweise Halteverbotsschilder oder Schilder zur Kennzeichnung von Anwohner-, Behinderten-, Familien-, Frauen- oder Privatparkplätzen, welche durch ein fahrzeugseitiges Kamerasystem und eine Bildverarbeitung erkannt werden und mit den entsprechenden Informationen über den Parkplatz verknüpft werden.
Der Nachteil eines solchen bekannten Systems ist, dass eine derartige kamerabasierte Informationserkennung eine hohe Rechenleistung benötigt und dadurch fahrzeugseitig entsprechende Ressourcen bereitgestellt werden müssen. Ebenso kann ein solches System nicht zwischen Längsparklücken (parallel zur Fahrbahn) und Querparklücken (senkrecht zur Fahrbahn) unterscheiden und ist überwiegend von einer guten Beschilderung der Parklücke abhängig. Auch ist ein solches System nicht fähig zum eigenständigen Lernen.
US 2014/0340242 A1 offenbart ein Verfahren zur Übermittlung von Informationen über freie Parkplätze innerhalb mindestens eines Stadtblocks, wobei Verkehrsteilnehmer visuelle Informationen über die Wahrscheinlichkeitsverteilung von freien Parkplätzen des Stadtblocks erhält, die auf historischen Daten und aktuellen Daten aus einer zentralen Datenbank basieren. Die historischen Daten und aktuellen Daten beruhen auf Bilddaten von Fahrzeugen und/oder Bilddaten von in der Stadt fest installierten Kamerasystemen.
W02014/202362 offenbart ein Verfahren zur Bereitstellung von Parkinformationen zu freien Parkplätzen, bei dem a) für den zumindest einen Straßenzug jeweils historische und aktuelle Informationen über verfügbare, freie Parkplätze ermittelt werden, wobei aus den ermittelten Informationen zumindest ein Parksegment, das einen oder mehrere Straßenzüge umfasst, ermittelt wird und für jedes Parksegment aus den ermittelten Informationen jeweils statistische Parameter über freie Parkplätze erzeugt werden; b) eine Modellierung für jedes Parksegment erzeugt wird, bei der die für das Parksegment ermittelten Informationenverarbeitet werden, um einen Parkzustand des jeweiligen Parksegments als Wahrscheinlichkeitsverteilung (P_i) zu ermitteln.
US 2014/0085112 A1 offenbart ein Verfahren zur Bereitstellung von statistischen Daten zur Bereitstellung von statistischen Daten zur Verfügbarkeit von Parkplätzen, wobei ein zentraler Servercomputer Sensordaten von einer Vielzahl von Fahrzeugen erhält, welche deren Ortskoordinaten enthalten, wobei der zentrale Servercomputer diese Daten in statistische Informationen zu Parkplätzen umsetzt.
Fahrunterstützungssysteme, insbesondere Fahrassistenzsysteme oder fortgeschrittene Fahrassistenzsysteme („advanced driver assistance systems“, ADAS), ist eines der am schnellsten wachsenden Bereiche der Fahrzeugelektronik. Daher besteht ein Bedarf für verbesserte Verfahren und Systeme zur Erkennung bzw. Klassifizierung von Parklücken.
Ausgehend von dem oben genannten Stand der Technik liegt der Erfindung somit die Aufgabe zugrunde, ein Verfahren bereitzustellen, das in einem Umgebungsbereich eines Fahrzeugs erkannte potentielle Parklücken selbstständig klassifizieren kann.
Die Lösung der Aufgabe erfolgt erfindungsgemäß durch die Merkmale der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.
Die Erfindung stellt ein Verfahren zur Klassifizierung von Parklücken in einem Umgebungsbereich eines Fahrzeugs mit einem Fahrunterstützungssystem zur Verfügung, wobei das Fahrzeug wenigstens einen ersten Umgebungssensor und einen zweiten Umgebungssensor aufweist, umfassend die Schritte Empfangen von ersten Sensordaten mit dem Fahrunterstützungssystem von dem wenigstens einen ersten Umgebungssensor aus dem Umgebungsbereich, Erkennen eines parklückenartigen Teilbereichs des Umgebungsbereichs in den ersten Sensordaten, Anfordern von durch den wenigstens einen zweiten Umgebungssensor aus dem parklückenartigen Teilbereich erfassten zweiten Sensordaten von dem Fahrunterstützungssystem, sobald der parklückenartige Teilbereich in den ersten Sensordaten erkannt wird, Übermitteln der angeforderten zweiten Sensordaten an eine fahrzeugseitige Rechnereinheit umfassend ein Deep Neuronal Network (DNN), und Klassifizieren des parklückenartigen Teilbereiches in Kategorien mit dem DNN, wobei die Kategorien gültige, beparkbare Parklücken und ungültige, nicht beparkbare Parklücken umfassen.
Erfindungsgemäß ist somit ein Verfahren zur Klassifizierung von Parklücken in einem Umgebungsbereich eines Fahrzeugs mit einem Fahrunterstützungssystem angegeben, welches auf Basis von ersten Sensordaten des Fahrunterstützungssystems potentielle Parklücken erkennt, dann zweite Sensordaten, bevorzugt Bilddaten und/oder Videosequenzen eines Kamerasystems, anfordert und diese an eine Rechnereinheit umfassend ein Deep Neuronal Network (DNN) übermittelt, worauf dann das DNN den parklückenartigen Teilbereich in Kategorien klassifiziert, wobei die Kategorien gültige, beparkbare Parklücken und ungültige, nicht beparkbare Parklücken umfassen.
Grundidee der vorliegenden Erfindung ist es also, die Klassifizierung von Parklücken anhand von zweiten Sensordaten, bevorzugt Bilddaten, durch ein Deep Neuronal Network (DNN) durchführen zu lassen, wobei das DNN bevorzugt vortrainiert ist.
In einer Ausführungsform der Erfindung kann der Schritt des Empfangens von ersten Sensordaten mit dem wenigstens einen ersten Umgebungssensor ein Empfangen von Abstandssensordaten wenigstens eines fahrzeugseitigen Abstandssensors, insbesondere ein Empfangen von Ultraschallsensordaten und/oder Radarsensordaten und/oder Laserscannerdaten, mit dem Fahrunterstützungssystem umfassen.
In einer weiteren Ausführungsform der Erfindung kann das Empfangen der zweiten Sensordaten ein Empfangen von Bilddaten von einem oder mehreren Bildern und/oder Videosequenzen mit wenigstens einem Kamerasystem umfassend eine oder mehrere Kameras mit dem Fahrunterstützungssystem umfassen. Die Bilddaten und/oder Videosequenzen können z.B. durch ein „Surround-View-System“ bereitgestellt werden.
Sobald der parklückenartige Teilbereich anhand der ersten Sensordaten erfasst wurde, kann in einer bevorzugten Ausführungsform von dem Fahrunterstützungssystem ein Auslösesignal („Trigger“, bevorzugt „Image Capture Trigger“) für den wenigstens einen zweiten Umgebungssensor generiert werden, durch welches der zweite Umgebungssensor zum Erfassen der zweiten Sensordaten aus dem Umgebungsbereich aufweisend den parklückenartigen Teilbereich angesteuert wird. Die zweiten Sensordaten können bevorzugt Bilddaten und/oder Videosequenzen sein, welche durch wenigsten einen zweiten Umgebungssensor, bevorzugt ein Kamerasystem, bereitgestellt werden.
In einer weiter bevorzugten Ausführungsform der Erfindung kann wenigstens eine, anhand der ersten Sensordaten bestimmte geometrische Abmessung des parklückenartigen Teilbereichs als wenigstens eine Information über den parklückenartigen Teilbereich zusammen mit den angeforderten zweiten Sensordaten an die fahrzeugseitige Rechnereinheit umfassend ein Deep Neuronal Network (DNN) übertragen werden.
Es ist erfindungsgemäß auch vorgesehen, dass das Ergebnis der Klassifizierung der Parklücke in Kategorien durch das Deep Neuronal Network (DNN) an das Fahrunterstützungssystem übermittelt werden kann. Diese Kategorien umfassen gültige, beparkbare Parklücken und ungültige, nicht beparkbare Parklücken. Dabei können die gültigen, beparkbaren Parklücken bevorzugt Längsparklücken (parallel zur Fahrbahn, parallele Parklücken) und Querparklücken (senkrecht zur Fahrbahn, senkrechte Parklücken) umfassen.
Ungültige, nicht beparkbare Parklücken können z.B. Parkverbotszonen, Haus-und Hofeinfahrten, Bushaltestellen, Grünstreifen, Feuerwehranfahrtszonen und Parkplätze für Behinderte sein. Nach Übermittlung des Ergebnisses der Klassifizierung der Parklücke in Kategorien durch das Deep Neuronal Network (DNN), kann das Fahrunterstützungssystem ein geeignetes Parkmanöver einleiten, was wenigstens semi-autonom, insbesondere vollautonom erfolgen kann.
In einer besonders vorteilhaften Ausführungsform der Erfindung kann die Klassifizierung des parklückenartigen Teilbereiches mit dem Deep Neuronal Network (DNN) mit einem Convolutional Neuronal Network (CNN) erfolgen.
In vorteilhafter Ausgestaltung der Erfindung ist weiterhin vorgesehen, dass das Deep Neuronal Network (DNN) für die Klassifizierung von Parklücken vortrainiert werden kann, wobei das Vortrainieren des Deep Neuronal Networks (DNN) durch Zugriff auf Daten einer Datenbank oder durch fahrzeugseitige Aufnahme von zweiten Sensordaten, bevorzugt Bilddaten und/oder Videosequenzen, erfolgen kann.
Das Vortrainieren des Deep Neuronal Networks (DNN) kann online oder offline erfolgen. Im Online-Modus („online“) kann das Deep Neuronal Network (DNN) auf Daten einer Datenbank zugreifen, welche bereits mit zweiten Sensordaten, bevorzugt Bilddaten, gefüllt ist, die von anderen Fahrzeugen, z.B. von Entwicklungs-Fahrzeugen, an eine Cloud über ein mobiles Netzwerk gesendet wurden. Der eigentliche Lernprozess des DNN kann nach Input dieser zweiten Sensordaten auch im Offline-Modus erfolgen („offline“). Die zweiten Sensordaten, bevorzugt Bilddaten und/oder Videosequenzen, dieser Datenbank sind bevorzugt manuell markiert bzw. annotiert. Das Vortrainieren des Deep Neuronal Networks (DNN) kann auch durch fahrzeugseitige Aufnahme von zweiten Sensordaten, bevorzugt Bilddaten, erfolgen, welche bevorzugt im Offline-Modus zum Lernen bzw. Vortrainieren des DNNs verwendet werden können.
In vorteilhafter Ausgestaltung der Erfindung ist weiterhin vorgesehen, dass das Klassifizieren des parklückenartigen Teilbereiches in beparkbare Parklücken und ungültige, nicht beparkbare Parklücken ein Klassifizieren der beparkbaren Parklücken in Längsparklücken und Querparklücken umfasst. Das bedeutet, das Deep Neural Network (DNN) ist ausgeführt, zwischen Längsparklücken (parallel zur Fahrbahn) und Querparklücken (senkrecht zur Fahrbahn) zu unterscheiden. Die Möglichkeit der Klassifizierung von gültigen, beparkbaren Parklücken in Kategorien umfassend Längsparklücken (parallel zur Fahrbahn) und Querparklücken (senkrecht zur Fahrbahn) ist ein besonders vorteilhafter Aspekt des erfindungsgemäßen Verfahrens.
Weiterhin stellt die Erfindung die Verwendung des erfindungsgemäßen Verfahrens in einem Fahrunterstützungssystem eines Fahrzeugs zur Verfügung.
Die Erfindung stellt weiterhin ein Fahrunterstützungssystem, insbesondere Parkassistenzsystem, für ein Fahrzeug zum Erfassen von Parklücken in einem Umgebungsbereich des Fahrzeugs zur Verfügung, umfassend wenigstens einen ersten Umgebungssensor zum Erfassen von ersten Sensordaten aus dem Umgebungsbereich, wenigstens einen zu dem ersten Umgebungssensor unterschiedlichen zweiten Umgebungssensor zum Erfassen von zweiten Sensordaten aus dem Umgebungsbereich und eine fahrzeugseitige Rechnereinheit umfassend ein Deep Neuronal Network (DNN) zur Klassifizierung des parklückenartigen Teilbereiches in Kategorien.
Erfindungsgemäß umfassen die durch das Deep Neural Network (DNN) zur Klassifizierung verwendeten Kategorien gültige, beparkbare Parklücken und ungültige, nicht-beparkbare Parklücken. Gültige, beparkbare Parklücken können bevorzugt Längsparklücken (parallel zur Fahrbahn) und Querparklücken (senkrecht zur Fahrbahn) umfassen. Das bedeutet, das Deep Neural Network (DNN) des Fahrunterstützungssystems kann dazu in der Lage sein, zwischen Längsparklücken (parallel zur Fahrbahn, parallele Parklücken) und Querparklücken (senkrecht zur Fahrbahn, senkrechte Parklücken) zu unterscheiden. Die Möglichkeit der Klassifizierung von gültigen, beparkbaren Parklücken in Kategorien umfassend Längsparklücken (parallel zur Fahrbahn) und Querparklücken (senkrecht zur Fahrbahn) ist ein besonders vorteilhafter Aspekt des erfindungsgemäßen Fahrunterstützungssystems und Fahrzeugs.
Der wenigstens eine erste Umgebungssensor kann zumindest einen Abstandssensor umfassen, der aus Ultraschallsensor, Radarsensor und Laserscanner ausgewählt sein kann. Der wenigstens eine zweite Umgebungssensor kann wenigstens ein Kamerasystem umfassen, welches eine oder mehrere Kameras umfassen kann. Das wenigstens eine Kamerasystem kann beispielsweise ein „Surround-View-System“ sein.
In einer besonders vorteilhaften Ausführungsform der Erfindung kann das Deep Neuronal Network (DNN) des Fahrunterstützungssystems ein Convolutional Neuronal Network (CNN) umfassen, welches bevorzugt ein binäres Convolutional Neuronal Network (CNN) sein kann. Ein solches binäres CNN kann beispielsweise ein Netzwerk auf Basis einer Python-Architektur sein, welches Vorteile in Bezug auf eine möglichst einfache Definition der Netzwerkarchitektur und Training bietet. Dabei kann ein C-Code-Generator verwendet werden, wobei der generierte Code im trainierten Netzwerk unabhängig ist und auf eingebauten Vorrichtungen und Geräten einfach integrierbar ist. Ein binäres CNN kann vorteilhafterweise aufgrund seines internen Teilens von Variablen nur einen geringen Bedarf an Speicherplatz aufweisen.
Das Fahrassistenzsystem, insbesondere Parkassistenzsystem, kann dazu ausgebildet sein, das Fahrzeug wenigstens semi-autonom, insbesondere vollautonom, in eine beparkbare Parklücke einzuparken.
Die Erfindung stellt weiterhin ein Computerprogrammprodukt zur Durchführung des erfindungsgemäßen Verfahrens zur Verfügung.
Die Erfindung betrifft außerdem ein Fahrzeug mit dem erfindungsgemäßen Fahrunterstützungssystem, insbesondere Parkassistenzsystem. Das Fahrzeug kann insbesondere ein Personenkraftwagen sein.
Nachfolgend wird die Erfindung unter Bezugnahme auf die anliegenden Figuren anhand bevorzugter Ausführungsformen näher erläutert. Die dargestellten Merkmale können sowohl jeweils einzeln als auch in Kombination einen Aspekt der Erfindung darstellen. Merkmale verschiedener Ausführungsbeispiele sind übertragbar von einem Ausführungsbeispiel auf ein anderes. In den Figuren sind gleiche sowie funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen. Die nachfolgend beschriebenen Ausführungsbeispiele sind lediglich zur Illustration angegeben und sind nicht dazu gedacht, die Erfindung in irgendeiner Form zu beschränken.
Es zeigen

1 eine schematische Ansicht einer gültigen, beparkbaren Parklücke (links), welche eine Längsparklücke parallel zur Fahrbahn ist, und einer ungültigen nicht beparkbaren Parklücke (rechts), welche eine Hofeinfahrt ist, die in Form von zweiten Sensordaten, hier Bilddaten und/oder Videosequenzen, zur Verfügung gestellt wird, welche durch wenigstens einen zweiten Umgebungssensor, hier wenigstens ein Kamerasystem umfassend eine oder mehrere Kameras, zur Verfügung gestellt werden,
2 eine schematische Ansicht eines Fahrzeugs gemäß einer ersten, bevorzugten Ausführungsform, welches im vorliegenden Fall als ein Personenkraftwagen ausgebildet ist und ein Fahrunterstützungssystem, insbesondere Parkassistenzsystem, umfasst, welches einen Fahrer des Fahrzeugs auf der Suche nach gültigen, beparkbaren Parklücken in einem Umgebungsbereich unterstützt,
3 eine schematische Ansicht des Fahrzeugs gemäß 2 bei der Parklückensuche in einem Umgebungsbereich mit einer ungültigen Parklücke, die einen Grünstreifen darstellt,
4 eine schematische Ansicht des Fahrzeugs gemäß 2 bei der Parklückensuche in einem Umgebungsbereich mit einer ungültigen Parklücke, die eine weitere Straße darstellt, und
5 eine schematische Ansicht des Fahrzeugs, das zweite Sensordaten aus einer Datenbank, insbesondere Cloud, zum Vortrainieren des Deep Neuronal Networks (DNNs) online empfangen kann und, alternativ, durch wenigstens einen zweiten Umgebungssensor, hier eine oder mehrere Kameras, zweite Sensordaten, hier Bilddaten und/oder Videosequenzen, erfassen kann.

1 zeigt eine schematische Ansicht, welches ein zweiter Umgebungssensor 14, hier ein Kamerasystem, eines Fahrzeugs 1 der vorliegenden Erfindung zur Verfügung stellt. Links ist eine gültige, beparkbare Parklücke 3 gezeigt, welche eine Längsparklücke parallel zur Fahrbahn ist, die sich zwischen zwei weiteren Fahrzeugen 10 befindet. Rechts ist eine ungültige, nicht beparkbare Parklücke 12 gezeigt, welche eine Hofeinfahrt ist, die von Objekten 9 begrenzt ist, hier links eine Mülltonne und rechts ein Zaun. Diese Ansicht wird in Form von zweiten Sensordaten, hier Bilddaten und/oder Videosequenzen, zur Verfügung gestellt, welche durch wenigstens einen zweiten Umgebungssensor 14, hier ein Kamerasystem umfassend wenigstens eine Kamera, erfasst werden und einem Fahrunterstützungssystem 7 umfassend eine Rechnereinheit 16 mit Deep Neuronal Network (DNN) übermittelt werden.
2 zeigt ein Fahrzeug 1 gemäß einer ersten, bevorzugten Ausführungsform der vorliegenden Erfindung. Das Fahrzeug 1 ist im vorliegenden Fall als ein Personenkraftwagen ausgebildet und umfasst ein Fahrunterstützungssystem 7, das hier als Parkassistenzsystem ausgeführt ist, welches einen Fahrer des Fahrzeugs 1 auf der Suche nach gültigen, beparkbaren Parklücken 3 unterstützt. Die gültige, beparkbare Parklücke 3 ist in diesem Fall als eine Querparklücke senkrecht zur Fahrbahn 4 ausgebildet. Auch kann das Fahrunterstützungssystem 7, insbesondere Parkassistenzsystem, dazu ausgebildet sein, das Fahrzeug 1 wenigstens semi-autonom, insbesondere vollautonom, in die beparkbare Parklücke 3 einzuparken. Das Fahrzeug 1 weist wenigstens einen ersten Umgebungssensor 5 und einen zweiten Umgebungssensor 14 auf.
Erfindungsgemäß wird ein Verfahren zur Klassifizierung von Parklücken 3, 12 in einem Umgebungsbereich 6 eines Fahrzeugs 1 mit einem Fahrunterstützungssystem 7 bereitgestellt, umfassend die Schritte Empfangen von ersten Sensordaten mit dem Fahrunterstützungssystem 7 von dem wenigstens einen ersten Umgebungssensor 5 aus dem Umgebungsbereich 6, Erkennen eines parklückenartigen Teilbereichs 8 des Umgebungsbereichs 6 in den ersten Sensordaten, Anfordern von durch den wenigstens einen zweiten Umgebungssensor 14 aus dem parklückenartigen Teilbereich 8 erfassten zweiten Sensordaten von dem Fahrunterstützungssystem 7, sobald der parklückenartige Teilbereich 8 in den ersten Sensordaten erkannt wird; Übermitteln der angeforderten zweiten Sensordaten an eine fahrzeugseitige Rechnereinheit 16 umfassend ein Deep Neuronal Network (DNN), und Klassifizieren des parklückenartigen Teilbereiches 8 in Kategorien mit dem DNN, wobei die Kategorien gültige, beparkbare Parklücken 3 und ungültige, nicht beparkbare Parklücken 12 umfassen.
Zum Erkennen von gültigen Parklücken 3 kann sich das Fahrzeug 1 beispielsweise in Vorwärtsrichtung F auf einer Fahrbahn 4 fortbewegen. Der Schritt des Empfangens von ersten Sensordaten mit dem wenigstens einen ersten Umgebungssensor 5 kann beispielsweise ein Empfangen von Abstandssensordaten wenigstens eines fahrzeugseitigen Abstandssensors, insbesondere ein Empfangen von Ultraschallsensordaten und/oder Radarsensordaten und/oder Laserscannerdaten, mit dem Fahrunterstützungssystem 7 umfassen. Das Empfangen der zweiten Sensordaten umfasst in der Regel ein Empfangen von Bilddaten von einem oder mehreren Bildern von wenigstens einem zweiten Umgebungssensor 14, bevorzugt Kamerasystem umfassend eine oder mehrere Kameras, mit dem Fahrunterstützungssystem 7. Die Bilddaten können z.B. durch ein „Surround-View-System“ bereitgestellt werden.
In den ersten Sensordaten kann ein parklückenähnlicher bzw. parklückenartiger Teilbereich 8 in dem Umgebungsbereich 6 erkannt werden. Dieser parklückenartige Teilbereich 8 kann beispielsweise ein unbelegter Bereich in dem Umgebungsbereich 6 sein, welcher von Objekten 9 begrenzt ist. Die begrenzenden Objekte 9 sind hier als weitere Fahrzeuge 10 ausgebildet, welche in Parklücken 11 neben dem parklückenartigen Teilbereich 8 geparkt sind. Dieser parklückenartige Teilbereich 8 zwischen den zwei begrenzenden Objekten 9 kann vermessen werden, indem anhand der ersten Sensordaten wenigstens eine geometrische Abmessung des Bereiches, insbesondere eine Breite B und eine Tiefe T, erkannt wird. Anhand der Breite B und der Tiefe T kann erkannt werden, dass es sich bei dem Teilbereich 8 um eine potentielle Parklücke für das Fahrzeug 1 handeln kann. Es kann jedoch anhand der ersten Sensordaten nicht klassifiziert werden, ob es sich um eine gültige, für das Fahrzeug 1 beparkbare Parklücke 3, wie in 2 gezeigt, oder um eine ungültige, für das Fahrzeug 1 nicht beparkbare Parklücke 12 handelt, wie sie beispielsweise in den 3 und 4 gezeigt ist. Bei einer gültigen Parklücke 3 gemäß 2 handelt es sich um eine freie Parklücke, hier Querparklücke senkrecht zur Fahrbahn, in welcher das Fahrzeug 1 verkehrsregelkonform abgestellt werden kann. Bei der ungültigen Parklücke 12 gemäß 3 handelt es sich um einen Grünstreifen 13, auf welchem das Fahrzeug 1 nicht abgestellt werden darf. Bei der ungültigen Parklücke 12 gemäß 4 handelt es sich um eine weitere Straße, auf welcher das Fahrzeug 1 nicht abgestellt werden darf.
Sobald der parklückenartige Teilbereich 8 anhand der ersten Sensordaten erfasst wurde, kann in einer bevorzugten Ausführungsform von dem Fahrunterstützungssystem 7 ein Auslösesignal („Trigger“, bevorzugt „Image Capture Trigger“) für den wenigstens einen zweiten Umgebungssensor 14 generiert werden, durch welches der zweite Umgebungssensor 14 zum Erfassen der zweiten Sensordaten aus dem Umgebungsbereich 6 aufweisend den parklückenartigen Teilbereich 8 angesteuert wird. Die zweiten Sensordaten sind bevorzugt Bilddaten und/oder Videosequenzen, welche durch wenigsten einen zweiten Umgebungssensor 14, bevorzugt wenigstens ein Kamerasystem, bereitgestellt werden. Hierbei kann es sich beispielweise um ein „Surround-View-System“ handeln, das mehrere Kameras umfasst.
Der wenigstens eine zweite Umgebungssensor 14 erfasst zweite Sensordaten aus dem Umgebungsbereich 6. Der wenigstens eine zweite Umgebungssensor 14 ist im vorliegenden Fall als wenigstens eine Kamera ausgebildet und erfasst Kamerabilder und/oder Videosequenzen als die zweiten Sensordaten. Sobald nun durch das Fahrunterstützungssystem 7 anhand der ersten Sensordaten der parklückenartige Teilbereich 8 erkannt bzw. identifiziert wurde, fordert das Fahrunterstützungssystem 7 von dem zweiten Umgebungssensor 14 zweite Sensordaten aus dem parklückenartigen Teilbereich 8 an. Dabei können insbesondere nur die zweiten Sensordaten derjenigen zweiten Umgebungssensoren 14 angefordert werden, deren Erfassungsbereich wenigstens bereichsweise mit einem Erfassungsbereich 15 des ersten Umgebungssensor 5 überlappt. Im vorliegenden Fall der 2 und 3 bedeutet dies, dass nur die Kamerabilder derjenigen Kamera angefordert werden, welche den parklückenartigen Teilbereich 8 zeigen, also hier die Bilder der Kamera an einem rechtsseitigen Außenspiegel des Fahrzeugs 1. Außerdem können insbesondere nur diejenigen zweiten Sensordaten angefordert, welche in etwa zeitgleich mit denjenigen ersten Sensordaten erfasst wurden, anhand welcher der parklückenartige Teilbereich 8 erkannt wurde. Beispielsweise kann von der Kamera dann ein Bild bzw. Schnappschuss des parklückenartigen Teilbereiches 8 erfasst werden, sobald der parklückenartige Teilbereich 8 anhand der ersten Sensordaten erfasst wurde. Die Erfassung des parklückenartigen Teilbereiches 8 ist somit ein Auslösesignal bzw. Trigger („Image Capture Trigger“) für den wenigstens einen zweiten Umgebungssensor 14.
In einer weiter bevorzugten Ausführungsform der Erfindung wird wenigstens eine, anhand der ersten Sensordaten bestimmte geometrische Abmessung (B, T) des parklückenartigen Teilbereichs 8 als wenigstens eine Information über den parklückenartigen Teilbereich 8 zusammen mit den angeforderten zweiten Sensordaten an die fahrzeugseitige Rechnereinheit 16 umfassend ein Deep Neuronal Network (DNN) übertragen.
Das Ergebnis der Klassifizierung der Parklücke 3, 12 in Kategorien durch das Deep Neuronal Network (DNN) wird bevorzugt an das Fahrunterstützungssystem 7 übermittelt. Diese Kategorien umfassen gültige, beparkbare Parklücken 3 und ungültige, nicht beparkbare Parklücken 12. Darüber hinaus können die gültigen, beparkbaren Parklücken 3 bevorzugt in Längsparklücken (parallel zur Fahrbahn, parallele Parklücken, 1, links) und Querparklücken (senkrecht zur Fahrbahn, senkrechte Parklücken, 2) klassifiziert werden. Ungültige, nicht beparkbare Parklücken 12, wie in 1, rechts, und in 3 und 4 dargestellt, können z.B. Parkverbotszonen, Haus-und Hofeinfahrten, Bushaltestellen, Grünstreifen, Feuerwehranfahrtszonen, Parkplätze für Behinderte und weitere Straßen sein.
Die Klassifizierung des parklückenartigen Teilbereiches 8 mit dem Deep Neuronal Network (DNN) erfolgt bevorzugt mit einem Convolutional Neuronal Network (CNN).
Das Deep Neuronal Network (DNN) kann für die Klassifizierung von Parklücken 3, 12 vortrainiert werden, wobei das Vortrainieren des Deep Neuronal Networks (DNN) durch Zugriff auf Daten einer Datenbank, insbesondere Cloud 17, oder durch fahrzeugseitige Aufnahme von zweiten Sensordaten, bevorzugt Bilddaten und/oder Videosequenzen, erfolgen kann.
Das Vortrainieren des Deep Neuronal Networks (DNN) kann online oder offline erfolgen. Im Online-Modus („online“) kann das Deep Neuronal Network (DNN) auf Daten einer Datenbank, insbesondere Cloud 17, zugreifen, welche bereits mit zweiten Sensordaten, bevorzugt Bilddaten, gefüllt ist, die von anderen Fahrzeugen, z.B. von Entwicklungs-Fahrzeugen, an die Datenbank, etwa eine Cloud 17, über ein mobiles Netzwerk gesendet wurden. Der eigentliche Lernprozess des DNNs kann nach Input dieser zweiten Sensordaten auch im Offline-Modus erfolgen („offline“). Die zweiten Sensordaten, bevorzugt Bilddaten und/oder Videosequenzen, dieser Datenbank sind bevorzugt manuell markiert bzw. annotiert. Das Vortrainieren des Deep Neuronal Networks (DNN) kann auch durch fahrzeugseitige Aufnahme von zweiten Sensordaten, bevorzugt Bilddaten und/oder Videosequenzen, erfolgen, welche bevorzugt im Offline-Modus zum Lernen bzw. Vortrainieren verwendet werden. 5 zeigt hierzu das Fahrzeug 1 in der Draufsicht, das zweite Sensordaten aus einer Datenbank, Cloud 17, zum Vortrainieren online empfangen kann und, alternativ, durch wenigstens einen zweiten Umgebungssensor 14, hier eine Kamera, zweite Sensordaten, hier Bilddaten, erfassen kann. Das Vortrainieren des Deep Neural Networks (DNN) kann mit Hilfe dieser zweiten Sensordaten offline erfolgen, d.h. das Fahrunterstützungssystem 7 umfassend die Rechnereinheit 16 muss für ein Vortrainieren des DNNs nicht im Online-Modus sein. Alternativ kann das Vortrainieren des DNNs durch fahrzeugseitige Aufnahme von zweiten Sensordaten, insbesondere Bilddaten und/oder Videosequenzen, durch einen zweiten Umgebungssensor 14, hier eine Kamera im rechten Außenspiegel, erfolgen. Auch dazu muss das Fahrunterstützungssystem 7 umfassend die Rechnereinheit 16 nicht im Online-Modus sein.
Erfindungsgemäß ist ein Fahrunterstützungssystem 7 vorgesehen, insbesondere Parkassistenzsystem, für ein Fahrzeug 1 zum Erfassen von Parklücken 3, 12 in einem Umgebungsbereich 6 des Fahrzeugs 1, umfassend wenigstens einen ersten Umgebungssensor 5 zum Erfassen von ersten Sensordaten aus dem Umgebungsbereich 6, wenigstens einen zu dem ersten Umgebungssensor 5 unterschiedlichen zweiten Umgebungssensor 14 zum Erfassen von zweiten Sensordaten aus dem Umgebungsbereich 6 und eine fahrzeugseitige Rechnereinheit 16 umfassend ein Deep Neuronal Network (DNN) zur Klassifizierung des parklückenartigen Teilbereiches 8 in Kategorien.
Der wenigstens eine zweite Umgebungssensor 14 umfasst insbesondere wenigstens ein Kamerasystem, welches eine oder mehrere Kameras umfasst, beispielsweise rechte und linke Außenspiegelkameras, wie sie in den 2, 3, 4 und 5 gezeigt sind. Das wenigstens eine Kamerasystem kann beispielsweise ein „Surround-View-System“ sein und liefert vorzugsweise Bilder und/oder Videosequenzen, wie sie in 1 gezeigt sind.
Das Deep Neuronal Network (DNN) des Fahrunterstützungssystems 7 umfasst insbesondere ein Convolutional Neuronal Network (CNN), welches bevorzugt ein binäres Convolutional Neuronal Network (CNN) ist. Ein solches binäres CNN kann beispielsweise ein Netzwerk auf Basis einer Python-Architektur sein, welches Vorteile in Bezug auf eine möglichst einfache Definition der Netzwerkarchitektur und Training bietet. Dabei wird in der Regel ein C-Code-Generator verwendet, wobei der generierte Code im trainierten Netzwerk unabhängig ist und auf eingebauten Vorrichtungen und Geräten einfach integrierbar ist. Ein binäres CNN weist vorteilhafterweise aufgrund seines internen Teilens von Variablen nur einen geringen Bedarf an Speicherplatz auf. Das binäre CNN kann beispielsweise eine Architektur aufweisen, welche ein „Convolutional Layer“ mit 16 Filtern, 1 voll verbundenen Layer und einen Output von 10 Klassen umfasst.
Das Fahrunterstützungssystem 7 ist dazu ausgebildet, das Fahrzeug 1 wenigstens semi-autonom, insbesondere vollautonom, in eine gültige, beparkbare Parklücke 3 einzuparken. Weiterhin ist ein Computerprogrammprodukt zur Durchführung des erfindungsgemäßen Verfahrens vorgesehen. Außerdem wird ein Fahrzeug 1 mit dem erfindungsgemäßen Fahrunterstützungssystem 7 zur Verfügung gestellt. Das Fahrzeug 1 ist in der Regel ein Personenkraftwagen.
Bezugszeichenliste

1: Fahrzeug
3: gültige, beparkbare Parklücke
4: Fahrbahn
5: erster Umgebungssensor
6: Umgebungsbereich
7: Fahrunterstützungssystem
8: parklückenartiger Teilbereich
9: Objekt
10: weiteres Fahrzeug
11: Parklücke
12: ungültige, nicht-beparkbare Parklücke
13: Grünstreifen
14: zweiter Umgebungssensor
15: Erfassungsbereich des ersten Umgebungssensors
16: fahrzeugseitige Rechnereinheit
17: Cloud

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102012216994 A1 [0009]
US 2014/0340242 A1 [0011]
US 2014/0085112 A1 [0013]

Claims

Verfahren zur Klassifizierung von Parklücken (3, 12) in einem Umgebungsbereich (6) eines Fahrzeugs (1) mit einem Fahrunterstützungssystem (7), wobei das Fahrzeug wenigstens einen ersten Umgebungssensor (5) und einen zweiten Umgebungssensor (14) aufweist, umfassend die Schritte Empfangen von ersten Sensordaten mit dem Fahrunterstützungssystem (7) von dem wenigstens einen ersten Umgebungssensor (5) aus dem Umgebungsbereich (6), Erkennen eines parklückenartigen Teilbereichs (8) des Umgebungsbereichs (6) in den ersten Sensordaten, Anfordern von durch den wenigstens einen zweiten Umgebungssensor (14) aus dem parklückenartigen Teilbereich (8) erfassten zweiten Sensordaten von dem Fahrunterstützungssystem (7), sobald der parklückenartige Teilbereich (8) in den ersten Sensordaten erkannt wird; Übermitteln der angeforderten zweiten Sensordaten an eine fahrzeugseitige Rechnereinheit (16) umfassend ein Deep Neuronal Network (DNN), und Klassifizieren des parklückenartigen Teilbereiches (8) in Kategorien mit dem DNN, wobei die Kategorien gültige, beparkbare Parklücken (3) und ungültige, nicht beparkbare Parklücken (12) umfassen.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Schritt des Empfangens von ersten Sensordaten mit dem wenigstens einen ersten Umgebungssensor (5) ein Empfangen von Abstandssensordaten wenigstens eines fahrzeugseitigen Abstandssensors, insbesondere ein Empfangen von Ultraschallsensordaten und/oder Radarsensordaten und/oder Laserscannerdaten, mit dem Fahrunterstützungssystem (7) umfasst.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Empfangen der zweiten Sensordaten ein Empfangen von Bilddaten von einem oder mehreren Bildern und/oder Videosequenzen mit zumindest einem Kamerasystem umfassend eine oder mehrere Kameras mit dem Fahrunterstützungssystem (7) umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass sobald der parklückenartige Teilbereich (8) anhand der ersten Sensordaten erfasst wurde, von dem Fahrunterstützungssystem (7) ein Auslösesignal für den wenigstens einen zweiten Umgebungssensor (14) generiert wird, durch welches der zweite Umgebungssensor (14) zum Erfassen der zweiten Sensordaten aus dem Umgebungsbereich (6) aufweisend den parklückenartigen Teilbereich (8) angesteuert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zumindest eine, anhand der ersten Sensordaten bestimmte geometrische Abmessung (B, T) des parklückenartigen Teilbereichs (8) als zumindest eine Information über den parklückenartigen Teilbereich (8) zusammen mit den angeforderten zweiten Sensordaten an die fahrzeugseitige Rechnereinheit (16) umfassend ein Deep Neuronal Network (DNN) übertragen wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Ergebnis der Klassifizierung der Parklücke (3, 12) in Kategorien durch das Deep Neuronal Network (DNN) an das Fahrunterstützungssystem (7) übermittelt wird, wobei die gültigen, beparkbaren Parklücken (3) bevorzugt parallele Parklücken und senkrechte Parklücken umfassen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Klassifizierung des parklückenartigen Teilbereiches (8) mit dem Deep Neuronal Network (DNN) mit einem Convolutional Neuronal Network (CNN) erfolgt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Deep Neuronal Network (DNN) für die Klassifizierung von Parklücken (3, 12) vortrainiert wird, wobei das Vortrainieren des Deep Neuronal Networks (DNN) durch Zugriff auf Daten einer Datenbank oder durch fahrzeugseitige Aufnahme von zweiten Sensordaten, bevorzugt Bilddaten, erfolgt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Klassifizieren des parklückenartigen Teilbereiches (8) in beparkbare Parklücken (3) und ungültige, nicht beparkbare Parklücken (12) ein Klassifizieren der beparkbaren Parklücken (3) in Längsparklücken und Querparklücken umfasst.
Verwendung des Verfahrens nach einem der Ansprüche 1 bis 9 in einem Fahrunterstützungssystem (7) eines Fahrzeugs (1).
Fahrunterstützungssystem (7), insbesondere Parkassistenzsystem, für ein Fahrzeug (1) zum Erfassen von Parklücken (3, 12) in einem Umgebungsbereich (6) des Fahrzeugs (1) umfassend zumindest einen ersten Umgebungssensor (5) zum Erfassen von ersten Sensordaten aus dem Umgebungsbereich (6), wenigstens einen zu dem ersten Umgebungssensor (5) unterschiedlichen zweiten Umgebungssensor (14) zum Erfassen von zweiten Sensordaten aus dem Umgebungsbereich (6) und eine fahrzeugseitige Rechnereinheit (16) umfassend ein Deep Neuronal Network (DNN) zur Klassifizierung des parklückenartigen Teilbereiches (8) in Kategorien.
Fahrunterstützungssystem (7) nach Anspruch 11, dadurch gekennzeichnet, dass der wenigstens eine erste Umgebungssensor (5) zumindest einen Abstandssensor umfasst, der bevorzugt aus Ultraschallsensor, Radarsensor und Laserscanner ausgewählt ist, und der wenigstens eine zweite Umgebungssensor (14) zumindest ein Kamerasystem umfasst, welches bevorzugt eine oder mehrere Kameras umfasst.
Fahrunterstützungssystem (7) nach Anspruch 11 oder 12, dadurch gekennzeichnet, dass das Deep Neuronal Network (DNN) ein Convolutional Neuronal Network (CNN) umfasst, welches bevorzugt ein binäres Convolutional Neuronal Network (CNN) ist.
Computerprogrammprodukt zur Durchführung des Verfahrens nach einem der vorherigen Ansprüche 1 bis 10.
Fahrzeug (1) mit einem Fahrunterstützungssystem (7), insbesondere Parkassistenzsystem (2), nach einem der Ansprüche 11 bis 13.