-
Die vorliegende Erfindung betrifft ein Verfahren zum Bereitstellen von individuell angepasster Parkinformation über freie Parkplätze für ein Kraftfahrzeug, das ein Fahrunterstützungssystem aufweist.
-
Fahrunterstützungssysteme, wie beispielsweise Fahrerassistenzsysteme oder hochentwickelte Fahrerassistenzsysteme (Advanced Driver Assistance Systems, ADAS) als Teil cloud-basierter Systeme werden in letzter Zeit in der Automobilelektronik immer häufiger eingesetzt. Einige Erstausrüster (Original Equipment Manufacturers, OEMs) und einige andere Zulieferer haben damit begonnen, ihre „eigenen“ Clouds für „serviceorientierte Kommunikations“-Plattformen zu erzeugen, auf denen verschiedene Dienste installiert werden können, und Benutzer können sich dafür registrieren. Die vorhandenen Lösungen stellen nur die Präsenz der Cloud dar und empfehlen die Verwendung von Standardschnittstellen und -architekturen, sie gehen jedoch nicht auf die Art der verfügbaren Dienste ein und decken kein vollständiges Business Case System ab.
-
Fahrunterstützungssysteme, wie beispielsweise Fahrerassistenzsysteme, sind Systeme, die entwickelt wurden, um Fahrzeugsysteme hinsichtlich der Sicherheit und verbessertem Fahrverhalten zu automatisieren, anzupassen und zu verbessern. Sicherheitsmerkmale sind dafür ausgelegt, Kollisionen und Unfälle zu vermeiden, indem sie Technologien bereitstellen, die den Fahrer vor möglichen Problemen warnen oder Kollisionen durch Implementieren von Sicherheitsmaßnahmen und Übernahme der Fahrzeugkontrolle vermeiden. In autonomen Fahrzeugen stellen die Fahrunterstützungssysteme Eingaben zum Ausführen einer Steuerung des Fahrzeugs bereit. Adaptive Merkmale können die Beleuchtung automatisieren, eine adaptive Geschwindigkeitsregelung bereitstellen, den Bremsvorgang automatisieren, Verkehrswarnungen integrieren, mit Smartphones kommunizieren, z.B. den Fahrer hinsichtlich anderer Autos oder verschiedenartiger Gefahren warnen, das Fahrzeug in der korrekten Fahrspur halten, oder anzeigen, was sich in toten Winkeln befindet. Fahrunterstützungssysteme, die die vorstehend erwähnten Fahrerassistenzsysteme beinhalten, basieren häufig auf Eingaben von mehreren Umgebungssensoren, wie beispielsweise von im Kraftfahrzeug installierten bildgebenden Einrichtungen, Bildverarbeitung, Radarsensoren, LiDAR, Ultraschallsensoren und anderen Quellen. Neuronale Netzwerke sind kürzlich für die Verarbeitung solcher Eingaben von Daten in Fahrerassistenzsystemen oder allgemein in Fahrunterstützungssystemen einbezogen worden.
-
In letzter Zeit sind Fahrunterstützungssysteme für Kraftfahrzeuge mit Fahrerassistenzsystemen, die Rundumsichtsysteme aufweisen, immer beliebter geworden. Es gab auch Bemühungen, Fahrunterstützungssysteme mit externen Servercomputern, z.B. Cloud-Servern („Clouds“) und Mobilgeräten zu verbinden. Darüber hinaus gab es einen sprunghaften Anstieg bei der Erforschung konvolutioneller neuronaler Netzwerke (CNNs). Ihr Design ist durch die Erhöhung der Rechenleistung in Computerarchitekturen unterstützt worden.
-
Konvolutionelle neuronale Netzwerke (CNNs) sind äußerst erfolgreich bei Klassifizierungs- und Kategorisierungsaufgaben, aber ein großer Teil der Forschung befasst sich mit standardmäßigen photometrischen RGB-Bildern. Beim maschinellen Lernen ist ein konvolutionelles neuronales Netzwerk eine Klasse tiefer, vorwärtsgekoppelter künstlicher neuronaler Netzwerke, die erfolgreich zur Analyse visueller Bilder verwendet worden ist. CNNs verwenden eine Variation mehrschichtiger Perzeptronen, die so designt sind, dass sie eine minimale Vorverarbeitung erfordern. Konvolutionelle Netzwerke wurden durch biologische Prozesse inspiriert, bei denen das Konnektivitätsmuster zwischen Neuronen durch die Organisation des tierischen visuellen Kortex inspiriert ist. Einzelne kortikale Neuronen reagieren auf Stimuli nur in einem eingeschränkten Bereich des visuellen Feldes, der als rezeptives Feld bekannt ist. Die rezeptiven Felder verschiedener Neuronen überlappen sich teilweise derart, dass sie das gesamte visuelle Feld abdecken.
-
CNNs verwenden im Vergleich zu anderen Bildklassifizierungsalgorithmen relativ wenig Vorverarbeitung. Dies bedeutet, dass das Netzwerk die Filter lernt, die in herkömmlichen Algorithmen von Hand entwickelt wurden. Diese Unabhängigkeit von vorherigem Wissen und menschlichem Arbeitsaufwand beim Merkmalsdesign ist ein großer Vorteil. CNNs finden Anwendung in der Bild- und Videoerkennung, Empfehlungssystemen und natürlicher Sprachverarbeitu ng.
-
In dieser Hinsicht offenbart die
DE 10 2012 216994 A1 ein Verfahren zum Bestimmen von Information über freie Parkplätze für Fahrzeuge und zum Übertragen der bestimmten Information an ein Cloud-Computing-System. Die Information über freie Parkplätze für Fahrzeuge wird durch das Cloud-Computing-System in eine Karte eingetragen. Geeignete freie Parkplätze werden durch das Cloud-Computing-System basierend auf Fahrzeugabmessungen von Verkehrsteilnehmern, Wünschen von Verkehrsteilnehmern und Eigenschaften von Parkplätzen bereitgestellt.
-
Die
US 2014/0340242 A1 offenbart ein Verfahren zum Bereitstellen von Parkinformation über freie Parkplätzen innerhalb mindestens eines Häuserblocks. Das Verfahren ermöglicht das Erfassen von Information über verfügbare freie Parkplätze, wobei aus der erfassten Information eine Wissensdatenbank mit historischen Daten erzeugt wird. Die historischen Daten für bestimmte Häuserblöcke und/oder bestimmte Zeiten oder Zeiträume beinhalten statistische Daten über freie Parkplätze. Aus den historischen Daten und aus aktueller Information, die durch Fahrzeuge im Verkehr für einen ersten vorgegebenen Zeitpunkt für einen einzelnen oder mehrere ausgewählte Häuserblöcke erfasst wird, wird eine Wahrscheinlichkeitsverteilung für freie Parkplätze bestimmt, die für den einzelnen oder die mehreren Häuserblöcke erwartet wird. Es wird eine Visualisierung der Wahrscheinlichkeitsverteilung erzeugt, die die Parkinformation über freie Parkplätze innerhalb des einzelnen oder der mehreren Häuserblöcken darstellt.
-
Die
DE 10 2004 018 204 A1 offenbart ein Verfahren zum Übertragen von Information über Parkplätze, mit dem Schritt zum Bestimmen der Position und der Abmessungen eines Parkplatzes. Wenn die Information von Verkehrsteilnehmern, die die Information erzeugen, nicht oder nicht mehr benutzt wird, wird sie an ein Netzwerk weitergeleitet, auf das andere Verkehrsteilnehmer, die einen Parkplatz suchen, zugreifen können. Fahrunterstützungssysteme, wie beispielsweise Fahrerassistenzsysteme oder hochentwickelte Fahrerassistenzsysteme (ADAS) als Teil cloud-basierter Systeme, gehören zu den am schnellsten wachsenden Segmenten in der Automobilelektronik. Darüber hinaus hat das Wachstum von Städten sowohl hinsichtlich der Bevölkerung als auch der Straßen und der Anzahl von Fahrzeugen die Verfügbarkeit freier Parkplätze zu einem immer größeren Problem werden lassen. Verfügbare Parkplätze sind oft auch nicht für einen bestimmten Fahrzeugtyp geeignet. Daher besteht ein Bedarf an verbesserten Verfahren und Systemen zum Bereitstellen von Information über freie Parkplätze für den Fahrer.
-
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren zum Bereitstellen von Parkinformation über freie Parkplätze für Fahrer anzugeben, das den Präferenzen von Fahrern individuell angepasst ist.
-
Die Lösung der Aufgabe erfolgt durch den Gegenstand der unabhängigen Ansprüche. Bevorzugte Ausführungsformen sind in den Unteransprüchen angegeben.
-
Durch die Erfindung ist ein Verfahren zum Bereitstellen von individuell angepasster Parkinformation über freie Parkplätze für ein Kraftfahrzeug angegeben, das ein Fahrunterstützungssystem mit einer elektronischen Steuereinheit und einer Übertragungssteuereinheit aufweist, wobei mehrere Sensoren am Kraftfahrzeug montiert sind, wobei die mehreren Sensoren mindestens einen ersten Sensor und/oder mindestens einen zweiten Sensor und mindestens einen dritten Sensor aufweisen, wobei das Verfahren die Schritte aufweist:
- - Anfordern eines Parkplatzes von einem externen Servercomputer durch eine Geräteanwendung auf einem durch einen Fahrer bedienten Gerät, wobei die Geräteanwendung ein Benutzerprofil des Fahrers aufweist,
- - Erhalten von ersten Sensordaten und/oder zweiten Sensordaten des mindestens einen ersten Sensors und/oder des mindestens einen zweiten Sensors durch die elektronische Steuereinheit,
- - Erfassen eines potentiellen Parkplatzes innerhalb der ersten Sensordaten und/oder der zweiten Sensordaten,
- - Erstellen eines Parkplatzinformationsdatensatzes, der die ersten Sensordaten und/oder die zweiten Sensordaten enthält, durch die elektronische Steuereinheit,
- - Übertragen des Parkplatzinformationsdatensatzes an die Übertragungssteuereinheit des Kraftfahrzeugs,
- - Erhalten dritter Sensordaten des mindestens einen dritten Sensors über die Übertragu ngssteuerei n heit,
- - Übertragen des Parkplatzinformationsdatensatzes von der Übertragungssteuereinheit zusammen mit den dritten Sensordaten an den externen Servercomputer, wobei der externe Servercomputer ein tiefes neuronales Netzwerk (DNN) aufweist,
- - Klassifizieren des potentiellen Parkplatzes basierend auf dem Parkplatzinformationsdatensatz durch das DNN,
- - Abgleichen des potentiellen klassifizierten Parkplatzes mit dem Benutzerprofil des Fahrers, der einen Parkplatz angefordert hat, und Auswählen eines passenden Parkplatzes, und
- - Übertragen von individuell angepasster Parkinformation über den ausgewählten klassifizierten Parkplatz an das durch den Fahrer bediente Gerät.
-
Durch die Erfindung wird ein „intelligenter Parkdienst“ bereitgestellt, der in der Lage ist, eine Klassifizierung von Parkplätzen basierend auf den gesammelten Parkplatzdaten, einschließlich Bilddaten, auszuführen und anschließend dem Fahrer einen „individuell angepassten“ Parkplatz anzubieten, der einem bestimmten Benutzerprofil, wie beispielsweise einem Fahrzeugtyp, angepasst ist. Ein Hauptvorteil des Verfahrens und des Systems der Erfindung besteht darin, dass Parkplatzinformation durch einen externen Servercomputer durch tiefes Lernen, z.B. in Kategorien wie „Parkplatz“, „kein Parkplatz“, „spezieller Parkplatz für einen bestimmten Fahrzeugtyp“, „senkrechter Parkplatz“, „paralleler Parkplatz“, „Rückwärtsparkplatz“, „Vorwärtsparkplatz“ und „Behindertenparkplatz“ online verarbeitet und klassifiziert wird. Zusätzlich wird eine Datenbank für Parkplatzinformation erzeugt, in der die Parkplatzinformation einen Zeitstempel erhält und klassifiziert wird. Dem Benutzer, z.B. Fahrer, werden nur gültige und individuell angepasste Parkplätze über verschiedene Geräte (Gadgets), vorzugsweise über ein Mobilgerät, beispielsweise ein Smartphone, angeboten. Wenn ein gültiger, klassifizierter Parkplatz angeboten wird, ist er an die Präferenzen des Benutzers basierend auf seinem oder ihrem durch die Geräteanwendung konfigurierten Benutzerprofil individuell angepasst und abgeglichen. Das bedeutet, dass der angebotene klassifizierte Parkplatz dem Benutzerprofil angepasst ist, das den Fahrzeugtyp des Benutzers aufweisen kann, beispielsweise wird ein Parkplatz für ein Mittelklassefahrzeug angeboten, wenn das Benutzerprofil des Fahrers einen solchen Fahrzeugtyp verwendet. Daher wird einem Fahrer eines Mittelklassefahrzeugs, jedoch nicht einem Fahrer eines größeren Fahrzeugs, ein Parkplatz angeboten, der nur einem Mittelklassefahrzeug angepasst ist.
-
Darüber hinaus schafft die Erfindung auch die Grundlage für den Aufbau von Benutzerprofilen für bevorzugte Parkplätze. Beispielsweise kann jedem Gerät, das auf den Webdienst zugreift, der auf dem externen Servercomputer, z.B. einem Cloud-Server, gehostet wird, eine eindeutige Identifizierung zugeordnet werden. Daher kann ein Benutzerprofil für bevorzugte Parkplätze basierend auf den Fähigkeiten des Fahrers aufgebaut werden, beispielsweise können nur parallele Parkplätze, senkrechte Parkplätze, Rückwärts- oder Vorwärtsparkplätze angeboten werden, wenn diese Anforderung im Benutzerprofil des Fahrers eingestellt ist. Die Erfindung bietet ferner den Vorteil, im Voraus Push-Benachrichtigungen für Parkplätze an den Fahrer zu senden. Das System kennt das Muster des Fahrers, z.B. dass er oder sie zu einer bestimmten Zeit parken muss, so dass entsprechend Parkplätze um seinen oder ihren Arbeitsbereich herum angeboten werden. Bei autonom fahrenden und fahrerlosen Fahrzeugen können solche autonomen Fahrzeuge direkt mit dem System verbunden werden und den ganzen Weg bis zum ausgewählten, klassifizierten Parkplatz fahren.
-
Fahrunterstützungssysteme beinhalten Fahrerassistenzsysteme, die bereits bekannt sind und in herkömmlichen Fahrzeugen verwendet werden. Die entwickelten Fahrunterstützungssysteme werden bereitgestellt, um Fahrzeugsysteme hinsichtlich der Sicherheit und besserem Fahrverhalten zu automatisieren, anzupassen und zu verbessern. Sicherheitsmerkmale sind dafür ausgelegt, Kollisionen und Unfälle zu vermeiden, indem sie Technologien bereitstellen, die den Fahrer vor möglichen Problemen warnen oder Kollisionen durch Implementieren von Sicherheitsmaßnahmen und Übernahme der Fahrzeugkontrolle vermeiden. In autonomen Fahrzeugen stellen die Fahrunterstützungssysteme Eingaben zum Ausführen einer Steuerung des Fahrzeugs bereit. Adaptive Merkmale können die Beleuchtung automatisieren, eine adaptive Geschwindigkeitsregelung bereitstellen, den Bremsvorgang automatisieren, Verkehrswarnungen integrieren, mit Smartphones kommunizieren, z.B. den Fahrer hinsichtlich anderer Autos oder verschiedenartiger Gefahren warnen, das Fahrzeug in der korrekten Fahrspur halten, oder anzeigen, was sich in toten Winkeln befindet. Fahrunterstützungssysteme, die die vorstehend erwähnten Fahrerassistenzsysteme aufweisen, basieren häufig auf Eingaben von einem oder mehreren Umgebungssensoren, wie beispielsweise von im Kraftfahrzeug installierten bildgebenden Eirichtungen, Bildverarbeitung, Radarsensoren, LiDAR, Ultraschallsensoren und anderen Quellen.
-
Insbesondere wird durch die Erfindung ein Verfahren zum Bereitstellen von individuell angepasster Parkinformation über freie Parkplätze für ein Kraftfahrzeug mit einem Fahrunterstützungssystem angegeben, das eine elektronische Steuereinheit (ECU) und eine Übertragungssteuereinheit (TCU) aufweist, wobei mehrere Sensoren am Kraftfahrzeug montiert sind, wobei die mehreren Sensoren mindestens einen ersten Sensor und/oder mindestens einen zweiten Sensor und mindestens einen dritten Sensor aufweisen. Das Verfahren weist die folgenden Schritte auf: Anfordern eines Parkplatzes von einem externen Servercomputer durch eine Geräteanwendung auf einem Gerät, z.B. einem Mobilgerät, wie beispielsweise einem Smartphone, das durch einen Fahrer bedient wird, wobei die Geräteanwendung ein Benutzerprofil des Fahrers aufweist, Erhalten erster Sensordaten und/oder zweiter Sensordaten des mindestens einen ersten und/oder zweiten Sensors durch die elektronische Steuereinheit, Erfassen eines potentiellen Parkplatzes innerhalb der ersten Sensordaten und/oder der zweiten Sensordaten, Erstellen eines Parkplatzinformationsdatensatz, der die ersten Sensordaten und/oder die zweiten Sensordaten aufweist, durch die elektronische Steuereinheit, Übertragen des Parkplatzinformationsdatensatzes an die Übertragungssteuereinheit (TCU) des Kraftfahrzeugs, Erhalten dritter Sensordaten des mindestens einen dritten Sensors durch die Übertragungssteuereinheit (TCU), Übertragen des Parkplatzinformationsdatensatzes von der Übertragungssteuereinheit (TCU) zusammen mit den dritten Sensordaten an den externen Servercomputer, wobei der externe Servercomputer ein tiefes neuronales Netzwerk (DNN) aufweist, Klassifizieren des potentiellen Parkplatzes basierend auf dem Parkplatzinformationsdatensatz durch das DNN, Abgleichen des potentiellen klassifizierten Parkplatzes mit dem Benutzerprofil des Fahrers, der einen Parkplatz angefordert hat, und Auswählen eines passenden klassifizierten Parkplatzes und schließlich Übertragen von individuell angepasster Parkinformation über den ausgewählten klassifizierten Parkplatz an das durch den Fahrer bediente Gerät.
-
Das Anfordern eines Parkplatzes von einem externen Server durch eine Geräteanwendung auf einem durch einen Fahrer bedienten Gerät, wobei die Geräteanwendung ein Benutzerprofil des Fahrers aufweist, kann auf einem eingebetteten Gerät ausgeführt werden, das im Kraftfahrzeug installiert ist, beispielsweise kann eine solches Gerät Teil des Fahrunterstützungssystems sein. In einer besonders vorteilhaften Ausführungsform der Erfindung kann der Schritt zum Anfordern eines Parkplatzes von einem externen Server durch eine Geräteanwendung auf einem durch einen Fahrer bedienten Gerät auf einem Mobilgerät, z.B. einem Smartphone, unter Verwendung z.B. einer Smartphone-Anwendung ausgeführt werden. Das durch einen Fahrer bediente Gerät kann auch ein Gerät des Kraftfahrzeugs sein. Daher kann das durch einen Fahrer bediente Gerät ein eingebettetes Gerät oder ein Mobilgerät sein. Der Benutzer des Geräts kann sich über die Geräteanwendung, die Zugriff auf den externen Servercomputer hat, z.B. einen Cloud-Server, über einen Webdienst oder eine Anwendungsprogrammierschnittstelle (API) registrieren, die auf dem externen Servercomputer gehostet werden kann. Die Geräteanwendung, z.B. eine Smartphone-Anwendung, kann das Benutzerprofil konfigurieren und kann einen Parkplatz vom externen Servercomputer anfordern, der das tiefe neuronale Netzwerk (DNN) und die Datenbank hostet, die derartige Parkplätze als Ergebnis des Klassifizierungsschritts anbietet, der durch das tiefe neurale Netzwerk (DNN) ausgeführt wird.
-
Das Benutzerprofil, das durch die Geräteanwendung, z.B. eine Smartphone-Anwendung, konfiguriert wird, kann die Präferenzen des Fahrers für einen Parkplatz aufweisen, wie beispielsweise den Typ des Fahrzeugs und seine Abmessungen (z.B. Länge, Höhe, usw.), wie etwa ein Mittelklassewagen oder ein großes Fahrzeug, und ob z.B. der Parkplatz ein paralleler oder ein senkrechter Parkplatz sein sollte und z.B. ein Vorwärts- oder Rückwärtsparkplatz oder ein Behindertenparkplatz.
-
Das Anfordern eines Parkplatzes von einem externen Servercomputer, z.B. einem Cloud-Server, durch eine Geräteanwendung, z.B. eine Smartphone-Anwendung, auf einem Gerät, z.B. einem Smartphone, das durch einen Fahrer bedient wird, kann auch als „Abfragen“ eines individuell angepassten freien Parkplatzes bezeichnet werden. Vorzugsweise wird ein Parkplatz von einem externen Servercomputer, z.B. einem Cloud-Server, durch eine Geräteanwendung angefordert, die einen Webdienst kontaktiert, vorzugsweise eine Anwendungsprogrammierschnittstelle (API), die durch den externen Servercomputer gehostet wird.
-
Die Übertragungssteuereinheit (TCU), die den Parkplatzinformationsdatensatz an einen externen Servercomputer, z.B. einen Cloud-Server, überträgt, kann auch als eine „GPS/GSM-Gateway-ECU“ beschrieben werden, die den mindestens einen dritten Sensor, z.B. einen GPS-Empfänger, aufweisen kann, der GPS-Koordinaten bereitstellt. Die Übertragungssteuereinheit (TCU) überträgt dann den Parkplatzinformationsdatensatz zusammen mit den dritten Sensordaten, vorzugsweise GPS-Daten und Zeitdaten („Zeitstempel“), an den externen Servercomputer, z.B. über einen dem Fahrer angebotenen Webdienst, vorzugsweise eine Anwendungsprogrammierschnittstelle (API), die durch den externen Servercomputer gehostet wird.
-
Der Schritt zum Klassifizieren des potentiellen Parkplatzes auf der Basis des Parkplatzinformationsdatensatzes durch das tiefe neuronale Netzwerk (DNN) wird auf dem externen Servercomputer ausgeführt, der vorzugsweise ein Cloud-Server sein kann.
-
Der Deep-Learning-Algorithmus, der die Basis des tiefen neuronalen Netzwerks (DNN) auf dem externen Servercomputer bildet, kann einen „Garbage Collection“-Schritt bereitstellen, in dem alte Parkplatzinformationsdatensätze entfernt werden, z.B. jene Parkplatzinformationsdatensätze, die für eine bestimmte Zeitdauer nicht verwendet worden sind, z.B. 10 bis 60 Minuten, vorzugsweise 20 bis 50 Minuten, bevorzugter 25 bis 40 Minuten, wie beispielsweise für 30 Minuten. Ein solcher Schritt zum Entfernen alter Parkplatzinformationsdatensätze kann im Hintergrund ausgeführt werden.
-
Die Geräteanwendung auf dem Gerät, das durch den Fahrer bedient wird, kann sich auf einem Mobilgerät befinden, z.B. auf einem Smartphone, oder auf einem Gerät, das in das Fahrunterstützungssystem des Kraftfahrzeugs eingebettet ist.
-
Das Erhalten der ersten Sensordaten vom ersten Sensor kann das Empfangen von Ultraschalldaten und/oder Radardaten und/oder Laserscannerdaten aufweisen. Vorzugsweise beinhaltet das Erhalten der zweiten Sensordaten vom zweiten Sensor das Empfangen von Bilddaten, z.B. von Bildern und/oder Videosequenzen. Das Erhalten der dritten Sensordaten vom dritten Sensor kann das Empfangen von Daten des GPS-Systems (Global Positioning System), optional zusammen mit Zeitdaten („Zeitstempel“) aufweisen. Dies bedeutet, dass die GPS-Daten durch die Übertragungssteuereinheit (TCU) zeitgestempelt werden können. Die Parkplatzerfassung kann permanent im Hintergrund aktiv sein, und die ersten Sensordaten (z.B. Ultraschalldaten) und/oder die zweiten Sensordaten (z.B. Bilddaten) können gepuffert werden.
-
Vorzugsweise werden erste Sensordaten (z.B. Ultraschalldaten) und zweite Sensordaten (z.B. Bilddaten) des mindestens einen ersten und des mindestens einen zweiten Sensors durch die elektronische Steuereinheit erhalten. Alternativ ist es auch möglich, nur entweder erste oder zweite Sensor-Daten zu erhalten. Das Empfangen von dritten Sensordaten vom dritten Sensor, das vorzugsweise das Empfangen von Ortsdaten, vorzugsweise GPS-(Global Positioning System) Daten, gegebenenfalls zusammen mit Zeitdaten („Zeitstempel“) aufweist, wird jedoch immer ausgeführt, um in der Lage zu sein, die ersten und/oder zweiten Sensordaten mit einem Ort und einer Zeit zu versehen.
-
Der erste und der zweite Sensor können irgendein Typ von Umgebungssensoren sein, die auf dem Fachgebiet bekannt sind. Der erste und der zweite Sensor können Teil des Fahrunterstützungssystems sein, oder der erste und der zweite Sensor können Teil des Fahrzeugs sein. Ferner können der erste und der zweite Sensor der ausschließlichen Verwendung durch das Fahrunterstützungssystem zugewiesen sein, oder der erste und der zweite Sensor können gemeinsam durch mehrere Fahrunterstützungssysteme entweder auf eine serielle Weise oder parallel verwendet werden.
-
In einer bevorzugten Ausführungsform der Erfindung erfolgt das Übertragen des Parkplatzinformationsdatensatzes zusammen mit den dritten Sensordaten, vorzugsweise GPS-Empfängerdaten, durch die Übertragungssteuereinheit (TCU) an einen externen Servercomputer über eine Anwendungsprogrammierschnittstelle (API), die durch den externen Servercomputer, z.B. einen Cloud-Server, gehostet wird.
-
In einer weiteren Ausführungsform der Erfindung weist das Verfahren einen Schritt zum Speichern des Parkplatzinformationsdatensatzes zusammen mit den dritten Sensordaten in einer Datenbank des externen Servercomputers, vorzugsweise mit einer Markierung, auf. Die dritten Sensordaten, die zusammen mit dem Parkplatzinformationsdatensatz gespeichert werden, können Ortsdaten, z.B. GPS-Daten von einem GPS-Empfänger als ein dritter Sensor, und/oder Zeitdaten enthalten. Die zweiten Sensordaten, die zusammen mit dem Parkplatzinformationsdatensatz gespeichert werden, können ein Bild des ausgewählten Parkplatzes enthalten. Die Markierung, die zusammen mit dem Parkplatzinformationsdatensatz und den dritten Sensordaten gespeichert werden kann, kann die Kategorie aufweisen, die das Ergebnis der Klassifizierung durch das tiefe neuronale Netzwerk (DNN) ist. Derartige Kategorien als Markierungen können z.B. „Parkplatz“, „kein Parkplatz“, „spezieller Parkplatz für einen bestimmten Fahrzeugtyp“, „senkrechter Parkplatz“, „paralleler Parkplatz“, „Rückwärtsparkplatz“, „Vorwärtsparkplatz“ und „Behindertenparkplatz“ sein.
-
Das Übertragen von individuell angepasster Parkinformation über den ausgewählten klassifizierten Parkplatz an das durch den Fahrer bediente Gerät kann das Übertragen dritter Sensordaten und/oder zweiter Sensordaten beinhalten. Vorzugsweise weist der Schritt zum Übertragen von individuell angepasster Parkinformation über den ausgewählten klassifizierten Parkplatz an das Gerät das Übertragen dritter Sensordaten, vorzugsweise Ortsdaten, bevorzugter GPS-Daten (Global Positioning System), und/oder Zeitdaten, und vorzugsweise zweiter Sensordaten, vorzugsweise ein Bild des ausgewählten klassifizierten Parkplatzes, auf. Wenn ein passender Parkplatz gefunden wird, der mit dem Benutzerprofil übereinstimmt, kann individuell angepasste Parkinformation über den ausgewählten Parkplatz an das durch den Fahrer bediente Gerät übertragen werden, einschließlich der Parkplatzkoordinaten und vorzugsweise eines Parkplatzbildes. Das Übertragen von individuell angepasster Parkinformation über den ausgewählten, klassifizierten Parkplatz, die mit dem Benutzerprofil des Fahrers übereinstimmt, an das durch den Fahrer bediente Gerät kann das Übertragen dritter Sensordaten, z.B. GPS-Daten von einem GPS-Empfänger als ein dritter Sensor und/oder Zeitdaten, an das durch den Fahrer bediente Gerät aufweisen. Zusätzlich kann das Übertragen von individuell angepasster Parkinformation über den ausgewählten, klassifizierten Parkplatz ferner das Übertragen zweiter Sensordaten, z.B. eines Bilds des ausgewählten Parkplatzes, aufweisen. Ferner kann das Übertragen von individuell angepasster Parkinformation über den ausgewählten, klassifizierten Parkplatz an das durch den Fahrer bediente Gerät auch das Übertragen der Markierung, z.B. der Kategorie, die das Ergebnis der Klassifizierung durch das tiefe neuronale Netzwerk (DNN) ist, an das durch den Fahrer bediente Gerät aufweisen.
-
In einer weiteren vorteilhaften Ausführungsform der Erfindung navigiert die Geräteanwendung zu dem ausgewählten klassifizierten Parkplatz. Beispielsweise kann die Geräteanwendung auf dem durch den Fahrer bedienten Gerät auf einem Mobilgerät installiert sein, z.B. auf einem Smartphone, oder auf einem Gerät, das in das Fahrunterstützungssystem des Kraftfahrzeugs eingebettet ist, und kann ferner die Option bieten, zu dem ausgewählten klassifizierten Parkplatz zu navigieren. Das Navigieren zu dem ausgewählten klassifizierten Parkplatz kann auf halbautonome oder auf autonome Weise erfolgen.
-
Gemäß einer weiteren Ausführungsform der Erfindung ist eine Verwendung des erfindungsgemäßen Verfahrens in einem System zum Bereitstellen von individuell angepasster Parkinformation über freie Parkplätze für ein Kraftfahrzeug angegeben.
-
Durch die Erfindung ist ferner ein System zum Bereitstellen von individuell angepasster Parkinformation über freie Parkplätze für ein Kraftfahrzeug angegeben, das ein Fahrunterstützungssystem, einen externen Servercomputer und ein Gerät aufweist, wobei das System dafür konfiguriert ist, das erfindungsgemäße Verfahren auszuführen.
-
Der externe Servercomputer des erfindungsgemäßen Systems und des erfindungsgemäßen Verfahrens kann ein Cloud-Server sein. Ein solcher Cloud-Server kann die Webdienste, vorzugsweise eine Anwendungsprogrammierschnittstelle (API), die Parkplatzinformationsdatenbank und das tiefe neuronale Netzwerk (DNN) hosten, das zur Klassifizierung der potentiellen Parkplätze verwendet wird.
-
Das Gerät kann in das Kraftfahrzeug bzw. in das Fahrunterstützungssystem eingebettet sein. Alternativ kann das Gerät ein Mobilgerät sein, beispielsweise ein Smartphone. Eine Geräteanwendung kann auf dem Gerät ausgeführt werden, beispielsweise kann auf dem Smartphone eine Smartphone-Anwendung z.B. zum Anfordern eines Parkplatzes vom externen Servercomputer ausgeführt werden. Das Gerät, z.B. ein Smartphone, kann die individuell angepasste Parkinformation über den ausgewählten klassifizierten Parkplatz erhalten, die vom externen Servercomputer übertragen wird. Ein derartiges Gerät kann durch den Fahrer des Kraftfahrzeugs bedient werden.
-
Gemäß einer weiteren Ausführungsform der Erfindung ist ein System zum Bereitstellen von individuell angepasster Parkinformation über freie Parkplätzen für ein Kraftfahrzeug angegeben, das ein Fahrunterstützungssystem für ein Kraftfahrzeug, einen externen Servercomputer und ein Gerät aufweist, wobei das System dafür konfiguriert ist, das vorstehende Verfahren auszuführen.
-
Die elektronische Steuereinheit (ECU) ist verantwortlich für die Erfassung der Parkplätze durch Abrufen mindestens erster und/oder zweiter Sensordaten. Die erfassten ersten und/oder zweiten Sensordaten können z.B. über einen Fahrzeugbus an die Übertragungssteuereinheit (TCU) übertragen werden.
-
Vorzugsweise weist der mindestens eine erste Sensor einen Ultraschallsensor und/oder einen Radarsensor und/oder einen Laserscanner auf.
-
Der mindestens eine zweite Sensor kann mindestens ein Kamerasystem aufweisen, das eine oder mehrere Kameras aufweist, wobei die Kameras vorzugsweise eine Rundumansicht des Fahrzeugs bereitstellen, z.B. ein „Rundumsicht-Kamerasystem“.
-
Vorzugsweise weist der mindestens eine dritte Sensor einen GPS-Empfänger auf, der GPS-Koordinaten bereitstellen und den Parkplatzinformationsdatensatz mit einem Zeitstempel versehen kann. Ein solcher dritter Sensor kann Teil der elektronischen Steuereinheit (ECU) oder Teil der Übertragungssteuereinheit (TCU) sein.
-
Die Übertragungssteuereinheit (TCU) kann eine GPS/GSM-Gateway-ECU sein und weist vorzugsweise den mindestens einen dritten Sensor zum Bereitstellen dritter Sensordaten, z.B. zum Bereitstellen von GPS-Koordinaten als dritte Sensordaten und von Zeitstempeln auf, und überträgt die ersten und/oder zweiten und dritten Sensordaten an den externen Servercomputer, z.B. einen Cloud-Server.
-
Durch die Erfindung ist ferner ein Servercomputer zum Bereitstellen von individuell angepasster Parkinformation über freie Parkplätze für ein Kraftfahrzeug angegeben, wobei der Servercomputer eine Kommunikationseinrichtung aufweist, die dafür konfiguriert ist, Parkplatzinformationsdatensätze von einer Übertragungssteuereinheit eines Kraftfahrzeugs zu empfangen und mit einem Gerät zu kommunizieren, das durch einen Fahrer des Kraftfahrzeugs bedient wird, und einen Prozessor, wobei der Servercomputer dazu geeignet ist, eine Anforderung für einen Parkplatz von einer Geräteanwendung auf dem durch einen Fahrer bedienten Gerät zu empfangen, wobei die Geräteanwendung ein Benutzerprofil des Fahrers aufweist, der Servercomputer dazu geeignet ist, einen Parkplatzinformationsdatensatz, der erste und/oder zweite Sensordaten enthält, zusammen mit dritten Sensordaten eines potentiellen Parkplatzes von der Übertragungssteuereinheit zu empfangen, der Prozessor dafür konfiguriert ist, basierend auf dem Parkplatzinformationsdatensatz den potentiellen Parkplatz durch ein tiefes neuronales Netzwerk (DNN) zu klassifizieren, der Servercomputer dazu geeignet ist, den potentiellen Parkplatz mit einem Benutzerprofil des Fahrers, der einen Parkplatz angefordert hat, abzugleichen und einen passenden klassifizierten Parkplätze auszuwählen, und der Servercomputer dazu geeignet ist, individuell angepasste Parkinformation über den ausgewählten klassifizierten Parkplatz an das durch den Fahrer bediente Gerät zu übertragen.
-
In einer bevorzugten Ausführungsform der Erfindung ist das tiefe neuronale Netzwerk (DNN) ein konvolutionelles neuronales Netzwerk (CNN).
-
Diese und andere Aspekte der Erfindung werden anhand der nachfolgend beschriebenen Ausführungsformen und Beispiele ersichtlich und erläutert. Einzelne Merkmale, die in den Ausführungsformen dargelegt sind, bilden allein oder in Kombination einen Aspekt der vorliegenden Erfindung. Merkmale der verschiedenen Ausführungsformen können von einer Ausführungsform auf eine andere Ausführungsform übertragen werden. Ausführungsformen der vorliegenden Erfindung werden in den folgenden Beispielen näher beschrieben, die lediglich zur Erläuterung dienen und die Erfindung in keiner Weise einschränken sollen.
-
Es zeigen:
- 1 schematisch eine exemplarische Ausführungsform des erfindungsgemäßen Verfahrens mit einer Folge von Verfahrensschritten in Form eines Ablaufdiagramms, die schließlich zum Übertragen von individuell angepasster Parkinformation über den ausgewählten klassifizierten Parkplatz an das durch den Fahrer bediente Gerät und dazu führen, dass die Geräteanwendung zum ausgewählten Parkplatz navigiert;
- 2 schematisch eine exemplarische Ausführungsform des Systems zum Bereitstellen von individuell angepasster Parkinformation über freie Parkplätze für ein Kraftfahrzeug mit einem Fahrunterstützungssystem, das eine elektronische Steuereinheit, eine Übertragungssteuereinheit und einen externen Servercomputer, eine Cloud, einen Satelliten und ein Gerät aufweist, wobei das System dafür konfiguriert ist, das erfindungsgemäße Verfahren auszuführen; und
- 3 schematisch eine exemplarische Ausführungsform des Verfahrens und des Systems zum Bereitstellen von individuell angepasster Parkinformation über freie Parkplätze für ein Kraftfahrzeug.
-
Beispiel 1
-
Die 1 und 2 zeigen ein Beispiel 1 einer exemplarischen Ausführungsform des Verfahrens und des Systems zum Bereitstellen von individuell angepasster Parkinformation über freie Parkplätze für ein Kraftfahrzeug 1.
-
1 zeigt schematisch eine exemplarische Ausführungsform des erfindungsgemäßen Verfahrens in Form eines Ablaufdiagramms mit einer Folge von Verfahrensschritten, die schließlich zum Übertragen von individuell angepasster Parkinformation über den ausgewählten klassifizierten Parkplatz an das durch den Fahrer bediente Gerät 9 und dazu führen, dass die Geräteanwendung zum ausgewählten Parkplatz navigiert.
-
2 zeigt eine exemplarische Ausführungsform des Systems zum Bereitstellen von individuell angepasster Parkinformation über freie Parkplätze 12 für ein Kraftfahrzeug 1 mit einem Fahrunterstützungssystem 2, das eine elektronische Steuereinheit 6, eine Übertragungssteuereinheit 7 und einen externen Servercomputer 8 (z.B. einen Cloud-Server), eine Cloud 10, einen Satelliten 11 und ein Gerät 9 aufweist, wobei das System dafür konfiguriert ist, das in 1 dargestellte erfindungsgemäße Verfahren auszuführen.
-
Gemäß diesem Beispiel wird ein durch einen Fahrer bedientes Gerät 9 verwendet, um einen Parkplatz über eine Geräteanwendung von einem externen Servercomputer 8 anzufordern, der eine Cloud 10, eine Parkplatzdatenbank 14 und Webdienste hosted, z.B. eine Anwendungsprogrammierschnittstelle (API). In dieser Ausführungsform ist das durch einen Fahrer bediente Gerät 9 ein Mobiltelefon. Die Geräteanwendung konfiguriert ein Benutzerprofil des Fahrers und fragt einen Parkplatz ab. Die Parkplatzdatenbank 14 für klassifizierte Parkplätze in der Cloud 10, die durch den externen Servercomputer 8 gehostet wird, besteht aus Parkplatzinformationsdatensätzen und dritten Sensordaten, üblicherweise GPS-Koordinaten und Zeitdaten („Zeitstempeln“), die von einem oder mehreren Fahrzeugen 1 über die Übertragungssteuereinheit 7 (TCU) an die Cloud 10 übertragen werden.
-
Ein Fahrzeug 1 weist ein Fahrunterstützungssystem 2 mit einer elektronischen Steuereinheit 6 (ECU) und einer Übertragungssteuereinheit 7 (TCU) auf. Die elektronische Steuereinheit 6 (ECU) erhält erste Sensordaten und/oder zweite Sensordaten von mindestens einem ersten Sensor 3 (z.B. Ultraschallsensor, Radarsensor und/oder Laserscanner) und/oder mindestens einem zweiten Sensor 4 (z.B. einem Kamerasystem). Die elektronische Steuereinheit 6 (ECU) erfasst einen potentiellen Parkplatz innerhalb der ersten Sensordaten und/oder der zweiten Sensordaten und erstellt einen Parkplatzinformationsdatensatz, der die ersten und/oder zweiten Sensordaten enthält. Der mindestens eine erste Sensor 3 kann ein Ultraschallsensor und/oder ein Radarsensor und/oder ein Laserscanner sein. Der mindestens eine zweite Sensor 4 weist üblicherweise mindestens ein Kamerasystem mit einer oder mehreren Kameras auf, z.B. ein „Rundumsichtsystem“. Das Kraftfahrzeug 1 von 2 ist in einer beispielhaften Weise derart dargestellt, dass es eine linke und eine rechte Außenspiegelkamera als zweite Sensoren 4 aufweist, wobei die rechte Außenspiegelkamera Bilder eines freien Parkplatzes 12 innerhalb ihres Sichtfelds 13 aufnimmt. Die ersten Sensordaten sind Ultraschallsensor- und/oder Radarsensor- und/oder Laserscannerdaten. Die zweiten Sensordaten sind Bilddaten, die Bilder und/oder Videosequenzen enthalten. Die elektronische Steuereinheit 6 (ECU) überträgt den Parkplatzinformationsdatensatz z.B. über einen Fahrzeugbus an die Übertragungssteuereinheit 7 (TCU). Die Übertragungssteuereinheit 7 (TCU) erhält dann von mindestens einem dritten Sensor 5, üblicherweise einem GPS-Empfänger, dritte Sensordaten, üblicherweise GPS-Koordinaten und Zeitdaten („Zeitstempel“), und überträgt den Parkplatzinformationsdatensatz zusammen mit den dritten Sensordaten (GPS-Koordinaten, Zeitdaten) an den externen Servercomputer 8. Der externe Servercomputer 8 hostet die Cloud 10, das tiefe neuronale Netzwerk (DNN), die Parkplatzdatenbank 14 und die Webdienste, z.B. eine Anwendungsprogrammierschnittstelle (API). Die GPS-Koordinaten werden durch einen Satelliten 11 bereitgestellt. Somit fügt die Übertragungssteuereinheit 7 (TCU) effektiv dritte Sensordaten als GPS-Koordinaten hinzu und versieht den Parkplatzinformationsdatensatz mit einem Zeitstempel und überträgt ihn an den externen Servercomputer 8, der die Cloud 10 hostet.
-
Der externe Servercomputer 8, der die Cloud 10 und die Parkplatzdatenbank 14 hostet, hostet auch ein tiefes neuronales Netzwerk (DNN), in dem ein potentieller Parkplatz basierend auf dem Parkplatzinformationsdatensatz klassifiziert wird. Das tiefe neuronale Netzwerk (DNN) kann ein konvolutionelles neuronales Netzwerk (CNN) sein. Das tiefe neuronale Netzwerk (DNN) stellt eine Datenbank 14 validierter, klassifizierter Parkplätze bereit, die durch das Gerät 9 über die Geräteanwendung, z.B. eine Smartphone-Anwendung, abgefragt werden können. Der potentielle klassifizierte Parkplatz in der Datenbank 14 wird dann über die Geräteanwendung mit dem Benutzerprofil des Fahrers, der einen Parkplatz angefordert hat, abgeglichen. Anschließend wird ein passender klassifizierter Parkplatz ausgewählt. Die abgeglichene, d.h. individuell angepasste Parkinformation über den ausgewählten klassifizierten Parkplatz wird dann an das Gerät 9 übertragen, das durch den Fahrer bedient wird, der den Parkplatz angefordert hat. Die individuell angepasste Parkinformation über den ausgewählten klassifizierten Parkplatz, die an den Fahrer übertragen wird, beinhaltet dritte Sensordaten, vorzugsweise Ortsdaten des Parkplatzes, vorzugsweise GPS-Daten, und/oder Zeitdaten, und vorzugsweise zweite Sensordaten, vorzugsweise ein Bild des Parkplatzes.
-
Beispiel 2
-
3 zeigt ein Beispiel 2 einer exemplarischen Ausführungsform des Verfahrens und Systems zum Bereitstellen von individuell angepasster Parkinformation über freie Parkplätze für ein Kraftfahrzeug 1 in 3 dargestellt.
-
3 zeigt schematisch ein Fahrzeug 1 mit einem Fahrunterstützungssystem 2, das eine elektronische Steuereinheit 6 (ECU) und eine Übertragungssteuereinheit 7 (TCU) aufweist. Die Übertragungssteuereinheit 7 (TCU) überträgt Daten über einen potentiellen Parkplatz, d.h. einen „Parkplatzkandidaten“, an den externen Servercomputer 8, der die Cloud 10 hostet. Die Daten werden an einen Webdienst, z.B. eine Anwendungsprogrammierschnittstelle (API), übertragen, die auf dem externen Servercomputer 8, z.B. einem Cloud-Server, der die Cloud 10 hostet, gehostet wird. Die durch die Übertragungssteuereinheit 7 (TCU) übertragenen Daten beinhalten den Parkplatzinformationsdatensatz erster und/oder zweiter Sensordaten (üblicherweise Ultraschall- und/oder Bilddaten) und dritter Sensordaten, die GPS-Koordinaten und Zeitdaten („Zeitstempel“) aufweisen. Der Webdienst, z.B. eine Anwendungsprogrammierschnittstelle (API), die auf dem externen Servercomputer 8, üblicherweise einem Cloud-Server, der die Cloud 10 hostet, gehostet wird, kann der Übertragungssteuereinheit 7 (TCU) den Empfang der Daten des Parkplatzkandidaten bestätigen. Der Webdienst (API) fügt dann die vorstehenden Daten des potentiellen Parkplatzes („Parkplatzkandidat“) in die Datenbank 14 ein, die durch den externen Servercomputer 8 (Cloud-Server) gehostet wird. Dann wird die Integrität des Parkplatzkandidaten durch einen Integritätsprüfprozess überprüft. Parkplatzkandidaten, die keine Integrität aufweisen, z.B. ungeeignete Parkplätze, falschpositive Resultate, können aus der Datenbank gelöscht werden. Parkplatzkandidaten, für die eine Integrität festgestellt worden ist, werden dann durch den Validierungs- und Klassifizierungsprozess, der durch das tiefe neuronale Netzwerk (DNN) basierend auf einer Bildanalyse und tiefem Lernen ausgeführt wird, validiert und klassifiziert. Parkplatzkandidaten werden zurückgewiesen, wenn sie den Validierungsprozess nicht bestehen („zurückgewiesene Parkplätze“). Parkplatzkandidaten, deren Integrität festgestellt worden ist und die validiert und klassifiziert worden sind, werden dann über den cloudbasierten Webdienst (APIs) dem Geräteanwendungssystem des Geräts 9, z.B. einem Smartphone-Application-Integrated-System, das auf dem durch den Fahrer bedienten Gerät 9 ausgeführt wird, angeboten. Diese validierten, klassifizierten Parkplätze werden dann mit den Anforderungen des Benutzerprofils des Fahrers abgeglichen. Passende, klassifizierte Parkplätze, die den Anforderungen des Fahrers entsprechen, werden ausgewählt und dem Fahrer als Parkplätze angeboten. Die jeweiligen dritten Sensordaten, vorzugsweise Ortsdaten des Parkplatzes, z.B. GPS-Koordinaten, und/oder Zeitdaten, und vorzugsweise auch zweite Sensordaten, z.B. Bilddaten, werden an den Fahrer übertragen, der einen Parkplatz angefordert hat. Neben dem Smartphone-Application-Integrated-System auf dem Gerät 9 kann der Fahrer auch eine web-basierte Klassifizierung für eine manuelle Klassifizierung von Parkplätzen ausführen.
-
Bezugszeichenliste
-
- 1
- Kraftfahrzeug
- 2
- Fahrunterstützungssystem
- 3
- erster Sensor
- 4
- zweiter Sensor
- 5
- dritter Sensor
- 6
- elektronische Steuereinheit (ECU)
- 7
- Übertragungssteuereinheit (TCU)
- 8
- externer Servercomputer
- 9
- Gerät
- 10
- Cloud
- 11
- Satellit
- 12
- freier Parkplatz
- 13
- Sichtfeld
- 14
- Parkplatzdatenbank
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102012216994 A1 [0007]
- US 2014/0340242 A1 [0008]
- DE 102004018204 A1 [0009]
