-
Die vorliegende Erfindung betrifft ein Verfahren zum Unterstützen eines Fahrers eines Fahrzeugs. Die vorliegende Erfindung betrifft ferner ein Fahrunterstützungssystem, das ein derartiges Verfahren zumindest zum Teil ausführen kann.
-
Eine Vielzahl von Fahrunterstützungssystemen, wie etwa teilweise oder vollautomatische Parksysteme, ist an sich bekannt. Derartige Systeme umfassen vielzählige Manöver, wie beispielsweise vorwärtsfahrendes oder rückwärtsfahrendes rechtwinkliges Parken, vorwärtsfahrendes paralleles Einparken oder Fischgrätenparken. In herkömmlichen Systemen wird ein potentiell zu verwendender Parkraum basierend auf Umgebungsdaten erfasst, welche von entsprechenden Sensoren, wie insbesondere von Ultraschallsensoren, erzeugt werden.
-
Insbesondere sind derartige Systeme bekannt, welche statische von dynamischen Umgebungsobjekten unterscheiden können, um gegebenenfalls den Bewegungsvektor der dynamischen Objekte zu ermitteln und so bessere Fahrentscheidungen zu treffen. Ferner kann dies verwendet werden, um parklückenbegrenzende Objekte etwa von sich bewegenden Fußgängern zu unterscheiden. Derartige Ausgestaltungen basieren auf einer detektierten Bewegung der Objekte.
-
DE 10 2009 028 760 A1 beschreibt ein Verfahren zur Prüfung der Umgebung eines Kraftfahrzeugs umfassend folgende Schritte: (a) Erfassen der Umgebung des Kraftfahrzeugs vor und während eines Einparkvorganges, (b) Speichern der in Schritt (a) erfassten Daten der Umgebung des Kraftfahrzeugs, (c) Prüfen der in Schritt (b) gespeicherten Daten auf Plausibilität bei einem Neustart des Kraftfahrzeugs. Die Plausibilitätsprüfung der in Schritt (b) gespeicherten Daten soll sicherstellen, dass eine Fahrunterstützung nicht auf veralteten Daten beruht und beispielsweise basieren auf permanent oder nach einem Neustart gemessenen Abstandsdaten zu benachbarten Objekten im Vergleich mit gespeicherten Abstandsdaten.
-
DE 10 2007 036 251 A1 betrifft ein Verfahren zum Unterstützen von Ausparkvorgängen und eine entsprechende Vorrichtung, wobei Daten unterschiedlicher Bordsensoren für die Ermittlung eines kollisionsfreien Ausparkvorganges benutzt werden, mit den Schritten: a) Ermittlung von Sensordaten beim Einparken zum Modellieren der physikalischen Umgebung des Kraftfahrzeugs, b) Berechnung von Daten zum Beschreiben der Umgebung, c) Abspeichern der Daten, d) Abrufen der gespeicherten Daten zum Ermitteln der für das Ausparken relevanten physikalischen Umgebung des Kraftfahrzeugs, e) Überprüfung der gespeicherten Daten auf Plausibilität, f) Freigeben der Daten und g) Verwenden der Daten zum Berechnen eines kollisionsfreien Au sparkweg es.
-
Derartige aus dem Stand der Technik bekannte Lösungen können noch weiteres Verbesserungspotential bieten, insbesondere hinsichtlich einer Fahrunterstützung nach einem Ruhezustand eines Fahrunterstützungssystems.
-
Es ist die Aufgabe der vorliegenden Erfindung, die aus dem Stand der Technik bekannten Nachteile zumindest teilweise zu überwinden. Es ist insbesondere die Aufgabe der vorliegenden Erfindung, eine Lösung bereitzustellen, durch welche die Ausgabe von Fahrhinweisen insbesondere aber nicht zwingend beschränkt hierauf nach einem Ruhezustand eines Fahrunterstützungssystems verbessert werden kann.
-
Die Lösung der Aufgabe erfolgt erfindungsgemäß durch ein Verfahren mit den Merkmalen des Anspruchs 1. Die Lösung der Aufgabe erfolgt erfindungsgemäß ferner durch ein Fahrunterstützungssystem mit den Merkmalen des Anspruchs 10. Bevorzugte Ausgestaltungen der Erfindung sind in den Unteransprüchen, in der Beschreibung oder den Figuren beschrieben, wobei weitere in den Unteransprüchen oder in der Beschreibung oder den Figuren beschriebene oder gezeigte Merkmale einzeln oder in einer beliebigen Kombination einen Gegenstand der Erfindung darstellen können, wenn sich aus dem Kontext nicht eindeutig das Gegenteil ergibt.
-
Es wird vorgeschlagen ein Verfahren zum Unterstützen eines Fahrers eines Fahrzeugs unter Verwendung eines Fahrunterstützungssystems, aufweisend die Verfahrensschritte:
- a) Durchführen einer Umfelderfassung der Umgebung des Fahrzeugs mit wenigstens einem Umfelderfassungssensor unter Ermittlung von Umgebungsdaten; wobei Verfahrensschritt a) durchgeführt wird unter Verwendung der Schritte:
- a1) Detektieren von Objekten in der Umgebung des Fahrzeugs;
- a2) Durchführen einer Klassifizierung der detektierten Objekte in erste Objekte und zweite Objekte, wobei die ersten Objekte immobile Objekte sind und wobei die zweiten Objekte potentielle mobile Objekte sind;
- b) Abspeichern der Umgebungsdaten umfassend die Position der ersten Objekte und insbesondere der zweiten Objekte;
- c) Abrufen der gespeicherten Umgebungsdaten zum Bereitstellen von Umgebungsinformationen; wobei
- d) bei Verfahrensschritt c) die Umgebungsinformationen nur die ersten Objekte umfassen.
-
Ein derartiges Verfahren erlaubt insbesondere ein verbessertes Bereitstellen einer Fahrerunterstützung, insbesondere nach einem Ruhezustand eines dieses Verfahren zumindest zum Teil ausführenden Fahrunterstützungssystems.
-
Die vorliegende Erfindung betrifft somit ein Verfahren zum Unterstützen eines Fahrers eines Fahrzeugs. Dabei kann das Unterstützen des Fahrers und dabei das hier beschriebene Verfahren ein vollständig autonomes Fahren betreffen, also kann das Verfahren für ein Fahren des Fahrzeugs ohne einen Fahreingriff eines Fahrers ausgelegt sein. Alternativ ist es möglich, dass das Verfahren dazu dient, den Fahrer bei einem Fahren lediglich zu unterstützen, also etwa Fahrhinweise auszugeben, wobei der Fahrer bestimmte Fahreingriffe selbst durchführen muss.
-
Das Verfahren kann somit zumindest teilweise durch ein Fahrunterstützungssystem ausgeführt werden, welches Bestandteil des Fahrzeugs ist. Insbesondere kann das Fahrzeug ein Kraftfahrzeug sein.
-
Um das Verfahren durchzuführen weist das hier beschriebene Verfahren die folgenden Verfahrensschritte auf, wobei die nachfolgend beschriebenen Verfahrensschritte grundsätzlich in der beschriebenen Reihenfolge chronologisch oder auch in einer zumindest teilweise abweichenden Reihenfolge ablaufen können, wenn dies aus dem Kontext nicht eindeutig ausgeschlossen wird.
-
Zunächst umfasst das beschriebene Verfahren gemäß Verfahrensschritt das a) das Durchführen einer Umfelderfassung der Umgebung des Fahrzeugs mit wenigstens einem Umfelderfassungssensor unter Ermittlung von Umgebungsdaten.
-
Dieser Schritt kann grundsätzlich etwa für Fahrunterstützungssysteme bekannt sein, um etwa die Umgebung des Fahrzeugs zu beobachten und Objekte zu detektieren. Dieser Schritt kann grundsätzlich erfolgen durch an sich bekannte Umfelderfassungssensoren, die Bestandteil des Fahrunterstützungssystems sein können. Bevorzugt kann Verfahrensschritt a) erfolgen unter Verwendung wenigstens eines Umfelderfassungssensors, der ausgewählt ist aus der Gruppe bestehend aus Ultraschallsensoren, LIDARs, radarbasierten Sensoren. Derartige Umfelderfassungssensoren sind weitläufig bekannt und können auf sichere und effektive Weise eine Umfeldbeobachtung ermöglichen, wobei entsprechende Objekte detektiert werden können.
-
Verfahrensschritt a) kann dabei permanent erfolgen oder durch ein bestimmtes Ereignis ausgelöst werden, sei es automatisiert oder manuell. Das Ereignis, welches den Verfahrensschritt a) auslösen kann, kann etwa das Einleiten oder Beenden einer Fahrsequenz sein, welche beispielsweise ein Einparken beinhaltet. Beispielsweise kann der Fahrer des Fahrzeugs eingeben, dass ein Parkvorgang erfolgen soll erfolgt ist oder es kann anhand von Navigationsdaten, also etwa einem eingegebenen Ziel und der derzeitigen Position, ermittelt werden, dass ein Parkvorgang aufgrund des Erreichens des Ziels erfolgen soll oder erfolgt ist, so eine Umfelderfassung starten oder fortgeführt kann.
-
Dieser Verfahrensschritt a) erlaubt insbesondere das Erfassen von Umgebungsdaten, wobei die Umgebungsdaten insbesondere die Position und Art von Objekten in der Umgebung des Fahrzeugs betreffen, wie dies nachfolgend in größerem Detail beschrieben ist.
-
Dabei ist es vorgesehen, dass Verfahrensschritt a) durchgeführt wird unter Verwendung der Schritte:
- a1) Detektieren von Objekten und dabei insbesondere von deren Position in der Umgebung des Fahrzeugs;
- a2) Durchführen einer Klassifizierung der detektierten Objekte in erste Objekte und zweite Objekte, wobei die ersten Objekte immobile Objekte sind und wobei die zweiten Objekte potentielle mobile Objekte sind.
-
Bezüglich des Verfahrensschritts a1) werden somit Objekte detektiert, welche in der Umgebung des Fahrzeugs positioniert sind. Die Umgebung des Fahrzeugs kann dabei insbesondere Positionen benachbart zu einer geplanten Trajektorie oder benachbart zu einer momentanen Position sein, also etwa innerhalb eines definierten beziehungsweise definierbaren Umkreises oder auf oder neben einer zu befahrenden Fahrbahn. Ferner wird deren Position bestimmt, also insbesondere deren relative Position zu dem Fahrzeug.
-
Mit Bezug auf ein Einparken, beispielsweise, können derartige können Objekte grundsätzlich sämtliche Objekte sein, welche auf einem einen oder mehrere Parkplätze aufweisenden Parkraum positioniert sind und welche etwa den Parkraum oder hierauf befindliche Parkplätze beispielsweise begrenzen oder sich auf oder neben einer geplanten Trajektorie befinden. Dieser Schritt kann wiederum mit den Umfelderfassungssensoren erfolgen, welche grundsätzlich als Bestandteile für Fahrunterstützungssysteme bekannt sind.
-
Insbesondere dann, wenn derartige Objekte detektiert worden sind, erfolgt gemäß Verfahrensschritt a2) die vorbeschrieben Klassifizierung in erste und zweite Objekte. Wie vorstehend beschrieben sind die ersten Objekte immobile Objekte und sind die zweiten Objekte potentielle mobile Objekte. Dabei kann ein potentielles mobiles Objekt neben mobilen sich bewegenden Objekten auch Objekte umfassen, welche beispielsweise während der Erfassung statisch sind und später nach der Erfassung mobil sein können, wie beispielsweise ein stehender Fußgänger. Derartige mobile Objekte können von einem herkömmlichen Systen als gute Referenz wahrgenommen werden. Das System würde beispielsweise in einem derartigen Fall einen stehenden Fußgänger als potentielles mobiles Objekt einstufen und nicht als Referenz.
-
Nach dem Klassifizieren der Objekte erfolgt gemäß Verfahrensschritt b) das Abspeichern der Umgebungsdaten umfassend die Position der ersten Objekte und bevorzugt auch der zweiten Objekte. Somit werden in diesem Verfahrensschritt die entsprechenden Umgebungsdaten aufweisend die Position der Objekte und deren Klassifizierung zu einem bestimmten Zeitpunkt gespeichert, so dass die Umgebung des Fahrzeugs zu dem Zeitpunkt des Abspeicherns erneut abrufbar ist. Das Abspeichern kann auf einem geeigneten Speicher des Fahrunterstützungssystems erfolgen, welcher dazu geeignet ist, auch nach einer gewissen Zeit des Nicht-Gebrauchens des Fahrunterstützungssystems die gespeicherten Umgebungsdaten wieder bereitzustellen.
-
Weiterhin umfasst das beschriebene Verfahren gemäß Verfahrensschritt c) das Abrufen der gespeicherten Umgebungsdaten. In diesem Verfahrensschritt werden somit die in Verfahrensschritt a) erfassten Umgebungsdaten, also insbesondere die Position und die Art der detektierten Objekte, also ob es sich um erste oder zweite Objekte handelt, aus dem Speicher abgerufen, auf welchem diese gemäß Verfahrensschritt b) gespeichert sind. Das Abspeichern kann dabei zu einer wählbaren Zeit periodisch, wählbar oder singulär erfolgen. Durch das Abrufen der Umgebungsdaten kann die zu dem Zeitpunkt des Abspeicherns vorliegende Umgebung des Fahrzeugs zu einem wählbaren Zeitpunkt wieder abgerufen und für eine grundsätzlich wählbare Fahrunterstützung verwendet werden. Beispielsweise aber in keiner Weise beschränkend können die abgerufenen Umgebungsdaten für einen Einparkvorgang beziehungsweise für einen Ausparkvorgang verwendet werden.
-
Bezüglich Verfahrensschritts c) ist es gemäß dem Verfahrensschritt d) weiterhin vorgesehen, dass bei Verfahrensschritt c) die Umgebungsinformationen nur die ersten Objekte umfassen. In anderen Worten können die abgerufenen Umgebungsinformationen lediglich die immobilen Objekte beziehungsweise die ersten Objekte umfassen. Dies kann beispielsweise realisierbar sein, indem bei einem Abrufen der gespeicherten Daten lediglich die ersten Objekte abgerufen werden und die gespeicherten zweiten Objekte ignoriert werden, oder es kann vorgesehen sein, dass bei einem Abspeichern der jeweiligen Daten nur die ersten Objekte abgespeichert werden, wobei letztere Variante Speicherplatz einsparen kann.
-
Entsprechend werden gemäß diesem Verfahren die detektierten Objekte dahingehend untersucht beziehungsweise klassifiziert, ob die Objekte beispielsweise bei der Erfassung eines Parkplatzes als erste Objekte von hoher Wichtigkeit sind und daher zwingend beachtet werden müssen, also zu beachtende Objekte sind, oder ob die Objekte als zweite Objekte gegebenenfalls von vernachlässigbarer Wichtigkeit sind, also vernachlässigbare Objekte sind, da sie beispielsweise einen Parkvorgang oder eine andere Fahrsequenz nicht oder nicht signifikant stören.
-
Wie dies nachstehend in größerem Detail beschrieben ist können beispielsweise geparkte Fahrzeuge oder unbewegliche Bauelemente oder andere Gegenstände von einer hohen Priorität sein, wohingegen etwa nur temporär vorliegende beziehungsweise bewegbare detektierte Objekte von geringerer Wichtigkeit sind, da diese beispielsweise gegebenenfalls bei beziehungsweise nach einem Parkvorgang nicht mehr vorhanden sind oder vorher entfernt werden können und den Fahrvorgang somit nicht stören. Entsprechend kann eine Klassifizierung als erste Objekte oder zweite Objekte erfolgen.
-
Die Klassifizierung erfolgt dabei wie vorstehend beschrieben in erste und zweite Objekte. Dadurch kann das weitere Verfahren auf einfache Weise umgesetzt werden, da ein weiteres Behandeln der Objekte anhand eines einfachen Entscheidungskriteriums, also erstes Objekt oder zweites Objekt, umgesetzt werden kann.
-
Nach einer vorstehend beschriebenen Klassifizierung der Objekte in erste Objekte und Zu einem Zeitpunkt, wo die gespeicherten Umgebungsdaten abgerufen werden, also insbesondere zu einem späteren Zeitpunkt, etwa nach einer Ruhephase des Fahrunterstützungssystem zwischen den Verfahrensschritten b) und c), stehen nach dem Stand der Technik die Umgebungsdaten des Fahrzeugs nur begrenzt zur Verfügung. Denn vielmals kann es vorkommen, dass zu der wählbare Zeitpunkt nach einem Zeitraum liegt, in dem keine Umfeldbeobachtung stattgefunden hat. Die Sensoren haben somit die Umgebung nicht oder nur begrenzt detektiert, oder das Fahrzeug hat sich noch nicht bewegt, so dass keine Historie der Umfelddaten zur Verfügung steht. Beispielsweise für ein Einparken oder insbesondere ein Ausparken, etwa aus engen Parkräumen, kann dies von Nachteil sein.
-
Das vorliegende Verfahren erlaubt jedoch anhand zuvor klassifizierter Objekte deren Wahrnehmung zum Zeitpunkt des Abrufens der Umgebungsdaten, also etwa bei einer „Aufwachphase“ des Fahrunterstützungssystems zu ermöglichen und sofort zu nutzen, um so eine sichere Bewegung des Fahrzeugs zu erlauben beziehungsweise verlässliche Fahrunterstützung zu ermöglichen.
-
Dabei werden insbesondere Umgebungsdaten aufweisend die immobilen Objekte verwendet, die mobilen Objekte jedoch außen vor gelassen beziehungsweise nicht beachtet. Das kann dadurch begründet sein, dass die mobilen Objekte insbesondere nach einem gewissen Zeitraum zwischen dem Abspeichern der Umgebungsdaten und dem Abrufen derselben zu einer gewissen Wahrscheinlichkeit nicht mehr vorhanden sind. In anderen Worten werden Umgebungsdaten etwa in Form einer Umgebungskarte bereitgestellt, welche lediglich auf den statischen beziehungsweise immobilen Objekten beruhen. Diese können wertvolle Daten liefern zur Verwendung der abgerufenen Umgebungsdaten.
-
In anderen Worten erlaubt ein derartiges Verfahren dem Fahrunterstützungssystem, die Umgebungsobjekte derart zu klassifizieren, dass unterschieden werden kann, ob diese Objekte auch nach einer gewissen Zeit, wie etwa einem „Einschlafen“ des Fahrzeugs, immer noch in einer Umgebungskarte zu beachten sind, oder nicht.
-
Somit bietet dieses Verfahren signifikante Vorteile gegenüber aus dem Stand der Technik bekannten Verfahren, bei welchen gegebenenfalls keine Umgebungsdaten abgespeichert werden sondern diese nach einer bestimmten Zeit erneut vollständig detektiert werden müssen. Denn bei dem hier beschriebenen Verfahren kann bereits zu Beginn auf valide Umgebungsdaten zurückgegriffen werden, so dass unmittelbar eine Fahrunterstützung auf Basis der gespeicherten Daten erfolgen kann. Somit bietet dieses Verfahren eine effektive Lösung, zum Bereitstellen von Umgebungsdaten als Basis für ein Fahrunterstützungssystem.
-
Ferner liegen im Gegensatz zum Stand der Technik, wonach gegebenenfalls sämtliche Objekte gespeichert und anschließend einer Plausibilitätsprüfung unterzogen werden, die ersten Objekte beziehungsweise die immobilen Objekte in verlässlicher Weise unmittelbar zur Verfügung, ohne eines weiteren Schrittes zu bedürfen. Mit Bezug auf die mobilen Objekte beziehungsweise auf die beweglichen Objekte können diese zunächst vernachlässigt werden, um nicht von falschen Umgebungsbedingungen auszugehen. Bei oder nach dem Aufrufen der Umgebungsdaten können diese aber vergleichsweise schnell und mit geringer Rechenleistung detektiert werden, da nur noch eine sehr begrenzte Anzahl an Objekten zusätzlich zu der enthaltenen Umgebungskarte detektiert werden müssen.
-
Daher kann das hier beschriebene Verfahren eine effektive Lösung bieten, um mit geringer Rechenleistung und bei geringem Aufwand und geringer Zeit zum Detektieren der gegebenenfalls vorliegenden mobilen Objekte eine Fahrunterstützung auch nach einer gewissen Zeit zur Verfügung zu stellen.
-
Dem Vorstehenden folgend kann es besonders bevorzugt sein, dass zwischen dem Verfahrensschritt b) und dem Verfahrensschritt c) eine Ruhephase vorgesehen ist.
-
Unter einer Ruhephase kann insbesondere eine derartige Phase beziehungsweise ein derartiger Zeitpunkt verstanden werden, in dem keine Umgebungsdetektion stattfindet, das Fahrerunterstützungssystem also beispielsweise nicht arbeitet, was auch als schlafender Zustand bezeichnet werden kann. Insbesondere nach einer derartigen Ruhephase liegen bei herkömmlichen Verfahren oftmals keine Umgebungsdaten vor, was eine unmittelbare Fahrunterstützung beeinflussen kann, so dass das hier beschriebene Verfahren von Vorteil ist.
-
Bezüglich der Ruhephase aber nicht beschränkt hierauf kann es von Vorteil sein, dass das Verfahren Bestandteil eines Parkunterstützungsverfahrens ist. Insbesondere bei einem Parkvorgang beziehungswese während des Parkens liegen oftmals vorstehend beschriebene Ruhephasen vor, so dass das hier beschriebene Verfahren von großem Vorteil ist. Aber auch zwischen einem Ausparken und einem Einparken, etwa auf einem reservierten Parkplatz oder auf einem eigenen Grundstück kann das beschriebene Verfahren Vorteile aufweisen. Denn in diesem Fall liegt zwischen dem Ausparken, wenn die Daten etwa gespeichert werden können, und einem erneuten Einparken insbesondere auf dem selben Parkplatz beziehungsweise auf dem selben Grundstück meist ein gewisser Zeitraum, so dass die entsprechenden Umgebungsdaten nicht mehr vorliegen.
-
Dabei ist das Verfahren insbesondere in dieser Ausgestaltung grundsätzlich unabhängig davon, ob ein Einparken beziehungsweise Ausparken stattfinden soll parallel zu einer Fahrbahn, rechtwinklig zu einer Fahrbahn, in einem Fischgrätenmuster oder gegebenenfalls auf andere Weise. Ferner kann ein vorwärtsgerichtetes oder rückwärtsgerichtetes Fahren beziehungsweise Einparken möglich sein.
-
Es kann weiterhin bevorzugt sein, dass die mobilen Objekte sich bewegende Objekte sind. Unter sich bewegenden Objekten sind dabei insbesondere derartige Objekte zu verstehen, welche nicht statisch sind, sondern ihre Position insbesondere während der Umfelderfassung verändern. Beispiele für sich bewegende beziehungsweise dynamische Objekte umfassen etwa Tiere oder Personen. Mit Bezug auf dynamische beziehungsweise sich bewegende mobile Objekte kann somit entschieden werden, dass derartige Objekte, selbst, wenn sie bei einer Umfeldbeobachtung grundsätzlich detektiert werden, nach einem bereits recht kurzen Zeitraum das Fahrzeugumfeld verlassen haben. Somit kann insbesondere bei dem Abrufen der Umfelddaten auf das Betrachten der sich bewegenden Objekte verzichtet werden.
-
Alternativ oder zusätzlich kann es vorgesehen sein, dass die mobilen Objekte statische Objekte sind. Unter statischen mobilen Objekten können insbesondere derartige Objekte verstanden werden, die sich grundsätzlich bewegen können, somit nach einer Messung aus dem Umfeld des Fahrzeugs sich entfernen können, jedoch während der Messung beziehungsweise der Umfelddetektion sich nicht bewegen. Beispiele für derartige Objekte umfassen beispielsweise Fahrzeuge, wie etwa Kraftfahrzeug, Motorräder, oder auch andere Objekte, wie etwa abgestellte Mülltonnen oder Ähnliches. Auch derartige Objekte können nach einem gewissen Zeitraum aus dem Umfeld des Fahrzeugs entfernt sein, so dass bei einem Aufrufen der gespeicherten Umfelddaten diese Daten außer Betracht sein können.
-
Es kann ferner bevorzugt sein, dass Verfahrensschritt a) unter Verwendung eines kamerabasierten Verfahrens erfolgt. In anderen Worten werden bei diesem Verfahrensschritt unter Verwendung wenigstens einer Kamera, beispielsweise von einer Mehrzahl an Kameras, Bilddaten generiert, die etwa an eine Steuereinheit eines Fahrunterstützungssystems übermittelt werden können. Verfahrensschritt a2) kann dabei auf diesen erzeugten Bilddaten basieren.
-
Dadurch wird es bei dem hier beschriebenen Verfahren möglich, dass die Klassifizierung der Objekte nicht etwa ausschließlich auf Daten von Ultraschallsensoren oder radargestützten Sensoren basiert und etwa nur auf so ermittelbare Konturlinien oder auf sich bewegende Objekte. Vielmehr wird es möglich, die detektierten Objekte höchst genau anhand von Bilddaten zu untersuchen und entsprechend eine hoch genaue und hoch verlässliche Klassifizierung zu erreichen. Somit können durch das Verwenden wenigstens einer Kamera beziehungsweise durch das Auswerten von Bilddaten für den Verfahrensschritt c) eine sehr umfassende Einschätzung der Objekte und dadurch eine präzise Klassifizierung der Objekte möglich werden.
-
Insbesondere durch kamerabasierte Verfahren beziehungsweise unter Verwendung wenigstens einer Kamera zur Untersuchung und als Basis für eine Klassifizierung der Objekte kann es daher möglich sein, die Objekte anhand einer Bilddaten und damit anhand einer Vielzahl von Daten beziehungsweise anhand ihres optischen Erscheinungsbildes die jeweiligen Objekte zu klassifizieren, was eine Klassifizierung besonders verlässlich und effektiv gestaltet.
-
Insbesondere kamerabasierte können so eine Detailtreue der Untersuchung und damit eine Exaktheit der Klassifizierung ermöglichen, wie diese im Stand der Technik etwa unter Verwendung von Ultraschallsensoren oftmals nicht erreicht werden konnte.
-
Es kann weiterhin von Vorteil sein, wenn Verfahrensschritt a) durchgeführt wird unter Verwendung einer Kamera eines Umfeldkamerasystems. In dieser Ausgestaltung kann somit auf an sich bekannte und oftmals in Fahrzeuge integrierte Systeme zurückgegriffen werden. Dies ermöglicht die Durchführung des hier beschriebenen Verfahrens ohne die Anforderung an weitere Systeme in dem Fahrzeug. Im Gegensatz dazu kann das hier beschriebene Verfahren insbesondere in dieser Ausgestaltung mit meist ohnehin vorhandener Peripherie arbeiten, was eine einfache und kostengünstige Implementierung des Verfahrens in bestehende Systeme erlauben kann. Beispielsweise kann als Kamera eine Rückfahrkamera oder eine in einem Rückspiegel verbaute Kamera verwendet werden, welche Bestandteil des Umfeldkamerasystems ist.
-
Dabei kann es bevorzugt ein, dass eine Kamera zusätzlich zu den vorstehend beschriebenen Umfeldbeobachtungssensoren, wie etwa Ultraschallsensoren, verwendet wird, etwa um die detektierten Objekte zu klassifizieren.
-
Es kann weiterhin bevorzugt sein, dass Verfahrensschritt a) auf einer Mehrzahl an hintereinander durchgeführten Messungen erfolgt. Dadurch kann es insbesondere möglich sein, sich bewegende Objekte zu detektieren und als zweite Objekte zu klassifizieren.
-
Weiterhin kann es bevorzugt sein, dass Verfahrensschritt a2) automatisiert durch ein Fahrunterstützungssystem erfolgt. Diese Ausgestaltung kann für einen Fahrer besonders bequem sein, da ein Eingreifen selbst nicht notwendig ist. Dabei kann das Fahrunterstützungssystem etwa auf in einem Speicher oder auf einem Server mittels drahtloser Datenverbindung hinterlegte Daten, etwa vordefinierte Entscheidungskriterien, zurückgreifen, um eine entsprechende Klassifizierung in erste und zweite Objekte der detektierten Objekte zu ermöglichen. Entscheidungskriterien können beispielsweise sein die Bewegung von Objekten oder auch deren Größe und/oder Form. Beispielsweise mit Bezug auf kamerabasierte Verfahren können etwa erzeugte Bilddateien mit in einem Speicher oder auf einem Server hinterlegte Dateien zugegriffen werden, um so eine Vergleich mit bereits klassifizierten Objekten zu ermöglichen.
-
Bei dem beschriebenen Verfahren kann es ferner bevorzugt sein, dass Verfahrensschritt
- c) und damit insbesondere die Klassifizierung der Objekte in erste Objekte und in zweite Objekte erfolgt unter Verwendung eines auf künstlicher Intelligenz basierenden Algorithmus. Insbesondere bei der Klassifizierung von detektierten Objekten in erste Objekte und in zweite Objekte durch ein kamerabasiertes Verfahren kann künstliche Intelligenz beziehungsweise ein entsprechender Algorithmus ein besonders effektives Mittel sein, um die Objekte entsprechend zu klassifizieren und demzufolge die Qualität der Auswertung der gelieferten Daten signifikant zu verbessern.
-
Denn insbesondere wird es so möglich, dass beispielsweise in einem Speicher oder auf einem Server hinterlegte Informationen betreffend Bilddateien, welche als Referenz für eine Klassifizierung von der durch die Kamera untersuchten Bilddateien dienen, stetig erneuert beziehungsweise aktualisiert werden. Somit kann insbesondere unter Verwendung eines auf künstlicher Intelligenz basierenden Algorithmus ein besonders verlässliches Ergebnis einer Umfelddetektion ermöglicht werden.
-
Bezüglich der künstlichen Intelligenz kann in das Fahrzeug beziehungsweise in das Fahrunterstützungssystem in an sich bekannter Weise ein neuronales Netz integriert sein. Dieses kann ausgestaltet und eingerichtet sein, wie es dem Fachmann grundsätzlich bekannt ist. Dann kann es ermöglicht werden, Bilder und/oder Szenen, die hinsichtlich einer Klassifizierung unklar sind, auf einen Server, wie etwa einen zentralen beziehungsweise Backend-Server hochzuladen oder in den Speicher des Fahrunterstützungssystems zu übertragen. Dort können die Bilder beziehungsweise Szenen insbesondere maschinell oder auch human bewertet werden und der Trainingsdatenbank hinzugefügt werden. Die neuronalen Netze in den Fahrzeugen beziehungsweise deren Fahrunterstützungssystemen können dann entsprechend aktualisiert werden, lernen also dazu, was die Erkennungsgenauigkeit signifikant steigern kann.
-
Beispielsweise mit Bezug auf das Hochladen auf einen Server können etwa Vergleiche mit vergleichbaren Bilddateien erfolgen, welche bereits von anderen Fahrzeugen oder deren Fahrern klassifiziert wurden, so dass ein Lernen unter Hinzufügen von Informationen von verschiedensten Fahrzeugen und damit basierend auf einer außerordentlich großen Anzahl an klassifizierten Objekten erfolgen kann. Dies kann unter Verwendung einer herkömmlichen Datenverbindung möglich sein und die Klassifizierungsgenauigkeit signifikant steigern.
-
Entsprechend kann es vorgesehen sein, dass Verfahrensschritt c) erfolgt durch einen Vergleich von einer Kamera des Fahrzeugs erzeugter Bilddaten des zu klassifizierenden Objekts mit auf einem Server gespeicherten Bilddaten von bereits klassifizierten Vergleichsobjekten. Diese Ausgestaltung ist nicht auf die Verwendung von auf künstlicher Intelligenz basierenden Algorithmen begrenzt ist sondern kann auch mit herkömmlichen Algorithmen arbeiten.
-
Zusätzlich oder alternativ zu dem Hochladen zu einem Server kann es bevorzugt vorgesehen sein, dass Verfahrensschritt a2) erfolgt durch einen Vergleich von von einer Kamera des Fahrzeugs erzeugten Bilddaten des zu klassifizierenden Objekts mit in einem Speicher des Fahrunterstützungssystems hinterlegten Bilddaten von bereits klassifizierten Vergleichsobjekten. In dieser Ausgestaltung, die nicht auf die Verwendung von auf künstlicher Intelligenz basierenden Algorithmen begrenzt ist sondern auch mit herkömmlichen Algorithmen arbeiten kann, können die Bilddaten somit lokal ohne das Benötigen einer Datenverbindung verglichen und die Klassifizierung so unterstützt werden. Diese Ausgestaltung kann somit eine effektive Klassifizierung ohne die Notwendigkeit einer Daten-Übertragungsperipherie ermöglichen.
-
Es kann weiterhin bevorzugt sein, dass Verfahrensschritt a2) durch eine manuelle Eingabe eines Fahrers erfolgt. In dieser Ausgestaltung kann somit ein zu klassifizierendes Objekt durch einen Fahrer des Fahrzeugs manuell klassifiziert werden, was situationsbedingt die Klassifizierung und dadurch das Verfahren als solches verbessern kann. Denn in dieser Ausgestaltung kann selbst dann, wenn Daten, wie etwa Bilddaten oder andere Daten, etwa von dem Fahrunterstützungssystem nicht eineindeutig zu einem klassifizierbaren Objekt führen, durch die Unterstützung des Fahrers eine sichere Zuordnung als erstes Objekt oder als zweites Objekt ermöglicht werden.
-
In dieser Ausgestaltung kann es somit vorgesehen sein, dass a2) erfolgt unter Verwendung der folgenden Verfahrensschritte:
- a2i) Anzeigen von Daten beschreibend ein detektiertes und zu klassifizierendes Objekt, beispielsweise von durch eine Kamera des Fahrzeugs erzeugten Bilddaten, insbesondere in Form eines Bildes, eines zu klassifizierenden Objekts auf einem Display; und
- a2ii) Durchführen einer manuellen Klassifizierung durch den Fahrer eines Fahrzeugs.
-
Bezüglich weiterer Vorteile und Merkmale des Verfahrens wird auf die Beschreibung des Fahrunterstützungssystems, die Figur und die Beschreibung der Figur verwiesen, und umgekehrt.
-
Es wird ferner ein Fahrunterstützungssystem für ein Fahrzeug zum Unterstützen eines Fahrers des Fahrzeugs beschrieben, wobei das Fahrunterstützungssystem wenigstens eine Steuereinheit aufweist, die mit Daten wenigstens eines Umfelderfassungssensors speisbar ist, wobei die Steuereinheit dazu ausgestaltet ist, ein Verfahren auszuführen, wie dies vorstehend im Detail beschrieben ist.
-
Das Fahrunterstützungssystem kann Teil eines Fahrzeugs sein, wie beispielsweise eines Pkws. Das Fahrunterstützungssystem kann insbesondere zum Erzeugen von Umgebungsdaten als Basis für eine Fahrunterstützung, wie etwa das Erzeugen einer Fahrtrajektorie, vorgesehen sein, wie vorstehend ausführlich beschrieben ist.
-
Für eine Umfeldbeobachtung beziehungsweise Umfelderfassung weist das Fahrunterstützungssystem mindestens einen Umfelderfassungssensor auf. Der Umfelderfassungssensor kann vorzugsweise Teil des Fahrunterstützungssystem sein, das auch das Verfahren ausführt. Der mindestens eine Umfelderfassungssensor kann beispielsweise ein beliebiger geeigneter auf dem Fachgebiet bekannter Sensor sein. Ferner kann zum Überwachen der Umgebung nur ein oder können mehrere verschiedene oder gleiche einzelne Sensoren verwendet werden, die eine Sensoranordnung aus einem oder mehreren Umgebungssensoren bilden. Der mindestens eine Umfelderfassungssensor kann beispielsweise aufweisen oder bestehen aus einem oder mehreren gleichen oder unterschiedlichen Sensoren, die ausgewählt sind aus der Gruppe bestehend aus Ultraschallsensoren, LIDARs, radarbasierten Sensoren oder weiteren Sensoren, die auf dem Fachgebiet zum Überwachen der Umgebung bekannt sind.
-
Grundsätzlich kann es bevorzugt sein, dass das Fahrunterstützungssystem eine Mehrzahl von Ultraschallsensoren und ein Mehrzahl an Kameras aufweist.
-
Ferner wird eine Steuereinheit, wie beispielsweise ein Prozessor, bereitgestellt. Die Steuereinheit ist zum Auswerten der von dem oder den Sensoren gelieferten Sensordaten und zum Erfassen, Speichern und Abrufen von Umgebungsdaten und gegebenenfalls zum Klassifizieren von Objekten geeignet.
-
Durch das hier beschriebene Fahrunterstützungssystem kann somit auf effektive und verlässliche Weise auch nach einer Ruhephase es möglich sein, dass Umgebungsdaten in einer besonders effektiven Weise abgerufen werden. Dadurch kann besonders vorteilhaft eine neue Fahrunterstützung folgen. Beispielsweise dient das Fahrunterstützungssystem einem Einparken oder Ausparken eines Fahrzeugs.
-
Bezüglich weiterer Vorteile und Merkmale des Fahrunterstützungssystems wird auf die Beschreibung des Verfahrens, die Figur und die Beschreibung der Figur verwiesen, und umgekehrt.
-
Weitere Vorteile und vorteilhafte Ausgestaltungen der erfindungsgemäßen Gegenstände werden durch die Zeichnungen veranschaulicht und in der nachfolgenden Beschreibung erläutert. Dabei ist zu beachten, dass die Zeichnungen nur beschreibenden Charakter haben und nicht dazu gedacht sind, die Erfindung in irgendeiner Form einzuschränken. Es zeigen:
- 1 eine schematische Darstellung darstellend eine erste Situation beim Ausführen eines erfindungsgemäßes Verfahrens; und
- 2 1 eine schematische Darstellung darstellend eine weitere Situation beim Ausführen eines erfindungsgemäßes Verfahrens.
-
In der 1 ist ein Fahrzeug 10 gezeigt. Das Fahrzeug 10 umfasst ein Fahrunterstützungssystem zum Unterstützen eines Fahrers des Fahrzeugs 10, wobei das Fahrunterstützungssystem wenigstens eine Steuereinheit aufweist, die mit Daten wenigstens eines Umfelderfassungssensors speisbar ist. Beispielsweise kann der wenigstens eine Umfelderfassungssensor ebenfalls Teil des Fahrunterstützungssystems sein und/oder ausgewählt sein aus Kameras, Ultraschallsensoren, LIDARs und radarbasierten Sensoren.
-
Das Fahrunterstützungssystem ist ferner dazu ausgestaltet, ein Verfahren zumindest zum Teil auszuführen wie dies nachfolgend beschrieben ist. Ein Startpunkt für eine vorteilhafte aber in keiner Weise beschränkende Ausgestaltung eines derartigen Verfahrens ist in der 1 gezeigt.
-
Im Detail zeigt 1 das Fahrzeug 10 zum Einen vor einem Einparkvorgang und anschließend nach einem Einparkvorgang auf einem Parkplatz 12. Das Fahrzeug 10 soll entlang der angedeuteten Fahrtrajektorie 18 von seinem Startpunkt auf den Parkplatz 12 fahren. Beispielsweise während des Abfahrens der Fahrtrajektorie 18 findet eine Umfelderfassung der Umgebung des Fahrzeugs 10 mit wenigstens einem Umfelderfassungssensor unter Ermittlung von Umgebungsdaten statt.
-
Dabei werden zunächst Objekte 14, 16, 20, 22 in der Umgebung des Fahrzeugs 10 detektiert. Diese Objekte 14, 16, 20, 22 können grundsätzlich jegliche Objekte sein, welche etwa benachbart zu der Fahrtrajektorie 18 oder zu dem zu verwendeten Parkplatz 12 vorliegen. In dem in 1 gezeigten Fall handelt es sich bei den Objekten 14, 16, 20, 22 um eine Mauer als Objekt 14, um eine Säule als Objekt 16, um ein Fahrzeug als Objekt 20 und um eine Person als Objekt 22.
-
Anschließend erfolgt eine Klassifizierung der detektierten Objekte 14, 16, 20, 22 in erste Objekte und zweite Objekte, wobei die ersten Objekte immobile Objekte sind und wobei die zweiten Objekte mobile Objekte sind. Grundsätzlich sind unter immobilen Objekten insbesondere derartige Objekte zu verstehen, welche fest an ihrem Platz sind und welche entsprechend unbeweglich und dauerhaft an der detektierten Position sind. Beispiele umfassen etwa Büsche, Bäume, Bauwerke, wie etwa Säulen, Häuser oder andere, wie etwa Wände. Im Gegensatz hierzu umfassen mobile Objekte insbesondere solche, welche beweglich sind und daher potentielle ihre Position verlassen können. Beispiele hierfür umfassen etwa Fahrzeuge oder Personen. In der hier beschriebenen Ausgestaltung sind somit die Objekte 14, 16 als erste beziehungsweise immobile Objekte einzustufen und sind die Objekte 20, 22 als zweite beziehungsweise mobile Objekte einzustufen.
-
Eine entsprechende Einstufung beziehungsweise Klassifizierung kann etwa realisierbar sein unter Verwendung eines wählbaren Algorithmus, wie etwa eines SW-Algorithmus nach bestimmten Kriterien. Alternativ kann eine entsprechende Klassifizierung ermöglicht werden unter Verwendung eines auf künstlicher Intelligenz basierenden Algorithmus. Dazu kann das Fahrunterstützungssystem etwa ein neuronales Netz aufweisen beziehungsweise mit diesem ausgestattet sein.
-
Ferner kann es bevorzugt sein, dass die Umfelderfassung auf einer Kamera basiert und dabei insbesondere die Klassifizierung auf entsprechenden Bilddaten beruht, wohingegen die reine Objektdetektion etwa durch einen Ultraschallsensor oder einen anderen, von einer Kamera verschiedenen Sensor erfolgen kann.
-
Dadurch wird es bei dem hier beschriebenen Verfahren möglich, dass die Klassifizierung der Objekte 14, 16, 20, 22 nicht etwa ausschließlich auf Daten von Ultraschallsensoren oder radargestützten Sensoren basiert und etwa nur auf so ermittelbare Konturlinien oder auf sich bewegende Objekte. Vielmehr wird es möglich, die detektierten Objekte 14, 16, 20, 22 höchst genau anhand von Bilddaten zu untersuchen und entsprechend eine hoch genaue und hoch verlässliche Klassifizierung zu erreichen. Somit können durch das Verwenden wenigstens einer Kamera beziehungsweise durch das Auswerten von Bilddaten für den Verfahrensschritt c) eine sehr umfassende Einschätzung der Objekte 14, 16, 20, 22 und dadurch eine präzise Klassifizierung der Objekte 14, 16, 20, 22 möglich werden.
-
Unabhängig von dem verwendeten Algorithmus kann es grundsätzlich möglich sein, dass die ermittelten Umfelddaten, welche zur Klassifizierung verwendet werden, mit Daten bereits klassifizierter Objekte verglichen werden. Hierzu kann ein Vergleich etwa mit auf einem Speicher hinterlegter Daten oder mit auf einem Server hinterlegter Daten möglich sein. Dies kann eine besonders verlässliche Klassifizierung der Objekte 14, 16, 20, 22 in erste und zweite Objekte beziehungsweise in immobile und mobile Objekte ermöglichen.
-
Dieser Verfahrensstand ist im Wesentlichen in der 1 gezeigt.
-
Insbesondere nach der Klassifizierung werden die entsprechenden Daten gespeichert und vorzugsweise nach einer Ruhephase, wie etwa der Dauer eines Parkens wieder aus dem Speicher abgerufen. Bei dem Abrufen der Umgebungsdaten ist es dabei vorgesehen, dass nur die ersten Objekte, also die immobilen Objekte, verwendet beziehungsweise abgerufen werden.
-
Dadurch kann basierend auf den Umgebungsdaten eine Situation für weitere Fahrunterstützungssequenzen zugrunde gelegt werden, welche zunächst die immobilen Objekte, welche zuvor gespeichert werden. Diese Situation ist in der 2 gezeigt.
-
Es ist zu erkennen, dass die mobilen Objekte beziehungsweise die zweiten Objekte, also der Fußgänger als Objekt 22 und das Fahrzeug als Objekt 20 nicht mehr vorhanden sind und somit auch nicht beachtet zu werden brauchen.
-
Im Gegensatz dazu liegen die immobilen Objekte beziehungsweise die ersten Objekte und damit die Wand als Objekt 14 und die Säule als Objekt 16 weiterhin vor. Dadurch kann nach Abrufen der entsprechenden Umfelddaten auf effektive Weise eine weitere Fahrsequenz, wie insbesondere ein Ausparken, eingeleitet werden.
-
Bezugszeichenliste
-
- 10
- Fahrzeug
- 12
- Parkplatz
- 14
- Objekt
- 16
- Objekt
- 18
- Fahrtrajektorie
- 20
- Objekt
- 22
- Objekt
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102009028760 A1 [0004]
- DE 102007036251 A1 [0005]
