-
Die Erfindung betrifft ein Verfahren zum Visualisieren einer Fahrabsicht für einen Benutzer eines Kraftfahrzeugs. Die Erfindung betrifft auch ein Computerprogrammprodukt und ein Visualisierungssystem zum Visualisieren einer Fahrabsicht für einen Benutzer eines Kraftfahrzeugs.
-
Die Erfindung findet insbesondere im Kontext von autonom fahrenden Fahrzeugen Anwendung. Eine der größten Herausforderungen im Zusammenhang mit autonomen Fahrzeugen ist es, ein Vertrauen zwischen dem Benutzer eines solchen autonom fahrenden Fahrzeugs und dem Fahrzeug selbst aufzubauen. Viele Benutzer haben Angst, dass das autonom fahrende Kraftfahrzeug möglicherweise falsche Entscheidungen in bestimmten Verkehrssituationen trifft oder nicht rechtzeitig oder überhaupt nicht auf möglicherweise kritische Verkehrssituationen reagiert.
-
In diesem Kontext beschreibt die
DE 10 2012 015 002 A1 ein Verfahren zum assistierten Parken eines Kraftfahrzeugs, wobei das Kraftfahrzeug eine Parkeinrichtung für ein assistiertes oder automatisches Parken aufweist, welche ein Umgebungserkennungssystem umfasst. Darüber hinaus wird im Fall, dass das Kraftfahrzeug in einen Parkplatz einparkt, ein Avatar in Form eines virtuellen Parklotsen erzeugt und in das Sichtfeld des Fahrers projiziert. Insbesondere wird die aktuelle Blickrichtung des Fahrers erfasst und der Avatar auf die Blicklinie der aktuellen Blickrichtung projiziert. Dadurch soll das Vertrauen des Fahrers in das automatisch durchgeführte Einparkmanöver erhöht werden.
-
Jedoch führt ein Kraftfahrzeug mit einem Autonomielevel von 4 oder 5 jedes Fahrmanöver autonom durch, nicht nur ein Parkmanöver. Insbesondere stellen Einparkmanöver nur einen extrem kleinen Prozentsatz aller möglichen Fahrmanöver dar. Darüber hinaus stellt ein Einparkmanöver üblicherweise ein sehr einfaches Fahrmanöver dar, da es gemäß einer Standardsequenz durchgeführt wird. Jedoch können andere Fahrsituationen viel komplexer sein und rechtzeitige Reaktionen auf äußere Ereignisse erfordern und daher ist das Aufbauen eines Vertrauens zwischen dem Benutzer eines solchen Kraftfahrzeugs und dem Kraftfahrzeug, insbesondere im Falle sehr hoher Autonomielevel, deutlich herausfordernder.
-
Daher ist es Aufgabe der vorliegenden Erfindung, ein Verfahren zum Visualisieren einer Fahrabsicht für einen Benutzer eines Kraftfahrzeugs, ein Computerprogrammprodukt und ein Visualisierungssystem bereitzustellen, mittels welchen das Vertrauen eines Benutzers in das Kraftfahrzeug, insbesondere ein autonomes Kraftfahrzeug, erhöht werden kann.
-
Diese Aufgabe wird gelöst durch ein Verfahren zum Visualisieren einer Fahrabsicht für einen Benutzer eines Kraftfahrzeugs, durch ein Computerprogrammprodukt und durch ein Visualisierungssystem mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche, der Beschreibung und der Figuren.
-
Gemäß einem erfindungsgemäßen Verfahren zum Visualisieren einer Fahrabsicht für einen Benutzer eines Kraftfahrzeugs wird ein bestimmtes bevorstehendes Fahrereignis von mehreren definierten Fahrereignissen in Abhängigkeit von mindestens einem Umgebungsparameter detektiert und klassifiziert und eine Fahrabsicht in Abhängigkeit von dem detektierten bevorstehenden Fahrereignis vorhergesagt. Darüber hinaus wird eine Darstellungsart von mehreren definierten Darstellungsarten zumindest eines künstlichen Objekts in Abhängigkeit von der bestimmten Fahrabsicht ausgewählt und zumindest in Abhängigkeit von einer bestimmten Position, die dem detektierten Fahrereignis zugeordnet ist, eine Position auf einer Anzeigeeinrichtung zum Anzeigen des künstlichen Objekts bestimmt und die Fahrabsicht wird durch Anzeigen des künstlichen Objekts gemäß der ausgewählten Darstellungsart an der bestimmten Position visualisiert.
-
Die Erfindung hat mehrere große Vorteile. Zuerst können jeweilige Fahrabsichten, die insbesondere definieren, was das Kraftfahrzeug in speziellen bevorstehenden Fahrereignissen beabsichtigt zu tun, durch jeweilige Darstellungsarten eines künstlichen Objekts visualisiert werden, welches zum Beispiel ein Avatar sein kann, welches jedoch auch weiteren oder anderen künstlichen Inhalt aufweisen kann, sodass ein Benutzer des Kraftfahrzeugs über das Verhalten des Kraftfahrzeugs informiert werden kann, insbesondere über das zukünftige Verhalten des Kraftfahrzeugs, in vielen verschiedenen Fahrsituationen und bevorstehenden Fahrereignissen. Dabei ist es besonders vorteilhaft, dass der Benutzer über die Fahrabsicht des Kraftfahrzeugs rechtzeitig informiert wird, bevor das bevorstehende Fahrereignis tatsächlich eintritt. Solch ein bevorstehendes Fahrereignis kann zum Beispiel eine spezielle Verkehrssituation darstellen, die sich im Moment noch in einem räumlichen Abstand zum Kraftfahrzeug befindet. Dadurch kann der Benutzer darüber informiert werden, ob das Kraftfahrzeug dieses bevorstehende Fahrereignis erkannt hat und darüber hinaus, ob das Kraftfahrzeug dazu in der Lage ist, auf dieses bevorstehende Fahrereignis zu reagieren und auch ob das Kraftfahrzeug dazu in der Lage ist, richtig und rechtzeitig zu reagieren. Somit kann dem Benutzer visualisiert werden, dass das Kraftfahrzeug jeweilige bevorstehende Fahrereignisse rechtzeitig erkennt und auch die richtigen Entscheidungen darüber trifft, wie auf ein solches erkanntes bevorstehendes Fahrereignis zu reagieren ist. Dadurch kann der Benutzer verifizieren, dass die Absicht des Kraftfahrzeugs mit seinen eigenen Absichten darüber, wie in einem solchen Fahrereignis zu reagieren ist, übereinstimmt. Dadurch kann das Vertrauen des Benutzers in das autonome Fahrverhalten des Kraftfahrzeugs in einer Vielzahl verschiedener Fahrsituationen und Fahrereignissen enorm erhöht werden. Davon abgesehen kann das Vertrauen weiter erhöht werden, indem das künstliche Objekt an einer bestimmten ermittelten Position auf der Anzeigeeinrichtung angezeigt wird, die in Abhängigkeit von einer ermittelten Position bestimmt wird, die dem detektierten Fahrereignis zugeordnet ist. Dies hat die folgenden Gründe: Dies ermöglicht eine positionskorrekte Anzeige des künstlichen Objekts mit Bezug auf das bevorstehende Ereignis. Dies ist sehr wichtig, da nur dann der Benutzer in der Lage ist, das angezeigte künstliche Objekt mit dem bevorstehenden Fahrereignis in Zusammenhang zu bringen. Darüber hinaus verstärkt das Bereitstellen einer hohen die Position betreffenden Korrektheit und Genauigkeit mit Bezug auf die Anzeigeposition des künstlichen Objekts mit Bezug auf die Position, die dem detektierten Fahrereignis zugeordnet ist, das Vertrauen des Benutzers in die Genauigkeit und Korrektheit des autonomen Fahrsystems. Im Gegensatz dazu könnte, falls zum Beispiel ein solches künstliches Objekt zum Beispiel auf einer Blicklinie des Benutzers irgendwo in der Umgebung an irgendeiner beliebigen Position positioniert werden würde, die möglicherweise noch nicht einmal mit irgendeiner Verkehrssituation im Zusammenhang steht, dies eine starke Irritation des Benutzers und Misstrauen verursachen. Falls zum Beispiel das angezeigte künstliche Objekt nicht richtig in die Umgebung eingebettet ist, zum Beispiel in die reale Umgebung im Falle einer Anzeige des künstlichen Objekts zum Beispiel mittels eines Head-up-Displays, oder auch in eine Darstellung dieser Umgebung zum Beispiel in Form eines Live-Videostreams, der von einer Kamera des Kraftfahrzeugs aufgenommen wird, und zum Beispiel, falls das künstliche Objekt nicht auf dem Untergrund positioniert zu sein scheint oder mit anderen Verkehrsteilnehmern geschnitten dargestellt wird, würde dies starke Zweifel des Benutzers darüber hervorrufen, ob das Kraftfahrzeug in der Lage ist, seine Umgebung korrekt zu erfassen. Dies kann nun vorteilhafterweise durch Bestimmen der Position des künstlichen Objekts mit Bezug auf eine bestimmte Position, die dem detektierten Fahrereignis zugeordnet ist, vermieden werden. Dies erlaubt vorteilhafterweise eine positionskorrekte Einbettung des künstlichen Objekts in die reale oder repräsentierte Umgebung, insbesondere aus der Perspektive des Benutzers.
-
Gemäß einer vorteilhaften Ausgestaltung der Erfindung wird als das bevorstehende Fahrereignis zumindest eines der folgenden Fahrereignisse detektiert: Überqueren eines Zebrastreifens, Überqueren einer Ampel, Einparken in einen Parkplatz, ungehindertes Fahren auf einer Straße, ein Verkehrsstau, Vorbeifahren an einer Baustelle, Überqueren eines Bahnübergangs, Verlassen einer Autobahn, und Durchführen eines Abbiegevorgangs. Es soll angemerkt werden, dass dies nur Beispiele von häufig auftretenden Fahrereignissen darstellen, jedoch keine abschließende Aufzählung ist. Dadurch ist es vorteilhafterweise möglich, die korrespondierende Fahrabsicht für eine Vielzahl von verschiedenen Fahrereignissen zu visualisieren. Somit kann das Vertrauen des Benutzers in sein Kraftfahrzeug in jeder beliebigen Verkehrssituation erhöht werden. Sogar normale, problemlose Fahrsituationen, wie ungehindertes Fahren auf einer Straße, können dem Benutzer des Kraftfahrzeugs aktiv visualisiert werden. Weiterhin sind für jedes dieser Fahrereignisse mehrere verschiedene Fahrabsichten möglich, insbesondere abhängig von der Situation. Vorteilhafterweise wird in Abhängigkeit von dem Fahrereignis mindestens eine der folgenden Fahrabsichten vorhergesagt: Ein Verlangsamen, ein Anhalten, ein Fahrspurwechsel, ein normales Fahren, eine Beschleunigung.
-
Zum Beispiel hängt, ob das Kraftfahrzeug an einer Ampel beabsichtigt, langsamer zu werden, von der Farbe der Ampel ab. Ob das Kraftfahrzeug an einem Zebrastreifen beabsichtigt anzuhalten, hängt zum Beispiel davon ab, ob ein Fußgänger die Straße am Zebrastreifen überqueren möchte oder nicht. Daher ist es des Weiteren vorteilhaft, wenn auch die vorhergesagte Fahrabsicht nicht nur in Abhängigkeit vom Fahrereignis an sich vorhergesagt wird, sondern auch in Abhängigkeit von mindestens einem Umgebungsparameter, welcher denselben Umgebungsparameter darstellen kann, gemäß welchem das bevorstehende Fahrereignis klassifiziert und detektiert wird, es kann aber auch ein anderer Parameter sein. Zum Beispiel kann der Umgebungsparameter zum Detektieren eines Zebrastreifens die charakteristischen Streifen auf der Straße darstellen, die vom Kraftfahrzeug als Zebrastreifen erkannt werden. Der Umgebungsparameter, in Abhängigkeit von welchem die Fahrabsicht vorhergesagt wird, kann stattdessen ein Fußgänger in der Nähe des Zebrastreifens sein. Damit kann vorteilhafterweise Umgebungsinformation zum Detektieren und Klassifizieren des bevorstehenden Fahrereignisses einerseits und andererseits zum Vorhersagen einer korrespondierenden Fahrabsicht berücksichtigt werden.
-
Gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung wird der mindestens eine Umgebungsparameter mittels mindestens eines Umfeldsensors des Kraftfahrzeugs erfasst, zum Beispiel einer Kamera, einem Laserscanner, einem Radar, einem Ultraschallsensor und so weiter. Die Erfassung des Objekts und die Klassifikation des bevorstehenden Fahrereignisses können auf bekannten Computervision-Verfahren und -Algorithmen basieren. Dies ermöglicht vorteilhafterweise die Detektion und Klassifikation einer Vielzahl von verschiedenen Fahrereignissen und weiteren relevanten Merkmalen, die mit solchen Fahrereignissen in Zusammenhang stehen. Auch ermöglicht die Verwendung von Umfeldsensoren eine sehr genaue Positionierung der Anzeige des künstlichen Objekts, was jedoch später detaillierter beschrieben wird.
-
Darüber hinaus wird gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung der mindestens eine Umgebungsparameter basierend auf einer Navigationsinformation und/oder einer Information, die von einer kraftfahrzeugexternen Informationsquelle bereitgestellt wird, und/oder basierend auf einer Umgebungskarte bestimmt. Zum Beispiel kann der mindestens eine Umgebungsparamter auch basierend auf Fahrzeug-zu-Fahrzeug-Kommunikation oder Fahrzeug-zu-X-Kommunikation, zum Beispiel um eine Information über einen bevorstehenden Verkehrsstau oder eine Baustelle oder irgendein anderes kritisches Fahrereignis zu erhalten, bestimmt werden. Die Bestimmung des Umgebungsparameters basierend auf einer Umgebungskarte, insbesondere einer HD-Karte, ist besonders vorteilhaft. Eine solche HD-Karte kann Merkmale, Objekte und Landmarken in der Umgebung sowie ihre korrespondierenden Positionen in globalen Koordinaten mit sehr hoher Präzision und Genauigkeit und insbesondere mit sehr hoher Auflösung umfassen. Solch eine HD-Karte kann vorteilhafterweise auch zur Selbstlokalisation des Fahrzeugs verwendet werden, was später detaillierter beschrieben wird. Darüber hinaus hat die Verwendung einer solchen Umgebungskarte zum Bestimmen des mindestens einen Umgebungsparameters, auf dessen Basis ein bevorstehendes Fahrereignis detektiert und klassifiziert wird, den großen Vorteil, dass auch Fahrereignisse in Verkehrssituationen, insbesondere infrastrukturelle Gegebenheiten, durch das Kraftfahrzeug erkannt werden, die nicht im Sichtfeld, insbesondere nicht im aktuellen Sichtfeld, von irgendeinem der Kraftfahrzeugsensoren zur Erfassung der Umgebung liegen. Zum Beispiel kann in einer Einparksituation, in welcher die Umfeldsensoren die Parklücke nicht sehen, diese Information über die Position der Parklücke jedoch aus einer solchen globalen Umgebungskarte bezogen werden. Vorzugsweise kann der mindestens eine Umgebungsparameter basierend auf Umfeldsensoren sowie basierend auf einer solchen Umgebungskarte ermittelt werden. Somit kann vorteilhafterweise die insgesamt erfassbare Information über die Umgebung enorm gesteigert werden. Auch kann die Information mit hoher Präzision und Verlässlichkeit bereitgestellt werden.
-
Gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung wird das künstliche Objekt in Form eines Avatars bereitgestellt, wobei die Darstellungsart eine bestimmte äußere Erscheinung des Avatars und/oder eine bestimmte Animationsart des Avatars und/oder eine bestimmte Nachricht, die von dem Avatar vermittelt wird, definiert. Insbesondere kann eine solche Nachricht auch in Schriftform bereitgestellt werden, zum Beispiel auf einem von dem Avatar gehaltenen Schild und das Schild kann zum Beispiel Stopp, langsamer, bevorstehender Stau und so weiter besagen. Alternativ oder zusätzlich kann ein solcher Avatar auch angezeigt werden, wobei er eindeutige Gesten zum Vermitteln solcher Nachrichten durchführt. Auch kann das Aussehen eines solchen Avatars in Abhängigkeit von der Fahrabsicht angepasst werden, zum Beispiel auch basierend auf der Kritikalität der Situation. Mittels all dieser möglichen verschiedenen Darstellungsarten ist vorteilhafterweise eine eindeutige Visualisierung der vorhergesagten Fahrabsicht möglich.
-
Gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung wird mindestens ein Objekt, welches das bevorstehende Fahrereignis betrifft, bestimmt und basierend auf dem mindestens einen bestimmten Objekt das bevorstehende Fahrereignis detektiert und klassifiziert. Ein solches Objekt kann zum Beispiel eine Ampel darstellen, um das „Überqueren einer Ampel“-Ereignis zu detektieren, einen Zebrastreifen, um das „Überqueren eines Zebrastreifens“-Ereignis zu detektieren und zu klassifizieren, ein Straßenschild, welches eine Baustelle anzeigt, zum Detektieren des „Vorbeifahren an einer Baustelle“-Ereignisses, oder ein Straßenschild zum Anzeigen eines Bahnübergangs, einer Autobahnabfahrt und so weiter. Darüber hinaus kann auch mindestens ein das bevorstehende Fahrereignis betreffendes Objekt bestimmt werden, dessen Position die Position, die dem detektierten Fahrereignis zugeordnet ist, definiert, insbesondere unabhängig davon, ob ein solches Objekt zum Detektieren und Klassifizieren des Fahrereignisses verwendet wird oder nicht. Insbesondere kann das bevorstehende Fahrereignis auch basierend auf anderen, von detektierten Objekten, die dem Fahrereignis zugeordnet sind, verschiedenen Informationen detektiert und klassifiziert werden. Nichtsdestoweniger ist das Detektieren von dem bevorstehenden Fahrereignis zugehörigen Objekten sehr vorteilhaft, da dann dem bevorstehenden Fahrereignis vorteilhafterweise eine Position zugeordnet werden kann, die dann als Referenzposition für ein genaues Einsetzen des künstlichen Objekts in die Umgebung dienen kann. Darüber hinaus kann auch ein Abstand zu dem bevorstehenden Fahrereignis, insbesondere ein zeitlicher und/oder räumlicher Abstand, basierend auf solch einem detektierten Objekt, welches dem bevorstehenden Fahrereignis zugeordnet ist, bestimmt werden, was eine Vielzahl weiterer vorteilhafter Ausgestaltungen ermöglicht.
-
Beispielsweise wird gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung mindestens ein Objekt, welches das bevorstehende Fahrereignis betrifft, und ein Abstand zu dem Objekt bestimmt, wobei die Darstellungsart in Abhängigkeit von dem bestimmten Abstand ausgewählt wird. Insbesondere kann die Darstellungsart in Abhängigkeit von einer Änderung des bestimmten Abstands geändert werden. Zum Beispiel im Fall, dass das Kraftfahrzeug auf einen Zebrastreifen, eine Baustelle, eine Ampel oder ein Stoppschild zufährt und bestimmt wird, dass das korrespondierende Fahrereignis, nämlich der Zebrastreifen, die Baustelle, die Ampel oder das Stoppschild 50 Meter weg ist, dann kann der Avatar visuell „langsamer“ sagen, was die Fahrintension darstellen würde, und wenn letztendlich festgestellt wird, dass das Fahrereignis nur fünf Meter weg ist, kann die Animation des Avatars geändert werden, um visuell „Stopp“ zu sagen, was eine weitere Fahrabsicht darstellen würde. Somit kann der Benutzer vorteilhafterweise über die zeitliche Abfolge aller Fahrabsichten, die mit dem bevorstehenden Fahrereignis im Zusammenhang stehen, informiert werden.
-
Gemäß einer besonders vorteilhaften Ausgestaltung der Erfindung wird mindestens ein Objekt, welches das bevorstehende Fahrereignis betrifft, bestimmt und eine hervorgehobene Darstellung des Objekts, welches das bevorstehende Fahrereignis betrifft, auf der Anzeigeeinrichtung angezeigt. Dadurch kann die Ursache oder der Grund für die jeweiligen Fahrabsichten hervorgehoben werden, zum Beispiel wenn jemand am Zebrastreifen steht und darauf wartet, dass die Kraftfahrzeuge anhalten, dann kann diese Person hervorgehoben werden, zum Beispiel auf dem Head-up-Display oder dem Monitor, der den Live-Videostream der Umgebung zeigt. Dies hat den großen Vorteil, dass der Benutzer nicht nur über zukünftige Fahrabsichten informiert wird, wie Verlangsamen oder Anhalten, sondern ihm auch die Information über den Grund dieser autonom durch das Kraftfahrzeug vorgenommenen Handlungen bereitgestellt wird. Dies unterstützt den Benutzer dabei, das Verhalten des Kraftfahrzeugs zu verstehen und erhöht wiederum die Zuversicht und das Vertrauen in das autonome Fahren. In analoger Weise können auch detektierte Ampeln, Baustellen, Stoppschilder und so weiter hervorgehoben oder optisch markiert werden.
-
Wie bereits erwähnt, kann das künstliche Objekt mittels eines Head-up-Displays oder zum Beispiel mittels einer Art Augmented-Reality-Brille, und so weiter angezeigt werden.
-
Jedoch ist es bevorzugt, dass ein Videostream von mindestens einem Teil der Umgebung auf der Anzeigeeinrichtung angezeigt wird und das künstliche Objekt an der bestimmten Position auf der Anzeigeeinrichtung in Form einer Überlagerung über den angezeigten Videostream angezeigt wird, wobei die Anzeigeposition des angezeigten künstlichen Objekts wiederholt an eine Veränderung einer Relativposition zwischen dem Kraftfahrzeug und der bestimmten Position, die dem detektierten Fahrereignis zugeordnet ist, zum Beispiel der Position von dem mindestens einen Objekt, welches das Fahrereignis betrifft, angepasst wird.
-
Dies hat den großen Vorteil, dass das künstliche Objekt in die wiedergegebene Umgebung mit Bezug auf seine Position in einer viel genaueren Art und Weise eingebettet werden kann, als dies beispielsweise mittels eines Head-up-Displays möglich wäre. Dies ist dadurch bedingt, dass eine genaue Relativposition zwischen dem angezeigten künstlichen Objekt und der wiedergegebenen Umgebung nicht von irgendeiner Kopfbewegung oder Kopfposition des Benutzers abhängt, wie dies der Fall wäre, wenn das künstliche Objekt mittels eines Head-up-Displays angezeigt werden würde. Darüber hinaus ist eine solche die Position betreffende Korrektheit, wie bereits zu Anfang beschrieben, sehr wichtig, um das Vertrauen in die Genauigkeit des autonomen Fahrsystems weiter zu erhöhen.
-
Darüber hinaus wird gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung eine Position des Kraftfahrzeugs und/oder die Position, die dem detektierten Fahrereignis zugeordnet ist, und/oder eine Relativposition zwischen dem Kraftfahrzeug und der bestimmten Position, die dem detektierten Fahrereignis zugeordnet ist, basierend auf einer Umgebungskarte bestimmt, insbesondere der zuvor beschriebenen HD-Umgebungskarte. Durch Verwendung einer solchen HD-Karte ist es möglich, die Position, an welcher das künstliche Objekt genau positioniert werden soll, mit Bezug auf die Umgebung mit sehr hoher Genauigkeit zu bestimmen.
-
Insbesondere ist es bevorzugt, um diese Genauigkeit weiter zu erhöhen, dass die Position des Kraftfahrzeugs und/oder die Position, die dem detektierten Fahrereignis zugeordnet ist, und/oder die Relativposition zwischen dem Kraftfahrzeug und der bestimmten Position, die dem detektierten Fahrereignis zugeordnet ist, zusätzlich basierend auf Sensordaten bestimmt wird, die durch mindestens einen Kraftfahrzeugsensor bereitgestellt werden. Dadurch kann eine Art Fusionskarte erstellt werden, die die Informationen, die von der HD-Karte bereitgestellt werden und die von den Umfeldsensoren bereitgestellt werden, fusioniert. Zusätzlich können die Sensorinformationen des Umfeldsensors sowie die Informationen, die von der HD-Karte bereitgestellt werden, zur Selbstlokalisation des Kraftfahrzeugs dienen, auch optional unter Verwendung von GPS-Koordinaten. Zum Beispiel stellt die Karte dem System Informationen über dessen Positionierung in der globalen Welt bereit und innerhalb der Karte sind elementare Merkmalsinformationen verfügbar, zum Beispiel Gebäude, Straßen, die Breite von Straßen, Landmarken und so weiter. Darüber hinaus werden die Kraftfahrzeugsensoren wie die Kameras oder andere Sensoren genutzt, um das Kraftfahrzeug mit Bezug auf seine Umgebung zu lokalisieren. Diese Information kann nun genutzt werden, um das Kraftfahrzeug innerhalb der Karte in einer sehr genauen Art und Weise zu lokalisieren. Dieses Konzept wird auch als visuelle simultane Positionsbestimmung und Kartenerstellung genannt. Wenn letztendlich die genaue globale Position des Kraftfahrzeugs ermittelt ist, kann auch das künstliche Objekt leicht in die korrekte perspektivische Ansicht eingesetzt werden. Im Beispiel des Zebrastreifens kann ein Avatar zum Beispiel vor dem Zebrastreifen positioniert werden, bevor das Kraftfahrzeug den Zebrastreifen erreicht, um eine Verlangsamung und das vollständige Halten anzuzeigen. Dabei kann der Avatar in die korrekten Koordinaten innerhalb der 3D-Szene eingesetzt werden.
-
Insbesondere wird hier von zwei Schritten Gebrauch gemacht: Zuerst wird der Avatar in die Koordinaten der realen Welt eingesetzt und dann für die Benutzeranzeige gerendert. Dabei können bekannte Techniken verwendet werden, wie zum Beispiel das Abbilden der realen Welt auf eine Ansicht, zum Beispiel perspektivisches Abbilden. Vorteilhafterweise kann durch Zusammenfügen der Informationen, die von kraftfahrzeugexternen Kommunikationsmedien, wie GPS, Karten oder Mobilfunknetzen empfangen werden, mit den Informationen, die von Kraftfahrzeugumfeldsensoren bereitgestellt werden, eine Anzeige des künstlichen Objekts in einer sehr genauen augmentierten Weise bereitgestellt werden. Somit kann der Avatar perfekt in die Szene eingebettet werden, zum Beispiel auch unter Verwendung von Fehlerkorrekturen oder Koordinatenkorrekturen. Folglich kann vorteilhafterweise zum Bereitstellen einer solch hohen Positionsgenauigkeit eine Kombination aus der Verwendung von GPS-Koordinaten, Messtechniken, Kraftfahrzeugsensoren und Computervision-Algorithmen wie NFORN, FFORN (Near/Far Field Object Construction and Modelling), verwendet werden und eine visuelle simultane Positionsbestimmung und Kartenerstellung kann verwendet werden, um eine genauere globale Karte für das Einsetzen des Avatars und von Objekten zu berechnen. Somit kann, nachdem die genaue Position des künstlichen Objekts in der Szene definiert wurde, eine Transformationsmatrix angewandt werden, um das künstliche Objekt im richtigen korrespondierenden Pixel zu positionieren. Darüber hinaus kann auch die Avatar-Animation und Bewegung in der richtigen Pixelposition positioniert werden, die für die Kraftfahrzeugbewegung relevant ist. Dies ermöglicht es dem Benutzer, die Avatar-Animation, oder im Allgemeinen das künstliche Objekt, als reale Information, die in der Szene augmentiert ist, zu sehen.
-
Die Erfindung betrifft auch ein Computerprogrammprodukt, aufweisend einen Programmcode, der in einem computerlesbaren Medium gespeichert ist und welcher, wenn er durch einen Prozessor einer elektronischen Steuereinrichtung ausgeführt wird, den Prozessor dazu veranlasst, ein erfindungsgemäßes Verfahren oder eine seiner Ausführungsformen durchzuführen.
-
Weiterhin betrifft die Erfindung auch ein Visualisierungssystem zum Visualisieren einer Fahrabsicht für einen Benutzer eines Kraftfahrzeugs, wobei das Visualisierungssystem eine Steuereinrichtung und eine Anzeigeeinrichtung aufweist. Darüber hinaus ist die Steuereinrichtung dazu ausgelegt, ein bestimmtes bevorstehendes Fahrereignis von mehreren definierten Fahrereignissen in Abhängigkeit von mindestens einem Umgebungsparameter zu detektieren und zu klassifizieren, eine Fahrabsicht in Abhängigkeit vom detektierten bevorstehenden Fahrereignis vorherzusagen, eine Darstellungsart von mehreren definierten Darstellungsarten von mindestens einem künstlichen Objekt in Abhängigkeit von der bestimmten Fahrabsicht auszuwählen, und zumindest in Abhängigkeit von einer bestimmten Position, die dem detektierten Fahrereignis zugeordnet ist, eine Position auf der Anzeigeeinrichtung zum Anzeigen des künstlichen Objekts zu bestimmen, und die Fahrabsicht durch Anzeigen des künstlichen Objekts gemäß der ausgewählten Darstellungsart an der bestimmten Position auf der Anzeigeeinrichtung anzuzeigen.
-
Darüber hinaus soll auch ein Kraftfahrzeug aufweisend ein erfindungsgemäßes Visualisierungssystem als zur Erfindung gehörend angesehen werden.
-
Die mit Bezug auf das erfindungsgemäße Verfahren und seine Ausgestaltungen beschriebenen Vorteile gelten in gleicher Weise für das erfindungsgemäße Computerprogrammprodukt, das erfindungsgemäße Visualisierungssystem und das erfindungsgemäße Kraftfahrzeug.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
-
Dabei zeigen:
- 1 eine schematische Darstellung eines Kraftfahrzeugs aufweisend ein Visualisierungssystem zum Visualisieren einer Fahrabsicht gemäß einem Ausführungsbeispiel der Erfindung;
- 2 eine schematische Darstellung eines Funktionsdiagramms zum Veranschaulichen eines Verfahrens zum Visualisieren einer Fahrabsicht gemäß einem Ausführungsbeispiel der Erfindung;
- 3 eine schematische Darstellung der Visualisierung einer Fahrabsicht im Falle einer Vorwärtsfahrtsituation gemäß einem Ausführungsbeispiel der Erfindung;
- 4 eine schematische Darstellung eines künstlichen Objekts in Form eines Avatars zum Visualisieren einer Fahrabsicht im Falle eines Zebrastreifens gemäß einem Ausführungsbeispiel der Erfindung;
- 5 eine schematische Darstellung eines künstlichen Objekts in Form eines Avatars zum Visualisieren einer Fahrabsicht im Falle eines Verkehrsstopps gemäß einem Ausführungsbeispiel der Erfindung; und
- 6 eine schematische Darstellung einer Visualisierung einer Fahrabsicht im Falle einer Einparksituation gemäß einem Ausführungsbeispiel der Erfindung.
-
1 zeigt eine schematische Darstellung eines Kraftfahrzeugs 1 mit einem Visualisierungssystem 2 zum Visualisieren einer Fahrabsicht gemäß einem Ausführungsbeispiel der Erfindung. Das Visualisierungssystem 2 weist eine Steuereinheit 3, eine Anzeigeeinrichtung 4 und einen Speicher 5 auf. Weiterhin kann das Visualisierungssystem 2 auch einen GPS-Sensor 6 und Umfeldsensoren, wie Ultraschallsensoren, Laserscanner, Kameras, Radare und so weiter aufweisen. Aus Gründen der Einfachheit ist in 1 nur exemplarisch ein Umfeldsensor in Form einer Frontkamera 7 dargestellt. Die Steuereinheit 3 ist dazu ausgelegt, ein wie im Folgenden beschriebenes Verfahren durchzuführen. Im Speicher 6 können eines oder mehrere künstliche Objekte 8, 9 gespeichert sein. In diesem Beispiel sind hier zwei verschiedene künstliche Objekte 8, 9 dargestellt, die zum Beispiel zu zwei verschiedenen Avataren korrespondieren können, die sich voneinander mit Bezug auf ihre äußere Erscheinung unterscheiden. Darüber hinaus können jedem dieser künstlichen Objekte 8, 9 weiterhin verschiedene Darstellungsarten 8a, 8b, 8c, 9a, 9b zugeordnet sein. Diese verschiedenen Darstellungsarten 8a, 8b, 8c, 9a, 9b können zum Beispiel verschiedene Animationsarten der jeweiligen Avatare 8, 9 darstellen oder sich auf verschiedene Arten von Botschaften beziehen, die durch die jeweiligen Avatare 8, 9 dargestellt werden. Darüber hinaus kann im Speicher 5 auch eine Umgebungskarte 10 in Form einer HD-Karte gespeichert sein. Diese Karte 10 kann auch von irgendeiner Art von externen Quelle, wie eine zentrale Datenverarbeitungseinrichtung außerhalb des Kraftfahrzeugs 1, bezogen werden.
-
Zum Visualisieren einer Fahrabsicht für einen Benutzer des Kraftfahrzeugs 1 wird zuerst ein bestimmtes bevorstehendes Fahrereignis von mehreren definierten Fahrereignissen in Abhängigkeit von mindestens einem Umgebungsparameter detektiert und klassifiziert. In diesem Beispiel stellt das bevorstehende Fahrereignis 11 einen Zebrastreifen dar. Der Umgebungsparameter, in Abhängigkeit von welchem dieses Fahrereignis 11 detektiert und klassifiziert wird, kann mindestens ein Objekt 12a, 12b, 12c sein, welches dieses bevorstehende Fahrereignis 11 betrifft und welches in diesem Fall ein Zebrastreifenschild 12a, die Streifen 12b auf der Straße 13, die den Zebrastreifen repräsentieren, und/oder eine Person 12c sein kann, die die Straße 13 am Zebrastreifen überqueren will. Diese Informationen können mittels der Frontkamera 7 oder anderen Umfeldsensoren des Kraftfahrzeugs 1 erfasst werden. Im Allgemeinen kann das Kraftfahrzeug 1 nicht nur Umgebungssensoren 7 verwenden, um Umgebungsparameter zu erfassen, sondern auch zum Beispiel die HD-Karte 10 oder andere Informationsquellen wie Fahrzeug-zu-Fahrzeug- oder Fahrzeug-zu-X-Kommunikation, um Informationen über bevorstehende Fahrereignisse oder zumindest Informationen, auf deren Basis bevorstehende Ereignisse detektiert und klassifiziert werden können, zu beziehen.
-
Darüber hinaus kann basierend auf diesem detektierten und klassifizierten bevorstehenden Fahrereignis 11 eine bestimmte Fahrabsicht vorhergesagt werden. Solch eine Fahrabsicht kann zum Beispiel ein Verlangsamen oder Anhalten darstellen. Zum Vorhersagen der Fahrabsicht kann das Visualisierungssystem 2 zunächst einen Abstand 14 zu einer Position bestimmen, die dem detektierten bevorstehenden Fahrereignis 11 zugeordnet ist und welche die Position eines Objekts 12a, 12b, 12c, welches zu diesem Fahrereignis 11 gehört, darstellen kann, zum Beispiel die Streifen 12b des Zebrastreifens in diesem Fall. Dieser Abstand 14 kann zum Beispiel basierend auf Umfeldsensoren 7 und/oder der HD-Karte 10 in Kombination mit dem GPS-Sensor 6 bestimmt werden. Zum Beispiel kann die globale Position dieses Zebrastreifens in der HD-Karte 10 enthalten sein. Das Kraftfahrzeug kann seine eigene Position in globalen Koordinaten mittels seines GPS-Sensors 6 bestimmen und daher kann die Position des Kraftfahrzeugs 1 innerhalb der Karte 10 und dessen Abstand zum Zebrastreifen bestimmt werden. Darüber hinaus kann, da zum Beispiel herkömmliche GPS-Sensoren sehr ungenau sind, die Genauigkeit durch zusätzliche Verwendung von Umgebungsinformationen, die von den Umfeldsensoren 7 erfasst werden, erhöht werden. Zu diesem Zweck kann der Umfeldsensor 7 nicht nur Objekte 12a, 12b, 12c erfassen, die zum Zebrastreifen-Ereignis 11 gehören, sondern auch andere Objekte, Merkmale und Landmarken in seiner Umgebung und die korrespondierenden Positionen mit Bezug auf das Kraftfahrzeug 1 bestimmen, und diese Relativpositionen mit den korrespondierenden Objekten, Merkmalen und Landmarken innerhalb der Karte 10 mit Bezug auf die Kraftfahrzeugposition innerhalb der Karte 10 vergleichen, sodass mittels eines solchen Vergleichs eine Fehlerkorrektur oder Koordinatenkorrektur durchgeführt werden kann und eine hochgenaue globale Position des Kraftfahrzeugs 1 innerhalb der Karte 10 berechnet werden kann. Folglich sind auch die Positionen von Objekten in der Umgebung des Kraftfahrzeugs 1 mit sehr hoher Genauigkeit in der Karte 10 definiert, sodass auch die Relativpositionen dieser Objekte mit Bezug auf das Kraftfahrzeug 1 dann mit sehr hoher Genauigkeit bekannt sind.
-
Letztendlich kann basierend auf dem bestimmten Abstand 14 eine korrespondierende Fahrabsicht bestimmt werden. Zum Beispiel kann, wenn das Kraftfahrzeug 1 50 Meter vom Zebrastreifenereignis 11 weg ist, die Fahrabsicht eine Verlangsamung sein. Weiterhin wäre im Fall, dass der Abstand 14 ungefähr 5 Meter zum Zebrastreifen-Ereignis beträgt, dann die Fahrabsicht, anzuhalten.
-
Nun wird vorteilhafterweise für die bestimmte Fahrabsicht eine Darstellungsart 8a, 8b, 8c, 9a, 9b von mehreren definierten und gespeicherten Darstellungsarten 8a, 8b, 8c, 9a, 9b von künstlichen Objekten 8, 9 ausgewählt. Zum Beispiel kann ein geeigneter Avatar 8, 9 für das Zebrastreifen-Ereignis 11 ausgewählt werden, nachdem dieses Zebrastreifen-Ereignis 11 detektiert und klassifiziert wurde. Für diesen ausgewählten Avatar 8, 9 kann dann in Abhängigkeit von dem bestimmten Abstand 14 eine korrespondierende geeignete Animation 8a, 8b, 8c, 9a, 9b ausgewählt werden. Zum Beispiel im Fall, dass das Kraftfahrzeug 1 50 Meter vom Zebrastreifen-Ereignis 11 weg ist, kann dann ein Avatar gewählt werden, welcher zum Beispiel ein Schild hochhält, auf welchem man „langsam“ lesen kann. Wenn sich das Kraftfahrzeug 1 dem Zebrastreifen-Ereignis 11 nähert und zum Beispiel dann der Abstand 14 ungefähr 5 Meter beträgt, kann sich die Darstellungsart 8a, 8b, 8c, 9a, 9b ändern und der Avatar, der für das Zebrastreifen-Ereignis 11 ausgewählt wurde, kann dann mit einer anderen Darstellungsart 8a, 8b, 8c, 9a, 9b, insbesondere einer anderen Animation, angezeigt werden, zum Beispiel mit einem hochgehaltenen Stoppschild.
-
Das ausgewählte künstliche Objekt 8, 9 wird dann auf der Anzeigeeinrichtung 4 gemäß der ausgewählten Darstellungsart 8a, 8b, 8c, 9a, 9b an der bestimmten Position, die in Abhängigkeit von der Umgebung des Kraftfahrzeugs 1 bestimmt wurde, insbesondere in Abhängigkeit von der bestimmten Position, die dem detektierten Fahrereignis 11 zugeordnet ist, angezeigt, sodass vorteilhafterweise eine sehr hohe Positionskorrektheit mit Bezug auf das bevorstehende Fahrereignis 11 bereitgestellt werden kann. Dies wird nun detailliert und mit Bezug auf 2 beschrieben.
-
2 zeigt schematisch ein Funktionsdiagramm zur Veranschaulichung eines Verfahrens zum Visualisieren einer Fahrabsicht gemäß einem Ausführungsbeispiel der Erfindung. Zuerst erfassen in Schritt S1 die Umfeldsensoren 7 des Kraftfahrzeugs 1 die Umgebung. Diese erfassten Umgebungsdaten können einerseits zur Selbstlokalisierung des Kraftfahrzeugs 1 verwendet werden und auch zur Detektion und Klassifikation des bevorstehenden Fahrereignisses 11 sowie der Fahrabsicht. In Schritt S2 können Computervision-Algorithmen Objekte, Merkmale und weitere Informationen aus den Umgebungsdaten, die von den Umfeldsensoren 7 bereitgestellt werden, extrahieren. Diese erfasste Umgebungsinformation kann dann mit der Information, die von einer Umgebungskarte 10 bereitgestellt wird, und/oder einer GPS-Information kombiniert werden, um eine sehr genaue fusionierte globale Karte zu erstellen, die im Schritt S3 ausgegeben wird. Basierend auf dieser globalen Karte können Informationen darüber, wo sich das Kraftfahrzeug 1 befindet und welche grundsätzliche Art von Informationen erwartet werden kann, bezogen werden. Somit wird diese globale genaue Karte aus der Fusionierung der Karte 10 mit den Ergebnissen, die von den Lokalisierungsalgorithmen basierend auf den Umgebungsdaten bereitgestellt werden, erzeugt.
-
Andererseits werden die Kameras und Sensoren 7 auch von anderen Algorithmen zum Verstehen, was der Fahrer/Benutzer aktuell tut oder tun muss, insbesondere was das autonom fahrende Fahrzeug 1 in einer aktuellen oder bevorstehenden Situation tun wird, verwendet, insbesondere mit Bezug auf ein bevorstehendes Fahrereignis 11. Somit können, wie mit Bezug auf 1 beschrieben, basierend auf den Umgebungsdaten ein bevorstehendes Fahrereignis 11 und damit zusammenhängende Objekte 12a, 12b, 12c detektiert und klassifiziert werden und basierend darauf eine Fahrabsicht im Schritt S4 bestimmt werden. In Abhängigkeit von der bestimmten Fahrabsicht und dem klassifizierten bevorstehenden Fahrereignis 11 wird ein geeigneter Avatar 8, 9 und seine Darstellungsart 8a, 8b, 8c, 9a, 9b im Schritt S5 ausgewählt. Dieser ausgewählte Avatar 8, 9 kann dann auf einer Anzeigeeinrichtung 4 gemäß der bestimmten Darstellungsart 8a, 8b, 8c, 9a, 9b angezeigt werden, eingesetzt und eingebettet in die Umgebung oder deren Darstellung. Zu diesem Zweck wird im Schritt S6 eine 3D-Umgebungsszene basierend auf der globalen genauen Karte konstruiert und der ausgewählte Avatar 8, 9 wird in dieser 3D-Szene in Schritt S7 an einer definierten Position eingesetzt, welche basierend auf einer Position bestimmt wird, die mit dem detektierten bevorstehenden Fahrereignis 11 korreliert ist. Letztendlich wird die resultierende Szene gerendert und auf der Anzeigeeinrichtung 4 im Schritt S8 ausgegeben. Einige Beispieldarstellungen sind in 3 bis 6 dargestellt.
-
Zum Beispiel zeigt 3 eine schematische Darstellung der Anzeige eines ausgewählten Avatars 8 und einer Animation 8a, eingebettet in eine Umgebungsszene 15, die in Form eines Live-Videostreams bereitgestellt wird, welcher von der Frontkamera 7 des Kraftfahrzeugs 1 erfasst wird. Diese Avatardarstellung 8a betrifft in diesem Beispiel eine Geradeausfahrt-Situation, nämlich ein ungehindertes Fahren auf einer Straße.
-
4 zeigt ein weiteres Beispiel eines ausgewählten Avatars 8 mit einer anderen Animation 8b, die zum Beispiel für ein Zebrastreifen-Ereignis 11 geeignet ist und ausgewählt werden kann.
-
5 zeigt ein Beispiel eines weiteren ausgewählten Avatars mit einer weiteren Art von verschiedenen Animationen 8c, die zum Beispiel für eine Verkehrsstoppsituation geeignet ist. 6 zeigt eine schematische Darstellung eines ausgewählten Avatars 9 und der korrespondierenden Darstellungsart 9a für eine Einparksituation als bevorstehendes Fahrereignis.
-
Die Animation des Avatars 8, 9 hilft dem Benutzer zu verstehen, was das Kraftfahrzeug 1 tun muss oder tun wird, zum Beispiel dem Avatar 8, 9 folgen wie in dem Beispiel von 3, anzuhalten wie in dem Beispiel von 4 oder 5, oder in eine Parklücke oder einen Parkplatz geführt zu werden, wie in 6 illustriert. Darüber hinaus können mittels des Avatars 8, 9 auch spezielle Aktionen, wie Fahrspurwechsel oder Abbiegevorgänge, dem Benutzer visualisiert werden. Ein weiterer Anwendungsfall wäre es, wenn der Avatar 8, 9 sich wie eine Scheibenreinigungskraft für den Benutzer verhält und spezielle Bewegungen ausführt, um einen im Gange befindlichen Reinigungsprozess zu animieren.
-
Vorteilhafterweise ist es auch möglich, da die fast exakte globale Position des Kraftfahrzeugs 1 basierend auf der hochgenauen fusionierten Karte ermittelt wird, solch künstliche Objekte wie die Avatare 8, 9 in der korrekten perspektivischen Ansicht einzusetzen. Im Beispiel des Zebrastreifens kann der Avatar 8, 9 eingesetzt und angezeigt werden, bevor das Kraftfahrzeug 1 den Zebrastreifen erreicht, um eine Verlangsamung und den vollständigen Stopp anzuzeigen. Darüber hinaus ist es weiterhin sehr vorteilhaft, wenn auch der Grund für bestimmte Fahrabsichten innerhalb des Videostreams der Umgebung, der auf der Anzeigeeinrichtung 4 angezeigt wird, hervorgehoben wird. Vorteilhafterweise kann der Benutzer nicht nur darüber informiert werden, welche Handlungen zu erwarten sind, die dann von dem Kraftfahrzeug 1 durchgeführt werden, sondern auch über die Gründe für diese Handlungen informiert werden.
-
Mittels der Erfindung oder ihrer Ausgestaltungen ist es vorteilhafterweise möglich, die Fahrabsicht eines autonom fahrenden Fahrzeugs einem Benutzer zu visualisieren, was, insbesondere in Kombination mit der Möglichkeit der hochgenauen Einbettung von künstlichen Objekten in Darstellungen der Umgebung, das Vertrauen eines Benutzers in das Kraftfahrzeug enorm steigern kann.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102012015002 A1 [0003]
