DE102020102278A1

DE102020102278A1 - Verfahren zur Navigationsunterstützung in einem Kraftfahrzeug auf Grundlage von Informationen aus mehreren erfassenden Kraftfahrzeugen

Info

Publication number: DE102020102278A1
Application number: DE102020102278.6A
Authority: DE
Inventors: Reinhard JURK
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2020-01-30
Filing date: 2020-01-30
Publication date: 2021-08-05

Abstract

Die Erfindung betrifft ein Verfahren zur Datenerfassung mittels einer Servereinheit, um eine Navigationsunterstützung eines Fahrers in einem die Servereinheit nutzenden Kraftfahrzeug (1) bereitstellen zu können. Dazu sind auch ein Verfahren zur Augmentierung eines Objekts (7) zum Darstellen eines Fahrhinweises (3) in dem nutzenden Kraftfahrzeug (1) sowie ein alle Komponenten umfassendes Fahrerinformationssystem und ein Kraftfahrzeug bereitgestellt.

Description

Die Erfindung betrifft ein Verfahren zur Datenerfassung mittels einer Servereinheit, um eine Navigationsunterstützung eines Fahrers in einem die Servereinheit nutzenden Kraftfahrzeug bereitstellen zu können. Dazu sind auch ein Verfahren zur Augmentierung eines Objekts zum Darstellen eines Fahrhinweises in dem nutzenden Kraftfahrzeug sowie ein alles Komponenten umfassendes Fahrerinformationssystem und ein Kraftfahrzeug bereitgestellt.
Aus der DE 10 2018 201 769 A1 ist ein Verfahren bekannt, um auf einem Anzeigebildschirm ein dort dargestelltes Objekt zu augmentieren, also mit virtuellen Bildinhalten anzureichern. Gegenstand des Verfahrens sind die Anzeige einer Navigationsmarkierung, die kontaktanalog zu einer Straße ist, und die Anzeige einer Referenzmarkierung eines Referenzobjekts. Das Referenzobjekt kann beispielsweise ein Verkehrsschild an einer Kreuzung sein, auf die die Navigationsmarkierung für das Anzeigen eines Abbiegevorgangs gelegt wird. Die Referenzmarkierung dient zum Markieren des Referenzobjekts. Nachteilig bei dem bekannten Verfahren sind Ungenauigkeiten, die durch Toleranzen bei der GPS-Positionsbestimmung des Kraftfahrzeugs verursacht werden können, sodass die Navigationsmarkierung mehrdeutig und fehlerhaft auf dem Anzeigebildschirm positioniert werden kann. Das hat zur Folge, dass der Fahrer die Navigationsmarkierung falsch interpretieren kann, wenn beispielsweise aufgrund der Ungenauigkeiten die Navigationsmarkierung fehlerhaft zwischen zwei Straßen positioniert wird, anstelle auf genau die Straße, in die abgebogen werden soll.
Aus der DE 10 2017 221 191 B4 ist ein Verfahren zur Darstellung von Augmented-Reality-Informationen in einem Blickfeld eines Fahrers bekannt. Das Verfahren beinhaltet das Anzeigen einer Sicherheitszone vor einem Fahrzeug. Das Anzeigen der Sicherheitszone zeichnet sich dadurch aus, dass die Sicherheitszone auf einer Straße in Rasterform dargestellt wird. In dem Verfahren werden Informationen mittels einer Augmented-Reality-Darstellung in einer Anzeigeeinheit einem Fahrer derart dargestellt, dass die Augmented-Reality-Anwendungen nicht ein Blickfeld des Fahrers verdecken.
Aus der EP 1 875 442 B1 ist ein Verfahren zur grafischen Darstellung der Umgebung eines Kraftfahrzeugs bekannt, welches eine Darstellungsform der Umgebung des Kraftfahrzeugs ermöglicht, die den Fahrer bei der Interpretation der Umgebung unterstützt. Das Verfahren blendet mittels einer Augmented-Reality-Darstellung auf einer Anzeige im Kraftfahrzeug ein virtuelles Begrenzungsobjekt mit dreidimensionaler Raumform in das Blickfeld des Fahrers ein, wobei sie einen kollisionsfrei durch das Kraftfahrzeug erreichbaren Freiraum von einem nicht kollisionsfrei erreichbaren Hindernisraum des Kraftfahrzeugs abgrenzt. Die Ermittlung der Position des virtuellen Begrenzungsobjekts erfolgt dabei aus einer Interpolation aus einer Messung des Abstands der Hindernisse in der Umgebung des Kraftfahrzeugs über Stützpunkte oder Stützlinien zu einem jeweils bekannten Abstand von einem Bezugsobjekt, einer Bezugslinie oder einer Bezugsfläche des Kraftfahrzeugs. Nachteilig bei dem bekannten Verfahren ist, dass das Kraftfahrzeug nur die Stützpunkte aus der Umgebung des Kraftfahrzeugs ermittelt, die für eine Erfassungseinheit in der Umgebung tatsächlich sichtbar sind.
Der Erfindung liegt die Aufgabe zugrunde, in einem Kraftfahrzeug ein Verfahren zur Augmentierung eines Objekts bereitzustellen, sodass eine kontaktanaloge Positionierung eines Fahrhinweises auf einer Anzeige, die das Objekt zeigt, erfolgen kann.
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren beschrieben.
Die erfindungsgemäße Lösung umfasst mehrere Aspekte:

Es erfolgt eine Datenerfassung durch Daten erfassende Kraftfahrzeuge. Bei der Datenerfassung erfolgt eine Optimierung der erfassten Datenmenge durch Benutzung von A-priori-Wissen darüber, dass an einem bestimmten Manöverort beispielsweise besonders viele Fahrer falsch fahren und daher eine erhöhte Notwendigkeit zur präzisen Datenerfassung besteht und dass bei dem jeweiligen erfassenden Kraftfahrzeug ein Navigationsmanöver genau an einem solchen Manöverort ansteht. Die Datenerfassung kann in jedem erfassenden Kraftfahrzeug beispielsweise ausgelöst werden, indem durch ein konventionelles Navigationsgerät das bevorstehende Manöver signalisiert wird und sich deshalb die Datenerfassung lohnt und/oder indem durch Konfigurationsdaten aus einem Servercomputer oder Backend die Datenerfassung für vorbestimmte Manöverorte vorgegeben wird. Während das jeweilige erfassende Kraftfahrzeug Umgebungsdaten von dem Manöverort erfasst, werden auch Odometriedaten erfasst. Die Odometriedaten beschreiben die von dem erfassenden Kraftfahrzeug an dem Manöverort gefahrene Trajektorie. Aus den Umgebungsdaten kann in dem erfassenden Kraftfahrzeug ein sogenanntes Weltmodell des Manöverorts generiert werden, d.h. eine digitale Beschreibung der geometrischen Verhältnisse von Objekten an dem Manöverort (z.B. Positionen von Straßenschildern und anderen Infrastrukturelementen sowie z.B. eine Straßengeometrie). Diese Objekte können in den Umgebungsdaten anhand von sogenannten Features (geometrische Merkmale, wie z.B. Kanten oder Mustern) erkannt werden.

Durch den erwähnten Servercomputer kann eine Kombination aus dem Featureextrahierten-Weltmodell und der Odometrie von jedem erfassenden Kraftfahrzeug empfangen werden und es kann eine Aggregation dieser Daten (evtl. mit Anreicherung durch weitere Daten, wie z.B. A-priori-Wissen aus einer Umgebungskarte) erfolgen. Es kann eine Ablage oder Prozessierung über viele erfassende Kraftfahrzeuge im Servercomputer / Backend erfolgen; dabei erfolgt insbesondere auch eine Berücksichtigung der lokalen Anonymisierung von Bildinformationen (z.B. Nummernschilder, Gesichter).
Schließlich erfolgt die Bereitstellung der aggregierteten Information zur Nutzung an nutzende Kraftfahrzeuge. Zu beachten ist, dass nutzendes Kraftfahrzeug auch ein erfassendes Kraftfahrzeug (im oben genannten Sinne) sein kann. Ein nutzendes Kraftfahrzeug kann aber auch ein Kraftfahrzeug sein, das nicht für die Erfassung der beschriebenen Daten eingerichtet ist.
Die Erfindung weist also drei Aspekte auf.
Im ersten Aspekt wird ein Verfahren zur Datenerfassung für die Beschaffung von Weltmodelldaten bereitgestellt, um später in einem die Weltmodelldaten nutzenden Kraftfahrzeug Fahrhinweise darstellen zu können. Die Datenerfassung erfolgt durch eine Flotte von Daten erfassenden Kraftfahrzeugen. Dabei kann in der besagten Weise ein erfassendes Kraftfahrzeug auch ein das Verfahren nutzendes Kraftfahrzeug sein. Zur besseren Unterscheidung wird ein Kraftfahrzeug in seiner Rolle als erfassendes Kraftfahrzeug im Folgenden auch als Erfassungsfahrzeug bezeichnet, um es von einem Kraftfahrzeug zu unterscheiden, dass die im Weiteren noch beschriebene und mittels des Verfahrens erzeugte augmentierte Darstellung eines Objekts nutzt oder einem Fahrer bereitstellt. Die zu erfassende Datenmenge wird durch Benutzung von A-priori-Wissen darüber, dass ein bestimmtes Navigationsmanöver in dem Erfassungsfahrzeug ansteht und/oder dass sich das Erfassungsfahrzeug an einem vorgegebenen Manöverort befindet, festgelegt. So kann beispielsweise dort, wo anhand einer elektronischen Karte besonders viele Kraftfahrzeuge in der Vergangenheit falsch gefahren sind, eine Notwendigkeit zur präzisen Datenerfassung festgelegt werden. Dies kann durch Konfigurationsdaten beschrieben werden.
Im zweiten Aspekt der Erfindung wird durch eine zentrale Servereinheit aus den Erfassungsfahrzeugen eine Kombination aus Feature-extrahiertem-Weltmodell und einer Idealtrajektorie erfasst, wobei eine Odometrieerfassung mit optionaler Anreicherung durch weitere Daten von mehreren erfassenden Kraftfahrzeugen unter Berücksichtigung der lokalen Anonymisierung der Bildinformationen erfolgt.
Im dritten Aspekt der Erfindung wird ein Verfahren bereitgestellt, um ein Objekt zum Abbilden einer zu fahrenden Trajektorie für ein Kraftfahrzeug an einem Manöverort mittels eines Steuerkreises und einer Anzeige zu augmentieren, wobei die Augmentierung des Objekts auf einem Anzeigebildschirm, beispielsweise einem Kombiinstrumentdisplay oder einem Head-up-Display, ein zum Objekt kontaktanaloges Anzeigen eines Fahrhinweises auf dem Anzeigebildschirm beinhaltet.
Für den ersten und den zweiten Aspekt ist ein Verfahren zur Datenerfassung mittels der Servereinheit für eine Navigationsunterstützung bereitgestellt. Die Servereinheit steuert in einer Konfigurationsphase die Datenerfassung, indem sie die Konfigurationsdaten an erfassende Kraftfahrzeuge aussendet, wobei die Konfigurationsdaten zumindest einen Manöverort angeben, an welchem die Datenerfassung stattfinden soll, und/oder wobei die Konfigurationsdaten zumindest ein Fahrmanöver angeben, während welchem die Datenerfassung stattfinden soll. Hierdurch wird während jeweiliger Fahrten der erfassenden Kraftfahrzeuge in diesen das Erzeugen der Erfassungsdaten ausgelöst. Die Erfassungsdaten enthalten Geometriedaten (z.B. ein lokales Weltmodell, das in dem jeweiligen Kraftfahrzeug berechnet wurde) und/oder Kameradaten des jeweiligen Manöverorts. Die Erfassungsdaten enthalten zudem auch Odometriedaten einer an dem jeweiligen Manöverort von dem erfassenden Kraftfahrzeug gefahrenen Trajektorie. Die Servereinheit empfängt die Erfassungsdaten aus den erfassenden Kraftfahrzeugen und speichert sie in einer ersten Datenablage der Servereinheit ab.
In einer Modellierungsphase berechnet eine erste Prozessierungseinheit der Servereinheit auf Grundlage der gespeicherten Erfassungsdaten mittels der darin enthaltenen Geometriedaten und/oder Kameradaten zu jedem erfassten Manöverort ein jeweiliges Weltmodell. Das jeweilige Weltmodell kann also auf Erfassungsdaten aus mehreren erfassenden Kraftfahrzeugen basieren. Mittels der Odometriedaten berechnet die Servereinheit zudem eine an dem jeweiligen Manöverort zu fahrende Idealtrajektorie. Jeweils das Weltmodell zusammen mit der dort zu fahrenden Idealtrajektorie werden von der Servereinheit in einer zweiten Datenablage der Servereinheit als Weltmodelldaten abspeichert. Das Weltmodell ist also eine digitale Beschreibung der geometrischen Verhältnisse (Abmessungen von Objekten und relative deren Abstände) des jeweiligen Manöverorts und die Idealtrajektorie stellt eine Verallgemeinerung aller an dem Manöverort erfassten, tatsächlichen von den erfassenden Kraftfahrzeugen gefahrenen Trajektorien dar.
In einer Unterstützungsphase empfängt eine zweite Prozessierungseinheit der Servereinheit aus zumindest einem nutzenden Kraftfahrzeug eine jeweilige Anfrage für die Weltmodelldaten eines jeweiligen spezifischen Manöverorts und sie sendet daraufhin die angefragten Weltmodelldaten mit dem Weltmodell und der dort zu fahrenden Idealtrajektorie an das anfragende nutzende Kraftfahrzeug, damit in dem nutzenden Kraftfahrzeug eine auf den Weltmodelldaten basierende Navigationsassistenz bereitgestellt werden kann.
Mittels der Konfigurationsdaten kann also durch die Servereinheit festgelegt oder gesteuert werden, an welchem Manöverort und/oder für welches Fahrmanöver (z.B. „rechts abbiegen“) überhaupt Erfassungsdaten durch die erfassenden Kraftfahrzeuge erzeugt werden sollen. Hierdurch kann die entstehende und zu übertragende Datenmenge präzise an den Bedarf an Weltmodelldaten angepasst werden.
Indem dann in den Weltmodelldaten der Servereinheit auch eine Repräsentation der tatsächlich fahrbahren Trajektorien enthalten ist (zusammengefasst als Idealtrajektorie), ist es im nutzenden Kraftfahrzeug möglich, einen Fahrer durch unübersichtliche Manöverorte zu führen und ihn dabei z.B. auf eine untypische Spurführung vorzubereiten.
In einer Ausführungsform des Verfahrens werden aus dem jeweiligen erfassenden Kraftahrzeug die Erfassungsdaten ganz oder teilweise anonymisiert empfangen und/oder die Erfassungsdaten nach dem Empfangen durch die erste Prozessierungseinheit ganz oder (bei bereits teilweiser Anonymisierung durch ein erfassendes Kraftfahrzeug) restlich anonymisiert. Das Verfahren lässt sich somit problemlos auch unter Einhaltung von Datenschutzrichtlinien implementieren. Das Anonymisieren kann durch Überschreiben von Daten, die z.B. ein Gesicht oder ein Nummernschild repräsentieren, erfolgen.
In einer Ausführungsform ermittelt die besagte erste Prozessierungseinheit der Servereinheit zum Berechnen der Idealtrajektorie einen Durchschnitt der am Manöverort tatsächlich von den erfassenden Kraftfahrzeugen gefahrenen Trajektorien. Die Trajektorien können z.B. durch Vektoren beschrieben sein, die zum Berechnen des Durchschnitts überlagert oder aufaddiert werden können. Somit ergibt sich ein statistischer Mittelwert und damit die robusteste Trajektorie.
Um das gemäß dem ersten und dem zweiten Aspekt vorgesehene Verfahren durchzuführen, stellt die Erfindung auch eine Servereinheit bereit. Eine solche Servereinheit kann z.B. als ein Servercomputer des Internets oder ein Computerverbund solcher Servercomputer sein. Die Servereinheit umfasst eine erste Datenablage zum Speichern von Konfigurationsdaten für eine durch erfassende Kraftfahrzeuge durchzuführende Datenerfassung, eine erste Prozessierungseinheit zum Erzeugen von Weltmodelldaten auf Grundlage von aus den erfassenden Kraftfahrzeugen empfangenen Erfassungsdaten, eine zweite Datenablage zum Speichern der Weltmodelldaten und eine zweite Prozessierungseinheit zum Aussenden zumindest einiger der Weltmodelldaten an zumindest ein die Weltmodelldaten für eine Navigationsassistenz nutzendes Kraftfahrzeug. Die Servereinheit dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Sie kann hierzu Mikroprozessoren und einen mit diesen gekoppelten Datenspeicher umfassen. In dem Datenspeicher können Programminstruktionen zum Durchführen des Verfahrens gespeichert sein.
Das Verfahren nutzt erfassende Kraftfahrzeuge, die ebenfalls ein Bestandteil der Erfindung sind. Ein solches erfassendes Kraftfahrzeug weist ein Steuergerät auf, das dazu eingerichtet ist, aus der beschriebenen Servereinheit die beschriebenen Konfigurationsdaten zu empfangen, die zumindest einen Manöverort angeben, an welchem eine Datenerfassung stattfinden soll, und/oder die zumindest ein Fahrmanöver angeben, während welchem die Datenerfassung stattfinden soll, und während zumindest einer Fahrt des Kraftfahrzeugs das Erzeugen von Erfassungsdaten gemäß den Konfigurationsdaten durchzuführen, wobei die Erfassungsdaten Geometriedaten und/oder Kameradaten des jeweiligen Manöverorts und Odometriedaten einer dort von dem Kraftfahrzeug gefahrenen Trajektorie enthalten, und dann die Erfassungsdaten an die Servereinheit auszusenden. Wo sich das Kraftfahrzeug aktuell befindet und/oder welches Manöver gefahren wird, kann dem Steuergerät durch ein Navigationssystem des Kraftfahrzeugs signalisiert werden. Die Odometriedaten können in an sich bekannter Weise in dem Kraftfahrzeug ermittelt werden, beispielsweise mit Hilfe eines Lenkwinkelsensors und/oder mit Hilfe von Drehzahlsensoren.
In einer Ausführungsform weist das Kraftfahrzeug eine Übertragungseinheit auf, die die Erfassungsdaten des erfassenden Kraftfahrzeugs beim Versenden anonymisiert. Hierdurch ergibt sich der Vorteil, dass keine personenbezogenen Daten durch das Kraftfahrzeug versendet werden.
In einer Ausführungsform weist das Kraftfahrzeug eine fahrzeuglokale Prozessierungseinheit auf, die die Erfassungsdaten beim Erfassen anonymisiert. Hierdurch ergibt sich der Vorteil, dass nicht einmal im Kraftfahrzeug personenbezogene Daten vorhanden sind und verarbeitet werden.
Für den dritten Aspekt der Erfindung ist ein Verfahren vorgesehen, um ein Objekt für eine an einem Manöverort bereitzustellende Navigationsassistenz zu augmentieren. Das Objekt kann z.B. eine Straße sein, in die gemäß der Navigationsassistenz abgebogen werden soll. Durch das Augmentieren wird dem Objekt ein graphischer Fahrhinweis überlagert, damit ein Fahrer beim Betrachten des Objekts, also z.B. der besagten Straßen, wahrnimmt, dass er dorthin fahren soll.
Das zugehörige Verfahren wird in einem die Servereinheit nutzenden Kraftfahrzeug durchgeführt, wo eine Steuerschaltung oder ein Steuerkreis mittels einer Anzeige dem Objekt kontaktanalog eine zu fahrende Trajektorie als Fahrhinweis überlagert anzeigt. Kontaktanalog bedeuten in dem üblichen Sinne, dass eine Anzeigeposition des Fahrhinweises auf der Anzeige nachgeführt wird, falls sich das Kraftfahrzeug relativ zu dem Objekt bewegt, sodass der Fahrhinweis aus der Sicht des betrachtenden Fahrers bezüglich des Objekts bewegungslos oder zumindest von der Relativbewegung unbeeinflusst erscheint.
Der Steuerkreis ermittelt anhand von Sensordaten zumindest eines Umgebungssensors des Kraftfahrzeugs (z.B. einer Umfeldkamera) Fixpunkte von Referenzobjekten an dem Manöverort. Solche Fixpunkte können z.B. Ecken und/oder Kanten sein, um nur Beispiele zu nennen. Hier kann auf einen an sich bekannten sogenannten Merkmalsdetektionsalgorithmus und/oder auf ein künstliches neuronales Netzwerk zurückgegriffen werden.
Aus den Fixpunkten wird durch den Steuerkreis ein vorläufiges Weltmodell des Manöverorts erzeugt, das die Abmessungen und die relative Lage der Referenzobjekte bezüglich des Kraftfahrzeugs beschreiben kann. Dieses vorläufige Weltmodell ist dahingehend beschränkt, dass es nur aus der Perspektive des nutzenden Kraftfahrzeugs erfasst wird, das den Manöverort noch nicht vollständig durchfahren hat. Daher werden durch den Steuerkreis bei der beschriebenen Servereinheit Weltmodelldaten zum Vervollständigen des vorläufigen Weltmodells angefragt. Die Weltmodelldaten enthalten aber in der beschriebenen Weise zugleich auch noch die Idealtrajektorie, d.h. die Anfrage nach Weltmodelldaten erfolgt auch zum Abfragen einer für den Manöverort empfohlenen oder vorgesehenen Idealtrajektorie. Wenn der Steuerkreis die angefragten Weltmodelldaten empfängt, ergänzt er mittels der empfangenen Weltmodelldaten das vorläufige Weltmodell zu einem erweiterten Weltmodell. Für die Kombination der beiden Weltmodelle kann ein übereinstimmender Teil beider Weltmodelle ermittelt werden, um einen gemeinsamen Anteil zu ermitteln, anhand welchem die beiden Weltmodelle überlagert werden können. Der im vorläufigen Weltmodell noch nicht erfasste Teil des Manöverorts kann so durch die Weltmodelldaten ergänzt werden kann (beispielsweise ein Bereich hinter einer Hausecke, der aktuell von dem zumindest einen Umgebungssensor des Kraftfahrzeugs selbst noch nicht einsehbar ist).
In dem ergänzten Weltmodell ist auch das Objekt beschrieben, das für die Navigationsassistenz zu augmentieren ist, also in dem Beispiel die beschriebene Straße, in die abgebogen werden soll. Der Steuerkreis ermittelt nun mittels des erweiterten Weltmodells die relative Position des zu augmentierenden Objekts in Bezug auf das zumindest eine Referenzobjekt, zu welchem die Fixpunkte aufgrund der Vermessung des Manöverorts durch den zumindest einen Umgebungssensor bereits bekannt sind. Damit erhält der Steuerkreis Abmessungsdaten, welche die relative Position des zu augmentierenden Objekts in Bezug auf die aktuelle Fahrzeugposition beschreiben.
Auf der Anzeige kann daher nun der Steuerkreis die Idealtrajektorie als die am Manöverort zu fahrende Trajektorie dem Objekt überlagert anzeigen. Die Trajektorie kann als Linie oder als sogenannter Fahrschlauch oder als Pfeil dargestellt werden, um nur Beispiele zu nennen.
Somit kann der Steuerkreis auf Grundlage der Weltmodelldaten die Relativposition des Objekts bezüglich des Kraftfahrzeugs ermitteln. Zudem wird eine erfolgreich befahrbare oder bewährte Trajektorie für die Navigationsassistenz genutzt. Der Steuerkreis kann zum Ausführen des Verfahrens eine Recheneinrichtung mit einem oder mehreren Mikroprozessoren aufweisen, die jeweils mit einem Datenspeicher gekoppelt sein können, der Programminstruktionen für das Durchführen des Verfahrens gespeichert hält.
In einer Ausführungsform des Verfahrens wird dem zu augmentierenden Objekt der Fahrhinweis mittels einer Anzeige, die als Head-up-Display augestaltet ist, überlagert. Ein Fahrer sieht also das reale Objekt durch eine sogenannte Combiner-Scheibe hindurch, auf der der Fahrhinweis eingeblendet wird. Zusätzlich oder alternativ dazu kann der Fahrhinweis auf einem Kamerabild, welches das Objekt auf einem Bildschirm anzeigt, überlagert werden. Somit kann in dem Kamerabild auch das Abbild des Objekts selbst verbessert dargestellt werden, z.B. aufgehellt oder im Kontrast verstärkt.
Um das Verfahren gemäß dem dritten Aspekt durchzuführen, ist durch die Erfindung ein Kraftfahrzeug mit einem Steuerkreis bereitgestellt, der die besagte Recheneinrichtung aufweist, die dazu eingerichtet ist, eine Ausführungsform des Verfahrens durchzuführen.
Die Erfindung sieht zur systemischen Umsetzung der drei beschriebenen Aspekte ein Fahrerinformationssystem vor, dass mit der Servereinheit und mit mehreren erfassenden Kraftfahrzeugen und mit zumindest einem die Servereinheit nutzenden Kraftfahrzeug ausgestattet ist.
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar.
Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels sowie unter Bezugnahme auf die Zeichnungen näher erläutert. Es zeigen:

1 eine schematische Objektansicht des Manöverorts aus der Perspektive des Fahrers eines Kraftfahrzeugs;
2 eine schematische Darstellung eines vorläufigen Weltmodells, das von dem Kraftfahrzeug vom Manöverort erstellt wurde;
3 eine schematische Darstellung eines ergänzten und erweiterten Weltmodells des Manöverorts, das durch Hinzunahme von anderen Weltmodellen von erfassenden Kraftfahrzeugen, die bereits am Manöverort vorbeigekommen sind, erstellt wurde;
4 eine schematische Darstellung eines Fahrerinformationssystems während einer Konfigurationsphase und einer Modellierungsphase, die sich zeitlich überschneiden können; und
5 eine schematische Darstellung eines Fahrerinformationssystems während einer Unterstützungsphase.

Bei dem im Folgenden erläuterten Ausführungsbeispiel der Erfindung handelt es sich um eine bevorzugte Ausführungsform der Erfindung. Bei dem Ausführungsbeispiel stellen die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren ist die beschriebene Ausführungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.
1 zeigt die Perspektive des Fahrers eines Kraftfahrzeugs vor dem Erreichen einer Straßenkreuzung 8, die einen Manöverortes 10 in einer Stadt repräsentiert. Der Fahrer des Kraftfahrzeugs soll dabei gemäß einer Navigationsassistenz (z.B. einer Fahrroutenführung) am Manöverort 10, d.h. an der Kreuzung 8, z.B. nach rechts abbiegen. Zum Anzeigen des Fahrhinweises, nach rechts abzubiegen, wird dazu in einem Blickfeld des Fahrers auf eine Straße 7 ein Fahrschlauch 6 kontaktanalog zur Straße 7 eingeblendet, d.h. die Straße 7 wird als ein Objekt augmentiert. Der Fahrschlauch 6 liegt dabei zur Straße 7 kontaktanalog bezüglich der Eckpunkte 16 der Straße 7 an und der Fahrschlauch 6 füllt die Straße 7 vollständig aus. Diese Eckpunkte 16 sind in 1 mit Kreisen gekennzeichnet. Der Fahrer fährt dabei in dem Beispiel einem vorausfahrenden Kraftfahrzeug 1 hinterher, das am Manöverort 10 die Sicht auf die Kreuzung 8 teilweise verbirgt. Die Kreuzung 8 beinhaltet jedoch einen hervorstehenden Bordstein 11, der erfordert, dass zum Abbiegen nach rechts ein Verschwenken gemäß der Trajektorie 4 veranlasst werden sollte. Dies wird mittels der zu fahrenden Trajektorie 4 im Blickfeld des Fahrers angezeigt.
2 beschreibt das Weltmodell 17 des Manöverorts 10, das von dem Kraftfahrzeug auf der Grundlage von Sensordaten von zumindest einem Umgebungssensor des Kraftfahrzeugs erstellt wurde. Dabei handelt es sich im Weltmodell 17 um die gleiche Objektansicht 15 wie in 1. Ein Computerprogramm kann daraus nur ein vorläufiges Weltmodell 17 erzeugen, da nicht alle für das bevorstehende Fahrmanöver relevanten Bereiche des Manöverorts einsehbar gewesen sein müssen. Dem Kraftfahrzeug, aus dessen Perspektive das Weltmodell 17 aufgenommen wird, fährt beispielsweise ein Kraftfahrzeug 1 voraus und verdeckt die Sicht auf den Manöverort 10 auf der Kreuzung 8 teilweise. Dabei wird ein hervorstehender Bordstein 11 an der Kreuzung 8 durch das Kraftfahrzeug 1 teilweise verdeckt.
Das Kraftfahrzeug nimmt nun die Objektansicht 15 aus 1, beispielsweise mit einer oder mehreren Kameras (allgemein dem besagten zumindest einen Umgebungssensor) auf und erkennt an der Kreuzung 8 ein oder mehrere Referenzobjekte 5. Die Referenzobjekte 5 sind im Weltmodell 17 z.B. einerseits die Bordsteinbegrenzungen entlang der Straße 7, die Litfaßsäule und die Hausecken auf der rechten und der linken Seite der Straße 7. Aus diesen Referenzobjekten 5 werden nun mittels eines Computer-Vision-Algorithmus eine Anzahl von Eckpunkten oder eine Anzahl von markanten Punkten auf den Referenzobjekten 5 erkannt, auf denen die Fixpunkte 9 gesetzt werden. In 2 sind die Fixpunkte 9 im Weltmodell 17 an den Bordsteinbegrenzungen entlang der Straße 7, die Litfaßsäule und die Hausecken auf der rechten und der linken Seite der Straße 7 gesetzt. Anhand der Relationen der Fixpunkte 9 untereinander ermittelt nun das Computerprogramm des Steuerkreises die relative Position des zu augmentierenden Straßenabschnitts 7 in Bezug zu den Referenzobjekten 5, auf dessen Objektansicht in einem Anzeigemedium, wie beispielsweise einem Head-up-Display, damit ein Fahrschlauch 6 als Fahrhinweis optisch darüber gelegt werden kann. Die Position und Größe des Fahrschlauchs 6 können hierbei durch die Relationen der Fixpunkte 9 untereinander, die sich zwischen den Referenzobjekten 5 und dem Fahrschlauch 6 korrespondierenden Straßenabschnitt befinden, ermittelt werden. Der Fahrschlauch 6 liegt dabei kontaktanalog auf dem Fahrschlauch 6 korrespondierenden Straßenabschnitt der Straße 7 an, was in den Punkten 16 dargestellt ist, und stellt einen Fahrhinweis 3 dar.
Zur Erstellung des Weltmodells 17 werden die Objektansichten 15 von persönlichen Daten von zu anonymisierenden Elementen 18, wie beispielsweise Nummernschilder oder Gesichter von Personen, anonymisiert. Dabei sind beispielsweise an dem vorausfahrenden Kraftfahrzeug 1 ein verdecktes Nummernschild 18 sowie das verdeckte Gesicht einer Person, die sich auf der rechten Seite der Straße befindet, anonymisiert dargestellt. Diese persönlichen Daten werden von dem Steuerkreis als fahrzeuglokale Prozessierungseinheit im Kraftfahrzeug 2 automatisch erkannt und bei der Erstellung des Weltmodells 17 anonymisiert, sodass die persönlichen Daten nicht gespeichert werden. Alternativ können die persönlichen Daten erst beim Versenden an die Servereinheit durch eine Übertragungseinheit des erfassenden Kraftfahrzeugs anonymisiert werden. Dadurch ergibt sich der Vorteil, dass keine persönlichen Daten von dem erfassenden Kraftfahrzeug versendet werden. Dabei wird zusätzlich zur Umfahrung des hervorstehenden Bordsteins 11, der durch das vorausfahrende Kraftfahrzeug 1 verdeckt wird, die zu fahrende Trajektorie 4 angezeigt, um den Fahrer vor der Gefahrenstelle an dem Bordstein 11 zu warnen. Nun enthält das Weltmodell 17 eine begrenzte Anzahl von Fixpunkten 9, die von der Kameraansicht des Kraftfahrzeugs 2 erfasst werden können. Wenn diese Ansicht beispielsweise durch das vorausfahrende Kraftfahrzeug 1 teilweise verdeckt wird, können weniger Fixpunkte 9 zur Bestimmung der Position des Fahrschlauchs 6 ermittelt werden.
Hierzu wird nun eine Ergänzung des Weltmodells 17 mit den Weltmodellen 13 des Manöverortes 10 von anderen, erfassenden Kraftfahrzeugen, ergänzt. Diese Weltmodelle 13 von den zeitlich vorausfahrenden Kraftfahrzeugen 1 werden als Erfassungsdaten in einer Servereinheit gespeichert. Dabei erhält das nutzende Kraftfahrzeug die Weltmodelle 13 von der Servereinheit und nicht direkt von den erfassenden Kraftfahrzeugen. Das Kraftfahrzeug 1 muss den Manöverort, wenn es beispielsweise ein erfassendes Kraftfahrzeug ist, den Manöverort 10 in einem zeitlichen Abstand vor dem nutzenden Kraftfahrzeug passiert haben, sodass die Erfassungsdaten des Kraftfahrzeugs 1 in der Erstellung des Weltmodells 13 berücksichtigt werden können. In der Regel werden also Daten eines unmittelbar vorausfahrenden Fahrzeugs nicht benötigt. In der Berechnung des kollektiven Weltmodells wäre es nicht vorteilhaft, da die Verarbeitung und Rückspielung der Daten für die nutzenden Fahrzeuge zu lange braucht. Es ist also nicht notwendig, dass eine Vehicle-to-Vehicle Kommunikation gemacht wird.
Das Weltmodell 13 wird nun mit dem Fahrhinweis 3 kombiniert. Dabei wird ein Durschnitt der gefahrenen Trajektorien 14 von den anderen vorausfahrenden erfassenden Kraftfahrzeugen 1, die am Manöverort 10 das gleiche Fahrmanöver entsprechend dem Fahrhinweis 3 durchgeführt haben, ermittelt, woraus sich eine Idealtrajektorie z.B. als Durchschnitt der gefahrenen Trajektorien ergibt. Das ist in 2 ein Durchschnitt der gefahrenen Trajektorien 14 von den vorausfahrenden Kraftfahrzeugen, die an der Kreuzung 8 nach rechts abgebogen sind. Das Weltmodell 13 wird zusammen mit dem Durchschnitt der gefahrenen Trajektorien 14 entsprechend dem Fahrhinweis 3 an das Kraftfahrzeug 2 in Form der beschriebenen Weltmodelldaten gesendet. Der Durchschnitt der gefahrenen Trajektorien 14 (Idealtrajektorie) wird durch den Steuerkreis des Kraftfahrzeugs im Weltmodell 17 als zu fahrende Trajektorie 4 ergänzt. Ebenfalls das Weltmodell 13 an das Kraftfahrzeug gesendet und dieses in das Weltmodell 17 registriert, wodurch ein erweitertes Weltmodell entsteht. Dieses wird in 3 dargestellt.
3 zeigt nun das erweiterte Weltmodell 12. Das erweiterte Weltmodell 12 setzt sich aus dem Weltmodell 17 und dem Weltmodell 13 zusammen mit dem Durchschnitt der gefahrenen Trajektorien 14, die dem Fahrhinweis 3 entsprechen, zusammen. In dem Weltmodell 13 ist nun dieselbe Kreuzung 8 aus 1 und 2 gezeigt, wobei das Weltmodell 17 aus 2 nun mit zusätzlichen Informationen aus dem Weltmodell 13, die in 3 gestrichelter Form dargestellt sind, erweitert wird. Im erweiterten Weltmodell 12 können nun zusätzliche Referenzobjekte 5' zur Ermittlung von weiteren Fixpunkten 9' verwendet werden. Die zusätzlichen Referenzobjekte 5' kommen daher, dass die Weltmodelle 13 von den Kraftfahrzeugen 1 bereits aufgenommen wurden, die bereits an dem Manöverort 10 an der Kreuzung 8 vorbeigefahren sind und den Manöverort bereits vollständig kennen. Wie im Beispiel von 2 gezeigt, wo das Weltmodell 17 des Kraftfahrzeugs 2 teilweise durch das vorausfahrende Kraftfahrzeug 1 verdeckt wird, sind die Referenzobjekte 5' für das Weltmodell 17 des Kraftfahrzeugs 2 verdeckt. Die Referenzobjekte 5' werden nach der Registrierung wird das Weltmodells 17 durch Registrierung mit dem Weltmodell 13 zum erweiterten Weltmodell 12. Die zusätzlichen Referenzobjekte 5' mit zusätzlichen Fixpunkten 9' werden nun zur Ermittlung der Position und Größe des Fahrschlauchs 6 zusätzlich zu den Fixpunkten 9 verwendet. Durch die erhöhte Zahl an Fixpunkten 9 und 9' und deren Relationen untereinander kann nun der Fahrschlauch 6 kontaktanalog und fehlerfrei auf den Straßenabschnitt der Straße 8 als Fahrhinweis 3 gelegt werden. Dabei enthält das erweiterte Weltmodell 12 einen Durchschnitt der gefahrenen Trajektorie 14 von allen vorausgefahrenen Kraftfahrzeugen 1, auf deren Basis nun dem Fahrer des Kraftfahrzeugs 2 eine zu fahrende Trajektorie 4 angezeigt wird. Dies kann beispielsweise anhand einer laufenden Durchschnittswertbildung der gefahrenen Trajektorien der vorausfahrenden Kraftfahrzeuge 1 erfolgen, die an der Kreuzung 8 nach rechts abgebogen sind. Beispielsweise kann die Servereinheit einen gleitenden Durchschnitt der gefahrenen Trajektorien der vorausfahrenden Kraftfahrzeuge 1, die an der Kreuzung 8 nach rechts abgebogen sind, bilden.
Die Bildung eines gleitenden Durchschnitts ermöglicht es auch, Veränderungen an der Kreuzung 8 zu erkennen. Wenn beispielsweise durch Baumaßnahmen der hervorstehende Bordstein 11 entfernt wird, führt dies dazu, dass zum Rechtsabbiegen kein Verschwenken mehr notwendig ist. Die baulichen Veränderungen an der Kreuzung 8 führen also dazu, dass die Kraftfahrzeuge anders abbiegen als der bisherige Durchschnitt der gefahrenen Trajektorien 14. Beispielweise durch das Bilden eines gleitenden Durchschnitts kann die bauliche Veränderung an der Kreuzung 8, wie beispielsweise das Entfernen des hervorstehenden Bordsteins 11, in zukünftigen Ausführungen der zu fahrenden Trajektorie 4 berücksichtigt werden. Das hat den Vorteil, dass ein Update durch einen Kartenhersteller an dieser Stelle nicht notwendig ist, um baubedingte Veränderungen an der Kreuzung 8 und deren Auswirkungen auf die gefahrenen Trajektorie 14 zu berücksichtigen. Dabei erfolgt die Ergänzung des Weltmodells 17 zum erweiterten Weltmodell 12 mittels des Weltmodells 13 und des Fahrhinweises 3 über die Servereinheit als Back-End.
4 zeigt, eine schematische Darstellung eines Fahrerinformationssystems während einer Konfigurationsphase und einer Modellierungsphase, die sich zeitlich überschneiden können. Auf der linken Seite ist ein Back-end-System 500 dargestellt, das eine Servereinheit darstellt. Das Back-End-System 500 umfasst ein Konfigurationssystem 510 zur Steuerung der Datenerfassung für die Erfassungsdaten, eine erste Datenablage 515 zur Speicherung von Konfigurationsdaten für erfassende Kraftfahrzeuge, eine erste Prozessierungseinheit 520 für die aus den erfassenden Fahrzeugen 100 erfassten Erfassungsdaten, um Weltmodelldaten zu erzeugen, eine zweite Datenablage 525 für die Weltmodelldaten der ersten Prozessierungseinheit 520. Die Datenübermittlung für das Back-End-System 500 erfolgt dabei mittels Übertragungstechnologien 141 außerhalb der Fahrzeuge 100, beispielsweise über Mobilfunk und/oder WiFi.
Die Aufgabe des Konfigurationssystems 510 zusammen mit der ersten Datenablage 510 ist, die Datenerfassung der erfassenden Kraftfahrzeuge 100 an einer Vielzahl von Manöverorten zu steuern. Dabei kann vorgesehen sein, dass mittels einer digitalen Karte eine Vielzahl von Manöverorten im Konfigurationssystem gespeichert ist und besagte Manöverorte jeweils mit zusätzlichen Eigenschaften gespeichert sind, die ein Kriterium für eine Notwendigkeit der Datenerfassung angeben. Das Kriterium kann beispielsweise eine Anzahl von erfassenden Fahrzeugen 100 angeben, die über ein vorgegebenes Zeitintervall einen Manöverort passieren und Erfassungsdaten liefern sollen. Dann kann von jedem weiteren erfassenden Fahrzeug 100 die gleiche Datenerfassung unterbleiben, weil genug Erfassungsdaten vorhanden sind. Das Kriterium kann beispielsweise auch eine Varianz der Abweichung einer gefahrenen Trajektorie 101 des erfassenden Fahrzeugs 100 von einem Durchschnitt, der am Manöverort gefahrenen Trajektorien sein, die auf ein Auftreten einer zeitlich volatilen Eigenschaft hinweisen kann, die einen Einfluss auf die Trajektorie haben kann, wie beispielsweise eine Baustellenabsperrung.
In der ersten Datenablage 515 werden die Aufnahme-Snippets, die von dem erfassenden Fahrzeug 100 bereits anonymisiert wurden, zusammen den dem von dem erfassenden Fahrzeug 100 erfassten Odometriedaten als Erfassungsdaten gespeichert.
Von der ersten Prozessierungseinheit 520 wird aus den in der ersten Datenablage 515 gespeicherten Erfassungsdaten ein gemeinsames Weltmodell des jeweiligen Manöverortes mit einer Optimaltrajektorie oder Idealtrajektorie erstellt. Das gemeinsame Weltmodell des jeweiligen Manöverortes wird zusammen mit der jeweiligen Idealtrajektorie in der zweiten Datenablage 525 als die Weltmodelldaten gespeichert. Die Idealtrajektorie des jeweiligen Manöverortes kann dabei aus den von einer Flotte von erfassenden Fahrzeugen 100 tatsächlich gefahrenen Trajektorien 10 berechnet werden. Die Idealtrajektorie kann dabei beispielsweise ein gleitender Durchschnitt der von den erfassenden Fahrzeugen 100 tatsächlich gefahrenen Trajektorien 10 sein.
Auf der rechten Seite von 4 ist ein erfassendes Fahrzeug 100 gezeigt, das für einen Manöverort Daten erfasst. Der Manöverort umfasst dabei sogenannte World Features 20, also Umgebungsmerkmale, die sensorisch erfasst werden können, und World Features 30, die nicht zwingend sensorisch erfasst werden können, aber die Fahrtrajektorie des Fahrers bestimmen. Die sensorisch erfassbaren World Features 20 können beispielsweise Gebäude sein. Die sensorisch nicht oder nicht zwingend erfassbaren World Features 30 können eine zeitlich volatile Eigenschaft 31 des Manöverortes sein, wie beispielsweise ein Schlagloch oder eine Baustellenabsperrung.
Das erfassende Fahrzeug 100 umfasst Umgebungssensoren 110 zur Erfassung der Umwelt zur World-Feature-Bestimmung. Die Sensoren 110 können dabei elektromagnetische Sensoren, Ultraschallsensoren und/oder weitere Sensoren zur Bestimmung der Umwelt des erfassenden Fahrzeugs 100 umfassen.
Das erfassende Fahrzeug 100 umfasst auch Sensoren 120 zur Erfassung der Fahrzeugdynamik beziehungsweise Odometrie. Das erfassende Fahrzeug 100 umfasst auch eine fahrzeuglokale Prozessierungs- und Speichereinheit 130 zur Erfassung, Auswertung und Vorverarbeitung der erfassten Daten der Umwelt. In der fahrzeuglokalen Prozessierungs- und Speichereinheit 130 können beispielsweise die World Features 20 und World Features 30 erfasst, anonymisiert und zu einem Weltmodell des erfassenden Fahrzeugs 100 vorverarbeitet werden.
Das erfassende Fahrzeug 100 umfasst auch eine Übertragungseinheit 140, wie beispielsweise ein Mobilfunk-Network-Access-Device, zur Übertragung der Erfassungsdaten aus der Prozessierungs- und Speichereinheit 130 mittels der Übertragungstechnologien 141 an das Back-End-System 500. Das erfassende Fahrzeug 100 kann zusätzlich ein Navigationssystem 150 zur Anzeige von konventionellen Fahrmanövern umfassen. Zur Positionsbestimmung weist das erfassende Fahrzeug 100 ebenfalls ein Global Navigation Satellite System 160 auf.
Das erfassende Fahrzeug 100 erkennt das eigene Eintreffen am Manöverort (z.B. mittels eine GPS-Empfängers) und zeichnet bei Erreichen am Manöverort die World Features 20 und 30 des Manöverortes mittels der Sensoren 110 auf. Am Manöverort führt das erfassende Fahrzeug 100 z.B. ein Manöver eines Rechtsabbiegevorgangs durch. Die tatsächlich gefahrene Trajektorie 101 des erfassenden Fahrzeugs 100 nach Beendigung des Manövers wird mittels der Sensoren 120 erfasst. Die Daten der Sensoren 110 und 120 werden in der fahrzeuglokalen Prozessierungs- und Speichereinheit 130 erfasst, anonymisiert und zu einem Weltmodell des erfassenden Fahrzeugs 100 vorverarbeitet. Anschließend werden die Daten von der Übertragungseinheit 140 mittels der Übertragungstechnologien an das Back-End-System 500 gesendet.
5 zeigt eine schematische Darstellung eines Fahrerinformationssystems während einer Unterstützungsphase. Ein nutzendes Fahrzeug 200 erreicht denselben Manöverort, an dem zuvor wie in 4 dargestellt das erfassende Fahrzeug 100 vorbeigekommen ist. Das nutzende Fahrzeug 200 umfasst Umgebungssensoren 110 zur Erfassung der Umwelt zur World-Feature-Bestimmung, eine Übertragungseinheit 140, ein Navigationssystem 150 zur Anzeige von Fahrmanövern und einen Empfänger für ein Positionssignal eines Global Navigation Satellite Systems 160. Alle Komponenten, die im nutzenden Fahrzeug 200 im Vergleich zum erfassenden Fahrzeug 100 aus 4 fehlen, können, müssten aber nicht, im nutzenden Fahrzeug 200 vorhanden sein bzw. genutzt werden, wenn das nutzende Fahrzeug 200 auch gleichzeitig das zu erfassende Fahrzeug 100 ist. Mit anderen Worten, kann das nutzende Fahrzeug 200, wenn es über dieselben Komponenten wie das erfassende Fahrzeug 100 verfügt, ebenfalls Daten wie das erfassende Fahrzeug erfassen. Erfassung und Nutzung der Daten können damit getrennt werden.
Das nutzende Fahrzeug 200 umfasst zusätzlich eine Anzeigeeinheit 210 für die augmentierten Informationen zum Anzeigen eines zur Straße kontaktanalogen Fahrschlauchs 6 mit einer zu fahrenden Trajektorie 14. Auf der rechten Seite in 5 ist das Back-End-System 500 dargestellt, das in der Unterstützungsphase eine zweite Prozessierungseinheit 530 zur Auslieferung von vorbereiteten Weltmodelldaten an Fahrzeuge umfasst. Für das nutzende Fahrzeug 200 ist die zweite Prozessierungseinheit 530 eine Back-End-Auslieferungskomponente für die Bereitstellung der kombinierten World-Features bei Erreichen des Manöverortes. Die kombinierten World Features können beispielsweise World-Features 20, 30 umfassen, die für das nutzende Fahrzeug 200 nicht sichtbar sind und daher mit den Weltmodell-Daten aus der zweiten Datenablage 520 kombiniert werden. Zusätzlich umfassen die kombinierten World Features Trajektorien 10, die die erfassenden Fahrzeuge 100 am Manöverort gefahren haben. Die kombinierten World Features werden dem nutzenden Fahrzeug 200 mittels der Übertragungstechnik 141 vom Back-End-System 500 an das nutzende Fahrzeug 200 zusammen mit den Trajektoriendaten der Idealtrajektorie als Weltmodelldaten gesendet und vom nutzenden Fahrzeug 200 mittels der Übertragungseinheit 140 empfangen.
Mit der Ergänzung des Weltmodells durch das Weltmodell von erfassenden Kraftfahrzeugen, die bereits den Manöverort passiert haben, und das zusätzliche Anzeigen einer gefahrenen Trajektorie der erfassenden Kraftfahrzeuge am Manöverort erhält der Fahrer zusätzliche Informationen zum Durchführen des Manövers am Manöverort durch Anzeigen eines Fahrhinweises in Form eines zur Straße kontaktanlogen Fahrschlauchs. Durch das Verfahren wird dabei der Kontaktschlauch kontaktanalog zur Straßenansicht angezeigt, sodass der Fahrer eine Information erhält, in welche Straße abgebogen werden soll. Die Daten, die für die Ergänzung benötigt werden, werden dabei durch eine Fahrzeugflotte von erfassenden Kraftfahrzeugen zur Verfügung gestellt, sodass kein weiterer Input eines Kartenherstellers benötigt wird. Die Generierung des Datensatzes geschieht folgendermaßen: Zunächst werden Erfassungsdaten durch erfassende Kraftfahrzeuge an einem Manöverort erfasst. Dabei ist es ausreichend, wenn diese erfassenden Kraftfahrzeuge nur mit einer entsprechenden Kamera und einem Steuerkreis und nicht mit einer entsprechenden Navigationsvorrichtung ausgestattet sind. Die Erfassung der Daten am Manöverort geschieht beispielsweise durch eine Routenführung im Rahmen einer herkömmlichen Navigation, wobei bei jedem Abbiegevorgang die Umgebung mit einer Kamera aufgenommen wird. Diese Bilder werden analysiert werden und daraus ein Weltmodell des Manöverorts generiert. Zusätzlich werden die entsprechenden Odometriedaten der erfassenden Kraftfahrzeuge am Manöverort gespeichert und zusammen mit dem erstellten Weltmodell des Manöverorts des Abbiegevorgangs an eine Servereinheit gesendet.
Nun ist in der Servereinheit das Weltmodell des Manöverorts, wo der Abbiegevorgang erfolgte, zusammen mit der gefahrenen Trajektorie gespeichert. Wenn dies von einer Flotte von erfassenden Kraftfahrzeugen an vielen Manöverorten mit unterschiedlichen Abbiegevorgängen gesammelt wird, entsteht dabei ein Datensatz, der zur Ergänzung des Weltmodells von Kraftfahrzeugen, die ein Navigationssystem verwenden, das die Routenführung mittels Augmented-Reality-Funktionen darstellt, verwendet werden kann. In einem Reproduktionsschritt wird dabei eine Repräsentanz des vom Manöverort des Abbiegevorgangs aufgenommenen Weltmodells erzeugt und in der Servereinheit zusammen mit der gefahrenen Trajektorie gespeichert.
Wenn nun das Kraftfahrzeug, das eine Navigation mittels Augmented-Reality-Funktion verwendet, eine Anfrage an die Servereinheit stellt, wird nun die entsprechende Trajektorie in eine Anzeige des Kraftfahrzeugs eingeblendet. Die kontaktanaloge Positionierung der Anzeige des Fahrhinweises und der Trajektorie erfolgt dabei mittels eines erweiterten Weltmodells. Das Verfahren stellt daher eine Optimierung der Erfassung des Manövers der gefahrenen Trajektorie in Relation zum Weltmodell dar. Zur Optimierung des Datenflusses wird dabei der Trigger, der eine Aufnahme eines Manöverorts auslöst, dahingehend beschränkt, dass nur beim Durchführen eines Manövers an einem Manöverort eine Aufnahme erfolgt. Die hat eine Verringerung des Datensatzes und eine Optimierung des Datenflusses zur Folge. Eine Repräsentanz des Weltmodells wird in einem Reproduktionsschritt dann erzeugt. Die Koppelung des aus dem Reproduktionsschritt erzeugten Weltmodells mit den Odometriedaten erfolgt dabei über einen Mechanismus, beispielsweise durch einen ausreichend genauen Zeitstempel.
Die Odometriedaten und das Weltmodell werden dabei beispielsweise über eine im Fahrzeug fest verbaute Kommunikationseinheit oder über ein ins Fahrzeug eingebrachtes mobiles Endgerät in ein Back-End, das durch eine Servereinheit realisiert wird, transportiert. Bei den Kameradaten findet dabei im erfassenden Kraftfahrzeug und im Kraftfahrzeug bereits eine lokale Vorverarbeitung zur Wahrung von Aspekten der Privatsphäre ab, wie zum Beispiel Ausblenden von Kennzeichen oder Gesichtern von Passanten. Die Daten werden dann im Back-end verarbeitet. Aus der Sequenz von Kameradaten werden dann Computer-Vision-taugliche Objektinformationen generiert. Ziel dabei ist, die Umgebung der Kamera, die sich in dem erfassenden Fahrzeug befindet, relativ zu den erkannten Computer-Vision-Objektinformationen zu erfassen. Die extrahierten Informationen werden zusätzlich noch mit den aus dem Fahrzeug erfassten Odometrieinformationen kombiniert, um das Objekt Fahrschlauch anhand der Odometrieinformationen im Bild zu positionieren.
Im Back-end (Servereinheit) werden die extrahierten Informationen des Manöverorts dabei ortsreferenziert gespeichert. Dies kann dabei auch grob mit einer Ortsungenauigkeit in einer Größenordnung von mehreren Metern ausreichend erfolgen. Die jeweils einzeln generierten Informationen können im Back-end in geeigneter Form zur Optimierung herangezogen werden. Gegebenenfalls kann auch die Erfassung der Informationen in der sammelnden Fahrzeugflotte gemäß der an der jeweiligen Situation bereits vorhandenen Information konfiguriert, beispielsweise zum Zwecke der Minimierung der aus dem Fahrzeug übertragenen Datenmenge, zum Beispiel hinsichtlich Bildfrequenz, optimiert werden. Diese Schritte bilden die Erfassungs- und Prozessierungsphase. In der Nutzungsphase, die nur in Fahrzeugen erfolgt, die auch die eigentliche Augmented-Reality-Funktion besitzen, wird nun bei Annäherung an einen Manöverpunkt beziehungsweise ausreichend vorher, eine Anfrage an das Back-End gestellt, welches die für das notwendige Abbiegemanöver generierten Computer-Vision-Odometrien und Computer-Vision-Daten ins Fahrzeug lädt. Dort werden die Computer-Vision-Daten einer Prozessierungseinheit zugeführt und der vorher berechnete Fahrschlauch in das Augmented-Reality-Ausgabegerät eingespielt. Das Verfahren erfolgt in insgesamt vier Schritten: In einem ersten Schritt werden von einem Manöverort Bilddaten und zusammen mit dem durchgeführten Fahrmanöver am Manöverort Odometriedaten durch das Kraftfahrzeug aufgenommen. In einem zweiten Schritt wird die gefahrene Trajektorie analog zum Weltbild berechnet. In einem dritten Schritt, dem Reproduktionsschritt, wird eine Repräsentanz des Weltmodells bestimmt. In einem vierten Schritt wird einem Benutzer, der Fahrer eines Kraftfahrzeugs, das mit einer das Verfahren umsetzenden Navigationsvorrichtung ausgestattet ist, die dem Fahrhinweis entsprechende Trajektorie eingeblendet.
Die Idee betrifft eine Vorrichtung zur Augmentierung einer Objektansicht eines Objekts zum Abbilden einer zu fahrenden Trajektorie für ein Kraftfahrzeug an einem Manöverort mittels eines Steuerkreises und einem Anzeigebildschirm. Die Augmentierung beinhaltet ein zu der Objektansicht ein zum Objekt kontaktanaloges Anzeigen eines Fahrhinweises auf einem Anzeigebildschirm. Zur Bestimmung der Positionierung der Augmentierung auf einem Anzeigemedium wird das Weltmodell der Kameraansicht um ein von einer Servereinheit bereitgestelltes Weltmodell des Manöverortes, das zuvor von einer Fahrzeugflotte erstellt wurde, in das aktuelle Weltmodell des Kraftfahrzeugs registriert und ein erweitertes Weltmodell erzeugt. Die Positionierung der Augmentierung erfolgt in dem erweiterten Weltmodell über einen Computer-Vision-Algorithmus mittels der Relationen von Fixpunkten von Referenzobjekten, die das zu augmentierende Objekt abgrenzen. Zusätzlich werden Odometriedaten zum Anzeigen einer gesetzlich gefahrenen Trajektorie im Rahmen der Augmentierung verwendet.
Insgesamt zeigt das Beispiel, wie durch die Erfindung eine Methode zur Augmentierung von Objektansichten zum fehlerfreien Anzeigen von Fahrhinweisen auf einer Anzeige eines Infotainmentsystems in einem Kraftfahrzeug realisiert werden kann.
Bezugszeichenliste

1: Nutzendes Kraftfahrzeug
2: Erfassendes Kraftfahrzeug
3: Fahrhinweis
4: Trajektorie
5, 5': Referenzobjekt
6: Fahrschlauch
7: Straße
8: Straßenkreuzung
9, 9': Fixpunkt
10: Manöverort
11: Bordstein
12: Erweitertes Weltmodell
13: Weltmodell
14: Durchschnitt der gefahrenen Trajektorien
15: Objektansicht
16: Kontaktanalogie
17: Weltmodell
18: Zu anonymisierendes Element (Nummernschild, Gesicht von Person)
10: Tatsächlich gefahrene Trajektorie
20: World Features, die sensorisch erfasst werden können
30: World Features, die nicht sensorisch erfasst werden können
31: Zeitlich volatile Eigenschaft der Umwelt
100: Erfassendes Fahrzeug
101: Trajektorie
110: Sensoren zur Erfassung der Umwelt zur World-Feature-Bestimmung
120: Sensoren zur Erfassung der Fahrzeugdynamik bzw. Odometrie
130: Fahrzeuglokale Prozessierungs- und Speichereinheit
140: Übertragungseinheit
141: Übertragungstechnologie außerhalb des Fahrzeugs
150: Navigationssystem zur Anzeige von konventionellen Fahrmanövern
160: Global Navigation Satellite System (GNSS System)
200: Nutzendes Fahrzeug
500: Back-End-System
510: Konfigurationssystem zur Steuerung der Datenerfassung
515: Erste Datenablage zur Erfüllung der Konfigurationsaufgabe
520: Erste Prozessierungseinheit
525: Zweite Datenablage für die erste Prozessierungseinheit
530: Zweite Prozessierungseinheit

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102018201769 A1 [0002]
DE 102017221191 B4 [0003]
EP 1875442 B1 [0004]

Claims

Verfahren zur Datenerfassung mittels einer Servereinheit für eine N avigationsunterstützu ng, dadurch gekennzeichnet, dass die Servereinheit in einer Konfigurationsphase die Datenerfassung steuert, indem sie die Konfigurationsdaten an erfassende Kraftfahrzeuge aussendet, wobei die Konfigurationsdaten zumindest einen Manöverort angeben, an welchem die Datenerfassung stattfinden soll, und/oder zumindest ein Fahrmanöver angeben, während welchem die Datenerfassung stattfinden soll, und hierdurch während jeweiliger Fahrten der erfassenden Kraftfahrzeuge in diesen das Erzeugen der Erfassungsdaten ausgelöst wird, wobei die Erfassungsdaten Geometriedaten und/oder Kameradaten des jeweiligen Manöverorts und Odometriedaten einer dort von dem jeweiligen erfassenden Kraftfahrzeug gefahrenen Trajektorie enthalten, und die Servereinheit die Erfassungsdaten aus den erfassenden Kraftfahrzeugen empfängt und in einer ersten Datenablage abspeichert und in einer Modellierungsphase eine erste Prozessierungseinheit auf Grundlage der gespeicherten Erfassungsdaten mittels der darin enthaltenen Geometriedaten und/oder Kameradaten ein jeweiliges Weltmodell zu jedem erfassten Manöverort und mittels der Odometriedaten eine an dem jeweiligen Manöverort zu fahrende Idealtrajektorie berechnet und jeweils das Weltmodell zusammen mit der dort zu fahrenden Idealtrajektorie in einer zweiten Datenablage als Weltmodelldaten abspeichert und in einer Unterstützungsphase eine zweite Prozessierungseinheit aus zumindest einem nutzenden Kraftfahrzeug eine jeweilige Anfrage für die Weltmodelldaten eines jeweiligen spezifischen Manöverorts empfängt und die angefragten Weltmodelldaten mit dem Weltmodell und der dort zu fahrenden Idealtrajektorie an das anfragende nutzende Kraftfahrzeug für die Navigationsassistenz aussendet.
Verfahren nach Anspruch 1, wobei aus dem jeweiligen erfassenden Kraftahrzeug die Erfassungsdaten anonymisiert empfangen werden und/oder nach dem Empfangen durch die erste Prozessierungseinheit anonymisiert werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die erste Prozessierungseinheit zum Berechnen der Idealtrajektorie ein Durchschnitt der am Manöverort (10) tatsächlich von den erfassenden Kraftfahrzeugen gefahrenen Trajektorien (14) ermittelt.
Servereinheit, die eine erste Datenablage zum Speichern von Konfigurationsdaten für eine durch erfassende Kraftfahrzeuge durchzuführende Datenerfassung, eine erste Prozessierungseinheit zum Erzeugen von Weltmodelldaten auf Grundlage von aus den erfassenden Kraftfahrzeugen empfangenen Erfassungsdaten, eine zweite Datenablage zum Speichern der Weltmodelldaten und eine zweite Prozessierungseinheit zum Aussenden zumindest einiger der Weltmodelldaten an zumindest ein die Weltmodelldaten für eine Navigationsassistenz nutzendes Kraftfahrzeug aufweist, wobei die Servereinheit dazu eingerichtet ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
Kraftfahrzeug mit einem Steuergerät, das dazu eingerichtet ist, aus einer Servereinheit Konfigurationsdaten zu empfangen, die zumindest einen Manöverort angeben, an welchem eine Datenerfassung stattfinden soll, und/oder die zumindest ein Fahrmanöver angeben, während welchem die Datenerfassung stattfinden soll, und während zumindest einer Fahrt des Kraftfahrzeugs das Erzeugen von Erfassungsdaten gemäß den Konfigurationsdaten durchzuführen, wobei die Erfassungsdaten Geometriedaten und/oder Kameradaten des jeweiligen Manöverorts und Odometriedaten einer dort von dem Kraftfahrzeug gefahrenen Trajektorie enthalten, und die Erfassungsdaten an die Servereinheit auszusenden.
Kraftfahrzeug nach Anspruch 5, wobei das Kraftfahrzeug eine Übertragungseinheit aufweist, die die Erfassungsdaten des erfassenden Kraftfahrzeugs beim Versenden anonymisiert.
Kraftfahrzeug nach Anspruch 5, wobei das Kraftfahrzeug eine fahrzeuglokale Prozessierungseinheit aufweist, die die Erfassungsdaten beim Erfassen anonymisiert.
Verfahren zur Augmentierung eines Objekts (6) für eine an einem Manöverort (10) bereitzustellende Navigationsassistenz, wobei in einem die Servereinheit nutzenden Kraftfahrzeug (2) ein Steuerkreis mittels einer Anzeige dem Objekt eine zu fahrende Trajektorie als Fahrhinweis kontaktanalog überlagert anzeigt, dadurch gekennzeichnet, dass der Steuerkreis anhand von Sensordaten zumindest eines Umgebungssensors des Kraftfahrzeugs Fixpunkte (9) von Referenzobjekten an dem Manöverort ermittelt und daraus ein vorläufiges Weltmodell des Manöverorts erzeugt und bei der Servereinheit Weltmodelldaten zum Vervollständigen des vorläufigen Weltmodells und zum Beschreiben einer dort vorgesehenen Idealtrajektorie anfragt und die angefragten Weltmodelldaten empfängt und mittels der empfangene Weltmodelldaten das vorläufige Weltmodell zu einem erweiterten Weltmodell (12) ergänzt und die relative Position des zu augmentierenden Objekts (6) in Bezug auf das zumindest eine Referenzobjekt (5), zu welchem die Fixpunkte bekannt sind, mittels des erweiterten Weltmodells (12) ermittelt und auf der Anzeige die Idealtrajektorie als die am Manöverort (10) zu fahrende Trajektorie (4) dem Objekt (6) überlagert anzeigt.
Verfahren nach Anspruch 8, wobei dem zu augmentierenden Objekt (6) der Fahrhinweis mittels einer Anzeige, die als Head-up-Display augestaltet ist, und/oder auf einem Kamerabild, welches das Objekt auf einem Bildschirm anzeigt, überlagert wird.
Kraftfahrzeug mit einem Steuerkreis, der eine Recheneinrichtung aufweist, die dazu eingerichtet ist, ein Verfahren nach Anspruch 8 oder 9 durchzuführen.
Fahrerinformationssystem mit einer Servereinheit nach Anspruch 4 und mit mehreren erfassenden Kraftfahrzeugen nach Anspruch 5 und mit zumindest einem die Servereinheit nutzenden Kraftfahrzeug nach Anspruch 10.