DE112021004735T5

DE112021004735T5 - Verfahren und einrichtung zum bestimmen der fahrspur eines fahrzeugs durch verwenden eines künstlichen neuronalen netzwerks und navigationsvorrichtung damit

Info

Publication number: DE112021004735T5
Application number: DE112021004735.3T
Authority: DE
Inventors: Seung Jae Lee; Aidyn Zhakatayev; Seong Gyun Jeong
Original assignee: 42Dot Inc
Current assignee: 42Dot Inc
Priority date: 2020-09-08
Filing date: 2021-09-07
Publication date: 2023-10-19
Also published as: KR102401898B1; WO2022055231A1; JP2023540825A; KR20220033001A; KR102241116B1; US20230326219A1

Abstract

Eine Vorrichtung zum Bestimmen der Fahrspur eines Fahrzeugs durch Verwenden eines künstlichen neuronalen Netzwerks gemäß einer Ausführungsform kann aufweisen: ein Bildinformationserfassungsmodul zum Beziehen von Fahrbild-Informationen eines Fahrzeugs von mindestens einem Kameramodul, das in dem Fahrzeug eingebaut ist; ein vortrainiertes Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul zum Einrichten der Fahrbild-Informationen als Eingangsinformation und Einrichten von Spurvorhersage-Informationen des Fahrzeugs und Zuverlässigkeitsinformationen für die Spurvorhersage-Informationen als Ausgangsinformation; ein Ausgangsinformationsverteilung-Berechnungsmodul zum Berechnen einer Datenverteilung der Ausgangsinformationen, um eine erste Datenverteilung zu erzeugen; ein Referenzinformationsverteilung-Berechnungsmodul zum Erfassen von Referenzinformationen über tatsächliche Fahrspurvorhersage-Informationen des Fahrzeugs und Berechnen einer Datenverteilung der Referenzinformationen, um eine zweite Datenverteilung zu erzeugen; und ein Zuverlässigkeitskalibrierungsmodul zum Aktualisieren von Parametern des Künstliches-Neuronales-Netzwerk-Moduls auf Grundlage der zweiten Datenverteilung, sodass ein Unterschied zwischen der ersten Datenverteilung und der zweiten Datenverteilung abnimmt.

Description

[Technisches Gebiet]
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Bestimmen der Fahrspur eines Fahrzeugs durch Verwenden eines künstlichen neuronalen Netzwerks und eine Navigationsvorrichtung damit, insbesondere eine Technik zum Bereitstellen von Spurvorhersage-Informationen über die Nummer der momentanen Fahrspur eines Fahrzeugs durch Nutzung eines künstlichen neuronalen Netzwerks basierend auf Informationen über die Fahrbilder eines Fahrzeugs und Zuverlässigkeitsinformationen dafür.
[Stand der Technik]
Im Allgemeinen sucht eine in einem Fahrzeug verwendete Navigationsvorrichtung unter Verwendung von Karteninformationen nach einer Zieleingabe durch einen Benutzer nach Fahrrouten zu dem Zielort und leitet das Fahrzeug entlang einer vom Benutzer ausgewählten Fahrroute. Außerdem gibt die Navigationsvorrichtung dem Benutzer Anleitung, um am Zielort anzukommen, indem sie sichtbar oder hörbar verschiedene Informationen bereitstellt, wie etwa Fahrrouten zum Zielort, Geländemerkmale in der Umgebung der Fahrrouten, ein Ausmaß von Verkehrsstaus und so weiter.
Um dem Fahrer eines Fahrzeugs unter Verwendung einer Navigationsvorrichtung genaue Fahrinformationen bereitzustellen, ist es nötig, den Ort, an dem das Fahrzeug momentan fährt, insbesondere die Spurvorhersage-Informationen über die Nummer der momentanen Fahrspur des Fahrzeugs zu kennen, um dem Fahrer des Fahrzeugs eine genaue Anleitung bereitstellen zu können. Insbesondere wenn Abbiegepunkte, etwa eine Kreuzung oder ein Verkehrsknotenpunkt (IC), wo eine Fahrbahn auf eine Schnellstraße trifft, und eine Einmündung (JC), wo eine Schnellstraße auf eine andere trifft, in der Fahrroute enthalten sind, ist es nötig, den Fahrer eines Fahrzeugs rechtzeitig über Informationen darüber zu benachrichtigen, ob er die Spur beibehalten oder wechseln soll, um im Voraus einen Unfall zu verhindern, der durch einen plötzlichen Spurwechsel verursacht werden könnte.
Da im Fall einer Navigationsvorrichtung gemäß dem Stand der Technik jedoch der aktuelle Ort eines Fahrzeugs anhand von GPS bestimmt wird, bestand das Problem, dass es schwierig ist, Spurvorhersage-Informationen für ein fahrendes Fahrzeug genau zu beziehen. Demgemäß ist es die Realität, dass die Verwendung einer Navigationsvorrichtung auf Fahrzeuganleitung oder einfaches Bereitstellen von Fahrinformationen beschränkt ist.
Damit autonomes Fahren sicher ist, ist es darüber hinaus für einen sicher vorgenommenen Spurwechsel, sicheres Einfahren auf eine Kreuzung oder dergleichen nötig, dass die Informationen über die momentane Fahrspur genau sind; die Realität ist jedoch, dass es bisher keine Technik gibt, die Informationen über die momentane Fahrspur genau bestimmen kann, und somit ist die Sicherheit autonomen Fahrens noch nicht sichergestellt.
Um eine Karte für autonomes Fahren zu erstellen, ist es darüber hinaus nötig, dass Informationen darüber, wie viele Spuren insgesamt auf jeder Straße vorhanden sind und in welcher von wie vielen Spuren das Fahrzeug gerade fährt, enthalten sind; da es jedoch im Stand der Technik nicht möglich war, Informationen über Spuren durch Betrachten von Straßenbildern automatisch zu extrahieren, bestand das Problem, dass Produzenten diese manuell bezeichnen mussten.
[Zusammenfassung der Erfindung]
[Technische Aufgabe]
Daher sind ein Verfahren und eine Vorrichtung zum Bestimmen der Fahrspur eines Fahrzeugs unter Verwendung eines künstlichen neuronalen Netzwerks und eine Navigationsvorrichtung damit gemäß einer Ausführungsform eine Erfindung, die entstand, um die vorstehend beschriebenen Probleme zu lösen, und es liegt als Aufgabe zugrunde, Spurvorhersage-Informationen über ein fahrendes Fahrzeug durch Verwenden eines künstlichen neuronalen Netzwerks genauer bereitzustellen.
Insbesondere liegt als Aufgabe zugrunde, die Zuverlässigkeit für ein tatsächliches Künstliches-Neuronales-Netzwerk-Modell so anzupassen, dass den tatsächlichen Ergebnissen nahe gekommen wird, und dadurch die Zuverlässigkeit des Künstliches-Neuronales-Netzwerk-Moduls, das Spurvorhersagen durchführt, durch Durchführen von Spurvorhersagen unter Nutzung des Künstliches-Neuronales-Netzwerk-Moduls basierend auf den Informationen eingegebener Fahrzeug-Fahrbilder und anschließendes Kalibrieren des Künstliches-Neuronales-Netzwerk-Moduls basierend auf Vorhersageinformationen und Referenzinformationen zu erhöhen.
Ferner liegt als Aufgabe zugrunde, dem Fahrer eines Fahrzeugs Informationen über die momentane Spur genauer bereitstellen zu können, sowie gleichzeitig, dass der Programmentwickler durch Nutzen von Spurvorhersage-Informationen und Zuverlässigkeitsinformationen dafür verschiedene Anleitungsdienste einer Navigationsvorrichtung bereitstellen kann, indem Informationen über ein fahrendes Fahrzeug zusammen mit Zuverlässigkeitsinformationen dafür bereitgestellt werden.
Zusätzlich dazu liegt als Aufgabe zugrunde, dass eine Vorrichtung zum Bestimmen der Fahrspur eines Fahrzeugs durch Verwenden eines künstlichen neuronalen Netzwerks gemäß einer Ausführungsform automatisch basierend auf Fahrbildern Informationen über Spuren extrahiert und es dadurch ermöglicht, leicht eine Karte mit Spurinformationen zu erstellen.
[Lösung der Aufgabe]
Eine Vorrichtung zum Bestimmen der Fahrspur eines Fahrzeugs durch Verwenden eines künstlichen neuronalen Netzwerks gemäß einer Ausführungsform weist auf: ein Bildinformationserfassungsmodul zum Beziehen von Fahrbild-Informationen eines Fahrzeugs von mindestens einem Kameramodul, das in dem Fahrzeug eingebaut ist; ein vortrainiertes Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul zum Einrichten der Fahrbild-Informationen als Eingangsinformation und Einrichten von Spurvorhersage-Informationen des Fahrzeugs und Zuverlässigkeitsinformationen für die Spurvorhersage-Informationen als Ausgangsinformation; ein Ausgangsinformationsverteilung-Berechnungsmodul zum Einrichten einer Datenverteilung der Ausgangsinformationen, um eine erste Datenverteilung zu erzeugen; ein Referenzinformationsverteilung-Berechnungsmodul zum Erfassen von Referenzinformationen über tatsächliche Fahrspurvorhersage-Informationen des Fahrzeugs und Berechnen einer Datenverteilung der Referenzinformationen, um eine zweite Datenverteilung zu erzeugen; und ein Zuverlässigkeitskalibrierungsmodul zum Aktualisieren von Parametern des Künstliches-Neuronales-Netzwerk-Moduls auf Grundlage der zweiten Datenverteilung, sodass ein Unterschied zwischen der ersten Datenverteilung und der zweiten Datenverteilung abnimmt.
Das Zuverlässigkeitskalibrierungsmodul kann die Parameter des Künstliches-Neuronales-Netzwerk-Moduls durch Verwenden eines Verfahrens zum Dividieren eines Logikvektors durch einen einzelnen skalaren Parameter für alle Klassen des Künstliches-Neuronales-Netzwerk-Moduls aktualisieren.
Das Zuverlässigkeitskalibrierungsmodul kann durch Verwenden eines Kalibrierungsvalidierungssatzes, der einem Validierungssatz des Künstliches-Neuronales-Netzwerk-Modul identisch ist, an dem einzelnen skalaren Parameter trainieren.
Das Zuverlässigkeitskalibrierungsmodul kann derart an dem einzelnen skalaren Parameter trainieren, dass ein negativer Log-Likelihood-Wert (NLL-Wert) in dem Kalibrierungsvalidierungssatz minimiert wird.
Die Spurvorhersage-Informationen können Spurinformationen über die Nummer einer momentanen Fahrspur des Fahrzeugs basierend auf einer ersten Spur oder einer letzten Spur einer Straße umfassen, auf der das Fahrzeug fährt.
Das Künstliches-Neuronales-Netzwerk-Modul kann eine erste Ausgabeschicht und eine zweite Ausgabeschicht aufweisen und die erste Ausgabeschicht kann erste Spurinformationen, welche Informationen über die Nummer der momentanen Fahrspur des Fahrzeugs basierend auf einer ersten Spur einer Straße sind, auf der das Fahrzeug fährt, und einen Zuverlässigkeitswert für die ersten Spurinformationen ausgeben, und die zweite Ausgabeschicht kann zweite Spurinformationen, welche Informationen über die Nummer der momentanen Fahrspur des Fahrzeugs basierend auf einer letzten Spur der Straße sind, auf der das Fahrzeug fährt, und einen Zuverlässigkeitswert für die zweiten Spurinformationen ausgeben.
Ein Verfahren zum Bestimmen der Fahrspur eines Fahrzeugs durch Verwenden eines Künstliches-Neuronales-Netzwerk-Moduls gemäß einer Ausführungsform, welches ein Verfahren ist, das ein vortrainiertes Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul verwendet, das Fahrbild-Informationen als Eingangsinformation und Spurvorhersage-Informationen eines Fahrzeugs und Zuverlässigkeitsinformationen für die Spurvorhersage-Informationen als Ausgangsinformation einrichtet, kann umfassen: einen Bildinformationserfassungsschritt zum Beziehen von Fahrbild-Informationen des Fahrzeugs von mindestens einem Kameramodul, das in dem Fahrzeug eingebaut ist; einen Ausgangsinformationsverteilung-Berechnungsschritt zum Berechnen einer Datenverteilung der Ausgangsinformationen, um eine erste Datenverteilung zu erzeugen; einen Referenzinformationsverteilung-Berechnungsschritt zum Erfassen von Referenzinformationen über tatsächliche Fahrspurvorhersage-Informationen des Fahrzeugs und Berechnen einer Datenverteilung der Referenzinformationen, um eine zweite Datenverteilung zu erzeugen; und einen Schritt zum Aktualisieren von Parametern des Künstliches-Neuronales-Netzwerk-Moduls auf Grundlage der zweiten Datenverteilung, sodass ein Unterschied zwischen der ersten Datenverteilung und der zweiten Datenverteilung abnimmt.
Eine Navigationsvorrichtung gemäß einer Ausführungsform kann aufweisen: ein Bildinformationserfassungsmodul zum Beziehen von Fahrbild-Informationen eines Fahrzeugs von mindestens einem Kameramodul, das in dem Fahrzeug eingebaut ist; ein vortrainiertes Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul zum Einrichten von Fahrbild-Informationen als Eingangsinformation und Einrichten von Spurvorhersage-Informationen des Fahrzeugs und Zuverlässigkeitsinformationen für die Spurvorhersage-Informationen als Ausgangsinformation; ein Ausgangsinformationsverteilung-Berechnungsmodul zum Berechnen einer Datenverteilung der Ausgangsinformationen, um eine erste Datenverteilung zu erzeugen; ein Referenzinformationsverteilung-Berechnungsmodul zum Erfassen von Referenzinformationen für tatsächliche Fahrspurvorhersage-Informationen des Fahrzeugs und Berechnen einer Datenverteilung der Referenzinformationen, um eine zweite Datenverteilung zu erzeugen; ein Zuverlässigkeitskalibrierungsmodul zum Aktualisieren von Parametern des Künstliches-Neuronales-Netzwerk-Moduls auf Grundlage der zweiten Datenverteilung, sodass ein Unterschied zwischen der ersten Datenverteilung und der zweiten Datenverteilung abnimmt; und ein Anzeigemodul zum externen Anzeigen der Ausgangsinformationen, die von dem Künstliches-Neuronales-Netzwerk-Modul ausgegeben werden, zusammen mit Fahrbildern des Fahrzeugs.
[Vorteilhafte Wirkungen der Erfindung]
Das Verfahren und die Vorrichtung zum Bestimmen der Fahrspur eines Fahrzeugs durch Verwenden eines künstlichen neuronalen Netzwerks und die Navigationsvorrichtung damit gemäß einer Ausführungsform führen zu einer Wirkung, dass sich die von dem Künstliches-Neuronales-Netzwerk-Modul ausgegebenen Zuverlässigkeitsinformationen durch derartiges Kalibrieren, dass die Parameter des Künstliches-Neuronales-Netzwerk-Moduls basierend auf dem von dem Künstliches-Neuronales-Netzwerk-Modul inferierten Ergebnis und Referenzinformationen aktualisiert werden, der tatsächlichen Wahrscheinlichkeit der Spurvorhersage-Informationen annähern.
Da das Verfahren und die Vorrichtung zum Bestimmen der Fahrspur eines Fahrzeugs durch Verwenden eines künstlichen neuronalen Netzwerks und die Navigationsvorrichtung damit gemäß einer Ausführungsform zuverlässigere Vorhersageinformationen über die Spur bereitstellen können, besteht zusätzlich die Wirkung, dass Spurwechsel und autonomes Fahren sicherer stattfinden.
Da die Navigationsvorrichtung mit der Vorrichtung zum Bestimmen der Fahrspur eines Fahrzeugs durch Verwenden eines künstlichen neuronalen Netzwerks gemäß einer Ausführungsform in Bereichen, in denen mit hoher Wahrscheinlichkeit ein Unfall auftritt, etwa beim Spurwechsel oder Einfahren in eine Abbiegezone, einem Fahrer basierend auf zuverlässigeren Spurvorhersage-Informationen genauere Anleitung präsentieren kann, besteht darüber hinaus die Wirkung, dass dem Fahrer ermöglicht wird, sicher zu fahren.
Da das Verfahren und die Vorrichtung zum Bestimmen der Fahrspur eines Fahrzeugs durch Verwenden eines künstlichen neuronalen Netzwerks gemäß einer Ausführungsform Spurinformationen einer Straße, auf der das Fahrzeug fährt, basierend auf einem Fahrzeug-Fahrbild genau extrahieren kann, besteht die Wirkung, dass eine Karte mit Spurinformationen einfach hergestellt werden kann, ohne beim Herstellen der Karte manuell Informationen über Spuren einzugeben.
[Kurze Beschreibung der Zeichnungen]

1 ist ein Blockdiagramm, das einige Komponenten einer Vorrichtung zum Bestimmen einer Spur durch Verwenden eines künstlichen neuronalen Netzwerks gemäß einem Ausführungsbeispiel der vorliegenden Erfindung zeigt.
2 ist ein Diagramm, das an ein Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul eingegebene Eingangsinformationen und von diesem ausgegebene Ausgangsinformationen gemäß einem Ausführungsbeispiel zeigt.
3 ist ein Diagramm, das die Struktur eines auf die vorliegende Erfindung angewendeten Künstliches-Neuronales-Netzwerk-Moduls zeigt.
4 ist ein schematisches Diagramm, das einen Berechnungsprozess an Knoten des Künstliches-Neuronales-Netzwerk-Moduls veranschaulicht.
5 ist ein Diagramm zur Erläuterung eines Prozesses, bei dem an ein CNN eingegebene Eingangsinformationen in Ausgangsinformationen umgewandelt werden, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
6 ist ein Diagramm, das eine Beziehung zwischen einem Künstliches-Neuronales-Netzwerk-Modul und jeder Komponente gemäß einem Ausführungsbeispiel der vorliegenden Erfindung zeigt.
7A, 7B und 8A bis 8C sind Diagramme zur Veranschaulichung der Effekte einer Kalibrierung durch das Zuverlässigkeitskalibrierungsmodul.
9 ist ein Diagramm zur Veranschaulichung eines weiteren Ausführungsbeispiels der Ausgabeschicht der vorliegenden Erfindung.
10 ist eine Veranschaulichung, die einen Zustand zeigt, in dem die gemäß dem künstlichen neuronalen Netzwerk aus 9 ausgegebenen Informationen auf einem Anzeigemodul angezeigt werden.
11A und 11B sind Veranschaulichungen zum Beschreiben eines Verfahrens zum Berechnen von finalen Spurvorhersage-Informationen basierend auf den Spurvorhersage-Informationen und Zuverlässigkeitsinformationen dafür, die von dem Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul ausgegeben wurden, gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung.
12 ist ein Diagramm, das an ein Künstliches-Neuronales-Netzwerk-Modul eingegebene Eingangsinformationen und Ausgangsinformationen davon gemäß einem weiteren Ausführungsbeispiel veranschaulicht.
13A bis 13F sind Ansichten, die Beispiele für Punkte zeigen, bei denen die Spuraufteilung unklar ist, gemäß einem Ausführungsbeispiel.
14A, 14B, 15A, 15B, 16A und 16B sind Ansichten, die einen Vergleich zwischen dem Ausgabeergebnis des Spurvorhersage-Künstliches-Neuronales-Netzwerk-Moduls ohne die Ausnahmeklasse-Informationen und dem Ausgabeergebnis des Neuronales-Netzwerk-Moduls mit den Ausnahmeklasse-Informationen zeigen.
17 ist ein Diagramm zur Veranschaulichung eines Verfahrens zum Extrahieren eines Spurmerkmal-Vektors in dem Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul gemäß einem Ausführungsbeispiel.
18 ist ein Diagramm, das ein Spurwechselbestätigungs-Künstliches-Neuronales-Netzwerk-Modul gemäß einem Ausführungsbeispiel veranschaulicht.
19 ist ein Blockdiagramm, das einige Komponenten einer Navigationsvorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung zeigt.

[Beschreibung von Ausführungsformen]
Nachfolgend werden Ausführungsformen der vorliegenden Erfindung anhand der beigefügten Zeichnungen beschrieben. Im Hinblick auf die Zuweisung von Bezugszeichen zu Bestandteilen der einzelnen Zeichnungen sollte beachtet werden, dass gleiche Bestandteile selbst dann gleiche Bezugszeichen tragen, wenn sie in verschiedenen Zeichnungen veranschaulicht sind. Bei der Beschreibung der Ausführungsformen der vorliegenden Erfindung werden ausführliche Beschreibungen einschlägig bekannter Konstruktionen oder Funktionen weggelassen, wenn erachtet wird, dass diese das Wesen der Ausführungsformen der vorliegenden Erfindung unnötig verschleiern. Außerdem werden zwar nachstehend Ausführungsbeispiele der vorliegenden Erfindung beschrieben, die technische Idee der vorliegenden Erfindung ist jedoch nicht auf diese beschränkt oder eingeschränkt, sondern kann von dem Fachmann durch Abwandlung auf verschiedene Art und Weise realisiert werden.
Außerdem werden in der vorliegenden Beschreibung verwendete Begriffe nur verwendet, um Ausführungsbeispiele zu beschreiben, und nicht, um die vorliegende Erfindung zu beschränken oder einzuschränken. Singularformen schließen Pluralformen ein, sofern aus dem Zusammenhang nicht eindeutig etwas anderes hervorgeht.
Bei der vorliegenden Beschreibung ist zu verstehen, dass die Begriffe „umfassen“, „enthalten“ oder „aufweisen“ angeben, dass ein Merkmal, eine Anzahl, ein Schritt, eine Operation, ein Bestandteil, ein Teil bzw. eine Kombination davon, die in der Beschreibung beschrieben ist, vorhanden ist, jedoch nicht im Voraus die Möglichkeit ausschließen, dass ein oder mehrere andere Merkmale, Anzahlen, Schritte, Operationen, Bestandteile, Teile oder Kombinationen vorhanden oder zusätzlich vorhanden sind.
Außerdem gilt in der gesamten Beschreibung, dass, wenn beschrieben wird, dass ein Element mit einem anderen Element „verbunden“ ist, dies nicht nur „direkt verbunden“, sondern auch „indirekt verbunden“ mit einem weiteren Element dazwischen umfasst; und in der vorliegenden Beschreibung verwendete Begriffe mit Ordinalzahlen wie erste, zweite und dergleichen werden nur dazu verwendet, verschiedene Elemente zu beschreiben, und sind nicht so auszulegen, dass sie diese Elemente beschränken.
Die vorliegende Erfindung wird im Folgenden unter Bezugnahme auf die beigefügten Zeichnungen genauer beschrieben, in denen Ausführungsbeispiele der Erfindung gezeigt sind. In den Zeichnungen sind für die Beschreibung unwichtige Teile weggelassen, um die vorliegende Erfindung übersichtlich zu beschreiben.
1 ist ein Blockdiagramm, das einige Komponenten einer Vorrichtung 100 zum Bestimmen einer Spur durch Verwenden eines künstlichen neuronalen Netzwerks gemäß einem Ausführungsbeispiel der vorliegenden Erfindung zeigt, und 2 ist ein Diagramm, das an ein Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 eingegebene Eingangsinformationen und von diesem ausgegebene Ausgangsinformationen gemäß einem Ausführungsbeispiel zeigt. Im Folgenden wird die Vorrichtung 100 zum Bestimmen einer Spur durch Verwenden eines künstlichen neuronalen Netzwerks der einfachen Beschreibung halber als Vorrichtung 100 zur Spurbestimmung bezeichnet beschrieben.
Unter Bezugnahme auf 1 kann die Vorrichtung 100 zur Spurbestimmung ein Bildinformationserfassungsmodul 110, ein Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120, ein Ausgangsinformationsverteilung-Berechnungsmodul 130, ein Referenzinformationsverteilung-Berechnungsmodul 140, ein Zuverlässigkeitskalibrierungsmodul 150, ein Merkmalsextraktion-Modul 160 ein Spurwechselbestätigungs-Künstliches-Neuronales-Netzwerk-Modul 170 und dergleichen aufweisen.
Das Bildinformationserfassungsmodul 110 kann Fahrbild-Informationen eines Bereichs vor und seitlich eines Fahrzeugs erfassen, die von mindestens einer am Fahrzeug montierten Kamera aufgenommen werden, und die erfassten Bilder an das Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 übertragen.
Das Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 ist ein Künstliches-Neuronales-Netzwerk-Modul, das die Fahrbild-Informationen 10 des Fahrzeugs, die von dem Bildinformationserfassungsmodul 110 erfasst werden, als Eingangsinformation einrichtet und Spurvorhersage-Informationen 20, die bezüglich der Nummer der momentanen Fahrspur des Fahrzeugs inferiert werden, und Zuverlässigkeitsinformationen 30 zu der inferierten Spur als Ausgangsinformation einrichtet, und das Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 kann eine Trainingssitzung 121 zum Trainieren basierend auf den Eingangsinformationen und Ausgangsinformationen sowie eine Inferenzsitzung 122 zum Inferieren von Ausgangsinformationen basierend auf den Eingangsinformationen umfassen.
Die Trainingssitzung 121 des Spurvorhersage-Künstliches-Neuronales-Netzwerk-Moduls 120 ist eine Sitzung, in der basierend auf den Eingangsinformationen 10 und Ausgangsinformationen 30 und 40 trainiert werden kann, und in der Inferenzsitzung 122 können in Echtzeit eingegebene Fahrbild-Informationen 10 unter Verwendung des trainierten Spurvorhersage-Künstliches-Neuronales-Netzwerk-Moduls 120 analysiert werden und können die Spurvorhersage-Informationen 20, die bezüglich der Nummer der momentanen Fahrspur des Fahrzeugs inferiert werden, zusammen mit den Zuverlässigkeitsinformationen 30 dafür ausgegeben werden.
Wenn zum Beispiel ein Bild an das Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 eingegeben wird und als Ergebnis einer Analyse des eingegebenen Bilds und der Inferenz der momentanen Fahrspur des Fahrzeugs bestimmt wird, dass die Fahrspur die Spur Nr. 1 ist, kann die Spur Nr. 1 als Spurvorhersage-Information 20 ausgegeben werden, und gleichzeitig kann die Zuverlässigkeitsinformation 30 (z. B. 0,8) mit der die Spur Nr. 1 bestimmt wurde, als Ausgangsinformation ausgegeben werden.
Zusätzlich können die von dem Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 ausgegebenen Spurvorhersage-Informationen 20 als speziell auf einer bestimmten Spur basierende Informationen über die Nummer einer Spur ausgegeben werden. Zum Beispiel können Spurinformationen über die Nummer der momentanen Fahrspur des Fahrzeugs basierend auf der ersten Spur der Straße ausgegeben werden, oder es können umgekehrt dazu Spurinformationen über die Nummer der momentanen Fahrspur des Fahrzeugs basierend auf der letzten Spur der Straße ausgegeben werden.
Beim Bereitstellen der Spurinformationen besteht, wenn wie in der vorliegenden Erfindung Informationen über die Nummer einer Spur basierend auf einer bestimmten Spur bereitgestellt werden, da ein Fahrer die Nummer seiner Spur basierend auf der Referenzspur neben dem Fahrzeug erkennen kann, die Wirkung, dass beim Spurwechsel gemäß der Fahrroute der Spurwechsel vorbereitet werden kann und sicherer ausgeführt werden kann.
3 ist ein Diagramm, das die Struktur eines auf die vorliegende Erfindung angewendeten Künstliches-Neuronales-Netzwerk-Moduls zeigt, und 4 ist ein schematisches Diagramm, das einen Berechnungsprozess an Knoten des Künstliches-Neuronales-Netzwerk-Moduls veranschaulicht.
Unter Bezugnahme auf 3 kann ein mehrschichtiges Neuronales-Netzwerk-Model des Spurvorhersage-Künstliches-Neuronales-Netzwerk-Moduls 120 eine Eingabeschicht 60, eine verborgene Schicht 70 und eine Ausgabeschicht 80 aufweisen.
Die Eingabeschicht 60 besteht aus Knoten, die je einem Eingangsfaktor entsprechen, und die Anzahl von Knoten ist gleich der Anzahl von Eingangsfaktoren. Die verborgene Schicht 70 kann dazu dienen, Linearkombinationen von Faktorwerten, die von der Eingabeschicht 60 an eine nichtlineare Funktion wie eine Sigmoidfunktion übergeben werden, zu verarbeiten und an die Ausgabeschicht oder eine weitere verborgene Schicht weiterzuleiten. Zwar zeigt 3 aufgrund der Einschränkung der Druckseite, dass das Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 genau eine verborgene Schicht 70 aufweist, die vorliegende Erfindung ist jedoch nicht darauf beschränkt, und das Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 kann mehrere verborgene Schichten 70 aufweisen. Die Ausgabeschicht 80 ist ein Knoten, der einem Ausgangsfaktor entspricht, und in einem Klassifizierungsmodell können genauso viele Ausgangsknoten erzeugt werden wie Klassen vorhanden sind. Da die Ausgangsinformationen in der vorliegenden Erfindung aus den Spurvorhersage-Informationen 20 über die Nummer der momentanen Fahrspur des Fahrzeugs und Zuverlässigkeitsinformationen 30 dafür bestehen, ist die Ausgabeschicht 80, wie in 3 gezeigt ist, mit genau einer Schicht gezeigt. Die vorliegende Erfindung ist jedoch nicht darauf beschränkt, sondern kann abhängig von der Nutzumgebung des Spurvorhersage-Künstliches-Neuronales-Netzwerk-Moduls 120 mehrere Ausgabeschichten 80 aufweisen.
Wenn die Eingangsinformationen 10 an das Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 eingegeben werden, treten, wie in 4 gezeigt ist, tatsächlich an allen Knoten Operationen auf, und Operationsprozesse in dem Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 sind mathematisch dazu konzipiert, Prozesse zu simulieren, die in den Neuronen eines menschlichen neuronalen Netzwerks auftreten.
Ein Knoten reagiert, wenn er einen Stimulus mindestens einer bestimmten Größe empfängt, und die Größe seiner Antwort ist, ohne den Bias-Wert, ungefähr proportional zu dem Wert, der durch Multiplikation eines Eingangswerts mit einem Parameter (bzw. einem Gewicht) des Knotens erhalten wird. Im Allgemeinen empfängt ein Knoten mehrere Eingangswerte und weist genauso viele Parameter auf wie Eingangswerte vorhanden sind. Daher können durch Anpassung dieser Parameter den unterschiedlichen Eingangswerten unterschiedliche Gewichte zugewiesen werden. Schließlich werden alle multiplizierten Werte aufsummiert, wobei die Summe an eine Aktivierungsfunktion eingegeben wird, welche die Ausgabeschicht 80 ist. Das Ergebnis der Aktivierungsfunktion entspricht der Ausgabe des Knotens, und dieser Ausgangswert wird schließlich zur Klassifizierung oder Regressionsanalyse verwendet.
Jede Schicht des Neuronales-Netzwerk-Modells besteht aus mindestens einem Knoten, und, ob der Knoten aktiviert/deaktiviert wird, wird anhand des Eingangswerts bestimmt. Die Eingangsinformationen werden zu den Eingangswerten einer ersten Schicht (Eingabeschicht), und danach werden die Ausgangswerte einer jeweiligen Schicht zu den Eingangswerten der nächsten Schicht. Im Verlauf eines Trainingsprozesses verändern sich alle Koeffizienten Stück für Stück, was als Ergebnis widerspiegelt, welche Eingabewerte ein jeweiliger Knoten als wichtig erachtet. Außerdem bezieht sich das vorstehend beschriebene „Training“ des Künstliches-Neuronales-Netzwerk-Modells auf einen Prozess zum Aktualisieren dieser Koeffizienten.
Nachfolgend wird die Struktur eines CNN-Netzwerks, das üblicherweise auf das Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 der vorliegenden Erfindung angewendet wird, unter Bezugnahme auf 5 beschrieben. 5 ist ein Diagramm zur Erläuterung eines Prozesses, bei dem an ein CNN eingegebene Eingangsinformationen in Ausgangsinformationen umgewandelt werden, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
Ein neuronales Faltungsnetzwerk (CNN - Convolutional Neural Network) ist ein Typ eines vorwärtsgekoppelten tiefen neuronalen Netzwerks (DNN - Deep Neural Network), das bei der Bildanalyse verwendet wird, und bezeichnet ein neuronales Netzwerk, das aus einer oder mehreren Faltungsschichten, Pooling-Schichten und vollständig verbundenen Schichten besteht. Im Koreanischen wird es als neuronales Faltungsnetzwerk bezeichnet. CNNs weisen eine zum Trainieren mit zweidimensionalen Daten geeignete Struktur auf und können mittels eines Rückpropagierungsalgorithmus trainiert werden.
Der CNN-Prozess kann ein globales Merkmal, das das gesamte Bild darstellen kann, aus lokalen Merkmalen erhalten, während er größtenteils Merkmalsextraktions-, Auswirkungsminimierungs- und Klassifizierungsaufgaben wiederholt.
Unter Anwendung dessen auf die vorliegende Erfindung und Beschreibung anhand von 5 wendet das Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120, wenn von dem Bilderfassungsmodul 110 erfasste Bilder als Eingangsinformation 10 des Spurvorhersage-Künstliches-Neuronales-Netzwerk-Moduls 120 eingegeben werden, einen Filter auf die eingegebenen Bilder 11 an und erzeugt eine erste Merkmalskarte 12. „Anwenden eines Filters“ bedeutet Durchführen einer Faltungsoperation an Bildern unter Verwendung eines Filters mit einem bestimmten Koeffizienten.
Das Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 erzeugt eine erste Merkmalskarte 12 durch einen bestimmten Filter und verringert nach dem Erzeugen der ersten Merkmalskarte 12 die Größe der Bilder durch Unterabtastung der ersten Merkmalskarte 12. Nach dem Unterabtastungsprozess wird eine zweite Merkmalskarte 13 mit lokalen Merkmalen erzeugt. Außerdem führt das Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 wiederholt Prozesse zum Anwenden eines Filters, der wiederum verschiedene Eigenschaften aufweist, auf die zweite Merkmalskarte 13 und zum anschließenden Unterabtasten durch. Durch kontinuierliches und wiederholtes Durchführen dieser Prozesse kann schließlich eine finale Merkmalskarte 14 mit einem globalen Merkmal erzeugt werden. Die so erhaltene finale Merkmalskarte 14 ist mit dem Eingang eines vollständig verbundenen Netzwerks 17 verbunden, und durch die Ausgabeschicht können Ausgangsinformation erzeugt werden. Im Fall der vorliegenden Erfindung erzeugt das Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 die finale Merkmalskarte für die eingegebenen Bilder 11 in dem vorstehend beschriebenen Verfahren, die finale Merkmalskarte ist mit dem Eingang des vollständig verbundenen Netzwerks 17 verbunden und daher können die Spurvorhersage-Informationen 20 und Zuverlässigkeitsinformationen 30 dafür, welche die finalen Ausgangsinformationen darstellen, durch die Aktivierungsfunktion der Ausgabeschicht 80 ausgegeben werden.
Wie zuvor beschrieben wurde, besteht, da ein CNN die Anzahl von Variablen durch wiederholtes Anwenden von Filtern mit den gleichen Koeffizienten auf die gesamten Bilder signifikant verringert, die Wirkung, dass Invarianz unabhängig von topologischen Änderungen erhalten werden kann, und eine solche Wirkung weist wie in der vorliegenden Erfindung als Wirkung eine verbesserte Genauigkeit bei der Spurbestimmung basierend auf eingegebenen Bildern auf.
Zwar wurde in diesem Dokument eine Beschreibung anhand eines CNN als das auf das Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 angewendete neuronale Netzwerk der vorliegenden Erfindung bereitgestellt, die auf das Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 der vorliegenden Erfindung angewendete neuronale Netzwerkstruktur ist jedoch nicht auf ein CNN beschränkt, sondern es können verschiedene bekannte Künstliches-Neuronales-Netzwerk-Modelle wie Google Mobile Net v2, VGGNet16 und ResNet50 angewendet werden, die zur Bilderkennung nützlich sind.
6 ist ein Diagramm, das eine Beziehung zwischen einem Künstliches-Neuronales-Netzwerk-Modul und jeder Komponente gemäß einem Ausführungsbeispiel der vorliegenden Erfindung zeigt, und ist im Speziellen ein Diagramm, das einen Prozess veranschaulicht, in dem Parameter des Künstliches-Neuronales-Netzwerk-Moduls durch Trainieren aktualisiert werden.
Bezugnehmend auf 6 können die Spurvorhersage-Informationen 20 und die Zuverlässigkeitsinformationen 30 dafür, die von dem Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 ausgegeben werden, an das Ausgangsinformationsverteilung-Berechnungsmodul 130 eingegeben werden.
Das Ausgangsinformationsverteilung-Berechnungsmodul 130 ist ein Modul, das speziell eine Datenverteilung für die Spurvorhersage-Informationen 20 und die Zuverlässigkeitsinformationen 30 dafür berechnet, die von dem Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 ausgegeben werden.
Wenn zum Beispiel das Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 durch Inferenz basierend auf hundert (100) eingegebenen Bildern jeweils die Spurvorhersage-Informationen 20 über die Nummer der Fahrspur des Fahrzeugs und die Zuverlässigkeitsinformationen 30 dafür ausgegeben hat, kann das Ausgangsinformationsverteilung-Berechnungsmodul 130 die von dem Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 ausgegebenen Spurvorhersage-Informationen 20 und Zuverlässigkeitsinformationen 30 empfangen und dann darauf basierend eine Verteilung der empfangenen Informationen analysieren und eine erste Datenverteilung X erzeugen. Die erste Datenverteilung X bezieht sich auf Informationen über Werte, mit denen die Ausgangsinformationen verteilt sind, die durch Inferenz bezüglich jedes an das Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 eingegebene Bild ausgegebenen werden.
Das Referenzinformationsverteilung-Berechnungsmodul 140 kann Referenzinformationen über tatsächliche Fahrspurvorhersage-Informationen des Fahrzeugs erfassen, eine Datenverteilung der Referenzinformationen berechnen und dadurch eine zweite Datenverteilung Y erzeugen.
Die Referenzinformationen sind Informationen, die beim Aktualisieren der Parameter des Künstliches-Neuronales-Netzwerk-Moduls als Referenz dienen können und werden auch Wahrheitsinformationen genannt. Bei der vorliegenden Erfindung können tatsächliche Spurinformationen für Bilder, die an das Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 eingegeben werden, in den Referenzinformationen enthalten sein.
Das Zuverlässigkeitskalibrierungsmodul 150 kann durch Änderung verschiedener Parameterwerte des Künstliches-Neuronales-Netzwerk-Modells eine Kalibrierung durchführen, sodass der Ausgangswert des Künstliches-Neuronales-Netzwerk-Modells die tatsächliche Zuverlässigkeit widerspiegelt. Wenn zum Beispiel der Ausgabewert eines Modells für die Ausgangsinformation B der Eingangsinformation A 0,9 beträgt, kann eine Kalibrierung durchgeführt werden, um verschiedene Parameterwerte des Künstliches-Neuronales-Netzwerk-Modells zu ändern, sodass es die Bedeutung aufweist, dass das Ergebnis mit einer Wahrscheinlichkeit von 90 % B sein wird.
Beim Kalibrieren des Modells des Spurvorhersage-Künstliches-Neuronales-Netzwerk-Moduls 120 kann das Zuverlässigkeitskalibrierungsmodul 150 die erste Datenverteilung X von dem Ausgangsinformationsverteilung-Berechnungsmodul 130 empfangen, die zweite Datenverteilung Y von dem Referenzinformationsverteilung-Berechnungsmodul 140 empfangen und derart eine Kalibrierung durchführen, dass die Parameter des Spurvorhersage-Künstliches-Neuronales-Netzwerk-Moduls 120 auf Grundlage der zweiten Datenverteilung so aktualisiert werden, dass der Unterschied zwischen der ersten Datenverteilung X und der zweiten Datenverteilung Y abnimmt.
Bei der Beschreibung eines Ausführungsbeispiels in Bezug auf Spurvorhersage kann das Zuverlässigkeitskalibrierungsmodul 150, wenn die von dem Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 für die hundert (100) eingegebenen Bilder inferierten Spurvorhersage-Informationen sind, dass der Anteil der Vorhersage von Spur Nr. 1 20 % beträgt, der Anteil der Vorhersage von Spur Nr. 2 50 % beträgt und der Anteil der Vorhersage von Spur Nr. 3 30% beträgt, und basierend auf den Referenzinformationen der Anteil von Spur Nr. 1 30 % beträgt, der Anteil von Spur Nr. 2 45 % beträgt und der Anteil von Spur Nr. 3 25 % beträgt, die Parameter des Spurvorhersage-Künstliches-Neuronales-Netzwerk-Moduls 120 aktualisieren, um sie an die Anteile der tatsächlichen Referenzinformationen anzupassen.
Demgemäß tritt die Wirkung auf, dass sich die von dem Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 ausgegebenen Zuverlässigkeitsinformationen 30 der tatsächlichen Wahrscheinlichkeit für die Spurvorhersage-Informationen 20 annähern.
Als ein Ausführungsbeispiel kann das Zuverlässigkeitskalibrierungsmodul 150 ferner eine Kalibrierung derart durchführen, dass die der Ausgabeschicht entsprechende Softmax-Funktion abgeschwächt wird, und im Speziellen kann eine Kalibrierung durch Umwandeln des in der nachstehenden Gleichung 1 gezeigten Logikvektors Z unter Verwendung eines einzelnen skalaren Parameters T in einer Multiklassifizierungsproblematik mit K Bezeichnern durchgeführt werden. ${\hat{q}}_{i} = max_{k} σ_{s o f t m a x} {(z_{i} / T)}^{(k)}$
Hier bezeichnet q^ eine kalibrierte Wahrscheinlichkeit, und Gleichung 3 oben bedeutet, dass die Kalibrierung durch Dividieren eines Logikvektors durch einen einzelnen skalaren Parameter T in einem Multiklassifizierungsproblem mit K Bezeichnern durchgeführt wird.
Wenn T, welches ein einzelner skalarer Parameter ist, in Gleichung 3 1 ist, wird sie zur ursprünglichen Gleichung zum Lösen nach der Zuverlässigkeit unter der Verwendung von Softmax, und mit zunehmendem T konvergiert q gegen 1/K, und wenn T gegen 0 geht, geht q gegen 1.
Zusätzlich kann der optimale Wert für den einzelnen skalaren Parameter T durch Trainieren bestimmt werden, insbesondere kann an dem einzelnen skalaren Parameter T durch Verwenden eines Kalibrierungsvalidierungssatzes trainiert werden, welcher ein weiterer Validierungssatz mit den gleichen Eigenschaften wie der Validierungssatz des Spurvorhersage-Künstliches-Neuronales-Netzwerk-Moduls 120 ist.
Im Speziellen kann das Zuverlässigkeitskalibrierungsmodul 150 derart an dem einzelnen skalaren Parameter T trainieren, dass der negative Log-Likelihood-Wert (NLL-Wert) in dem Kalibrierungsvalidierungssatz durch Verwenden des Kalibrierungsvalidierungssatzes minimiert wird. Wenn die Kalibrierung in dieser Weise durchgeführt wird, kann der einzelne skalare Parameter T kalibriert werden, ohne den Maximalwert der Softmax-Ausgabe zu ändern. Da ein solches Verfahren nur die Kalibrierung von herkömmlichen Modellen betrifft und nicht die Genauigkeit beeinträchtigt, besteht daher der Vorteil, dass es auch auf zuvor trainierte Künstliches-Neuronales-Netzwerk-Module angewendet werden kann.
7A, 7B und 8A bis 8C sind Diagramme zur Veranschaulichung der Wirkungen einer Kalibrierung durch das Zuverlässigkeitskalibrierungsmodul, wobei 7A Programmcode einer allgemeinen Softmax-Funktion ist und 7B Code ist, mit dem eine vorstehend beschriebene Kalibrierung anhand der Softmax-Funktion durchgeführt wird, und 8 ist eine Veranschaulichung, die Graphen für die Werte der Wahrscheinlichkeit P zeigt, die für die Werte T=0 (8A), T=2 (8B) bzw. T=10 (8C) des einzelnen skalaren Parameters T gemäß 7B berechnet wurden.
Wenn T allmählich von 0 aus erhöht wird, lässt sich bestätigen, dass sich der Wert des Unterschieds zwischen den jeweiligen Wahrscheinlichkeitswerten verringert, wie in 10 gezeigt ist. Da sich jedoch die Reihenfolge nicht ändert, beeinflusst dies nicht die Genauigkeit. Wenn die Kalibrierung gemäß dem Zuverlässigkeitskalibrierungsmodul der vorliegenden Erfindung durchgeführt wird, besteht daher die Wirkung, dass die Zuverlässigkeit des Spurvorhersage-Künstliches-Neuronales-Netzwerk-Moduls 120 ohne Beeinträchtigung der Genauigkeit verbessert wird.
9 ist ein Diagramm zur Veranschaulichung eines weiteren Ausführungsbeispiels der Ausgabeschicht der vorliegenden Erfindung, und 10 ist eine Veranschaulichung, die einen Zustand zeigt, in dem die gemäß dem künstlichen neuronalen Netzwerk der 9 ausgegebenen Informationen auf einem Anzeigemodul einer Navigationsvorrichtung angezeigt werden.
Unter Bezugnahme auf 9 sind die an das Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 der vorliegenden Erfindung eingegebenen Eingangsinformationen, genauso wie in 3, Fahrbild-Informationen 10, die Ausgabeschicht ist jedoch keine einzelne Schicht, sondern kann eine erste Ausgabeschicht 81 und eine zweite Ausgabeschicht 82 umfassen.
Die erste Ausgabeschicht 81 und die zweite Ausgabeschicht 82 dienen als Aktivierungsfunktionen, und üblicherweise kann eine Softmax-Funktion, eine Kreuzentropie-Funktion oder dergleichen verwendet werden. Im Folgenden beruht die Beschreibung der Einfachheit halber auf der Softmax-Funktion.
Wenn das Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 der vorliegenden Erfindung eine erste Softmax-Funktion und eine zweite Softmax-Funktion für die Ausgabeschicht 80 verwendet, kann, wie in 9 gezeigt ist, die erste Softmax-Funktion erste Spurvorhersage-Informationen 21 über die Nummer der momentanen Fahrspur eines Fahrzeugs basierend auf der ersten Spur und erste Spur-Zuverlässigkeitsinformationen 31 dafür ausgeben und die zweite Softmax-Funktion kann zweite Spurvorhersage-Informationen 22 über die Nummer der momentanen Fahrspur eines Fahrzeugs basierend auf der letzten Spur und zweite Spur-Zuverlässigkeitsinformationen 32 dafür ausgeben.
Als Ausgangsinformationen der ersten Softmax-Funktion können demgemäß, wie in 10 gezeigt ist, die ersten Spurvorhersage-Informationen 21, die als Spur Nr. 2 basierend auf der ersten Spur bestimmt wurden, und die ersten Spur-Zuverlässigkeitsinformationen 31 dafür als Spur Nr. 2 bzw. 0,999 ausgegeben werden, und als Ausgangsinformationen der zweiten Softmax-Funktion können die zweiten Spurvorhersage-Informationen 22, die als Spur Nr. 2 basierend auf der letzten Spur bestimmt wurden, und die Zuverlässigkeitsinformationen 32 dafür als Spur Nr. 2 bzw. 0,994 ausgegeben werden.
Im Allgemeinen besteht kein großes Problem, wenn alle Spuren einer Straße mit einer in einem Fahrzeug eingebauten Frontkamera aufgenommen werden können; es können jedoch Fälle auftreten, bei denen eine Frontkamera abhängig von den Kamerafunktionen nicht alle Spuren abdecken kann. Wenn in solchen Fällen eine einzige Softmax-Funktion verwendet wird, besteht demgemäß das Problem, dass keine genauen Spurinformationen bereitgestellt werden können, da keine Informationen über die Gesamtanzahl von Spuren einer Straße extrahiert werden können. Wenn unter Verwendung von zwei Softmax-Funktionen in einem einzigen Netzwerk wie in der vorliegenden Erfindung klassifiziert wird, besteht jedoch die Wirkung, dass genauere Spurinformationen bereitgestellt werden können, da Informationen über alle Spuren bekannt sind.
Wenn Spurinformationen für eine Straße wie in der vorliegenden Erfindung aus Fahrbildern extrahiert werden können, besteht die Wirkung, dass eine Karte mit Spurinformationen leicht hergestellt werden kann. Da es im Stand der Technik nicht möglich war, Spurinformationen durch Betrachten von Straßenbildern automatisch zu extrahieren, bestand daher das Problem, dass Produzenten sie manuell bezeichnen mussten, wohingegen, da das Verfahren und die Vorrichtung zum Bestimmen der Fahrspur eines Fahrzeugs durch Verwenden eines künstlichen neuronalen Netzwerks gemäß einer Ausführungsform Informationen über Spuren basierend auf Fahrbildern wie vorstehend beschrieben automatisch extrahieren kann, die Wirkung besteht, dass eine Karte mit Spurinformationen einfacher hergestellt werden kann. Demgemäß besteht die Wirkung, dass auch Karten zum autonomen Fahren, welche genaues Wissen über Spurinformationen erfordern, genauer als im Stand der Technik hergestellt werden können.
11A und 11B sind Veranschaulichungen zum Beschreiben eines Verfahrens zum Berechnen von finalen Spurvorhersage-Informationen basierend auf den Spurvorhersage-Informationen und Zuverlässigkeitsinformationen dafür, die von dem Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul ausgegeben wurden, gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung.
Im Speziellen ist die blaue Linie in 11A eine Veranschaulichung, die in Echtzeit im Zeitverlauf vorhergesagte Spurvorhersage-Informationen zeigt, und 11B ist eine Veranschaulichung, die für die vorhergesagten Spurinformationen ausgegebene Zuverlässigkeitsinformationen im Zeitverlauf zeigt.
Unter Bezugnahme auf 11A und 11B beträgt die Zuverlässigkeit der Spurvorhersage-Informationen vom Zeitpunkt 0 bis t1 1, und die Spurvorhersage-Informationen werden als Spur Nr. 2 ausgegeben. Da die Zuverlässigkeit 1 beträgt, ändert sich die Spur, in 11A die blaue Linie, nur wenig.
Bei Betrachtung von 11B ist jedoch zu sehen, dass sich die Zuverlässigkeitsinformation zwischen t1 und t2 stark verändert, was ein Phänomen ist, das auftritt, da die Spur gewechselt wird. Demgemäß ist zu sehen, dass sich die blaue Linie in 11A weiterhin von Spur Nr. 2 zu Spur Nr. 1 ändert. Daher kann die vorliegende Erfindung in einem solchen Fall Werte auf oder unter einem bestimmten Zuverlässigkeitsniveau entfernen, nur signifikante Zuverlässigkeitswerte auswählen und dadurch die grüne Linie in 11A ableiten, und die rote Linie kann durch eine finale Korrekturoperation abgeleitet werden und das Ergebnis dafür bereitstellen. Wenn keine Zuverlässigkeitsinformationen existieren, ist es nötig, mit manueller Arbeit zur Korrektur von Ergebniswerten für die sich in Echtzeit ändernde Zuverlässigkeit und Berechnung der finalen Daten fortzufahren; die vorliegende Erfindung kann jedoch Ergebnisse wie die rote Linie anhand einer im Voraus eingerichteten Referenz automatisch unter Verwendung der Zuverlässigkeitsinformationen ableiten.
12 ist ein Diagramm, das an ein Künstliches-Neuronales-Netzwerk-Modul eingegebene Eingangsinformationen und Ausgangsinformationen davon gemäß einem weiteren Ausführungsbeispiel veranschaulicht.
Ein in 12 gezeigtes Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 weist die gleiche grundlegende Struktur wie das in 9 beschriebene Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 auf, allerdings sind die Fahrbild-Informationen als Eingangsinformation im Fall von 9 Informationen, die von einer einzigen Kamera empfangen werden, wohingegen von zwei Kameras bezogene erste Fahrbild-Informationen 10 und zweite Fahrbild-Informationen 50 in 12 als Eingangsinformation an das Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 eingegeben werden können.
In diesem Fall kann die erste Ausgabeschicht 81 erste Spurvorhersage-Informationen 21 und erste Spur-Zuverlässigkeitsinformationen 31 ausgeben, die basierend auf den ersten Fahrbild-Informationen 10 trainiert wurden, die zweite Ausgabeschicht 82 kann zweite Spurvorhersage-Informationen 22 und zweite Spur-Zuverlässigkeitsinformationen 32 ausgeben, die basierend auf den zweiten Fahrbild-Informationen 50 trainiert wurden, und hier kann sich die zweite Spur auf die letzte Spur der Straße beziehen.
Zusätzlich dazu können die Spurvorhersage-Informationen 20 des Spurvorhersage-Künstliches-Neuronales-Netzwerk-Moduls 120 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung dazu eingerichtet sein, ferner Klasseninformationen für Spuren sowie Ausnahmeklasse-Informationen zu umfassen.
Die Ausnahmeklasse-Informationen sind Klasseninformationen, die für Punkte klassifiziert sind, an denen die Spuraufteilung der Straße unklar ist, und beziehen sich auf Punkte, an denen es schwierig ist, nur mit den Fahrbild-Informationen 10 genau Informationen über eine Spur zu inferieren. 13A bis 13F sind Ansichten, die Beispiele zeigen, in denen eine Klasse als 0 klassifiziert ist, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung, und wie in den Teilbildern von 13 gezeigt ist, können diesen ein Spurwechselpunkt (13A), ein Punkt mit Hindernis (13B), ein Kreuzungspunkt (13C), ein Spurzusammenführungspunkt (13D), ein Spurerweiterungspunkt (13E), ein Baustellenpunkt (13F) usw. entsprechen.
Demgemäß kann das Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 gemäß einem Ausführungsbeispiel durch Nutzung der Ausnahmeklasse trainieren und inferieren. Im Speziellen kann die Trainingssitzung des Spurvorhersage-Künstliches-Neuronales-Netzwerk-Moduls 120 basierend auf getrennt bezeichneten Informationen über die Ausnahmeklasse überwacht trainieren und die Spurinformationen als Ausgangsinformation ausgeben, wenn das Training abgeschlossen ist. Die Ausnahmeklasse kann aufgrund ihrer Eigenschaften auch als Sonstiges-Klasse oder Null-Klasse (0-Klasse) bezeichnet werden.
Als zu einer Ausnahmeklasse gehörig klassifizierte Punkte sind Punkte, bei denen es schwierig ist, nur mit Fahrbild-Informationen 10 Informationen über Spuren genau zu extrahieren, und diese Punkte weisen aufgrund der Natur von Spuren sehr vielfältige Fälle auf. Da die zum Trainieren dieser Punkte verwendete Datenmenge vergleichsweise gering ist, ist es jedoch nicht nur schwierig, an jedem Punkt zu trainieren, an dem die Spuraufteilung unklar ist, auch die Effizienz ist geringer.
Wenn jedoch wie bei dem Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 gemäß einem Ausführungsbeispiel Punkte mit unklarer Spuraufteilung als zu einer getrennt definierten Ausnahmeklasse gehörig klassifiziert werden und dann basierend auf den verbleibenden Klassen trainiert wird, wird nur basierend auf Daten mit vergleichsweise genauen Informationen trainiert, und somit besteht der Vorteil, dass die Zuverlässigkeit des Spurvorhersage-Künstliches-Neuronales-Netzwerk-Moduls 120 verbessert wird. Konkrete Ausführungsbeispiele diesbezüglich werden unter Bezugnahme auf 14A, 14B, 15A, 15B, 16A und 16B beschrieben.
14A, 14B, 15A, 15B, 16A und 16B sind Ansichten, die einen Vergleich zwischen dem Ausgabeergebnis des Spurvorhersage-Künstliches-Neuronales-Netzwerk-Moduls 120 ohne die Ausnahmeklasse-Informationen und dem Ausgabeergebnis des Neuronales-Netzwerk-Moduls 120 mit den Ausnahmeklasse-Informationen zeigen.
Im Speziellen ist 14A eine Ansicht, die Ausgangsinformationen des Spurvorhersage-Künstliches-Neuronales-Netzwerk-Moduls 120 ohne die Ausnahmeklasse-Informationen an einem Spurerweiterungspunkt zeigt, und 14B ist eine Ansicht, die Ausgangsinformationen des Spurvorhersage-Künstliches-Neuronales-Netzwerk-Moduls 120 mit den Ausnahmeklasse-Informationen an dem Spurerweiterungspunkt zeigt.
Unter Bezug auf 14A: Da die Erweiterung der neuen Spur an dem Punkt am weitesten links geschieht, ergeben die ersten Spurvorhersage-Informationen 21 und die ersten Spur-Zuverlässigkeitsinformationen 31 dafür, wenn das Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 die Spur ohne die Ausnahmeklasse inferiert, ein Ergebnis, das die Information über die Spur nicht genau bestimmen kann, wie in 14A gezeigt ist.
Da das Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 mit den Ausnahmeklasse-Informationen wie in 14B gezeigt den Spurerweiterungspunkt als zur Ausnahmeklasse gehörig klassifiziert und die Spur inferiert, können die ersten Spurvorhersage-Informationen 21 und die ersten Spur-Zuverlässigkeitsinformationen 31 als getrennter Klassenwert 0 am Spurerweiterungspunkt ausgegeben werden, wie in 14B gezeigt ist. Demgemäß liegt die Wirkung vor, dass ein Ergebnis verhindert werden kann, bei dem die inferierte Spur undeutlich ist.
Als Nächstes ist 15A eine Ansicht, die die Ausgangsinformationen des Spurvorhersage-Künstliches-Neuronales-Netzwerk-Moduls 120 ohne die Ausnahmeklasse-Informationen an einem Punkt mit Hindernis zeigt, 15B ist eine Ansicht, die die Ausgangsinformationen des Spurvorhersage-Künstliches-Neuronales-Netzwerk-Moduls 120 mit den Ausnahmeklasse-Informationen an dem Punkt mit Hindernis zeigt, 16A ist eine Ansicht, die die Ausgangsinformationen des Spurvorhersage-Künstliches-Neuronales-Netzwerk-Moduls 120 ohne die Ausnahmeklasse-Informationen an einem Kreuzungspunkt zeigt, und 16B ist eine Ansicht, die die Ausgangsinformationen des Spurvorhersage-Künstliches-Neuronales-Netzwerk-Moduls 120 mit den Ausnahmeklasse-Informationen an einem Kreuzungspunkt zeigt.
Außerdem ist in 15A, 15B, 16A und 16B, genauso wie in 14A und 14B, wenn eine Spur durch Nutzung der Ausnahmeklasse-Informationen inferiert wird, die Genauigkeit der Spurinferenz für Punkte verringert, an denen die Spuraufteilung nicht klar getroffen werden kann; wenn der Punkt, an dem die Spuraufteilung unklar ist, als zur Ausnahmeklasse gehörig klassifiziert wird und die Spur dann basierend auf den verbleibenden Daten vorhergesagt wird, besteht jedoch der Vorteil, dass die Spurinformation genauer inferiert werden kann.
Darüber hinaus können als ein weiteres Ausführungsbeispiel der vorliegenden Erfindung die Spurvorhersage-Informationen 20 des Spurvorhersage-Künstliches-Neuronales-Netzwerk-Moduls 120 ferner dazu eingerichtet sein, nicht nur Klasseninformationen über Spuren, sondern auch mehrere Ausnahmeklasse-Informationsfragmente zu umfassen.
Die mehreren Ausnahmeklasse-Informationsfragmente sind Klasseninformationen, die durch ein auf bestimmten Kriterien beruhendes Aufteilen der vorstehend beschriebenen Ausnahmeklasse-Informationen auf mehrere Fragmente erhalten werden. Als Beispiel kann der Spurwechselpunkt als zu einer ersten Ausnahmeklasse gehörig klassifiziert werden, kann der Spurzusammenführungspunkt als zu einer zweiten Ausnahmeklasse gehörig klassifiziert werden, kann der Punkt mit Hindernis als zu einer dritten Ausnahmeklasse gehörig klassifiziert werden, kann der Spurerweiterungspunkt als zu einer vierten Ausnahmeklasse gehörig klassifiziert werden, kann der Kreuzungspunkt als zu einer fünften Ausnahmeklasse gehörig klassifiziert werden und kann der Baustellenpunkt als zu einer sechsten Ausnahmeklasse gehörig klassifiziert werden, und dann kann für jede Klasse trainiert werden, und die Spurvorhersage-Informationen 20 des Spurvorhersage-Künstliches-Neuronales-Netzwerk-Moduls 120 können ferner dazu eingerichtet sein, die vorstehend beschriebene erste bis sechste Ausnahmeklasse zu umfassen. Da das Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung nicht nur einfach Spurinformationen ausgeben kann, sondern auch getrennte Informationen für Punkte ausgeben kann, bei denen eine Unterscheidung von Spuren schwierig ist, besteht die Wirkung, dass feiner unterschiedene und genauere Informationen beim Herstellen einer Karte mit Spurinformationen oder bei der Spuranleitung bereitgestellt werden.
17 ist ein Diagramm zur Veranschaulichung eines Verfahrens zum Extrahieren eines Spurmerkmal-Vektors in dem Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul gemäß einem Ausführungsbeispiel, und 18 ist ein Diagramm, das ein Spurwechselbestätigungs-Künstliches-Neuronales-Netzwerk-Modul gemäß einem Ausführungsbeispiel veranschaulicht.
Das Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 der 17 ist das gleiche wie das vorstehend beschriebene Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120, und ein Merkmalsextraktion-Modul 160 ist ein Modul, das einen Spurmerkmal-Vektor 16 als Ausgangsinformation bezüglich der an das Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 eingegebenen Fahrbild-Informationen 10 verwendet. Im Speziellen ist das Merkmalsextraktion-Modul 162 ein Modul, das einen Vektor, der von einer Schicht 15 vor der vollständig verbundenen Schicht 17 und der Ausgabeschicht ausgegeben wurde, als Spurmerkmal-Vektor 16 für die eingegebenen Fahrbild-Informationen 10 ausgibt, in einem vortrainierten Bildklassifizierungs-Künstliches-Neuronales-Netzwerk einschließlich ConvNet.
Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung kann das Merkmalsextraktion-Modul 160 dazu eingerichtet sein, einen n-dimensionalen Vektor auszugeben, der durch Anwenden von Durchschnitts-Pooling (avg_pooling) auf das Ergebnis der Extraktion eines Merkmals in der letzten Stufe einer Faltungsschicht eines vortrainierten Bildklassifizierungs-Künstliches-Neuronales-Netzwerks als Spurmerkmal-Vektor 61 für die eingegebenen Fahrbild-Informationen 10 erhalten wird.
Wie in 18 gezeigt ist, kann das Spurwechselbestätigungs-Künstliches-Neuronales-Netzwerk-Modul 170 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung mit einem rekurrenten neuronalen Netzwerk (RNN) oder einem rekurrenten neuronalen Netzwerk vom LSTM-Typ (Long-Short Term Memory) eingerichtet sein, das einen Spurmerkmal-Vektor als Eingangsdatum xt und Spurwechselbestätigung-Informationen yt als Ausgangsdaten verwendet.
In diesem Fall kann das Eingangsdatum aus einem Spurmerkmal-Vektor 16 (xt, xt+1, xt+2, ...) nach einer Spurwechsel-Startzeit t bestehen, welche nach der Bestätigung des Spurwechsels durch das Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 liegt. In der Inferenzsitzung des Spurwechselbestätigungs-Künstliches-Neuronales-Netzwerk-Moduls 170 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung kann es für die Spurwechselbestätigung-Informationen yt, yt+1, yt+2, ..., welche über verborgene Schichten ht, ht+1, ht+2, ... unter Verwendung der Information des sequenziell von xt als Eingangsdatum eingegebenen Spurmerkmal-Vektors 16 ausgegebene Ausgangsdaten sind, derart eingerichtet sein, dass die Spurvorhersage-Informationen, welche, wenn der Zuverlässigkeitswert der Spurwechselbestätigung-Informationen 18 größer oder gleich einem bestimmten Wert ist, die Ausgangsinformationen des Spurvorhersage-Künstliches-Neuronales-Netzwerk-Moduls 120 sind, als bestätigte Spurinformationen bestätigt werden.
Die Trainingssitzung des Spurwechselbestätigungs-Künstliches-Neuronales-Netzwerk-Moduls 170 kann so eingerichtet sein, dass der Spurmerkmal-Vektor 16 als Eingabedatum verwendet wird, die Spurwechselbestätigung-Informationen 18 als Ausgabedaten verwendet werden und die Daten darüber, ob die Spur tatsächlich gewechselt wurde, als Wahrheit verwendet werden, und eine Verlustfunktion kann so eingerichtet sein, dass die Parameter des Spurwechselbestätigungs-Künstliches-Neuronales-Netzwerk-Moduls 170 in einer Richtung aktualisiert werden können, in der der Unterschied zwischen den Ausgangsdaten und der Wahrheit verringert wird.
Wenn zum Beispiel der Spurwechsel basierend auf der Tatsache bestätigt wird, dass die Spurvorhersage-Information zum Zeitpunkt t-1 vor dem Spurwechsel die Spur Nr. 1 war und die Spurvorhersage-Information zur Spurwechsel-Startzeit t zur Spur Nr. 2 gewechselt hat, wird der Spurmerkmal-Vektor xt, xt+1, xt+2, ... nach der Spurwechsel-Startzeit als Eingabedatum an das Spurwechselbestätigungs-Künstliches-Neuronales-Netzwerk-Modul 170 eingegeben.
Danach gibt das Spurwechselbestätigungs-Künstliches-Neuronales-Netzwerk-Modul 170 sequenziell Spurwechselbestätigung-Informationen zusammen mit einer Zuverlässigkeit (yt = „Spurwechsel, 0,4”, yt+1 = „Spurwechsel, 0,8“, ...) aus, und die von dem Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 120 zu einer Zeit, zu der die Spurwechselbestätigung-Informationen mit mindestens einem bestimmten Niveau von Zuverlässigkeit ausgegeben werden, ausgegebenen Spurvorhersage-Informationen werden bestätigt und als bestätigte Spurinformationen („Spur Nr. 2“) ausgegeben.
Gemäß dem Spurwechselbestätigungs-Künstliches-Neuronales-Netzwerk-Modul 170 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung besteht die Wirkung, dass, wenn die Spurvorhersage-Informationen, welche die Ausgangsinformationen des Spurvorhersage-Künstliches-Neuronales-Netzwerk-Moduls 120 sind, ausgegeben werden, während sie beim Spurwechselprozess bedingt durch den Spurwechsel des Benutzers wiederholt zwischen verschiedenen Spuren wechseln, der Zeitpunkt des tatsächlichen Spurwechsels bestätigt werden kann.
Demgemäß kann beim Betreiben eines spurbasierten Navigationsdiensts oder autonomen Fahrdiensts der Zeitpunkt eines Spurwechsels bestimmt werden und dadurch die Wirkung bereitgestellt werden, dass ein präziser Navigationsdienst bzw. präziser autonomer Fahrdienst ermöglicht wird.
19 ist ein Blockdiagramm, das einige Komponenten einer Navigationsvorrichtung 200 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung zeigt.
Unter Bezugnahme auf 19 kann die Navigationsvorrichtung 200 ein Bildinformationserfassungsmodul 210, ein Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 220, ein Ausgangsinformationsverteilung-Berechnungsmodul 230, ein Referenzinformationsverteilung-Berechnungsmodul 240, ein Zuverlässigkeitskalibrierungsmodul 250, ein Merkmalsextraktion-Modul 260, ein Spurwechselbestätigungs-Künstliches-Neuronales-Netzwerk-Modul 270, ein Anzeigemodul 280 und dergleichen aufweisen. Alle Komponenten außer dem Anzeigemodul 280 in 19 führen die gleiche Funktion aus wie die entsprechenden in 1 beschriebenen Komponenten, und daher wird auf ihre ausführliche Beschreibung verzichtet.
Das Anzeigemodul 280 kann nicht nur die Spurvorhersage-Informationen 20 und die Zuverlässigkeitsinformationen 30 dafür anzeigen, die von dem Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul 220 ausgegeben werden, sondern auch die Informationen, die durch Verarbeiten der Ausgangsinformation implementiert werden, wie ein Dienst anzeigen, der die Fahrroute eines Fahrzeugs anleitet.
Das Anzeigemodul 280 kann daher verschiedene Anzeigefelder aufweisen, etwa ein Flüssigkristall-Anzeigefeld (LCD-Anzeigefeld), ein Leuchtdioden-Anzeigefeld (LED-Anzeigefeld) oder ein Organikleuchtdioden-Anzeigefeld (OLED-Anzeigefeld). Weiterhin kann die Anzeige, wenn sie eine grafische Benutzerschnittstelle (GUI - Graphical User Interface) wie ein Touchpad oder dergleichen, das heißt eine Vorrichtung, die Software ist, aufweist, auch als Eingabeeinheit zum Empfangen von Benutzereingaben dienen.
Das Verfahren und die Vorrichtung zum Bestimmen der Fahrspur eines Fahrzeugs unter Verwendung eines künstlichen neuronalen Netzwerks und die Navigationsvorrichtung damit gemäß einer Ausführungsform führen zu der Wirkung, dass sich die von dem Künstliches-Neuronales-Netzwerk-Modul ausgegebenen Zuverlässigkeitsinformationen durch derartiges Kalibrieren, dass die Parameter des Künstliches-Neuronales-Netzwerk-Moduls basierend auf dem von dem Künstliches-Neuronales-Netzwerk-Modul inferierten Ergebnis und Referenzinformationen aktualisiert werden, der tatsächlichen Wahrscheinlichkeit der Spurvorhersage-Informationen annähern.
Da das Verfahren und die Vorrichtung zum Bestimmen der Fahrspur eines Fahrzeugs unter Verwendung eines künstlichen neuronalen Netzwerks und die Navigationsvorrichtung damit gemäß einem Ausführungsbeispiel zuverlässigere Vorhersageinformationen über die Spur bereitstellen können, besteht zusätzlich die Wirkung, dass Spurwechsel und autonomes Fahren sicherer stattfinden.
Da die Navigationsvorrichtung mit der Vorrichtung zum Bestimmen der Fahrspur eines Fahrzeugs unter Verwendung eines künstlichen neuronalen Netzwerks gemäß einer Ausführungsform in Bereichen, in denen mit hoher Wahrscheinlichkeit ein Unfall auftritt, etwa beim Spurwechsel oder Einfahren in eine Abbiegezone, einem Fahrer basierend auf zuverlässigeren Spurvorhersage-Informationen genauere Anleitung präsentieren kann, besteht darüber hinaus die Wirkung, dass dem Fahrer ermöglicht wird, sicher zu fahren.
Bestandteile, Einheiten, Module, Komponenten und dergleichen, die in der vorliegenden Erfindung als „-Teil oder -Abschnitt“ bezeichnet sind, können zusammen oder individuell als zusammenarbeitende und dennoch individuelle logische Vorrichtungen implementiert sein. Beschreibungen unterschiedlicher Merkmale von Modulen, Einheiten oder dergleichen sollen unterschiedliche funktionale Ausführungsformen betonen und implizieren nicht notwendigerweise, dass die Ausführungsformen durch individuelle Hardware- oder Softwarekomponenten realisiert sein sollen. Stattdessen können die Funktionen, die ein oder mehrere Module oder Einheiten betreffen, von individuellen Hardware- oder Softwarekomponenten ausgeführt werden oder in gemeinsamen oder individuellen Hardware- oder Softwarekomponenten integriert sein.
Ein Computerprogramm (auch als Programm, Software, Softwareapplikation, Script oder Code bezeichnet) kann in einer Programmiersprache beliebiger Form verfasst sein, einschließlich kompilierter oder interpretierter Sprachen, deklarativer oder prozeduraler Sprachen, und es kann in beliebiger Form genutzt werden, einschließlich als alleinstehendes Programm oder als Modul, Komponente, Subroutine, Objekt oder andere zur Verwendung in einer Computerumgebung geeignete Einheit.
Außerdem können die in diesem Patentdokument beschriebenen logischen Abläufe und Strukturblockdiagramme, welche bestimmte Verfahren und/oder entsprechende Handlungen zur Unterstützung von Schritten und entsprechende Funktionen zur Unterstützung von offenbarten Strukturmitteln unterstützen, genutzt werden, um entsprechende Softwarestrukturen und Algorithmen sowie Äquivalente davon zu implementieren.
Die in dieser Beschreibung beschriebenen Prozesse und logischen Abläufe können durch einen oder mehrere programmierbare Prozessoren durchgeführt werden, die ein oder mehrere Computerprogramme ausführen, um durch Bearbeitung von Eingangsdaten und Erzeugen von Ausgaben Funktionen auszuführen.
Diese schriftliche Beschreibung legt die beste Ausführungsform der vorliegenden Erfindung dar und stellt Beispiele bereit, um die vorliegende Erfindung zu beschreiben und es einem Fachmann zu ermöglichen, die vorliegende Erfindung herzustellen und zu verwenden. Diese schriftliche Beschreibung beschränkt die vorliegende Erfindung nicht auf die dargelegten konkreten Begriffe.
Zwar wurde die vorliegende Erfindung unter Bezugnahme auf bestimmte Ausführungsbeispiele davon aufgezeigt und beschrieben, der Fachmann versteht jedoch, dass an ihr verschiedene Änderungen von Gestalt und Einzelheiten vorgenommen werden können, ohne den Geist und Umfang der vorliegenden Erfindung, wie sie von den beigefügten Ansprüchen und den Äquivalenten davon definiert ist, zu verlassen. Daher lässt sich der technische Umfang der vorliegenden Erfindung durch den technischen Umfang der beigefügten Ansprüche bestimmen.

Claims

Vorrichtung zum Bestimmen der Fahrspur eines Fahrzeugs durch Verwenden eines künstlichen neuronalen Netzwerks, aufweisend: ein Bildinformationserfassungsmodul zum Beziehen von Fahrbild-Informationen eines Fahrzeugs von mindestens einem Kameramodul, das in dem Fahrzeug eingebaut ist; ein vortrainiertes Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul, das Fahrbild-Informationen als Eingangsinformation einrichtet und Spurvorhersage-Informationen des Fahrzeugs und Zuverlässigkeitsinformationen für die Spurvorhersage-Informationen als Ausgangsinformation einrichtet; ein Ausgangsinformationsverteilung-Berechnungsmodul zum Berechnen einer Datenverteilung der Ausgangsinformationen, um eine erste Datenverteilung zu erzeugen; ein Referenzinformationsverteilung-Berechnungsmodul zum Erfassen von Referenzinformationen über tatsächliche Fahrspurvorhersage-Informationen des Fahrzeugs und Berechnen einer Datenverteilung der Referenzinformationen, um eine zweite Datenverteilung zu erzeugen; und ein Zuverlässigkeitskalibrierungsmodul zum Aktualisieren von Parametern des Künstliches-Neuronales-Netzwerk-Moduls auf Grundlage der zweiten Datenverteilung, sodass ein Unterschied zwischen der ersten Datenverteilung und der zweiten Datenverteilung abnimmt.
Vorrichtung zum Bestimmen der Fahrspur eines Fahrzeugs durch Verwenden eines künstlichen neuronalen Netzwerks nach Anspruch 1, wobei das Zuverlässigkeitskalibrierungsmodul die Parameter des Künstliches-Neuronales-Netzwerk-Moduls durch Verwenden eines Verfahrens zum Dividieren eines Logikvektors durch einen einzelnen skalaren Parameter für alle Klassen des Künstliches-Neuronales-Netzwerk-Moduls aktualisiert.
Vorrichtung zum Bestimmen der Fahrspur eines Fahrzeugs durch Verwenden eines künstlichen neuronalen Netzwerks nach Anspruch 2, wobei das Zuverlässigkeitskalibrierungsmodul durch Verwenden eines Kalibrierungsvalidierungssatzes, der einem Validierungssatz des Künstliches-Neuronales-Netzwerk-Moduls identisch ist, an dem einzelnen skalaren Parameter trainiert.
Vorrichtung zum Bestimmen der Fahrspur eines Fahrzeugs durch Verwenden eines künstlichen neuronalen Netzwerks nach Anspruch 3, wobei das Zuverlässigkeitskalibrierungsmodul derart an dem einzelnen skalaren Parameter trainiert, dass ein negativer Log-Likelihood-Wert (NLL-Wert) in dem Kalibrierungsvalidierungssatz minimiert wird.
Vorrichtung zum Bestimmen der Fahrspur eines Fahrzeugs durch Verwenden eines künstlichen neuronalen Netzwerks nach Anspruch 1, wobei die Spurvorhersage-Informationen Spurinformationen über die Nummer einer momentanen Fahrspur des Fahrzeugs basierend auf einer ersten Spur oder einer letzten Spur einer Straße umfassen, auf der das Fahrzeug fährt.
Vorrichtung zum Bestimmen der Fahrspur eines Fahrzeugs durch Verwenden eines künstlichen neuronalen Netzwerks nach Anspruch 1, wobei das Künstliches-Neuronales-Netzwerk-Modul eine erste Ausgabeschicht und eine zweite Ausgabeschicht aufweist, die erste Ausgabeschicht erste Spurinformationen, welche Informationen über die Nummer der momentanen Fahrspur des Fahrzeugs basierend auf einer ersten Spur einer Straße sind, auf der das Fahrzeug fährt, und einen Zuverlässigkeitswert für die ersten Spurinformationen ausgibt und die zweite Ausgabeschicht zweite Spurinformationen, welche Informationen über die Nummer der momentanen Fahrspur des Fahrzeugs basierend auf einer letzten Spur der Straße sind, auf der das Fahrzeug fährt, und einen Zuverlässigkeitswert für die zweiten Spurinformationen ausgibt.
Vorrichtung zum Bestimmen der Fahrspur eines Fahrzeugs durch Verwenden eines künstlichen neuronalen Netzwerks nach Anspruch 1, wobei die Spurvorhersage-Informationen eine Ausnahmeklasse umfassen, die eine getrennte Klasse ist, und das Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul mit Trainingsdaten trainiert, die für Punkte, bei denen die Spuraufteilung unklar ist, mit der Ausnahmeklasse bezeichnet sind.
Verfahren zum Bestimmen einer Spur unter Verwendung eines vortrainierten Spurvorhersage-Künstliches-Neuronales-Netzwerk-Moduls, das Fahrbild-Informationen als Eingangsinformation einrichtet und Spurvorhersage-Informationen eines Fahrzeugs und Zuverlässigkeitsinformationen für die Spurvorhersage-Informationen als Ausgangsinformation einrichtet, wobei das Verfahren umfasst: einen Bildinformationserfassungsschritt zum Beziehen von Fahrbild-Informationen des Fahrzeugs von mindestens einem Kameramodul, das in dem Fahrzeug eingebaut ist; einen Ausgangsinformationsverteilung-Berechnungsschritt zum Berechnen einer Datenverteilung der Ausgangsinformationen, um eine erste Datenverteilung zu erzeugen; einen Referenzinformationsverteilung-Berechnungsschritt zum Erfassen von Referenzinformationen für tatsächliche Fahrspurvorhersage-Informationen des Fahrzeugs und Berechnen einer Datenverteilung der Referenzinformationen, um eine zweite Datenverteilung zu erzeugen; und einen Schritt zum Aktualisieren von Parametern des Künstliches-Neuronales-Netzwerk-Moduls auf Grundlage der zweiten Datenverteilung, sodass ein Unterschied zwischen der ersten Datenverteilung und der zweiten Datenverteilung abnimmt.
Navigationsvorrichtung, aufweisend: ein Bildinformationserfassungsmodul zum Beziehen von Fahrbild-Informationen eines Fahrzeugs von mindestens einem Kameramodul, das in dem Fahrzeug eingebaut ist; ein vortrainiertes Spurvorhersage-Künstliches-Neuronales-Netzwerk-Modul, das die Fahrbild-Informationen als Eingangsinformation einrichtet und Spurvorhersage-Informationen des Fahrzeugs und Zuverlässigkeitsinformationen für die Spurvorhersage-Informationen als Ausgangsinformation einrichtet; ein Ausgangsinformationsverteilung-Berechnungsmodul zum Berechnen einer Datenverteilung der Ausgangsinformationen, um eine erste Datenverteilung zu erzeugen; ein Referenzinformationsverteilung-Berechnungsmodul zum Erfassen von Referenzinformationen über tatsächliche Fahrspurvorhersage-Informationen des Fahrzeugs und Berechnen einer Datenverteilung der Referenzinformationen, um eine zweite Datenverteilung zu erzeugen; ein Zuverlässigkeitskalibrierungsmodul zum Aktualisieren von Parametern des Künstliches-Neuronales-Netzwerk-Moduls auf Grundlage der zweiten Datenverteilung, sodass ein Unterschied zwischen der ersten Datenverteilung und der zweiten Datenverteilung abnimmt; und ein Anzeigemodul zum externen Anzeigen der Ausgangsinformationen, die von dem Künstliches-Neuronales-Netzwerk-Modul ausgegeben werden, zusammen mit Fahrbildern des Fahrzeugs.