DE102022134876A1

DE102022134876A1 - STRAßENKARTENERSTELLSYSTEM UND VERFAHREN ZUR NUTZUNG

Info

Publication number: DE102022134876A1
Application number: DE102022134876.8A
Authority: DE
Inventors: José Felix Rodrigues
Original assignee: Woven Alpha Inc
Current assignee: Woven by Toyota US Inc
Priority date: 2022-01-12
Filing date: 2022-12-28
Publication date: 2023-07-13
Also published as: US20230221140A1; CN116469066A; JP2023102768A

Abstract

Ein Verfahren zum Erstellen einer First-Person-View-Karte umfasst, ein Bild zu empfangen, auf dem eine Straße von oben zu sehen ist. Das Verfahren umfasst ferner, einen Straßengraph basierend auf dem empfangenen Bild zu erstellen, wobei der Straßengraph eine Mehrzahl von Straßensegmenten aufweist. Das Verfahren umfasst ferner, das empfangene Bild unter Verwendung des Straßengraphen zu konvertieren, um ein First-Person-View-Bild für jedes Straßensegment der Mehrzahl von Straßensegmenten zu erstellen. Das Verfahren umfasst ferner, die Mehrzahl von Straßensegmenten zu kombinieren, um die First-Person-View-Karte zu definieren.

Description

Hintergrund
Fahrzeugnavigation, ob bei autonomen Fahren oder Navigationsanwendungen, verwendet Straßenkarten, um Wege für Fahrzeuge zum Befahren zu bestimmen. Navigationssysteme stützen sich auf die Straßenkarten, um Wege für Fahrzeuge zu bestimmen, auf denen sich diese von einem aktuellen Standort zu einem Ziel bewegen.
Straßenkarten umfassen Spuren entlang Straßen sowie Kreuzungen zwischen Spuren. In einigen Fällen sind Straßen als einzelne Linien angegeben, ohne Information dazu, wie viele Spuren sich auf der Straße befinden, oder zu einer Fahrtrichtung, die auf diesen Straßen erlaubt ist. Ferner sind Kreuzungen in einigen Fällen als Knotenpunkt von zwei oder mehr Linien ohne Informationen dazu angegeben, wie vielen Fahrzeugen es erlaubt ist, die Kreuzung zu überqueren.
Figurenliste
Aspekte der vorliegenden Erfindung sind am Besten anhand der nachfolgenden, detaillierten Beschreibung zu verstehen, wenn diese in Zusammenhang mit den beigefügten Figuren gelesen wird. Es ist zu beachten, dass entsprechend der Standardherangehensweise in der Branche verschiedene Merkmale nicht maßstabsgetreu gezeichnet sind. Die Abmessungen der verschiedenen Merkmale können zum Zwecke der Klarheit der Erläuterung sogar willkürlich vergrößert oder reduziert sein.

1 ist ein Schema eines Straßenkartenerstellsystems gemäß einigen Ausführungsformen.
2 ist ein Flussdiagramm eines Verfahrens zum Erstellen einer Straßenkarte gemäß einigen Ausführungsformen.
3 ist ein Flussdiagramm eines Verfahrens zum Erstellen einer Straßenkarte gemäß einigen Ausführungsformen.
4A ist ein Bild aus der Vogelperspektive gemäß einigen Ausführungsformen.
4B ist eine Draufsicht auf Straßen gemäß einigen Ausführungsformen.
5 ist eine Ansicht einer Navigationssystem-Nutzerschnittstelle gemäß einigen Ausführungsformen.
6A ist eine Ansicht von oben auf eine Straße gemäß einigen Ausführungsformen.
6B ist eine Ich-Perspektive bzw. First-Person View einer Straße gemäß einigen Ausführungsformen.
7 ist ein Bild aus der Vogelperspektive einer Straße umfassend identifizierten Markierungen gemäß einigen Ausführungsformen.
8A bis 8C sind Draufsichten auf eine Straße zu verschiedenen Phasen der Spuridentifizierung gemäß einigen Ausführungsformen.
9A bis 9C sind Draufsichten auf eine Straße zu verschiedenen Phasen der Spuridentifizierung gemäß einigen Ausführungsformen.
10 ist ein Schema eines Systems zum Erstellen einer Straßenkarte gemäß einigen Ausführungsformen.

Detaillierte Beschreibung
Die nachfolgende Anmeldung bietet viele verschiedene Ausführungsformen oder Beispiele, um unterschiedliche Merkmale des gegebenen Gegenstands zu implementieren. Konkrete Beispiele für Komponenten, Werte, Vorgänge, Materialien, Anordnungen oder dergleichen sind nachfolgend beschrieben, um die vorliegende Erfindung zu vereinfachen. Diese sind natürlich lediglich Beispiele und sollen nicht beschränkend sein. Andere Komponenten, Werte, Vorgänge, Materialien, Anordnungen oder dergleichen werden in Erwägung gezogen. Zum Beispiel kann die Bildung eines ersten Merkmals über oder auf einem zweiten Merkmal in der nachfolgenden Beschreibung Ausführungsformen umfassen, in denen das erste und das zweite Merkmal in direkter Berührung ausgebildet sind, und kann auch Ausführungsformen umfassen, bei denen zusätzliche Merkmale zwischen dem ersten und dem zweiten Merkmal ausgebildet sein können, sodass das erste und das zweite Merkmal einander möglicherweise nicht direkt berühren. Zudem kann die vorliegende Anmeldung Bezugszeichen und/oder Buchstaben in den verschiedenen Beispielen wiederholen. Diese Wiederholung dient dem Zweck der Einfachheit und Deutlichkeit und gibt nicht an sich eine Beziehung zwischen den verschiedenen Ausführungsformen und/oder Konfigurationen, die erläutert werden, vor.
Ferner können räumlich relative Begriffe, wie beispielsweise „unter“, „unterhalb“, „untere“, „über“, „obere“ und dergleichen hierin zur Vereinfachung der Beschreibung verwendet werden, um die Beziehung von einem Element oder Merkmal zu einem anderen Element beziehungsweise Elementen oder Merkmal beziehungsweise Merkmalen zu beschreiben, wie sie in den Figuren dargestellt sind. Die Begriffe zu räumlichen Beziehungen sollen auch andere Ausrichtungen der Vorrichtung im Gebrauch oder Betrieb neben der in den Figuren gezeigten Ausrichtung umfassen. Die Einrichtung kann anders ausgerichtet sein (um 90° gedreht oder andere Ausrichtungen) und die raumbezogenen Deskriptoren, die hierin verwendet werden, können ebenfalls entsprechend interpretiert werden.
Diese Beschreibung betrifft eine Erstellung von Straßenkarten. Bei einigen Ausführungsformen wird Information aus Satellitenaufnahmen extrahiert und analysiert, um Lageorte von Straßen zu bestimmen. Bei empfangenen Satellitenaufnahmen wird eine semantische Segmentierung mit Deep Learning (DL) durchgeführt, um jedes Pixel in dem Satellitenbild basierend auf einem Algorithmus zu klassifizieren. Das klassifizierte Bild wird dann einer Vorverarbeitung und Rauschentfernung unterzogen. Die Rauschentfernung umfasst eine Maskenzuschneidung. Das vorverarbeitete Bild wird dann einer Knotenerfassung unterzogen, um eine „Skelett“-Karte zu identifizieren. Eine Skelettkarte ist eine Karte, die Straßenlageorte ohne Informationen bezüglich Spuren, erlaubten Fahrtrichtungen oder anderen Fahrvorschriften, die mit der Straße assoziiert sind, umfasst. Die Skelettkarte wird einer Verarbeitung unterzogen und das Ergebnis ist verwendbar, um eine genaue Straßenkarte zu erzeugen.
Eine inverse Vogelperspektivtransformation wird bei dem Satellitenbild angewendet, um eine Ich-Perspektive bzw. First-Person View einer Straße zu erstellen. Das Satellitenbild und ein Straßengraph werden kombiniert, um eine Ich-Perspektive der Straße zu erstellen. In einigen Fällen wird der Straßengraph unter Verwendung einer Farbanalyse, Objekterfassung oder einer statistischen Analyse erstellt. Der Straßengraph umfasst mehrere Segmente, um den Lageort der Straße, Objekte entlang der Straße und/oder eine Art einer Straße (Straße vs. Kreuzung) zu bestimmen. Das resultierende Bild aus der Ich-Perspektive bzw. First-Person-View-Bild ist verwendbar, um Spuren auf der Straße zu bestimmen.
Bei einigen Fällen ist die Karte aus der Ich-Perspektive bzw. First-Person-View-Karte für autonomes Fahren verwendbar. Indem die Karte aus der Ich-Perspektive mit Bildern, die durch eine On-Board-Kamera erfasst wurden, verglichen wird, ist das System in der Lage, den aktuellen Standort des Fahrzeugs zu bestimmen, und zu bestimmen, welche Objekte oder Straßen das Fahrzeug antreffen wird, während es die Straße entlang fährt.
1 ist ein Schema eines Straßenkartenerstellsystems 100 gemäß einigen Ausführungsformen. Das Straßenkartenerstellsystem 100 ist eingerichtet, Eingabeinformation zu empfangen und Straßenkarten zur Verwendung durch Datennutzer 190 zu erstellen, wie beispielsweise Fahrzeugführer und/oder Tool-Anwender 195, wie beispielsweise Anwendungs-(App-)Designer. Das Straßenkartenerstellsystem 100 verwendet Daten der realen Welt, wie beispielsweise Information, die von Fahrzeugen aufgenommen wurden, die auf den Straßen fahren, und Bilder von Satelliten oder anderen Luftobjekten, um die Straßenkarte zu erstellen. Dies trägt dazu bei, die Genauigkeit der Straßenkarte im Vergleich zu einigen Ansätzen zu erhöhen, die sich auf historische Daten stützen.
Das Straßenkartenerstellsystem 100 ist eingerichtet, räumliche Aufnahmen 110 und Messdaten 120 zu empfangen. Die räumlichen Aufnahmen 110 umfassen Bilder, wie beispielsweise Satellitenbilder, Luftbilder, Drohnenbilder oder andere ähnliche Bilder, die derart aufgenommen werden, dass Straßen von oben zu sehen sind. Die Messdaten 120 umfassen Fahrzeugsensordaten, wie beispielsweise Kameras, Sensoren für Light Detection And Ranging (LIDAR), Sensoren für Radio Detection And Ranging (RADAR), Sensoren für Sonic Navigation And Ranging (SONAR) oder andere Sensorarten.
Das Straßenkartenerstellsystem 100 umfasst eine Verarbeitungseinheit 130, die eingerichtet ist, Pipelines zu erstellen und Merkmale basierend auf den räumlichen Aufnahmen 110 und den Messdaten 120 zu identifizieren. Das Straßenkartenerstellsystem 100 ist eingerichtet, räumliche Aufnahmen 110 und Messdaten 120 unter Verwendung einer Pipeline-Erstelleinheit 132 zu verarbeiten. Die Pipeline-Erstelleinheit 132 ist eingerichtet, Lageorte von Straßen und Wegen basierend auf der empfangenen Information zu bestimmen. Eine Pipeline gibt Lageorte von Straßen an. In einigen Fällen wird eine Pipeline auch als Skelettstraßenkarte bezeichnet. Die Pipeline-Erstelleinheit 132 umfasst eine Raumkarten-Pipeline-Einheit 134, die eingerichtet ist, die räumlichen Aufnahmen 110 zu verarbeiten. Die Pipeline-Erstelleinheit 132 umfasst ferner eine Messdatenkarten-Pipeline-Einheit 136, die eingerichtet ist, die Messdaten 120 zu verarbeiten. Die Raumkarten-Pipeline-Einheit 134 bestimmt Lageorte von Straßen basierend auf den räumlichen Aufnahmen 110, während die Messdatenkarten-Pipeline-Einheit 136 Lageorte von Straßen basierend auf den Messdaten 120 unabhängig von der Raumkarten-Pipeline-Einheit 134 bestimmt. Indem Lageorte von Straßen unabhängig bestimmt werden, ist die Pipeline-Erstelleinheit 132 in der Lage, Bestimmungen zu bestätigen, die durch jede der Untereinheiten durchgeführt werden, d. h. die Raumkarten-Pipeline-Einheit 134 und die Messdatenkarten-Pipeline-Einheit 136. Diese Bestätigung trägt dazu bei, eine Präzision und Genauigkeit des Straßenkartenerstellsystems 100 im Vergleich zu anderen Ansätzen zu verbessern. Die Pipeline-Erstelleinheit 132 umfasst ferner eine Kartenvalidierungs-Pipeline-Einheit 138, die eingerichtet ist, die Pipelines zu vergleichen, die durch die Raumkarten-Pipeline-Einheit 134 und die Messdatenkarten-Pipeline-Einheit 136 erstellt wurden. Ansprechend auf eine Bestimmung durch die Kartenvalidierungs-Pipeline-Einheit 138, dass ein Lageort einer Straße, die durch sowohl die Raumkarten-Pipeline-Einheit 134 als auch die Messdatenkarten-Pipeline-Einheit 136 identifiziert wurde, innerhalb einer vorbestimmten Schwellenwertabweichung liegt, bestätigt die Kartenvalidierungs-Pipeline-Einheit 138, dass der Lageort der Straße richtig ist. Bei einigen Ausführungsformen wird die vorbestimmte Schwellenwertabweichung durch einen Nutzer eingestellt. Bei einigen Ausführungsformen wird die vorbestimmte Schwellenwertabweichung basierend auf einer Auflösung der räumlichen Aufnahmen 110 und/oder den Messdaten 120 bestimmt. Ansprechend auf eine Bestimmung durch die Kartenvalidierungs-Pipeline-Einheit 138 einer Differenz, die größer ist als die vorbestimmte Schwellenwertabweichung zwischen der Raumkarten-Pipeline-Einheit 134 und der Messdatenkarten-Pipeline-Einheit 136, wie beispielsweise, wenn eine Straße nicht erfasst wird, oder wenn sich ein Lageort einer Straße zwischen den zwei Einheiten unterscheidet, bestimmt die Kartenvalidierungs-Pipeline-Einheit 138 bei einigen Ausführungsformen eine Pipeline, die basierend auf Daten der räumlichen Aufnahmen 110 oder Messdaten 120 entwickelt wurde, welche vor kürzerer Zeit gesammelt wurden, um zu bestimmen, welche Pipeline als genau erachtet wird. Das heißt, falls die Messdaten 120 vor kürzerer Zeit gesammelt wurden als die räumlichen Aufnahmen 110, wird die Pipeline als richtig erachtet, die durch die Messdatenkarten-Pipeline-Einheit 136 erstellt wurde. Ansprechend auf eine Bestimmung durch die Kartenvalidierungs-Pipeline-Einheit 138 einer Differenz, die größer ist als die vorbestimmte Schwellenwertabweichung zwischen der Raumkarten-Pipeline-Einheit 134 und der Messdatenkarten-Pipeline-Einheit 136, wie beispielsweise, wenn eine Straße nicht erfasst wird, oder wenn sich ein Lageort einer Straße zwischen den zwei Einheiten unterscheidet, bestimmt die Kartenvalidierungs-Pipeline-Einheit 138 bei einigen Ausführungsformen, dass keine Pipeline richtig ist. Ansprechend auf eine Bestimmung durch die Kartenvalidierungs-Pipeline-Einheit 138 einer Differenz, die größer ist als die vorbestimmte Schwellenwertabweichung zwischen der Raumkarten-Pipeline-Einheit 134 und der Messdatenkarten-Pipeline-Einheit 136, wie beispielsweise, wenn eine Straße nicht erfasst wird, oder wenn sich ein Lageort einer Straße zwischen den zwei Einheiten unterscheidet, fordert die Kartenvalidierungs-Pipeline-Einheit 138 bei einigen Ausführungsformen eine Validierung von dem Nutzer an. Bei einigen Ausführungsformen fordert die Kartenvalidierungs-Pipeline-Einheit 138 eine Validierung von dem Nutzer an, indem sie eine Benachrichtigung, wie beispielsweise eine drahtlose Benachrichtigung, an eine externe Vorrichtung, wie beispielsweise eine Nutzerschnittstelle (UI) für eine mobile Vorrichtung sendet, welche durch den Nutzer verwendbar ist. Bei einigen Ausführungsformen umfasst die Benachrichtigung eine Audio- oder eine visuelle Warnung, die eingerichtet ist, automatisch dem Nutzer angezeigt zu werden, z. B. unter Verwendung der UI für eine mobile Vorrichtung. Ansprechend auf eine Eingabe, die von dem Nutzer empfangen wird, bestimmt die Kartenvalidierungs-Pipeline-Einheit 138, dass die durch den Nutzer ausgewählte Pipeline richtig ist.
Das Straßenkartenerstellsystem 100 umfasst ferner eine Objekterfassungseinheit 140 für räumliche Aufnahmen, die eingerichtet ist, Objekte und Merkmale in den räumlichen Aufnahmen 110 und der Pipeline, die unter Verwendung der Raumkarten-Pipeline-Einheit 134 erstellt wurde, zu erfassen. Die Objekterfassungseinheit 140 für räumliche Aufnahmen ist eingerichtet, eine Objekterfassung bei der Pipeline und den räumlichen Aufnahmen 110 durchzuführen, um Merkmale zu identifizieren, wie beispielsweise Kreuzungen, Straßenbegrenzungen, Spurlinien, Gebäude oder andere geeignete Merkmale. Bei einigen Ausführungsformen umfassen die Merkmale zweidimensionale (2D) Merkmale 142. Die Objekterfassungseinheit 140 für räumliche Aufnahmen ist eingerichtet, 2D-Merkmale 142 zu identifizieren, da die räumlichen Aufnahmen 110 bei einigen Ausführungsformen nicht Entfernungsmessdaten umfassen. Bei einigen Ausführungsformen wird Information von der Kartenvalidierungs-Pipeline-Einheit 138 empfangen, um zu bestimmen, welche Merkmale basierend auf sowohl den räumlichen Aufnahmen 110 als auch den Messdaten 120 identifiziert wurden. Die Merkmale, die basierend auf sowohl den räumlichen Aufnahmen 110 als auch den Messdaten 120 identifiziert wurden, werden gemeinsame Merkmale 144 genannt, da diese Merkmale in beiden Datensätzen vorhanden sind. Bei einigen Ausführungsformen ist die Objekterfassungseinheit 140 für räumliche Aufnahmen eingerichtet, jeder Pipeline und jedem Merkmal, welche basierend auf den räumlichen Aufnahmen 110 identifiziert werden, eine Identifikationsnummer zuzuordnen.
Das Straßenkartenerstellsystem 100 umfasst ferner eine Messdatenobjekterfassungseinheit 150, die eingerichtet ist, Objekte und Merkmale der Messdaten 120 und der Pipeline zu erfassen, welche unter Verwendung der Messdatenkarten-Pipeline-Einheit 136 erstellt werden. Die Messdatenobjekterfassungseinheit 150 für räumliche Aufnahmen ist eingerichtet, eine Objekterfassung bei der Pipeline und den Messdaten 120 durchzuführen, um Merkmale zu identifizieren, wie beispielsweise Kreuzungen, Straßenbegrenzungen, Spurlinien, Gebäude oder andere geeignete Merkmale. Bei einigen Ausführungsformen umfassen die Merkmale dreidimensionale (3D-) Merkmale 152. Die Messdatenobjekterfassungseinheit 150 ist eingerichtet, 3D-Merkmale 152 zu identifizieren, da die Messdaten 120 bei einigen Ausführungsformen Entfernungsmessdaten umfassen. Bei einigen Ausführungsformen wird Information von der Kartenvalidierungs-Pipeline-Einheit 138 empfangen, um zu bestimmen, welche Merkmale basierend auf sowohl den räumlichen Aufnahmen 110 als auch den Messdaten 120 identifiziert wurden. Die Merkmale, die basierend auf sowohl den räumlichen Aufnahmen 110 als auch den Messdaten 120 identifiziert wurden, werden gemeinsame Merkmale 154 genannt, da diese Merkmale in beiden Datensätzen vorhanden sind. Bei einigen Ausführungsformen ist die Messdatenobjekterfassungseinheit 150 eingerichtet, jeder Pipeline und jedem Merkmal, welche basierend auf den Messdaten 120 identifiziert werden, eine Identifikationsnummer zuzuordnen.
Das Straßenkartenerstellsystem 100 umfasst ferner eine Kombinationskarten-Pipeline-Einheit 160, die eingerichtet ist, die gemeinsamen Merkmale 144 und 154 zusammen mit Pipelines von der Pipeline-Erstelleinheit 132 zu kombinieren. Die Kombinationskarten-Pipeline-Einheit 160 ist eingerichtet, eine Straßenkarte auszugeben, die sowohl Pipelines als auch gemeinsame Merkmale umfasst.
Das Straßenkartenerstellsystem 100 umfasst ferner eine Dienstanwendungs-Programmierschnittstelle (API) 165. Die Service-API 165 ist verwendbar, um es zu ermöglichen, dass die Information, die durch die Pipeline-Erstelleinheit 132 und die Kombinationskarten-Pipeline-Einheit 160 erstellt wird, an externe Vorrichtungen ausgegeben wird. Die Service-API 165 ist in der Lage, die Daten agnostisch gegenüber der Programmiersprache der externen Vorrichtung zu machen. Dies trägt dazu bei, dass die Daten im Vergleich zu anderen Ansätzen durch eine breitere Bandbreite an externen Vorrichtungen genutzt werden können.
Das Straßenkartenerstellsystem 100 umfasst ferner eine externe Vorrichtung 170. Bei einigen Ausführungsformen umfasst die externe Vorrichtung 170 einen Server, der eingerichtet ist, Daten von der Verarbeitungseinheit 130 zu empfangen. Bei einigen Ausführungsformen umfasst die externe Vorrichtung 170 eine mobile Vorrichtung, die durch den Nutzer verwendbar ist. Bei einigen Ausführungsformen umfasst die externe Vorrichtung 170 mehrere Vorrichtungen, wie beispielsweise einen Server und eine mobile Vorrichtung. Die Verarbeitungseinheit 130 ist eingerichtet, die Daten drahtlos oder über eine verdrahtete Verbindung an die externe Vorrichtung zu senden.
Die externe Vorrichtung 170 umfasst eine Speichereinheit 172. Die Speichereinheit 172 ist eingerichtet, Information von der Verarbeitungseinheit 130 zu speichern, sodass sie durch die Datennutzer 190 und/oder die Tool-Anwender 195 zugänglich sind. Bei einigen Ausführungsformen umfasst die Speichereinheit 172 Direktzugriffsspeicher (RAM), wie beispielsweise dynamischen RAM (DRAM), Flash-Speicher oder einen anderen geeigneten Speicher. Die Speichereinheit 170 ist eingerichtet, die 2D-Merkmale 142 von der Objekterfassungseinheit 140 für räumliche Aufnahmen zu empfangen. Die 2D-Merkmale sind als 2D-Merkmalsparameter 174 gespeichert. Der Datensatz 172 ist ferner eingerichtet, die gemeinsamen Merkmale von der Kombinationskarten-Pipeline-Einheit 160 zu empfangen. Die gemeinsamen Merkmale sind als Parameter 176 gemeinsamer Merkmale gespeichert. Bei einigen Ausführungsformen umfasst der Parameter 176 gemeinsamer Merkmale Pipelines sowie gemeinsame Merkmale. Die Speichereinheit 170 ist eingerichtet, 3D-Merkmale von der Messdatenobjekterfassungseinheit 150 zu empfangen. Die 3D-Merkmale sind als 3D-Merkmalsparameter 178 gespeichert.
Die externe Vorrichtung 170 umfasst ferner einen Tool-Satz 180, der Daten und Datenbearbeitungs-Tools umfasst, die verwendbar sind, um Apps zu erstellen, die Information, die Pipelines oder identifizierte Merkmale betreffen, umfassen oder sich darauf stützen. Bei einigen Ausführungsformen wird der Tool-Satz 180 ausgelassen. Den Tool-Satz 180 auszulassen reduziert eine Speicherplatzmenge und Verarbeitungsfähigkeit für die externe Vorrichtung 170. Allerdings reduziert ein Auslassen des Tool-Satzes 180 eine Funktionalität der externen Vorrichtung 170 und die Tool-Anwender 195 haben bei der Erstellung von Apps einen höheren Aufwand. Bei einigen Ausführungsformen sind die Apps in der Lage, in einem Fahrzeug installiert zu werden. Bei einigen Ausführungsformen betreffen die Apps autonomes Fahren oder Navigationssysteme.
Bei einigen Ausführungsformen sind die Datennutzer 190 und die Tool-Anwender 195 gleich. Bei einigen Ausführungsformen nutzen die Datennutzer 190 die Daten von der externen Vorrichtung 170, um Straßenkarten zu betrachten. Bei einigen Ausführungsformen sind die Datennutzer 190 in der Lage, in der externen Vorrichtung 170 Feedback oder Kommentare bezüglich der Daten zu geben.
2A ist ein Flussdiagramm eines Verfahrens 200 zum Erstellen einer Straßenkarte gemäß einigen Ausführungsformen. Bei einigen Ausführungsformen wird das Verfahren 200 unter Verwendung des Straßenkartenerstellsystems 100 implementiert (1). Bei einigen Ausführungsformen wird das Verfahren 200 unter Verwendung eines anderen Systems implementiert. Das Verfahren 200 ist eingerichtet, Shape-Dateien zu erzeugen, die zum Implementieren von Navigationssystemen oder Systemen für autonomes Fahren verwendbar sind. Das Verfahren 200 ist ferner eingerichtet, Videodaten zu erstellen, z. B. im Thin-Client-Media(TMI)-Format, zur Verwendung in Navigationssystemen oder Systemen für autonomes Fahren, um eine Bewegung entlang Straßen auf einer Straßenkarte anzugeben.
Das Verfahren 200 umfasst einen Vorgang 202, bei dem Aufnahmen empfangen werden. Bei einigen Ausführungsformen umfassen die Aufnahmen Satellitenaufnahmen, Luftaufnahmen, Drohnenaufnahmen oder andere geeignete Aufnahmen. Bei einigen Ausführungsformen umfassen die Aufnahmen räumliche Aufnahmen 110 (1). Bei einigen Ausführungsformen werden die Aufnahmen von einer externen Quelle empfangen. Bei einigen Ausführungsformen werden die Aufnahmen drahtlos empfangen. Bei einigen Ausführungsformen werden die Aufnahmen über eine verdrahtete Verbindung empfangen.
Das Verfahren 200 umfasst ferner einen Vorgang 204, in dem die Aufnahmen durch eine Kacheleinrichtung einer Kachelerstellung unterzogen werden. In Vorgang 204 wird das Bild in Gruppen an Pixeln aufgeteilt, die als Kacheln bezeichnet werden. Bei einigen Ausführungsformen wird die Größe jeder Kachel durch den Nutzer bestimmt. Bei einigen Ausführungsformen wird die Größe jeder Kachel basierend auf einer Auflösung der empfangenen Aufnahmen bestimmt. Bei einigen Ausführungsformen wird die Größe jeder Kachel basierend auf einer Größe der empfangenen Aufnahmen bestimmt. Bei einigen Ausführungsformen beträgt eine Größe eines Satellitenbildes etwa 1 Gigabyte (GB). Eine Kachelerstellung bei dem Bild trägt dazu bei, das Bild in verwendbare Teile für eine Weiterverarbeitung aufzuteilen. Mit geringer werdender Größe jeder Kachel wird eine spätere Verarbeitung der in Kacheln aufgeteilten Aufnahmen präziser, weist aber eine höhere Verarbeitungslast auf.
Das Verfahren 200 umfasst ferner einen Vorgang 206, in dem die Kacheln der Aufnahmen z. B. in einer Speichereinheit gespeichert werden. Bei einigen Ausführungsformen umfasst die Speichereinheit DRAM, Flash-Speicher oder einen anderen geeigneten Speicher. Die Kacheln der Aufnahmen werden entlang zwei Parallelverarbeitungstracks verarbeitet, um eine Raumkarte zu entwickeln, die Merkmale und Lageorte von Merkmalen in den empfangenen Aufnahmen angibt. 2B ist ein Beispiel eines in Kacheln auf geteilten Bildes gemäß einigen Ausführungsformen. Bei einigen Ausführungsformen wird das Bild in 2B durch Vorgang 206 erstellt. Das in Kacheln aufgeteilte Bild ist ausreichend klein, dass eine effiziente Verarbeitung der Information in dem in Kacheln aufgeteilten Bild ermöglicht wird.
Das Verfahren umfasst ferner Vorgang 208, in dem die in Kacheln aufgeteilten Aufnahmen segmentiert werden. Eine Segmentierung der in Kacheln aufgeteilten Aufnahmen umfasst, das Bild basierend auf identifizierten Begrenzungen aufzuteilen. Bei einigen Ausführungsformen wird die Segmentierung durch einen Deep-Learning(DL)-Segmentierungsprozess durchgeführt, der ein trainiertes neuronales Netz (NN) verwendet, um Begrenzungen innerhalb der in Kacheln aufgeteilten Aufnahmen zu identifizieren. 2C ist ein Beispiel einer Ausgabe einer Segmentierung eines in Kacheln aufgeteilten Bildes gemäß einigen Ausführungsformen. Bei einigen Ausführungsformen wird das Bild von 2C durch Vorgang 208 erstellt. Die Segmentierungen umfassen Lageorte für Straßen, ohne zusätzliche Information zu umfassen, wie beispielsweise Spurlinien oder Gebäude.
Das Verfahren umfasst ferner Vorgang 210, in dem Objekte auf der Straße erfasst werden. Bei einigen Ausführungsformen umfassen die Objekte Spurlinien, Mittelstreifen, Fußgängerüberwege, Haltelinien oder andere geeignete Objekte. Bei einigen Ausführungsformen wird die Objekterfassung unter Verwendung eines trainierten NN durchgeführt. Bei einigen Ausführungsformen ist das trainierte NN ein trainiertes NN, welches das gleiche ist, wie jenes, das in Vorgang 208 verwendet wird. Bei einigen Ausführungsformen unterscheidet sich das trainierte NN von dem trainierten NN, das in Vorgang 210 verwendet wird. 2D ist ein Beispiel eines in Kacheln aufgeteilten Bildes, das Objekterfassungsinformation umfasst, gemäß einigen Ausführungsformen. Bei einigen Ausführungsformen wird das Bild von 2D durch Vorgang 210 erstellt. Das Bild, das Objekterfassungsinformation umfasst, umfasst ein Hervorheben von Objekten, wie beispielsweise Spurlinien, und Objektidentifizierungsinformation in dem Bild.
Das Verfahren umfasst ferner Vorgang 212, in dem eine Straßenmaske in der Speichereinheit gespeichert wird. Die Straßenmaske ist der Pipeline ähnlich, die bezüglich des Straßenkartenerstellsystems 100 erläutert wurde (1). Bei einigen Ausführungsformen wird die Straßenmaske als Skelettstraßenmaske bezeichnet. Die Straßenmaske gibt einen Lageort und Wege von Straßen innerhalb der Aufnahmen an.
Das Verfahren umfasst ferner Vorgang 214, in dem Spurmarkierungen in der Speichereinheit gespeichert werden. Während sich Vorgang 214 auf Spurmarkierungen bezieht, wird ein Fachmann erkennen, dass es auch möglich ist, andere Objekte in der Speichereinheit basierend auf der Ausgabe von Vorgang 210 zu speichern. Zum Beispiel werden bei einigen Ausführungsformen auch Lageorte von Fußgängerüberwegen, Haltelinien oder anderen geeigneten erfassten Objekten in der Speichereinheit gespeichert.
Das Verfahren umfasst ferner Vorgang 216, in dem ein Spurnetz erstellt wird. Der Vorgang 216 umfasst mehrere Vorgänge, die unten beschrieben sind. Das Spurnetz umfasst eine Positionsbestimmung von Spuren entlang Straßen innerhalb der Straßenkarte. Das Spurnetz wird derart erstellt, dass es eine Beschreibung aufweist, die agnostisch für eine Programmiersprache von Apps oder Systemen ist, welche das erstellte Spurnetz nutzen werden, um ein Navigationssystem, ein System für autonomes Fahren oder eine andere geeignete App zu implementieren.
Das Verfahren umfasst ferner Vorgang 218, in dem ein Straßengraph erstellt wird. Der Straßengraph umfasst nicht nur Straßenlageorte und Wege sondern auch Vektoren für Fahrtrichtungen entlang den Straßen und Begrenzungen für die Straßen. Bei einigen Ausführungsformen werden die Begrenzungen für die Straßen unter Verwendung von Objekterkennung bestimmt, um Begrenzungen für Straßen zu bestimmen. Objekte zum Bestimmen von Begrenzungen von Straßen umfassen Elemente, wie beispielsweise Gehwege, Volllinien in der Nähe eines Randgebiets der Straße, Lageorte von Gebäuden oder andere geeignete Objekte. Bei einigen Ausführungsformen wird die Laufrichtung entlang den Straßen basierend auf einer Ausrichtung von Fahrzeugen auf der Straße in den in Kacheln aufgeteilten Aufnahmen bestimmt. Bei einigen Ausführungsformen ist zum Beispiel ein trainiertes NN verwendbar, um Fahrzeuge in den in Kacheln aufgeteilten Aufnahmen zu identifizieren, und es wird angenommen, dass eine Vorderseite des Fahrzeugs in einer Fahrtrichtung entlang der Straße ausgerichtet ist.
Das Verfahren umfasst ferner einen Vorgang 220, in dem ein Bild des Straßengraphen umfassend Straßenbegrenzungen in der Speichereinheit gespeichert wird. Bei einigen Ausführungsformen umfassen die Straßenbegrenzungen eine Linie in einer Farbe, die sich von einer Farbe unterscheidet, die eine Anwesenheit der Straße angibt. Bei einigen Ausführungsformen umfasst das Bild des Straßengraphen ferner Vektoren, die eine Fahrtrichtung entlang der Straße angeben.
Das Verfahren umfasst ferner Vorgang 222, in dem das Bild des Straßengraphen in eine Textdarstellung konvertiert wird. Während 2A JSON als Beispiel einer Textdarstellung des Straßengraphenbildes umfasst, wird ein Fachmann erkennen, dass andere Programmiersprachen mit Verfahren 200 verwendbar sind. Solange die Textdarstellung agnostisch ist oder es möglich ist, sie zur Verwendung in anderen Apps agnostisch zu machen, ist diese Beschreibung nicht auf ein bestimmtes Format für die Textdarstellung beschränkt.
Das Verfahren umfasst ferner Vorgang 224, in dem eine Spurinterpolation basierend auf den gespeicherten Spurmarkierungen durchgeführt wird. Die Spurinterpolation erstreckt die Spurmarkierung auf Abschnitte der Straße, wo Spurmarkierungen in Vorgang 210 nicht erfasst wurden. Wo zum Beispiel ein Gebäude oder ein Fahrzeug in den empfangenen Aufnahmen eine Spurmarkierung blockiert, wird die Spurinterpolation die Spurmarkierungen an der erwarteten Stelle einfügen. Bei einigen Ausführungsformen wird die Spurinterpolation verwendet, um Fahrtrichtungen durch Kreuzungen der Straße zu prädizieren. Bei einigen Ausführungsformen werden Spurmarkierungen nicht in der Kreuzung gezeigt, allerdings sind Metadaten, die einen erwarteten Fahrtweg angeben, in den Daten eingebettet, die durch den Spurinterpolator erstellt werden.
Das Verfahren umfasst ferner einen Vorgang 226, in dem ein Bild der Spurbegrenzungen umfassend Spurmarkierungen in der Speichereinheit gespeichert werden. Bei einigen Ausführungsformen umfassen die Spurbegrenzungen eine Linie in einer Farbe, die sich von einer Farbe unterscheidet, die eine Anwesenheit der Straße angibt.
Das Verfahren umfasst ferner Vorgang 228, in dem das Bild der Spurbegrenzungen in eine Textdarstellung konvertiert wird. Während 2A JSON als Beispiel einer Textdarstellung des Spurbegrenzungsbildes umfasst, wird ein Fachmann erkennen, dass andere Programmiersprachen mit Verfahren 200 verwendbar sind. Solange die Textdarstellung agnostisch ist oder es möglich ist, sie zur Verwendung in anderen Apps agnostisch zu machen, ist diese Beschreibung nicht auf ein bestimmtes Format für die Textdarstellung beschränkt. Bei einigen Ausführungsformen ist ein Format der Textdarstellung in Vorgang 228 im gleichen Format wie in Vorgang 222. Bei einigen Ausführungsformen unterscheidet sich ein Format der Textdarstellung in Vorgang 228 von dem Format in Vorgang 222.
Das Verfahren umfasst ferner Vorgang 230, in dem die Textdarstellungen, die in Vorgang 222 und Vorgang 228 erstellt wurden, kombiniert werden, um eine Raumkarte zu definieren. Bei einigen Ausführungsformen erlaubt es das Format der Textdarstellungen des Vorgangs 222 und des Vorgangs 228, die Information zu kombinieren, ohne ein Format der Ausgabe eines der Vorgänge zu konvertieren. Bei einigen Ausführungsformen wird mindestens ein Teil der Textdarstellung der Ausgabe von Vorgang 222 oder Vorgang 228 konvertiert, um ihn in der Raumkarte zu umfassen. Während 2A JSON als Beispiel einer Textdarstellung der Raumkarte umfasst, wird ein Fachmann erkennen, dass andere Programmiersprachen mit Verfahren 200 verwendbar sind. 2E ist ein Beispiel einer visuellen Darstellung einer Raumkarte. Bei einigen Ausführungsformen ist die Textdarstellung, die in Vorgang 230 erstellt wird, eine Textdarstellung der Information in 2E. Die Information in 2E umfasst Spurbegrenzungen, Spurlinien und andere Informationen bezüglich des Straßennetzes.
Das Verfahren umfasst einen Vorgang 234, in dem die Raumkarte verwendet wird, um Shapefiles bzw. Shape-Dateien zu entwickeln. Bei einigen Ausführungsformen werden die Shape-Dateien unter Verwendung eines Programms erstellt, wie beispielsweise Shape 2.0™. Eine Shape-Datei umfasst Vektordaten, wie beispielsweise Punkte, Linien oder Polygone, die sich auf ein Fahren entlang Straßen beziehen. Jede Shape-Datei umfasst eine einzelne Shape. Die Shape-Dateien weisen mehrere Schichten auf, um Vektoren für ein Fahren entlang einem Netz an Straßen zu bestimmen. Die Shape-Dateien sind in einer App verwendbar, wie beispielsweise Navigationssystemen und für autonomes Fahren, um Fahrtrichtungen für Fahrzeuge zu identifizieren. 2F ist ein Beispiel einer visuellen Darstellung von Shape-Dateien mit Schichtstruktur. Bei einigen Ausführungsformen werden die Shape-Dateien, die verwendet werden, um die Shape-Dateien mit Schichtstruktur in 2F zu erstellen, in Vorgang 234 erstellt. Die Shape-Dateien mit Schichtstruktur umfassen Informationen bezüglich zugelassener Fahrtwege in dem Straßennetz.
Das Verfahren umfasst ferner Vorgang 236, in dem Shape-Dateien in der Speichereinheit gespeichert werden. Bei einigen Ausführungsformen werden die Shape-Dateien als Gruppe mit Schichtstruktur gespeichert. Bei einigen Ausführungsformen werden die Shape-Dateien als einzelne Dateien gespeichert. Bei einigen Ausführungsformen werden die Shape-Dateien als separate Dateien gespeichert, die für den Nutzer oder das Fahrzeug basierend auf einer bestimmten Position des Fahrzeugs innerhalb des Straßennetzes der Raumkarte zugänglich sind.
Das Verfahren umfasst ferner Vorgang 238, in dem die Raumkarte in ein codiertes Videoformat konvertiert wird, um eine Bewegung entlang eines Netzes an Straßen in der Raumkarte visuell darzustellen. Während 2A TMI als Beispiel für die Codierung der Raumkarte umfasst, wird ein Fachmann erkennen, dass andere Programmiersprachen mit dem Verfahren 200 verwendbar sind. Ein Codieren eines Videos basierend auf der Raumkarte würde es zum Beispiel erlauben, dass ein Navigationssystem eine simulierte Vorwärtsansicht anzeigt, um auf einer Straße zu fahren, oder eine simulierte Vogelperspektive, um die Straße entlangzufahren.
Das Verfahren umfasst einen Vorgang 240, in dem das codierte Video in der Speichereinheit gespeichert wird. Bei einigen Ausführungsformen wird das codierte Video in mehreren separaten Dateien gespeichert, die für einen Nutzer oder ein Fahrzeug basierend auf einem bestimmten Standort des Fahrzeugs innerhalb des Straßennetzes der Raumkarte zugänglich sind.
3 ist ein Flussdiagramm eines Verfahrens 300 zum Erstellen einer Straßenkarte gemäß einigen Ausführungsformen. Bei einigen Ausführungsformen ist das Verfahren 300 verwendbar, um Shape-Dateien mit Schichtstruktur zu erstellen, wie beispielsweise Shape-Dateien, die in der Speichereinheit in Vorgang 236 des Verfahrens 200 gespeichert werden (2A). Bei einigen Ausführungsformen wird das Verfahren 300 unter Verwendung des Straßenkartenerstellsystems 100 implementiert (1). Bei einigen Ausführungsformen wird das Verfahren 300 unter Verwendung eines anderen Systems implementiert. Das Verfahren 300 ist eingerichtet, eine Straßenkarte zu erstellen, indem Straßen und Kreuzungen separat verarbeitet werden. Indem Straßen und Kreuzungen separat verarbeitet werden, ist das Verfahren 300 in der Lage, die Erstellungspräzision der Straßenkarte im Vergleich zu anderen Ansätzen zu erhöhen. Indem Information über Kreuzungen während der Evaluierung von Straßen ausgeschlossen wird, ist das Verfahren 300 in der Lage, ein hohes Maß an Abweichung innerhalb der analysierten Daten zu entfernen, was eine Straßenkarte mit höherer Präzision erzeugt. Zudem erlaubt ein unabhängiges Analysieren der Kreuzungen die Verwendung anderer Evaluierungs-Tools und Methodologie bei den Kreuzungen, als bei den Straßen verwendet wird. Dies erlaubt eine komplexere Analyse der Kreuzungen ohne die Verarbeitungslast zur Erstellung der Straßenkarte wesentlich zu erhöhen, indem die gleiche komplexe Analyse wie bei den Kreuzungen angewendet wird. Folglich wird ein Zeit- und Leistungsverbrauch beim Erstellen der Straßenkarte im Vergleich zu anderen Ansätzen reduziert.
Das Verfahren 300 umfasst Vorgang 302, bei dem eine semantische Segmentierung mit Deep Learning (DL) durchgeführt wird. Eine semantische Segmentierung umfasst, jedem Pixel in einem empfangenen Bild ein Klassifikationslabel zuzuordnen. Bei einigen Ausführungsformen wird die semantische Segmentierung mit DL unter Verwendung eines trainierten NN implementiert, wie beispielsweise einem Convoluted NN (CNN). Indem jedem der Pixel in dem empfangenen Bild Klassifikationslabels zugeordnet werden, ist es möglich, Straßen von anderen Objekten zu unterscheiden, wie beispielsweise Gebäuden, Gehwegen, Mittelstreifen, Flüssen oder anderen Objekten in dem empfangenen Bild. Dies erlaubt das Erstellen einer Skelettstraßenkarte, welche die Anwesenheit und den Lageort von Straßen in dem empfangenen Bild angibt.
Das Verfahren 300 umfasst ferner Vorgang 304, bei dem eine Vorverarbeitung und Rauschentfernung bei dem segmentierten Bild durchgeführt wird. Bei einigen Ausführungsformen umfasst die Vorverarbeitung ein Downsampling des segmentierten Bildes. Downsampling umfasst eine Reduzierung einer Bildauflösung, was dazu beiträgt, die Verarbeitungslast für eine spätere Verarbeitung des Bildes zu reduzieren. Bei einigen Ausführungsformen umfasst die Rauschentfernung ein Filtern des Bildes, wie beispielsweise lineares Filtern, Medianfiltern, adaptives Filtern oder ein anderes geeignetes Filtern des Bildes. Bei einigen Ausführungsformen umfasst die Rauschentfernung ein Zuschneiden der Skelettstraßenkarte, um Abschnitte des Bildes zu entfernen, die keine Straßen umfassen. Die Vorverarbeitung und die Rauschentfernung tragen dazu bei, die Verarbeitungslast für die Implementierung des Verfahrens 300 zu reduzieren, und tragen dazu bei, die Präzision der erstellten Straßenkarte zu erhöhen, indem Rauschen aus dem Bild entfernt wird.
Das Verfahren 300 umfasst ferner Vorgang 306, bei dem eine Knotenerfassung durchgeführt wird. Eine Knotenerfassung umfasst, Standorte zu identifizieren, an denen sich Straßen verbinden, z. B. Kreuzungen. Bei einigen Ausführungsformen umfasst eine Knotenerfassung ferner, wesentliche Merkmale auf einer Straße außer einer Querung mit einer anderen Straße zu identifizieren, zum Beispiel einen Bahnübergang, eine Ampel außer an einer Kreuzung oder ein anderes geeignetes Merkmal.
Das Verfahren 300 umfasst ferner Vorgang 308, bei dem eine Graphverarbeitung durchgeführt wird. Die Graphverarbeitung ist eine Verarbeitung der Skelettstraßenkarte basierend auf den identifizierten Knoten in Vorgang 306. Die Graphverarbeitung ist in der Lage, eine Liste an verbundenen Komponenten zu erstellen. Bei einigen Ausführungsformen identifiziert zum Beispiel die Graphverarbeitung, welche Straßen an einem Knoten einer identifizierten Kreuzung aufeinander treffen. Die Graphverarbeitung ist auch in der Lage, eine Entfernung entlang der Straße zwischen Knoten zu bestimmen. Bei einigen Ausführungsformen identifiziert die Graphverarbeitung Änderungen eines Streckenverlaufs der Straße zwischen Knoten. Zum Beispiel ist die Graphverarbeitung in einer Situation, in der die Straße eine Krümmung aufweist, in der Lage, eine Entfernung von einem ersten Knoten zu identifizieren, während welcher die Straße entlang eines ersten Streckenverlaufs oder in einem Winkel verläuft. Dann würde die Graphverarbeitung eine Änderung eines Streckenverlaufs identifizieren und eine Entfernung bestimmen, während der die Straße entlang des neuen, zweiten Streckenverlaufs weiter verläuft. Bei einigen Ausführungsformen identifiziert die Graphverarbeitung immer dann einen neuen Streckenverlauf, wenn eine Veränderung in einem Streckenverlauf einer Straße einen Streckenverlaufsgrenzwert überschreitet. Bei einigen Ausführungsformen beträgt ein Wert des Streckenverlaufsgrenzwerts etwa 10 Grad. Mit zunehmendem Streckenverlaufsgrenzwert sinkt eine Verarbeitungslast zur Implementierung der Graphverarbeitung, aber eine Beschreibungsgenauigkeit der Straße sinkt. Mit abnehmendem Streckenverlaufsgrenzwert steigt eine Verarbeitungslast zur Implementierung der Graphverarbeitung, aber die Beschreibungsgenauigkeit der Straße nimmt zu.
Das Verfahren 300 umfasst ferner Vorgang 310, bei dem Straßen und Querungen identifiziert werden und für eine separate Verarbeitung extrahiert werden. Die Querung oder Kreuzungen werden basierend auf den Knoten identifiziert, die in Vorgang 306 erfasst werden. Bei einigen Ausführungsformen wird ein Radius um den Knoten herum verwendet, um eine Ausdehnung der zu extrahierenden Kreuzung zu bestimmen. Bei einigen Ausführungsformen ist der Radius für jede Kreuzung konstant. Bei einigen Ausführungsformen unterscheidet sich der Radius für eine erste Kreuzung von einem Radius für eine zweite Kreuzung. Bei einigen Ausführungsformen wird der Radius für jede Kreuzung basierend auf einer Breite einer Straße eingestellt, die mit dem Knoten verbunden ist. Zum Beispiel würde bei einer breiteren Straße, die mit einer Kreuzung verbunden ist, angenommen werden, dass sie eine größere Kreuzung aufweist. Einen Radius für die größere Kreuzung anzuwenden, welcher die gleiche Größe aufweist wie ein Radius für eine kleine Kreuzung, erhöht ein Risiko, dass zu viel der kleineren Kreuzung extrahiert wird, was eine Verarbeitungslast erhöht, oder dass weniger als eine Gesamtheit der grö-ßeren Kreuzung extrahiert wird. Bei einigen Ausführungsformen wird der Radius für jede Kreuzung basierend auf einer Anzahl an Straßen eingestellt, die an dem Knoten aufeinander treffen. Zum Beispiel würde erwartet, dass eine Kreuzung zwischen zwei Straßen kleiner ist als eine Kreuzung zwischen drei oder mehr Straßen. Ein Radius, der nicht mit einer erwarteten Größe der Kreuzung übereinstimmt, erhöht wiederum entweder eine Verarbeitungslast zum Implementieren des Verfahrens 300 oder verringert eine Genauigkeit und Präzision der Straßenkarte.
Nach Vorgang 310 werden die Querungen oder Kreuzungen von den Straßen außer den Querungen oder Kreuzungen für eine separate Verarbeitung getrennt. Die Straßen werden unter Verwendung von Vorgängen 312-318 verarbeitet, während die Querungen unter Verwendung von Vorgängen 314, 320 und 322 verarbeitet werden. Indem die Querungen und Straßen separat verarbeitet werden, wird die Verarbeitungslast zum Bestimmen von Merkmalen der Straße reduziert, während eine Genauigkeit und Präzision der komplexeren Querungen beibehalten wird. Dies trägt dazu bei, eine genaue und präzise Straßenkarte mit einer geringeren Verarbeitungslast und einem geringeren Zeitverbrauch im Vergleich zu anderen Ansätzen zu erzeugen.
Das Verfahren 300 umfasst ferner Vorgang 312, in dem Straßentangentenvektoren extrahiert werden. Straßentangentenvektoren geben eine Fahrtrichtung entlang einer Straße an, um sich von einem Knoten zu einem anderen Knoten zu bewegen. Bei einigen Ausführungsformen umfassen die Straßentangentenvektoren Information bezüglich einer Fahrtrichtung. Zum Beispiel gibt der Tangentenvektor bei einer Einbahnstraße, die ein Fahren nur in einer einzigen Richtung erlaubt, ein Fahren entlang der einzigen Richtung an.
Das Verfahren 300 umfasst ferner Vorgang 314, in dem eine Objekterfassung bei dem empfangenen Bild durchgeführt wird. Bei einigen Ausführungsformen wird die Objekterfassung unter Verwendung von Deep Learning durchgeführt, zum Beispiel unter Verwendung eines trainierten NN. Der Vorgang 314 wird bei dem Bild durchgeführt und die Ergebnisse der Objekterfassung werden sowohl bei einer Straßenverarbeitung als auch einer Querungsverarbeitung verwendet. Bei einigen Ausführungsformen umfasst die Objekterfassung eine Klassifikation des erfassten Objekts. Zum Beispiel wird bei einigen Ausführungsformen eine Volllinie parallel zu der Straße als Straßenbegrenzung klassifiziert, eine Strichlinie parallel zu der Straße wird als Spurlinie identifiziert, eine Volllinie rechtwinklig zu der Straße wird als Haltelinie klassifiziert, eine Reihe an kürzeren Linien parallel zu der Straße, aber in einem Abstand von weniger als einer Breite einer Spur, wird als Fußgängerüberweg klassifiziert, oder andere geeignete Klassifikationen. Bei einigen Ausführungsformen ist eine Farbe für eine Objektklassifizierung verwendbar. Zum Beispiel ist eine weiße oder gelbe Farbe verwendbar, um Markierungen auf einer Straße zu identifizieren, eine grüne Farbe ist verwendbar, um einen Mittelstreifen, der Gras oder andere Vegetation umfasst, zu identifizieren, eine helle Farbe, wie beispielsweise grau, ist verwendbar, um einen Gehweg oder einen Betonmittelstreifen zu identifizieren.
Das Verfahren 300 umfasst ferner Vorgang 316, bei dem eine Spurermittlung basierend auf einer Objekterfassung durchgeführt wird, die von einer Ausgabe von Vorgang 314 empfangen wird. Basierend auf den Objekten, die in Vorgang 314 erfasst werden, ist eine Anzahl an Spuren entlang einer Straße bestimmbar, sowie, ob erwartet wird, dass die Spur eine Einbahnstraße ist. Ferner ist es möglich, Begrenzungen der Straßen basierend auf den erfassten Objekten zu bestimmen. Zum Beispiel bestimmt der Vorgang 316 bei einigen Ausführungsformen basierend auf einer Erfassung eines einzelnen Satzes an Spurlinien, z. B. Strichlinien parallel zu der Straße, dass es zwei Spuren auf der Straße gibt. Bei einigen Ausführungsformen gibt eine Volllinie in einem Mittelbereich einer Straße eine Trennlinie für einen Verkehr in zwei Richtungen an. Eine Erfassung einer oder mehrerer Volllinien in einem Mittelbereich der Straße oder Erfassung eines Mittelstreifens gibt zum Beispiel an, dass erwartet wird, dass sich Verkehr entlang der Straße in beide Richtungen bewegt, wobei die Volllinie als Trennlinie zwischen den zwei Fahrtrichtungen fungiert. Wenn keine Volllinie in einem Mittelbereich der Straße erfasst wird oder kein Mittelstreifen erfasst wird, so gibt dies bei einigen Ausführungsformen eine Einbahnstraße an.
Das Verfahren 300 umfasst ferner Vorgang 318, bei dem eine Spurermittlung basierend auf einer statistischen Analyse der Straße durchgeführt wird. Bei einigen Ausführungsformen wird die Spurermittlung implementiert, indem eine Breite der Straße bestimmt wird und diese Breite durch eine mittlere Spurbreite in einem Bereich geteilt wird, in dem sich die Straße befindet. Eine größte ganze Zahl der sich ergebenden Division legt die Anzahl an Spuren auf der Straße nahe. Bei einigen Ausführungsformen holt das Verfahren 300 Information von einer externen Datenquelle ein, wie beispielsweise einem Server, um Information bezüglich einer mittleren Spurbreite in unterschiedlichen Bereichen zu erhalten. Bei einigen Ausführungsformen wird eine Objekterfassung mit der statistischen Analyse kombiniert, um eine Anzahl an Spuren auf einer Straße zu bestimmen. Bei einigen Ausführungsformen werden zum Beispiel Straßenbegrenzungen erfasst und anstelle eine gesamte Breite einer Straße zu verwenden, um eine Anzahl an Spuren zu bestimmen, wird nur eine Entfernung zwischen Straßenbegrenzungen verwendet, um eine Anzahl an Spuren der Straße zu bestimmen. Bei einigen Ausführungsformen umfasst eine Bestimmung, dass eine Straße eine einzelne Spur umfasst, eine Angabe, dass die Straße eine Einbahnstraße ist. Bei einigen Ausführungsformen ist eine Bestimmung einer einzelnen Spur, die eine Einbahnstraße angibt, auf eine Großstadt oder Städte beschränkt, und die Annahme gilt nicht für ländliche Straßen.
Bei einigen Ausführungsformen werden die Spurermittlungen aus Vorgang 316 mit Spurermittlungen aus Vorgang 318 verglichen, um die Spurermittlungen zu verifizieren. Bei einigen Ausführungsformen werden Spurermittlungen verifiziert, falls die Spurermittlungen, die in Vorgang 316 bestimmt wurden, mit den Spurermittlungen übereinstimmen, die in Vorgang 318 bestimmt wurden. Bei einigen Ausführungsformen wird ansprechend auf eine Diskrepanz zwischen den Spurermittlungen, die in Vorgang 316 bestimmt wurden, und den Spurermittlungen, die in Vorgang 318 bestimmt wurden, eine Benachrichtigung für einen Nutzer erstellt. Bei einigen Ausführungsformen wird die Benachrichtigung automatisch erstellt und an eine Nutzerschnittstelle (User Interface, UI) gesendet, die für den Nutzer zugänglich ist. Bei einigen Ausführungsformen umfasst die Benachrichtigung eine Audio- oder eine visuelle Benachrichtigung. Bei einigen Ausführungsformen sind Spurermittlungen, die in Vorgang 316 bestimmt werden, verwendbar, um Spurermittlungen, die in Vorgang 318 bestimmt wurden, als Reaktion auf einen Konflikt zwischen den zwei Spurermittlungen zu überschreiben. Im Sinne dieser Beschreibung ist eine Diskrepanz eine Situation, in der eine Spurermittlung die Anwesenheit einer Spur oder eine Position einer Spur umfasst, und es unter Verwendung der anderen Spurermittlung keine Bestimmung einer Spur gab; und ein Konflikt ist, wenn eine erste Spurermittlung einen anderen Lageort oder eine positive Bestimmung einer Abwesenheit einer Spur von einer zweiten Spurbestimmung bestimmt.
Bei einigen Ausführungsformen wird Merkmalen, die in Vorgang 316 identifiziert werden, ein hohes Konfidenzniveau gegeben, wodurch angegeben wird, dass der Lageort des Merkmals sehr präzise ist. Bei einigen Ausführungsformen weisen Merkmale mit einem hohen Konfidenzniveau eine Lageortgenauigkeit innerhalb von 0,3 Metern des berechneten Lageorts auf. Bei einigen Ausführungsformen weisen Merkmale, die in Vorgang 318 identifiziert wurden, ein niedriges Konfidenzniveau auf, wodurch angegeben wird, dass der Lageort des Merkmals weniger präzise ist als von jenen, die in Vorgang 316 identifiziert wurden. Bei einigen Ausführungsformen weisen Merkmale mit einem niedrigen Konfidenzniveau eine Lageortgenauigkeit innerhalb von 1,0 Metern auf. Bei einigen Ausführungsformen weist ein in Vorgang 316 identifiziertes Merkmal, das eine Diskrepanz zu einem in Vorgang 318 identifizierten Merkmal aufweist, ein mittleres Konfidenzniveau auf, was zwischen dem hohen Konfidenzniveau und dem niedrigen Konfidenzniveau liegt. Bei einigen Ausführungsformen wird das Konfidenzniveau als Metadaten in Verbindung mit dem entsprechenden Merkmal gespeichert. Bei einigen Ausführungsformen ist das Konfidenzniveau in der Ausgabe der Merkmale in Vorgang 326 umfasst, wie unten beschrieben.
Bei einigen Ausführungsformen sind Vorgänge 316 und 318 verwendbar, um einen Lageort von Merkmalen auf der Straße zu interpolieren, die durch Objekte in dem empfangenen Bild verdeckt werden, wie beispielsweise Gebäude. Bei einigen Ausführungsformen verwenden die Vorgänge 316 und 318 verfügbare Daten bezüglich der Straße aus dem empfangenen Bild, um Lageorte entsprechender verdeckter Merkmale zu prädizieren.
Vorgänge 316 und 318 werden bei Abschnitten der Straßen außerhalb des Radius durchgeführt, der in Vorgang 310 etabliert wird. Vorgänge 320 und 322 werden dagegen bei Abschnitten von Straßen innerhalb des Radius durchgeführt, der in Vorgang 310 etabliert wurde.
Das Verfahren 300 umfasst ferner Vorgang 320, bei dem Spur- und Querungsermittlungen basierend auf der Objekterfassung von Vorgang 314 durchgeführt werden. In einigen Fällen werden Querungen auch als Kreuzungen bezeichnet. Basierend auf den Objekten, die in Vorgang 314 erfasst werden, ist es möglich, durch eine Kreuzung verlaufende Spurverbindungen zu bestimmen. Bei einigen Ausführungsformen sind zum Beispiel Strichlinien, die einer Kurve durch die Kreuzung folgen, verwendbar, um bei einigen Ausführungsformen eine Verbindung zwischen Spuren zu bestimmen. Bei einigen Ausführungsformen ist eine Spurposition relativ zu einer Seite der Straße verwendbar, um durch die Kreuzung verlaufende Spurverbindungen zu bestimmen. Es wird zum Beispiel angenommen, dass sich eine Spur, die, der rechten Seite der Straße am nächsten, auf einer ersten Seite der Straße liegt, mit einer Spur verbindet, die, der rechten Seite der Straße am nächsten, auf einer zweiten Seite der Kreuzung liegt, welche ausgehend von der ersten Seite jenseits der Kreuzung liegt. Bei einigen Ausführungsformen sind erfasste Mittelstreifen innerhalb des Radius, der in Vorgang 310 eingestellt wurde, verwendbar, um durch die Kreuzung verlaufende Spurverbindungen zu bestimmen. Zum Beispiel wird bestimmt, dass eine Spur auf der ersten Seite der Kreuzung, die eine erste Entfernung von der rechten Seite der Straße entfernt ist, eine Abbiegespur ist, als Reaktion darauf, dass ein Mittelstreifen eine erste Entfernung von der rechten Seite der Straße auf der zweiten Seite der Kreuzung entfernt ist. So wird nicht erwartet, dass sich die Spur auf der ersten Seite der Kreuzung direkt mit einer Spur auf der zweiten Seite der Kreuzung verbindet.
Bei einigen Ausführungsformen identifiziert eine Objekterkennung Straßenmarkierungen, wie beispielsweise Pfeile auf der Straße, die durch die Kreuzung verlaufende Spurverbindungen angeben. Zum Beispiel gibt ein erfasster Pfeil, der ausschließlich geradeaus angibt, bei einigen Ausführungsformen an, dass die Spur auf der ersten Seite der Kreuzung mit einer Spur auf der zweiten Seite der Kreuzung direkt gegenüber der Kreuzung verbunden sein wird. Bei einigen Ausführungsformen gibt ein erfasster Pfeil, der eine Abbiegespur angibt, an, dass die Spur auf der ersten Seite der Kreuzung nicht mit einer Spur auf der zweiten Seite der Kreuzung verbunden ist. Bei einigen Ausführungsformen ist eine erfasste Haltelinie verwendbar, um zu bestimmen, wie viele Spuren für eine bestimmte Fahrtrichtung an der Kreuzung vorliegen. Zum Beispiel wird bei einigen Ausführungsformen ansprechend darauf, dass eine Haltelinie erfasst wird, die sich über eine Gesamtheit der Straße erstreckt, bestimmt, dass die Straße eine Einbahnstraße ist. Bei einigen Ausführungsformen gibt ein Erfassen einer Haltelinie, die sich teilweise über die Straße über eine Entfernung von etwa zwei Spurbreiten erstreckt, an, dass zwei Spuren vorhanden sind, die ein Fahren in einer Richtung, die auf die Kreuzung zu verläuft, entlang der Straße erlauben; und da sich die Haltelinie nicht über die gesamte Straße erstreckt, erlaubt die Straße einen Verkehr in zwei Richtungen.
Bei einigen Ausführungsformen ist ein Erfassen von Fahrzeugen, die durch die Kreuzung durch mehrere Bilder fahren, verwendbar, um Verbindungen zwischen Spuren an der Kreuzung zu bestimmen. Zum Beispiel würde der Vorgang 320 bei einigen Ausführungsformen basierend auf der Erfassung einer Reihe an Fahrzeugen, die von einer ersten Spur auf der ersten Seite der Kreuzung zu einer zweiten Spur auf der zweiten Seite der Kreuzung fahren, bestimmen, dass die erste und die zweite Spur verbunden sind. Bei einigen Ausführungsformen würde eine Erfassung einer Reihe an Fahrzeugen, die von einer ersten Spur auf der ersten Seite der Kreuzung auf eine dritte Spur auf der linken Seite der ersten Seite fahren, angeben, dass die erste Spur ein Linksabbiegen erlaubt, um auf die dritte Spur zu fahren. Bei einigen Ausführungsformen wird von Verbindungen zwischen den Spuren basierend auf erfassten Fahrzeugwegen ausgegangen, nachdem eine Schwellwertanzahl an Fahrzeugen erfasst wurden, die innerhalb eines spezifischen Zeitrahmens einen bestimmten Weg entlang fahren. Ein Einstellen einer Schwellwertanzahl an Fahrzeugen, die innerhalb eines bestimmten Zeitrahmens den Weg entlang fahren, trägt dazu bei, zu verhindern, dass eine Spurverbindung zwischen Spuren basierend auf einem Pfad etabliert wird, der illegal oder aufgrund eines Notfalls durch ein einzelnes Fahrzeugs oder durch sehr wenige Fahrzeuge über eine lange Zeitspanne befahren wird. Bei einigen Ausführungsformen reicht die Schwellwertanzahl an Fahrzeugen von etwa fünf (5) Fahrzeugen innerhalb einer Stunde bis zu etwa zehn (10) Fahrzeuge innerhalb von zwanzig (20) Minuten. Mit zunehmender Anzahl an Fahrzeugen innerhalb des Schwellenwerts oder mit kürzer werdender Zeitspanne steigt ein Risiko, dass es unmöglich ist, Spurverbindungen zu etablieren, da ein höheres Risiko besteht, dass eine Frequenz der Fahrzeuge, die den Weg entlang fahren, den Schwellenwert nicht erfüllt. Mit abnehmender Anzahl an Fahrzeugen innerhalb des Schwellenwerts oder länger werdender Zeitspanne steigt ein Risiko, dass fehlerhafte Spurverbindungen etabliert werden.
Das Verfahren 300 umfasst ferner Vorgang 322, bei dem Spurverbindungen über die Querung basierend auf identifizierten Spuren bestimmt werden. Bei einigen Ausführungsformen basiert eine Anwesenheit von Spuren innerhalb des Radius, der in Vorgang 310 bestimmt wurde, auf einer Objekterfassung oder statistischen Analyse, wie oben in Vorgang 316 und 318 erläutert. Bei einigen Ausführungsformen ist Information von dem Vorgang 316 oder dem Vorgang 318 in Vorgang 322 verwendbar, um einen Lageort von Spuren zu bestimmen, die dem Radius am nächsten liegen, der in Vorgang 310 bestimmt wurde. Vorgang 322 bestimmt Verbindungen zwischen Spuren, die durch die Kreuzung verlaufen, basierend auf relativen Positionen der Spuren. Das heißt, es wird angenommen, dass jede Spur eine Verbindung mit einer entsprechenden Spur auf einer gegenüberliegenden Seite der Kreuzung hat.
Bei einigen Ausführungsformen werden die Spurverbindungen aus Vorgang 320 mit Spurverbindungen aus Vorgang 322 verglichen, um die Spurverbindungen zu verifizieren. Bei einigen Ausführungsformen werden Spurverbindungen verifiziert, falls die Spurverbindungen, die in Vorgang 320 bestimmt wurden, mit den Spurverbindungen übereinstimmen, die in Vorgang 322 bestimmt wurden. Bei einigen Ausführungsformen wird eine Benachrichtigung für einen Nutzer ansprechend auf eine Diskrepanz zwischen den Spurverbindungen, die in Vorgang 320 bestimmt wurden, und den Spurverbindungen, die in Vorgang 322 bestimmt wurden, erstellt. Bei einigen Ausführungsformen wird die Benachrichtigung automatisch erstellt und an eine Nutzerschnittstelle (User Interface, UI) gesendet, die für den Nutzer zugänglich ist. Bei einigen Ausführungsformen umfasst die Benachrichtigung eine Audio- oder eine visuelle Benachrichtigung. Bei einigen Ausführungsformen sind Spurverbindungen, die in Vorgang 320 bestimmt werden, verwendbar, um Spurverbindungen, die in Vorgang 322 bestimmt wurden, als Reaktion auf einen Konflikt zwischen den zwei Spurverbindungen zu überschreiben. Im Sinne dieser Beschreibung ist eine Diskrepanz eine Situation, in der eine Spurverbindung die Anwesenheit einer Verbindung umfasst, und es unter Verwendung des anderen Spurverbindungsvorgangs keine Bestimmung einer Spurverbindung gab; und ein Konflikt ist, wenn eine erste Spurverbindung einen anderen Lageort oder eine positive Bestimmung einer Abwesenheit einer Spurverbindung von einer zweiten Spurverbindung bestimmt.
Das Verfahren 300 umfasst ferner einen Vorgang 324, bei dem die Analyse der Straßen in Vorgang 312-318 mit der Analyse der Kreuzungen in Vorgang 314, 320 und 322 kombiniert wird. Bei einigen Ausführungsformen werden die zwei Analysen kombiniert, indem Spuren an den Radien ausgerichtet werden, die in Vorgang 310 bestimmt wurden. Bei einigen Ausführungsformen werden die zwei Analysen kombiniert, indem Shape-Dateien übereinandergelegt werden, die durch jede Analyse erstellt wurden.
Das Verfahren 300 umfasst ferner einen Vorgang 326, in dem die zusammengeschlossenen Analysen exportiert werden. Bei einigen Ausführungsformen werden die zusammengeschlossenen Analysen an eine externe Vorrichtung gesendet, wie beispielsweise einen Server oder eine UI. Bei einigen Ausführungsformen werden die zusammengeschlossenen Analysen drahtlos oder durch eine verdrahtete Verbindung gesendet. Bei einigen Ausführungsformen sind die zusammengeschlossenen Analysen in einem Navigationssystem verwendbar, um einen Fahrzeugführer anzuweisen, welchen Weg er entlang des Straßennetzes fahren soll, um ein Ziel zu erreichen. Bei einigen Ausführungsformen sind die zusammengeschlossenen Analysen in einem Protokoll für autonomes Fahren verwendbar, um ein Fahrzeug anzuweisen, automatisch entlang des Straßennetzes zu fahren, um ein Ziel zu erreichen.
Bei einigen Ausführungsformen umfasst das Verfahren 300 zusätzliche Vorgänge. Zum Beispiel umfasst das Verfahren 300 bei einigen Ausführungsformen, Information aus der Vergangenheit bezüglich des Straßennetzes zu empfangen. Die Information aus der Vergangenheit erlaubt einen Vergleich zwischen neu empfangener Information und der Information aus der Vergangenheit, um eine Analyseeffizienz der neu empfangenen Information zu verbessern. Bei einigen Ausführungsformen wird eine Reihenfolge von Vorgängen des Verfahrens 300 geändert. Zum Beispiel wird bei einigen Ausführungsformen Vorgang 312 vor Vorgang 310 durchgeführt. Bei einigen Ausführungsformen wird zumindest ein Vorgang aus dem Verfahren 300 ausgelassen. Bei einigen Ausführungsformen wird zum Beispiel der Vorgang 326 ausgelassen und die zusammengeschlossenen Analysen werden auf einer Speichereinheit gespeichert, damit ein Nutzer darauf zugreift.
4A ist ein Bild 400A aus der Vogelperspektive gemäß einigen Ausführungsformen. Bei einigen Ausführungsformen ist das Bild 400A ein gekacheltes Bild, das durch das Verfahren 300 empfangen wird (3), um einer semantischen Segmentierung mit DL unterzogen zu werden. Bei einigen Ausführungsformen ist das Bild 400A Teil von Aufnahmen, die in Vorgang 202 aus Verfahren 200 empfangen wurden (2A). Bei einigen Ausführungsformen ist das Bild 400A Teil von räumlichen Aufnahmen 110, die durch System 100 empfangen wurden (1). Das Bild 400A umfasst Straßen 410A.
Einige der Straßen 410A sind miteinander verbunden. Einige der Straßen 410 sind voneinander getrennt, z. B. durch Gebäude oder Mittelstreifen.
4B ist eine Draufsicht 400B auf Straßen gemäß einigen Ausführungsformen. Bei einigen Ausführungsformen ist die Ansicht 400B ein Ergebnis einer semantischen Segmentierung mit DL in Vorgang 302 des Verfahrens 300 (3). Bei einigen Ausführungsformen ist die Ansicht 400B ein Ergebnis der Segmentierung in Vorgang 208 des Verfahrens 200 (2A). Bei einigen Ausführungsformen wird die Ansicht 400B in der Raumkarten-Pipeline-Einheit 134 in dem System 100 erstellt (1). Die Ansicht 400B umfasst Straßen 410B. Ein Lageort und eine Größe der Straßen 410B entspricht dem Lageort und der Größe der Straßen 410A in Bild 400A (4A). Die Gebäude, Mittelstreifen, Fahrzeuge und andere Objekte in dem Bild 400A (4A) werden durch den Segmentierungsprozess entfernt, um eine Skelettstraßenkarte zu erzeugen.
5 ist eine Ansicht einer Navigationssystem-Nutzerschnittstelle 500 gemäß einigen Ausführungsformen. Die Navigationssystem-Nutzerschnittstelle (UI) 500 umfasst eine perspektivische Ansicht 510 von oben und eine Ich-Perspektive bzw. First-Person View 520. Bei einigen Fällen wird Information für die perspektivische Ansicht 510 von oben als räumliche Aufnahmen 110 (1), Aufnahmen 202 (2) oder andere Aufnahmen aus der Vogelperspektive empfangen. Bei einigen Ausführungsformen umfasst die perspektivische Ansicht 510 von oben aufgenommene Bilddaten, wie beispielsweise eine Fotografie. Bei einigen Ausführungsformen umfasst die perspektivische Ansicht 510 von oben verarbeitete Bilddaten, um Objekte zu identifizieren, z. B. durch Vorgänge 314-326 (3). Bei einigen Ausführungsformen wird zum Beispiel das Satellitenbild in eine First-Person View oder eine perspektivische Ansicht eines Fahrers unter Verwendung einer vorgegebenen Transformationsmatrix transformiert. Bei einigen Ausführungsformen ist der Blickwinkel bezüglich dem normalen auf den Boden im Falle einer perspektivische Ansicht eines Fahrers größer als in dem Falle einer perspektivische Ansicht von oben.
Die First-Person View 520 wird basierend auf empfangener Luftaufnahmen erstellt. Bei einigen Ausführungsformen umfassen die empfangenen Luftaufnahmen räumliche Aufnahmen 110 (1), Aufnahmen 202 (2) oder andere Aufnahmen aus der Vogelperspektive. Die empfangenen Luftaufnahmen werden analysiert, z. B. unter Verwendung von Verfahren 200 (2) oder Verfahren 300 (3), um Lageorte und Abmessungen von Straßen sowie Lageorte und Abmessungen von Objekten entlang den Straßen zu bestimmen. Diese Lageorte und Abmessungen sind verwendbar, um die First-Person View 520 zu ermitteln, die erfasste Objekte mit einer Größe umfasst, die Objekten in der echten Welt entspricht. Die First-Person View 520 umfasst Spurlinien 530, Straßenbegrenzungen 540 und Objekte 550 entlang der Straße. Jedes dieser Objekte ist erfassbar, z. B. unter Verwendung des Verfahrens 200 (2) oder des Verfahrens 300 (3), aus den empfangenen Luftaufnahmen. Diese Objekte werden dann in der First-Person View 520 an einem entsprechenden Ort positioniert, der durch die Verarbeitung der Luftaufnahmen bestimmt wird. Ferner basiert eine Größe von jedem der identifizierten Objekte auf der Analyse der Luftaufnahmen, damit die Größe der Objekte in der First-Person View 520 mit der Größe von Objekten in der echten Welt genau übereinstimmt. Während die Objekte 550 entlang der Straße in der First-Person View 520 Bäume sind, würde ein Fachmann erkennen, dass andere Objekte, wie beispielsweise Gebäude, Gehwege, Schienen oder andere Objekte ebenfalls im Umfang dieser Erfindung umfasst sind. Indem die Luftaufnahmen als Basis für eine Platzierung von Objekten in der First-Person View 520 verwendet werden, gibt die First-Person View 520 ein tatsächliches Erscheinungsbild einer Straße in der echten Welt genauer wieder. Folglich sind Fahrer in der Lage, Navigationsanweisungen besser zu verstehen und ihnen zu folgen. Auf ähnliche Art und Weise sind Systeme für autonomes Fahren in der Lage, Routen für das Fahrzeug genauer zu bestimmen, um die Straßen entlang zu fahren.
Eine Konvertierung der Luftaufnahmen in die First-Person View 520 umfasst eine Analyse der Luftaufnahmen basierend auf Information bezüglich Parametern einer Kamera zu dem Zeitpunkt, zu dem die Luftaufnahmen aufgenommen wurden. Bei einigen Ausführungsformen umfasst die Information bezüglich der Parameter der Kamera Brennweite, Rotation der Kamera, Pixelgröße eines Bildsensors in der Kamera oder andere geeignete Parameter. Basierend auf den Parametern der Kamera, werden Rotations- und Translationsmatrizen entwickelt, um die Luftaufnahmen in eine First-Person View zu konvertieren. Durch Verwendung der Rotations- und Translationsmatrizen und der Koordinate eines Zentrums des Luftbilds ist es möglich, ein zweidimensionales Pixelraumbild für die First-Person View zu berechnen. Bei einigen Ausführungsformen umfasst die Rotationsmatrix eine 3x3-Matrix, die eine Rotation um jeweils eine x-Achse, eine y-Achse und eine z-Achse in jeder der drei Richtungen angibt. Bei einigen Ausführungsformen umfasst die Translationsmatrix eine 1x3-Matrix, die Translationsbewegung zwischen einem Zentrum der Kamera und einem Zentrum des Luftbilds in jeweils einer x-Richtung, einer y-Richtung und einer z-Richtung angibt. Bei einigen Ausführungsformen wird die Straße als Ebene behandelt, um die Konvertierung zu vereinfachen, indem eine Analyse der z-Achsenrichtung entfernt wird. Bei einigen Ausführungsformen werden die Rotations- und Translationsmatrizen in eine einzelne Matrix kombiniert, z. B. eine 4x3-Matrix. Bei einigen Ausführungsformen werden Rotations- und Translationsmatrizen in Kombination mit einer Kamerakalibrierungsmatrix verwendet, um die First-Person View zu erstellen, um eine Präzision der First-Person View zu erhöhen. Die Kamerakalibrierungsmatrix trägt dazu bei, eine Verzerrung des Bildes, die durch Objektive in der Kamera oder andere Rausch- oder Verzerrungsquellen während einer Aufnahme der Luftaufnahmen erzeugt wird, zu berücksichtigen. Bei einigen Ausführungsformen nutzen die Berechnungen ein Schachbrettverfahren, bei dem Größe und Ort von Pixeln auf dem Bildsensor der Kamera verwendbar sind, um die Größe und den Ort entsprechender Information in der First-Person View zu bestimmen. Bei einigen Ausführungsformen wird die Konvertierung unter Verwendung von Python-Open-Computer-Vision(CV)-Software implementiert.
6A ist eine Ansicht 600A von oben auf eine Straße gemäß einigen Ausführungsformen. Bei einigen Ausführungsformen wird die Ansicht 600A von oben als räumliche Aufnahmen 110 (1), Aufnahmen 202 (2) oder andere Aufnahmen aus der Vogelperspektive empfangen. Bei einigen Ausführungsformen umfasst die Ansicht 600A von oben aufgenommene Bilddaten, wie beispielsweise eine Fotografie. Bei einigen Ausführungsformen umfasst die Ansicht 600A von oben verarbeitete Bilddaten, um Objekte zu identifizieren, z. B. durch Vorgänge 314-326 (3). Die Ansicht 600A von oben umfasst eine Straße 610, eine Kreuzung 620, eine Ampel 630 und ein Objekt 640. Bei einigen Ausführungsformen umfasst das Objekt 640 ein Gebäude, Bäume, Gras, einen Mittelstreifen, einen Gehweg oder andere geeignete Objekte. Die Ansicht 600A von oben umfasst eine Breite der Straße 610 in der Nähe der Kreuzung. Die Breite der Straße 610 wird basierend auf den Luftaufnahmen bestimmt, die verwendet werden, um die Ansicht 600A von oben zu erstellen, und Parametern der Kamera, die verwendet wird, um die Luftaufnahmen aufzunehmen.
6B ist eine Ich-Perspektive bzw. First-Person View 600B einer Straße gemäß einigen Ausführungsformen. Die First-Person View 600B wird basierend auf einer Analyse der Ansicht 600A von oben erstellt. Bei einigen Ausführungsformen wird die First-Person View 600B auf eine ähnliche Art und Weise wie jener erzeugt, die oben unter Bezugnahme auf die First-Person View 520 beschrieben ist (5). Bei einigen Ausführungsformen ist die First-Person View 600B in der Lage, unter Verwendung einer Navigationssystem-UI angezeigt zu werden, wie beispielsweise der Navigationssystem-Nutzerschnittstelle UI 500 (5). Die First-Person View 600B umfasst die Straße 610, die Kreuzung 620, die Ampel 630 und das Objekt 640. Jedes dieser Objekte ist in der First-Person View 600B basierend auf einer Analyse der Luftaufnahmen umfasst, zum Beispiel unter Verwendung des Verfahrens 200 (2) oder des Verfahrens 300 (3). Die Objekte werden in der Ansicht 600A von oben identifiziert und dann in der First-Person View 600B basierend auf einer Analyse des Luftbilds und den Parametern der Kamera positioniert. Die First-Person View 600B umfasst eine Breite der Straße 610, die mit der Breite der Straße von der Ansicht 600A von oben konsistent ist (6A). Diese Konsistenz zwischen einer Breite der Straße in der echten Welt und der Breite der Straße 610 in der First-Person View 600B trägt dazu bei, dass der Fahrer Navigationsanweisungen von einem Navigationssystem in einem Fahrzeug erfolgreich folgen kann.
Bei einigen Ausführungsformen umfasst die First-Person View 600B ferner eine Bildregion 650, die eine reduzierte Auflösung aufweist. Die Bildregion 650 weist eine reduzierte Auflösung auf, um eine Verarbeitungslast für ein Navigationssystem während einer Erstellung der First-Person View 600B zu reduzieren. Sowie sich das Fahrzeug auf die Kreuzung 620 zu bewegt, wird die Kreuzung 620 in der First-Person View 600B größer. Allerdings wird die Bildregion 650 die gleiche Größe beibehalten, während sich das Fahrzeug auf die Kreuzung 620 zu bewegt. Das heißt, der Fahrer nimmt die Bildregion 650 als eine vorbestimmte Entfernung von der aktuellen Position des Fahrzeugs entfernt bleibend wahr, während das Fahrzeug die Straße 610 entlang fährt.
Bei einigen Ausführungsformen wird eine Höhe des Objekts 640 in der First-Person View 600B basierend auf einer Analyse der Luftaufnahmen bestimmt. Ein Vergleich zwischen unterschiedlichen Bildern der Luftaufnahmen zu unterschiedlichen Zeiten ist zum Beispiel in der Lage, eine Höhe des Objekts 640 zu bestimmen. Bei einigen Ausführungsformen wird eine Brennweite, die verwendet wird, um das Objekt 640 zu fokussieren, mit einer Brennweite verglichen, die verwendet wird, um die Straße 610 zu fokussieren, um eine relative Höhendifferenz zwischen einer Oberseite des Objekts 640 und einer Fläche der Straße 610 zu bestimmen.
Ein herkömmlicher Fachmann würde verstehen, dass die Konvertierung von Luftaufnahmen, die unter Bezugnahme auf 5 bis 6B erläutert wird, in der Lage ist, First-Person Views einer gesamten Straßenkarte zu erstellen, indem Straßensegmente der Luftaufnahmen kombiniert werden. Das heißt, das Verfahren 200 (2) und das Verfahren 300 (3) sind verwendbar, um Straßenkarten zu erstellen, indem Straßensegmente kombiniert werden. Es ist dann möglich, diese Straßenkarten unter Verwendung des Orts und Abmessungen der Straßen und Objekte entlang und neben den Straßen in First-Person Views zu konvertieren. Diese First-Person Views sind dann für Navigationssystem-UIs verwendbar, wie beispielsweise Navigationssystem-UI 500 (5), um Fahrern oder für autonomes Fahren von Fahrzeugen Navigationsanweisungen bereitzustellen.
7 ist ein Bild 700 aus der Vogelperspektive einer Straße umfassend identifizierte Markierungen 710, 720 und 730 gemäß einigen Ausführungsformen. Bei einigen Ausführungsformen ist das Bild 700 das Ergebnis von Vorgang 314 in Verfahren 300 (3). Bei einigen Ausführungsformen ist das Bild 700 eine visuelle Darstellung einer Raumkarte in Vorgang 230 in dem Verfahren 200 (2A). Bei einigen Ausführungsformen wird das Bild 700 durch die Objekterfassungseinheit 140 für räumliche Aufnahmen in dem Straßenkartenerstellsystem 100 erzeugt (1). Das Bild 700 umfasst eine Straße. Straßenbegrenzungsmarkierungen 710 geben Grenzen der Straße an. Spurlinienmarkierungen 720 geben Spurlinien entlang der Straße an. Eine Markierung 730 gibt einen Rand eines Gebäudes an, das eine Sicht auf die Straße blockiert. Als Ergebnis der Blockade durch die Gebäude, wie durch Markierung 730 angegeben, wird verdeckte Information für die Straße aus Daten interpoliert, die in dem Bild 700 verfügbar sind.
8A bis 8C sind Draufsichten auf eine Straße zu verschiedenen Phasen der Spuridentifizierung gemäß einigen Ausführungsformen. Bei einigen Ausführungsformen umfassen 8A bis 8C Ansichten, die unter Verwendung von Vorgängen 316 und/oder 318 des Verfahrens 300 erstellt werden (3). Bei einigen Ausführungsformen umfassen 8A bis 8C Ansichten, die durch den Vorgang 216 des Verfahrens 200 erstellt werden (2A). Bei einigen Ausführungsformen umfassen 8A bis 8C Ansichten, die durch die Objekterfassungseinheit 140 für räumliche Aufnahmen in dem Straßenkartenerstellsystem 100 erstellt werden (1). 8A umfasst eine Ansicht 800A, die eine Skelettstraße 810 umfasst. 8B umfasst eine Ansicht 800B, die eine Straße 810 und eine Spurmarkierung 820 entlang einer zentralen Region der Straße 810 umfasst. Bei einigen Ausführungsformen gibt die Spurmarkierung 820 eine Volllinie an, die Verkehr trennt, der sich in entgegengesetzten Richtungen bewegt. Bei einigen Ausführungsformen gibt die Spurmarkierung 820 eine Strichlinie zwischen Spuren an, die Verkehr trennt, der sich in einer gleichen Richtung bewegt. 8C umfasst eine Ansicht 800C, welche die Straße 810, die Spurmarkierung 820 und Straßenbegrenzungsmarkierungen 830 umfasst. Die Straßenbegrenzungsmarkierungen 830 geben das Randgebiet der Straße 810 an. Bei einigen Ausführungsformen umfassen Bereiche über die Straßenbegrenzungsmarkierung 830 hinaus ein Bankett der Straße, einen Gehweg, eine Parkfläche entlang der Straße oder andere Straßenmerkmale.
9A bis 9C sind Draufsichten auf eine Straße zu verschiedenen Phasen der Spuridentifizierung gemäß einigen Ausführungsformen. Bei einigen Ausführungsformen umfassen 9A bis 9C Ansichten, die unter Verwendung von Vorgängen 316 und/oder 318 des Verfahrens 300 erstellt werden (3). Bei einigen Ausführungsformen umfassen 9A bis 9C Ansichten, die durch den Vorgang 216 des Verfahrens 200 erstellt werden (2A). Bei einigen Ausführungsformen umfassen 9A bis 9C Ansichten, die durch die Objekterfassungseinheit 140 für räumliche Aufnahmen in dem Straßenkartenerstellsystem 100 erstellt werden (1). 9A umfasst eine Ansicht 900A, die eine Skelettstraße 910 und eine Spurlinienmarkierung 920 umfasst. Im Gegensatz zu Ansicht 800B (8B) gibt eine Spurlinienmarkierung 920 deutlich eine Strichlinie an, die Verkehr trennt, der sich in eine gleiche Richtung bewegt. 9B umfasst eine Ansicht 900B, welche eine Straße 910, eine Spurlinienmarkierung 920 und Straßenbegrenzungsmarkierungen 930 umfasst. Die Straßenbegrenzungsmarkierungen 930 geben das Randgebiet der Straße 910 an. Bei einigen Ausführungsformen umfassen Bereiche über die Straßenbegrenzungsmarkierung 930 hinaus ein Bankett der Straße, einen Gehweg, eine Parkfläche entlang der Straße oder andere Straßenmerkmale. 9C umfasst eine Ansicht 900C, welche einen Straßengraphen 940 umfasst, der einen Weg der Straße 910 angibt. Bei einigen Ausführungsformen wird der Straßengraph 940 unter Verwendung von Vorgang 308 des Verfahrens 300 erstellt (3).
10 ist ein Schema eines Systems 1000 zum Erstellen einer Straßenkarte gemäß einigen Ausführungsformen. Das System 1000 ist verwendbar, um First-Person-View-Bilder zu erstellen, wie beispielsweise First-Person View 520 (5) oder First-Person View 600B (6B). Das System 1000 umfasst einen Hardware-Prozessor 1002 und ein nichttransitorisches, computerlesbares Speichermedium 1004, auf dem der Computerprogrammcode 1006, d. h. ein Satz an ausführbaren Anweisungen, codiert ist, d. h., dieser gespeichert ist. Das computerlesbare Speichermedium 1004 ist auch mit Anweisungen 1007 codiert, um mit externen Vorrichtungen eine Schnittstelle zu bilden, wie beispielsweise einem Server oder einer UI. Der Prozessor 1002 ist über einen Bus 1008 mit dem computerlesbaren Speichermedium 1004 elektrisch gekoppelt. Der Prozessor 1002 ist durch den Bus 1008 auch mit einer E/A-Schnittstelle 1010 elektrisch gekoppelt. Eine Netzwerkschnittstelle 1012 ist ebenfalls über den Bus 1008 mit dem Prozessor 1002 elektrisch verbunden. Eine Netzwerkschnittstelle 1012 ist mit einem Netzwerk 1014 verbunden, sodass ein Prozessor 1002 und ein computerlesbares Speichermedium 1004 in der Lage sind, sich über das Netzwerk 1014 mit externen Elementen zu verbinden. Der Prozessor 1002 ist eingerichtet, den Computerprogrammcode 1006 auszuführen, der in dem computerlesbaren Speichermedium 1004 codiert ist, um das System 1000 zu veranlassen, verwendbar zu sein, um einen Teil oder alle der Vorgänge, wie in dem Straßenkartenerstellsystem 100 (1), dem Verfahren 200 (2A) oder dem Verfahren 300 (3) beschrieben, durchzuführen.
Bei einigen Ausführungsformen ist der Prozessor 1002 eine zentrale Verarbeitungseinheit (CPU), ein Mehrprozessorsystem, ein System mit verteilter Verarbeitung, eine anwendungsspezifische integrierte Schaltung (ASIC) und/oder eine geeignete Verarbeitungseinheit.
Bei einigen Ausführungsformen ist ein computerlesbares Speichermedium 1004 ein elektronisches, ein magnetisches, ein optisches, ein elektromagnetisches, ein Infrarot- und/oder ein Halbleitersystem (oder -Einrichtung oder -Vorrichtung). Das computerlesbare Speichermedium 1004 umfasst zum Beispiel einen Halbleiter- oder Festkörperspeicher, ein magnetisches Band, eine entfernbare Computerdiskette, einen Direktzugriffsspeicher (RAM), einen Nurlesespeicher (ROM), eine magnetische Festplatte und/oder eine optische Scheibe. Bei einigen Ausführungsformen, die optische Scheiben verwenden, umfasst das computerlesbare Speichermedium 1004 eine Compact Disk-Read Only Memory (CD-ROM), eine Compact Disk-Read/Write (CD-R/W) und/oder eine Digital Video Disc (DVD).
Bei einigen Ausführungsformen speichert das Speichermedium 1004 den Computerprogrammcode 1006, der eingerichtet ist, das System 100 zu veranlassen, einen Teil oder alle der Vorgänge durchzuführen, wie in dem Straßenkartenerstellsystem 100 (1), dem Verfahren 200 (2A) oder dem Verfahren 300 (3) beschrieben. Bei einigen Ausführungsformen speichert das Speichermedium 1004 auch Information, die erforderlich ist, um einen Teil oder alle der Vorgänge durchzuführen, wie in dem Stra-ßenkartenerstellsystem 100 (1), dem Verfahren 200 (2A) oder dem Verfahren 300 (3) beschrieben, sowie Information, die erstellt wird, während ein Teil oder alle der Vorgänge durchgeführt werden, wie in dem Straßenkartenerstellsystem 100 (1), Verfahren 200 (2A) oder Verfahren 300 (3) beschrieben, wie beispielsweise einen Vogelperspektiven-Bildparameter 1016, einen First-Person-View-Bildparameter 1018, einen Brennweitenparameter 1020, einen Pixelgrößenparameter 1022 und/oder einen Satz an ausführbaren Anweisungen, um einen Teil oder alle der Vorgänge durchzuführen, wie in dem Straßenkartenerstellsystem 100 (1), dem Verfahren 200 (2A) oder dem Verfahren 300 (3) beschrieben.
Bei einigen Ausführungsformen speichert das Speichermedium 1004 Anweisungen 1007 zur Bildung einer Schnittstelle mit externen Vorrichtungen. Die Anweisungen 1007 ermöglichen es dem Prozessor 1002, Anweisungen zu erstellen, die durch die externen Vorrichtungen lesbar sind, um einen Teil oder alle Vorgänge zu implementieren, wie in dem Straßenkartenerstellsystem 100 (1), dem Verfahren 200 (2A) oder dem Verfahren 300 (3) beschrieben.
Das System 1000 umfasst eine E/A-Schnittstelle 1010. Die E/A-Schnittstelle 1010 ist mit einer externen Schaltung gekoppelt. Bei einigen Ausführungsformen umfasst die E/A-Schnittstelle 1010 eine Tastatur, eine Zehnertastatur, eine Maus, einen Trackball, ein Trackpad und/oder Pfeiltasten, um Information und Befehle an den Prozessor 1002 zu kommunizieren.
Das System 1000 umfasst auch eine Netzwerkschnittstelle 1012, die mit dem Prozessor 1002 gekoppelt ist. Die Netzwerkschnittstelle 1012 erlaubt es dem System 1000, mit dem Netzwerk 1014 zu kommunizieren, mit dem eines oder mehrere Computersys- . teme verbunden sind. Die Netzwerkschnittstelle 1012 umfasst Drahtlosnetzwerkschnittstellen, wie beispielsweise Bluetooth, WiFi, WiMAX, GPRS oder WCDMA, oder verdrahtete Netzwerkschnittstellen, wie beispielsweise Ethernet, USB oder IEEE-1394. Bei einigen Ausführungsformen wird ein Teil oder werden alle der Vorgänge, die in dem Straßenkartenerstellsystem 100 (1), dem Verfahren 200 (2A) oder dem Verfahren 300 (3) beschrieben sind, in zwei oder mehr Systemen 100 implementiert, und es wird Information zwischen unterschiedlichen Systemen 1000 über das Netzwerk 1014 ausgetauscht.
Ein Aspekt dieser Beschreibung betrifft ein Verfahren zum Erstellen einer Karte aus der Ich-Perspektive bzw. First-Person-View-Karte. Das Verfahren umfasst, ein Bild zu empfangen, auf dem die Straße von oben zu sehen ist. Das Verfahren umfasst ferner, einen Straßengraph basierend auf dem empfangenen Bild zu erstellen, wobei der Straßengraph eine Mehrzahl von Straßensegmenten aufweist. Das Verfahren umfasst ferner, das empfangene Bild unter Verwendung des Straßengraphen zu konvertieren, um ein First-Person-View-Bild für jedes Straßensegment der Mehrzahl von Straßensegmenten zu erstellen. Das Verfahren umfasst ferner, die Mehrzahl von Straßensegmenten zu kombinieren, um die First-Person-View-Karte zu definieren. Bei einigen Ausführungsformen ist das Bild, auf dem die Straße von oben zu sehen ist, ein Satellitenbild. Bei einigen Ausführungsformen umfasst das Verfahren ferner, Spurlinien entlang mindestens einem der Mehrzahl von Straßensegmenten zu identifizieren, und die identifizierten Spurlinien in der First-Person-View-Karte zu umfassen. Bei einigen Ausführungsformen umfasst das Verfahren ferner, ein Objekt neben mindestens einem der Mehrzahl von Straßensegmenten zu identifizieren, und das identifizierte Objekt in der First-Person-View-Karte zu umfassen. Bei einigen Ausführungsformen umfasst das Verfahren ferner, eine Höhe des identifizierten Objekts basierend auf dem empfangenen Bild zu bestimmen und das identifizierte Objekt in der First-Person-View-Karte mit der bestimmten Höhe zu umfassen. Bei einigen Ausführungsformen umfasst das Verfahren ferner, eine Breite eines ersten Straßensegments der Mehrzahl von Straßensegmenten zu bestimmen und die First-Person-View-Karte zu erstellen, die das erste Straßensegment mit der bestimmten Breite umfasst. Bei einigen Ausführungsformen umfasst ein Definieren der First-Person-View-Karte, eine Auflösung eines Teils der First-Person-View-Karte zu reduzieren, die dem Fahrer dargestellt werden soll.
Ein Aspekt der Beschreibung betrifft ein System zum Erstellen einer First-Person-View-Karte. Das System umfasst ein nichttransitorisches, computerlesbares Medium, das eingerichtet ist, Anweisungen darauf zu speichern. Das System umfasst ferner einen Prozessor, der mit dem nichttransitorischen, computerlesbaren Medium verbunden ist. Der Prozessor ist eingerichtet, die Anweisungen zum Empfangen eines Bildes einer Straße, auf dem diese von oben zu sehen ist, auszuführen. Der Prozessor ist ferner eingerichtet, die Anweisungen zum Erstellen eines Straßengraphen basierend auf dem empfangenen Bild auszuführen, wobei der Straßengraph eine Mehrzahl von Straßensegmenten aufweist. Der Prozessor ist ferner eingerichtet, die Anweisungen zum Konvertieren des empfangenen Bildes unter Verwendung des Straßengraph auszuführen, um ein First-Person-View-Bild für jedes Straßensegment der Mehrzahl von Straßensegmenten zu erstellen. Das Verfahren ist ferner eingerichtet, die Anweisungen zum Kombinieren der Mehrzahl von Straßensegmenten auszuführen, um die First-Person-View-Karte zu definieren. Bei einigen Ausführungsformen ist das Bild, auf dem die Straße von oben zu sehen ist, ein Satellitenbild. Bei einigen Ausführungsformen ist der Prozessor ferner eingerichtet, die Anweisungen zum Identifizieren von Spurlinien entlang mindestens einem der Mehrzahl von Straßensegmenten und zum Umfassen der identifizierten Spurlinien in der First-Person-View-Karte auszuführen. Bei einigen Ausführungsformen ist der Prozessor ferner eingerichtet, die Anweisungen zum Identifizieren eines Objekts neben mindestens einem der Mehrzahl von Straßensegmenten und zum Umfassen des identifizierten Objekts in der First-Person-View-Karte auszuführen. Bei einigen Ausführungsformen ist der Prozessor ferner eingerichtet, die Anweisungen zum Bestimmen einer Höhe des identifizierten Objekts basierend auf dem empfangenen Bild und zum Umfassen des identifizierten Objekts in der First-Person-View-Karte mit der bestimmten Höhe auszuführen. Bei einigen Ausführungsformen ist der Prozessor ferner eingerichtet, die Anweisungen zum Bestimmen einer Breite eines ersten Straßensegments der Mehrzahl von Straßensegmenten und zum Erstellen der First-Person-View-Karte, die das erste Straßensegment mit der bestimmten Breite umfasst, auszuführen. Bei einigen Ausführungsformen ist der Prozessor ferner eingerichtet, die Anweisungen zum Definieren der First-Person-View-Karte auszuführen, die einen Teil mit reduzierter Auflösung der First-Person-View-Karte umfasst, die dem Fahrer dargestellt werden soll.
Ein Aspekt dieser Beschreibung betrifft ein nichttransitorisches, computerlesbares Medium, das Anweisungen speichert, die eingerichtet sind, einen Prozessor zu veranlassen, die Anweisungen auszuführen, um ein Bild zu empfangen, auf dem die Straße von oben zu sehen ist. Die Anweisungen sind ferner eingerichtet, den Prozessor zu veranlassen, einen Straßengraphen basierend auf dem empfangenen Bild zu erstellen, wobei der Straßengraph eine Mehrzahl von Straßensegmenten aufweist. Die Anweisungen sind ferner eingerichtet, den Prozessor zu veranlassen, das empfangene Bild unter Verwendung des Straßengraph zu konvertieren, um ein First-Person-View-Bild für jedes Straßensegment der Mehrzahl von Straßensegmenten zu erstellen. Die Anweisungen sind ferner eingerichtet, den Prozessor zu veranlassen, die Mehrzahl von Straßensegmenten zu kombinieren, um die First-Person-View-Karte zu definieren. Bei einigen Ausführungsformen ist das Bild, auf dem die Straße von oben zu sehen ist, ein Satellitenbild. Bei einigen Ausführungsformen sind die Anweisungen ferner eingerichtet, den Prozessor zu veranlassen, Spurlinien entlang mindestens einem der Mehrzahl von Straßensegmenten zu identifizieren und die identifizierten Spurlinien in der First-Person-View-Karte zu umfassen. Bei einigen Ausführungsformen sind die Anweisungen ferner eingerichtet, den Prozessor zu veranlassen, ein Objekt neben mindestens einem der Mehrzahl von Straßensegmenten zu identifizieren und das identifizierte Objekt in der First-Person-View-Karte zu umfassen. Bei einigen Ausführungsformen sind die Anweisungen ferner eingerichtet, den Prozessor zu veranlassen, eine Höhe des identifizierten Objekts basierend auf dem empfangenen Bild zu bestimmen und das identifizierte Objekt in der First-Person-View-Karte mit der bestimmten Höhe zu umfassen. Bei einigen Ausführungsformen sind die Anweisungen ferner eingerichtet, den Prozessor zu veranlassen, eine Breite eines ersten Straßensegments der Mehrzahl von Straßensegmenten zu bestimmen und die First-Person-View-Karte, die das erste Straßensegment mit der bestimmten Breite umfasst, zu erstellen.
Vorstehend sind Merkmale verschiedener Ausführungsformen skizziert, sodass der Fachmann die Aspekte der vorliegenden Erfindung besser verstehen kann. Der Fachmann wird verstehen, dass er die vorliegende Erfindung ohne Weiteres als Basis verwenden kann, um andere Prozesse und Strukturen zu entwerfen oder zu modifizieren, um die gleichen Ziele auszuführen und/oder die gleichen Vorteile der hierin eingeführten Ausführungsformen zu erzielen. Der Fachmann sollte auch erkennen, dass solche gleichwertigen Konstruktionen nicht von der Idee und dem Umfang der vorliegenden Erfindung abweichen und dass er verschiedene Änderungen, Substituierungen und Abwandlungen ausführen kann, ohne von der Idee und dem Umfang der vorliegenden Erfindung abzuweichen.

Claims

Verfahren zum Erstellen einer First-Person-View-Karte, wobei das Verfahren aufweist: Empfangen eines Bildes, auf dem die Straße von oben zu sehen ist; Erstellen eines Straßengraphen basierend auf dem empfangenen Bild, wobei der Straßengraph eine Mehrzahl von Straßensegmente aufweist; Konvertieren des empfangenen Bildes unter Verwendung des Straßengraphen, um ein First-Person-View-Bild für jedes Straßensegment der Mehrzahl von Straßensegmente zu erstellen; und Kombinieren der Mehrzahl von Straßensegmente, um die First-Person-View-Karte zu definieren.
Verfahren nach Anspruch 1, wobei das Bild, auf dem die Straße von oben zu sehen ist, ein Satellitenbild ist.
Verfahren nach Anspruch 1 oder 2, ferner aufweisend: Identifizieren von Spurlinien entlang mindestens einem der Mehrzahl von Straßensegmente; und Umfassen der identifizierten Spurlinien in der First-Person-View-Karte.
Verfahren nach einem der Ansprüche 1 bis 3, ferner aufweisend: Identifizieren eines Objekts neben mindestens einem der Mehrzahl von Straßensegmente; und Umfassen des identifizierten Objekts in der First-Person-View-Karte.
Verfahren nach Anspruch 4, das ferner aufweist: Bestimmen einer Höhe des identifizierten Objekts basierend auf dem empfangenen Bild; und Umfassen des identifizierten Objekts in der First-Person-View-Karte mit der bestimmten Höhe.
Verfahren nach einem der Ansprüche 1 bis 5, ferner aufweisend: Bestimmen einer Breite eines ersten Straßensegments der Mehrzahl von Straßensegmente; und Erstellen der First-Person-View-Karte umfassend das erste Straßensegment mit der bestimmten Breite.
Verfahren nach einem der Ansprüche 1 bis 6, wobei ein Definieren der First-Person-View-Karte umfasst, eine Auflösung eines Teils der First-Person-View-Karte, die dem Fahrer angezeigt werden soll, zu reduzieren.
System zum Erstellen einer First-Person-View-Karte, wobei das System aufweist: ein nichttransitorisches, computerlesbares Medium, das eingerichtet ist, Anweisungen darauf zu speichern; und einen Prozessor, der mit dem nichttransitorischen, computerlesbaren Medium verbunden ist, wobei der Prozessor eingerichtet ist, die Anweisungen auszuführen zum: Empfangen eines Bildes, auf dem die Straße von oben zu sehen ist; Erstellen eines Straßengraphen basierend auf dem empfangenen Bild, wobei der Straßengraph eine Mehrzahl von Straßensegmente aufweist; Konvertieren des empfangenen Bildes unter Verwendung des Straßengraphen, um ein First-Person-View-Bild für jedes Straßensegment der Mehrzahl von Straßensegmente zu erstellen; und Kombinieren der Mehrzahl von Straßensegmente, um die First-Person-View-Karte zu definieren.
System nach Anspruch 8, wobei das Bild, auf dem die Straße von oben zu sehen ist, ein Satellitenbild ist.
System nach Anspruch 8 oder 9, wobei der Prozessor ferner konfiguriert ist, die Anweisungen auszuführen zum: Identifizieren von Spurlinien entlang mindestens einem der Mehrzahl von Straßensegmente; und Umfassen der identifizierten Spurlinien in der First-Person-View-Karte.
System nach einem der Ansprüche 8 bis 10, wobei der Prozessor ferner eingerichtet ist, die Anweisungen auszuführen zum: Identifizieren eines Objekts neben mindestens einem der Mehrzahl von Straßensegmente; und Umfassen des identifizierten Objekts in der First-Person-View-Karte.
System nach Anspruch 11, wobei der Prozessor ferner konfiguriert ist, die Anweisungen auszuführen zum: Bestimmen einer Höhe des identifizierten Objekts basierend auf dem empfangenen Bild; und Umfassen des identifizierten Objekts in der First-Person-View-Karte mit der bestimmten Höhe.
System nach einem der Ansprüche 8 bis 12, wobei der Prozessor ferner eingerichtet ist, die Anweisungen auszuführen zum: Bestimmen einer Breite eines ersten Straßensegments der Mehrzahl von Straßensegmente; und Erstellen der First-Person-View-Karte umfassend das erste Straßensegment mit der bestimmten Breite.
System nach einem der Ansprüche 8 bis 13, wobei der Prozessor ferner eingerichtet ist, die Anweisungen zum Definieren der First-Person-View-Karte auszuführen, die einen Teil mit reduzierter Auflösung der First-Person-View-Karte umfasst, die dem Fahrer dargestellt werden soll.
Nichttransitorisches, computerlesbares Medium, das Anweisungen speichert, die eingerichtet sind, einen Prozessor, der die Anweisungen ausführt, zu veranlassen: ein Bild zu empfangen, auf dem die Straße von oben zu sehen ist; einen Straßengraphen basierend auf dem empfangenen Bild zu erstellen, wobei der Straßengraph eine Mehrzahl von Straßensegmente aufweist; das empfangene Bildes unter Verwendung des Straßengraphen zu konvertieren, um ein First-Person-View-Bild für jedes Straßensegment der Mehrzahl von Straßensegmente zu erstellen; und die Mehrzahl von Straßensegmente zu kombinieren, um die First-Person-View-Karte zu definieren.
Nichttransitorisches, computerlesbares Medium nach Anspruch 15, wobei das Bild, auf dem die Straße von oben zu sehen ist, ein Satellitenbild ist.
Nichttransitorisches, computerlesbares Medium nach Anspruch 15 oder 16, wobei die Anweisungen ferner eingerichtet sind, den Prozessor zu veranlassen: Spurlinien entlang mindestens einem der Mehrzahl von Straßensegmente zu identifizieren; und die identifizierten Spurlinien in der First-Person-View-Karte zu umfassen.
Nichttransitorisches, computerlesbares Medium nach einem der Ansprüche 15 bis 17, wobei die Anweisungen ferner eingerichtet sind, den Prozessor zu veranlassen: ein Objekt neben mindestens einem der Mehrzahl von Straßensegmente zu identifizieren; und das identifizierte Objekt in der First-Person-View-Karte zu umfassen.
Nichttransitorisches, computerlesbares Medium nach Anspruch 18, wobei die Anweisungen ferner eingerichtet sind, den Prozessor zu veranlassen: eine Höhe des identifizierten Objekts basierend auf dem empfangenen Bild zu bestimmen; und das identifizierte Objekt in der First-Person-View-Karte mit der bestimmten Höhe zu umfassen.
Nichttransitorisches, computerlesbares Medium nach einem der Ansprüche 15 bis 19, wobei die Anweisungen ferner eingerichtet sind, den Prozessor zu veranlassen: eine Breite eines ersten Straßensegments der Mehrzahl von Straßensegmente zu bestimmen; und die First-Person-View-Karte umfassend das erste Straßensegment mit der bestimmten Breite zu erstellen.