-
Die Erfindung betrifft ein Verfahren zum Aktualisieren von Attributen in mindestens einer digitalen Karte durch ein Steuergerät. Des Weiteren betrifft die Erfindung ein Steuergerät, ein Computerprogramm sowie ein maschinenlesbares Speichermedium.
-
Stand der Technik
-
Derzeitig verwendeten digitalen Karten, welche auch für automatisierte Fahrfunktionen verwendet werden, weisen eine Vielzahl von Attributen auf. Beispielsweise können die Attribute eine Anzahl von Fahrspuren oder die Art von Fahrspurmarkierungen beinhalten. Derartige digitale Karten liegen üblicherweise in Form eines Navigation Data Standard Formats.
-
Problematisch in derartigen digitalen Karten ist jedoch die mangelnde flächendeckende Verfügbarkeit und Aktualität. Insbesondere ist der Aufwand zum Einbringen oder Aktualisieren von Attributen der digitalen Karten mit einem hohen manuellen Aufwand verbunden.
-
Offenbarung der Erfindung
-
Die der Erfindung zugrunde liegende Aufgabe kann darin gesehen werden, ein Verfahren zum vollautomatischen generieren von Kartenattributen, beispielsweise aus Luftbildaufnahmen eines zu kartographierenden Gebietes, vorzuschlagen.
-
Diese Aufgabe wird mittels des jeweiligen Gegenstands der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand von jeweils abhängigen Unteransprüchen.
-
Nach einem Aspekt der Erfindung wird ein Verfahren zum Aktualisieren von Attributen einer digitalen Karte durch ein Steuergerät bereitgestellt. In einem Schritt wird eine in eine Vielzahl von Abschnitten unterteilte digitale Karte eines Gebietes empfangen. Des Weiteren wird mindestens ein Luftbild und/oder Satellitenbild des Gebietes empfangen. Das Luftbild kann beispielsweise durch Drohnen, Flugzeuge oder Hubschrauber aufgezeichnet werden. Das mindestens eine Satellitenbild kann vorzugsweise durch einen oder mehrere Satelliten aufgezeichnet und für eine weitere Verarbeitung bereitgestellt werden.
-
Das mindestens eine Luftbild und/oder Satellitenbild des Gebietes wird in eine Vielzahl von Segmenten unterteilt, welche geografisch deckungsgleich mit den Kartenabschnitten der digitalen Karte sind. Hierzu können Grenzen der Abschnitte der digitalen Karte auf das Luftbild und/oder Satellitenbild übertragen bzw. übernommen werden. Das Gebiet kann beispielsweise ein Fahrzeugumfeld sein.
-
In einem weiteren Schritt werden die Segmente des mindestens einen Luftbildes und/oder Satellitenbildes in Form einer Eingabe mindestens einem neuronalen Netz zugeführt und durch das mindestens eine neuronale Netz zum Ermitteln von Attributen in den jeweiligen Segmenten ausgewertet. Hierzu erfolgt im Vorfeld ein Training des neuronalen Netzes, sodass die entsprechenden Bildabschnitte des mindestens einen Luftbildes und/oder Satellitenbildes im Hinblick auf die benötigten Attribute, wie beispielsweise Fahrspuranzahl oder Fahrspurbreite, analysiert werden.
-
Die durch das neuronale Netz ermittelten Attribute werden zum Aktualisieren oder zum Vervollständigen von in der digitalen Karte bereits hinterlegten Attributen gespeichert. Die ermittelten Attribute können hierbei direkt in der digitalen Karte gespeichert und den entsprechenden Abschnitten der digitalen Karte zugeordnet werden.
-
Durch das Verfahren kann jedes Segment bzw. sogenannter Link der digitalen Karte in Abschnitte von beispielsweise 10 m x 10 m aufgeteilt werden. Für jeden dieser Abschnitte wird das entsprechende Stück aus den Luftbildaufnahmen bzw. Satellitenbildaufnahmen mittels der vorhandenen Geometrie des Abschnitts bzw. Links aus der digitalen Karte ermittelt. Dieser Teil der Luftbildaufnahme wird anschließend mit dem mindestens einen neuronalen Netz analysiert. Das neuronale Netz erhält hierbei als Input bzw. Eingabe das Segment bzw. Teil der Luftbildaufnahme. Als Output kann das neuronale Netz beispielsweise Informationen über eine Geometrie von Fahrspuren eines Straßenabschnitts innerhalb des Gebietes, Geometrie jeder einzelnen Fahrspur des Straßenabschnittes auf der Luftbildaufnahme, Anzahl von Fahrspuren und dergleichen ermitteln.
-
Die durch das mindestens eine neuronale Netz ermittelten Informationen können anschließend zurück der digitalen Karte zugeführt werden, wo diese Informationen persistiert bzw. gespeichert werden. Alternativ oder zusätzlich können diese Informationen auch in einer separaten Datenbank gespeichert werden.
-
Nach einem weiteren Aspekt der Erfindung wird ein Steuergerät bereitgestellt, wobei das Steuergerät dazu eingerichtet ist, das Verfahren auszuführen. Das Steuergerät kann beispielsweise ein fahrzeugseitiges Steuergerät oder ein fahrzeugexternes Steuergerät sein. Beispielsweise kann das Steuergerät mit einer Fahrzeugsteuerung zum Ausführen von automatisierten Fahrfunktionen verbindbar oder in eine derartige Fahrzeugsteuerung integriert sein. Ein extern ausgestaltetes Steuergerät kann beispielsweise eine fahrzeugexterne Servereinheit sein, welche auf einer Cloud-Technologie basiert. Das Steuergerät kann das Verfahren beispielsweise vor Antritt einer Fahrt eines Fahrzeugs ausführen und somit eine automatisierte Aktualisierung der in der digitalen Karte hinterlegten Attribute realisieren, welche entlang der geplanten Trajektorie vorliegen.
-
Darüber hinaus wird nach einem Aspekt der Erfindung ein Computerprogramm bereitgestellt, welches Befehle umfasst, die bei der Ausführung des Computerprogramms durch einen Computer oder ein Steuergerät diesen veranlassen, das erfindungsgemäße Verfahren auszuführen. Gemäß einem weiteren Aspekt der Erfindung wird ein maschinenlesbares Speichermedium bereitgestellt, auf dem das erfindungsgemäße Computerprogramm gespeichert ist.
-
Durch das Verfahren können die Attribute und Informationen auch von einem nicht-Kartenhersteller für eine Karte generiert werden. Beispielsweise können die aktuellen Informationen über Fahrspuren und Fahrspurmarkierungen bei der Ortung von Fahrzeugen und insbesondere bei der spurgenauen Ortung von Fahrzeugen vorteilhaft sein. Des Weiteren können durch das Verfahren digitale Karten für hochautomatisiertes Fahren automatisch aktualisiert werden.
-
Das Verfahren ermöglicht für eine bereits vorliegende digitale Karte das Ermitteln von neuen Attributen aus einer vollautomatischen Analyse von Luftbildaufnahmen. Eine derartige digitale Karte kann beispielsweise Straßen als eine Menge von Straßenabschnitten in Form von Links oder Kartenabschnitten darstellen. Die neuen Attribute können für jeden Kartenabschnitte eine Anzahl der Fahrspuren pro Kartenabschnitt, eine Art der Fahrspurmarkierungen, wie beispielsweise durchgezogen, gestrichelt, weiß gefärbt, gelb gefärbt und eine Konnektivität der Fahrspuren auf unterschiedlichen Kartenabschnitten beschreiben. Die Konnektivität der Fahrspuren beschreibt ein Aufspalten von Fahrspuren in mehrere oder ein Verbinden von mehreren Fahrspuren zu einer Fahrspur.
-
Nach einer Ausführungsform werden die durch das neuronale Netz ermittelten Attribute in der digitalen Karte oder in einer externen Datenbank gespeichert. Hierdurch können die ermittelten Attribute direkt der digitalen Karte zugeführt und mit den entsprechenden Kartenabschnitten verknüpft werden oder über eine externe Datenbank Kartenbetreibern bereitgestellt werden.
-
Gemäß einem weiteren Ausführungsbeispiel ist die digitale Karte in eine Vielzahl von Kartenabschnitten unterteilt, welche auf das mindestens eine Luftbild und/oder Satellitenbild des Gebietes übertragen werden, wobei jeder auf das mindestens eine Luftbild und/oder Satellitenbild übertragene Kartenabschnitt des Gebiets in Segmente unterteilt und jedes Segment durch das neuronale Netz ausgewertet wird. Die geometrischen Eigenschaften der Kartenabschnitte aus der digitalen Karte werden somit zum Erstellen von Segmenten verwendet, welche eine kleinere Fläche aufweisen als die Kartenabschnitte. Insbesondere kann jeder Kartenabschnitt aus mehreren Segmenten bestehen. Die Position und die Größe der Segmente werden anschließend übernommen, um der digitalen Karte korrespondierende Segmente aus dem Luftbild und/oder Satellitenbild zu extrahieren. Die aus dem Luftbild und/oder Satellitenbild extrahierten Segmente können anschließend durch das mindestens eine neuronale Netz ausgewertet werden.
-
Die mindestens eine digitale Karte liegt vorzugsweise in einem bereits segmentierten Zustand vor und ist somit aus einer Vielzahl an Segmenten aufgebaut, welche entsprechend den Kartenabschnitten oder in Form von kleineren Segmenten ausgestaltet werden können.
-
Nach einer weiteren Ausführungsform weisen die Segmente des mindestens einen Luftbildes und/oder Satellitenbildes konstante oder variable Abmessungen und/oder eine Form auf, wobei die Abmessungen und/oder Form der Segmente abhängig von der aufgezeichneten Situation des mindestens einen Luftbildes und/oder Satellitenbildes angepasst wird. Hierdurch kann die Größe der Segmente mit gleicher bzw. fixer Kantenlänge gewählt werden. Alternativ kann die Kantenlänge oder die Form der Segmente entsprechend der im Gebiet vorliegenden Situation angepasst werden. Beispielsweise kann die Kantenlänge der Segmente im Bereich von Verkehrskreuzungen verringert und auf Autobahnabschnitten vergrößert werden.
-
Gemäß einem weiteren Ausführungsbeispiel ist das mindestens eine Attribut eines Segments als eine Geometrie mindestens einer Fahrspur, ein Verlauf einer Mittellinie mindestens einer Fahrspur, eine Anzahl von Fahrspuren, eine Art von Fahrspurmarkierungen, ein Verlauf von Fahrspurmarkierungen und/oder als eine Konnektivität von Fahrspuren ausgestaltet. Die Geometrie der mindestens einen Fahrspur kann eine Form, Abmessungen und einen Verlauf der Fahrbahnoberfläche bzw. der befahrbaren Oberfläche der Fahrspur umfassen. Basierend auf den ermittelten Fahrspurmarkierungen kann die Anzahl der Fahrspuren ermittelt werden, welche sich in dem Segment befinden. Ein Verlauf der Fahrspuren kann über einen Verlauf von Mittellinien oder durch einen Verlauf von Fahrspurmarkierungen ermittelt werden.
-
Des Weiteren kann für zwei benachbarte Kartenabschnitte aus der digitalen Karte kann über deren Geometrie der Segmente auf der Luftbildaufnahme zusammen mit der Anzahl der Fahrspuren ermittelt werden, wie die Konnektivität der Fahrspuren untereinander verläuft.
-
Nach einer weiteren Ausführungsform werden Fahrspuren als über mehrere Segmente verlaufend gekennzeichnet, wenn Verläufe von Mittellinien der jeweiligen Fahrspuren sich an einer Grenze zwischen den Segmenten treffen. Hierzu können die extrahierten Segmente entsprechend der Position der korrespondierenden Kartenabschnitte auf der digitalen Karte ausgerichtet und die Fahspurgeometrien bzw. Fahrspurverläufe nachverfolgt. Um zu ermitteln, welche der Fahrspuren zusammengehörig sind, werden in einem nachgelagerten Schritt die Mittellinien der jeweiligen Fahrspuren ermittelt. Wenn sich zwei dieser Mittellinien an den Grenzen der Segmente treffen, so sind die entsprechenden Fahrspuren miteinander verbunden bzw. stellen eine segmentübergreifende Fahrspur dar.
-
Gemäß einem weiteren Ausführungsbeispiel wird für das Ermitteln von mindestens einem Attribut aus dem Segment jeweils ein neuronales Netz verwendet. Hierdurch können auch zwei oder mehr verschiedene neuronale Netze verwendet werden, um jeweils unterschiedliche Attribute aus den Segmenten der Luftbilder und/oder Satellitenbilder abzuleiten. Beispielsweise kann durch ein neuronales Netz die Geometrie der Fahrspuren ermittelt und durch ein zweites neuronales Netz der Typ der Fahrspurmarkierungen bestimmt werden. Hierdurch können auf bestimmte Attribute spezialisierte neuronale Netze eingesetzt werden.
-
Nach einer weiteren Ausführungsform werden aktuell verfügbare Luftbilder und/oder Satellitenbilder des Gebietes zum Aktualisieren von Attributen automatisiert in Segmente unterteilt und durch das mindestens eine neuronale Netz ausgewertet. Hierdurch können Eigenschaften bzw. Attribute für einen Segment einer digitalen Karte generiert werden, in welchem eine automatisierte Unterteilung in Kartenabschnitte mit anschließender vollautomatisierter Ermittlung von Attributen erfolgt. Es kann somit eine automatisierte Aktualisierung von Attributen in digitalen Karten umgesetzt werden. Hierdurch können beispielsweise Baustellen und abweichende Verkehrsführungen rechtzeitig erkannt und in entsprechenden digitalen Karten vermerkt werden.
-
Gemäß einer weiteren Ausführungsform werden die Luftbilder und/oder Satellitenbilder des Gebietes an einen Maßstab und/oder Koordinaten der digitalen Karte angepasst und anschließend in Segmente unterteilt, welche den Abschnitten der digitalen Karte in Abmessungen und Position entsprechen. Hierdurch ist eine direkte Übertragung der Grenzen der Abschnitte und Segmente möglich, wobei die jeweiligen Segmente als Eingabe für das neuronale Netz ohne eine Koordinatentransformation verarbeitet werden. Durch diese Maßnahme kann der Rechenaufwand verringert und die Analyse der Segmente beschleunigt werden.
-
Im Folgenden werden anhand von stark vereinfachten schematischen Darstellungen bevorzugte Ausführungsbeispiele der Erfindung näher erläutert. Hierbei zeigen
- 1 ein schematisches Ablaufdiagramm zum Veranschaulichen des Verfahrens gemäß einer Ausführungsform,
- 2 eine Draufsicht auf ein Luftbild eines Gebietes,
- 3 eine Draufsicht auf zwei Segmente des Gebietes aus 2,
- 4 eine Draufsicht auf zwei Segmente aus 3 mit dargestellten Attributen und
- 5 eine Draufsicht auf die zwei Segmente aus 3 in einem miteinander verbundenen Zustand.
-
Die 1 zeigt ein schematisches Ablaufdiagramm zum Veranschaulichen des Verfahrens 1 gemäß einer Ausführungsform. Das Verfahren 1 kann beispielsweise durch ein, in 2 dargestelltes, Steuergerät 2 ausgeführt werden. Das Steuergerät 2 ist als ein stationäres Steuergerät 2 ausgeführt und ist mit einem maschinenlesbaren Speichermedium 4 gekoppelt. Auf dem maschinenlesbaren Speichermedium 4 ist ein Computerprogramm gespeichert, welches durch das Steuergerät 2 zum Durchführen des Verfahrens 1 ausführbar ist.
-
In einem Schritt 6 wird eine in eine Vielzahl von Kartenabschnitten lj i unterteilte digitale Karte eines Gebietes 3 empfangen. Das Gebiet 3 ist gemäß dem Ausführungsbeispiel als ein Fahrzeugumfeld ausgeführt. Zusätzlich wird mindestens ein Luftbild und/oder Satellitenbild des Gebietes empfangen 7. Ein beispielhaftes Luftbild des Gebietes 3 ist in 2 gezeigt.
-
Das mindestens eine Luftbild und/oder Satellitenbild des Gebietes 3 wird in eine Vielzahl von Segmenten Lj i unterteilt 8, welche geografisch den Kartenabschnitten Ij i der digitalen Karte entsprechen. Hierzu kann die Luftbildaufnahme mit der digitalen Karte im Bereich des Gebietes 3 überlagert werden und die Segmente Lj i extrahiert werden.
-
In einem weiteren Schritt 9 werden die Segmente Lj i des mindestens einen Luftbildes und/oder Satellitenbildes in Form einer Eingabe mindestens einem neuronalen Netz 5, 5.1 zugeführt und durch das mindestens eine neuronale Netz 5, 5.1 zum Ermitteln von Attributen Mj i in den jeweiligen Segmenten Lj i ausgewertet.
-
Die durch das neuronale Netz 5 ermittelten Attribute Mj i werden zum Aktualisieren oder zum Vervollständigen von in der digitalen Karte bereits hinterlegten Attributen gespeichert 10.
-
In einem weiteren Schritt können Konnektivitäten Kj,j+1i zwischen den jeweiligen Segmenten Lj i und den jeweiligen Attributen Mj i ermittelt 11 werden.
-
Die 2 zeigt eine Draufsicht auf ein Luftbild eines Gebietes 3. Das Gebiet 3 weist einen Grenzbereich 14 zwischen zwei Kartenabschnitten 16, 17 einer digitalen Karte auf, welcher in eine Vielzahl von Segmenten Lj i , Lj+1i, Lj+2 i unterteilt ist. Es sind schematisch drei Segmente Lj i , Lj+1 i, Lj+2 i gezeigt, welche entlang einer Straße 12 angeordnet sind. Der Grenzbereich 14 verläuft im dargestellten Ausführungsbeispiel entlang der Straße 12.
-
Die Kartenabschnitte 16, 17 und der Grenzbereich 14 sind zum Veranschaulichen aus einer überlagerten digitalen Karte entnommen. Die Segmente Lj i , Lj+1i, Lj+2 i werden mit einer konstanten oder veränderlichen Kantenlänge 18 beispielhaft entlang des Grenzbereichs 14 ausgewählt.
-
In dem zweiten Schritt 8 des Verfahrens 1 wird jeder Kartenabschnitt 16, 17 oder jeder Grenzbereich 14 bzw. Link Ii der digitalen Karte in Kartenabschnitte fester Länge {I1 i, ..., In i} geteilt. Anschließend wird in einem weiteren Schritt für jeden teilten Kartenabschnitt Ij i ∈ {I1 i, ..., In i} ein Segment bzw. Ausschnitt Lj i um Ij i herum aus der Luftbildaufnahme gewählt. Diese Ausschnitte sind in der 2 verdeutlicht.
-
Um die Eigenschaften bzw. Attribute Mj i für jeden Segment Lj i zu ermitteln, wird ein neuronales Netz 5 verwendet. Dieses neuronale Netz 5 kann in das Steuergerät 2 integriert sein und kann als Input die Segmente Lj i erhalten und aus den Segmenten Lj i die folgenden nicht abschließend genannten Attribute Mj i ermitteln:
- - Geometrie von einzelnen Fahrspuren 19, 20 des Segments Lj i
- - Verlauf von Mittellinien 24
- - Typ der Fahrspurmarkierungen 22
- - Verlauf von Fahrspurmarkierungen 22
-
Zum Verdeutlichen von den Schritten 9, 10 des Verfahrens 1 sind in der 3 und 4 Draufsichten auf zwei beispielhafte Segmente Lj i , Lj+1 i gezeigt, welche mit entsprechenden Attributen Mj i versehen werden.
-
Das neuronale Netz 5 ist beispielhaft als ein neuronales Faltungsnetzwerk mit zusätzlichen vollvermaschten Schichten ausgestaltet, welches zuvor derart trainiert wurde, dass es die hier geforderten Attribute Mj i aus dem Bildmaterial ermittelt. Alternativ kann auch ein anderer Typ von neuronalem Netz 5 gewählt werden.
-
Alternativ oder zusätzlich können auch mindestens zwei verschiedene neuronale Netze 5, 5.1 für unterschiedliche Attribute Mj i verwendet werden. Beispielsweise kann ein neuronales Netz 5 zur Ermittlung der in 4 gezeigten Geometrie Gj i der Fahrspuren 19, 20 der Straße 12 und ein weiteres neuronales Netz 5.1 zur Ermittlung des Typs der Fahrspurmarkierungen 22, Mj i.
-
Das neuronale Netz 5, 5.1 generiert beispielsweise für jeden Input Lj i eine Geometrie Gj i und erstellt eine Liste mit Informationen zu Fahrspurmarkierungen 22, Mj i.
-
In einem weiteren Schritt kann die Geometrie Gj i der Fahrspuren 19, 20 der Straße 12 durch das neuronale Netz 5 ermittelt und in der digitalen Karte farbig bzw. bunt hinterlegt werden. Dies ist in der 4 veranschaulicht.
-
In der 5 ist eine Draufsicht auf die zwei Segmente Lj i , Lj+1 i aus 3 in einem miteinander verbundenen Zustand gezeigt. Es werden an die Geometrie des Grenzbereichs 14 ausgerichtete Fahrspuren 19, 20 von zwei aufeinander folgenden Segmenten Lj i , Lj+1 i dargestellt. Es werden auch die Mittellinien 24 der jeweiligen Fahrspuren 19, 20 illustriert. Treffpunkte 26 der Mittellinien 24 von den jeweiligen Fahrspuren 19, 20 zwischen den unterschiedlichen Segmenten Lj i , Lj+1 1 sind durch Kreise verdeutlicht.
-
In einem weiteren Schritt 11 des Verfahrens 1 kann aus den Geometrien Gj i der Fahrspuren 19, 20 die Konnektivität Kj,j+1i ermittelt werden. Dies geschieht, indem die Fahrspurgeometrien Gj i und Gj+1 i zueinander ausgerichtet werden. Diese Ausrichtung erfolgt über die Geometrie des Grenzbereichs 14, welcher in der digitalen Karte hinterlegt ist. Dieser Vorgang ist in der 5 nach einer Ausrichtung gezeigt, wobei die Fahrspurgeometrien Gj i und Gj+1 i entsprechen den Segmenten Lj i und Lj+1 i ausgerichtet sind.
-
Um zu ermitteln, welche der Fahrspuren 19, 20 zusammengehörig sind, können in einem nachgelagerten Schritt die Mittellinien 24 der jeweiligen Fahrspuren 19, 20 ermittelt werden. Treffen sich an den Grenzen 28 der Segmente Lj i , Lj+1 i zwei dieser Mittellinien 24, so sind die entsprechenden Fahrspuren 19, 20 miteinander verbunden.
-
Abschließend können die zu jedem der Segmente Lj i , Lj+1 i ermittelten Fahrspurmarkierungen Mj i sowie Konnektivitäten Kj,j+1i persistiert werden. Aus diesen Informationen ergibt sich auch automatisch die Anzahl der Fahrspuren 19, 20 pro Straßenabschnitt bzw. pro Segment Lj i .
-
Alternativ zur direkten Ermittlung der Geometrien Gj i der einzelnen Fahrspuren 19, 20 kann durch das neuronale Netz 5 auch eine Lage der Fahrspurmarkierungen 22, 24 im Luftbild ermittelt werden. Aus diesen Positionen können anschließend die Geometrien Gj i der Fahrspuren 19, 20 ermittelt werden. Die Fahrspuren 19, 20 befinden sich beispielsweise jeweils zwischen zwei Fahrspurmarkierungen 22, 24.
-
Alternativ können bei neuen verfügbaren Luftbildern die Attribute Mj i neu ermittelt werden. Im Falle einer Änderung der Attribute Gj i können die geänderten Informationen über einen Funkkanal einer Flotte von Fahrzeugen bereitgestellt werden. Diese Fahrzeuge können somit stets mit aktuellen Informationen über die Anzahl der Fahrspuren 19, 20 und deren Fahrbahnmarkierungen 22, 24 versorgt werden.
