DE102017125493A1

DE102017125493A1 - Verkehrszeichenerkennung

Info

Publication number: DE102017125493A1
Application number: DE102017125493.5A
Authority: DE
Inventors: Collin Kappauf; Andrew Richardson
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2016-11-03
Filing date: 2017-10-30
Publication date: 2018-05-03
Also published as: US20180120857A1; GB201717747D0; RU2017134098A; MX2017013738A; CN108021862B; US10528055B2; GB2558716A; CN108021862A

Abstract

Fahrzeuge können mit Rechenvorrichtungen, Netzwerken, Sensoren und Steuerungen ausgestattet sein, um eine digitale Karte der umgebenden realen Welt zu bestimmen, zu ändern und/oder zu verbessern. In einem Fahrzeug enthaltene Rechenvorrichtungen können die Standorte von Verkehrszeichen in LIDAR-Daten bestimmen. Die Rechenvorrichtungen können Verkehrszeichen in einem oder mehreren Videobildern basierend auf den Standorten der Verkehrszeichen identifizieren und die Verkehrszeichen in eine digitale Karte basierend auf der Identität des Verkehrszeichens und dem Standort des Verkehrszeichens einschließen.

Description

ALLGEMEINER STAND DER TECHNIK
Digitale Karten werden nun verbreitet genutzt für vielfältige Zwecke, einschließlich Überwachung von Verkehrs- und Straßenverhältnissen, Routenplanung, Ortung von Fixpunkten wie z. B. Einzelhandelsunternehmen, Parks, usw., und/oder Navigation eines autonomen oder halbautonomen Fahrzeugs entlang einer Route entsprechend Informationen auf der digitalen Karte. Verkehrszeichen können nützliche Informationen über eine geplante oder potenzielle Fahrtstrecke vermitteln, z. B. Geschwindigkeitsbeschränkungen, Stoppzeichen, Spurwechsel, usw. Allerdings sind digitale Karten häufig veraltet oder ungenau, z. B. weil Schilder nicht richtig auf den digitalen Karten einbezogen wurden, seit einer letzten Aktualisierung Schilder aufgestellt oder entfernt wurden usw., oder die potenzielle Fahrtstrecke noch nicht erfasst wurde, um eine digitale Karte zu ergeben.
Figurenliste

1 ist ein Blockdiagramm eines Beispielfahrzeugs.
2 ist ein Diagramm eines beispielhaften Videobildes einer Straße mit Verkehrszeichen;
3 ist ein Diagramm von beispielhaften LIDAR-Daten mit Verkehrszeichen;
4 ist ein Diagramm von weiteren beispielhaften LIDAR-Daten mit Verkehrszeichen;
5 ist ein Diagramm von noch weiteren beispielhaften LIDAR-Daten mit Verkehrszeichen;
6 ist ein Diagramm eines weiteren beispielhaften Videobildes einer Straße mit Verkehrszeichen;
7 ist ein Diagramm von weiteren beispielhaften Videobildern von Verkehrszeichen;
8 ist ein Ablaufdiagramm eines Prozesses zum Führen eines Fahrzeugs basierend auf Verkehrszeichen;
9 ist ein Ablaufdiagramm eines weiteren Prozesses zum Führen eines Fahrzeugs basierend auf Verkehrszeichen.

DETAILLIERTE BESCHREIBUNG
Fahrzeuge können mit Rechenvorrichtungen, Netzwerken, Sensoren und Steuerungen ausgestattet sein, um eine digitale Karte der umgebenden realen Welt zu bestimmen, zu ändern und/oder zu verbessern. Eine derartige Karte kann für vielfältige Zwecke genutzt werden, z. B. um mögliche Routen zu bestimmen, um ein autonomes Fahrzeug zu führen und/oder um einen Insassen beim Führen eines Fahrzeugs zu unterstützen. Bordsensoren können LIDAR-Sensoren beinhalten, die Daten bereitstellen können, um die Identität und den Standort von Verkehrszeichen zu bestimmen. Die Identität und der Standort von Verkehrszeichen können in der digitalen Karte enthalten sein. Die digitale Karte kann auf einen Servercomputer hochgeladen werden, um Zugriff und Verbreitung zu den vorstehenden oder anderen Zwecken zu ermöglichen.
Fahrzeuge können dazu ausgerüstet sein, sowohl in autonomer als auch in insassengeführter Betriebsart zu funktionieren. Unter halb- oder vollautonomer Betriebsart verstehen wir eine Betriebsart, wobei ein Fahrzeug durch eine Rechenvorrichtung als Bestandteil eines Bordinformationssystems, das Sensoren und Steuerungen aufweist, geführt werden kann. Das Fahrzeug kann mit Insassen besetzt sein oder nicht, aber das Fahrzeug kann in jedem Fall ohne Unterstützung eines Insassen geführt werden. Zu Zwecken dieser Offenbarung ist eine autonome Betriebsart definiert als eine, bei der jedes der Elemente Fahrzeugantrieb (z. B. über einen Antriebsstrang einschließlich eines Verbrennungsmotors und/oder Elektromotors), Bremsen und Lenken von einem oder mehreren Bordcomputern gesteuert werden kann; in einer halbautonomen Betriebsart steuert(steuern) der(die) Bordcomputer eines oder zwei der Elemente Fahrzeugantrieb, Bremsen und Lenken.
Fahrzeuge können mit Rechenvorrichtungen, Netzwerken, Sensoren und Steuerungen ausgestattet sein, um das Fahrzeug zu führen und um Karten der umgebenden realen Welt, einschließlich Merkmalen wie z. B. Straßen, zu bestimmen. Fahrzeuge können geführt und Karten können bestimmt werden basierend auf der Ortung und Identifizierung von Verkehrszeichen in der umgebenden realen Welt. Unter Führen verstehen wir das Lenken der Bewegungen eines Fahrzeugs, um das Fahrzeug zu einem Bestimmungsort zu bewegen.
1 ist ein Diagramm eines Bordinformationssystems 100, das ein Fahrzeug 110 beinhaltet, das in der autonomen („autonom“ allein bedeutet in dieser Offenbarung „vollautonom“) und insassengeführten (ebenfalls bezeichnet als nichtautonome) Betriebsart nach den offenbarten Implementierungen betrieben werden kann. Das Fahrzeug 110 beinhaltet ebenfalls eine oder mehrere Rechenvorrichtungen 115 zur Durchführung von Berechnungen zum Führen des Fahrzeugs 110 während des autonomen Betriebs. Die Rechenvorrichtungen 115 können Informationen über den Betrieb des Fahrzeugs von den Sensoren 116 empfangen.
Die Rechenvorrichtung 115 beinhaltet einen Prozessor und einen Speicher der bekannten Art. Weiterhin beinhaltet der Speicher eine oder mehrere Formen von computerlesbaren Medien und speichert vom Prozessor ausführbare Befehle zum Ausführen verschiedener Vorgänge, einschließlich wie in diesem Schriftstück offenbart. So kann z. B. die Rechenvorrichtung 115 Programmieren beinhalten, um eine oder mehrere von Fahrzeug-Bremsen, -Antrieb (z. B. Steuerungen der Beschleunigung im Fahrzeug 110 durch Regeln von einem oder mehreren von einem Verbrennungsmotor, Elektromotor, Hybridmotor usw.), -Lenkung, -Klimaregelung, - Innen- und/oder Außenbeleuchtung usw. zu betätigen, sowie zu bestimmen, ob und wann die Rechenvorrichtung 115 im Gegensatz zu einem menschlichen Bediener diese Vorgänge steuern soll.
Die Rechenvorrichtung 115 kann mehr als eine Rechenvorrichtung, z. B. Steuerungen oder dergleichen, die im Fahrzeug 110 zum Überwachen und/oder Regeln von verschiedenen Fahrzeugkomponenten enthalten sind, z. B. einem Antriebsstrangregler 112, einem Bremsregler 113, einem Lenkregler 114, usw., enthalten oder z. B. über einen Bordkommunikationsbus, wie nachstehend beschrieben, damit kommunikativ gekoppelt sein. Die Rechenvorrichtung 115 ist allgemein für Kommunikation in einem Bordkommunikationsnetzwerk angeordnet, wie z. B. einem Bus in dem Fahrzeug 110 wie z. B. einem Controller Area Network (CAN) oder dergleichen; das Netz des Fahrzeugs 110 kann drahtgebundenen oder drahtlosen Kommunikationsmechanismus der bekannten Art, z. B. Ethernet oder andere Kommunikationsprotokolle, beinhalten.
Über das Bordnetz kann die Rechenvorrichtung 115 Nachrichten an verschiedene Vorrichtungen im Fahrzeug senden und/oder Nachrichten von den verschiedenen Vorrichtungen empfangen, z. B. Steuerungen, Stellantrieben, Sensoren, usw., einschließlich der Sensoren 116. Alternativ oder zusätzlich in Fällen, in denen die Rechenvorrichtung 115 tatsächlich mehrere Vorrichtungen umfasst, kann das Bordkommunikationsnetzwerk für Kommunikation zwischen Vorrichtungen eingesetzt werden, die in dieser Offenbarung als die Rechenvorrichtung 115 dargestellt werden. Weiterhin, wie nachstehend aufgeführt, können verschiedene Steuerungen oder Sensorelemente Daten an die Rechenvorrichtung 115 über das Bordkommunikationsnetzwerk bereitstellen.
Darüber hinaus kann die Rechenvorrichtung 115 dazu konfiguriert sein, durch eine Fahrzeug-/Infrastruktur- (V/I) -Schnittstelle 111 mit einem Remote-Servercomputer 120, z. B. einem Cloudserver, über ein Netzwerk 130 zu kommunizieren, das, wie nachstehend beschrieben, sich verschiedener drahtgebundener und/oder drahtloser Netzwerktechnologien bedienen kann, z. B. Mobilfunk-, BLUETOOTH®- und drahtgebundener und/oder drahtloser Paketnetzwerke. Die Rechenvorrichtung 115 beinhaltet ebenfalls nichtflüchtigen Speicher der bekannten Art. Die Rechenvorrichtung kann Informationen protokollieren, indem sie die Informationen für späteren Abruf und Übertragung über das Bordkommunikationsnetzwerk und die V/I-Schnittstelle 111 an einen Servercomputer 120 oder ein Nutzer-Mobilgerät 160 im nichtflüchtigen Speicher speichert.
Wie bereits aufgeführt, ist im Allgemeinen in den im Speicher gespeicherten und durch den Prozessor der Rechenvorrichtung 115 ausgeführten Anweisungen das Programmieren für die Betätigung von einer oder mehreren Komponenten des Fahrzeugs 110, z. B. Bremsen, Lenken, Antrieb, usw., ohne Eingreifen eines menschlichen Bedieners enthalten. Durch Nutzung der in der Rechenvorrichtung 115 empfangenen Daten, z. B. der Sensordaten von den Sensoren 116, dem Servercomputer 120, usw., kann die Rechenvorrichtung 115 verschiedene Festlegungen treffen und/oder verschiedene Komponenten und/oder Vorgänge des Fahrzeugs 110 steuern, ohne dass ein Fahrer das Fahrzeug 110 bedient. Beispielsweise kann die Rechenvorrichtung 115 Programmieren beinhalten, um das Betriebsverhalten des Fahrzeugs 110 zu regulieren, wie z. B. Geschwindigkeit, Beschleunigung, Verzögerung, Lenken, usw., sowie taktisches Verhalten wie z. B. einen Abstand zwischen Fahrzeugen und/oder Zeitraum zwischen den Fahrzeugen, minimaler Abstand zwischen den Fahrzeugen beim Spurwechsel, minimales Linksabbiegen über die Gegenfahrbahn, Fahrtzeit bis zum Eintreffen an einem bestimmten Standort und minimale Fahrtzeit an einer Kreuzung (ohne Verkehrssignal) zum Überqueren der Kreuzung.
Der Begriff Steuerungen, wie er in diesem Schriftstück verwendet wird, beinhaltet Rechenvorrichtungen, die typischerweise dazu programmiert sind, ein spezifisches Fahrzeug-Teilsystem zu steuern. Beispiele hierfür umfassen einen Antriebsstrangregler 112, einen Bremsregler 113 und einen Lenkregler 114. Eine Steuerung kann eine elektronische Steuereinheit (ECU) der bekannten Art sein, die möglicherweise zusätzliches Programmieren beinhaltet, wie in diesem Schriftstück beschrieben. Die Steuerungen können kommunikativ mit der Rechenvorrichtung 115 verbunden sein und von ihr Anweisungen empfangen, um das Teilsystem entsprechend den Anweisungen zu betätigen. Beispielsweise kann der Bremsregler 113 Anweisungen von der Rechenvorrichtung 115 empfangen, um die Bremsen des Fahrzeugs 110 zu betätigen.
Der eine oder die mehreren Steuerungen 112, 113, 114 für das Fahrzeug 110 können bekannte elektronische Steuereinheiten (ECU) oder dergleichen beinhalten, einschließlich, im Sinne nicht einschränkender Beispiele, einen oder mehrere Antriebsstrangregler 112, einen oder mehrere Bremsregler 113 und einen oder mehrere Lenkregler 114. Jeder der Steuerungen 112, 113, 114 kann entsprechende Prozessoren und Speicher und einen oder mehrere Stellantriebe beinhalten. Die Steuerungen 112, 113, 114 können programmiert und an einen Kommunikationsbus des Fahrzeugs 110 angeschlossen werden, wie z. B. einen Controller Area Network (CAN) -Bus oder einen Local Interconnect Network (LIN) -Bus, um Anweisungen vom Computer 115 zu empfangen und Stellantriebe basierend auf den Anweisungen zu steuern.
Die Sensoren 116 können eine Vielzahl von Vorrichtungen beinhalten, die dafür bekannt sind, Daten über den Bordkommunikationsbus bereitzustellen. Beispielsweise kann ein an der vorderen Stoßstange (nicht abgebildet) des Fahrzeugs 110 befestigter Radar einen Abstand vom Fahrzeug 110 zu einem nächsten vor dem Fahrzeug 110 befindlichen Fahrzeug bereitstellen, oder ein im Fahrzeug 110 angeordneter Sensor eines globalen Positionierungssystems (GPS) kann geografische Koordinaten des Fahrzeugs 110 bereitstellen. Der vom Radar bereitgestellte Abstand oder die vom GPS-Sensor bereitgestellten geografischen Koordinaten können von der Rechenvorrichtung 115 dazu verwendet werden, das Fahrzeug 110 autonom oder halb autonom zu betreiben.
Das Fahrzeug 110 ist im Allgemeinen ein autonomes Landfahrzeug 110, das drei oder mehr Räder aufweist, z. B. ein Personenwagen, leichter Lastkraftwagen usw. Das Fahrzeug 110 beinhaltet einen oder mehrere Sensoren 116, die V/I-Schnittstelle 111, die Rechenvorrichtung 115 und einen oder mehrere Steuerungen 112, 113, 114.
Die Sensoren 116 können dazu programmiert sein, Daten bezogen auf das Fahrzeug 110 und die Umgebung zu sammeln, in der das Fahrzeug 110 in Betrieb ist. Im Sinne eines Beispiels und nicht einer Einschränkung können die Sensoren 116 beinhalten: z. B. Höhenmesser, Kameras, LiDAR, Radar, Ultraschallsensoren, Infrarotsensoren, Drucksensoren, Beschleunigungsmesser, Gyroskope, Temperatursensoren, Drucksensoren, Hall-Sensoren, optische Sensoren, Spannungssensoren, Stromsensoren, mechanische Sensoren wie z. B. Schalter usw. Die Sensoren 116 können dazu eingesetzt werden, die Umgebung zu erfassen, in der das Fahrzeug 110 betrieben wird, wie z. B. Witterungsbedingungen, die Neigung einer Straße, den Standort einer Straße oder den Standort von benachbarten Fahrzeugen 110. Die Sensoren 116 können weiterhin dazu verwendet werden, dynamische Daten des Fahrzeugs 110 bezüglich Vorgängen des Fahrzeugs 110 zu sammeln, wie z. B. Geschwindigkeit, Lenkwinkel, Motordrehzahl, Bremsdruck, Öldruck, das auf die Steuerungen 112, 113, 114 im Fahrzeug 110 angelegte Leistungsniveau, die Konnektivität zwischen Komponenten und den einwandfreien Zustand der elektrischen und logischen Komponenten des Fahrzeugs 110.
2 ist ein Diagramm eines Videobildes 200, das durch eine z. B. in den Sensoren 116 enthaltene Videokamera aufgenommen wurde. Das Videobild 200 wurde von einer Videokamera aufgenommen, um eine Szene in der realen Welt vorwärts und in der Bewegungsrichtung des Fahrzeugs 110 zu beinhalten, und enthält ein Bild einer Straße 202 und Bilder eines Geschwindigkeitsbeschränkungs-Verkehrszeichens 204, eines Einfahrt-verboten-Verkehrszeichens 206, eines ersten Pfeil-nach-links-Verkehrszeichens 208 und eines zweiten Pfeil-nach-links-Verkehrszeichens 210, die in diesem Schriftstück als Verkehrszeichen 204, 206, 208, 210 bezeichnet werden.
3 ist ein Diagramm von LIDAR-Daten 300, die durch ein LIDAR-System aufgenommen wurden, das z. B. in den Sensoren 116 enthalten ist. LIDAR ist eine Kontraktion von LIght raDAR (LIcht RaDAR) und beinhaltet das Bestimmen von 3D-Reichweiten oder -Abständen zu Punkten in einer Szene durch Senden und Empfangen z. B. von abgetasteten Lichtimpulsen, die von einem Laser stammen können, und Messen der Flugzeit. Das LIDAR-System kann LIDAR-Daten 300 von einer Szene in der realen Welt in allen Richtungen um das Fahrzeug 110 aufnehmen, einschließlich Richtungen, die dem Videobild 200 entsprechen.
Die von der Szene in der realen Welt reflektierten Lichtimpulse erzeugen Rückläufer 302 entlang Abtastlinien, die z. B. durch einen in einem LIDAR-System enthaltenen Laser bestimmt werden können. Die Rückläufer beinhalten die Intensität des Signals und den 3D-Abstand oder die -Reichweite zu den Punkten in der Szene, die vom Laser beim Abtasten der Szene beleuchtet werden. Die LIDAR-Daten 300 können Samples enthalten, die entlang paralleler Abtastlinien in verschiedenen Winkeln aufgenommen wurden, wie in den LIDAR-Daten 300 dargestellt.
Die LIDAR-Daten 300 enthalten das Intensitätssignal und die 3D-Reichweiten oder -Abstände in Verbindung mit den Rückläufern 302. Die 3D-Reichweiten oder -Abstände in Verbindung mit den Rückläufern 302 sind nicht dargestellt. Das Geschwindigkeitsbeschränkungs-Verkehrszeichen 204, das Einfahrt-verboten-Verkehrszeichen 206, das erste Pfeil-nach-links-Verkehrszeichen 208 und das zweite Pfeil-nach-links-Verkehrszeichen 210 bilden Flächen mit Rückläufern von hoher Intensität 304, 306, 308, 310. Verkehrszeichen können Rückläufer von hoher Intensität in den LIDAR-Daten 300 erzeugen, da Verkehrszeichen mit reflektierender Farbe beschichtet sein können, die mikroskopische Lentikularelemente enthalten, die beispielsweise das Verkehrszeichen unabhängig vom Winkel, in dem es beleuchtet und gesehen wird, stark reflektierend machen.
4 ist ein Diagramm der LIDAR-Daten 400, die gefiltert wurden, um alle außer Rückläufern von hoher Intensität 402, 404, 406, 408, 410 in den LIDAR-Daten 400 durch Ausfiltern von Rückläufern von niedriger Intensität zu entfernen. Das Ausfiltern von Rückläufern von niedriger Intensität kann basierend auf einem vorgegebenen Schwellenwert erfolgen oder kann mittels bekannter Techniken für maschinelles Sehen zum Ausfiltern von Rückläufern von niedriger Intensität beispielsweise durch Kombinieren von Schwellenwerten und Werten umgebender Rückläufer erfolgen. Ein Beispiel für Techniken für maschinelles Sehen zum Ausfiltern von Rückläufern von niedriger Intensität kann beispielsweise Schwellenwertbildung mit den LIDAR-Daten 300, gefolgt von morphologischer Verarbeitung umfassen, um isolierte Rückläufer von hoher Intensität zu entfernen.
5 ist ein Diagramm der LIDAR-Daten 500, die mit Clusteranalyse verarbeitet wurden. Clusteranalyse ist eine Technik zum Bestimmen von verbundenen Regionen oder Gruppen in einem räumlichen Bereich durch Messen von statistischen Verteilungen basierend auf Nähe und Ähnlichkeit von Datenpunkten. Zur Durchführung der Clusteranalyse an den LIDAR-Daten 500 sind mehrere verschiedene Techniken bekannt, einschließlich beispielsweise konnektivitätsbasierte, flächenschwerpunktsbasierte, verteilungsbasierte und dichtebasierte Clusteranalyse.
Mit Clusteranalyse können ähnliche Datenpunkte in eine kleine Anzahl von basierend auf Nähekriterien miteinander verbundenen Gruppen gruppiert werden. Die Cluster 504, 506, 508, 510 können beispielsweise in den LIDAR-Daten 500 dadurch bestimmt werden, dass die Rückläufer von hoher Intensität 402, 404, 406, 408, 410 in Cluster basierend auf der Dichte der Rückläufer von hoher Intensität 402, 404, 406, 408, 410 nach vorgegebenen Parametern gruppiert werden, wobei die Cluster 504, 506, 508, 510 bestimmt werden.
Clusteranalyse kann mit Filtern zum Ausfiltern der Cluster 504, 506, 508, 510 kombiniert werden, die kleiner und größer als ein vorgegebener Größenbereich sind. Auf diese Weise können die Cluster 504, 506, 508, 510, die kleiner sind als eine vorgegebenen Größe, aus den LIDAR-Daten 500 ausgefiltert werden, da die Videodaten in Verbindung mit dem Cluster 504, 506, 508, 510 nach vorgegebenen Parametern zu klein sein können, um mit einem der Verkehrszeichen 204, 206, 208, 210 im Zusammenhang zu stehen.
In anderen Fällen können die Cluster 504, 506, 508, 510 groß genug sein, um den Verkehrszeichen 204, 206, 208, 210 zugeordnet zu werden, aber nicht groß genug, um Zeichenerkennung und Abgleichen von Schildern zu unterstützen, da bekannte Techniken zur Durchführung von Zeichenerkennung und Abgleichen von Schildern eine Mindestgröße der Merkmale erfordern können, um erfolgreich zu sein. In noch anderen Fällen können die Cluster 504, 506, 508, 51 groß genug sein, um in Verbindung mit einem der Verkehrszeichen 204, 206, 208, 210 zu stehen, aber die Lage, wie nachstehend definiert, in Verbindung mit den Clustern 504, 506, 508, 510 gibt an, dass Videobilder in Verbindung mit den Standorten der Schilder 604, 606, 608, 610 zu sehr verzerrt wären, um Zeichenerkennung und Abgleich von Schildern zu unterstützen.
Die Cluster 504, 506, 508, 510, die größer als die Verkehrszeichen 204, 206, 208, 210 sind, können nicht ausgefiltert werden, da sie Gruppen von Verkehrszeichen 204, 206, 208, 210 enthalten könnten. Obergrenzen für Größenfilter können vom Standort der Verkehrszeichen 204, 206, 208, 210 abhängig sein. Beispielsweise sind Verkehrszeichen auf Schilderbrücken an geteilten Fernstraßen groß im Vergleich zu den Verkehrszeichen 204, 206, 208, 210 an der Landstraße. Wie nachstehend detaillierter beschrieben, kann die Rechenvorrichtung 115 eine Datenbank in Verbindung mit den Verkehrszeichen 202, 204, 206, 208 unterhalten. Die Datenbank kann Karteninformationen einschließlich erwarteter Größen für die Verkehrszeichen 202, 204, 206, 208 an oder nahe den Standorten, wie nachstehend definiert, der Cluster 504, 506, 508, 510 beinhalten.
In den LIDAR-Daten 500 entsprechen die Cluster 504, 506, 508, 510 jeweils den Verkehrszeichen 204, 206, 208, 210. Clusteranalyse kann mit Ebenenanpassung unter Verwendung von Techniken der kleinsten Quadrate kombiniert werden, beispielsweise um den Standort, die Größe und Lage von am besten passenden Ebenen für jeden Cluster 504, 506, 508, 510 zu bestimmen, wobei Standort definiert ist als die X-, Y- und Z-Koordinaten des Clusters 504, 506, 508, 510 im 3D-Raum, die Größe definiert ist als die Abmessungen der am besten passenden ebenen Formen zu den Clustern 504, 506, 508, 510 und die Lage definiert ist als die Orientierung einer Ebene im 3D-Raum, wie sie durch Rotationen um die X-, Y- und Z-Achsen bestimmt ist.
6 zeigt ein Diagramm eines Videobildes 600 mit den Schilder-Standorten 604, 606, 608, 610. Die Schilder-Standorte 604, 606, 608, 610 werden basierend auf den Clustern 504, 506, 508, 510 bestimmt, die in den LIDAR-Daten 500 durch Clusteranalyse bestimmt werden, wie vorstehend behandelt. Da die LIDAR-Daten 500 3D-Reichweite oder -Abstände beinhalten, sind der Winkel und der Abstand zu den Clustern 504, 506, 508, 510 vom Fahrzeug 110 bekannt. Da der Standort der Videokamera und die Brennweite und optische Vergrößerung des optischen Systems bekannt sind, kann der Standort der Cluster 504, 506, 508, 510 im Videobild 600 z. B. nach bekannten Techniken bestimmt werden. Standort(e) der Clustern 504, 506, 508, 510 kann(können) dann auf dem Videobild 600 mittels bekannter Anzeigetechniken jeweils als die Schilder-Standorte 604, 606, 608, 610 projiziert werden.
Videobilder in Verbindung mit den Schilder-Standorten 604, 606, 608, 610 können isoliert und homografisch transformiert werden, um eine vertikal orientierte Frontalansicht von ebenen Flächen zu erzeugen, die dann auf die Primärseiten der Schilder-Standorte 604, 606, 608, 610 projiziert werden, um die Verkehrszeichen 704, 706, 708, 710 zu erzeugen, die in diesem Schriftstück als Verkehrszeichen 700 bezeichnet werden, wie aus 7 ersichtlich. Die Lage in Verbindung mit jedem der Cluster 504, 506, 508, 510 kann dazu verwendet werden, isolierte Videobilder in Verbindung mit den Verkehrszeichen-Standorten 604, 606, 608, 610 durch homografische Projektion zu „entzerren“, um Verkehrszeichen 700 basierend auf den isolierten Videobildern in Verbindung mit den Verkehrszeichen-Standorten 604, 606, 608, 610 zu erzeugen.
Homografische Projektion ist eine bekannte Technik für maschinelles Sehen, die in diesem Beispiel die isolierten Videobilder in Verbindung mit den Verkehrszeichen-Standorten 604, 606, 608, 610 transformiert und reprojiziert, um sie erscheinen zu lassen, als ob die Kamera, die das Videobild in Verbindung mit den Verkehrszeichen-Standorten 604, 606, 608, 610 aufnimmt, im rechten Winkel zur Primärfläche der Verkehrszeichen 700 gesehen würden, um Zeichenerkennung und Abgleich von Schildern zu unterstützen.
Ein Beispiel für homografische Projektion ist durch Vergleich des Videobildes eines „EINFAHRT-VERBOTEN“-Schildes 606 des Videobildes 600 veranschaulicht, wobei die Primärfläche des „EINFAHRT-VERBOTEN“-Schildes 606 sich in einem Winkel zur Bildebene befindet, was zu einem nicht rechtwinkligen isolierten Videobild in Verbindung mit dem Verkehrszeichen-Standort 606 führt. Ein nichtrechwinkliges isoliertes Videobild in Verbindung mit dem Verkehrszeichen-Standort 606 kann in das rechtwinklige Verkehrszeichen 706 mittels homografischer Projektions-Parameter basierend z. B. auf der bestimmten Lage des Clusters 506 in den LIDAR-Daten 500 transformiert werden.
Homografische Projektionsparameter können den Winkel zwischen einer Senkrechten zur Primärfläche eines Verkehrszeichens 700 und einer Senkrechten zu einer Ebene, die an ein Cluster 504, 506, 508, 510 angepasst ist, und die Größendifferenz beispielsweise zwischen der Primärfläche eines Verkehrszeichens 700 und der Größe einer Ebene, die an ein Cluster 504, 506, 508, 510 angepasst ist, beinhalten. Homografische Projektion kann ein verzerrtes Bild eines Verkehrszeichens 700, das durch Videobilder in Verbindung mit den Schilder-Standorten 604, 606, 608, 610 dargestellt wird, in nicht verzerrte Verkehrszeichen 700 transformieren.
Im Anschluss an homografische Projektion können bekannte Techniken für maschinelles Sehen auf die Verkehrszeichen 700 angewandt werden, um Semantik in Verbindung mit den Verkehrszeichen 700 einschließlich Zeichen, Wörtern, Formen und Farben zu bestimmen. Weitere Semantik in Verbindung mit den Verkehrszeichen 700 beinhaltet Standort und Lage. Die Semantik in Verbindung mit den Verkehrszeichen 700 kann durch Durchführung von Zeichenerkennung und Schilderabgleich an den Verkehrszeichen 700 mit bekannten Techniken für maschinelles Sehen einschließlich optischer Zeichenerkennung (OCR) bestimmt werden, um beispielsweise Zeichen und Wörter zu erkennen, und normalisierte Korrelation, um Formen zu erkennen.
Durch Schilderabgleich kann Semantik beispielsweise in Verbindung mit piktografischen Schildern bestimmt werden. Schilderabgleich kann in Bezug auf unleserlich gewordene Schilder auf wenig störungsanfällige Weise gestaltet werden, indem die Semantik aus der Form und Farbe des Schildes, z. B. Stopp-Schildern oder Vorfahrt-gewähren-Schildern beispielsweise, geschlossen werden kann. Zusätzlich zu Zeichen und Wörtern in Verbindung mit den Verkehrszeichen 700 können beispielsweise auch der Standort und die Lage der Verkehrszeichen 700 bezogen auf das Fahrzeug 110 Information zum Führen bereitstellen.
Beispielsweise können Positionen und Lagen der Verkehrszeichen 700 Standort und Richtung der Straße 202 in Bezug auf das Fahrzeug 110 bestimmen, da ein Standort und eine Lage der Verkehrszeichen 700 bezogen auf die Straße 202 vorgegeben und in einer Datenbank enthalten sein können, die im nichtflüchtigen Speicher in Verbindung mit der Rechenvorrichtung 115 enthalten ist. Basierend auf den Standorten und Lagen der Verkehrszeichen 700 und einer Datenbank von Verkehrszeichen-Standorten und -Lagen kann der Standort und die Lage des Fahrzeugs 110 bezogen auf die Straße 202 bestimmt werden.
Da die Verkehrszeichen 700 innerhalb eines vorgegebenen Bereichs von Abständen in einem vorgegebenen Bereich von Lagen der Straße 202 angeordnet sind, können mangels Datenbankinformationen in Bezug auf Standorte und Lagen der Verkehrszeichen 700 der Standort einer Straße 202 durch Kombinieren der Semantik in Verbindung mit den Verkehrszeichen 700 mit den LIDAR-Daten 300, 400, 500 einschließlich Informationen über die 3D-Reichweite und die Videobilder 200, 600 kombiniert werden, um den Standort der Straße 202 in Bezug auf das Fahrzeug 110 zu bestimmen.
In der Rechenvorrichtung 115 enthaltene Navigationsprozesse können eine Datenbank von Verkehrszeichen-Semantik einschließlich Text, Formen, Designs und Farben in Verbindung mit dem Universum möglicher Verkehrszeichen im nichtflüchtigen Speicher enthalten. Da Verkehrszeichen je Land oder Region einheitlich sind, können Navigationsprozesse aktualisiert werden, um lokale Verkehrszeichen-Semantik durch Bestimmen des Fahrzeugstandorts beispielsweise mit GPS zu beinhalten.
Navigationsprozesse können Befehle und Regeln in Verbindung mit Semantik in Verbindung mit den Verkehrszeichen 700 enthalten, wobei die Befehle Signale beinhalten, die von der Rechenvorrichtung 115 an die Steuerungen 112, 113, 114 gesandt werden, um die Bewegung des Fahrzeugs 110 zu steuern, und die Regeln Grenzwerte beinhalten, die in Zusammenhang mit dem Standort, der Bewegung und dem Betriebszustand des Fahrzeugs gesetzt werden. Von der Semantik in Verbindung mit den Verkehrszeichen 700 bestimmte Befehle und Regeln können durch in der Rechenvorrichtung 115 enthaltene Navigationsprozesse verwendet werden, um einen sicheren Weg und die gesetzlich zulässige Geschwindigkeit zu bestimmen, mit der das Fahrzeug 110 in der realen Welt geführt wird.
Beispielsweise kann die Semantik in Verbindung mit dem Verkehrszeichen 704 in Verbindung mit einer Regel stehen, 50 mph nicht zu überschreiten. Als Reaktion auf diese Regel gibt die Rechenvorrichtung 115 Befehle an die Steuerungen 112, 113, 114 aus, zu bewirken, dass das Fahrzeug 110 mit weniger als 50 mph fährt. Die Semantik in Verbindung mit dem Verkehrszeichen 706 kann in Verbindung mit einer Regel stehen, beispielsweise zu ungünstigen Zeiten nicht rechts abzubiegen. In diesem Fall würde die Rechenvorrichtung 115 an die Steuerungen 112, 113, 114 keine Befehle zum Rechtsabbiegen zu ungünstigen Zeiten ausgeben. Die Semantik in Verbindung mit den Verkehrszeichen 708, 710 kann einer Regel zugeordnet sein, Bewegungen des Fahrzeugs 110 zu entsprechenden Spuren der Straße 202 einzuschränken, und beinhalten, dass die Rechenvorrichtung 115 Befehle zum Linksabbiegen an die Steuerungen 112, 113, 114 ausgibt, um die Geschwindigkeit und Richtung der Bewegungen des Fahrzeugs 110 zum entsprechenden Zeitpunkt zum Linksabbiegen und Verbleiben in einer entsprechenden Spur auf der Straße 202 zu steuern.
8 ist ein Prozessablaufdiagramm eines Prozesses 800 zum Führen der Fahrzeuge 110 im autonomen Betrieb, wie beschrieben in Bezug auf 2-7. Der Prozess 800 kann durch einen Prozessor der Rechenvorrichtung 115 implementiert werden, wobei er als Eingang Informationen von den Sensoren 116 nutzt und beispielsweise über die Steuerungen 112, 113, 114 Anweisungen ausgeführt und Steuersignale gesandt werden. Der Prozess 800 beinhaltet mehrere Schritte, die in der offenbarten Reihenfolge ausgeführt werden. Der Prozess 800 beinhaltet ebenfalls Implementierungen, die weniger Schritte beinhalten, oder kann beinhalten, dass die Schritte in unterschiedlicher Reihenfolge ausgeführt werden.
Der Prozess 800 beginnt bei Schritt 802, wobei die Rechenvorrichtung 115 gemäß dem Prozess 800 die Verkehrszeichen-Standorte 604, 606, 608, 610 in Verbindung mit den Verkehrszeichen 204, 206, 208, 210 in den LIDAR-Daten 500 bestimmt, wie vorstehend in Bezug auf die vorstehenden 3-5 beschrieben. Unter bestimmen verstehen wir: den Standort von Verkehrszeichen identifizieren, berechnen, quantifizieren, finden, lokalisieren, identifizieren oder auf eine beliebige andere Weise bestimmen. Die Verkehrszeichen 204, 206, 208, 210 sind ebene reflektierende Objekte mit Grafiken, die von den Insassen gesehen werden sollen, um sie beim sicheren und legalen Führen von insassengeführten Fahrzeugen zu unterstützen. Die Rechenvorrichtung 115 kann die Verkehrszeichen-Standorte 604, 606, 608, 610 bestimmen, wie vorstehend in Bezug auf 3-5 beschrieben, indem mittels Clusteranalyse der Standort und die Lage der Cluster 504, 506, 508, 510 in den LIDAR-Daten 500 von hoher Intensität bestimmt werden, die den Verkehrszeichen-Standorten 604, 606, 608, 610 entsprechen.
Als Nächstes werden bei Schritt 804 die Verkehrszeichen 700 in den Videobildern 200, 600 basierend auf den Schilder-Standorten 604, 606, 608, 610 identifiziert. Wie vorstehend in Bezug auf 6 behandelt, können die Schilder-Standorte 604, 606, 608, 610, die in den LIDAR-Daten 500 bestimmt wurden, auf das Videobild 600 dazu angewandt werden, um Videobilder der Verkehrszeichen 204, 206, 208, 210 in Verbindung mit den Schilder-Standorten 604, 606, 608, 610 zu isolieren. Die isolierten Videobilder in Verbindung mit den Schilder-Standorten 604, 606, 608, 610 können homografisch transformiert und projiziert werden, wie vorstehend in Bezug auf 6 und 7 beschrieben, um die Verkehrszeichen 700 zu erzeugen.
Die Semantik in Verbindung mit den Verkehrszeichen 700 kann von der Rechenvorrichtung 115 mittels Zeichenerkennung und Abgleich von Schildern bestimmt werden, wie vorstehend in Bezug auf 7 behandelt, um Semantik in Verbindung mit den Verkehrszeichen 700 zu bestimmen. Die Semantik in Verbindung mit den Verkehrszeichen 700 kann beispielsweise Text, Formen, Standorte, Lagen und Farben enthalten. In diesem Beispiel beinhaltet die Semantik in Verbindung mit den Verkehrszeichen 700 beispielsweise „GESCHWINDIGKEITSBESCHRÄNKUNG AUF 50 MPH“, „EINFAHRT VERBOTEN“ und „Pfeil nach links“.
Als Nächstes kann die Rechenvorrichtung 115 bei Schritt 806 die Semantik in Verbindung mit den Verkehrszeichen 704, 706, 708, 710 auf einer digitalen Karte basierend auf der Semantik in Verbindung mit den Verkehrszeichen 700 und den Schilder-Standorten 604, 606, 608, 610 beinhalten. Die Identität der Verkehrszeichen 700 kann basierend auf der Semantik in Verbindung mit den Verkehrszeichen 700 und den Standorten 604, 606, 608, 610 der Verkehrszeichen 700, bestimmt in Bezug auf Fahrzeug 110, auf einer digitalen Karte enthalten sein. Die digitale Karte kann von der Rechenvorrichtung 115 gespeichert werden, um das Fahrzeug 110 zu führen, und zum Remote-Servercomputer 120 oder über die V/I-Schnittstelle 111 hochgeladen werden. Zum Remote-Servercomputer 120 hochgeladene digitale Karten können heruntergeladen und für Routenplanung, zum Führen von Fahrzeugen usw., verwendet werden.
Das Führen eines Fahrzeugs basierend auf einer digitalen Karte kann das Ausführen von Hardware- und Software-Prozessen auf der Rechenvorrichtung 115 beinhalten. Die Rechenvorrichtung 115 kann, wie detaillierter nachstehend in Bezug auf 9 beschrieben, als Eingang eine digitale Karte verwenden, die Identitäten und Standorte in Verbindung mit den Verkehrszeichen 700 beinhaltet, um das Fahrzeug 110 zu führen.
Zusammenfassend kann die Rechenvorrichtung 115 gemäß dem Prozess 800 Verkehrszeichen-Standorte in den LIDAR-Daten 300, 400, 500 durch Ausfiltern von Rückläufern von niedriger Intensität und Bestimmen der Rückläufer-Cluster 504, 506, 508, 510 von hoher Intensität bestimmen. Die Cluster 504, 506, 508, 510 von hoher Intensität werden kombiniert mit den Videobildern 200, 600, um die Semantik in Verbindung mit den Verkehrszeichen 704, 706, 708, 710 zu bestimmen. Die in Verbindung mit den Verkehrszeichen 704, 706, 708, 710 bestimmte Semantik kann zumindest teilweise einen Weg und eine Geschwindigkeit bestimmen, mit der das Fahrzeug 110 sicher und legal in der umgebenden realen Welt fahren kann.
9 ist ein in Bezug auf 2-7 beschriebenes Prozessablaufdiagramm eines Prozesses 900 zum Führen der Fahrzeuge 110 in autonomem Betrieb. Der Prozess 900 kann durch einen Prozessor der Rechenvorrichtung 115 implementiert werden, wobei als Eingang Informationen von den Sensoren 116 verwendet werden und beispielsweise über die Steuerungen 112, 113, 114 Anweisungen ausgeführt und Steuersignale gesandt werden. Der Prozess 900 beinhaltet mehrere Schritte, die in der offenbarten Reihenfolge ausgeführt werden. Der Prozess 900 beinhaltet ebenfalls Implementationen, die weniger Schritte beinhalten, oder kann die die Ausführung der Schritte in unterschiedlicher Reihenfolge beinhalten können.
Der Prozess 900 beginnt bei Schritt 902, wo die Rechenvorrichtung 115 gemäß dem Prozess 900 die LIDAR-Daten 300 einschließlich der Rückläufer 302, 304, 306, 308, 310 sammelt. Wie vorstehend behandelt, ist LIDAR eine Technik zum Senden von abgetasteten Lichtimpulsen, die z. B. von einem Laser stammen können, und Messen der Flugzeit der Impulse zum Bestimmen der 3D-Reichweite oder des -Abstandes zu Punkten in der umgebenden realen Welt.
Jeder Datenpunkt oder jeder Rückläufer 302 in den LIDAR-Daten 300 weist bekanntlich Aspekte einschließlich Reichweite und Intensität auf. Wie vorstehend behandelt, können die Verkehrszeichen 204, 206, 208, 210 aufgrund ihrer speziellen Konstruktion Rückläufer von hoher Intensität in den LIDAR-Daten 300 bereitstellen, wie vorstehend in Bezug auf 3 behandelt.
Als Nächstes kann bei Schritt 904 die Rechenvorrichtung 115 Rückläufer von hoher Intensität 402, 404, 406, 408, 410 in den LIDAR-Daten 400 isolieren, wie in 4 dargestellt, indem sie Rückläufer von niedriger Intensität ausfiltert, wie vorstehend in Bezug auf 4 behandelt.
Als Nächstes kann bei Schritt 906 die Rechenvorrichtung 15 die LIDAR-Daten 500 durch Clusteranalyse zu den Clustern 504, 506, 508, 510 zusammenführen, wie vorstehend in Bezug auf 6 behandelt.
Als Nächstes kann bei Schritt 908 die Rechenvorrichtung 115 die LIDAR-Daten 500 der Cluster 504, 506, 508, 510 filtern, um Cluster zu entfernen, die nicht die vorgegebenen Kriterien erfüllen, um ein Verkehrszeichen darzustellen. Die Cluster 504, 506, 508, 510, die aufgrund von Größe und Form nicht erkennbar wären oder aufgrund der Lage verzerrt wären, können aus den LIDAR-Daten 300, 400, 500 herausgefiltert werden, wie vorstehend in Bezug auf 6 behandelt. Die Cluster 504, 506, 508, 510, die zu groß sind, können durch die Rechenvorrichtung 115 analysiert werden, um zu bestimmen, ob es sich um mehrere Schilder handelt. Vorgegebene Datenbankinformationen, wie vorstehend in Bezug auf 7 und 8 behandelt, können zur Bestimmung der geeigneten Filtergrößen verwendet werden.
Als Nächstes kann bei Schritt 910 die Rechenvorrichtung 115 die Videobilder 200, 600 erfassen. Die Videobilder 200, 600 können erfasst werden durch Videokameras, die in den Sensoren 116 enthalten sind, die im Fahrzeug 110 enthalten sind, wie in diesem Schriftstück behandelt. Die Videobilder 200, 600 können zu bekannten Zeiten und an bekannten Orten entsprechend in den Sensoren 116 enthaltenen Trägheits-Lagesensoren erfasst werden. Wie in Bezug auf 6 beschrieben, kann - da die LIDAR-Daten 300, 400, 500 zu bekannten Zeiten und an bekannten Standorten erfasst werden und die Abtastgeometrie der LIDAR-Daten 300, 400, 500 und die Brennweite und Vergrößerung der Videokameras bekannt sind, die Entsprechung zwischen Standorten auf den Videobildern 200, 600 und Standorten der Cluster 504, 506, 508, 510 auf die bekannte Weise bestimmt werden.
Durch Untersuchung der Cluster 504, 506, 508, 510 kann der beste Zeitpunkt bestimmt werden, um die Videobilder 200, 600 basierend auf der Vorhersage zu erfassen, an dem eine Ansicht der Verkehrszeichen 704, 706, 708, 710 verfügbar sein wird, die die Durchführung der Zeichenerkennung und des Abgleichs von Schildern auf den Videobildern ermöglicht, die beispielsweise mit den Schilderstandorten 604, 606, 608, 610 in Zusammenhang stehen. Mehrere Videobilder 200, 600 können mit mehreren Sätzen von LIDAR-Daten 500 kombiniert werden, um z. B. Ansichten von jedem der Verkehrszeichen 704, 706, 708, 710 zu bestimmen. Die Rechenvorrichtung 115 kann z. B. basierend auf Standort und Lage der Cluster 504, 506, 508, 510 bezogen auf Fahrzeug 110 vorhersagen, innerhalb von welchem Videobild 200 600 von mehreren Videobildern 200 600 welches Cluster 504, 506, 508, 510 welchen Videobildern 200 600 zugeordnet werden kann, um für das Bestimmen der Semantik erfolgreich verarbeitet zu werden.
Als Nächstes kann bei Schritt 912 die Entsprechung zwischen Standorten in den Videobildern 200, 600 und Standorten der Cluster 504, 506, 508, 510 dazu verwendet werden, Videobilder der Standorte der Verkehrszeichen 604, 606, 608, 610 zu isolieren. Das Isolieren von Videobildern von Standorten der Verkehrszeichen 604, 606, 608, 610 ermöglicht der Rechenvorrichtung 115 die Durchführung von rechenintensiven Aufgaben mit der relativ kleinen Anzahl von Pixeln, die in isolierten Videobildern im Zusammenhang mit Standorten der Verkehrszeichen 604, 606, 608, 610 enthalten sind, beispielsweise im Gegensatz zu vollständigen Videobildern 200, 600.
Bei Schritt 914 kann die Rechenvorrichtung sich der Zeichenerkennung und des Abgleichs von Schildern bedienen, um die Semantik in Verbindung mit den Verkehrszeichen 700 zu bestimmen. Wie vorstehend behandelt, beinhaltet die Semantik in Verbindung mit 7 beispielsweise Text, Formen, Standorte, Lagen und Farben. Das Zuordnen der Semantik kann bezogen auf beschädigte oder teilweise unkenntliche Verkehrszeichen 700 auf wenig störungsanfällige Weise gestaltet werden. So kann beispielsweise ein Stoppschild teilweise durch Laub verdeckt sein. Dabei können semantische Zuordnungen beispielsweise auf „die Farbe Rot“ und „ST“ beschränkt werden. Dies kann für eine Rechenvorrichtung 115 ausreichend sein, um ein Stoppschild semantisch zu erkennen.
Bei Schritt 916 kann die Rechenvorrichtung 115 Identitäten der Verkehrszeichen 700 basierend auf der Semantik in Verbindung mit den Verkehrszeichen 700 und den Schilder-Standorten 604, 606, 608, 610 auf einer digitalen Karte beinhalten. Die digitale Karte kann auf einen Remote-Servercomputer 120 über die V/I-Schnittstelle 111 hochgeladen werden. Nach dem Hochladen auf einen Remote-Servercomputer 120 kann die digitale Karte beispielsweise mit anderen digitalen Karten kombiniert werden. Auf einen Remote-Servercomputer 120 hochgeladene digitale Karten können von Nutzern und/oder Fahrzeugen heruntergeladen werden, wie vorstehend beschrieben.
In einem Beispiel können digitale Karten von der Rechenvorrichtung 115 dazu eingesetzt werden, das Fahrzeug 110 zu führen, wie vorstehend in Bezug auf 8 behandelt. Das Navigations-Teilsystem kann eine Karte für die reale Welt in der Nähe, einschließlich Straßen 202 und Objekte, wie beispielsweise Fahrzeuge, unterhalten. Die mit den Verkehrszeichen 700 verbundene Identität und Standorte können zumindest teilweise sichere und legale Wege bestimmen, auf denen das Fahrzeug 110 fahren kann.
Die Verkehrszeichen 700 können es einer Rechenvorrichtung 115 ermöglichen, eine digitale Karte und einen sicheren und/oder legalen Weg zum Bewegen des Fahrzeugs 110 zu bestimmen, zusammen mit einer digitalen Karte, um einen gewünschten Zielort durch Identifizieren der Verkehrszeichen 700 in Echtzeit zu erreichen. Durch Identifizieren und Verstehen der Semantik und somit einer Identität in Verbindung mit den Verkehrszeichen 700 kann es dem Fahrzeug 110 möglich sein, auf dynamische Veränderungen in der Verkehrsregelung, wie z. B. wechselnde Routen und Geschwindigkeiten an Baustellen zu reagieren. Die mit den Verkehrszeichen 700 verbundene Semantik kann zum Aktualisieren der Datenbank und der Karten durch Informationen verwendet werden, die in Echtzeit aus der realen Welt, die das Fahrzeug 110 umgibt, erfasst wurden. Dadurch kann die Rechenvorrichtung 115 das Fahrzeug 110 in dynamischen Verkehrssituationen wie beispielsweise Umleitungen und in beiden Richtungen genutzten Fahrspuren zu führen.
Das Navigations-Teilsystem kann mit dem Servercomputer 120, einem Nutzer-Mobilgerät 160 oder anderen Fahrzeugen 110 z. B. über das Netzwerk 130 und die V/I-Schnittstelle 111 kommunizieren, um digitale Karten zu erhalten, die nach den offenbarten Beispielen konstruiert sind. Mit dem Navigationsprozess verbundene Datenbanken können eine umfassende Bibliothek von Verkehrszeichen 204, 206, 208, 210 speichern und verfügen über gespeicherte Befehle und Regeln, die mit jedem von ihnen in Zusammenhang stehen. GPS- und Trägheitslageninformationen können in den Sensoren 116 enthalten sein, um Fahrzeug 110 auf einer Karte zu orten und die Richtung und eine Geschwindigkeit zu bestimmen, mit der das Fahrzeug beispielsweise fährt.
Bei Schritt 918 kann die mit den Verkehrszeichen 700 verbundene Semantik der Ausgang zur Rechenvorrichtung 115 sein, um das Fahrzeug 110 basierend auf der Semantik in Verbindung mit Verkehrszeichen 700 zu führen. Der in der Rechenvorrichtung 115 enthaltene Prozess des Virtuellen Fahrers kann sich ebenfalls auf die Karten stützen, die vom Navigations-Teilsystem basierend auf der Semantik in Verbindung mit den Verkehrszeichen 700 bestimmt und aktualisiert werden, wie vorstehend in Bezug auf 8 beschrieben.
So kann zum Beispiel das Navigations-Teilsystem einen sicheren und legalen Weg für das Fahrzeug 110 bestimmen, um basierend auf der Semantik in Verbindung mit den Verkehrszeichen 700 zu fahren. Basierend auf der Semantik in Verbindung mit den Verkehrszeichen 704 sollte das Fahrzeug 110 seine Geschwindigkeit auf unter 50 MPH halten. Wenn auch die durch das Navigations-Teilsystem bestimmten Karten eine Straße anzeigen können, die z. B. zum nächsten Verkehrszeichen rechts 706 abzweigt, zeigt die mit dem Verkehrszeichen 706 verbundene Semantik an, dass das Fahrzeug 110 nicht in die Straße einfahren sollte, da die mit dem Verkehrszeichen 706 verbundene Semantik enthält „EINFAHRT VERBOTEN“. Ebenso zeigt die mit den Verkehrszeichen 708, 710 verbundene Semantik an, dass die Straßen nach links abbiegt und das Fahrzeug 110 bereit sein sollte, nach links abzubiegen, um z. B. in der richtigen Fahrspur auf der Straße 202 zu bleiben.
Das Führen eines Fahrzeugs 110 mit dem Computer 115 basierend auf der mit den Verkehrszeichen 700 verbundenen Semantik kann das Unterstützen eines insassengeführten Fahrzeugs 110 beinhalten. So kann z. B. die Rechenvorrichtung 115 bestimmen, dass das insassengeführte Fahrzeug 110 eine durch das Verkehrszeichen 704 bestimmte, ausgeschilderte Geschwindigkeitsbeschränkung überschreitet. Die Rechenvorrichtung 115 kann den Insassen-Fahrzeugführer warnen und/oder Befehle ausgeben, um die Geschwindigkeit von Fahrzeug 110 zu beschränken. Auf ähnliche Weise kann die Rechenvorrichtung 115 den Insassen-Fahrzeugführer davor warnen, nach einem „EINFAHRT VERBOTEN“-Schild nach rechts abzubiegen, und/oder verhindern, dass das Fahrzeug 110 abbiegt, indem sie keine Befehle zum Rechtsabbiegen an die Steuerungen 112, 113, 114 sendet.
Zusammenfassend beschreibt der Prozess 900 einen Prozess zum Sammeln von LIDAR-Daten, Isolieren, Clusterbildung und Filtern der Daten, Erfassen von Videodaten, Isolieren von Videobildern von Verkehrszeichen basierend auf den LIDAR-Daten, Durchführung von OCR und Schildererkennung an den isolierten Videobildern der Verkehrszeichen und Ausgabe von Semantik in Verbindung mit den isolierten Videobildern von Verkehrszeichen durch eine Rechenvorrichtung 115.
Rechenvorrichtungen, wie die in diesem Schriftstück behandelten, beinhalten im Allgemeinen jeweils Anweisungen, die durch eine oder mehrere Rechenvorrichtung(en) ausführbar sind, wie z. B. die vorstehend identifizierten, und zum Ausführen der vorstehend beschriebenen Prozessblöcke oder -Schritte. Die vorstehend behandelten Prozessblöcke können z. B. als computer-ausführbare Anweisungen ausgeführt sein.
Computer-ausführbare Anweisungen können mittels Computerprogrammen, die mit Hilfe einer Vielzahl von Programmierungssprachen und/oder -Technologien generiert wurden, einschließlich u. a. und entweder allein oder in Kombination Java™, C, C++, Visual Basic, Java Script, Perl, HTML usw., kompiliert oder interpretiert werden. Im Allgemeinen empfängt ein Prozessor (z. B. ein Mikroprozessor) Anweisungen, z. B. von einem Speicher, einem computerlesbaren Medium, usw., und führt diese Anweisungen aus, wobei er einen oder mehrere Prozesse durchführt, einschließlich einen oder mehrere der in diesem Schriftstück beschriebenen Prozesse. Derartige Anweisungen und weitere Daten können in Dateien gespeichert und mittels einer Vielzahl von computerlesbaren Medien übertragen werden. Eine Datei in einer Rechenvorrichtung ist im Allgemeinen eine Sammlung von Daten, die auf einem computerlesbaren Medium gespeichert sind, wie z. B. einem Speichermedium, einem Direktzugriffsspeicher usw.
Ein computerlesbares Medium beinhaltet jedes Medium, das an der Bereitstellung von Daten (z. B. Anweisungen), die von einem Computer gelesen werden können, beteiligt ist. Ein derartiges Medium kann zahlreiche Formen aufweisen einschließlich u. a. nichtflüchtige Medien, flüchtige Medien usw. Nichtflüchtige Medien beinhalten z. B. optische oder Magnetplatten und andere persistente Speicher. Flüchtige Medien beinhalten dynamische Direktzugriffsspeicher (DRAM), die typischerweise einen Hauptspeicher stellen. Häufige Formen von computerlesbaren Medien beinhalten z. B. eine Floppy Disk, eine flexible Diskette, Festplatte, Magnetband, ein beliebiges anderes magnetisches Medium, eine CD-ROM, DVD, ein beliebiges anderes optisches Medium, Lochkarten, Papierband, ein beliebiges anderes physisches Medium mit Lochmustern, ein RAM, ein PROM, ein EPROM, ein FLASH-EEPROM, eine(n) beliebige(n) andere(n) Speicherchip oder -Kassette, oder ein beliebiges anderes Medium, von dem ein Computer lesen kann.
Alle in den Ansprüchen verwendeten Begriffe sollen ihre einfachen und normalen Bedeutungen erhalten, so wie sie von einem Fachmann verstanden werden, sofern nicht in diesem Schriftstück ausdrücklich das Gegenteil angegeben ist. So sollte insbesondere die Verwendung von Artikeln im Singular, wie „ein/e/es,“ „der/die/das,“ „genannt/e/s,“ usw. so gelesen werden, dass sie eines oder mehrere der angegebenen Elemente wiedergeben, sofern nicht in einem Anspruch eine ausdrückliche gegenteilige Einschränkung wiedergegeben ist.
Der Begriff „beispielhaft“ ist in diesem Schriftstück in dem Sinn verwendet, dass er ein Beispiel bedeutet, z. B. sollte ein Verweis auf ein „beispielhaftes Widget“ einfach als Verweis auf ein Beispiel eines Widgets gelesen werden.
Das einen Wert oder ein Ergebnis modifizierende Adverb „ungefähr“ bedeutet, dass eine Form, Struktur, Messung, ein Wert, eine Bestimmung, Berechnung usw. von einer genau beschriebenen Geometrie, Entfernung, Messung, einem Wert, einer Bestimmung, Berechnung usw. aufgrund von Mängeln in Materialien, Bearbeitung, Herstellung, Sensormessungen, Berechnungen, Verarbeitungsdauer, Kommunikationsdauer usw. abweichen können.
In den Zeichnungen geben dieselben Bezugszahlen dieselben Elemente an. Weiterhin könnten einige oder alle dieser Elemente ausgetauscht werden. Bezüglich der in diesem Schriftstück beschriebenen Medien, Prozesse, Systeme, Verfahren usw. versteht sich, dass - obwohl die Schritte dieser Prozesse usw. als in einer bestimmten geordneten Abfolge stattfindend beschrieben wurden - diese Prozesse mit den beschriebenen Schritten in einer anderen Reihenfolge als in der hier beschriebenen Reihenfolge durchgeführt werden könnten. Weiterhin versteht sich, dass bestimmte Schritte gleichzeitig durchgeführt werden könnten, dass weitere Schritte hinzugefügt werden könnten oder dass bestimmte in diesem Schriftstück beschriebene Schritte weggelassen werden könnten. Mit anderen Worten: die Beschreibungen der Prozesse in diesem Schriftstück sind zur Veranschaulichung von bestimmten Ausführungsformen bereitgestellt und sollten in keiner Weise so ausgelegt werden, dass sie die beanspruchte Erfindung einschränkten.

Claims

Verfahren, umfassend: Bestimmen eines Standortes eines Verkehrszeichens in LIDAR-Daten; Identifizieren eines Verkehrszeichens in einem oder mehreren Videobildern, basierend auf dem Standort des Verkehrszeichens; und Einschließen des Verkehrszeichens in eine digitale Karte, basierend auf der Identität des Verkehrszeichens und dem Standort des Verkehrszeichens.
Verfahren nach Anspruch 1, weiterhin umfassend: Bestimmen des Standorts des Verkehrszeichens durch: Bestimmen der Standorte von isolierten Rückläufern von hoher Intensität in den LIDAR-Daten; und Bestimmen des Standorts von Verkehrszeichen durch Clusterbildung und Filtern der Standorte von isolierten Rückläufern von hoher Intensität in den LIDAR-Daten.
Verfahren nach Anspruch 2, wobei Rückläufer von hoher Intensität durch retroflektierende Materialien generiert werden.
Verfahren nach Anspruch 1, wobei das Identifizieren des Verkehrszeichens in den Videobildern basierend auf dem Standort des Verkehrszeichens das Isolieren von Videobildern des Verkehrszeichens von den Videobildern basierend auf dem Standort des Verkehrszeichens beinhaltet.
Verfahren nach Anspruch 4, wobei die isolierten Videobilder homografisch projiziert werden.
Verfahren nach Anspruch 5, wobei das Identifizieren des Verkehrszeichens in den isolierten Videobildern basierend auf dem Standort des Verkehrszeichens das Durchführen von Zeichenerkennung und Abgleich von Schildern auf den isolierten Videobildern beinhaltet.
Verfahren nach Anspruch 1, weiterhin umfassend: Hochladen des Verkehrszeichens in eine Rechenvorrichtung und Einschließen des Verkehrszeichens in eine digitale Karte, basierend auf der Identität des Verkehrszeichens und dem Standort des Verkehrszeichens.
Verfahren nach Anspruch 7, weiterhin umfassend: Herunterladen der digitalen Karte aus der Rechenvorrichtung und Führen eines Fahrzeugs basierend auf der digitalen Karte.
Verfahren nach Anspruch 1, weiterhin umfassend das Bestimmen des Standortes des Verkehrszeichens in zwei oder mehr LIDAR-Datensätzen.
Verfahren nach Anspruch 1, weiter umfassend das Führen eines Fahrzeugs basierend auf der digitalen Karte.
Verfahren nach Anspruch 10, wobei das Führen eines Fahrzeugs das Bestimmen der Navigation basierend auf der digitalen Karte beinhaltet.
Verfahren nach Anspruch 5, wobei die homografische Projektion beinhaltet: zuerst Bestimmen von Lagen für die isolierten Videobilder basierend auf LIDAR-Daten, dann Projizieren der isolierten Videobilder, um vertikal orientierte Frontalansichten der isolierten Videobilder zu erzeugen.
Verfahren nach Anspruch 6, wobei Zeichenerkennung und Abgleich von Schildern durch optische Zeichenerkennung und normalisierte Korrelation durchgeführt wird.
Verfahren nach Anspruch 6, wobei Identifizieren des Verkehrszeichens basierend auf der Form des Schildes und der Farbe des Schildes erfolgt.
System, umfassend einen Computer, der dazu programmiert ist, die Verfahren von beliebigen der Ansprüche 1-14 auszuführen.