DE102019100497A1 - Lidar-lokalisierung - Google Patents

Lidar-lokalisierung Download PDF

Info

Publication number
DE102019100497A1
DE102019100497A1 DE102019100497.7A DE102019100497A DE102019100497A1 DE 102019100497 A1 DE102019100497 A1 DE 102019100497A1 DE 102019100497 A DE102019100497 A DE 102019100497A DE 102019100497 A1 DE102019100497 A1 DE 102019100497A1
Authority
DE
Germany
Prior art keywords
data
lidar
vehicle
map data
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019100497.7A
Other languages
English (en)
Inventor
Juan Castorena Martinez
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of DE102019100497A1 publication Critical patent/DE102019100497A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87Combinations of systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

Ein System beinhaltet einen Prozessor und einen Speicher, wobei der Speicher Anweisungen beinhaltet, um von dem Prozessor ausgeführt zu werden, um Kartendaten zu bestimmen, nicht kalibrierte LIDAR-Daten zu bestimmen, einen Standort eines Fahrzeugs in den Kartendaten durch Kombinieren der Kartendaten mit den nicht kalibrierten LIDAR-Daten zu bestimmen und das Fahrzeug auf Grundlage des Standorts des Fahrzeugs in den Kartendaten zu betreiben.

Description

  • TECHNISCHES GEBIET
  • Die Offenbarung betrifft den Fahrzeugbetrieb und insbesondere ein System und Verfahren zur LIDAR-Lokalisierung.
  • ALLGEMEINER STAND DER TECHNIK
  • Fahrzeuge können ausgestattet sein, um sowohl in einem autonomen als auch in einem von einem Insassen gesteuerten Modus betrieben zu werden. Fahrzeuge können mit Rechenvorrichtungen, Netzwerken, Sensoren und Steuerungen ausgestattet sein, um Informationen bezüglich der Umgebung des Fahrzeugs zu erfassen und das Fahrzeug auf Grundlage der Informationen zu betreiben. Der sichere und komfortable Betrieb des Fahrzeugs kann vom Erfassen genauer und rechtzeitiger Informationen bezüglich des Standorts des Fahrzeugs abhängen. Daher ist es wichtig, dass Fahrzeugsensoren die möglichst genauesten Daten hinsichtlich des Standorts des Fahrzeugs bereitstellen. Zum Beispiel würde der sichere und komfortable Betrieb des Fahrzeugs verbessert werden, indem das Problem des Erfassens genauer und rechtzeitiger Informationen in Bezug auf den Standort des Fahrzeugs in Bezug auf eine Karte und dadurch in Bezug auf Fahrbahnen und Objekte angegangen wird, während das Fahrzeug auf einer Fahrbahn betrieben wird.
  • KURZDARSTELLUNG
  • Fahrzeuge können ausgestattet sein, um sowohl in einem autonomen als auch in einem von einem Insassen gesteuerten Modus betrieben zu werden. Mit einem halbautonomen oder vollständig autonomen Modus ist ein Betriebsmodus gemeint, bei dem ein Fahrzeug durch eine Rechenvorrichtung als Teil eines Fahrzeuginformationssystems gesteuert werden kann, das Sensoren und Steuerungen aufweist. Das Fahrzeug kann besetzt oder unbesetzt sein, jedoch kann das Fahrzeug in beiden Fällen ohne die Unterstützung eines Insassen gesteuert werden. Für die Zwecke dieser Offenbarung ist ein autonomer Modus als ein Modus definiert, bei dem Antrieb (z. B. über einen Antriebsstrang, der einen Verbrennungsmotor und/oder einen Elektromotor beinhaltet), Bremsung und Lenkung des Fahrzeugs jeweils durch einen oder mehrere Fahrzeugcomputer gesteuert werden; in einem halbautonomen Modus steuert der bzw. steuern die Fahrzeugcomputer eines oder zwei von Antrieb, Bremsung und Lenkung des Fahrzeugs. In einem nichtautonomen Fahrzeug werden keine davon durch einen Computer gesteuert.
  • Eine Schätzung des Standorts eines Fahrzeugs in Bezug auf eine Karte kann von einer Rechenvorrichtung verwendet werden, um beispielsweise ein Fahrzeug auf einer Fahrbahn von einem aktuellen Standort zu einem bestimmten Ziel zu betreiben. Die Rechenvorrichtung kann Daten von Sensoren eingeben, einschließlich globaler Positionierungssysteme (GPS), Trägheitsnavigationssysteme (inertial navigation systems - INS) und Weg- und Geschwindigkeitsmessung, um eine Schätzung von Positionsdaten zu bestimmen, einschließlich des Standorts eines Fahrzeugs in Bezug auf eine Karte. Unter Bezugnahme auf die 1 und 2 bedeutet Weg- und Geschwindigkeitsmessung im Rahmen dieser Offenbarung Bestimmen des Standorts des Fahrzeugs 110 auf Grundlage eines Kilometerzählers und Kompassrichtungsdaten, die von der Rechenvorrichtung 115 aufgezeichnet wurden, von den Sensoren 116. Daten von LIDAR-Sensoren können verwendet werden, um die Genauigkeit der Schätzung eines Standorts des Fahrzeugs in Bezug auf eine Karte durch Bestimmen des Standorts von Objekten, die in der Karte enthalten sind, zu verbessern. Zum Beispiel können Bodenebenen-Kantendaten von einem nicht kalibrierten LIDAR-Sensor verwendet werden, um die Genauigkeit der Schätzung des Fahrzeugstandorts in Bezug auf eine Karte zu verbessern und dadurch den Betrieb des Fahrzeugs durch die Rechenvorrichtung zu verbessern.
  • Hier ist ein Verfahren offenbart, umfassend Bestimmen von Kartendaten, Bestimmen nicht kalibrierter LIDAR-Daten, Bestimmen eines Standorts eines Fahrzeugs in den Kartendaten durch Kombinieren der Kartendaten mit den nicht kalibrierten LIDAR-Daten und Betreiben des Fahrzeugs auf Grundlage des Standorts des Fahrzeugs in den Kartendaten. Bestimmen der Kartendaten kann Bestimmen eines ersten Standorts in Bezug auf die Kartendaten auf Grundlage von Positionssensoren, einschließlich GPS, INS und Weg- und Geschwindigkeitsmessung, beinhalten. Bestimmen der nicht kalibrierten LIDAR-Daten kann Bestimmen von Messungen des Reflexionsvermögens, die Bodenebenen-Rückgabedaten entsprechen, und Ausschließen von Messdaten, die Nicht-Boden-Rückgabedaten entsprechen, beinhalten. Bestimmen der nicht kalibrierten LIDAR-Daten kann orthogonales Projizieren von Messungen des Reflexionsvermögens auf ein 2D-Raster beinhalten. Bestimmen der nicht kalibrierten LIDAR-Daten kann Bestimmen von x- und y-Gradienten der nicht kalibrierten LIDAR-Daten beinhalten. Bestimmen der nicht kalibrierten LIDAR-Daten kann Kombinieren von x- und y-Gradienten der nicht kalibrierten LIDAR-Daten von einer Vielzahl von LIDAR-Scans auf Grundlage des Standorts der LIDAR-Scans beinhalten. Die nicht kalibrierten LIDAR-Daten können fehlende Daten, die als Unendlichkeit codiert sind, beinhalten. Das 2D-Raster kann bei 10 cm in x und y abgetastet werden.
  • Kombinieren der Kartendaten mit den nicht kalibrierten LIDAR-Daten kann Abgleichen der Kartendaten mit den nicht kalibrierten LIDAR-Daten beinhalten, um die Registrierung zwischen den Kartendaten und den nicht kalibrierten LIDAR-Daten zu bestimmen, indem normalisierte gemeinsame Informationen über einen Satz von nahegelegenen Standorten/Positionen zwischen den Kartendaten und den nicht kalibrierten LIDAR-Daten bestimmt werden. Bestimmen des Standorts des Fahrzeugs in Bezug auf die Kartendaten kann Aktualisieren des Standorts durch Verarbeiten der Registrierung zwischen den Kartendaten und den nicht kalibrierten LIDAR-Daten mit einem erweiterten Kalman-Filter beinhalten. Bestimmen der Registrierung zwischen den Kartendaten und den nicht kalibrierten LIDAR-Daten durch Bestimmen normalisierter gemeinsamer Informationen über einen Satz von nahegelegenen Standorten/Positionen kann Bestimmen einer maximalen Übereinstimmung zwischen den Kartendaten und den nicht kalibrierten LIDAR-Daten beinhalten. Die normalisierten gemeinsamen Informationen können als eine Entropie und gemeinsame Entropie zwischen den Kartendaten und den nicht kalibrierten LIDAR-Daten berechnet werden. Bestimmen der Kartendaten kann Bilden eines lokalen Abschnitts von Kartendaten auf Grundlage von Positionsdaten und einer geografischen Region auf Grundlage von nicht kalibrierten LIDAR-Daten beinhalten, wobei die geografische Region ein 2D-Raster ist, das bei 10 cm in x und y abgetastet wird.
  • Ferner wird ein computerlesbares Medium offenbart, auf dem Programmanweisungen zum Ausführen einiger oder aller der vorstehenden Verfahrensschritte gespeichert sind. Ferner ist ein Computer offenbart, der zum Ausführen eines oder aller der vorstehenden Verfahrensschritte programmiert ist, einschließlich einer Computervorrichtung, die dazu programmiert ist, Kartendaten zu bestimmen, nicht kalibrierte LIDAR-Daten zu bestimmen, einen Standort eines Fahrzeugs in den Kartendaten durch Kombinieren der Kartendaten mit den nicht kalibrierten LIDAR-Daten zu bestimmen und das Fahrzeug auf Grundlage des Standorts des Fahrzeugs in den Kartendaten zu betreiben. Bestimmen der Kartendaten kann Bestimmen eines ersten Standorts in Bezug auf die Kartendaten auf Grundlage von Positionssensoren, einschließlich GPS, INS und Weg- und Geschwindigkeitsmessung, beinhalten. Bestimmen der nicht kalibrierten LIDAR-Daten kann Bestimmen von Messungen des Reflexionsvermögens, die Bodenebenen-Rückgabedaten entsprechen, und Ausschließen von Messdaten, die Nicht-Boden-Rückgabedaten entsprechen, beinhalten. Bestimmen der nicht kalibrierten LIDAR-Daten kann orthogonales Projizieren von Messungen des Reflexionsvermögens auf ein 2D-Raster beinhalten. Bestimmen der nicht kalibrierten LIDAR-Daten kann Bestimmen von x- und y-Gradienten der nicht kalibrierten LIDAR-Daten beinhalten. Bestimmen der nicht kalibrierten LIDAR-Daten kann Kombinieren von x- und y-Gradienten der nicht kalibrierten LIDAR-Daten von einer Vielzahl von LIDAR-Scans auf Grundlage des Standorts der LIDAR-Scans beinhalten. Die nicht kalibrierten LIDAR-Daten können fehlende Daten, die als Unendlichkeit codiert sind, beinhalten (zum Beispiel oo). Andere Codierungen, einschließlich einer Nichtzahl (not-a-number - NAN), können die fehlenden Daten derart identifizieren, dass sie nicht gültig und deshalb zur weiteren Verarbeitung nicht zulässig sind. Das 2D-Raster kann bei 10 cm in x und y abgetastet werden. Der Computer kann ferner dazu programmiert sein, die Kartendaten mit den nicht kalibrierten LIDAR-Daten durch Abgleichen der Kartendaten mit den nicht kalibrierten LIDAR-Daten zu kombinieren, um die Registrierung zwischen den Kartendaten und den nicht kalibrierten LIDAR-Daten zu bestimmen, indem normalisierte gemeinsame Informationen über einen Satz von nahegelegenen Standorten/Positionen zwischen den Kartendaten und den nicht kalibrierten LIDAR-Daten bestimmt werden. Der Computer kann ferner dazu programmiert sein, den Standort des Fahrzeugs in Bezug auf die Kartendaten durch Aktualisieren des Standorts durch Verarbeiten der Registrierung zwischen den Kartendaten und den nicht kalibrierten LIDAR-Daten mit einem erweiterten Kalman-Filter zu bestimmen. Der Computer kann ferner dazu programmiert sein, die Registrierung zwischen den Kartendaten und den nicht kalibrierten LIDAR-Daten durch Bestimmen normalisierter gemeinsamer Informationen über einen Satz von nahegelegenen Standorten/Positionen durch Bestimmen einer maximalen Übereinstimmung zwischen den Kartendaten und den nicht kalibrierten LIDAR-Daten zu bestimmen. Die normalisierten gemeinsamen Informationen können als eine Entropie und gemeinsame Entropie zwischen den Kartendaten und den nicht kalibrierten LIDAR-Daten berechnet werden. Bestimmen der Kartendaten kann Bilden eines lokalen Abschnitts von Kartendaten auf Grundlage von Positionsdaten und einer geografischen Region auf Grundlage von nicht kalibrierten LIDAR-Daten beinhalten, wobei die geografische Region ein 2D-Raster ist, das bei 10 cm in x und y abgetastet wird.
  • Figurenliste
    • 1 ist ein Blockdiagramm eines beispielhaften Fahrzeugs.
    • 2 ist eine Abbildung eines beispielhaften Fahrzeugs, welches LIDAR-Sensoren beinhaltet.
    • 3 ist eine Abbildung eines beispielhaften Fahrzeug-LIDAR-Intensitätsbildes von Fahrzeug-LIDAR-Sensoren.
    • 4 ist eine Abbildung eines beispielhaften LIDAR-Gradientenbildes von Fahrzeug-LIDAR-Daten.
    • 5 ist eine Abbildung von beispielhaften LIDAR-Gradientenbildern, die kombiniert sind, um ein ausgegebenes LIDAR-Kantenbild zu bilden.
    • 6 ist eine Abbildung von beispielhaften Kartendaten, LIDAR-Bereichsdaten, LIDAR-Intensitätsdaten und LIDAR-Gradientendaten.
    • 7 ist eine Abbildung einer beispielhaften lokalen Reflexionsvermögenskarte.
    • 8 ist eine Abbildung eines beispielhaften LIDAR-Gradientenbildes.
    • 9 ist ein Ablaufdiagramm eines beispielhaften Prozesses zum Betreiben eines Fahrzeugs auf Grundlage eines Standorts auf Grundlage von LIDAR-Kantendaten.
  • DETAILLIERTE BESCHREIBUNG
  • 1 ist ein Diagramm eines Fahrzeugsystems 100, das ein Fahrzeug 110 beinhaltet, das in einem autonomen („autonom“ bedeutet in dieser Offenbarung alleinstehend „vollautonom“) und einem von einem Insassen gesteuerten (auch als nichtautonom bezeichneten) Modus betrieben werden kann. Das Fahrzeug 110 beinhaltet außerdem eine oder mehrere Rechenvorrichtungen 115 zum Ausführen gespeicherter Anweisungen zum Betätigen von Komponenten des Fahrzeugs 110 (z. B. Bremsen, Lenkung und/oder Antrieb), z. B. zum Steuern des Fahrzeugs 110 während des autonomen Betriebs. Die Rechenvorrichtungen 115 können Informationen bezüglich des Betriebs des Fahrzeugs von den Sensoren 116 empfangen.
  • Die Rechenvorrichtung 115 beinhaltet einen Prozessor und einen Speicher, wie sie bekannt sind. Ferner beinhaltet der Speicher eine oder mehrere Arten von computerlesbaren Medien und speichert Anweisungen, die durch den Prozessor ausführbar sind, um verschiedene Vorgänge durchzuführen, zu denen die hier offenbarten gehören. Zum Beispiel kann die Rechenvorrichtung 115 Programmierung beinhalten, um eines oder mehrere von Bremsung, Antrieb (z. B. Steuerung der Beschleunigung in dem Fahrzeug 110 durch Steuern von einem oder mehreren von einem Verbrennungsmotor, Elektromotor, Hybridmotor usw.), Lenkung, Klimasteuerung, Innen- und/oder Außenleuchten usw. des Fahrzeugs zu betreiben sowie um zu bestimmen, ob und wann die Rechenvorrichtung 115 im Gegensatz zu einem menschlichen Fahrzeugführer derartige Vorgänge steuern soll.
  • Die Rechenvorrichtung 115 kann mehr als eine Rechenvorrichtung beinhalten, z. B. Steuerungen oder dergleichen, die zum Überwachen und/oder Steuern verschiedener Fahrzeugkomponenten in dem Fahrzeug 110 eingeschlossen sind, z. B. eine Antriebsstrangsteuerung 112, eine Bremssteuerung 113, eine Lenksteuerung 114 usw., oder z. B. über einen Fahrzeugkommunikationsbus, wie nachfolgend genauer beschrieben, kommunikativ mit diesen verbunden sein. Die Rechenvorrichtung 115 ist im Allgemeinen zur Kommunikation in einem Fahrzeugkommunikationsnetzwerk angeordnet, das z. B. einen Bus in dem Fahrzeug 110, wie etwa ein Controller Area Network (CAN) oder dergleichen, beinhaltet; das Netzwerk des Fahrzeugs 110 kann zusätzlich oder alternativ drahtgebundene oder drahtlose Kommunikationsmechanismen beinhalten, wie sie bekannt sind, z. B. Ethernet oder andere Kommunikationsprotokolle.
  • Über das Fahrzeugnetzwerk kann die Rechenvorrichtung 115 Nachrichten an verschiedene Vorrichtungen in dem Fahrzeug übertragen und/oder Nachrichten von den verschiedenen Vorrichtungen empfangen, z. B. Steuerungen, Aktoren, Sensoren usw., einschließlich der Sensoren 116. Alternativ oder zusätzlich kann in Fällen, in denen die Rechenvorrichtung 115 tatsächlich mehrere Vorrichtungen umfasst, das Fahrzeugkommunikationsnetzwerk zur Kommunikation zwischen Vorrichtungen verwendet werden, die in dieser Offenbarung als die Rechenvorrichtung 115 dargestellt sind. Ferner können, wie nachstehend erwähnt, verschiedene Steuerungen oder Erfassungselemente, wie etwa die Sensoren 116, Daten über das Fahrzeugkommunikationsnetzwerk an der Rechenvorrichtung 115 bereitstellen. Zusätzlich kann die Rechenvorrichtung 115 zum Kommunizieren durch eine Fahrzeug-Infrastruktur(F-I)-Schnittstelle 111 mit einem Remote-Servercomputer 120, z. B. einem Cloud-Server, über ein Netzwerk 130 konfiguriert sein, das, wie nachstehend beschrieben, verschiedene drahtgebundene und/oder drahtlose Netzwerktechniken, z. B. Mobilfunk, BLUETOOTH® und drahtgebundene und/oder drahtlose Paketnetzwerke, nutzen kann. Die Rechenvorrichtung 115 kann zum Kommunizieren mit anderen Fahrzeugen 110 über die F-I-Schnittstelle 111 konfiguriert sein, indem Fahrzeug-Fahrzeug(F-F)-Netzwerke verwendet werden, die ad hoc zwischen Fahrzeugen 110 in der Nähe gebildet werden oder über infrastrukturbasierte Netzwerke gebildet werden. Die Rechenvorrichtung 115 beinhaltet außerdem nichtflüchtigen Speicher, wie er bekannt ist. Die Rechenvorrichtung 115 kann Informationen protokollieren, indem sie die Informationen zum späteren Abrufen und Übertragen über das Fahrzeugkommunikationsnetzwerk und eine Fahrzeug-Infrastruktur(F-I)-Schnittstelle 111 an einen Servercomputer 120 oder eine mobile Benutzervorrichtung 160 in nichtflüchtigem Speicher speichert.
  • Wie bereits erwähnt, ist in Anweisungen, die in dem Speicher gespeichert sind und durch den Prozessor der Rechenvorrichtung 115 ausgeführt werden können, im Allgemeinen Programmierung zum Betreiben einer oder mehrerer Komponenten des Fahrzeugs 110, z. B. Bremsung, Lenkung, Antrieb usw., ohne Eingreifen eines menschlichen Fahrzeugführers eingeschlossen. Unter Verwendung von in der Rechenvorrichtung 115 empfangenen Daten, z. B. den Sensordaten von den Sensoren 116, dem Servercomputer 120 usw., kann die Rechenvorrichtung 115 ohne einen Fahrer zum Betreiben des Fahrzeugs 110 verschiedene Bestimmungen vornehmen und/oder verschiedene Komponenten und/oder Vorgänge des Fahrzeugs 110 steuern. Zum Beispiel kann die Rechenvorrichtung 115 eine Programmierung zum Regulieren von Betriebsverhalten des Fahrzeugs 110 (d. h. physische Manifestationen des Betriebs des Fahrzeugs 110), wie zum Beispiel Geschwindigkeit, Beschleunigung, Verlangsamung, Lenkung usw., sowie taktischen Verhalten (d. h. Steuerung von Betriebsverhalten typischerweise auf eine Weise, die eine sichere und effiziente Zurücklegung einer Route erreichen soll), wie zum Beispiel eine Entfernung zwischen Fahrzeugen und/oder eine Menge an Zeit zwischen Fahrzeugen, Spurwechsel, ein Mindestabstand zwischen Fahrzeugen, ein minimaler Linksabbiegeweg, eine Zeit bis zur Ankunft an einem konkreten Standort und eine minimale Zeit bis zur Ankunft an einer Kreuzung (ohne Ampel) zum Überqueren der Kreuzung, beinhalten.
  • Im hier verwendeten Sinne beinhaltet der Ausdruck Steuerungen Rechenvorrichtungen, die typischerweise zum Steuern eines bestimmten Fahrzeugteilsystems programmiert sind. Zu Beispielen gehören eine Antriebsstrangsteuerung 112, eine Bremssteuerung 113 und eine Lenksteuerung 114. Eine Steuerung kann eine elektronische Steuereinheit (electronic control unit - ECU) sein, wie sie bekannt ist, die möglicherweise zusätzliche Programmierung, wie hier beschrieben, beinhaltet. Die Steuerungen können kommunikativ mit der Rechenvorrichtung 115 verbunden sein und Anweisungen von dieser empfangen, um das Teilsystem gemäß den Anweisungen zu betätigen. Zum Beispiel kann die Bremssteuerung 113 Anweisungen zum Betreiben der Bremsen des Fahrzeugs 110 von der Rechenvorrichtung 115 empfangen.
  • Die eine oder mehreren Steuerungen 112, 113, 114 für das Fahrzeug 110 können herkömmliche elektronische Steuereinheiten (electronic control units - ECUs) oder dergleichen beinhalten, zu denen als nicht einschränkende Beispiele eine oder mehrere Antriebsstrangsteuerungen 112, eine oder mehrere Bremssteuerungen 113 und eine oder mehrere Lenksteuerungen 114 gehören. Jede der Steuerungen 112, 113, 114 kann entsprechende Prozessoren und Speicher und einen oder mehrere Aktoren beinhalten. Die Steuerungen 112, 113, 114 können mit einem Kommunikationsbus des Fahrzeugs 110 programmiert und verbunden sein, wie etwa einem Controller-Area-Network(CAN)-Bus oder Local-Interconnect-Network(LIN)-Bus, um Anweisungen von dem Computer 115 zu empfangen und Aktoren auf Grundlage der Anweisungen zu steuern.
  • Zu den Sensoren 116 können vielfältige Vorrichtungen gehören, die bekanntlich Daten über den Fahrzeugkommunikationsbus bereitstellen. Zum Beispiel kann ein Radarsensor 116 (nicht gezeigt), der in und/oder an einem vorderen Stoßfänger des Fahrzeugs 110 befestigt ist, einen Abstand des Fahrzeugs 110 zu einem nächsten Fahrzeug vor dem Fahrzeug 110 bereitstellen oder kann einen Sensor des globalen Positionierungssystems (GPS), der in dem Fahrzeug 110 angeordnet ist, geografische Koordinaten des Fahrzeugs 110 bereitstellen. Die durch das Radar und/oder die anderen Sensoren 116 bereitgestellte(n) Entfernung(en) und/oder die durch den GPS-Sensor bereitgestellten geographischen Koordinaten können durch die Rechenvorrichtung 115 verwendet werden, um das Fahrzeug 110 autonom oder halb autonom zu betreiben.
  • Das Fahrzeug 110 ist im Allgemeinen ein landbasiertes autonomes Fahrzeug 110, das drei oder mehr Räder aufweist, z. B. ein Personenkraftwagen, ein Leicht-LKW usw. Das Fahrzeug 110 beinhaltet einen oder mehrere Sensoren 116, die F-I-Schnittstelle 111, die Rechenvorrichtung 115 und eine oder mehrere Steuerungen 112, 113, 114.
  • Die Sensoren 116 können programmiert sein, um Daten in Bezug auf das Fahrzeug 110 und die Umgebung, in der das Fahrzeug 110 betrieben wird, zu sammeln. Beispielsweise und nicht einschränkend können zu den Sensoren 116 z. B. Höhenmesser, Kameras, LIDAR, Radar, Ultraschallsensoren, Infrarotsensoren, Drucksensoren, Beschleunigungsmesser, Gyroskope, Temperatursensoren, Drucksensoren, Hall-Sensoren, optische Sensoren, Spannungssensoren, Stromsensoren, mechanische Sensoren, wie etwa Schalter, usw. gehören. Die Sensoren 116 können dazu verwendet werden, die Umgebung zu erfassen, in der das Fahrzeug 110 betrieben wird; z. B. können die Sensoren 116 Phänomene, wie etwa Wetterbedingungen (Niederschlag, externe Umgebungstemperatur usw.), die Neigung einer Straße, die Stelle einer Straße (z. B. unter Verwendung von Straßenrändern, Spurmarkierungen usw.) oder Standorte von Zielobjekten, wie etwa benachbarten Fahrzeugen 110, erfassen. Die Sensoren 116 können ferner dazu verwendet werden, Daten zu sammeln, zu denen dynamische Daten des Fahrzeugs 110 in Bezug auf Vorgänge des Fahrzeugs 110, wie etwa eine Geschwindigkeit, eine Gierrate, ein Lenkwinkel, eine Motordrehzahl, ein Bremsdruck, ein Öldruck, das auf die Steuerungen 112, 113, 114 in dem Fahrzeug 110 angewendete Leistungsniveau, eine Konnektivität zwischen Komponenten und eine genaue und rechtzeitige Leistung des Fahrzeugs 110 gehören.
  • 2 ist eine Abbildung eines beispielhaften Fahrzeugs, welches LIDAR-Sensoren 202, 204, 206, 208 beinhaltet. Die LIDAR-Sensoren 202, 204, 206, 208 emittieren Lichtimpulse, bei denen es sich um Infrarot (IR) handeln kann. Die LIDAR-Sensoren 202, 204, 206, 208 können IR-Impulse empfangen, die von der Umgebung reflektiert werden, und auf Grundlage der Intensität der empfangenen IR-Impulse eine verstrichene IR-Impulszeit von dem Zeitpunkt der IR-Impulsemission bestimmen. Ein Abstand oder Bereich von einem LIDAR-Sensor 202, 204, 206, 208 zu einer reflektierenden Oberfläche in der Umgebung kann anhand der verstrichenen IR-Impulszeit durch Dividieren der verstrichenen IR-Impulszeit durch das Zweifache der Geschwindigkeit des Lichts c bestimmt werden. Die Berechnung des Abstands auf Grundlage der verstrichenen IR-Impulszeit kann auf der Intensität eines empfangenen IR-Signals beruhen, wobei die Intensität des empfangenen IR-Impulses pro Zeiteinheit in W/s größer als ein vorbestimmter Schwellenwert sein muss, um einen zurückgegebenen Impuls anzugeben und dadurch beispielsweise die Berechnung des Abstands auf Grundlage der verstrichenen IR-Impulszeit zu erlauben.
  • Die LIDAR-Sensoren 202, 204, 206, 208 können einen IR-Laser beinhalten, um die emittierten Impulse zu bilden. IR-Laser können einfach nach unten zu einem kollimierten Strahl fokussiert werden, der eine sehr geringe Streuung aufweist, und können deshalb einen IR-Impuls mit einer kleinen (<1 cm) Fleckgröße projizieren und reflektierte Impulse von Oberflächen bei Abständen von etwa 10 cm bis mehr als 40 Metern detektieren. Die LIDAR-Sensoren 202, 204, 206, 208 können jeweils einen IR-Laser beinhalten, der mit verschiedenen elektromechanischen oder Festkörper-Scannern, einschließlich Spiegelgalvanometern, Prismen und doppelbrechender Kristalle, abgetastet wird, um die IR-Laserimpulse im Raum zu verteilen, um die Sichtfelder 210, 212, 214, 216 zu bilden. Von oben betrachtet, wie in 2, kann ein Sichtfeld 210, 212, 214, 216 ein fächerförmiges Feld sein, das Grenzen einer nützlichen Datenerfassung angibt. Von der Seite aus betrachtet vergrößert ein Sichtfeld 210, 212, 214, 216 das fächerförmige Feld nach oben und unten von einer Ebene parallel zu einer Bodenebene, um ein keilförmiges 3D-Volumen zu enthalten, das Grenzen der nützlichen Datenerfassung angibt. Ein Laserstrahl kann innerhalb dieses 3D-Volumens gelenkt und bei angemessenen Raten abgetastet werden, um Daten in Bezug auf den Bereich oder Abstand zu Objekten innerhalb des 3D-Volumens des Sichtfeldes 210, 212, 214, 216 zurückzugeben.
  • Die Verschiebung von Seite zu Seite und oben nach unten eines Laserstrahls innerhalb des 3D-Volumens eines Sichtfeldes 210, 212, 214, 216 kann um eine zentrale optische Achse, die jedem der LIDAR-Sensoren 202, 204, 206, 208 zugeordnet ist, gemessen werden. Der Winkel dieser zentralen optischen Achse des LIDAR-Sensors 202, 204, 206, 208 in Bezug auf ein Koordinatensystem, das an einem Fahrzeug 110 zentriert ist, kann verwendet werden, um die LIDAR-Datenausgabe von den LIDAR-Sensoren 202, 204, 206, 208 zu kombinieren. Zur Seite gerichtete LIDAR-Sensoren 206, 208 können geneigt oder gekippt werden, um ein Sichtfeld bei einem Winkel zu einer Bodenebene abzutasten. Zur Seite gerichtete LIDAR-Sensoren 206, 208 können geneigt werden, um Sichtfelder 214, 216 bereitzustellen, die Daten für Objekte und Oberflächen näher am Fahrzeug 110 zurückgeben, indem die zur Seite gerichteten LIDAR-Sensoren 206, 208 und dadurch die Sichtfelder 214, 216 nach unten zum Boden auf jeder Seite des Fahrzeugs 110 gekippt werden.
  • 3 ist eine Abbildung eines beispielhaften Fahrzeug-LIDAR-Intensitätsbildes [xϕ] 300 von Fahrzeug-LIDAR-Sensoren 202, 204, 206, 208. Das LIDAR-Intensitätsbild [xϕ] 300 beinhaltet ein Symbol 302, welches ein Fahrzeug 110 darstellt, und LIDAR-Datenpunkte 304 [xϕ]n, wobei n die n-te Zelle des 2D-Rasters oder -Bildes darstellt, wobei ein 2D-Raster eine Anordnung von Punkten ist, das beispielsweise durch die Überschneidungen von zwei Sätzen von parallelen zu senkrechten x- und y-Achsen mit gleichmäßig beabstandeten Linien, 10 cm voneinander, in einer Ebene gebildet wird. Die Punkte stellen Positionen von LIDAR-Datenpunkten [xϕ]n 304 dar, die in Abständen von 10 cm abgetastet werden. Ein 3D-Raster fügt eine dritte Dimension, z, hinzu, die senkrecht zur x,y-Ebene ist. Jedes Vorkommen von LIDAR-Datenpunkten [xϕ]n 304 im LIDAR-Intensitätsbild [xϕ] 300 stellt kombinierte Messungen des Reflexionsvermögens ỹϕ von Impulsenergie, die von der Umgebung um das Fahrzeug 110 zurückgegeben wurde, in dem Bereich dar, der von der Position in den LIDAR-Intensitätsdaten 300 angegeben wird, und wird durch orthografisches Projizieren der Messungen des Reflexionsvermögens ỹϕ von mehreren LIDAR-Sensoren 202, 204, 206, 208 auf einem 2D-Raster in einer X,Y-Ebene parallel zu einer Fahrbahn oder Bodenebene, die das Fahrzeug 110 trägt, gebildet, das in einer Region um ein Fahrzeug 110 zentriert ist und beispielsweise bei Abständen von 10 cm auf X und Y abgetastet wird. Die Messungen des Reflexionsvermögens y ˜ n ϕ ,
    Figure DE102019100497A1_0001
    wobei □ ∈ Φ, sind der Satz aller Messungen des Reflexionsvermögens, und n ist die Zelle im 2D-Raster, in dem die Messungen des Reflexionsvermögens ỹϕ gemäß der folgenden Gleichung kombiniert werden: [ x ϕ ] n = { 1 M n ϕ m = 1 M n ϕ [ y ˜ ϕ ] n  für  n Ω ϕ  für  n Ω ϕ
    Figure DE102019100497A1_0002
    wobei [xϕ]n die n-te Zelle des 2D-Rasters oder -Bildes von LIDAR-Datenpunkten [xϕ]n 304 ist, M n ϕ
    Figure DE102019100497A1_0003
    der Satz von Messungen des Reflexionsvermögens y ˜ n ϕ
    Figure DE102019100497A1_0004
    ist und Ωϕ die 2D-Rasterbereiche von □ ∈ Φ, dem Satz aller Messungen des Reflexionsvermögens, sind. Es ist anzumerken, dass fehlende Reflexionsdaten als ∞ oder NAN codiert werden können und Zellen des LIDAR-Intensitätsbildes [xϕ] 300, die den Wert ∞ oder NAN beinhalten, an keiner weiteren Verarbeitung teilnehmen.
  • Das LIDAR-Intensitätsbild [xϕ] 300 kann verarbeitet werden, um LIDAR-Datenpunkte [xϕ]n 304 zu eliminieren, die sich nicht innerhalb einer vorbestimmten Toleranz, zum Beispiel 10 cm bis 50 cm, einer Bodenebene relativ zum Fahrzeug 110 befinden. Da eine Bodenebene relativ zum Fahrzeug 110 bestimmt wird, sind die Bodenebene und dadurch das 2D-Raster des LIDAR-Intensitätsbildes [xϕ] 300 parallel zur Oberfläche einer Fahrbahn oder anderen Oberflächen, die ein Fahrzeug 110 tragen, wie zum Beispiel Rampen, Brücken und Parkplätze. Die Veränderung der Position, wobei Position den Winkel im Raum einer Ebene in Bezug auf 3D-Weltkoordinaten bedeutet, zwischen 2D-Rastern des LIDAR-Intensitätsbildes [xϕ] 300 wird ignoriert, wenn mehrere 2D-Raster des LIDAR-Intensitätsbildes [xϕ] 300 kombiniert werden. Auf Grundlage des LIDAR-Intensitätsbildes [xϕ] 300, das Informationen bezüglich eines Bereichs in 3D beinhaltet, kann die Rechenvorrichtung 115 LIDAR-Datenpunkte [xϕ]n 304 bereinigen oder löschen, die nicht von einer Bodenebene stammen oder sich innerhalb einer vorbestimmten Toleranz von dieser befinden. Außerdem sind in LIDAR-Datenpunkten [xϕ]n 304 leere Bereiche 306, 308 sichtbar, die durch andere Fahrzeuge in der Nähe des Fahrzeugs 110 verursacht werden, die LIDAR-Datenpunkte [xϕ]n 304 zurückgeben, die sich außerhalb der vorbestimmten Toleranz der 3D-Position einer Bodenebene befinden. Das Kombinieren von Messungen des Reflexionsvermögens y ˜ n ϕ
    Figure DE102019100497A1_0005
    von mehreren LIDAR-Bildern, die zu mehreren Zeitpunkten erfasst werden, um einen Satz von LIDAR-Intensitätsbild [xϕ] 300 zu erzeugen, kann das LIDAR-Intensitätsbild [xϕ] 300 verbessern, indem mehrere Messungen des Reflexionsvermögens y ˜ n ϕ
    Figure DE102019100497A1_0006
    für jeden Punkt im LIDAR-Intensitätsbild [xϕ] 300 bereitgestellt werden, und dadurch die Genauigkeit des LIDAR-Intensitätsbildes [xϕ] 300 verbessern, einschließlich des Ausfüllens der leeren Bereiche 306, 308.
  • 4 ist eine Abbildung beispielhafter LIDAR-Kantendaten 400 von Fahrzeug-LIDAR-Intensitätsdaten 300. Wie vorstehend in Bezug auf 3 erörtert wurde, werden LIDAR-Intensitätsdaten 300 durch die Rechenvorrichtung 115 verarbeitet, um LIDAR-Datenpunkte 304 zu bereinigen, die keiner Bodenebene entsprechen. Die bereinigten LIDAR-Datenpunkte 304 werden mit einem Gradientenoperator sowohl auf X als auch Y verarbeitet, um zwei Gradientenbilder, [Dxx], [Dyx], gemäß der folgenden Gleichung zu bilden: [ D x ] n = ( [ D x x ] n [ D y x ] n ) = ( [ x ] n + N y [ x ] n [ x ] n + 1 [ x ] n )
    Figure DE102019100497A1_0007
    wobei die Gradientenbilder [Dx]n Gradienten sind, die in x- und y- (horizontalen und vertikalen) Richtungen in Bezug auf das 2D-Raster [x] berechnet werden.
  • Das LIDAR-Gradientenbild [Dx] 400 beinhaltet LIDAR-Kantendaten [Dx]n 402, wobei n die n-te Zelle des 2D-Rasters des LIDAR-Gradientenbildes [Dx] 400 angibt. Die LIDAR-Kantendaten [Dx]n 402 beinhalten Merkmale, die als wiederholt auftretende 2D-Muster definiert werden, die beispielsweise von Programmen zum maschinellen Sehen erkennbar sind, einschließlich Fahrbahnmarkierungen 404, 406, 408. Merkmale, die in dieser Art und Weise detektierbar sind, beinhalten Fahrbahnmarkierungen 404, 406, 408, Fahrbahnbegrenzungen und Bordsteine, Fahrwege und Einfahrten und Ausfahrten und Kreuzungen usw. LIDAR-Kantendaten [Dx]n 402 werden auf diese Art und Weise bereinigt und ihre Gradienten werden detektiert, um zu ermöglichen, dass die LIDAR-Kantendaten [Dx]n 402 effizient mit Kartendaten abgeglichen werden, da Datenpunkte, die den Datenpunkten entsprechen, die in bereinigten und gradientendetektierten LIDAR-Kantendaten [Dx]n 402 bleiben, wahrscheinlich in Kartendaten zu finden sind. Im Gegensatz dazu können rohe, nicht verarbeitete LIDAR-Intensitätsdaten [xϕ] 300 LIDAR-Datenpunkte 304 beinhalten, die anderen Fahrzeugen und Strukturen entsprechen, die wahrscheinlich nicht in Kartendaten gerendert werden und deshalb die Wahrscheinlichkeit des Bildens einer Übereinstimmung zwischen LIDAR-Intensitätsdaten [xϕ] 300 und Kartendaten verringern würden. Das Abgleichen bereinigter und gradientendetektierter LIDAR-Kantendaten [Dx]n 402 mit Kartendaten kann schneller und genauer als das Abgleichen roher LIDAR-Intensitätsdaten 300 mit Kartendaten sein.
  • 5 ist eine Abbildung von beispielhaften LIDAR-Gradientenbildern [DxΦ] 400, die kombiniert sind, um ein fusioniertes Größen-LIDAR-Gradientenbild [D̂x] 504 zu bilden. Zuerst werden LIDAR-Intensitätsbilder [xϕ] 300 aus Messungen des Reflexionsvermögens ỹϕ gemäß Gleichung 1 oben gebildet. Jedes LIDAR-Intensitätsbild [xϕ] 300 wird bereinigt, um nur Bodenebenendaten zu enthalten, wie vorstehend in Bezug auf 3 erörtert. Anschließend werden LIDAR-Intensitätsbilder [xϕ] 300 in LIDAR-Gradientenbilder [DxΦ] 400 umgewandelt, indem sie gemäß Gleichung 2 verarbeitet werden, wie in Bezug auf 4 erörtert. Es ist anzumerken, dass jedes LIDAR-Gradientenbild [DxΦ] 400 zwei Gradientenbilder ([Dxx]n, [Dyx]n) beinhaltet. Die LIDAR-Gradientenbilder [DxΦ] 400 werden kombiniert, um ein fusioniertes Gradientengrößen-LIDAR-Kantenbild [Dx] 504 gemäß der folgenden Gleichung zu bilden: [ D ^ x ] = 1 | Φ | ϕ Φ [ D x ϕ ]
    Figure DE102019100497A1_0008
    wobei die LIDAR-Gradientenbilder [DxΦ] 400 über alle ϕ∈Φ, dem Satz der Messungen des Reflexionsvermögens ỹϕ, summiert werden.
  • 6 ist eine Abbildung von beispielhaften Kartendaten 602, dem LIDAR-Bereichsbild 608, LIDAR-Intensitätsbild 614 und LIDAR-Gradientenbild 620. Die Kartendaten 602 können als Farb-, Graustufen- oder Strichzeichnung gerendert werden. Die Kartendaten 602 können vorher in den Speicher der Rechenvorrichtung 115 geladen oder über eine F-I-Schnittstelle 111 von einem Servercomputer 120 heruntergeladen werden. Die Kartendaten 602 sind eine Sammlung von Kartendatenpunkten von einer Quelle, wie etwa GOOGLE™-Karten, die in einer 2D-Darstellung einer bestimmten geografischen Region enthalten sind, wobei eine geografische Region eine Sammlung von angrenzenden Standorten auf der Erdoberfläche, die durch Breitengrad, Längengrad bezeichnet sind, ist. Die geografische Region kann dadurch bestimmt werden, dass die geografische Region rechteckig gemacht wird und alle Standorte enthält, die auf einer geplanten Strecke des Fahrzeugs 110 enthalten sind. Kartendatenpunkte können beispielsweise Kartendatenpunkte von Satellitenbilderdaten, bordseitigem LIDAR und geophysikalischen Daten in Verbindung mit einer bestimmten geografischen Region enthalten. Die Kartendaten 602 können durch Programme zum maschinellen Sehen verarbeitet werden, um beispielsweise Merkmale von Interesse zu identifizieren, die in GOOGLE™-Karten vorhanden sind, einschließlich Fahrbahnen 606 und Brücken 604. Andere Merkmale von Interesse, die auf GOOGLE™-Karten identifiziert werden können, beinhalten Fahrbahnmarkierungen, Fahrbahnbegrenzungen und Bordsteine, Fahrwege und Einfahrten und Ausfahrten und Kreuzungen usw. Diese Merkmale von Interesse erzeugen Datenpunkte in Kartendaten 602, die mit Datenpunkten im LIDAR-Gradientenbild 620 abgeglichen werden können.
  • Das LIDAR-Bereichsbild 608 kann durch orthografisches Projizieren erfasster LIDAR-Bereichsdatenpunkte 614 auf LIDAR-Bereichsdaten 608 auf Grundlage der Sichtfelder 210, 212, 214, 216 in Verbindung mit den LIDARs 202, 204, 206, 208 und des Standorts und der Position des Fahrzeugs 110 gebildet werden, wenn die LIDAR-Bereichsdatenpunkte 614 erfasst wurden. Das LIDAR-Bereichsbild 608 ist ein 2D-Raster, das LIDAR-Datenpunkte 614 beinhaltet, die eine Höhe von LIDAR-Bereichsdatenpunkten 614 über oder unter einer Bodenebene darstellen. Die Rechenvorrichtung 115 kann die Sichtfelder 210, 212, 214, 216 des Standorts und der Position auf Grundlage von Positionssensoren 116, die im Fahrzeug 110 enthalten sind, einschließlich GPS, INS und Weg- und Geschwindigkeitsmessung, und auf Grundlage des Standorts und der Position bestimmen, wobei die Rechenvorrichtung 115 Messungen des Reflexionsvermögens ỹϕ von mehreren LIDAR-Scans, die an mehreren Standorten aufgenommen wurden, orthografisch auf das LIDAR-Bereichsbild 608 projizieren kann, um eine Höhenkarte zu bilden. Das LIDAR-Bereichsbild 608 kann ferner durch Kombinieren von LIDAR-Bereichsdatenpunkten 614 von mehreren erfassten LIDAR-Scans gebildet werden, wenn das Fahrzeug 110 auf einer Fahrbahn 612 oder Brücke 610 betrieben wird. Positionsinformationen von Positionssensoren 116, einschließlich GPS, INS und Weg- und Geschwindigkeitsmessung, können das Fahrzeug 110 mit relativ grober Genauigkeit (8,5-11 m, wie vorstehend erörtert) in Bezug auf die Kartendaten 602, jedoch sehr guter Genauigkeit (Genauigkeit von 10 cm) unter LIDAR-Bereichsdatenpunkten 614 lokalisieren und dadurch das Kombinieren von Messungen des Reflexionsvermögens ỹϕ von mehreren LIDAR-Scans in ein LIDAR-Bereichsbild 608 mit einer relativen Genauigkeit von 10 cm ermöglichen. Relative Genauigkeit bedeutet, dass, während die Positionsgenauigkeit von LIDAR-Bereichsdatenpunkten 614 in Bezug auf Weltkoordinaten unbekannt sein kann, die Positionen von LIDAR-Bereichsdatenpunkten 614 in Bezug aufeinander im LIDAR-Bereichsbild 608 wiederholt innerhalb von 10 cm messbar sind.
  • Messungen des Reflexionsvermögens ỹϕ von Scans durch einen LIDAR-Sensor 202, 204, 206, 208 können kalibriert oder unkalibriert sein. Kalibrierung ist ein Prozess, mit dem ein LIDAR-Sensor 202, 204, 206, 208 an einem Fahrzeug 110 ein Objekt scannt, das an einer vorbestimmten Position innerhalb des Sichtfeldes 210, 212, 214, 216 platziert ist. Ein LIDAR-Bild wird erfasst und die Messungen des Reflexionsvermögens ỹϕ in den LIDAR-Scans, die dem Objekt entsprechen, werden mit der vorbestimmten Position in Verbindung mit dem Objekt verglichen. Durch das Vergleichen erfasster Messungen des Reflexionsvermögens ỹϕ von Objekten mit vorbestimmten Abständen und Winkeln in Bezug auf LIDAR-Sensoren 202, 204, 206, 208, die im Fahrzeug 110 enthalten sind, können eine lineare Umwandlung zwischen reellen Positionskoordinaten, die durch die Rechenvorrichtung 115 unter Verwendung von Positionssensoren 116 bestimmt wurden, und Messungen des Reflexionsvermögens ỹϕ bestimmt werden, die Messungen des Reflexionsvermögens ỹϕ und Informationen zu Fahrzeugstandort und -position in reelle Koordinaten von Kartendaten 602 mit guter Genauigkeit in Bezug auf den Standort des Fahrzeugs 110 umwandeln können. Die lineare Umwandlung kann verwendet werden, um erfasste Messungen des Reflexionsvermögens ỹϕ in reelle Koordinaten mit guter Genauigkeit umzuwandeln. Gute Genauigkeit kann als korrektes Abgleichen umgewandelter Messungen des Reflexionsvermögens ỹϕ mit entsprechenden Datenpunkten in Kartendaten 602 innerhalb von 10 cm oder weniger definiert werden.
  • Kalibrierte LIDAR-Sensoren 202, 204, 206, 208 können ermöglichen, dass LIDAR-Bereichsdatenpunkte 608 verwendet werden, um ein Fahrzeug in Kartendaten 602 mit guter Genauigkeit zu lokalisieren, jedoch kann die Kalibrierung kostenintensiv und zeitaufwendig sein und kann die Einbeziehung eines Experten und teurer zusätzlicher Ausrüstung erfordern. Die Kalibrierung wird typischerweise regelmäßig überprüft und wiederholt, um sicherzustellen, dass die LIDAR-Sensoren 202, 204, 206, 208 kalibriert bleiben. Zum Beispiel können GPS-Daten mit einer Auflösung von 1/1000 pro Minute des Breitengrads und Längengrads erfasst werden. Bei 40° Breitengrad ist eine Minute Breitengrad etwa 111 km und eine Minute Längengrad etwa 85 km. 1/1000 dieser Werte erreicht eine Auflösung von 11 m bzw. 8,5 m. Eine Auflösung von 8,5 bis 11 m ist nicht ausreichend, um ein Fahrzeug 110 auf einer Fahrbahn mit ausreichender Genauigkeit zu lokalisieren, um ein Fahrzeug 110 zu betreiben, um beispielsweise ein Ziel zuverlässig und sicher zu erreichen. Das Bestimmen des Standorts des Fahrzeugs 110 in Bezug auf Kartendaten 602 kann verbessert werden, indem LIDAR-Bereichsdaten 614 mit den Kartendaten 602 korreliert werden. Da die Rechenvorrichtung 115 sehr genaue Daten speichert, einschließlich des Standorts und der Position des Fahrzeugs 110 in Bezug auf LIDAR-Bereichsdaten 614, kann die Rechenvorrichtung 115 einen Standort eines Fahrzeugs 110 in Bezug auf Kartendaten 602 bestimmen, indem eine maximale Korrelation zwischen LIDAR-Bereichsdaten 614 und Kartendaten 602 bestimmt wird. Diese Technik erfordert kalibrierte LIDAR-Sensoren 202, 204, 206, 208, die kalibrierte LIDAR-Bereichsdaten 614 erzeugen.
  • Nicht kalibrierte LIDAR-Sensoren 202, 204, 206, 208 können ein LIDAR-Intensitätsbild 616 mit LIDAR-Datenpunkten 618 mit Positionswerten erzeugen, die eine relative Genauigkeit von mehr als 10 cm in x-, y- und z-Dimensionen aufweisen, wie vorstehend erörtert, jedoch das Fahrzeug 110 nicht zuverlässig innerhalb von 10 cm in Bezug auf reelle Koordinaten lokalisieren. Das LIDAR-Gradientenbild 620 beinhaltet LIDAR-Gradientendatenpunkte 622 auf Grundlage von bereinigten und gradientendetektierten unkalibrierten Bodenebenen-LIDAR-Intensitätsdatenpunkten 618, wie vorstehend in Bezug auf die 3-5 erörtert. LIDAR-Gradientendatenpunkte 622 können mit Punkten von Kartendaten 602 unter Verwendung eines übereinstimmenden Algorithmus kombiniert werden, um das Fahrzeug 110 mit einer Genauigkeit innerhalb von 10 cm auf Grundlage von Techniken, die vorstehend in Bezug auf die 7 und 8 beschrieben sind, zu lokalisieren.
  • 7 ist eine Abbildung einer beispielhaften lokalen Reflexionsvermögenskarte 700. Die lokale Reflexionsvermögenskarte 700 ist ein unkalibriertes LIDAR-Intensitätsbild [xϕ] 300 von einem oder mehreren unkalibrierten LIDAR-Sensoren 202, 204, 206, 208, das von der Rechenvorrichtung 115 verarbeitet wird, um Reflexionsvermögensrückgaben zu bereinigen, die nicht von oder aus der Nähe einer Bodenebene stammen, um eine lokale Reflexionsvermögenskarte 700 zu erzeugen, die einer lokalen geografischen Region um den Standort des Fahrzeugs 110 entspricht. Die lokale Reflexionsvermögenskarte 700 kann wie vorstehend in Bezug auf 4 erörtert verarbeitet werden, um ein LIDAR-Gradientenbild [Dx] 800 (8) zu bilden.
  • 8 ist eine Abbildung eines beispielhaften LIDAR-Gradientenbildes [Dx] 800. Das LIDAR-Gradientenbild [D̂x] 800 beinhaltet eine quadratische Region von 40 m × 40 m, die an einem Fahrzeug 110 zentriert ist und mit einer Auflösung von 10 cm abgetastet wird. Das LIDAR-Gradientenbild [D̂x] 800 wird mit einem lokalen Abschnitt der Kartendaten 602 abgeglichen, der der lokalen geografischen Region entspricht, die im LIDAR-Gradientenbild [Dx] 800 enthalten ist, und zwar auf Grundlage normalisierter gemeinsamer Informationen (normalized mutual information - NMI), um eine geschätzte Registrierung Θ̂ zwischen dG|Ωθ = LIDAR-Gradientenbild [D̂x] 800 und dL = lokaler Abschnitt der Kartendaten 602, der in der lokalen geografischen Region enthalten ist, die im LIDAR-Gradientenbild [Dx] 800 enthalten ist, durch die folgende Gleichung bereitzustellen: Θ ^ = arg max θ Θ { N M I ( d L , d G | Ω θ ) }
    Figure DE102019100497A1_0009
    wobei Θ ein kleiner Positionsnachbarsatz ist, der eine endliche Anzahl an Standorten und Positionen beinhaltet, die um eine/n zentrale/n Standort und Position verteilt sind, auf Grundlage von θ, der Standort-/Positionselemente des Positionsnachbarsatzes Θ, die dG|Ωθ in Bezug auf dL verändern und rotieren. Die Funktion arg maxθ∈Θ führt eine NMI-Registrierungssuche durch Durchlaufen des Standort-/Positionsnachbartsatzes Θ durch, wobei bei jedem Schritt dG|Ωθ in Bezug auf dL verändert und rotiert wird, die NMI-Registrierung berechnet wird und der Standort/die Position ausgewählt wird, der/die die Übereinstimmung zwischen dL und dG|Ωθ maximiert, und zwar gemäß der folgenden Gleichung: N M I ( d L , d G | Ω θ ) = H ( d L ) + H ( d G | Ω θ ) H ( d L , d G | Ω θ )
    Figure DE102019100497A1_0010
    wobei H(dL) und H(dG|Ωθ) die Entropie der Zufallsvariablen A und B sind, normalisiert durch Dividieren der Summe von H(dL) und H(dG|Ωθ) durch H(dL, dG|Ωθ), der gemeinsamen Entropie der Zufallsvariablen dL und dG|Ωθ . Die Entropie kann als ein Maß der Dispersion berechnet werden, das auf die Zufallsvariablen dL und dG|Ωθ einzeln angewandt und auf Kombinationen von Zufallsvariablen dL und dG|Ωθ angewandt wird. Das Maß der Dispersion, das anzuwenden ist, hängt von den zugrundeliegenden Wahrscheinlichkeitsverteilungen der Zufallsvariablen dL und dG|Ωθ einzeln und ihrer Kombination ab. Die Wahrscheinlichkeitsverteilungen der Zufallsvariablen dL und dG|Ωθ können empirisch und ihre Kombination anschließend mathematisch bestimmt werden.
  • Die Gleichung 4 gibt eine geschätzte Registrierung Θ̂ zurück, bei der es sich um die Veränderung und Rotation handelt, die auf das LIDAR-Gradientenbild [Dx] 800 angewandt wurde, was dazu führt, dass das LIDAR-Gradientenbild [Dx] 800 am ehesten mit dem lokalen Abschnitt von Kartendaten 602 übereinstimmt. Die geschätzte Registrierung Θ̂ kann verwendet werden, um das Fahrzeug 110 in Bezug auf die Kartendaten 602 mit einer größeren Genauigkeit als 10 cm zu lokalisieren, indem eine Vielzahl von geschätzten Registrierungen , Θk, {1 ≤ k ≤ N} bestimmt wird und eine Fusion mit Standortschätzungen auf Grundlage von Standortsensoren 116, einschließlich GPS, INS und Weg- und Geschwindigkeitsmessung, unter Verwendung eines erweiterten Kalman-Filters (EKF) durchgeführt wird, um Vorhersagen der geschätzten Registrierung Θ k und geschätzten Summierungsmatrix Σ k gemäß den folgenden Gleichungen zu bilden: Θ ¯ k = F k 1 Θ k 1
    Figure DE102019100497A1_0011
    k = F k 1 k 1 F k 1 T + Q k 1
    Figure DE102019100497A1_0012

    wobei Filter Fk ein Vektor ist, der die Beteiligungen von vorherigen Schätzungen Θk auf Grundlage einer temporalen Verschiebung gewichtet. Θ k und Σ k kann durch Berechnen eines Kalman-Aktualisierungsfaktors Kk gemäß der folgenden Gleichung aktualisiert werden: K k = k H k T ( H k k H k T + R k ) 1
    Figure DE102019100497A1_0013
    wobei Hk Vektoren der Gewichte sind und Rk die entsprechende Unsicherheit ist, die als eine Kostenfunktion auf Grundlage der NMI-Kovarianz aus Gleichung 5 geschätzt wurde. Der Kalman-Aktualisierungsfaktor Kk kann verwendet werden, um Θ k und Σ k bei einem Zeitschritt k gemäß den folgenden Gleichungen zu aktualisieren: Θ k = Θ ¯ k + K k ( z k h k ( Θ ¯ k ) )
    Figure DE102019100497A1_0014
    k = ( I K k H k ) k ( I K k H k ) T + K k R k K k T
    Figure DE102019100497A1_0015
    wobei I die Identitätsmatrix ist, Hk und Rk wie vorstehend sind, hk eine Gewichtungsfunktion bei Zeitschritt k ist und z k = Θ k ^ ,
    Figure DE102019100497A1_0016
    die Ausgabe von der NMI-Registrierung in Gleichung 4. Der Filter Fk kann mit einem geschätzten Standort auf Grundlage der Positionssensoren 116 initialisiert und auf Grundlage von zk aktualisiert werden. Die NMI-Registrierungsstufe, die den Gleichungen 4 und 5 zugeordnet ist, wird mit einer dynamisch gebundenen umfassenden Suche durchgeführt, die adaptiv auf ein 3σ-Fenster um die spätere Verteilung des EKF aktualisiert wird. Dies entspricht einer Auflösung von 20 cm in x- und y-Dimensionen. Die Bestimmung des Standorts des Fahrzeugs 110 in Kartendaten 602 auf Grundlage unkalibrierter LIDAR-Datenpunkte 618 kann die Auflösung der Standortinformationen des Fahrzeugs 110 von 8,5 bis 11 m auf 20 cm oder weniger verbessern.
  • 9 ist eine Abbildung eines Ablaufdiagramms, das in Bezug auf die 1-8 beschrieben ist, eines Prozesses 900 zum Betreiben eines Fahrzeugs auf Grundlage des Bestimmens eines Fahrzeugstandorts. Der Prozess 900 kann durch einen Prozessor der Rechenvorrichtung 115 umgesetzt werden, indem beispielsweise Informationen von den Sensoren 116 als Eingabe herangezogen und Befehle ausgeführt und Steuersignale über die Steuerungen 112, 113, 114 gesendet werden. Der Prozess 900 beinhaltet mehrere Schritte, die in der offenbarten Reihenfolge vorgenommen werden. Der Prozess 900 beinhaltet außerdem Umsetzungen, die weniger Schritte beinhalten, oder kann die Schritte in anderen Reihenfolgen vorgenommen beinhalten.
  • Der Prozess 900 beginnt bei Schritt 902, wo eine Rechenvorrichtung 115 einen lokalen Abschnitt der Kartendaten 602 bestimmt. Der lokale Abschnitt von Kartendaten 602 wird durch die Rechenvorrichtung 115 bestimmt, indem gespeicherte Kartendaten 602 aus dem Speicher abgerufen werden oder Kartendaten 602 von einem Servercomputer 120 heruntergeladen werden, oder durch beides, wie in Bezug auf 6 oben erörtert. Das Bestimmen des lokalen Abschnitts von Kartendaten 602 beinhaltet Bestimmen einer ersten Standortschätzung für das Fahrzeug 110 auf Grundlage von Positionssensoren 116, einschließlich GPS, INS und Weg- und Geschwindigkeitsmessung.
  • Bei Schritt 904 bestimmt die Rechenvorrichtung 115 unkalibrierte LIDAR-Daten, einschließlich unkalibrierter LIDAR-Datenpunkte [xϕ]n 304, auf Grundlage unkalibrierter LIDAR-Sensoren 202, 204, 206, 208, wie vorstehend in Bezug auf die 6-8 oben erörtert. Die unkalibrierten Datenpunkte [xϕ]n 304 werden bereinigt, um nur Bodenebenendaten zu enthalten, gradientendetektiert und kombiniert, um ein unkalibriertes LIDAR-Gradientenbild [Dx] 400 zu bilden.
  • Bei Schritt 906 bestimmt die Rechenvorrichtung 115 einen Standort des Fahrzeugs 110 in Bezug auf die Kartendaten 602 durch Kombinieren des lokalen Abschnitts von Kartendaten 602 mit dem unkalibrierten LIDAR-Gradientenbild [Dx] 400, wie vorstehend in Bezug auf die 7 und 8 erörtert, wobei die Kartendaten 602 in einen lokalen Abschnitt von Kartendaten 602 auf Grundlage der ersten Standortschätzung umgewandelt werden. Die Rechenvorrichtung 115 gleicht dann den lokalen Abschnitt der Kartendaten 602 mit dem unkalibrierten LIDAR-Gradientenbild [Dx] 400 über einen Satz von angrenzenden Positionen ab, um eine geschätzte Registrierung Θ̂ zu bestimmen, die in einen EKF eingegeben werden kann, um eine Standortschätzung für das Fahrzeug 110 in Bezug auf Kartendaten 602 zu bestimmen.
  • Bei Schritt 908 kann die Rechenvorrichtung 115 das Fahrzeug 110 auf Grundlage der Standortschätzung, die bei Schritt 906 bestimmt wurde, betreiben. Die Standortschätzung kann mit einer Genauigkeit von 20 cm bestimmt werden, was bedeutet, dass die gemeldete Standortschätzung des Fahrzeugs 110 in Bezug auf Kartendaten 602 eine Wahrscheinlichkeit von 99,73 %, oder 3σ, dafür aufweist, dass sie innerhalb von 20 cm des wahren Standorts des Fahrzeugs 110 in Bezug auf die Kartendaten 602 ist. Eine Genauigkeit von 20 cm ist eine ausreichende Genauigkeit, um der Rechenvorrichtung 115 zu ermöglichen, das Fahrzeug 110 unter Verwendung von Kartendaten 602 in einer sicheren und komfortablen Weise zu einem Ziel zu fahren. Im Anschluss an diesen Schritt endet der Prozess 900.
  • Rechenvorrichtungen, wie etwa die hier erörterten, beinhalten im Allgemeinen jeweils Befehle, die durch eine oder mehrere Rechenvorrichtungen, wie etwa die vorstehend genannten, und zum Ausführen von Blöcken oder Schritten von vorstehend beschriebenen Prozessen ausführbar sind. Zum Beispiel können die vorstehend erörterten Prozessblöcke als computerausführbare Befehle verkörpert sein.
  • Computerausführbare Befehle können von Computerprogrammen zusammengestellt oder ausgewertet werden, die unter Verwendung einer Vielfalt von Programmiersprachen und/oder -technologien erstellt wurden, einschließlich unter anderem und entweder für sich oder in Kombination Java™, C, C++, Visual Basic, Java Script, Perl, HTML usw. Im Allgemeinen empfängt ein Prozessor (z. B. ein Mikroprozessor) Befehle z. B. von einem Speicher, einem computerlesbaren Medium usw. und führt diese Befehle aus, wodurch er einen oder mehrere Prozesse, einschließlich eines oder mehrerer der hier beschriebenen Prozesse, durchführt. Derartige Befehle und andere Daten können in Dateien gespeichert und unter Verwendung einer Vielfalt von computerlesbaren Medien übertragen werden. Eine Datei in einer Rechenvorrichtung ist im Allgemeinen eine Sammlung von Daten, die auf einem computerlesbaren Medium, wie etwa einem Speichermedium, einem Direktzugriffsspeicher usw., gespeichert ist.
  • Ein computerlesbares Medium schließt ein beliebiges Medium ein, das am Bereitstellen von Daten (z. B. Befehlen), die durch einen Computer gelesen werden können, beteiligt ist. Ein derartiges Medium kann viele Formen annehmen, einschließlich unter anderem nichtflüchtiger Medien, flüchtiger Medien usw. Zu nichtflüchtigen Medien gehören zum Beispiel optische Platten oder Magnetplatten und sonstige dauerhafte Speicher. Flüchtige Medien beinhalten dynamischen Direktzugriffsspeicher (dynamic random access memory - DRAM), der typischerweise einen Hauptspeicher darstellt. Zu gängigen Formen computerlesbarer Medien gehören zum Beispiel eine Diskette, eine Folienspeicherplatte, eine Festplatte, ein Magnetband, ein beliebiges anderes magnetisches Medium, eine CD-ROM, eine DVD, ein beliebiges anderes optisches Medium, Lochkarten, Lochstreifen, ein beliebiges anderes physisches Medium mit Lochmustern, ein RAM, ein PROM, ein EPROM, ein FLASH-EEPROM, ein beliebiger anderer Speicherchip oder eine beliebige andere Speicherkassette oder ein beliebiges anderes Medium, das durch einen Computer ausgelesen werden kann.
  • Allen in den Patentansprüchen verwendeten Ausdrücken soll deren allgemeine und gewöhnliche Bedeutung zukommen, wie sie vom Fachmann verstanden wird, sofern nicht ausdrücklich etwas anderes angegeben ist. Insbesondere ist die Verwendung der Singularartikel, wie etwa „ein“, „eine“, „der“, „die“, „das“ usw., dahingehend auszulegen, dass eines oder mehrere der aufgeführten Elemente genannt wird bzw. werden, es sei denn, ein Patentanspruch enthält ausdrücklich eine gegenteilige Einschränkung.
  • Der Ausdruck „beispielhaft“ wird hier in dem Sinne verwendet, dass er ein Beispiel angibt, z. B. sollte ein Verweis auf eine „beispielhafte Vorrichtung“ einfach als Bezugnahme auf ein Beispiel für eine Vorrichtung gelesen werden.
  • Das einen Wert oder ein Ergebnis modifizierende Adverb „ungefähr“ bedeutet, dass eine Form, eine Struktur, eine Messung, ein Wert, eine Bestimmung, eine Berechnung usw. von einer/einem genau beschriebenen Geometrie, Entfernung, Messung, Wert, Bestimmung, Berechnung usw. aufgrund von Mängeln hinsichtlich Materialien, Bearbeitung, Herstellung, Sensormessungen, Berechnungen, Bearbeitungszeit, Kommunikationszeit usw. abweichen kann.
  • In den Zeichnungen kennzeichnen die gleichen Bezugszeichen die gleichen Elemente. Ferner könnten einige oder alle dieser Elemente geändert werden. Hinsichtlich der hier beschriebenen Medien, Prozesse, Systeme, Verfahren usw. versteht es sich, dass die Schritte derartiger Prozesse usw. zwar als gemäß einer bestimmten Abfolge erfolgend beschrieben worden sind, derartige Prozesse jedoch so umgesetzt werden könnten, dass die beschriebenen Schritte in einer anderen Reihenfolge als der hier beschriebenen Reihenfolge durchgeführt werden. Es versteht sich ferner, dass bestimmte Schritte gleichzeitig durchgeführt, andere Schritte hinzugefügt oder bestimmte hierin beschriebene Schritte weggelassen werden könnten. Anders ausgedrückt dienen die Beschreibungen von Prozessen in dieser Schrift der Veranschaulichung bestimmter Ausführungsformen und sollten keinesfalls dahingehend ausgelegt werden, dass sie die beanspruchte Erfindung einschränken.
  • Gemäß der vorliegenden Erfindung beinhaltet ein Verfahren Bestimmen von Kartendaten; Bestimmen nicht kalibrierter LIDAR-Daten; Bestimmen eines Standorts eines Fahrzeugs in den Kartendaten durch Kombinieren der Kartendaten mit den nicht kalibrierten LIDAR-Daten; und Betreiben des Fahrzeugs auf Grundlage des Standorts des Fahrzeugs in den Kartendaten.
  • Gemäß einer Ausführungsform beinhaltet Bestimmen der Kartendaten Bestimmen eines ersten Standorts in Bezug auf die Kartendaten auf Grundlage von Positionssensoren, einschließlich GPS, INS und Weg- und Geschwindigkeitsmessung.
  • Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner gekennzeichnet durch Bestimmen der nicht kalibrierten LIDAR-Daten durch Einbeziehen von Messungen des Reflexionsvermögens, die Bodenebenen-Rückgabedaten entsprechen, und Ausschließen von Messdaten, die Nicht-Boden-Rückgabedaten entsprechen.
  • Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner gekennzeichnet durch Bestimmen der nicht kalibrierten LIDAR-Daten durch orthogonales Projizieren von Messungen des Reflexionsvermögens auf ein 2D-Raster.
  • Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner gekennzeichnet durch Bestimmen der nicht kalibrierten LIDAR-Daten durch Bestimmen von x- und y-Gradienten der nicht kalibrierten LIDAR-Daten.
  • Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner gekennzeichnet durch Bestimmen der nicht kalibrierten LIDAR-Daten durch Kombinieren von x- und y-Gradienten der nicht kalibrierten LIDAR-Daten von einer Vielzahl von LIDAR-Scans auf Grundlage des Standorts der LIDAR-Scans.
  • Gemäß einer Ausführungsform beinhalten die nicht kalibrierten LIDAR-Daten fehlende Daten, die als Unendlichkeit oder NAN codiert sind.
  • Gemäß einer Ausführungsform beinhaltet Kombinieren der Kartendaten mit den nicht kalibrierten LIDAR-Daten Abgleichen der Kartendaten mit den nicht kalibrierten LIDAR-Daten, um die Registrierung zwischen den Kartendaten und den nicht kalibrierten LIDAR-Daten zu bestimmen, indem normalisierte gemeinsame Informationen über einen Satz von nahegelegenen Standorten/Positionen zwischen den Kartendaten und den nicht kalibrierten LIDAR-Daten bestimmt werden.
  • Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner gekennzeichnet durch Bestimmen des Standorts des Fahrzeugs in Bezug auf die Kartendaten durch Aktualisieren des Standorts durch Verarbeiten der Registrierung zwischen den Kartendaten und den nicht kalibrierten LIDAR-Daten mit einem erweiterten Kalman-Filter.
  • Gemäß der vorliegenden Erfindung umfasst ein System einen Prozessor; und einen Speicher, wobei der Speicher Anweisungen beinhaltet, um von dem Prozessor ausgeführt zu werden, um: Kartendaten zu bestimmen; nicht kalibrierte LIDAR-Daten zu bestimmen; einen Standort eines Fahrzeugs in den Kartendaten durch Kombinieren der Kartendaten mit den nicht kalibrierten LIDAR-Daten zu bestimmen; und das Fahrzeug auf Grundlage des Standorts des Fahrzeugs in den Kartendaten zu betreiben.
  • Gemäß einer Ausführungsform ist ein Computer dazu programmiert, die Kartendaten zu bestimmen, beinhaltend Bestimmen eines ersten Standorts in Bezug auf die Kartendaten auf Grundlage von Positionssensoren, einschließlich GPS, INS und Weg- und Geschwindigkeitsmessung.
  • Gemäß einer Ausführungsform ist ein Computer dazu programmiert, die nicht kalibrierten LIDAR-Daten durch Einbeziehen von Messungen des Reflexionsvermögens, die Bodenebenen-Rückgabedaten entsprechen, und Ausschließen von Messdaten, die Nicht-Boden-Rückgabedaten entsprechen, zu bestimmen.
  • Gemäß einer Ausführungsform ist ein Computer dazu programmiert, die nicht kalibrierten LIDAR-Daten durch orthogonales Projizieren von Messungen des Reflexionsvermögens auf ein 2D-Raster zu bestimmen.
  • Gemäß einer Ausführungsform ist ein Computer dazu programmiert, die nicht kalibrierten LIDAR-Daten durch Bestimmen von x- und y-Gradienten der nicht kalibrierten LIDAR-Daten zu bestimmen.
  • Gemäß einer Ausführungsform ist ein Computer dazu programmiert, die nicht kalibrierten LIDAR-Daten durch Kombinieren von x- und y-Gradienten der nicht kalibrierten LIDAR-Daten von einer Vielzahl von LIDAR-Scans auf Grundlage des Standorts der LIDAR-Scans zu bestimmen.
  • Gemäß einer Ausführungsform beinhalten die nicht kalibrierten LIDAR-Daten fehlende Daten, die als Unendlichkeit oder NAN codiert sind.
  • Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner dadurch gekennzeichnet, dass Kombinieren der Kartendaten mit den nicht kalibrierten LIDAR-Daten Abgleichen der Kartendaten mit den nicht kalibrierten LIDAR-Daten beinhaltet, um die Registrierung zwischen den Kartendaten und den nicht kalibrierten LIDAR-Daten zu bestimmen, indem normalisierte gemeinsame Informationen über einen Satz von nahegelegenen Standorten/Positionen zwischen den Kartendaten und den nicht kalibrierten LIDAR-Daten bestimmt werden.
  • Gemäß einer Ausführungsform ist der Computer dazu programmiert, den Standort des Fahrzeugs in Bezug auf die Kartendaten durch Aktualisieren des Standorts durch Verarbeiten der Registrierung zwischen den Kartendaten und den nicht kalibrierten LIDAR-Daten mit einem erweiterten Kalman-Filter zu bestimmen.
  • Gemäß der vorliegenden Erfindung ist ein System bereitgestellt, aufweisend einen nicht kalibrierten LIDAR-Sensor, der betrieben werden kann, um nicht kalibrierte LIDAR-Daten zu erfassen; einen Positionssensor, der betrieben werden kann, um einen ersten Standort zu erfassen; Fahrzeugkomponenten, die betrieben werden können, um ein Fahrzeug zu betreiben; einen Prozessor; und einen Speicher, wobei der Speicher Anweisungen beinhaltet, die von dem Prozessor auszuführen sind, um: Kartendaten auf Grundlage des ersten Standorts zu bestimmen; nicht kalibrierte LIDAR-Daten zu bestimmen; einen Standort eines Fahrzeugs in der zweiten Karte durch Kombinieren der Kartendaten mit den nicht kalibrierten LIDAR-Daten zu bestimmen; und Fahrzeugkomponenten zu betätigen, um das Fahrzeug zu betreiben, und zwar auf Grundlage des Standorts des Fahrzeugs in der zweiten Karte.
  • Gemäß einer Ausführungsform wird der erste Standort durch Positionssensoren erfasst, einschließlich GPS, INS und Weg- und Geschwindigkeitsmessung.

Claims (15)

  1. Verfahren, umfassend: Bestimmen von Kartendaten; Bestimmen nicht kalibrierter LIDAR-Daten; Bestimmen eines Standorts eines Fahrzeugs in den Kartendaten durch Kombinieren der Kartendaten mit den nicht kalibrierten LIDAR-Daten; und Betreiben des Fahrzeugs auf Grundlage des Standorts des Fahrzeugs in den Kartendaten.
  2. Verfahren nach Anspruch 1, wobei Bestimmen der Kartendaten Bestimmen eines ersten Standorts in Bezug auf die Kartendaten auf Grundlage von Positionssensoren, einschließlich GPS, INS und Weg- und Geschwindigkeitsmessung, beinhaltet.
  3. Verfahren nach Anspruch 1, ferner umfassend Bestimmen der nicht kalibrierten LIDAR-Daten durch Einbeziehen von Messungen des Reflexionsvermögens, die Bodenebenen-Rückgabedaten entsprechen, und Ausschließen von Messdaten, die Nicht-Boden-Rückgabedaten entsprechen.
  4. Verfahren nach Anspruch 3, ferner umfassend Bestimmen der nicht kalibrierten LIDAR-Daten durch orthogonales Projizieren von Messungen des Reflexionsvermögens auf ein 2D-Raster.
  5. Verfahren nach Anspruch 4, ferner umfassend Bestimmen der nicht kalibrierten LIDAR-Daten durch Bestimmen von x- und y-Gradienten der nicht kalibrierten LIDAR-Daten.
  6. Verfahren nach Anspruch 5, ferner umfassend Bestimmen der nicht kalibrierten LIDAR-Daten durch Kombinieren von x- und y-Gradienten der nicht kalibrierten LIDAR-Daten von einer Vielzahl von LIDAR-Scans auf Grundlage des Standorts der LIDAR-Scans.
  7. Verfahren nach Anspruch 6, wobei die nicht kalibrierten LIDAR-Daten fehlende Daten, die als Unendlichkeit codiert sind, beinhalten.
  8. Verfahren nach Anspruch 7, wobei das 2D-Raster bei 10 cm in x und y abgetastet wird.
  9. Verfahren nach Anspruch 1, wobei Kombinieren der Kartendaten mit den nicht kalibrierten LIDAR-Daten Abgleichen der Kartendaten mit den nicht kalibrierten LIDAR-Daten beinhaltet, um die Registrierung zwischen den Kartendaten und den nicht kalibrierten LIDAR-Daten zu bestimmen, indem normalisierte gemeinsame Informationen über einen Satz von nahegelegenen Standorten/Positionen zwischen den Kartendaten und den nicht kalibrierten LIDAR-Daten bestimmt werden.
  10. Verfahren nach Anspruch 9, ferner umfassend Bestimmen des Standorts des Fahrzeugs in Bezug auf die Kartendaten durch Aktualisieren des Standorts durch Verarbeiten der Registrierung zwischen den Kartendaten und den nicht kalibrierten LIDAR-Daten mit einem erweiterten Kalman-Filter.
  11. Verfahren nach Anspruch 10, wobei Bestimmen der Registrierung zwischen den Kartendaten und den nicht kalibrierten LIDAR-Daten durch Bestimmen normalisierter gemeinsamer Informationen über einen Satz von nahegelegenen Standorten/Positionen Bestimmen einer maximalen Übereinstimmung zwischen den Kartendaten und den nicht kalibrierten LIDAR-Daten beinhaltet.
  12. Verfahren nach Anspruch 11, wobei die normalisierten gemeinsamen Informationen als eine Standardabweichung berechnet werden, die auf eine Differenz zwischen den Kartendaten und den nicht kalibrierten LIDAR-Daten angewandt werden.
  13. Verfahren nach Anspruch 1, wobei Bestimmen der Kartendaten Bilden eines lokalen Abschnitts von Kartendaten auf Grundlage von Positionssensoren und einer geografischen Region auf Grundlage der nicht kalibrierten LIDAR-Daten beinhaltet.
  14. Verfahren nach Anspruch 13, wobei die geografische Region ein 2D-Raster ist, das bei 10 cm in x und y abgetastet wird.
  15. System, umfassend einen Computer, der programmiert ist, um die Verfahren nach einem der Ansprüche 1-14 durchzuführen.
DE102019100497.7A 2018-01-12 2019-01-10 Lidar-lokalisierung Pending DE102019100497A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/870,189 US10739459B2 (en) 2018-01-12 2018-01-12 LIDAR localization
US15/870,189 2018-01-12

Publications (1)

Publication Number Publication Date
DE102019100497A1 true DE102019100497A1 (de) 2019-07-18

Family

ID=67068757

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019100497.7A Pending DE102019100497A1 (de) 2018-01-12 2019-01-10 Lidar-lokalisierung

Country Status (3)

Country Link
US (1) US10739459B2 (de)
CN (1) CN110032180A (de)
DE (1) DE102019100497A1 (de)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019208504A1 (de) * 2019-06-12 2020-12-17 Robert Bosch Gmbh Positionsbestimmung auf der Basis von Umgebungsbeobachtungen
DE102019008369A1 (de) * 2019-12-02 2021-06-02 Daimler Ag Verfahren zur Kalibrierung eines distanzmessenden Sensors eines Fahrzeugs
CN113366341A (zh) * 2020-01-06 2021-09-07 深圳市速腾聚创科技有限公司 点云数据的处理方法、装置、存储介质及激光雷达系统
US11161525B2 (en) 2019-12-19 2021-11-02 Motional Ad Llc Foreground extraction using surface fitting
CN116148824A (zh) * 2023-04-17 2023-05-23 机科发展科技股份有限公司 一种激光无人叉车导航参数自动校准系统及方法
US11792644B2 (en) 2021-06-21 2023-10-17 Motional Ad Llc Session key generation for autonomous vehicle operation

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102373926B1 (ko) * 2016-02-05 2022-03-14 삼성전자주식회사 이동체 및 이동체의 위치 인식 방법
DE102018200982A1 (de) * 2018-01-23 2019-08-08 Volkswagen Aktiengesellschaft Verfahren zur Verarbeitung von Sensordaten in einer Anzahl von Steuergeräten, entsprechend ausgelegte Vorverarbeitungseinheit sowie Fahrzeug
DE102018203440A1 (de) * 2018-03-07 2019-09-12 Robert Bosch Gmbh Verfahren und Lokalisierungssystem zum Erstellen oder Aktualisieren einer Umgebungskarte
KR102420568B1 (ko) * 2018-04-27 2022-07-13 삼성전자주식회사 차량의 위치를 결정하는 방법 및 이를 위한 차량
US11221399B2 (en) * 2018-12-12 2022-01-11 Waymo Llc Detecting spurious objects for autonomous vehicles
JP7120181B2 (ja) * 2019-08-22 2022-08-17 トヨタ自動車株式会社 物体認識装置
US11556000B1 (en) 2019-08-22 2023-01-17 Red Creamery Llc Distally-actuated scanning mirror
CN110542908B (zh) * 2019-09-09 2023-04-25 深圳市海梁科技有限公司 应用于智能驾驶车辆上的激光雷达动态物体感知方法
US20210191399A1 (en) * 2019-12-23 2021-06-24 Waymo Llc Real-Time Adjustment Of Vehicle Sensor Field Of View Volume
CN111551912A (zh) * 2020-05-26 2020-08-18 深圳市慧视智图科技有限公司 一种窗长自适应的激光雷达点云反射率处理方法
US20210373138A1 (en) * 2020-05-29 2021-12-02 GM Global Technology Operations LLC Dynamic lidar alignment
CN111650604B (zh) * 2020-07-02 2023-07-28 上海电科智能系统股份有限公司 利用精确定位实现自我车辆和周边障碍物精确探知的方法
JP7420672B2 (ja) 2020-07-17 2024-01-23 株式会社日立エルジーデータストレージ 測距システム及び測距センサの検知強度分布表示方法
CN114088093A (zh) * 2020-11-09 2022-02-25 北京京东乾石科技有限公司 一种点云地图构建方法、装置、系统及存储介质
US11834065B2 (en) * 2020-12-21 2023-12-05 Argo AI System, method, and computer program product for detecting road marking points from LiDAR data
CN113515536B (zh) * 2021-07-13 2022-12-13 北京百度网讯科技有限公司 地图的更新方法、装置、设备、服务器以及存储介质
US20230194268A1 (en) * 2021-12-20 2023-06-22 Gm Cruise Holdings Llc Longitudinal-limited lane marking localizer

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080033645A1 (en) 2006-08-03 2008-02-07 Jesse Sol Levinson Pobabilistic methods for mapping and localization in arbitrary outdoor environments
US8364334B2 (en) 2008-10-30 2013-01-29 Honeywell International Inc. System and method for navigating an autonomous vehicle using laser detection and ranging
US8825391B1 (en) 2011-08-04 2014-09-02 Google Inc. Building elevation maps from laser data
US9037403B2 (en) 2013-03-26 2015-05-19 Toyota Motor Engineering & Manufacturing North America, Inc. Intensity map-based localization with adaptive thresholding
US9989969B2 (en) 2015-01-19 2018-06-05 The Regents Of The University Of Michigan Visual localization within LIDAR maps
JP6370234B2 (ja) 2015-01-30 2018-08-08 株式会社デンソーアイティーラボラトリ 地図データ生成装置、地図データ生成方法及び地図データ生成用コンピュータプログラムならびに車両位置検出装置
CN105204510B (zh) 2015-10-09 2016-06-22 福州华鹰重工机械有限公司 一种用于精确定位的概率地图的生成方法及装置
KR102373926B1 (ko) 2016-02-05 2022-03-14 삼성전자주식회사 이동체 및 이동체의 위치 인식 방법
CN106441319B (zh) 2016-09-23 2019-07-16 中国科学院合肥物质科学研究院 一种无人驾驶车辆车道级导航地图的生成系统及方法
CN106908775B (zh) 2017-03-08 2019-10-18 同济大学 一种基于激光反射强度的无人车实时定位方法
US10176596B1 (en) * 2017-07-06 2019-01-08 GM Global Technology Operations LLC Calibration verification methods for autonomous vehicle operations
US10983199B2 (en) * 2017-08-11 2021-04-20 Zoox, Inc. Vehicle sensor calibration and localization

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019208504A1 (de) * 2019-06-12 2020-12-17 Robert Bosch Gmbh Positionsbestimmung auf der Basis von Umgebungsbeobachtungen
DE102019008369A1 (de) * 2019-12-02 2021-06-02 Daimler Ag Verfahren zur Kalibrierung eines distanzmessenden Sensors eines Fahrzeugs
DE102019008369B4 (de) 2019-12-02 2022-04-28 Daimler Ag Verfahren zur Kalibrierung eines distanzmessenden Sensors eines Fahrzeugs
US11161525B2 (en) 2019-12-19 2021-11-02 Motional Ad Llc Foreground extraction using surface fitting
US11976936B2 (en) 2019-12-19 2024-05-07 Motional Ad Llc Foreground extraction using surface fitting
CN113366341A (zh) * 2020-01-06 2021-09-07 深圳市速腾聚创科技有限公司 点云数据的处理方法、装置、存储介质及激光雷达系统
CN113366341B (zh) * 2020-01-06 2024-04-26 深圳市速腾聚创科技有限公司 点云数据的处理方法、装置、存储介质及激光雷达系统
US11792644B2 (en) 2021-06-21 2023-10-17 Motional Ad Llc Session key generation for autonomous vehicle operation
CN116148824A (zh) * 2023-04-17 2023-05-23 机科发展科技股份有限公司 一种激光无人叉车导航参数自动校准系统及方法

Also Published As

Publication number Publication date
US10739459B2 (en) 2020-08-11
CN110032180A (zh) 2019-07-19
US20190219697A1 (en) 2019-07-18

Similar Documents

Publication Publication Date Title
DE102019100497A1 (de) Lidar-lokalisierung
DE102019121140A1 (de) Sensorfusion
DE102018120845B4 (de) Verfahren und Vorrichtung zum Überwachen eines autonomen Fahrzeugs
DE102019127058A1 (de) Fahrzeugwegplanung
DE102020112314A1 (de) Verifizierung von fahrzeugbildern
DE102019131384A1 (de) Strassenbelagcharakterisierung unter verwendung von posenbeobachtungen von benachbarten fahrzeugen
DE102019122027A1 (de) Fahrzeugwegplanung
DE102019101938A1 (de) Erstellung kognitiver Karten für Fahrzeuge
DE102021100101A1 (de) Fahrzeugsensorkalibrierung
DE102017126925A1 (de) Automatisierte Co-Pilotsteuerung für autonome Fahrzeuge
DE102019126542A1 (de) Lokalisierung einer stationären kamera
DE102019119162A1 (de) Posenschätzung
DE102019115080A1 (de) Verfahren zum vereindeutigen mehrdeutiger erkennungen in sensorfusionssystemen
DE102012024874A1 (de) Verfahren und Vorrichtung zum prädikativen Ermitteln eines Parameterwertes einer von einem Fahrzeug befahrbaren Oberfläche
DE102019129232A1 (de) Sprachverarbeitung für ein fahrzeug
DE102018100487A1 (de) Objektverfolgung durch unüberwachtes lernen
DE102019119204A1 (de) Assistenzsteuerungssystem
DE102020125307A1 (de) Adaptive sensorfusion
DE102018100987A1 (de) Objektverfolgung durch unüberwachtes lernen
DE102021103649A1 (de) Lokalisierung von fahrzeugvorrichtungen
DE102019110528A1 (de) Technik zur positionsbestimmung
DE102020117529A1 (de) Bestimmung der fahrzeuglage
DE102021103012A1 (de) Lidar-polarisation für fahrzeuge
DE102020102935A1 (de) Fahrzeuglenksteuerung
DE102020107149A1 (de) Fahrzeugkapsel-netzwerke

Legal Events

Date Code Title Description
R082 Change of representative

Representative=s name: BONSMANN - BONSMANN - FRANK PATENTANWAELTE, DE