DE102020102912A1

DE102020102912A1 - Online-erkennung fehlerhafter extrinsischer kalibrierung zwischen sensoren

Info

Publication number: DE102020102912A1
Application number: DE102020102912.8A
Authority: DE
Inventors: Gaurav Pandey; James Howarth; Siddharth Tanwar; Adolfo Apolloni
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2019-02-06
Filing date: 2020-02-05
Publication date: 2020-08-06
Also published as: US20200249332A1; CN111536990A

Abstract

Die vorliegende Offenbarung stellt eine Online-Erkennung fehlerhafter extrinsischer Kalibrierung zwischen Sensoren bereit. Es sind verschiedene Beispiele für die Online-Erkennung fehlerhafter extrinsischer Kalibrierungen zwischen Sensoren beschrieben. Ein Merkmal auf einer hochauflösenden (HD-)Karte einer Region wird mit Daten eines ersten Sensors von einem ersten Sensor eines Fahrzeugs und Daten eines zweiten Sensors von einem zweiten Sensor des Fahrzeugs erkannt, während das Fahrzeug die Region durchquert. Die fehlerhafte Kalibrierung von einem des ersten Sensors und des zweiten Sensors wird auf Grundlage eines Ergebnisses der Erkennung geschätzt.

Description

GEBIET DER TECHNIK
Die vorliegende Offenbarung betrifft im Allgemeinen die Kalibrierung von Sensoren und insbesondere die Online-Erkennung einer fehlerhaften extrinsischen Kalibrierung zwischen Sensoren.
ALLGEMEINER STAND DER TECHNIK
Verschiedene automatisierte Anwendungen beruhen auf der Verwendung mehrerer Sensoren, wie etwa Light-Detection-and-Ranging-Sensoren (LiDAR-Sensoren), Kameras, Radargeräte und ein globales Navigationssatellitensystem (GNSS)/Trägheitsnavigationssystem (Intertial Navigation System - INS). Unter derartigen Anwendungen ist insbesondere das automatisierte Fahren von autonomen Fahrzeugen (Autonomous Vehicles - AVs) tendenziell stark von einer Reihe von Sensoren abhängig, die synergetisch funktionieren. Beispielsweise sind mehrere Sensoren an einem AV wichtig, um robust Aufgaben wie etwa die Positionsbestimmung, Kartierung und Wahrnehmung (z. B. Erkennung und Verfolgung von Fußgängern/Fahrzeugen, Erkennung von Fahrbahnmarkierungen und Erkennung von Ampeln/Schildern) zu erfüllen.
Die extrinsische Kalibrierung bezieht sich auf die rigide Transformation (auch als extrinsische Parameter bezeichnet) zwischen Referenzeinzelbildern der verschiedenen Sensoren. Eine fehlerhafte Kalibrierung der extrinsischen Parameter kann die Ausführung der Wahrnehmungs- und Positionsbestimmungsaufgaben stark beeinträchtigen, da derartige Aufgaben typischerweise auf der Annahme einer korrekten Kalibrierung der Sensoren beruhen. Dies bedeutet, dass eine fehlerhafte Kalibrierung zu kritischen Systemausfällen führen könnte.
Eine fehlerhafte Kalibrierung während des Fahrzeugbetriebs entsteht gewöhnlich durch physische Störungen der Position und/oder Ausrichtung der Sensoren an einem Fahrzeug. Störungen können aus einer Vielzahl von Gründen auftreten, wie etwa schlechte Straßenverhältnisse, Abnutzung der Sensorhalterungen und/oder mutwillige Manipulation der Sensorhardware. Ferner können Störungen und fehlerhafte Kalibrierungen jederzeit während des Betriebs des Fahrzeugs auftreten.
KURZDARSTELLUNG DER ERFINDUNG
Die vorliegende Offenbarung zielt darauf ab, Verfahren, Systeme und Anordnungen für die Online-Erkennung einer fehlerhaften extrinsischen Kalibrierung zwischen Sensoren bereitzustellen. Gemäß einer Ausführungsform kann zu einem Verfahren gemäß der vorliegenden Offenbarung das Erkennen eines Merkmals auf einer hochauflösenden (High-Definition - HD) Karte einer Region mit Daten eines ersten Sensors von einem ersten Sensor eines Fahrzeugs und Daten eines zweiten Sensors von einem zweiten Sensor des Fahrzeugs gehören, während das Fahrzeug die Region durchquert. Zu dem Verfahren kann zudem das Schätzen einer fehlerhaften Kalibrierung von einem des ersten Sensors und des zweiten Sensors auf Grundlage eines Ergebnisses der Erkennung gehören.
Figurenliste
Nicht einschränkende und nicht erschöpfende Ausführungsformen der vorliegenden Offenbarung werden in Bezug auf die folgenden Figuren beschrieben, wobei sich in den verschiedenen Figuren gleiche Bezugszeichen auf gleiche Teile beziehen, sofern nicht anderweitig angegeben.

1 ist ein Diagramm einer beispielhaften Pipeline der Erkennung einer fehlerhaften Kalibrierung unter Verwendung einer HD-Karte gemäß der vorliegenden Offenbarung.
2 ist ein Diagramm eines beispielhaften Szenarios der Merkmalserkennung in einem Kameraeinzelbild gemäß der vorliegenden Offenbarung.
3 ist ein Diagramm eines beispielhaften Szenarios gemäß der vorliegenden Offenbarung.
4 ist ein Diagramm einer beispielhaften Anordnung gemäß einer Ausführungsform der vorliegenden Offenbarung.
5 ist ein Ablaufdiagramm, das einen beispielhaften Prozess gemäß einer Ausführungsform der vorliegenden Offenbarung darstellt.

DETAILLIERTE BESCHREIBUNG
In der folgenden Beschreibung wird auf die beigefügten Zeichnungen Bezug genommen, die einen Teil von dieser bilden und in denen durch Veranschaulichung konkrete beispielhafte Ausführungsformen gezeigt werden, in denen die Offenbarung umgesetzt werden kann. Diese Ausführungsformen werden mit ausreichender Genauigkeit beschrieben, um es dem Fachmann zu ermöglichen, die in dieser Schrift offenbarten Konzepte umzusetzen, und es versteht sich, dass Modifikationen an den verschiedenen offenbarten Ausführungsformen vorgenommen werden können und dass andere Ausführungsformen verwendet werden können, ohne vom Umfang der vorliegenden Offenbarung abzuweichen. Die folgende detaillierte Beschreibung ist deshalb nicht in einschränkendem Sinn aufzufassen.
Angesichts des Vorstehenden ist es von wesentlicher Bedeutung, dass eine Methodik zur Verfügung steht, mit der eine fehlerhafte Kalibrierung zwischen Sensoren online (z. B. während des Fahrzeugbetriebs) erkannt werden kann und ein Ergebnis der Erkennung (z. B. potentielle Gefahr aufgrund fehlerhafter Kalibrierung) gemeldet werden kann. Im Rahmen eines vorgeschlagenen Modells gemäß der vorliegenden Offenbarung kann eine fehlerhafte Kalibrierung von Sensoren vor Ort unter Verwendung von Objekten, die üblicherweise in einer Straßenumgebung vorhanden sind, überprüft und erkannt werden, ohne dass spezielle Bezugsmarkierungen platziert werden müssen. Insbesondere können im Rahmen des vorgeschlagenen Modells hochauflösende (HD-)Kartendaten verwendet werden, um die fehlerhafte Kalibrierung zu schätzen, anstatt nur Sensordaten allein heranzuziehen. Da AVs HD-Karten für die Navigation nutzen, ist die HD-Karte für AV-Vorgänge von wesentlicher Bedeutung. Sobald die Position eines AVs auf einer HD-Karte bestimmt ist, können die genauen Standorte von Infrastrukturobjekten, oder Merkmalen, auf der HD-Karte (z. B. Ampeln, Verkehrsschilder, Fahrspuren, Lichtmasten, Feuerhydranten und dergleichen) sowie die relativen Positionen und Ausrichtungen derartiger Objekte in Bezug auf das AV bekannt sein. Im Rahmen des vorgeschlagenen Modells können Infrastrukturobjekte in dem Referenzeinzelbild unterschiedlicher Sensoren an dem AV erkannt werden, und somit kann eine Punktzahl für eine fehlerhafte Kalibrierung berechnet werden, indem die Infrastrukturobjekte von dem Referenzeinzelbild eines Sensors auf das Referenzeinzelbild eines anderen Sensors projiziert werden (z. B. auf Grundlage der aktuellen Kalibrierungsparameter), um eine Überlappungsregion zwischen den Projektionen zu erhalten. Dies ist darauf zurückzuführen, dass ein Infrastrukturobjekt, das von einem ersten Referenzeinzelbild projiziert wird, das Infrastrukturobjekt in einem zweiten Referenzeinzelbild vollständig überlappen würde, wenn die Kalibrierungsparameter von zwei verglichenen Sensoren korrekt sind. Da die Standorte aller interessierenden Infrastrukturobjekte durch die HD-Karte bekannt sind, kann darüber hinaus eine Punktzahl für eine fehlerhafte Kalibrierung berechnet werden, wenn die Position des AVs in einer interessierenden Region auf der HD-Karte bestimmt wird (z. B. einem Gebiet mit einer großen Anzahl von Objekten und/oder Merkmalen).
1 veranschaulicht eine beispielhafte Pipeline 100 der Erkennung einer fehlerhaften Kalibrierung unter Verwendung einer HD-Karte gemäß der vorliegenden Offenbarung. Die Pipeline 100 kann von einem AV verwendet werden, um fehlerhafte Kalibrierungen bei extrinsischen Parametern zwischen Wahrnehmungssensoren (z. B. einem dreidimensionalen (3D-)LiDAR-Sensor und einer Kamera) online unter Verwendung einer HD-Karte zu erkennen und den Schweregrad der erkannten fehlerhaften Kalibrierung an das AV zu melden.
Unter Bezugnahme auf 1 kann eine HD-Karte 120 von einem AV (z. B. einem Prozessor 180 des AVs) genutzt werden, um merkmalsreiche Regionen auf einem aktuellen Fahrweg des AVs zu ermitteln. Zum Beispiel kann unter dem Aspekt eines LiDAR-Sensors 110 an dem AV eine Funktion 140 der Merkmalserkennung in dem LiDAR-Einzelbild ausgeführt werden und die Ausgabe der Funktion 140 kann von einer Funktion 150 der Umwandlung von Punkten in ein Kameraeinzelbild verwendet werden. Gleichermaßen kann unter dem Aspekt einer Kamera 130 an dem AV eine Funktion 160 der Merkmalserkennung auf dem Kameraeinzelbild ausgeführt werden. Sobald das AV in eine der merkmalsreichen Regionen gelangt (die z. B. eine relativ große Anzahl von Ampeln, Verkehrsschildern, Fahrbahnmarkierungen, Lichtmasten und/oder Feuerhydranten aufweisen), kann eine fehlerhafte Kalibrierung des LiDAR-Sensors 110 geschätzt oder anderweitig erkannt werden, und es kann eine Punktzahl für eine fehlerhafte Kalibrierung für einen oder mehrere aktuelle Kalibrierungsparameter des LiDAR-Sensors 110 berechnet werden.
2 veranschaulicht ein beispielhaftes Szenario 200 der Merkmalserkennung in einem Kameraeinzelbild gemäß der vorliegenden Offenbarung. In dem Szenario 200 kann eine merkmalsreiche Region 205 eine Reihe von Infrastrukturobjekten als „Merkmale“ in der HD-Karte 120 beinhalten, wie etwa zum Beispiel einen Lichtmasten 210, eine Ampel 220, einen Feuerhydranten 230, ein Verkehrsschild 240 (z. B. Geschwindigkeitsbegrenzungsschild) und Fahrbahnmarkierungen 250. Auf der HD-Karte 120 können Standortinformationen (z.B. Positionierungskoordinaten), Abmessungen und andere Informationen dieser Infrastrukturobjekte beinhaltet sein. Andererseits können Informationen zu Objekten, die nicht zur Infrastruktur gehören (z.B. Bäume 260 und 262), und transienten Objekten (z.B. Fahrzeug 270) unter Umständen nicht in der HD-Karte 120 beinhaltet sein, da sie nicht für die Erkennung einer fehlerhaften Kalibrierung gemäß der vorliegenden Offenlegung verwendet werden.
Unter Bezugnahme sowohl auf 1 als auch auf 2 kann der Prozessor 180 die merkmalsreiche Region 205 auf Grundlage eines oder mehrerer Kamerabilder, die von der Kamera 130 empfangen werden, erkennen, sobald das AV in die merkmalsreiche Region 205 gelangt. Gemäß dem vorgeschlagenen Modell kann mit der Funktion 160 der Merkmalserkennung in dem Kameraeinzelbild, was in 2D vorliegt, ein Begrenzungsrahmen 224 um ein bestimmtes Merkmal (z. B. die Ampel 220) herum erkannt werden. Insbesondere können die Daten von der HD-Karte 120 verwendet werden, um das Vorhandensein des Merkmals (z. B. der Ampel 220) im Sichtfeld der Kamera 130 zu erkennen. Darüber hinaus kann der Begrenzungsrahmen 224, der dem Merkmal entspricht, um das Merkmal in dem Kameraeinzelbild herum ermittelt werden, um die Erkennung des Vorhandenseins des Merkmals hervorzuheben. Dann können 3D-Punkte des Merkmals von der HD-Karte 120 auf das 2D-Kameraeinzelbild projiziert werden, das dem Kamerabild von Kamera 130 entspricht. Falls die Position des AVs auf der HD-Karte 120 perfekt bestimmt wäre, wären die 3D-Punkte von der HD-Karte 120 genau an dem Begrenzungsrahmen 224 um das Merkmal in dem Kamerabild herum ausgerichtet. Aufgrund von Fehlern bei der Positionsbestimmung kann es jedoch zu einer Fehlausrichtung kommen, und daher kann ein Suchfenster 226 um das Merkmal in dem Kamerabild ermittelt werden. Das Suchfenster 226 kann größer als der Begrenzungsrahmen 224 sein und kann den Begrenzungsrahmen 224 darin einschließen. Die Funktion 160 der Merkmalserkennung im Kameraeinzelbild in der Kamera-Pipeline kann von dem Prozessor 180 ausgeführt werden, um eine Objekterkennung in dem Suchfenster 226 durchzuführen, um einen engen Begrenzungsrahmen 228 um das Merkmal oder die Ampel 220 in diesem Beispiel zu ermitteln oder anderweitig zu erkennen. Der enge Begrenzungsrahmen 228 kann kleiner sein als der Begrenzungsrahmen 224. Der enge Begrenzungsrahmen 228 kann besser an dem Merkmal ausgerichtet sein als der Begrenzungsrahmen 224, und der enge Rahmen 228 kann das Merkmal genauer und/oder eng anliegender umschließen als der Begrenzungsrahmen 224. Es ist zu beachten, dass obwohl in diesem Beispiel eine Ampel verwendet wird, ein anderes Infrastrukturobjekt oder Merkmal verwendet werden kann.
Unter erneuter Bezugnahme auf 1 können die Ausgabe von Funktion 150 und die Ausgabe von Funktion 160 von dem Prozessor 180 verwendet werden, um eine Funktion 170 der Bewertung von Kalibrierungsparametern auszuführen. Das heißt, der Prozessor 180 kann auf Grundlage einer Überlappung zwischen projizierten LiDAR-Sensordaten, die einem erkannten Merkmal entsprechen, und einem Begrenzungsrahmen, der dasselbe Merkmal umgibt bzw. diesem entspricht und direkt von der Kamera 130 berechnet wird, die Funktion 170 der Bewertung von Kalibrierungsparametern ausführen, um eine Punktzahl für eine fehlerhafte Kalibrierung zu berechnen und zu erlangen.
Zu der Funktion 140 der Merkmalserkennung in einem LiDAR-Einzelbild in der LiDAR-Pipeline kann eine Reihe von Vorgängen gehören. Als Erstes kann ein Suchraum in einer Punktwolke durch das Verwenden der HD-Karte 120 verringert werden. Da die HD-Karte 120 den Standort unterschiedlicher Merkmale, einschließlich des betreffenden Merkmals (z. B. der Ampel 220), enthält, kann der Suchraum auf einen benachbarten 3D-Raum um das betreffende Merkmal herum begrenzt werden. Als Nächstes kann ein Erkennungs- und Zielpositionsbestimmungsvorgang durchgeführt werden, um Punkte in der Punktwolke zu ermitteln, die dem Merkmal entsprechen (z. B. der Ampel 220). Dann kann jegliche Ambiguität bei einem Bereinigungsvorgang aufgelöst werden.
3 veranschaulicht ein beispielhaftes Szenario 300 gemäß der vorliegenden Offenbarung. In dem Szenario 300 kann eine LiDAR-Aufnahme auf einen 3D-Stadplan an einer Kreuzung projiziert werden. Jeder der Rahmen 310 und 320 zeigt entsprechende LiDAR-Punkte in einer entsprechenden Punktwolke, die jeweils einer von zwei Ampeln an der Kreuzung entsprechen Diese LiDAR-Punkte, die den Ampeln entsprechen, können dann unter Verwendung der aktuellen Kamera-LiDAR-Kalibrierungsparameter, die getestet und verifiziert werden, auf eine Bildebene in dem Kamerareferenzeinzelbild projiziert werden.
Wenn die LiDAR-Punkte auf das Kameraeinzelbild projiziert sind, kann eine Punktzahl für die Kalibrierungsparameter berechnet werden, zum Beispiel unter Verwendung eines statistischen Maßes, das den Jaccard-Koeffizienten (Intersection over Union - IoU) eines Begrenzungsrahmens (z. B. ähnlich des Begrenzungsrahmens 224 in 2), der aus dem Kamerabild und den Punktprojektionen auf das Kamerabild von dem LiDAR-Sensor 110 erhalten wird, enthält. Dann können berechnete Punktzahlen aus einer Reihe verschiedener Perspektiven, die von dem LiDAR-Sensor 110 und der Kamera 130 erzeugt wurden, aggregiert werden, wenn das AV durch eine bestimmte Region fährt. Die Aggregierung der kumulierten Punktzahlen kann den Ausschluss von Ausreißern und die Rauschverminderung bei den Punktzahlen erleichtern. Auf der Grundlage der berechneten Punktzahl(en) kann ein Maß für eine fehlerhafte Kalibrierung (falls vorhanden) an einen Benutzer des AV und/oder einen Dritten (z. B. Verkäufer des AV und/oder Reparaturwerkstatt) gemeldet werden.
Zusammenfassend stellt die vorliegende Offenlegung eine Methodik zum Erkennen einer fehlerhaften Kalibrierung bei extrinsischen Parametern zwischen den Wahrnehmungssensoren eines Fahrzeugs (z. B. eines AVs, unbemannten Luftfahrzeugs (Unmanned Aerial Vehicle - UAV) oder Roboters) bereit. Zu der Methodik kann die Verwendung von HD-Karten zur Positionsbestimmung von Fahrzeugen gehören. Dies ermöglicht es dem Fahrzeug, interessierende Objekte (z. B. Infrastrukturobjekte) und ihre genaue Position zu ermitteln. Die interessierenden Objekte können zum Beispiel unter anderem Ampeln, Verkehrszeichen, Spurmarkierungen, Masten, Feuerhydranten und dergleichen beinhalten. Die interessierenden Objekte können in einem Sensorreferenzeinzelbild jedes Sensors ermittelt werden. Bilder der interessierenden Objekte können von einem Referenzeinzelbild eines Sensors auf das Referenzeinzelbild eines anderen Sensors projiziert werden. Wenn sich die zwei Einzelbilder vollständig überlappen, sind die Sensoren kalibriert. Ist dies nicht der Fall kann die Methodik eine Punktzahl für die fehlerhafte Kalibrierung errechnen oder anderweitig berechnen. Die Positionsbestimmung und Ermittlung von interessierenden Merkmalen kann in einem Bereich mit einer großen Anzahl an Merkmalen (z. B. Infrastrukturobjekten) ausgeführt werden. Der Bereich kann entlang eines aktuellen Fahrwegs des Fahrzeugs unter Verwendung der HD-Karte ermittelt werden.
4 veranschaulicht eine beispielhafte Anordnung 400 gemäß einer Ausführungsform der vorliegenden Offenbarung. Die Anordnung 400 kann eine Anzahl von Komponenten, die für die vorliegende Offenbarung relevant sind, sowie eine Anzahl von Komponenten, die nicht direkt für die vorliegende Offenbarung relevant sind, beinhalten. Der Kürze wegen und um zu vermeiden, dass die Darstellung der relevanten Komponenten undeutlich wird, zeigt 4 somit nur diejenigen Komponenten, die für verschiedene Ausführungsformen der vorliegenden Offenbarung relevant sind, ohne die Komponenten zu zeigen, die für die vorliegende Offenbarung nicht direkt relevant sind.
Unter Bezugnahme auf 4 kann die Anordnung 400 einen Prozessor 410, eine Kommunikationsvorrichtung 420, eine Benutzerschnittstellenvorrichtung 430, einen ersten Sensor 440, einen zweiten Sensor 445 und einen Speicher 450 beinhalten. Die Anordnung 400 kann in oder als Teil von einem AV, UAV oder Roboter wie in dieser Schrift beschrieben umgesetzt sein.
Der Prozessor 410 kann einen oder mehrere Chips mit integriertem Schaltkreis (Integrated Circuit - IC) beinhalten. Die Kommunikationsvorrichtung 420 kann einen Sendeempfänger beinhalten, der zur drahtlosen Kommunikation mit einem oder mehreren drahtlosen Netzwerken und/oder einer oder mehreren drahtlosen Kommunikationsvorrichtungen in der Lage ist. Die Kommunikationsvorrichtung 420 kann beispielsweise ein Ergebnis einer Schätzung der fehlerhaften Kalibrierung drahtlos an einen entfernten Server (z. B. einen Verkäufer der Anordnung 400 oder des Fahrzeugs, in dem die Anordnung 400 installiert ist, eine Reparaturwerkstatt oder beides) übertragen. Die Benutzerschnittstellenvorrichtung 430 kann in der Lage sein, Benutzereingaben von einem Benutzer zu empfangen und dem Benutzer visuelle und/oder akustische Informationen bereitzustellen. Die Benutzerschnittstellenvorrichtung 430 kann zum Beispiel ein berührungsempfindliches Bedienfeld, eine Anzeigetafel, eine Tastatur, einen Lautsprecher, ein Mikrofon oder eine beliebige Kombination davon beinhalten. Bei dem ersten Sensor 440 kann es sich um einen LiDAR-Sensor handeln und bei dem zweiten Sensor 445 kann es sich um einen Bildsensor (z.B. einen Bildsensor einer Kamera) handeln. Auf den Speicher 450 kann von dem Prozessor 310 zugegriffen werden und er kann in der Lage sein, Daten (z. B. die HD-Karte 452, Daten 454 des ersten Sensors (z. B. LiDAR-Daten), die von dem ersten Sensor 440 empfangen werden, und Daten 456 des zweiten Sensors (z. B. Bildsensordaten), die von dem zweiten Sensor 445 empfangen wurden) zu speichern. Der Speicher 450 kann eine Art Direktzugriffsspeicher (Random Access Memory - RAM) beinhalten, wie etwa einen dynamischen RAM (DRAM), statischen RAM (SRAM), Thyristor-RAM (T-RAM) und/oder Null-Kondensator-RAM (Zero-capacitator RAM - Z-RAM). Alternativ oder zusätzlich kann der Speicher 450 eine Art Festwertspeicher (Read-Only Memory - ROM) wie etwa einen Masken-ROM, programmierbaren ROM (PROM), löschbaren programmierbaren ROM (Erasable Programmable ROM - EPROM) und/oder elektrisch löschbaren programmierbaren ROM (Electrically Erasable Programmable ROM - EEPROM) beinhalten. Alternativ oder zusätzlich kann der Speicher 450 eine Art nichtflüchtigen Direktzugriffsspeicher (Non-Volatile Random Access Memory - NVRAM) beinhalten, wie etwa einen Flash-Speicher, Festkörperspeicher, ferroelektrischen RAM (FeRAM), magnetoresistiven RAM (MRAM) und/oder einen Phasenwechselspeicher.
Im Rahmen eines vorgeschlagenen Modells gemäß der vorliegenden Offenbarung kann die Anordnung 400 unterschiedliche Vorgänge ausführen, um vorgeschlagene Modelle gemäß der vorliegenden Offenbarung umzusetzen. Der Prozessor 410 kann zum Beispiel mit den Daten 454 des ersten Sensors von dem ersten Sensor 440 und den Daten 456 des zweiten Sensors von dem zweiten Sensor 445 ein Merkmal auf der HD-Karte 452 einer Region erkennen, während die Anordnung 400 (oder ein Fahrzeug, in/an dem die Anordnung 400 installiert ist) die Region durchquert. Darüber hinaus kann der Prozessor 410 die fehlerhafte Kalibrierung von einem des ersten Sensors 440 und des zweiten Sensors 450 auf Grundlage eines Ergebnisses der Erkennung schätzen.
In einigen Ausführungsformen kann der Prozessor 410 bei der Erkennung des Merkmals auf der HD-Karte das Merkmal in einem ersten Referenzeinzelbild ermitteln, das dem ersten Sensor 440 entspricht. Zusätzlich kann der Prozessor 410 das Merkmal in einem zweiten Referenzeinzelbild ermitteln, das dem zweiten Sensor 445 entspricht. In einigen Ausführungsformen kann der Prozessor 410 beim Schätzen der fehlerhaften Kalibrierung von einem des ersten Sensors 440 und des zweiten Sensors 450 das Merkmal von dem ersten Referenzeinzelbild auf das zweite Referenzeinzelbild projizieren. Ferner kann der Prozessor 410 eine Punktzahl für die fehlerhafte Kalibrierung auf Grundlage dessen berechnen, wie stark das von dem ersten Referenzeinzelbild auf das zweite Referenzeinzelbild projizierte Merkmal mit dem in dem zweiten Referenzeinzelbild ermittelten Merkmal überlappt.
In einigen Ausführungsformen kann beim Erkennen des Merkmals auf der HD-Karte der Region mit den Daten des ersten Sensors von dem ersten Sensor 440 und den Daten des zweiten Sensors von dem zweiten Sensor 445 zu dem Prozess 500 gehören, dass der Prozessor 410 ein Infrastrukturobjekt auf der HD-Karte 452 der Region mit LiDAR-Daten von dem ersten Sensor 440 und einem von dem zweiten Sensor 445 aufgenommen Bild erkennt.
In einigen Ausführungsformen kann das Infrastrukturobjekt eine Ampel, ein Verkehrsschild, einen Lichtmast, eine Fahrbahnmarkierung oder einen Feuerhydranten beinhalten.
In einigen Ausführungsformen kann der Prozessor 410 beim Erkennen des Merkmals auf der HD-Karte der Region mit den Daten des ersten Sensors von dem ersten Sensor 440 und den Daten des zweiten Sensors von dem zweiten Sensor 445 eine Reihe von Vorgängen ausführen. Der Prozessor 410 kann zum Beispiel die Region auf der HD-Karte 452, die eine Vielzahl von Infrastrukturobjekten, einschließlich des Infrastrukturobjekts, aufweist, auf der Grundlage des von dem zweiten Sensor 445 aufgenommenen Bildes ermitteln. Zusätzlich kann der Prozessor 410 das Vorhandensein des Infrastrukturobjekts in einem Sichtfeld des zweiten Sensors 445 auf der Grundlage der Daten von der HD-Karte 452 erkennen. Darüber hinaus kann der Prozessor 410 auf Grundlage der Daten von der HD-Karte 452 einen ersten Begrenzungsrahmen um das Infrastrukturobjekt herum ermitteln, um die Erkennung des Vorhandenseins des Infrastrukturobjekts hervorzuheben.
In einigen Ausführungsformen kann der Prozessor 410 beim Erkennen des Merkmals auf der HD-Karte der Region mit den Daten des ersten Sensors von dem ersten Sensor 440 und den Daten des zweiten Sensors von dem zweiten Sensor 445 zusätzliche Vorgänge ausführen. Der Prozessor 410 kann zum Beispiel 3D-Punkte des Infrastrukturobjekts von der HD-Karte 452 auf ein 2D-Bildsensoreinzelbild projizieren, das dem von dem zweiten Sensor 445 aufgenommenen Bild entspricht. Falls die 3D-Punkte und der erste Begrenzungsrahmen fehlausgerichtet sind, kann der Prozessor 410 darüber hinaus ein Suchfenster um das Infrastrukturobjekt in dem Bild ermitteln, wobei das Suchfenster größer als der erste Begrenzungsrahmen ist und diesen umschließt. Ferner kann der Prozessor 410 eine Objekterkennung in dem Suchfenster ausführen, um einen zweiten Begrenzungsrahmen zu ermitteln, der das Infrastrukturobjekt besser umgibt und an diesem ausrichtet ist als der erste Begrenzungsrahmen.
In einigen Ausführungsformen kann der Prozessor 410 beim Erkennen des Merkmals auf der HD-Karte der Region mit den Daten des ersten Sensors von dem ersten Sensor 440 und den Daten des zweiten Sensors von dem zweiten Sensor 445 andere Vorgänge ausführen. Der Prozessor 410 kann beispielsweise eine Suche in einem Punktwolkenraum in einem 3D-Raum, der durch die LiDAR-Daten in einem LiDAR-Einzelbild dargestellt wird, um einen Standort des Infrastrukturobjekts gemäß der HD-Karte 452 herum durchführen. Zusätzlich kann der Prozessor 410 Punkte in der Punktwolke ermitteln, die dem Infrastrukturobjekt entsprechen. Darüber hinaus kann der Prozessor 410 die ermittelten Punkte auf ein Bildsensoreinzelbild projizieren, das dem von dem zweiten Sensor 445 aufgenommenen Bild entspricht.
In einigen Ausführungsformen kann der Prozessor 410 beim Schätzen der fehlerhaften Kalibrierung von einem des ersten Sensors 440 und des zweiten Sensors 445 auf Grundlage des Ergebnisses der Erkennung eine Punktzahl für die fehlerhafte Kalibrierung auf Grundlage dessen berechnen, wie stark die auf das Bildsensoreinzelbild projizierten ermittelten Punkte mit dem von dem zweiten Sensor 445 in dem Bildsensoreinzelbild ermittelten Merkmal überlappen.
In einigen Ausführungsformen kann der Prozessor 410 zusätzliche Vorgänge ausführen. Der Prozessor 410 kann zum Beispiel einen Schweregrad der fehlerhaften Kalibrierung bestimmen. Darüber hinaus kann der Prozessor 410 ein Ergebnis der Bestimmung melden. In einigen Ausführungsformen kann der Prozessor 410 beim Melden eines oder mehreren der Folgenden ausführen: (a) drahtloses Übertragen des Ergebnisses der Bestimmung über die Kommunikationsvorrichtung 420 an einen entfernten Server; (b) Anzeigen des Ergebnisses der Bestimmung über die Benutzerschnittstellenvorrichtung 430 visuell, akustisch oder sowohl visuell als auch akustisch für einen Benutzer der Anordnung 400; und (c) Aufzeichnen des Ergebnisses der Bestimmung im Speicher 450.
5 veranschaulicht ein Ablaufdiagramm, das einen beispielhaften Vorgang 500 gemäß einer Ausführungsform der vorliegenden Offenbarung darstellt. Der Prozess 500 kann einen bzw. eine oder mehrere Vorgänge, Handlungen oder Funktionen beinhalten, die als Blöcke wie etwa 510 und 520 sowie als Unterblöcke 512, 514, 522 und 524 gezeigt sind. Wenngleich sie als einzelne Blöcke dargestellt sind, können verschiedene Blöcke/Unterblöcke des Prozesses 500 je nach gewünschten Umsetzungen in zusätzliche Blöcke unterteilt, zu weniger Blöcken zusammengefasst oder weggelassen werden. Darüber hinaus können einige oder alle der Blöcke/Unterblöcke aus 5 wiederholt werden. Zu Veranschaulichungszwecken und ohne Einschränkung wird die folgende Beschreibung des Prozesses 500 mit der Anordnung 400 in einem oder als Fahrzeug (z. B. ein AV, UAV oder Roboter) umgesetzt bereitgestellt. Der Prozess 500 kann bei Block 510 beginnen.
Bei 510 kann zu dem Prozess 500 gehören, dass der Prozessor 410 der Anordnung 400 ein Merkmal auf einer HD-Karte (z. B. HD-Karte 452) einer Region mit Daten des ersten Sensors von dem ersten Sensor 440 und Daten des zweiten Sensors von dem zweiten Sensor 445 erkennt, während die Anordnung 400 (oder ein Fahrzeug, in/an dem die Anordnung 400 installiert ist) die Region durchquert. Der Prozess 500 kann von 510 zu 520 übergehen.
Bei 520 kann zu dem Prozess 500 gehören, dass der Prozessor 410 die fehlerhafte Kalibrierung von einem des ersten Sensors 440 und des zweiten Sensors 450 auf Grundlage eines Ergebnisses der Erkennung schätzt.
In einigen Ausführungsformen kann beim Erkennen des Merkmals auf der HD-Karte zu dem Prozess 500 gehören, dass der Prozessor 410 eine Reihe von Vorgängen ausführt, wie durch die Unterblöcke 512 und 514 dargestellt.
Bei 512 kann zu dem Prozess 500 gehören, dass der Prozessor 410 das Merkmal in einem ersten Referenzeinzelbild ermittelt, das dem ersten Sensor 440 entspricht. Der Prozess 500 kann von 512 zu 514 übergehen.
Bei 514 kann zu dem Prozess 500 gehören, dass der Prozessor 410 das Merkmal in einem zweiten Referenzeinzelbild ermittelt, das dem zweiten Sensor 445 entspricht.
In einigen Ausführungsformen kann zu dem Prozess 500 beim Schätzen der fehlerhaften Kalibrierung von einem des ersten Sensors 440 und des zweiten Sensors 450 gehören, dass der Prozessor 410 eine Reihe von Vorgängen ausführt, wie durch die Unterblöcke 522 und 524 dargestellt.
Bei 522 kann zu dem Prozess 500 gehören, dass der Prozessor 410 das Merkmal von dem ersten Referenzeinzelbild auf das zweite Referenzeinzelbild projiziert. Der Prozess 500 kann von 522 zu 524 übergehen.
Bei 524 kann zu dem Prozess 500 gehören, dass der Prozessor 410 eine Punktzahl für die fehlerhafte Kalibrierung auf Grundlage dessen berechnet, wie stark das von dem ersten Referenzeinzelbild auf das zweite Referenzeinzelbild projizierte Merkmal mit dem in dem zweiten Referenzeinzelbild ermittelten Merkmal überlappt.
In einigen Ausführungsformen kann beim Erkennen des Merkmals auf der HD-Karte der Region mit den Daten des ersten Sensors von dem ersten Sensor 440 und den Daten des zweiten Sensors von dem zweiten Sensor 445 zu dem Prozess 500 gehören, dass der Prozessor 410 ein Infrastrukturobjekt auf der HD-Karte 452 der Region mit Light-Detection-and-Ranging-Daten (LiDAR-Daten) von dem ersten Sensor 440 als LiDAR-Sensor und einem von dem zweiten Sensor 445 als Bildsensor aufgenommen Bild erkennt.
In einigen Ausführungsformen kann das Infrastrukturobjekt eine Ampel, ein Verkehrsschild, einen Lichtmast, eine Fahrbahnmarkierung oder einen Feuerhydranten beinhalten.
In einigen Ausführungsformen kann zu dem Prozess 500 gehören, dass der Prozessor 410 beim Erkennen des Merkmals auf der HD-Karte der Region mit den Daten des ersten Sensors von dem ersten Sensor 440 und den Daten des zweiten Sensors von dem zweiten Sensor 445 eine Reihe von Vorgängen ausführt. Zu dem Prozess 500 kann zum Beispiel gehören, dass der Prozessor 410 die Region auf der HD-Karte 452, die eine Vielzahl von Infrastrukturobjekten, einschließlich des Infrastrukturobjekts, aufweist, auf der Grundlage des von dem zweiten Sensor 445 aufgenommenen Bildes ermittelt. Zusätzlich kann zu dem Prozess 500 gehören, dass der Prozessor 410 das Vorhandensein des Infrastrukturobjekts in einem Sichtfeld des zweiten Sensors 445 auf der Grundlage der Daten von der HD-Karte 452 erkennt. Darüber hinaus kann zu dem Prozess 500 gehören, dass der Prozessor 410 auf Grundlage der Daten von der HD-Karte 452 einen ersten Begrenzungsrahmen um das Infrastrukturobjekt herum ermittelt, um die Erkennung des Vorhandenseins des Infrastrukturobjekts hervorzuheben.
In einigen Ausführungsformen kann zu dem Prozess 500 gehören, dass der Prozessor 410 beim Erkennen des Merkmals auf der HD-Karte der Region mit den Daten des ersten Sensors von dem ersten Sensor 440 und den Daten des zweiten Sensors von dem zweiten Sensor 445 zusätzliche Vorgänge ausführt. Zu dem Prozess 500 kann zum Beispiel gehören, dass der Prozessor 410 3D-Punkte des Infrastrukturobjekts von der HD-Karte 452 auf ein 2D-Bildsensoreinzelbild projiziert, das dem von dem zweiten Sensor 445 aufgenommenen Bild entspricht. Falls die 3D-Punkte und der erste Begrenzungsrahmen fehlausgerichtet sind, kann zu dem Prozessor 500 darüber hinaus gehören, dass ein Prozessor 410 ein Suchfenster um das Infrastrukturobjekt in dem Bild ermittelt, wobei das Suchfenster größer als der erste Begrenzungsrahmen ist und diesen umschließt. Ferner kann zu dem Prozess 500 gehören, dass der Prozessor 410 eine Objekterkennung in dem Suchfenster ausführt, um einen zweiten Begrenzungsrahmen zu ermitteln, der das Infrastrukturobjekt besser umgibt und an diesem ausrichtet ist als der erste Begrenzungsrahmen.
In einigen Ausführungsformen kann zu dem Prozess 500 gehören, dass der Prozessor 410 beim Erkennen des Merkmals auf der HD-Karte der Region mit den Daten des ersten Sensors von dem ersten Sensor 440 und den Daten des zweiten Sensors von dem zweiten Sensor 445 andere Vorgänge ausführt. Zu dem Prozess 500 kann zum Beispiel gehören, dass der Prozessor 410 eine Suche in einem Punktwolkenraum in einem 3D-Raum, der durch die LiDAR-Daten in einem LiDAR-Einzelbild dargestellt wird, um einen Standort des Infrastrukturobjekts gemäß der HD-Karte 452 herum durchführt. Zusätzlich kann zu dem Prozess 500 gehören, dass der Prozessor 410 Punkte in der Punktwolke ermittelt, die dem Infrastrukturobjekt entsprechen. Darüber hinaus kann zu dem Prozess 500 gehören, dass der Prozessor 410 die ermittelten Punkte auf ein Bildsensoreinzelbild projiziert, das dem von dem zweiten Sensor 445 aufgenommenen Bild entspricht.
In einigen Ausführungsformen kann zu dem Prozess 500 gehören, dass der Prozessor 410 beim Schätzen der fehlerhaften Kalibrierung von einem des ersten Sensors 440 und des zweiten Sensors 445 auf Grundlage des Ergebnisses der Erkennung eine Punktzahl für die fehlerhafte Kalibrierung auf Grundlage dessen berechnet, wie stark die auf das Bildsensoreinzelbild projizierten ermittelten Punkte mit dem von dem zweiten Sensor 445 in dem Bildsensoreinzelbild ermittelten Merkmal überlappen.
In einigen Ausführungsformen kann zu dem Prozess 500 gehören, dass der Prozessor 410 zusätzliche Vorgänge ausführt. Zu dem Prozess 500 kann zum Beispiel gehören, dass der Prozessor 410 einen Schweregrad der fehlerhaften Kalibrierung bestimmt. Darüber hinaus kann zu dem Prozess 500 gehören, dass der Prozessor 410 ein Ergebnis der Bestimmung meldet. In einigen Ausführungsformen kann zu dem Prozess 500 gehören, dass der Prozessor 410 beim Melden eines oder mehrere der Folgenden ausführt: (a) drahtloses Übertragen des Ergebnisses der Bestimmung über die Kommunikationsvorrichtung 420 an einen entfernten Server; (b) Anzeigen des Ergebnisses der Bestimmung über die Benutzerschnittstellenvorrichtung 430 visuell, akustisch oder sowohl visuell als auch akustisch für einen Benutzer der Anordnung 400; und (c) Aufzeichnen des Ergebnisses der Bestimmung im Speicher 450.
In der vorstehenden Offenbarung ist auf die beigefügten Zeichnungen Bezug genommen worden, die einen Teil dieser Schrift bilden und in denen zur Veranschaulichung konkrete Umsetzungen gezeigt sind, in denen die vorliegende Offenbarung umgesetzt sein kann. Es versteht sich, dass auch andere Umsetzungen verwendet und strukturelle Änderungen vorgenommen werden können, ohne vom Schutzumfang der vorliegenden Offenbarung abzuweichen. Bezugnahmen in der Beschreibung auf „eine Ausführungsform“, „ein Ausführungsbeispiel“ usw. geben an, dass die beschriebene Ausführungsform ein(e) bestimmte(s) Eigenschaft, Struktur oder Merkmal aufweisen kann, wobei jedoch nicht unbedingt jede Ausführungsform diese(s) bestimmte Merkmal, Struktur oder Charakteristikum aufweisen muss. Darüber hinaus beziehen sich derartige Formulierungen nicht unbedingt auf dieselbe Ausführungsform. Ferner sei darauf hingewiesen, dass, wenn ein(e) bestimmte(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit einer Ausführungsform beschrieben ist, es im Bereich des Fachwissens des Fachmanns liegt, ein(e) derartige(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit anderen Ausführungsformen umzusetzen, ob dies nun ausdrücklich beschrieben ist oder nicht.
Umsetzungen der in dieser Schrift offenbarten Systeme, Apparaturen, Vorrichtungen und Verfahren können einen Spezial- oder Universalcomputer umfassen oder verwenden, der Computerhardware beinhaltet, wie zum Beispiel einen oder mehrere Prozessoren und Systemspeicher, wie sie in dieser Schrift erörtert sind. Umsetzungen innerhalb des Umfangs der vorliegenden Offenbarung können außerdem physische und andere computerlesbare Medien zum Transportieren oder Speichern von computerausführbaren Anweisungen und/oder Datenstrukturen beinhalten. Bei derartigen computerlesbaren Medien kann es sich um beliebige verfügbare Medien handeln, auf die durch ein Universal- oder Spezialcomputersystem zugegriffen werden kann. Bei computerlesbaren Medien, auf denen computerausführbare Anweisungen gespeichert sind, handelt es sich um Computerspeichermedien (Computerspeichervorrichtungen). Bei computerlesbaren Medien, die computerausführbare Anweisungen transportieren, handelt es sich um Übertragungsmedien. Somit können Umsetzungen der vorliegenden Offenbarung beispielsweise und nicht einschränkend mindestens zwei deutlich unterschiedliche Arten von computerlesbaren Medien umfassen: Computerspeichermedien (Computerspeichervorrichtungen) und Übertragungsmedien.
Computerspeichermedien (Computerspeichervorrichtungen) beinhalten RAM, ROM, EEPROM, CD-ROM, Festkörperlaufwerke (Solid State Drives - „SSDs“) (z. B. auf Grundlage von RAM), Flash-Speicher, Phasenwechselspeicher (Phase-Change Memory - „PCM“), andere Speicherarten, andere optische Plattenspeicher, Magnetplattenspeicher oder andere magnetische Speichervorrichtungen oder ein beliebiges anderes Medium, das dazu verwendet werden kann, gewünschte Programmcodemittel in Form von computerausführbaren Anweisungen oder Datenstrukturen zu speichern, und auf das durch einen Universal- oder Spezialcomputer zugegriffen werden kann.
Eine Umsetzung der in dieser Schrift offenbarten Vorrichtungen, Systeme und Verfahren kann über ein Computernetzwerk kommunizieren. Ein „Netzwerk“ ist als eine oder mehrere Datenverbindungen definiert, die den Transport elektronischer Daten zwischen Computersystemen und/oder Modulen und/oder anderen elektronischen Vorrichtungen ermöglichen. Wenn Informationen über ein Netzwerk oder eine andere (entweder festverdrahtete, drahtlose oder eine beliebige Kombination aus festverdrahteter oder drahtloser) Kommunikationsverbindung an einen Computer übertragen oder diesem bereitgestellt werden, sieht der Computer die Verbindung korrekt als Übertragungsmedium an. Übertragungsmedien können ein Netzwerk und/oder Datenverbindungen beinhalten, die dazu verwendet werden können, gewünschte Programmcodemittel in Form von computerausführbaren Anweisungen oder Datenstrukturen zu transportieren, und auf die durch einen Universal- oder Spezialcomputer zugegriffen werden kann. Kombinationen aus dem Vorstehenden sollten ebenfalls im Umfang computerlesbarer Medien enthalten sein.
Computerausführbare Anweisungen umfassen zum Beispiel Anweisungen und Daten, die bei Ausführung an einem Prozessor bewirken, dass ein Universalcomputer, ein Spezialcomputer oder eine Spezialverarbeitungsvorrichtung eine bestimmte Funktion oder Gruppe von Funktionen durchführt. Die computerausführbaren Anweisungen können zum Beispiel Binärdateien, Anweisungen in einem Zwischenformat, wie etwa Assemblersprache, oder auch Quellcode sein. Obwohl der Gegenstand in für Strukturmerkmale und/oder methodische Handlungen spezifischer Sprache beschrieben worden ist, versteht es sich, dass der in den beigefügten Patentansprüchen definierte Gegenstand nicht unbedingt auf die vorstehend beschriebenen Merkmale oder Handlungen beschränkt ist. Die beschriebenen Merkmale und Handlungen werden vielmehr als beispielhafte Formen der Umsetzung der Patentansprüche offenbart.
Der Fachmann wird verstehen, dass die vorliegende Offenbarung in Network-Computing-Umgebungen mit vielen Arten von Computersystemkonfigurationen umgesetzt werden kann, zu denen ein Armaturenbrett-Fahrzeugcomputer, Personal Computer, Desktop-Computer, Laptop-Computer, Nachrichtenprozessoren, Handheld-Vorrichtungen, Multiprozessorsysteme, Unterhaltungselektronik auf Mikroprozessorbasis oder programmierbare Unterhaltungselektronik, Netz-PCs, Minicomputer, Mainframe-Computer, Mobiltelefone, PDAs, Tablets, Pager, Router, Switches, verschiedene Speichervorrichtungen und dergleichen gehören. Die Offenbarung kann zudem in verteilten Systemumgebungen umgesetzt werden, in denen sowohl lokale Computersysteme als auch entfernte Computersysteme, die durch ein Netzwerk (entweder durch festverdrahtete Datenverbindungen, drahtlose Datenverbindungen oder durch eine beliebige Kombination aus festverdrahteten und drahtlosen Datenverbindungen) verbunden sind, Aufgaben ausführen. In einer Umgebung mit verteilten Systemen können sich Programmmodule sowohl in lokalen Speichervorrichtungen als auch in entfernten Speichervorrichtungen befinden.
Ferner können die in dieser Schrift beschriebenen Funktionen gegebenenfalls in einem oder mehreren der Folgenden durchgeführt werden: Hardware, Software, Firmware, digitalen Komponenten oder analogen Komponenten. Eine oder mehrere anwendungsspezifische integrierte Schaltungen (Application Specific Integrated Circuits - ASICs) können zum Beispiel so programmiert sein, dass sie eines bzw. einen oder mehrere der in dieser Schrift beschriebenen Systeme und Prozesse ausführen. Bestimmte Ausdrücke werden in der gesamten Beschreibung und den Patentansprüchen verwendet, um auf bestimmte Systemkomponenten Bezug zu nehmen. Der Fachmann wird verstehen, dass auf Komponenten durch unterschiedliche Bezeichnungen Bezug genommen werden kann. In dieser Schrift soll nicht zwischen Komponenten unterschieden werden, die sich dem Namen nach unterscheiden, nicht jedoch der Funktion nach.
Es ist anzumerken, dass die vorstehend erörterten Sensorausführungsformen Computerhardware, -software, -firmware oder eine beliebige Kombination daraus umfassen können, um zumindest einen Teil ihrer Funktionen auszuführen. Ein Sensor kann zum Beispiel Computercode beinhalten, der dazu konfiguriert ist, in einem oder mehreren Prozessoren ausgeführt zu werden, und kann Hardware-Logikschaltungen/elektrische Schaltungen beinhalten, die durch den Computercode gesteuert werden. Diese beispielhaften Vorrichtungen sind in dieser Schrift zum Zwecke der Veranschaulichung bereitgestellt und sollen nicht einschränkend sein. Ausführungsformen der vorliegenden Offenbarung können in weiteren Arten von Vorrichtungen umgesetzt werden, wie es dem einschlägigen Fachmann bekannt ist.
Zumindest manche Ausführungsformen der vorliegenden Offenbarung sind auf Computerprogrammprodukte ausgerichtet, die eine solche Logik (z. B. in Form von Software) umfassen, die auf einem beliebigen computernutzbaren Medium gespeichert ist. Derartige Software bewirkt bei Ausführung in einer oder mehreren Datenverarbeitungsvorrichtungen, dass eine Vorrichtung wie in dieser Schrift beschrieben betrieben wird.
Während vorstehend verschiedene Ausführungsformen der vorliegenden Offenbarung beschrieben wurden, versteht es sich, dass diese lediglich als Beispiele und nicht zur Einschränkung dienen. Der Fachmann auf dem einschlägigen Gebiet wird erkennen, dass verschiedene Änderungen bezüglich Form und Detail daran vorgenommen werden können, ohne von Wesen und Umfang der vorliegenden Offenbarung abzuweichen. Daher sind Breite und Umfang der vorliegenden Offenbarung durch keine der vorstehend beschriebenen Ausführungsbeispiele einzuschränken, sondern ausschließlich gemäß den nachfolgenden Ansprüchen und ihren Äquivalenten zu definieren. Die vorstehende Beschreibung ist zum Zwecke der Veranschaulichung und Beschreibung dargelegt worden. Sie erhebt keinerlei Anspruch auf Vollständigkeit und soll die vorliegende Offenbarung nicht auf die genau offenbarte Form beschränken. Viele Modifikationen und Variationen sind in Anbetracht der vorstehenden Lehre möglich. Ferner ist zu beachten, dass eine beliebige oder alle der vorangehend genannten alternativen Umsetzungen in einer beliebigen gewünschten Kombination genutzt werden können, um zusätzliche Hybridumsetzungen der vorliegenden Offenbarung zu bilden.
Gemäß der vorliegenden Erfindung beinhaltet ein Verfahren das Erkennen eines Merkmals auf einer hochauflösenden (High-Definition - HD) Karte einer Region mit Daten eines ersten Sensors von einem ersten Sensor eines Fahrzeugs und Daten eines zweiten Sensors von einem zweiten Sensor des Fahrzeugs, während das Fahrzeug die Region durchquert; und das Schätzen einer fehlerhaften Kalibrierung von einem des ersten und des zweiten Sensors auf Grundlage eines Ergebnisses der Erkennung.
Gemäß einer Ausführungsform umfasst die Erkennen des Merkmals auf der HD-Karte der Region mit den Daten des ersten Sensors von dem ersten Sensor eines Fahrzeugs und den Daten des zweiten Sensors von dem zweiten Sensor des Fahrzeugs Folgendes: Ermitteln des Merkmals in einem ersten Referenzeinzelbild, das dem ersten Sensor entspricht; und Ermitteln des Merkmals in einem zweiten Referenzeinzelbild, das dem zweiten Sensor entspricht.
Gemäß einer Ausführungsform umfasst das Schätzen der fehlerhaften Kalibrierung von einem des ersten Sensors und des zweiten Sensors auf Grundlage des Ergebnisses der Erkennung: Projizieren des Merkmals von dem ersten Referenzeinzelbild auf das zweite Referenzeinzelbild; und Berechnen einer Punktzahl für die fehlerhafte Kalibrierung auf Grundlage dessen, wie stark das von dem ersten Referenzeinzelbild auf das zweite Referenzeinzelbild projizierte Merkmal mit dem in dem zweiten Referenzeinzelbild ermittelten Merkmal überlappt.
Gemäß einer Ausführungsform umfasst das Erkennen des Merkmals auf der HD-Karte der Region mit den Daten des ersten Sensors von dem ersten Sensor eines Fahrzeugs und den Daten des zweiten Sensors von dem zweiten Sensor des Fahrzeugs das Erkennen eines Infrastrukturobjekts auf der HD-Karte der Region mit Light-Detection-and-Ranging-Daten (LiDAR-Daten) von einem LiDAR-Sensor des Fahrzeugs und einem von einem Bildsensor des Fahrzeugs aufgenommen Bild.
Gemäß einer Ausführungsform umfasst das Infrastrukturobjekt eine Ampel, ein Verkehrsschild, einen Lichtmasten, eine Fahrbahnmarkierung oder einen Feuerhydranten.
Gemäß einer Ausführungsform umfasst das Erkennen des Merkmals auf der HD-Karte der Region mit den Daten des ersten Sensors von dem ersten Sensor eines Fahrzeugs und den Daten des zweiten Sensors von dem zweiten Sensor des Fahrzeugs das Ermitteln der Region auf der HD-Karte, die eine Vielzahl von Infrastrukturobjekten, einschließlich des Infrastrukturobjekts, aufweist, auf der Grundlage des von dem Bildsensors aufgenommenen Bildes; das Erkennen des Vorhandenseins des Infrastrukturobjekts in einem Sichtfeld des Bildsensors auf Grundlage der Daten von der HD-Karte; und das Ermitteln eines ersten Begrenzungsrahmens um das Infrastrukturobjekt herum auf Grundlage der Daten von der HD-Karte, um die Erkennung des Vorhandenseins des Infrastrukturobjekts hervorzuheben.
Gemäß einer Ausführungsform umfasst das Erkennen des Merkmals auf der HD-Karte der Region mit den Daten des ersten Sensors von dem ersten Sensor eines Fahrzeugs und den Daten des zweiten Sensors von dem zweiten Sensor des Fahrzeugs ferner Folgendes: Projizieren dreidimensionaler (3D-)Punkte des Infrastrukturobjekts von der HD-Karte auf ein zweidimensionales (2D-)Bildsensoreinzelbild, das dem von dem Bildsensor aufgenommenen Bild entspricht; falls die 3D-Punkte und der erste Begrenzungsrahmen fehlausgerichtet sind, Ermitteln eines Suchfensters um das Infrastrukturobjekt in dem Bild herum, wobei das Suchfenster größer ist als der erste Begrenzungsrahmen und diesen umschließt; und Ausführen einer Objekterkennung in dem Suchfenster, um einen zweiten Begrenzungsrahmen zu ermitteln, der das Infrastrukturobjekt besser umgibt und an diesem ausrichtet ist als der erste Begrenzungsrahmen.
Gemäß einer Ausführungsform umfasst das Erkennen des Merkmals auf der HD-Karte der Region mit den Daten des ersten Sensors von dem ersten Sensor eines Fahrzeugs und den Daten des zweiten Sensors von dem zweiten Sensor des Fahrzeugs ferner das Durchführen einer Suche in einem Punktwolkenraum in einem dreidimensionalen (3D-)Raum, der durch die LiDAR-Daten in einem LiDAR-Einzelbild dargestellt wird, um einen Standort des Infrastrukturobjekts gemäß der HD-Karte herum, das Ermitteln von Punkten in der Punktwolke, die dem Infrastrukturobjekt entsprechen; und das Projizieren der ermittelten Punkte auf ein Bildsensoreinzelbild, das dem von dem Bildsensor aufgenommenen Bild entspricht.
Gemäß einer Ausführungsform umfasst das Schätzen der fehlerhaften Kalibrierung von einem des ersten Sensors und des zweiten Sensors auf Grundlage des Ergebnisses der Erkennung das Berechnen einer Punktzahl für die fehlerhafte Kalibrierung auf Grundlage dessen, wie stark die auf das Bildsensoreinzelbild projizierten ermittelten Punkte mit dem von dem Bildsensor in dem Bildsensoreinzelbild ermittelten Merkmal überlappen.
Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner gekennzeichnet durch das Bestimmen eines Schweregrads der fehlerhaften Kalibrierung; und das Melden eines Ergebnisses der Bestimmung.
Gemäß einer Ausführungsform umfasst das Melden eines oder mehrere der Folgenden: drahtloses Übertragen des Ergebnisses der Bestimmung an einen entfernten Server; Anzeigen des Ergebnisses der Bestimmung visuell, akustisch oder sowohl visuell als auch akustisch für einen Benutzer des Fahrzeugs; und Aufzeichnen des Ergebnisses der Bestimmung.
Gemäß der vorliegenden Erfindung ist eine Anordnung, die in einem Fahrzeug umsetzbar ist, bereitgestellt, die Folgendes aufweist: einen Speicher, in dem eine hochauflösende (HD-)Karte einer Region gespeichert ist; einen ersten Sensor, der in der Lage ist die Region abzutasten, während das Fahrzeug die Region durchquert und Daten des ersten Sensors als Ergebnis der Abtastung bereitzustellen; einen zweiten Sensor, der in der Lage ist die Region abzutasten, während das Fahrzeug die Region durchquert und Daten des zweiten Sensors als Ergebnis der Abtastung bereitzustellen; und einen Prozessor, der mit dem Speicher, dem ersten Sensor und dem zweiten Sensor gekoppelt ist, wobei der Prozessor in der Lage ist, ein Merkmal auf der HD-Karte der Region mit den Daten des ersten Sensors und den Daten des zweiten Sensors zu erkennen; und eine fehlerhafte Kalibrierung von einem des ersten und des zweiten Sensors auf Grundlage eines Ergebnisses der Erkennung zu schätzen.
Gemäß einer Ausführungsform ist der Prozessor beim Erkennen des Merkmals auf der HD-Karte der Region mit den Daten des ersten Sensors und den Daten des zweiten Sensors in der Lage, das Merkmal in einem ersten Referenzeinzelbild, das dem ersten Sensor entspricht, zu ermitteln, und das Merkmal in einem zweiten Referenzeinzelbild, das dem zweiten Sensor entspricht, zu ermitteln.
Gemäß einer Ausführungsform ist der Prozessor beim Schätzen der fehlerhaften Kalibrierung von einem des ersten Sensors und des zweiten Sensors auf Grundlage des Ergebnisses der Erkennung in der Lage, das Merkmal von dem ersten Referenzeinzelbild auf das zweite Referenzeinzelbild zu projizieren; und eine Punktzahl für die fehlerhafte Kalibrierung auf Grundlage dessen, wie stark das von dem ersten Referenzeinzelbild auf das zweite Referenzeinzelbild projizierte Merkmal mit dem in dem zweiten Referenzeinzelbild ermittelten Merkmal überlappt, zu berechnen.
Gemäß einer Ausführungsform umfasst der erste Sensor einen Light-Detection-and Ranging-(LiDAR-)Sensor, wobei der zweite Sensor einen Bildsensor umfasst und wobei das Merkmal ein Infrastrukturobjekt umfasst.
Gemäß einer Ausführungsform ist der Prozessor beim Erkennen des Merkmals auf der HD-Karte der Region mit den Daten des ersten Sensors und den Daten des zweiten Sensors in der Lage, die Region auf der HD-Karte, die eine Vielzahl von Infrastrukturobjekten, einschließlich des Infrastrukturobjekts, aufweist, auf der Grundlage des von dem Bildsensor aufgenommenen Bildes zu erkennen, das Vorhandensein des Infrastrukturobjekts in einem Sichtfeld des Bildsensors auf Grundlage der Daten von der HD-Karte zu erkennen; und einen ersten Begrenzungsrahmen um das Infrastrukturobjekt herum auf Grundlage der Daten von der HD-Karte zu ermitteln, um die Erkennung des Vorhandenseins des Infrastrukturobjekts hervorzuheben.
Gemäß einer Ausführungsform ist der Prozessor beim Erkennen des Merkmals auf der HD-Karte der Region mit den Daten des ersten Sensors und den Daten des zweiten Sensors ferner in der Lage, dreidimensionale (3D-)Punkte des Infrastrukturobjekts von der HD-Karte auf ein zweidimensionales (2D-)Bildsensoreinzelbild, das dem von dem Bildsensor aufgenommenen Bild entspricht, zu projizieren; falls die 3D-Punkte und der erste Begrenzungsrahmen fehlausgerichtet sind, ein Suchfenster um das Infrastrukturobjekt in dem Bild herum zu ermitteln, wobei das Suchfenster größer ist als der erste Begrenzungsrahmen und diesen umschließt; und eine Objekterkennung in dem Suchfenster auszuführen, um einen zweiten Begrenzungsrahmen zu ermitteln, der das Infrastrukturobjekt besser umgibt und an diesem ausrichtet ist als der erste Begrenzungsrahmen.
Gemäß einer Ausführungsform ist der Sensor beim Erkennen des Merkmals auf der HD-Karte der Region mit den Daten des ersten Sensors und den Daten des zweiten Sensors ferner dazu in der Lage, eine Suche in einem Punktwolkenraum in einem dreidimensionalen (3D-)Raum, der durch die LiDAR-Daten in einem LiDAR-Einzelbild dargestellt wird, um einen Standort des Infrastrukturobjekts gemäß der HD-Karte herum durchzuführen; Punkte in der Punktwolke, die dem Infrastrukturobjekt entsprechen, zu ermitteln; und die ermittelten Punkte auf ein Bildsensoreinzelbild, das dem von dem Bildsensor aufgenommenen Bild entspricht, zu projizieren.
Gemäß einer Ausführungsform ist der Prozessor beim Schätzen der fehlerhaften Kalibrierung von einem des ersten Sensors und des zweiten Sensors auf Grundlage des Ergebnisses der Erkennung in der Lage, eine Punktzahl für die fehlerhafte Kalibrierung auf Grundlage dessen, wie stark die auf das Bildsensoreinzelbild projizierten ermittelten Punkte mit dem von dem Bildsensor in dem Bildsensoreinzelbild ermittelten Merkmal überlappen, zu berechnen.
Gemäß einer Ausführungsform ist der Prozessor ferner in der Lage einen Schweregrad der fehlerhaften Kalibrierung zu bestimmen; und ein Ergebnis der Bestimmung durch Ausführen eines oder mehrerer der Folgenden zu melden: drahtloses Übertragen des Ergebnisses der Bestimmung an einen entfernten Server; Anzeigen des Ergebnisses der Bestimmung visuell, akustisch oder sowohl visuell als auch akustisch für einen Benutzer des Fahrzeugs; und Aufzeichnen des Ergebnisses der Bestimmung.

Claims

Verfahren, das Folgendes umfasst: Erkennen eines Merkmals auf einer hochauflösenden (HD-)Karte einer Region mit Daten eines ersten Sensors von einem ersten Sensor eines Fahrzeugs und Daten eines zweiten Sensors von einem zweiten Sensor des Fahrzeugs, während das Fahrzeug die Region durchquert; und Schätzen einer fehlerhaften Kalibrierung von einem des ersten Sensors und des zweiten Sensors auf Grundlage eines Ergebnisses der Erkennung.
Verfahren nach Anspruch 1, wobei das Erkennen des Merkmals auf der HD-Karte der Region mit den Daten des ersten Sensors von dem ersten Sensor eines Fahrzeugs und den Daten des zweiten Sensors von dem zweiten Sensor des Fahrzeugs Folgendes umfasst: Ermitteln des Merkmals in einem ersten Referenzeinzelbild, das dem ersten Sensor entspricht; und Ermitteln des Merkmals in einem zweiten Referenzeinzelbild, das dem zweiten Sensor entspricht.
Verfahren nach Anspruch 2, wobei das Schätzen der fehlerhaften Kalibrierung von einem des ersten Sensors und des zweiten Sensors auf Grundlage des Ergebnisses der Erkennung Folgendes umfasst: Projizieren des Merkmals von dem ersten Referenzeinzelbild auf das zweite Referenzeinzelbild; und Berechnen einer Punktzahl für die fehlerhafte Kalibrierung auf Grundlage dessen, wie stark das von dem ersten Referenzeinzelbild auf das zweite Referenzeinzelbild projizierte Merkmal mit dem in dem zweiten Referenzeinzelbild ermittelten Merkmal überlappt.
Verfahren nach Anspruch 1, wobei das Erkennen des Merkmals auf der HD-Karte der Region mit den Daten des ersten Sensors von dem ersten Sensor eines Fahrzeugs und den Daten des zweiten Sensors von dem zweiten Sensor des Fahrzeugs das Erkennen eines Infrastrukturobjekts auf der HD-Karte der Region mit Light-Detection-and-Ranging-Daten (LiDAR-Daten) von einem LiDAR-Sensor des Fahrzeugs und einem von einem Bildsensor des Fahrzeugs aufgenommen Bild umfasst.
Verfahren nach Anspruch 4, wobei das Infrastrukturobjekt eine Ampel, ein Verkehrsschild, einen Lichtmasten, eine Fahrbahnmarkierung oder einen Feuerhydranten umfasst.
Verfahren nach Anspruch 4, wobei das Erkennen des Merkmals auf der HD-Karte der Region mit den Daten des ersten Sensors von dem ersten Sensor eines Fahrzeugs und den Daten des zweiten Sensors von dem zweiten Sensor des Fahrzeugs Folgendes umfasst: Ermitteln der Region auf der HD-Karte, die eine Vielzahl von Infrastrukturobjekten, einschließlich des Infrastrukturobjekts, aufweist, auf der Grundlage des von dem Bildsensor aufgenommenen Bildes; Erkennen des Vorhandenseins des Infrastrukturobjekts in einem Sichtfeld des Bildsensors auf Grundlage der Daten von der HD-Karte; und Ermitteln eines ersten Begrenzungsrahmens um das Infrastrukturobjekt herum auf Grundlage der Daten von der HD-Karte, um die Erkennung des Vorhandenseins des Infrastrukturobjekts hervorzuheben.
Verfahren nach Anspruch 6, wobei das Erkennen des Merkmals auf der HD-Karte der Region mit den Daten des ersten Sensors von dem ersten Sensor eines Fahrzeugs und den Daten des zweiten Sensors von dem zweiten Sensor des Fahrzeugs ferner Folgendes umfasst: Projizieren dreidimensionaler (3D-)Punkte des Infrastrukturobjekts von der HD-Karte auf ein zweidimensionales (2D-)Bildsensoreinzelbild, das dem von dem Bildsensor aufgenommenen Bild entspricht. falls die 3D-Punkte und der erste Begrenzungsrahmen fehlausgerichtet sind, Ermitteln eines Suchfensters um das Infrastrukturobjekt in dem Bild herum, wobei das Suchfenster größer als der erste Begrenzungsrahmen ist und diesen umschließt; und Ausführen einer Objekterkennung in dem Suchfenster, um einen zweiten Begrenzungsrahmen zu ermitteln, der das Infrastrukturobjekt besser umgibt und an diesem ausrichtet ist als der erste Begrenzungsrahmen.
Verfahren nach Anspruch 6, wobei das Erkennen des Merkmals auf der HD-Karte der Region mit den Daten des ersten Sensors von dem ersten Sensor eines Fahrzeugs und den Daten des zweiten Sensors von dem zweiten Sensor des Fahrzeugs ferner Folgendes umfasst: Durchführen einer Suche in einem Punktwolkenraum in einem dreidimensionalen (3D) Raum, der durch die LiDAR-Daten in einem LiDAR-Einzebild dargestellt wird, um einen Standort des Infrastrukturobjekts gemäß der HD-Karte herum, Ermitteln von Punkten in der Punktwolke, die dem Infrastrukturobj ekt entsprechen; und Projizieren der ermittelten Punkte auf ein Bildsensoreinzelbild, das dem von dem Bildsensor aufgenommenen Bild entspricht.
Verfahren nach Anspruch 8, wobei das Schätzen der fehlerhaften Kalibrierung von einem des ersten Sensors und des zweiten Sensors auf Grundlage des Ergebnisses der Erkennung das Berechnen einer Punktzahl für die fehlerhafte Kalibrierung auf Grundlage dessen, wie stark die auf das Bildsensoreinzelbild projizierten ermittelten Punkte mit dem von dem Bildsensor in dem Bildsensoreinzelbild ermittelten Merkmal überlappen.
Verfahren nach Anspruch 1, ferner umfassend: Bestimmen eines Schweregrad der fehlerhaften Kalibrierung; und Melden eines Ergebnisses der Bestimmung, wobei das Melden eines oder mehrere der Folgenden umfasst: drahtloses Übertragen des Ergebnisses der Bestimmung einem entfernten Server; Anzeigen des Ergebnisses der Bestimmung visuell, akustisch oder sowohl visuell als auch akustisch für einen Benutzer des Fahrzeugs; und Aufzeichnen des Ergebnisses der Bestimmung.
Anordnung, die in einem Fahrzeug umsetzbar ist, die Folgendes umfasst: einen Speicher auf dem, eine hochauflösende (HD-)Karte einer Region gespeichert ist; einen ersten Sensor, der in der Lage ist die Region abzutasten, während das Fahrzeug die Region durchquert und Daten des ersten Sensors als Ergebnis der Abtastung bereitzustellen; einen zweiten Sensor, der in der Lage ist die Region abzutasten, während das Fahrzeug die Region durchquert und Daten des zweiten Sensors als Ergebnis der Abtastung bereitzustellen; und einen Prozessor, der mit dem Speicher, dem ersten Sensor und dem zweiten Sensor gekoppelt ist, wobei der Prozessor zu Folgendem in der Lage ist: Erkennen eines Merkmals auf der HD-Karte der Region mit den Daten des ersten Sensors und den Daten des zweiten Sensors; Schätzen einer fehlerhaften Kalibrierung von einem des ersten und des zweiten Sensors auf Grundlage eines Ergebnisses der Erkennung; Bestimmen eines Schweregrad der fehlerhaften Kalibrierung; und Melden eines Ergebnisses der Bestimmung durch Ausführen eines oder mehrerer der Folgenden: drahtloses Übertragen des Ergebnisses der Bestimmung einem entfernten Server; Anzeigen des Ergebnisses der Bestimmung visuell, akustisch oder sowohl visuell als auch akustisch für einen Benutzer des Fahrzeugs; und Aufzeichnen des Ergebnisses der Bestimmung.
Anordnung nach Anspruch 11, wobei: der Prozessor beim Erkennen des Merkmals auf der HD-Karte der Region mit den Daten des ersten Sensors und den Daten des zweiten Sensors zu Folgendem in der Lage ist: Ermitteln des Merkmals in einem ersten Referenzeinzelbild, das dem ersten Sensor entspricht; und Ermitteln des Merkmals in einem zweiten Referenzeinzelbild, das dem zweiten Sensor entspricht, und der Prozessor beim Schätzen der fehlerhaften Kalibrierung von einem des ersten und des zweiten Sensors auf Grundlage des Ergebnisses der Erkennung zu Folgendem in der Lage ist: Projizieren des Merkmals von dem ersten Referenzeinzelbild auf das zweite Referenzeinzelbild; und Berechnen einer Punktzahl für die fehlerhafte Kalibrierung auf Grundlage dessen, wie stark das von dem ersten Referenzeinzelbild auf das zweite Referenzeinzelbild projizierte Merkmal mit dem in dem zweiten Referenzeinzelbild ermittelten Merkmal überlappt.
Anordnung nach Anspruch 11, wobei der erste Sensor einen Light-Detection-and-Ranging-Sensor (LiDAR-Sensor) umfasst, wobei der zweite Sensor einen Bildsensor umfasst, wobei das Merkmal ein Infrastrukturobjekt umfasst, wobei der Prozessor beim Erkennen des Merkmals auf der HD-Karte der Region mit den Daten des ersten Sensors und den Daten des zweiten Sensors zu Folgendem in der Lage ist: Ermitteln der Region auf der HD-Karte, die eine Vielzahl von Infrastrukturobjekten, einschließlich des Infrastrukturobjekts, aufweist, auf der Grundlage des von dem Bildsensor aufgenommenen Bildes; Erkennen des Vorhandenseins des Infrastrukturobjekts in einem Sichtfeld des Bildsensors auf Grundlage der Daten von der HD-Karte; und Ermitteln eines ersten Begrenzungsrahmens um das Infrastrukturobjekt herum auf Grundlage der Daten von der HD-Karte, um die Erkennung des Vorhandenseins des Infrastrukturobjekts hervorzuheben.
Anordnung nach Anspruch 13, wobei der Prozessor beim Erkennen des Merkmals auf der HD-Karte der Region mit den Daten des ersten Sensors und den Daten des zweiten Sensors zu Folgendem in der Lage ist: Projizieren dreidimensionaler (3D-)Punkte des Infrastrukturobjekts von der HD-Karte auf ein zweidimensionales (2D-)Bildsensoreinzelbild, das dem von dem Bildsensor aufgenommenen Bild entspricht. falls die 3D-Punkte und der erste Begrenzungsrahmen fehlausgerichtet sind, Ermitteln eines Suchfensters um das Infrastrukturobjekt in dem Bild herum, wobei das Suchfenster größer als der erste Begrenzungsrahmen ist und diesen umschließt; und Ausführen einer Objekterkennung in dem Suchfenster, um einen zweiten Begrenzungsrahmen zu ermitteln, der das Infrastrukturobjekt besser umgibt und an diesem ausrichtet ist als der erste Begrenzungsrahmen.
Anordnung nach Anspruch 13, wobei der Prozessor beim Erkennen des Merkmals auf der HD-Karte der Region mit den Daten des ersten Sensors und den Daten des zweiten Sensors zu Folgendem in der Lage ist: Durchführen einer Suche in einem Punktwolkenraum in einem dreidimensionalen (3D-)Raum, der durch die LiDAR-Daten in einem LiDAR-Einzelbild dargestellt wird, um einen Standort des Infrastrukturobjekts gemäß der HD-Karte herum, Ermitteln von Punkten in der Punktwolke, die dem Infrastrukturobj ekt entsprechen; und Projizieren der ermittelten Punkte auf ein Bildsensoreinzelbild, das dem von dem Bildsensor aufgenommenen Bild entspricht, wobei der Prozessor beim Schätzen der fehlerhaften Kalibrierung von einem des ersten Sensors und des zweiten Sensors auf Grundlage des Ergebnisses der Erkennung in der Lage ist, eine Punktzahl für die fehlerhafte Kalibrierung auf Grundlage dessen, wie stark die auf das Bildsensoreinzelbild projizierten ermittelten Punkte mit dem von dem Bildsensor in dem Bildsensoreinzelbild ermittelten Merkmal überlappen, zu berechnen.