DE102018130574A1

DE102018130574A1 - Erfassung und neukalibrierung für ein kamerasystem unter verwendung von lidar-daten

Info

Publication number: DE102018130574A1
Application number: DE102018130574.5A
Authority: DE
Inventors: Solomon Bier
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2017-12-04
Filing date: 2018-11-30
Publication date: 2019-06-06
Also published as: US20180096493A1; CN109872370A; US10430970B2; CN109872370B

Abstract

Es sind Systeme und Verfahren zur Kalibrierung eines Kamerasystems eines autonomen Fahrzeugs vorgesehen. In einer Ausführungsform beinhaltet ein Verfahren: Identifizieren eines planaren Objekts von Sensordaten, die von einem Sensor des autonomen Fahrzeugs erzeugt werden, durch den Prozessor, während das autonome Fahrzeug betrieben wird; Identifizieren eines Musters des planaren Objekts durch den Prozessor; Auswählen planarer Punkte aus dem Muster des planaren Objekts durch den Prozessor; und Kalibrieren des Kamerasystems durch den Prozessor, während das autonome Fahrzeug basierend auf den planaren Punkten betrieben wird.

Description

EINLEITUNG
Die vorliegende Offenbarung bezieht sich im Allgemeinen auf autonome Fahrzeuge, und insbesondere auf Systeme und Verfahren zum Erkennen und Korrigieren von Fehlern in einem Kamerasystem eines autonomen Fahrzeugs.
Ein autonomes Fahrzeug ist ein Fahrzeug, das in der Lage ist, seine Umgebung zu erfassen und mit geringfügiger oder gar keiner Benutzereingabe zu navigieren. Ein autonomes Fahrzeug tastet seine Umgebung mithilfe von Erfassungsvorrichtungen, wie beispielsweise Radar, Lidar, Bildsensoren, wie Kameras, und dergleichen ab. Das autonome Fahrzeugsystem nutzt weiterhin Informationen von globalen Positioniersystemen (GPS), Navigationssystemen, Fahrzeug-Fahrzeug-Kommunikationen, Fahrzeug-Infrastruktur-Technologien und/oder drahtgesteuerten Systemen, um das Fahrzeug zu navigieren.
Während in den letzten Jahren signifikante Fortschritte bei autonomen Fahrzeugsystemen zu verzeichnen waren, könnten solche Systeme in mehrfacher Hinsicht noch verbessert werden. So werden beispielsweise Bildsensoren typischerweise bei der Installation in ein Fahrzeug kalibriert und anschließend regelmäßig während Wartungsarbeiten am Fahrzeug. In beiden Fällen wird das autonome Fahrzeug bei der Kalibrierung offline geschaltet oder nicht in Betrieb gesetzt.
Dementsprechend ist es wünschenswert, Systeme und Verfahren bereitzustellen, die in Echtzeit erfassen, wenn die Kamera nicht ordnungsgemäß kalibriert ist. Es ist ferner wünschenswert, Systeme und Verfahren zur Neukalibrierung des Kamerasystems in Echtzeit bereitzustellen. Ferner werden weitere wünschenswerte Funktionen und Merkmale der vorliegenden Offenbarung aus der nachfolgenden ausführlichen Beschreibung und den beigefügten Ansprüchen in Verbindung mit den beigefügten Zeichnungen, sowie dem vorangehenden technischen Gebiet und Hintergrund ersichtlich.
KURZDARSTELLUNG
Es sind Systeme und Verfahren zur Kalibrierung eines Kamerasystems eines autonomen Fahrzeugs vorgesehen. In einer Ausführungsform beinhaltet ein Verfahren: Identifizieren eines planaren Objekts von Sensordaten, die von einem Sensor des autonomen Fahrzeugs erzeugt werden, durch den Prozessor, während das autonome Fahrzeug betrieben wird; Identifizieren eines Musters des planaren Objekts durch den Prozessor; Auswählen planarer Punkte aus dem Muster des planaren Objekts durch den Prozessor; und Kalibrieren des Kamerasystems durch den Prozessor, während das autonome Fahrzeug basierend auf den planaren Punkten betrieben wird.
In einer Ausführungsform beinhaltet ein System: ein erstes nichtflüchtiges Modul, das durch einen Prozessor ein planares Objekt aus Sensordaten identifiziert, die von einem Sensor des autonomen Fahrzeugs erzeugt werden, während das autonome Fahrzeug betrieben wird; ein zweites nichtflüchtiges Modul, das durch einen Prozessor ein Muster des planaren Objekts identifiziert, und planare Punkte aus dem Muster des planaren Objekts auswählt; und ein drittes nichtflüchtiges Modul, das durch einen Prozessor das Kamerasystem kalibriert, während das autonome Fahrzeug basierend auf den planaren Punkten betrieben wird.
Figurenliste
Die exemplarischen Ausführungsformen werden nachfolgend in Verbindung mit den folgenden Zeichnungen beschrieben, worin gleiche Bezugszeichen gleiche Elemente bezeichnen, und worin gilt:

1 ist ein Funktionsblockdiagramm, das ein autonomes Fahrzeug mit einem Bildsensor-Kalibriersystem gemäß verschiedenen Ausführungsformen veranschaulicht;
2 ist ein Funktionsblockdiagramm, das ein Transportsystem mit einem oder mehreren autonomen Fahrzeugen aus 1 gemäß verschiedenen Ausführungsformen darstellt;
Die 3 und 4 sind Datenflussdiagramme, die ein autonomes Antriebssystem veranschaulicht, das das Bildsensorkalibrierungssystem des autonomen Fahrzeugs gemäß verschiedenen Ausführungsformen beinhaltet; und
5A und 5B sind Darstellungen von Mustern auf einem planaren Objekt gemäß verschiedenen Ausführungsformen; und
6 ist ein Ablaufdiagramm, das ein Steuerverfahren zum Erfassen und Neukalibrieren eines Bildsensors und zum Steuern des darauf basierenden autonomen Fahrzeugs gemäß verschiedenen Ausführungsformen veranschaulicht.

AUSFÜHRLICHE BESCHREIBUNG
Die folgende ausführliche Beschreibung dient lediglich als Beispiel und soll die Anwendung und Verwendung in keiner Weise einschränken. Weiterhin besteht keine Absicht, im vorstehenden technischen Bereich, Hintergrund, der Kurzzusammenfassung oder der folgenden ausführlichen Beschreibung an eine ausdrücklich oder implizit vorgestellte Theorie gebunden zu sein. Der hierin verwendete Begriff „Modul“ bezieht sich auf alle Hardware-, Software-, Firmwareprodukte, elektronische Steuerkomponenten, auf die Verarbeitungslogik und/oder Prozessorgeräte, einzeln oder in Kombinationen, unter anderem umfassend, eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam genutzt, dediziert oder gruppiert) und einen Speicher, der ein oder mehrere Software- oder Firmwareprogramme, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten ausführt, die die beschriebene Funktionalität bieten.
Ausführungsformen der vorliegenden Offenbarung können hierin als funktionale und/oder logische Blockkomponenten und verschiedene Verarbeitungsschritte beschrieben sein. Es ist zu beachten, dass derartige Blockkomponenten aus einer beliebigen Anzahl an Hardware-, Software- und/oder Firmware-Komponenten aufgebaut sein können, die zur Ausführung der erforderlichen Funktionen konfiguriert sind. Zum Beispiel kann eine Ausführungsform der vorliegenden Offenbarung eines Systems oder einer Komponente verschiedene integrierte Schaltungskomponenten, beispielsweise Speicherelemente, digitale Signalverarbeitungselemente, Logikelemente, Wertetabellen oder dergleichen, einsetzen, die mehrere Funktionen unter der Steuerung eines oder mehrerer Mikroprozessoren oder anderer Steuervorrichtungen durchführen können. Zudem werden Fachleute auf dem Gebiet erkennen, dass die exemplarischen Ausführungsformen der vorliegenden Offenbarung in Verbindung mit einer beliebigen Anzahl an Systemen eingesetzt werden können, und dass das hierin beschriebene System lediglich eine exemplarische Ausführungsform der vorliegenden Offenbarung darstellt.
Der Kürze halber sind konventionelle Techniken in Verbindung mit der Signalverarbeitung, Datenübertragung, Signalgebung, Steuerung und weiteren funktionalen Aspekten der Systeme (und den einzelnen Bedienelementen der Systeme) hierin ggf. nicht im Detail beschrieben. Weiterhin sollen die in den verschiedenen Figuren dargestellten Verbindungslinien exemplarische Funktionsbeziehungen und/oder physikalische Verbindungen zwischen den verschiedenen Elementen darstellen. Es sollte beachtet werden, dass viele alternative oder zusätzliche funktionale Beziehungen oder physikalische Verbindungen in einer Ausführungsform der vorliegenden Offenbarung vorhanden sein können.
Wie unter Bezugnahme auf 1 ersichtlich, ist ein bei 100 allgemein dargestelltes Kalibrierungssystem mit einem Fahrzeug 10 gemäß verschiedenen Ausführungsformen assoziiert. Wie nachfolgend näher erläutert, erfasst das Kalibrierungssystem 100 eine Fehlausrichtung eines Kamerasystems 102 am Fahrzeug 10 und kalibriert das Kamerasystem 102 gemäß der Fehlausrichtung. In verschiedenen Ausführungsformen erfasst und kalibriert das Kalibrierungssystem 100 das Kamerasystem 102 in Echtzeit mit dem Betrieb des Fahrzeugs 10. In verschiedenen Ausführungsformen erfasst und kalibriert das Kalibrierungssystem 100 das Kamerasystem 102 in Echtzeit basierend auf Lidar-Daten von einem Lidar-System 104 am Fahrzeug 10.
Wie in 1 dargestellt, beinhaltet das Fahrzeug 10 im Allgemeinen ein Fahrgestell 12, eine Karosserie 14, Vorderräder 16 und Hinterräder 18. Die Karosserie 14 ist auf dem Fahrgestell 12 angeordnet und umhüllt im Wesentlichen die anderen Komponenten des Fahrzeugs 10. Die Karosserie 14 und das Fahrgestell 12 können gemeinsam einen Rahmen bilden. Die Räder 16-18 sind jeweils mit dem Fahrgestell 12 in der Nähe einer jeweiligen Ecke der Karosserie 14 drehbar verbunden.
In verschiedenen Ausführungsformen ist das Fahrzeug 10 ein autonomes Fahrzeug und das Kalibrierungssystem 100 ist in das autonome Fahrzeug 10 (nachfolgend als das autonome Fahrzeug 10 bezeichnet) integriert. Das autonome Fahrzeug 10 ist beispielsweise ein Fahrzeug, das automatisch gesteuert wird, um Passagiere von einem Ort zum anderen zu befördern. Das Fahrzeug 10 ist in der veranschaulichten Ausführungsform als Pkw dargestellt, es sollte jedoch beachtet werden, dass auch jedes andere Fahrzeug, einschließlich Motorräder, Lastwagen, Sportfahrzeuge (SUVs), Freizeitfahrzeuge (RVs), Schiffe, Flugzeuge usw. verwendet werden können. In einer exemplarischen Ausführungsform ist das autonome Fahrzeug 10 ein sogenanntes Level-Vier oder Level-Fünf Automatisierungssystem. Ein Level-Vier-System zeigt eine „hohe Automatisierung“ unter Bezugnahme auf die Fahrmodus-spezifische Leistung durch ein automatisiertes Fahrsystem aller Aspekte der dynamischen Fahraufgabe an, selbst wenn ein menschlicher Fahrer nicht angemessen auf eine Anforderung einzugreifen, reagiert. Ein Level-Fünf-System zeigt eine „Vollautomatisierung“ an und verweist auf die Vollzeitleistung eines automatisierten Fahrsystems aller Aspekte der dynamischen Fahraufgabe unter allen Fahrbahn- und Umgebungsbedingungen, die von einem menschlichen Fahrer verwaltet werden können.
Wie dargestellt, beinhaltet das autonome Fahrzeug 10 im Allgemeinen ein Antriebssystem 20, ein Übertragungssystem 22, ein Lenksystem 24, ein Bremssystem 26, ein Sensorsystem 28, ein Stellantriebsystem 30, mindestens einen Datenspeicher 32, mindestens eine Steuerung 34 und ein Kommunikationssystem 36. Das Antriebssystem 20 kann in verschiedenen Ausführungsformen einen Verbrennungsmotor, eine elektrische Maschine, wie beispielsweise einen Traktionsmotor und/oder ein Brennstoffzellenantriebssystem, beinhalten. Das Übertragungssystem 22 ist dazu konfiguriert, Leistung vom Antriebssystem 20 zu den Fahrzeugrädern 16-18 gemäß den wählbaren Übersetzungen zu übertragen. Gemäß verschiedenen Ausführungsformen kann das Getriebesystem 22 ein Stufenverhältnis-Automatikgetriebe, ein stufenlos verstellbares Getriebe oder ein anderes geeignetes Getriebe beinhalten. Das Bremssystem 26 ist dazu konfiguriert, den Fahrzeugrädern 16-18 ein Bremsmoment bereitzustellen. Das Bremssystem 26 kann in verschiedenen Ausführungsformen Reibungsbremsen, Brake-by-Wire, ein regeneratives Bremssystem, wie beispielsweise eine elektrische Maschine und/oder andere geeignete Bremssysteme beinhalten. Das Lenksystem 24 beeinflusst die Position der Fahrzeugräder 16-18. Während in einigen Ausführungsformen innerhalb des Umfangs der vorliegenden Offenbarung zur Veranschaulichung als ein Lenkrad dargestellt, kann das Lenksystem 24 kein Lenkrad beinhalten.
Das Sensorsystem 28 beinhaltet eine oder mehrere Sensorvorrichtungen 40a-40n, die beobachtbare Zustände der äußeren Umgebung und/oder der inneren Umgebung des autonomen Fahrzeugs 10 erfassen. Die Sensoren 40a-40n können Radargeräte, Lidare, globale Positionierungssysteme, optische Kameras, Wärmebildkameras, Ultraschallsensoren, Trägheitsmesseinheiten und/oder andere Sensoren beinhalten, sind aber nicht darauf beschränkt. In verschiedenen Ausführungsformen beinhalten die Sensorvorrichtungen das Kamerasystem 102 und das Lidar-System 104.
Das Stellantriebssystem 30 beinhaltet eine oder mehrere Stellgliedvorrichtungen 42a-42n, die ein oder mehrere Fahrzeugmerkmale, wie zum Beispiel das Antriebssystem 20, das Getriebesystem 22, das Lenksystem 24 und das Bremssystem 26, steuern, jedoch nicht darauf beschränkt sind. In verschiedenen Ausführungsformen können die Fahrzeugmerkmale ferner Innen- und/oder Außenfahrzeugmerkmale, wie beispielsweise Türen, einen Kofferraum und Innenraummerkmale, wie z. B. Luft, Musik, Beleuchtung usw., beinhalten, sind jedoch nicht auf diese beschränkt (nicht nummeriert).
Das Kommunikationssystem 36 ist dazu konfiguriert, Informationen drahtlos an und von anderen Einheiten 48, wie beispielsweise, jedoch nicht beschränkt auf andere Fahrzeuge („V2V“-Kommunikation,) Infrastruktur („V21“-Kommunikation), entfernte Systeme und/oder persönliche Vorrichtungen (in Bezug auf 2 näher beschrieben), zu übermitteln. In einer exemplarischen Ausführungsform ist das drahtlose Kommunikationssystem 36 dazu konfiguriert, über ein drahtloses lokales Netzwerk (WLAN) unter Verwendung des IEEE 802.11-Standards, über Bluetooth oder mittels einer mobilen Datenkommunikation zu kommunizieren. Im Geltungsbereich der vorliegenden Offenbarung werden jedoch auch zusätzliche oder alternative Kommunikationsverfahren, wie beispielsweise ein dedizierter Nahbereichskommunikations-(DSRC)-Kanal, berücksichtigt. DSRC-Kanäle beziehen sich auf Einweg- oder Zweiwege-Kurzstrecken- bis Mittelklasse-Funkkommunikationskanäle, die speziell für den Automobilbau und einen entsprechenden Satz von Protokollen und Standards entwickelt wurden.
Die Datenspeichervorrichtung 32 speichert Daten zur Verwendung beim automatischen Steuern des autonomen Fahrzeugs 10. In verschiedenen Ausführungsformen speichert die Datenspeichervorrichtung 32 definierte Landkarten der navigierbaren Umgebung. In verschiedenen Ausführungsformen werden die definierten Landkarten vordefiniert und von einem entfernten System (in weiteren Einzelheiten in Bezug auf 2 beschrieben) erhalten. So können beispielsweise die definierten Landkarten durch das entfernte System zusammengesetzt und dem autonomen Fahrzeug 10 (drahtlos und/oder drahtgebunden) mitgeteilt und in der Datenspeichervorrichtung 32 gespeichert werden. Wie ersichtlich, kann die Datenspeichervorrichtung 32 ein Teil der Steuerung 34, von der Steuerung 34 getrennt, oder ein Teil der Steuerung 34 und Teil eines separaten Systems sein.
Die Steuerung 34 beinhaltet mindestens einen Prozessor 44 und eine computerlesbare Speichervorrichtung oder Medien 46. Der Prozessor 44 kann eine Spezialanfertigung oder ein handelsüblicher Prozessor sein, eine Zentraleinheit (CPU), eine Grafikprozessoreinheit (GPU) unter mehreren Prozessoren verbunden mit der Steuerung 34, ein Mikroprozessor auf Halbleiterbasis (in Form eines Mikrochips oder Chip-Satzes), ein Makroprozessor, eine Kombination derselben oder allgemein jede beliebige Vorrichtung zur Ausführung von Anweisungen. Die computerlesbare Speichervorrichtung oder Medien 46 können flüchtige und nicht-flüchtige Speicher in einem Nur-Lese-Speicher (ROM), einem Speicher mit direktem Zugriff (RAM) und einem Keep-Alive-Memory (KAM) beinhalten. KAM ist ein persistenter oder nicht-flüchtiger Speicher, der verwendet werden kann, um verschiedene Betriebsvariablen zu speichern, während der Prozessor 44 ausgeschaltet ist. Die computerlesbare Speichervorrichtung oder Medien 46 können unter Verwendung einer beliebigen einer Anzahl an bekannten Speichervorrichtungen, wie beispielsweise PROMs (programmierbarer Nur-Lese-Speicher), EPROMs (elektrische PROM), EEPROMs (elektrisch löschbarer PROM), Flash-Speicher oder beliebige andere elektrischen, magnetischen, optischen oder kombinierten Speichervorrichtungen implementiert werden, die Daten speichern können, von denen einige ausführbare Anweisungen darstellen, die von der Steuerung 34 beim Steuern des autonomen Fahrzeugs 10 verwendet werden.
Die Anweisungen können ein oder mehrere separate Programme beinhalten, von denen jede eine geordnete Auflistung von ausführbaren Anweisungen zum Implementieren von logischen Funktionen umfasst. Die Anweisungen empfangen und verarbeiten, wenn diese vom Prozessor 44 ausgeführt werden, Signale vom Sensorsystem 28, führen Logik, Berechnungen, Verfahren und/oder Algorithmen zur automatischen Steuerung der Komponenten des autonomen Fahrzeugs 10 durch und erzeugen Steuersignale an das Stellantriebssystem 30, um die Komponenten des autonomen Fahrzeugs 10 basierend auf der Logik, den Berechnungen, den Verfahren und/oder Algorithmen automatisch zu steuern. Obwohl in 1 nur eine Steuerung 34 dargestellt ist, können Ausführungsformen des autonomen Fahrzeugs 10 eine beliebige Anzahl an Steuerungen 34 beinhalten, die über ein geeignetes Kommunikationsmedium oder eine Kombination von Kommunikationsmedien kommunizieren und zusammenwirken, um die Sensorsignale zu verarbeiten, Logiken, Berechnungen, Verfahren und/oder Algorithmen durchzuführen, und Steuersignale zu erzeugen, um die Funktionen des autonomen Fahrzeugs 10 automatisch zu steuern.
In verschiedenen Ausführungsformen sind eine oder mehrere Anweisungen der Steuerung 34 im Kalibrierungssystem 100 verkörpert und verarbeiten beim Ausführen durch den Prozessor 44 Daten vom Kamerasystem 102 und dem Lidar-System 104, um das Kamerasystem 102 in Echtzeit mit dem Betrieb des autonomen Fahrzeugs 10 zu erfassen und neu zu kalibrieren.
Mit weiterem Bezug auf 2 in verschiedenen Ausführungsformen kann das autonome Fahrzeug 10, das mit Bezug auf 1 beschrieben ist, für den Einsatz im Rahmen eines Taxi- oder Shuttle-Unternehmens in einem bestimmten geografischen Gebiet (z. B. einer Stadt, einer Schule oder einem Geschäftscampus, einem Einkaufszentrum, einem Vergnügungspark, einem Veranstaltungszentrum oder dergleichen) geeignet sein. So kann beispielsweise das autonome Fahrzeug 10 einem autonomen fahrzeugbasierten Transportsystem zugeordnet sein. 2 veranschaulicht eine exemplarische Ausführungsform einer Betriebsumgebung, die im Allgemeinen bei 50 dargestellt ist und ein autonomes fahrzeugbasiertes Transportsystem 52 beinhaltet, das, wie mit Bezug auf 1 beschrieben, einem oder mehreren autonomen Fahrzeugen 10a-10n zugeordnet ist. In verschiedenen Ausführungsformen beinhaltet die Betriebsumgebung 50 ferner eine oder mehrere Benutzervorrichtungen 54, die mit dem autonomen Fahrzeug 10 und/oder dem entfernten Transportsystem 52 über ein Kommunikationsnetzwerk 56 kommunizieren.
Das Kommunikationsnetzwerk 56 unterstützt die Kommunikation zwischen Geräten, Systemen und Komponenten, die von der Betriebsumgebung 50 unterstützt werden (z. B. über physische Kommunikationsverbindungen und/oder drahtlose Kommunikationsverbindungen). So kann beispielsweise das Kommunikationsnetzwerk 56 ein drahtloses Trägersystem 60 beinhalten, wie beispielsweise ein Mobiltelefonsystem, das eine Vielzahl von Mobilfunktürmen (nicht dargestellt), eine oder mehrere Mobilvermittlungsstellen (MSCs) (nicht dargestellt) sowie alle anderen Netzwerkkomponenten beinhalten, die zum Verbinden des drahtlosen Trägersystems 60 mit dem Festnetz erforderlich sind. Jeder Mobilfunkturm beinhaltet Sende- und Empfangsantennen und eine Basisstation, wobei die Basisstationen verschiedener Mobilfunktürme mit den MSC verbunden sind, entweder direkt oder über Zwischenvorrichtungen, wie beispielsweise eine Basisstationssteuerung. Das Drahtlosträgersystem 60 kann jede geeignete Kommunikationstechnologie implementieren, beispielsweise digitale Technologien, wie CDMA (z. B. CDMA2000), LTE (z. B. 4G LTE oder 5G LTE), GSM/GPRS oder andere aktuelle oder neu entstehende drahtlose Technologien. Andere Mobilfunkturm/Basisstation/MSC-Anordnungen sind möglich und könnten mit dem Mobilfunkanbietersystem 60 verwendet werden. So könnten sich beispielsweise die Basisstation und der Mobilfunkturm an derselben Stelle oder entfernt voneinander befinden, jede Basisstation könnte für einen einzelnen Mobilfunkturm zuständig sein oder eine einzelne Basisstation könnte verschiedene Mobilfunktürme bedienen, oder verschiedene Basisstationen könnten mit einer einzigen MSC gekoppelt werden, um nur einige der möglichen Anordnungen zu nennen.
Abgesehen vom Verwenden des drahtlosen Trägersystems 60 kann ein zweites drahtloses Trägersystem in Form eines Satellitenkommunikationssystems 64 verwendet werden, um unidirektionale oder bidirektionale Kommunikation mit dem autonomen Fahrzeug 10a-10n bereitzustellen. Dies kann unter Verwendung von einem oder mehreren Kommunikationssatelliten (nicht dargestellt) und einer aufwärts gerichteten Sendestation (nicht dargestellt) erfolgen. Die unidirektionale Kommunikation kann beispielsweise Satellitenradiodienste beinhalten, worin programmierte Inhaltsdaten (Nachrichten, Musik usw.) von der Sendestation empfangen werden, für das Hochladen gepackt und anschließend zum Satelliten gesendet werden, der die Programmierung an die Teilnehmer ausstrahlt. Die bidirektionale Kommunikation kann beispielsweise Satellitentelefondienste beinhalten, die den Satelliten verwenden, um Telefonkommunikationen zwischen dem Fahrzeug 10 und der Station weiterzugeben. Die Satellitentelefonie kann entweder zusätzlich oder anstelle des Mobilfunkanbietersystems 60 verwendet werden.
Ein Festnetz-Kommunikationssystem 62 kann ein konventionelles Festnetz-Telekommunikationsnetzwerk beinhalten, das mit einem oder mehreren Festnetztelefonen verbunden ist und das drahtlose Trägersystem 60 mit dem entfernten Transportsystem 52 verbindet. So kann beispielsweise das Festnetz-Kommunikationssystem 62 ein Fernsprechnetz (PSTN) wie jenes sein, das verwendet wird, um festverdrahtetes Fernsprechen, paketvermittelte Datenkommunikationen und die Internetinfrastruktur bereitzustellen. Ein oder mehrere Segmente des Festnetz-Kommunikationssystems 62 könnten durch Verwenden eines normalen drahtgebundenen Netzwerks, eines Lichtleiter- oder eines anderen optischen Netzwerks, eines Kabelnetzes, von Stromleitungen, anderen drahtlosen Netzwerken, wie drahtlose lokale Netzwerke (WLANs) oder Netzwerke, die drahtlosen Breitbandzugang (BWA) bereitstellen oder jeder Kombination davon implementiert sein. Weiterhin muss das entfernte Transportsystem 52 nicht über das Festnetz-Kommunikationssystem 62 verbunden sein, sondern könnte Funktelefonausrüstung beinhalten, sodass sie direkt mit einem drahtlosen Netzwerk, wie z. B. dem drahtlosen Trägersystem 60, kommunizieren kann.
Obwohl in 2 nur eine Benutzervorrichtung 54 dargestellt ist, können Ausführungsformen der Betriebsumgebung 50 eine beliebige Anzahl an Benutzervorrichtungen 54, einschließlich mehrerer Benutzervorrichtungen 54 unterstützen, die das Eigentum einer Person sind, von dieser bedient oder anderweitig verwendet werden. Jede Benutzervorrichtung 54, die von der Betriebsumgebung 50 unterstützt wird, kann unter Verwendung einer geeigneten Hardwareplattform implementiert werden. In dieser Hinsicht kann das Benutzergerät 54 in einem gemeinsamen Formfaktor realisiert werden, darunter auch in: einen Desktop-Computer; einem mobilen Computer (z. B. einem Tablet-Computer, einem Laptop-Computer oder einem Netbook-Computer); einem Smartphone; einem Videospielgerät; einem digitalen Media-Player; einem Bestandteil eines Heimunterhaltungsgeräts; einer Digitalkamera oder Videokamera; einem tragbaren Computergerät (z. B. einer Smart-Uhr, Smart-Brille, Smart-Kleidung); oder dergleichen. Jede von der Betriebsumgebung 50 unterstützte Benutzervorrichtung 54 ist als computerimplementiertes oder computergestütztes Gerät mit der Hardware-, Software-, Firmware- und/oder Verarbeitungslogik realisiert, die für die Durchführung der hier beschriebenen verschiedenen Techniken und Verfahren erforderlich ist. So beinhaltet beispielsweise die Benutzervorrichtung 54 einen Mikroprozessor in Form einer programmierbaren Vorrichtung, die eine oder mehrere in einer internen Speicherstruktur gespeicherte Anweisungen beinhaltet und angewendet wird, um binäre Eingaben zu empfangen und binäre Ausgaben zu erzeugen. In einigen Ausführungsformen beinhaltet die Benutzervorrichtung 54 ein GPS-Modul, das GPS-Satellitensignale empfangen und GPS-Koordinaten basierend auf diesen Signalen erzeugen kann. In weiteren Ausführungsformen beinhaltet die Benutzervorrichtung 54 eine Mobilfunk-Kommunikationsfunktionalität, sodass die Vorrichtung Sprach- und/oder Datenkommunikationen über das Kommunikationsnetzwerk 56 unter Verwendung eines oder mehrerer Mobilfunk-Kommunikationsprotokolle durchführt, wie hierin erläutert. In verschiedenen Ausführungsformen beinhaltet die Benutzervorrichtung 54 eine visuelle Anzeige, wie zum Beispiel ein grafisches Touchscreen-Display oder eine andere Anzeige.
Das entfernte Transportsystem 52 beinhaltet ein oder mehrere Backend-Serversysteme, die an dem speziellen Campus oder dem geografischen Standort, der vom Transportsystem 52 bedient wird, Cloud-basiert, netzwerkbasiert oder resident sein können. Das entfernte Transportsystem 52 kann mit einem Live-Berater, einem automatisierten Berater oder einer Kombination aus beidem besetzt sein. Das entfernte Transportsystem 52 kann mit den Benutzervorrichtungen 54 und den autonomen Fahrzeugen 10a-10n kommunizieren, um Fahrten zu planen, autonome Fahrzeuge 10a-10n zu versetzen und dergleichen. In verschiedenen Ausführungsformen speichert das entfernte Transportsystem 52 Kontoinformationen, wie zum Beispiel Teilnehmerauthentifizierungsdaten, Fahrzeugkennzeichen, Profilaufzeichnungen, Verhaltensmuster und andere entsprechende Teilnehmerinformationen.
Gemäß einem typischen Anwendungsfall-Arbeitsablauf kann ein registrierter Benutzer des entfernten Transportsystems 52 über die Benutzervorrichtung 54 eine Fahrtanforderung erstellen. Die Fahrtanforderung gibt typischerweise den gewünschten Abholort des Fahrgastes (oder den aktuellen GPS-Standort), den gewünschten Zielort (der einen vordefinierten Fahrzeugstopp und/oder ein benutzerdefiniertes Passagierziel identifizieren kann) und eine Abholzeit an. Das entfernte Transportsystem 52 empfängt die Fahrtanforderung, verarbeitet die Anforderung und sendet ein ausgewähltes der autonomen Fahrzeuge 10a-10n (wenn und sofern verfügbar), um den Passagier an dem vorgesehenen Abholort und zu gegebener Zeit abzuholen. Das entfernte Transportsystem 52 kann zudem eine entsprechend konfigurierte Bestätigungsnachricht oder Benachrichtigung an die Benutzervorrichtung 54 erzeugen und senden, um den Passagier zu benachrichtigen, dass ein Fahrzeug unterwegs ist.
Wie ersichtlich, bietet der hierin offenbarte Gegenstand bestimmte verbesserte Eigenschaften und Funktionen für das, was als ein standardmäßiges oder Basislinien autonomes Fahrzeug 10 und/oder ein autonomes fahrzeugbasiertes Transportsystem 52 betrachtet werden kann. Zu diesem Zweck kann ein autonomes fahrzeugbasiertes Transportsystem modifiziert, erweitert oder anderweitig ergänzt werden, um die nachfolgend näher beschriebenen zusätzlichen Funktionen bereitzustellen.
Gemäß verschiedenen Ausführungsformen implementiert die Steuerung 34 ein autonomes Antriebssystem (ADS) 70, wie in 3 dargestellt. Das heißt, dass geeignete Soft- und/oder Hardwarekomponenten der Steuerung 34 (z. B. der Prozessor 44 und die computerlesbare Speichervorrichtung 46) verwendet werden, um ein autonomes Antriebssystem 70 bereitzustellen, das in Verbindung mit dem Fahrzeug 10 verwendet wird.
In verschiedenen Ausführungsformen können die Anweisungen des autonomen Antriebssystem 70 je nach Funktion, Modul oder System gegliedert sein. Das autonome Antriebssystem 70 kann beispielsweise, wie in 3 dargestellt, ein Computer-Sichtsystem 74, ein Positionierungssystem 76, ein Leitsystem 78 und ein Fahrzeugsteuersystem 80 beinhalten. Wie ersichtlich ist, können die Anweisungen in verschiedenen Ausführungsformen in beliebig viele Systeme (z. B. kombiniert, weiter unterteilt usw.) gegliedert werden, da die Offenbarung nicht auf die vorliegenden Beispiele beschränkt ist.
In verschiedenen Ausführungsformen synthetisiert und verarbeitet das Computer-Sichtsystem 74 Sensordaten und prognostiziert Anwesenheit, Standort, Klassifizierung und/oder Verlauf von Objekten und Merkmalen der Umgebung des Fahrzeugs 10. In verschiedenen Ausführungsformen kann das Computer-Sichtsystem 74 Informationen von mehreren Sensoren des Sensorsystems 28 beinhalten, einschließlich, aber nicht beschränkt auf Kameras, Lidare, Radare und/oder eine beliebige Anzahl anderer Arten von Sensoren.
Das Positioniersystem 76 verarbeitet Sensordaten zusammen mit anderen Daten, um eine Position (z. B. eine lokale Position in Bezug auf eine Karte, eine exakte Position in Bezug auf die Fahrspur einer Straße, Fahrzeugrichtung, Geschwindigkeit usw.) des Fahrzeugs 10 in Bezug auf die Umgebung zu ermitteln. Das Leitsystem 78 verarbeitet Sensordaten zusammen mit anderen Daten, um eine Strecke zu ermitteln, dem das Fahrzeug 10 folgen soll. Das Fahrzeugsteuerungssystem 80 erzeugt Steuersignale zum Steuern des Fahrzeugs 10 entsprechend der ermittelten Strecke.
In verschiedenen Ausführungsformen implementiert die Steuerung 34 maschinelle Lerntechniken, um die Funktionalität der Steuerung 34 zu unterstützen, wie z. B. Merkmalerkennung/Klassifizierung, Hindernisminderung, Routenüberquerung, Kartierung, Sensorintegration, Boden-Wahrheitsbestimmung und dergleichen.
Wie oben kurz erwähnt, sind Teile des Kalibrierungssystems 100 von 1 im ADS 70 enthalten, beispielsweise als Teil des Computer-Sichtsystems 74 oder als separates System 82 (wie dargestellt). Wie beispielsweise in Bezug auf 4 und unter weiterer Bezugnahme auf 1-3 dargestellt, beinhaltet das Kalibrierungssystem 100 ein Erfassungsmodul 84, ein Konstruktionsmodul 86 und ein Kalibrierungsmodul 88. Verständlicherweise können verschiedene Ausführungsformen des Kalibrierungssystems 100 gemäß der vorliegenden Offenbarung eine beliebige Anzahl an Untermodulen beinhalten. Wie zu erkennen ist, können die in 4 dargestellten Untermodule kombiniert und/oder weiter unterteilt werden, um gleichermaßen ein unkalibriertes Kamerasystem 102 zu erfassen und das Kamerasystem 102 zu kalibrieren.
In verschiedenen Ausführungsformen verarbeitet das Erfassungsmodul 84 Sensordaten, um zu erkennen, wann das Kamerasystem 102 nicht ausgerichtet oder kalibriert ist. In verschiedenen Ausführungsformen verarbeitet das Erfassungsmodul 84 Bilddaten 90, die durch das Kamerasystem 102 bereitgestellt werden, und Lidar-Daten 92, die durch das Lidar-System 104 bereitgestellt werden. Das Erfassungsmodul 84 verarbeitet beispielsweise die Bilddaten 90, um eine Position der Tiefendiskontinuitäten in einem Bildrahmen zu bestimmen; und verarbeitet die Lidar-Daten 92, um eine Position der Intensitätsdiskontinuitäten in einem Lidar-Rückläufer zu bestimmen. Das Erfassungsmodul 84 bildet dann die Position der Tiefendiskontinuitäten im Bildrahmen zu den Intensitätsdiskontinuitäten im Lidar-Rahmen ab. Wenn Abweichungen zwischen den abgebildeten Tiefendiskontinuitäten und den Intensitätsdiskontinuitäten größer als ein Schwellenwert (z. B. 1 cm oder eine andere Zahl) sind, dann bestimmt das Erfassungsmodul 84, dass das Kamerasystem 102 nicht kalibriert ist und beispielsweise einen Kalibrierungsstatus 94 basierend darauf einsetzt. Wie zu erkennen ist, kann dieser Erfassungsvorgang in verschiedenen Ausführungsformen auf jedem Rahmen, über eine Reihe von Rahmen, zu vorbestimmten Zeiten, kontinuierlich und/oder basierend auf anderen Bedingungen durchgeführt werden.
Das Konstruktionsmodul 86 verarbeitet Sensordaten 95, um die in der Kalibrierung zu verwendenden Echtzeitobjekte zu bestimmen. Die Echtzeitobjekte sind planare Objekte, die senkrechte Merkmale aufweisen oder ein gitterartiges Muster darstellen, wie beispielsweise Wabenwände, Telefonmasten mit Kabeln, dreidimensionale Lidarkacheln, Spurbegrenzungen oder -markierungen oder andere permanente Strukturen aufweisen, die in der Umgebung vorhanden oder platziert sind.
In verschiedenen Ausführungsformen beinhalten die vom Konstruktionsmodul 86 verarbeiteten Sensordaten Lidar-Daten 954, die vom Lidar-System 104 bereitgestellt werden, und Bilddaten 96, die vom Kamerasystem 102 bereitgestellt werden. So akkumuliert beispielsweise das Konstruktionsmodul 86 Lidar-Daten 95, die von einer N-Anzahl von Scans empfangen werden (z. B. wobei 10, 11, 12, 13, 14, 15 oder ein anderer ganzzahliger Wert) und erzeugt ein dreidimensionales (3D) Netz der Daten. Das Konstruktionsmodul 86 verarbeitet das 3D-Netz, um die planaren Objekte zu identifizieren. Zum Beispiel, in verschiedenen Ausführungsformen überträgt das Lidar-System 104 Laserimpulse in der Umgebung und misst die Rückimpulse. Die Messungen werden in eine Punktwolke von Informationen zusammengesetzt, einschließlich, jedoch nicht beschränkt auf Werte, die mit Abständen und/oder Intensitäten verbunden sind. Die Punktwolke ist auf ein Draufsichtrasterbild mit einer Vielzahl von Pixeln eingestellt. In verschiedenen Ausführungsformen werden dann die Pixel im Bild ausgewertet und gruppiert, beispielsweise durch Berechnen einer Differenz zwischen einem minimalen Z-Wert und einem maximalen Z-Wert an jedem Pixel, Entfernen von Ausreißerpixeln, wenn eine kleine Differenz vorliegt, und Gruppieren der Nachbarschaftspixel. Die Daten in den Gruppierungen werden ferner ausgewertet, um Objekte, wie beispielsweise Gebäude, Fahrzeuge und Schilder, die die Fahrbahn umgeben, zu identifizieren sowie um den Boden selbst zu identifizieren und eine Richtung der Gruppierungen zu identifizieren. In verschiedenen Ausführungsformen können die planaren Objekte, falls vorhanden, gegen vorab kartierte dreidimensionale Lidar-Kacheln gereinigt werden.
So werden beispielsweise eine oder mehrere der Gruppierungen als planare Objekte ausgewählt. Linienmerkmale in der Gruppierung werden beispielsweise unter Verwendung der Hough-Transformation identifiziert. Die Neigung und Rollbewegung der Punkte in Bezug auf Linienmerkmale in den Gruppen wird in einer vordefinierten Weise gedreht und die gedrehten Punkte werden auf ein neues Draufsichtrasterbild mit einer Vielzahl von Pixeln eingestellt. Die Anzahl der Pixel wird mit einem voreingestellten Minimum verglichen. Wenn die Anzahl der Pixel ein Minimum nicht erreicht hat, dann werden die Neigung und die Rollbewegung der Punkte in Bezug auf die Linienmerkmale in den Gruppen wieder in einer vordefinierten Weise gedreht und die gedrehten Punkte werden auf ein neues Draufsichtrasterbild mit einer Vielzahl von Pixeln eingestellt. Die Anzahl der Pixel wird erneut mit dem Minimum verglichen. Sobald die Anzahl der Pixel das Minimum erreicht hat, wird die globale Fassade der Gruppe als planares Objekt ausgewählt. Wie zu erkennen ist, können verschiedene Verfahren eingesetzt werden, um die Punktwolkendaten zu interpretieren, die Rückkehrpunkte in Objekte zu gruppieren und die planaren Objekte in verschiedenen Ausführungsformen zu identifizieren. Zu exemplarischen Zwecken wird hierin ein einzelnes Verfahren bereitgestellt.
Das Konstruktionsmodul 86 verarbeitet dann die planaren Objekte für konsistente Intensitätsänderungen (z. B. ein Muster von Intensitätswerten). So schreitet beispielsweise das Konstruktionsmodul 86 durch die Daten des identifizierten planaren Objekts von links nach rechts oder rechts nach links fort und berechnet einen Gradienten für jeden Punkt. Der Gradient wird dann auf konsistente Änderungen oder Muster von Änderungen, wie sie in den 5A-5B dargestellt sind, ausgewertet, wobei die Verbindungslinien zwischen C1-C3 und C13-C15 Basisänderungen in der X-Richtung veranschaulichen.
Das Konstruktionsmodul 86 füllt dann alle Löcher des planaren Objekts, das als Muster identifiziert wurde. So füllt beispielsweise das Konstruktionsmodul 86 die Löcher, indem es die Daten des planaren Objekts mit Daten einer vordefinierten dreidimensionalen Karte der Welt vergleicht (z. B. in das Fahrzeug 10 heruntergeladen und im Datenspeicher gespeichert), durch Anti-Aliasing-Techniken und/oder durch beliebige andere Datenverbesserungstechniken.
Das Konstruktionsmodul 86 schreitet ebenfalls durch die Bilddaten 96 von links nach rechts oder von rechts nach links (d. h. die gleiche Richtung wie für das planare Objekt verwendet) fort und berechnet einen Gradienten für jedes Pixel. Das Konstruktionsmodul 86 bildet dann die ermittelten planaren Objekte an den Bildrahmen ab und vergleicht die berechneten Gradienten. Wenn beispielsweise der Gradient der Pixel im Bildrahmen mit dem Gradienten der Intensität aus dem Lidar-Rahmen übereinstimmt, werden planare Punkte 97 aus dem planaren Objekt zur Verwendung bei der Kalibrierung ausgewählt.
Das Kalibrierungsmodul 88 empfängt die planaren Punkte 97, die das planare Objekt definieren und erzeugt Kalibrierungen 98 zum Kalibrieren des Kamerasystems 102 basierend auf den planaren Punkten 97. So ist beispielsweise das Kalibrierungsmodul 88 konfiguriert, um das Zhang-Verfahren zum Berechnen von Kameraparametern, wie beispielsweise Hauptpunkte, Fokus und Linsenverzerrungen, unter Verwendung der planaren Punkte 97 des planaren Objekts zu implementieren. Wie zu erkennen ist, können andere Verfahren zum Kalibrieren des Kamerasystems 102 in verschiedenen Ausführungsformen umgesetzt werden.
Unter jetziger Bezugnahme auf 6 und fortgesetzter Bezugnahme auf 1-4, veranschaulicht ein Ablaufdiagramm ein Steuerverfahren 400 dar, das von dem Kamerakalibrierungssystem 100 der 1 und 4 gemäß der vorliegenden Offenbarung ausgeführt werden kann. Wie aus der Offenbarung ersichtlich, ist die Abfolge der Vorgänge innerhalb des Verfahrens nicht auf die in 6 dargestellte sequenzielle Abarbeitung beschränkt, sondern kann, soweit zutreffend, in einer oder mehreren unterschiedlichen Reihenfolge(n) gemäß der vorliegenden Offenbarung durchgeführt werden. In verschiedenen Ausführungsformen kann das Verfahren 400 basierend auf einem oder mehreren vordefinierten Ereignissen zur Ausführung geplant werden und/oder kontinuierlich während des Betriebs des autonomen Fahrzeugs 10 ausgeführt werden.
In einem Beispiel beginnt das Verfahren unter Umständen 405. Die Bilddaten 90 werden zum Beispiel, wie oben erörtert, bei 410 empfangen und für Diskontinuitäten verarbeitet. Die Lidar-Daten 92 werden zum Beispiel, wie oben erörtert, bei 420 empfangen und verarbeitet. Die Bilddiskontinuitäten und die Lidar-Diskontinuitäten werden abgebildet und die Werte für Abweichungen, beispielsweise, wie oben erörtert, bei 430, verglichen. Wenn Abweichungen zwischen den abgebildeten Diskontinuitäten bei 440 nicht größer als ein Schwellenwert sind, wird der Kalibrierungsstatus 94 auf 450 eingestellt. Wenn jedoch die Abweichungen zwischen den abgebildeten Diskontinuitäten bei 440 größer als ein Schwellenwert sind, dann wird der Kalibrierungsstatus 94 auf 460 gesetzt, und das Verfahren fährt mit dem Konstruieren des planaren Bildes in Echtzeit bei 470-540 fort und kalibriert das Kamerasystem 102 basierend auf dem konstruierten planaren Bild bei 550.
So wird beispielsweise bei 470 das dreidimensionale (3D) planare Netz aus den Lidar-Daten 95 beispielsweise wie vorstehend erläutert konstruiert. Die Gradientenwerte werden für das 3D-planarähnliche Netz bei 480 berechnet. Die Gradientenwerte werden dann verwendet, um planare Objekte mit einer konstanten Änderung oder einem Muster zu identifizieren, wie beispielsweise, wie oben erörtert, bei 490. Die identifizierten strukturierten planaren Objekte werden dann unter Verwendung einer oder mehrerer Datenverbesserungstechniken aktualisiert, beispielsweise, wie oben erörtert, bei 500.
Die Gradientenwerte werden aus den Bilddaten bei 510 berechnet. Die bestimmten planaren Objekte werden dann bei 520 auf den Bildrahmen abgebildet. Die berechneten Gradienten des planaren Objekts und des Bildrahmens werden dann auf Übereinstimmungen hin verglichen. Wenn Übereinstimmungen existieren, werden planare Punkte 97 aus dem Bildrahmen und dem planaren Objekt zur Verwendung bei 540 ausgewählt.
Das Kamerasystem 102 wird dann unter Verwendung der planaren Punkte 97 als Schachbrett, beispielsweise in Zhangs Verfahren, bei 550 kalibriert. Danach kann das Verfahren bei 560 enden.
Während mindestens eine exemplarische Ausführungsform in der vorstehenden ausführlichen Beschreibung dargestellt wurde, versteht es sich, dass es eine große Anzahl an Varianten gibt. Es versteht sich weiterhin, dass die exemplarische Ausführungsform oder die exemplarischen Ausführungsformen lediglich Beispiele sind und den Umfang, die Anwendbarkeit oder die Konfiguration dieser Offenbarung in keiner Weise einschränken sollen. Die vorstehende ausführliche Beschreibung stellt Fachleuten auf dem Gebiet vielmehr einen zweckmäßigen Plan zur Implementierung der exemplarischen Ausführungsform bzw. der exemplarischen Ausführungsformen zur Verfügung. Es versteht sich, dass verschiedene Veränderungen an der Funktion und der Anordnung von Elementen vorgenommen werden können, ohne vom Umfang der Offenbarung, wie er in den beigefügten Ansprüchen und deren rechtlichen Entsprechungen aufgeführt ist, abzuweichen.

Claims

Verfahren zum Kalibrieren eines Kamerasystems eines autonomen Fahrzeugs, umfassend: Identifizieren eines planaren Objekts durch den Prozessor aus Sensordaten, die von einem Sensor des autonomen Fahrzeugs erzeugt werden, während das autonome Fahrzeug betrieben wird; Identifizieren eines Musters des planaren Objekts durch den Prozessor; Auswählen planarer Punkte aus dem Muster des planaren Objekts durch den Prozessor; und Kalibrieren des Kamerasystems durch den Prozessor, während das autonome Fahrzeug basierend auf den planaren Punkten betrieben wird.
Verfahren nach Anspruch 1, worin die Sensordaten Lidar-Daten beinhalten.
Verfahren nach Anspruch 2, worin das Identifizieren des Musters auf Gradientenwerten basiert, die von Punkten der Lidar-Daten berechnet werden.
Verfahren nach Anspruch 1, worin die Sensordaten Bilddaten beinhalten.
Verfahren nach Anspruch 4, ferner umfassend: Berechnen von Gradientenwerten für Pixel in den Bilddaten; und Auswählen der planaren Punkte basierend auf Gradientenwerten in den Bilddaten.
Verfahren nach Anspruch 1, worin das Identifizieren des Musters auf Gradientenwerten basiert, die von Punkten von Lidar-Daten und Bilddaten berechnet werden.
Verfahren nach Anspruch 1, ferner umfassend das Füllen von Löchern des Musters basierend auf mindestens einer Datenverbesserungstechnik.
Verfahren nach Anspruch 7, worin die Datenverbesserungstechnik das Antialiasing beinhaltet.
Verfahren nach Anspruch 7, worin die Datenverbesserungstechnik auf einer vordefinierten dreidimensionalen Karte basiert.
System zum Kalibrieren eines Kamerasystems eines autonomen Fahrzeugs, umfassend: ein erstes nichtflüchtiges Modul, das durch einen Prozessor ein planares Objekt aus Sensordaten identifiziert, die von einem Sensor des autonomen Fahrzeugs erzeugt werden, während das autonome Fahrzeug betrieben wird; ein zweites nichtflüchtiges Modul, das durch einen Prozessor ein Muster des planaren Objekts identifiziert und planare Punkte aus dem Muster des planaren Objekts auswählt.; und ein drittes nichtflüchtiges Modul, das durch einen Prozessor das Kamerasystem kalibriert, während das autonome Fahrzeug basierend auf den planaren Punkten betrieben wird.