DE102021133538A1

DE102021133538A1 - Universelle kalibrierungsziele und kalibrierungsräume

Info

Publication number: DE102021133538A1
Application number: DE102021133538.8A
Authority: DE
Inventors: Jun Shern Chan; Alejandro Israel Barragan Diaz; Francisco Alejandro Suarez Ruiz; Jeremy Myers; Maurilio Di Cicco; Lucas Tetsuya Kuwae
Original assignee: Motional AD LLC
Current assignee: Motional AD LLC
Priority date: 2021-08-27
Filing date: 2021-12-16
Publication date: 2023-03-02
Also published as: US20230064232A1; KR102631142B1; CN115931029A; KR20230031754A; GB2610250A

Abstract

Unter anderem sind Techniken für ein universelles Kalibrierungsziel beschrieben. Das universelle Kalibrierungsziel beinhaltet einen Kern und einen Außenkörper. Der Kern ist ein Kern, der mit einer ersten hervorstechenden Eigenschaft assoziiert ist. Der Außenkörper ist mit einer zweiten hervorstechenden Eigenschaft assoziiert. Die erste hervorstechende Eigenschaft und die zweite hervorstechende Eigenschaft sind ausgelegt, um durch eine Sensormodalität beobachtet zu werden, und die erste hervorstechende Eigenschaft und die zweite hervorstechende Eigenschaft entsprechen mindestens einem Sensor eines Fahrzeugs.

Description

GEBIET DER ERFINDUNG
Die vorliegende Beschreibung betrifft allgemein universelle Kalibrierungsziele und Kalibrierungsräume.
HINTERGRUND
Autonome Fahrzeuge verwenden Sensordaten zum Navigieren und Verstehen der umliegenden Umgebung. Sensoren werden kalibriert, um Ungenauigkeiten in Sensormessungen zu kompensieren. Die Kalibrierung jedes Sensors kann ein anderes Kalibrierungsziel verwenden. Infolgedessen ist die Anzahl von zur Kalibrierung verwendeten Zielen direkt proportional zu der Anzahl von zu kalibrierenden Sensoren. Darüber hinaus können Bedingungen des Raumes, in dem die Kalibrierung stattfindet, den Kalibrierungsprozess erschweren.
Figurenliste

1 zeigt ein Beispiel für ein autonomes Fahrzeug mit autonomer Fähigkeit.
2 zeigt eine beispielhafte „Cloud“-Rechenumgebung.
3 zeigt ein Computersystem.
4 zeigt eine beispielhafte Architektur für ein autonomes Fahrzeug.
5 zeigt ein Beispiel für Eingaben und Ausgaben, die durch ein Wahrnehmungsmodul verwendet werden können.
6 zeigt ein Beispiel für ein LiDAR-System.
7 zeigt das LiDAR-System im Betrieb.
8 zeigt den Betrieb des LiDAR-Systems mit zusätzlichen Einzelheiten.
9A ist eine Veranschaulichung eines Kerns eines universellen Kalibrierungsziels.
9B ist eine Veranschaulichung eines Kerns und Außenkörpers eines universellen Kalibrierungsziels.
10 ist eine Veranschaulichung eines universellen Kalibrierungsziels.
11 ist eine Veranschaulichung eines universellen Kalibrierungsziels mit Anstrich oder Material, der/das auf eine Oberfläche des Außenkörpers aufgetragen ist.
12 ist ein Querschnitt eines universellen Kalibrierungsziels mit einem Muster oder Farbe, das/die auf eine Oberfläche des Außenkörpers aufgetragen ist.
13 ist eine Veranschaulichung eines universellen Kalibrierungsziels.
14 ist eine Veranschaulichung eines Kalibrierungsraumes.
15 ist eine Veranschaulichung eines Kalibrierungsraumes mit mehreren universellen Kalibrierungszielen entlang eines Pfades.
16 ist eine Veranschaulichung eines Kalibrierungsprozedurlebenszyklus.
17 ist eine Veranschaulichung mehrerer Kalibrierungsziele in einer Kalibrierungsräumlichkeit.
18 ist ein Prozessflussdiagramm eines Prozesses zur universellen Kalibrierung unter Verwendung universeller Kalibrierungsziele.

AUSFÜHRLICHE BESCHREIBUNG
In der folgenden Beschreibung werden für Erläuterungszwecke zahlreiche spezifische Einzelheiten dargelegt, um ein umfassendes Verständnis der vorliegenden Erfindung bereitzustellen. Es versteht sich jedoch, dass die vorliegende Erfindung ohne diese spezifischen Einzelheiten umgesetzt werden kann. In anderen Fällen sind wohlbekannte Strukturen und Vorrichtungen in Blockdiagrammform gezeigt, um zu verhindern, die vorliegende Erfindung unnötig unklar zu machen.
In den Zeichnungen sind spezifische Anordnungen oder Ordnungen schematischer Elemente, wie etwa jenen, die Vorrichtungen, Module, Anweisungsblöcke und Datenelemente repräsentieren, zur Vereinfachung der Beschreibung gezeigt. Fachleute auf dem Gebiet sollten jedoch verstehen, dass die spezifische Ordnung oder Anordnung der schematischen Elemente in den Zeichnungen nicht andeuten soll, dass eine spezielle Verarbeitungsreihenfolge oder -abfolge oder Trennung von Prozessen erforderlich ist. Ferner soll der Einschluss eines schematischen Elements in einer Zeichnung nicht andeuten, dass ein solches Element in allen Ausführungsformen erforderlich ist oder dass die durch ein solches Element repräsentierten Merkmale möglicherweise bei manchen Ausführungsformen nicht in anderen Elementen enthalten sind oder mit diesen kombiniert werden.
Ferner soll in den Zeichnungen, in denen Verbindungselemente wie etwa durchgezogene oder gestrichelte Linien oder Pfeile verwendet werden, um eine Verbindung, Beziehung oder Zuordnung zwischen oder unter zwei oder mehr anderen schematischen Elementen zu veranschaulichen, das Nichtvorhandensein jeglicher solcher Verbindungselemente nicht andeuten, dass keine Verbindung, Beziehung oder Zuordnung bestehen kann. Mit anderen Worten sind manche Verbindungen, Beziehungen oder Zuordnungen zwischen Elementen in den Zeichnungen nicht gezeigt, um die Offenbarung nicht unklar zu machen. Zusätzlich wird zur Vereinfachung der Veranschaulichung ein einzelnes Verbindungselement verwendet, um mehrere Verbindungen, Beziehungen oder Zuordnungen zwischen Elementen zu repräsentieren. Wenn ein Verbindungselement eine Kommunikation von Signalen, Daten oder Anweisungen repräsentiert, sollten Fachleute auf dem Gebiet beispielsweise verstehen, dass ein solches Element einen oder mehrere Signalpfade (z. B. einen Bus) repräsentiert, wie erforderlich, um die Kommunikation zu bewirken.
Nun wird ausführlicher Bezug auf Ausführungsformen genommen, von denen Beispiele in den begleitenden Zeichnungen veranschaulicht sind. In der folgenden ausführlichen Beschreibung werden zahlreiche spezifische Einzelheiten dargelegt, um ein umfassendes Verständnis der verschiedenen beschriebenen Ausführungsformen bereitzustellen. Ein Durchschnittsfachmann auf dem Gebiet wird jedoch verstehen, dass die verschiedenen beschriebenen Ausführungsformen ohne diese spezifischen Einzelheiten umgesetzt werden können. In anderen Fällen sind wohlbekannte Verfahren, Prozeduren, Komponenten, Schaltungen und Netzwerke nicht ausführlich beschrieben, damit Aspekte der Ausführungsformen nicht unnötig unklar gemacht werden.
Nachfolgend sind mehrere Merkmale beschrieben, die jeweils unabhängig voneinander oder mit einer beliebigen Kombination anderer Merkmale verwendet werden können. Ein jegliches individuelles Merkmal spricht jedoch möglicherweise keine der oben besprochenen Probleme an oder könnte nur eines der oben besprochenen Probleme ansprechen. Einige der oben besprochenen Probleme können möglicherweise nicht vollständig durch irgendwelche der hierin beschriebenen Merkmale angesprochen werden. Obwohl Überschriften bereitgestellt sind, können Informationen bezüglich einer speziellen Überschrift, die jedoch nicht in dem Abschnitt mit dieser Überschrift gefunden werden, auch anderweitig in dieser Beschreibung gefunden werden. Ausführungsformen sind hierin gemäß der folgenden Gliederung beschrieben:

1. Allgemeiner Überblick
2. Systemüberblick
3. AV-Architektur
4. AV-Eingaben
5. Universelle Kalibrierungsziele
6. Kalibrierungsräume/-räumlichkeiten
7. Universelle Kalibrierungsprozesse

Allgemeiner Überblick
Ein Kalibrierungsziel wird allgemein zumindest teilweise basierend auf hervorstechenden Eigenschaften des Kalibrierungsziels ausgewählt, die durch einen entsprechenden Sensor gemäß der Sensormodalität detektiert werden können. Eine robotische Plattform (wie etwa ein autonomes Fahrzeug) kann mehrere Sensoren aufweisen, die zum Umsetzen robotischer Funktionalität verwendet werden. Jeder Sensor ist mit mindestens einer Sensormodalität assoziiert und beobachtet eine hervorstechende Eigenschaft eines Kalibrierungsziels, wobei mit der Beobachtung assoziierte Zieldaten durch den Sensor erfasst oder quantifiziert werden. Somit werden hervorstechende Eigenschaften eines Kalibrierungsziels basierend auf einer Wahrscheinlichkeit, dass die hervorstechende Eigenschaft eine oder mehrere Sensormodalitäten nutzt, ausgewählt oder konzipiert. Während der Kalibrierung beobachtet jeder Sensor ein oder mehrere Ziele und erfasste Daten von der Beobachtung werden aufgezeichnet, um intrinsische und extrinsische Kalibrierungsparameter, die mit dem Sensor assoziiert sind, zu bestimmen. Die Kalibrierung eines Sensors ermöglicht einen genauen und präzisen Betrieb des Sensors. Ein universelles Kalibrierungsziel vereinigt mehrere ausgeprägte hervorstechende Eigenschaften, die jeweils einer oder mehreren Sensormodalitäten entsprechen, in ein einziges universelles Kalibrierungsziel. Während der Verifizierung beobachtet ein Sensor ein oder mehrere Ziele, um Daten zu erfassen, die mit erwarteten Datenwerten verglichen werden, um den ordnungsgemäßen Betrieb eines Sensors zu verifizieren. In manchen Fällen erfolgt eine Kalibrierung in einer Kalibrierungsräumlichkeit, die für eine vollständige Sensorkalibrierung und -validierung ausgebildet ist, um den Kalibrierungsanforderungen für den Betrieb einer großen Flotte mobiler Roboter gerecht zu werden.
Einige Vorteile eines universellen Kalibrierungsziels beinhalten eine zeiteffiziente Prozedur, die eine einzige Kalibrierungsrunde zum Kalibrieren aller Sensoren verwenden kann. Das universelle Kalibrierungsziel ist kostengünstig und einfach in großen Mengen herzustellen. Ferner ist das universelle Kalibrierungsziel leicht einzusetzen und ermöglicht replizierbare und robuste Kalibrierungsprozeduren. Darüber hinaus ist es aufgrund der Diversität natürlicher Umgebungen und ihrer Bedingungen, die stabilen Eigenschaften enthalten können oder nicht, vorteilhaft, eine Kalibrierung in einer Kalibrierungsräumlichkeit mit bekannten Zielen durchzuführen, um die Zuverlässigkeit und Wiederholbarkeit der Prozeduren zu gewährleisten.
Systemüberblick
1 zeigt ein Beispiel für ein autonomes Fahrzeug 100 mit autonomer Fähigkeit.
Wie hierin verwendet, bezieht sich der Begriff „autonome Fähigkeit“ auf eine Funktion, ein Merkmal oder ein Hilfsmittel, die/das einem Fahrzeug ermöglicht, teilweise oder vollständig ohne menschliche Echtzeit-Eingriffe betrieben zu werden, einschließlich ohne Beschränkung vollautonome Fahrzeuge, hochautonome Fahrzeuge und bedingt autonome Fahrzeuge.
Wie hierin verwendet, ist ein autonomes Fahrzeug (AV: Autonomous Vehicle) ein Fahrzeug, das autonome Fähigkeit besitzt.
Wie hierin verwendet, beinhaltet „Fahrzeug“ Mittel für den Transport von Gütern oder Menschen. Beispielsweise Autos, Busse, Züge, Flugzeuge, Drohnen, Lastwagen, Boote, Schiffe, Unterwasserfahrzeuge, Luftschiffe usw. Ein fahrerloses Auto ist ein Beispiel für ein Fahrzeug.
Wie hierin verwendet, bezieht sich „Trajektorie“ auf einen Pfad oder eine Route zum Navigieren eines AV von einem ersten raumzeitlichen Ort zu einem zweiten raumzeitlichen Ort. In einer Ausführungsform wird der erste raumzeitliche Ort als Anfangs- oder Startort bezeichnet und wird der zweite raumzeitliche Ort als Bestimmungsort, Endort, Ziel, Zielposition oder Zielort bezeichnet. In manchen Beispielen besteht eine Trajektorie aus einem oder mehreren Segmenten (z. B. Straßenabschnitten), und jedes Segment besteht aus einem oder mehreren Blöcken (z. B. Teilen einer Spur oder Kreuzung). In einer Ausführungsform entsprechen die raumzeitlichen Orte realen Orten. Beispielsweise sind die raumzeitlichen Orte Abhol- oder Absetzorte zum Abholen oder Absetzen von Personen oder Gütern.
Wie hierin verwendet, beinhaltet „Sensor(en)“ eine oder mehrere Hardwarekomponenten, die Informationen über die Umgebung im Umfeld des Sensors detektieren. Einige der Hardwarekomponenten können Erfassungskomponenten (z. B. Bildsensoren, biometrische Sensoren), Sende- und/oder Empfangskomponenten (z. B. Laser- oder Hochfrequenzwellensender und -empfänger), elektronische Komponenten wie etwa Analog-Digital-Umsetzer, eine Datenspeicherungsvorrichtung (wie etwa RAM und/oder eine nichtflüchtige Speicherung), Software- oder Firmwarekomponenten und Datenverarbeitungskomponenten wie etwa eine ASIC (anwendungsspezifische integrierte Schaltung), einen Mikroprozessor und/oder einen Mikrocontroller beinhalten.
Wie hierin verwendet, ist eine „Szenenbeschreibung“ eine Datenstruktur (z. B. Liste) oder ein Datenstrom, die/der ein oder mehrere klassifizierte oder gelabelte Objekte beinhaltet, die durch einen oder mehrere Sensoren am AV detektiert oder durch eine Quelle extern zu dem AV bereitgestellt werden.
Wie hierin verwendet, ist eine „Straße“ ein physisches Gebiet, auf dem sich ein Fahrzeug fortbewegen kann, und kann einer benannten Durchgangsstraße (z. B. Stadtstraße, Autobahn usw.) entsprechen oder kann einer unbenannten Durchgangsstraße (z. B. eine Zufahrt eines Hauses oder Bürogebäudes, ein Abschnitt eines Parkplatzes, ein Abschnitt eines unbebauten Grundstücks, ein Feldweg in einem ländlichen Gebiet usw.) entsprechen. Da manche Fahrzeuge (z. B. Allradantrieb-Pickups, Geländewagen usw.) in der Lage sind, sich in einer Vielfalt physischer Gebiete fortzubewegen, die nicht spezifisch für die Fahrt eines Fahrzeugs angepasst sind, kann eine „Straße“ ein physisches Gebiet sein, das nicht formell durch eine Gemeinde oder andere Regierungsstelle oder Verwaltungsbehörde als eine Durchgangsstraße definiert ist.
Wie hierin verwendet, ist eine „Spur“ ein Teil einer Straße, auf dem sich ein Fahrzeug fortbewegen kann. Eine Spur wird manchmal basierend auf Spurmarkierungen identifiziert. Beispielsweise kann eine Spur dem Großteil oder der Gesamtheit des Raums zwischen Spurmarkierungen entsprechen oder kann nur einem Teil (z. B. weniger als 50 %) des Raums zwischen Spurmarkierungen entsprechen. Beispielsweise könnte eine Landstraße, die weit beabstandete Spurmarkierungen aufweist, zwei oder mehr Fahrzeuge zwischen den Markierungen unterbringen, sodass ein Fahrzeug das andere überholen kann, ohne die Spurmarkierungen zu überqueren, und könnte somit als eine Spur schmaler als der Raum zwischen den Spurmarkierungen aufweisend oder zwei Spuren zwischen den Spurmarkierungen aufweisend interpretiert werden. Eine Spur könnte auch bei Nichtvorhandensein von Spurmarkierungen interpretiert werden. Beispielsweise kann eine Spur basierend auf physischen Merkmalen einer Umgebung definiert werden, z. B. Gestein und Bäume entlang einer Durchgangsstraße in einem ländlichen Gebiet oder z. B. natürliche zu vermeidende Hindernisse in einem unbebauten Gebiet. Eine Spur könnte auch unabhängig von Spurmarkierungen oder physischen Merkmalen interpretiert werden. Beispielsweise könnte eine Spur basierend auf einem beliebigen Pfad interpretiert werden, der frei von Hindernissen ist in einem Gebiet, dem ansonsten Merkmale fehlen, die als Spurgrenzen interpretiert werden würden. In einem beispielhaften Szenario könnte ein AV eine Spur durch einen hindernisfreien Teil eines Feldes oder eine leere Parzelle interpretieren. In einem anderen beispielhaften Szenario könnte ein AV eine Spur durch eine breite (z. B. breit genug für zwei oder mehr Spuren) Landstraße interpretieren, die keine Spuren aufweist. In diesem Szenario könnte das AV Informationen über die Spur zu anderen AVs kommunizieren, sodass die anderen AVs dieselben Spurinformationen verwenden können, um Pfadplanung untereinander zu koordinieren.
Der Begriff „Over-the-Air(OTA)-Client“ beinhaltet ein jegliches AV oder eine jegliche elektronische Vorrichtung (z. B. Computer, Steuerung, IoT-Vorrichtung, elektronische Steuereinheit (ECU)), die in einem AV eingebettet ist, mit diesem gekoppelt ist oder in Kommunikation mit diesem steht.
Der Begriff „Over-the-Air(OTA)-Aktualisierung“ bedeutet eine jegliche Aktualisierung, Änderung, Löschung oder Hinzufügung an/bei/zu Software, Firmware, Daten oder Konfigurationseinstellungen oder eine beliebige Kombination davon, die zu einem OTA-Client unter Verwendung proprietärer und/oder standardisierter Drahtloskommunikationstechnologie geliefert wird, einschließlich unter anderem: zellularer Mobilkommunikationen (z. B. 2G, 3G, 4G, 5G), Funk-Drahtlosbereichsnetzen (z. B. WiFi) und/oder Satelliten-Internet.
Der Begriff „Edge-Knoten“ bedeutet eine oder mehrere Edge-Vorrichtungen (Edge - Rand), die mit einem Netzwerk gekoppelt sind und ein Portal zur Kommunikation mit AVs bereitstellen und mit anderen Edge-Knoten und einer Cloud-basierten Rechenplattform zur Planung und Lieferung von OTA-Aktualisierungen an OTA-Clients kommunizieren können.
Der Begriff „Edge-Vorrichtung“ bedeutet eine Vorrichtung, die einen Edge-Knoten implementiert und einen physischen Drahtloszugangspunkt (Drahtlos-AP) in Unternehmens- oder Dienstanbieter(z. B. VERIZON, AT&T)-Kernnetzwerke bereitstellt. Beispiele für Edge-Vorrichtungen beinhalten unter anderem: Computer, Steuerungen, Sender, Router, Routing-Switches, integrierte Zugangsvorrichtungen (IADs: Integrated Access Devices), Multiplexer, Zugangsvorrichtungen für städtische Netzwerke (MAN: Metropolitan Area Network) und Weitbereichsnetzwerke (WAN: Wide Area Network).
„Ein oder mehr" beinhaltet, dass eine Funktion durch ein Element durchgeführt wird, dass eine Funktion durch mehr als ein Element durchgeführt wird, z. B. auf verteilte Weise, dass mehrere Funktionen durch ein Element durchgeführt werden, dass mehrere Funktionen durch mehrere Elemente durchgeführt werden, oder eine beliebige Kombination des Obenstehenden.
Es versteht sich auch, dass, obwohl die Begriffe erster, zweiter usw. in manchen Fällen hierin verwendet werden, um verschiedene Elemente zu beschreiben, diese Elemente nicht durch diese Begriffe beschränkt werden sollten. Diese Begriffe werden nur zur Unterscheidung eines Elements von einem anderen verwendet. Beispielsweise könnte ein erster Kontakt als ein zweiter Kontakt bezeichnet werden, und gleichermaßen könnte ein zweiter Kontakt als ein erster Kontakt bezeichnet werden, ohne vom Schutzumfang der verschiedenen beschriebenen Ausführungsformen abzuweichen. Sowohl der erste Kontakt als auch der zweite Kontakt sind Kontakte, sie sind aber nicht derselbe Kontakt.
Die in der Beschreibung der verschiedenen beschriebenen Ausführungsformen hierin verwendete Terminologie liegt nur zum Zweck der Beschreibung spezieller Ausführungsformen vor und soll nicht beschränkend sein. Wie in der Beschreibung der verschiedenen beschriebenen Ausführungsformen und den angehängten Ansprüchen verwendet, sollen die Singularformen „ein“, „eine“ und „der/die/das“ auch die Pluralformen beinhalten, insofern der Kontext nicht deutlich anderes angibt. Es versteht sich auch, dass sich der Begriff „und/oder“, wie hierin verwendet, auf jegliche und alle möglichen Kombinationen eines oder mehrerer der assoziierten aufgelisteten Punkte bezieht und einschließt. Es versteht sich ferner, dass die Begriffe „beinhaltet“, „einschließlich“, „umfasst“ und/oder „umfassend“, wenn in dieser Beschreibung verwendet, das Vorhandensein genannter Merkmale, Ganzzahlen, Schritte, Operationen, Elemente und/oder Komponenten spezifiziert, aber nicht das Vorhandensein oder den Zusatz eines/einer oder mehrerer anderer Merkmale, Ganzzahlen, Schritte, Operationen, Elemente, Komponenten und/oder Gruppen davon ausschließt.
Wie hierin verwendet, wird der Begriff „falls“ optional als „wenn“ oder „bei“ oder „alsReaktion auf das Bestimmen“ oder „alsReaktion auf das Detektieren“ bedeutend, in Abhängigkeit vom Kontext, ausgelegt. Gleichermaßen wird der Ausdruck „falls bestimmt wird“ oder „falls [eine angegebene Bedingung oder ein angegebenes Ereignis] detektiert wird“ optional als „beim Bestimmen“ oder „alsReaktion auf das Bestimmen“ oder „beim Detektieren [der angegebenen Bedingung oder des angegebenen Ereignisses]“ oder „als Reaktion auf das Detektieren [der angegebenen Bedingung oder des angegebenen Ereignisses]“ bedeutend, in Abhängigkeit vom Kontext, ausgelegt.
Wie hierin verwendet, bezieht sich ein AV-System auf das AV zusammen mit dem Array von Hardware, Software, gespeicherten Daten und in Echtzeit erzeugten Daten, die den Betrieb des AV unterstützen. In einer Ausführungsform ist das AV-System innerhalb des AV integriert. In einer Ausführungsform ist das AV-System über mehrere Orte verteilt. Beispielsweise wird ein Teil der Software des AV-Systems in einer Cloud-Rechenumgebung ähnlich der unten mit Bezug auf 2 beschriebenen Cloud-Rechenumgebung 200 implementiert.
Allgemein beschreibt dieses Dokument Technologien, die bei beliebigen Fahrzeugen anwendbar sind, die eine oder mehrere autonome Fähigkeiten aufweisen, einschließlich voller AVs, hochgradiger AVs und bedingter AVs, wie etwa sogenannte Stufe-5--, Stufe-4- bzw. Stufe-3-Fahrzeuge (siehe den Standard J3016 von der SAE International: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems (Klassifizierung und Definitionen für Begriffe bezüglich automatisierter Fahrsysteme für Straßenkraftfahrzeuge), der unter Bezugnahme in seiner Gesamtheit aufgenommen wird, für Einzelheiten zu der Klassifizierung von Autonomiestufen bei Fahrzeugen). Die in diesem Dokument beschriebenen Technologien sind auch bei teilweisen AVs und fahrergestützten Fahrzeugen anwendbar, wie etwa sogenannten Stufe-2- und Stufe-1-Fahrzeugen (siehe den Standard J3016 von der SAE International: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems). In einer Ausführungsform können ein oder mehrere der Stufe-1-, Stufe-2-, Stufe-3-, Stufe-4- und Stufe-5-Fahrzeugsysteme gewisse Fahrzeugoperationen (z. B. Lenkung, Bremsung und Verwendung von Karten) unter gewissen Betriebsbedingungen basierend auf der Verarbeitung von Sensoreingaben automatisieren. Die in diesem Dokument beschriebenen Technologien können für Fahrzeuge in allen Stufen von Vorteil sein, von vollen AVs bis hin zu menschlich betriebenen Fahrzeugen.
AVs können Vorteile gegenüber Fahrzeugen aufweisen, die einen menschlichen Fahrer erfordern. Ein Vorteil liegt in der Sicherheit. Beispielsweise traten im Jahr 2016 in den Vereinigten Staaten 6 Millionen Kraftfahrzeugunfälle, 2,4 Millionen Verletzungen, 40.000 Todesopfer und 13 Millionen Fahrzeugzusammenstöße auf, mit geschätzten gesellschaftlichen Kosten von mehr als $910 Milliarden. Verkehrstodesopfer in den USA pro 100 Millionen gefahrener Meilen wurden zwischen 1965 und 2015 von etwa sechs auf etwa eins reduziert, teilweise aufgrund zusätzlicher in Fahrzeugen eingesetzter Sicherheitsmaßnahmen. Beispielsweise wird angenommen, dass eine zusätzliche halbe Sekunde Warnung vor einem unmittelbar bevorstehenden Zusammenstoß 60 % von Auffahrunfällen mitigieren. Passive Sicherheitsmerkmale (z. B. Sicherheitsgurte, Airbags) haben jedoch wahrscheinlich ihre Grenze für die Verbesserung dieser Anzahl erreicht. Somit sind aktive Sicherheitsmaßnahmen, wie etwa die automatisierte Steuerung eines Fahrzeugs, der wahrscheinlichste nächste Schritt für die Verbesserung dieser Statistiken. Da angenommen wird, dass menschliche Fahrer für ein kritisches Ereignis vor dem Zusammenstoß in 95 % der Zusammenstöße verantwortlich sind, werden automatisierte Fahrsysteme wahrscheinlich bessere Sicherheitsergebnisse erreichen, z. B. durch zuverlässiges Erkennen und Vermeiden kritischer Situationen besser als Menschen; bessere Entscheidungsfindung, Einhalten von Verkehrsregeln und Vorhersagen zukünftiger Ereignisse besser als Menschen; und zuverlässiges Steuern eines Fahrzeugs besser als ein Mensch.
Mit Bezug auf 1 betreibt ein AV-System 120 das Fahrzeug 100 entlang einer Trajektorie 198 durch eine Umgebung 190 zu einem Bestimmungsort 199 (manchmal als ein Endort bezeichnet), während es Objekte (z. B. natürliche Objekte 191, Fahrzeuge 193, Fußgänger 192, Fahrradfahrer und andere Hindernisse) vermeidet und Straßenregeln (z. B. Betriebsregeln oder Fahrpräferenzen) einhält.
In einer Ausführungsform beinhaltet das AV-System 120 Vorrichtungen 101, die dahingehend instrumentiert sind, Betriebsbefehle von den Computerprozessoren 146 zu empfangen und darauf zu reagieren. Der Begriff „Betriebsbefehl“ wird verwendet, um eine ausführbare Anweisung (oder Satz von Anweisungen) zu bedeuten, die bewirken, dass ein Fahrzeug eine Handlung (z. B. ein Fahrmanöver) durchführt. Betriebsbefehle können unter anderem Anweisungen beinhalten, damit ein Fahrzeug beginnt, vorwärts zu fahren, aufhört, vorwärts zu fahren, beginnt, rückwärts zu fahren, aufhört, rückwärts zu fahren, beschleunigt, abbremst, nach links abbiegt und nach rechts abbiegt. In einer Ausführungsform sind die Rechenprozessoren 146 dem unten mit Bezug auf 2 beschriebenen Prozessor 204 ähnlich. Beispiele für die Vorrichtungen 101 beinhalten Lenksteuerung 102, Bremsen 103, Gänge, Gaspedal oder andere Beschleunigungssteuermechanismen, Scheibenwischer, Türverriegelungen, Fenstersteuerungen und Blinker.
In einer Ausführungsform beinhaltet das AV-System 120 Sensoren 121 zum Messen oder Ableiten von Eigenschaften des Status oder Zustands des Fahrzeugs 100, wie etwa die Position, die Linear- und Winkelgeschwindigkeit und -beschleunigung und den Steuerkurs (z. B. eine Orientierung des vorderen Endes des Fahrzeugs 100) des AV. Beispiele für die Sensoren 121 sind GPS, inertiale Messeinheiten (IMU), die sowohl lineare Beschleunigungen als auch Winkelraten des Fahrzeugs messen, Radgeschwindigkeitssensoren zum Messen oder Schätzen von Radschlupfverhältnissen, Radbremsdruck- oder Bremsmomentsensoren, Motormoment- oder Radmomentsensoren und Lenkwinkel- und Winkelratensensoren.
In einer Ausführungsform beinhalten die Sensoren 121 auch Sensoren zum Erfassen oder Messen von Eigenschaften der Umgebung des AV. Beispielsweise Monokular- oder Stereo-Videokameras 122 im sichtbaren Lichtspektrum, im Infrarotspektrum oder im thermischen Spektrum (oder beides), LiDAR 123, RADAR, Ultraschallsensoren, TOF-Tiefensensoren (TOF: time-of-flight - Laufzeit), Geschwindigkeitssensoren, Temperatursensoren, Feuchtigkeitssensoren und Niederschlagssensor.
In einer Ausführungsform beinhaltet das AV-System 120 eine Datenspeicherungseinheit 142 und einen Speicher 144 zum Speichern von Maschinenanweisungen, die mit den Computerprozessoren 146 assoziiert sind, oder von Daten, die durch die Sensoren 121 gesammelt werden. In einer Ausführungsform ähnelt die Datenspeicherungseinheit 142 dem ROM 208 oder der Speicherungsvorrichtung 210, die unten in Beziehung mit 2 beschrieben sind. In einer Ausführungsform ähnelt der Speicher 144 dem unten beschriebenen Hauptspeicher 206. In einer Ausführungsform speichern die Datenspeicherungseinheit 142 und der Speicher 144 historische, Echtzeit- und/oder prädiktive Informationen über die Umgebung 190. In einer Ausführungsform beinhalten die gespeicherten Informationen Karten, Fahrleistung, Verkehrsüberlastungsaktualisierungen oder Wetterbedingungen. In einer Ausführungsform werden Daten bezüglich der Umgebung 190 mittels eines Kommunikationskanals von einer entfernt lokalisierten Datenbank 134 zu dem Fahrzeug 100 übertragen.
In einer Ausführungsform beinhaltet das AV-System 120 Kommunikationsvorrichtungen 140 zum Kommunizieren gemessener oder abgeleiteter Eigenschaften der Status und Zustände anderer Fahrzeuge, wie etwa Positionen, Linear- und Winkelgeschwindigkeiten, Linear- und Winkelbeschleunigungen und Linear- und Winkelsteuerkurse, zu dem Fahrzeug 100. Diese Vorrichtungen beinhalten Fahrzeug-zu-Fahrzeug(V2V)- und Fahrzeug-zu-Infrastruktur(V2I)-Kommunikationsvorrichtungen und Vorrichtungen für Drahtloskommunikationen über Punkt-zu-Punkt- oder Ad-hoc-Netzwerke oder beides. In einer Ausführungsform kommunizieren die Kommunikationsvorrichtungen 140 über das elektromagnetische Spektrum (einschließlich Funk- und optischer Kommunikationen) oder anderen Medien (z. B. Luft und akustische Medien). Eine Kombination aus Fahrzeug-zu-Fahrzeug(V2V)- und Fahrzeug-zu-Infrastruktur(V2I)-Kommunikation (und in manchen Ausführungsformen eine oder mehrere andere Arten von Kommunikation) wird manchmal als Fahrzeug-zu-Allem(V2X)-Kommunikation bezeichnet. Eine V2X-Kommunikation entspricht typischerweise einem oder mehreren Kommunikationsstandards zur Kommunikation mit, zwischen oder unter autonomen Fahrzeugen.
In einer Ausführungsform beinhalten die Kommunikationsvorrichtungen 140 Kommunikationsschnittstellen. Beispielsweise drahtgebundene, drahtlose, WiMAX-, WiFi-, Bluetooth-, Satelliten-, zellulare, optische, Nahfeld-, Infrarot- oder Funkschnittstellen. Die Kommunikationsschnittstellen übertragen Daten von einer entfernt lokalisierten Datenbank 134 zu dem AV-System 120. In einer Ausführungsform ist die entfernt lokalisierte Datenbank 134 in einer Cloud-Rechenumgebung eingebettet. Die Kommunikationsvorrichtungen 140 übertragen Daten, die von den Sensoren 121 gesammelt werden, oder andere Daten bezüglich des Betriebs des Fahrzeugs 100 zu der entfernt lokalisierten Datenbank 134. In einer Ausführungsform übertragen die Kommunikationsvorrichtungen 140 Informationen, die sich auf Teleoperationen beziehen, zu dem Fahrzeug 100. In manchen Ausführungsformen kommuniziert das Fahrzeug 100 mit anderen entfernten (z. B. „Cloud“-) Servern 136.
In einer Ausführungsform speichert und überträgt die entfernt lokalisierte Datenbank 134 auch digitale Daten (z. B. speichert Daten wie etwa Landstraßen- und Straßenorte). Solche Daten werden im Speicher 144 am Fahrzeug 100 gespeichert oder mittels eines Kommunikationskanals von der entfernt lokalisierten Datenbank 134 zu dem Fahrzeug 100 übertragen.
In einer Ausführungsform speichert und überträgt die entfernt lokalisierte Datenbank 134 historische Informationen über Fahreigenschaften (z. B. Geschwindigkeits- und Beschleunigungsprofile) von Fahrzeugen, die zuvor zu ähnlichen Tageszeiten entlang der Trajektorie 198 gefahren sind. In einer Implementierung können solche Daten im Speicher 144 am Fahrzeug 100 gespeichert oder mittels eines Kommunikationskanals von der entfernt lokalisierten Datenbank 134 zu dem Fahrzeug 100 übertragen werden.
Die Computerprozessoren 146, die sich am Fahrzeug 100 befinden, erzeugen algorithmisch Steuerhandlungen basierend auf sowohl Echtzeit-Sensordaten als auch vorherigen Informationen, was es dem AV-System 120 ermöglicht, seine autonomen Fahrfähigkeiten auszuführen.
In einer Ausführungsform beinhaltet das AV-System 120 Computerperipheriegeräte 132, die mit den Computerprozessoren 146 gekoppelt sind, zum Bereitstellen von Informationen und Warnungen an einen und Empfangen einer Eingabe von einem Benutzer (z. B. einem Insassen oder einem Fernbenutzer) des Fahrzeugs 100. In einer Ausführungsform ähneln die Peripheriegeräte 132 der Anzeige 312, der Eingabevorrichtung 314 und der Cursorsteuerung 316, die unten mit Bezug auf 3 besprochen sind. Die Kopplung ist drahtlos oder drahtgebunden. Zwei oder mehr beliebige der Schnittstellenvorrichtungen können in eine einzige Vorrichtung integriert sein.
In einer Ausführungsform empfängt und erzwingt das AV-System 120 eine Datenschutzstufe eines Passagiers, die z. B. durch den Passagier spezifiziert wird oder in einem mit dem Passagier assoziierten Profil gespeichert ist. Die Datenschutzstufe des Passagiers bestimmt, wie bestimmte mit dem Passagier assoziierte Informationen (z. B. Passagierkomfortdaten, biometrische Daten usw.) verwendet werden dürfen, im Passagierprofil gespeichert sind und/oder auf dem Cloud-Server 136 gespeichert und mit dem Passagierprofil assoziiert sind. In einer Ausführungsform spezifiziert die Datenschutzstufe spezielle Informationen, die mit einem Passagier assoziiert sind und nach dem Abschluss der Fahrt gelöscht werden. In einer Ausführungsform spezifiziert die Datenschutzstufe bestimmte mit einem Passagier assoziierte Informationen und identifiziert eine oder mehrere Entitäten, die für den Zugriff auf die Informationen autorisiert sind. Beispiele für spezifizierte Entitäten, die für den Zugriff auf die Informationen autorisiert sind, können andere AVs, Drittpartei-AV-Systeme oder eine beliebige Entität, die potenziell auf die Informationen zugreifen könnte, beinhalten.
Eine Datenschutzstufe eines Passagiers kann mit einer oder mehreren Granularitätsstufen spezifiziert werden. In einer Ausführungsform identifiziert eine Datenschutzstufe spezifische zu speichernde oder zu teilende Informationen. In einer Ausführungsform gilt die Datenschutzstufe für alle mit dem Passagier assoziierten Informationen, sodass der Passagier spezifizieren kann, dass keine seiner persönlichen Informationen gespeichert oder geteilt werden. Die Spezifikation der Entitäten, denen der Zugriff auf bestimmte Informationen gestattet ist, kann auch mit verschiedenen Granularitätsstufen spezifiziert werden. Verschiedene Sätze von Entitäten, denen der Zugriff auf bestimmte Informationen gestattet ist, können beispielsweise andere AVs, die Cloud-Server 136, spezifische Drittpartei-AV-Systeme usw. beinhalten.
In einer Ausführungsform bestimmt das AV-System 120 oder der Cloud-Server 136, ob das AV 100 oder eine andere Entität auf gewisse mit einem Passagier assoziierte Informationen zugreifen können. Beispielsweise muss ein Drittpartei-AV-System, das versucht, auf eine Passagiereingabe bezüglich eines bestimmten raumzeitlichen Orts zuzugreifen, eine Autorisierung z. B. von dem AV-System 120 oder dem Cloud-Server 136 erhalten, um auf die mit dem Passagier assoziierten Informationen zuzugreifen. Beispielsweise verwendet das AV-System 120 die spezifizierte Datenschutzstufe des Passagiers, um zu bestimmen, ob die Passagiereingabe bezüglich des raumzeitlichen Orts dem Drittpartei-AV-System, dem AV 100 oder einem anderen AV unterbreitet werden kann. Dies ermöglicht es der Datenschutzstufe des Passagiers zu spezifizieren, welchen anderen Entitäten es gestattet ist, Daten über die Handlungen des Passagiers oder andere mit dem Passagier assoziierte Daten zu empfangen.
2 zeigt eine beispielhafte „Cloud“-Rechenumgebung. Cloud-Computing ist ein Modell zur Dienstbereitstellung zum Ermöglichen eines zweckdienlichen On-Demand-Netzwerkzugangs zu einem gemeinsam genutzten Pool von konfigurierbaren Rechenressourcen (z. B. Netzwerke, Netzwerkbandbreite, Server, Verarbeitung, Speicher, Speicherung, Anwendungen, virtuelle Maschinen und Dienste). In typischen Cloud-Rechensystemen sind die Maschinen, die zum Bereitstellen der durch die Cloud gelieferten Dienste verwendet werden, in einem oder mehreren großen Cloud-Datenzentren untergebracht. Jetzt mit Bezug auf 2 beinhaltet die Cloud-Rechenumgebung 200 Cloud-Datenzentren 204a, 204b und 204c, die über die Cloud 202 miteinander verbunden sind. Die Datenzentren 204a, 204b und 204c stellen Computersystemen 206a, 206b, 206c, 206d, 206e und 206f, die mit der Cloud 202 verbunden sind, Cloud-Rechendienste bereit.
Die Cloud-Rechenumgebung 200 beinhaltet ein oder mehrere Cloud-Datenzentren. Allgemein bezieht sich ein Cloud-Datenzentrum, beispielsweise das in 2 gezeigte Cloud-Datenzentrum 204a, auf die physische Anordnung von Servern, aus denen eine Cloud, beispielsweise die in 2 gezeigte Cloud 202, oder ein spezieller Teil einer Cloud besteht. Beispielsweise sind Server physisch im Cloud-Datenzentrum in Räumen, Gruppen, Reihen und Racks angeordnet. Ein Cloud-Datenzentrum weist eine oder mehrere Zonen auf, die einen oder mehrere Räume von Servern beinhalten. Jeder Raum weist eine oder mehrere Reihen von Servern auf und jede Reihe beinhaltet ein oder mehrere Racks. Jedes Rack beinhaltet einen oder mehrere individuelle Serverknoten. In manchen Implementierungen sind Server in Zonen, Räumen und/oder Reihen basierend auf physischen Infrastrukturanforderungen der Datenzentrumseinrichtung, die Leistungs-, Energie-, thermische, Wärme- und/oder andere Anforderungen beinhalten, in Gruppen angeordnet. In einer Ausführungsform sind die Serverknoten dem in 3 beschriebenen Computersystem ähnlich. Das Datenzentrum 204a weist viele Rechensysteme auf, die über viele Racks verteilt sind.
Die Cloud 202 beinhaltet die Cloud-Datenzentren 204a, 204b und 204c zusammen mit dem Netzwerk und Networking-Ressourcen (zum Beispiel Networking-Ausrüstung, Knoten, Router, Switches und Networking-Kabel), die die Cloud-Datenzentren 204a, 204b und 204c miteinander verbinden und dabei helfen, den Rechensystemen 206a-f zu ermöglichen, auf Cloud-Rechendienste zuzugreifen. In einer Ausführungsform repräsentiert das Netzwerk eine beliebige Kombination eines oder mehrerer Lokalnetzwerke, Weitbereichsnetzwerke oder Internetzwerke, die unter Verwendung drahtgebundener oder drahtloser Links gekoppelt sind, die unter Verwendung terrestrischer oder satellitengestützter Verbindungen eingesetzt werden. Über das Netzwerk ausgetauschte Daten werden unter Verwendung einer beliebigen Anzahl von Netzwerkschichtprotokollen transferiert, wie etwa Internetprotokoll (IP), MPLS (Multiprotocol Label Switching), ATM (Asynchronous Transfer Mode), Frame Relay usw. Ferner werden in Ausführungsformen, bei denen das Netzwerk eine Kombination mehrerer Teilnetzwerke repräsentiert, unterschiedliche Netzwerkschichtprotokolle an jedem der zugrundeliegenden Teilnetzwerke verwendet. In manchen Ausführungsformen repräsentiert das Netzwerk ein oder mehrere miteinander verbundene Internetzwerke, wie etwa das öffentliche Internet.
Die Rechensysteme 206a-f oder Cloud-Rechendienstverbraucher sind über Netzwerklinks und Netzwerkadapter mit der Cloud 202 verbunden. In einer Ausführungsform werden die Rechensysteme 206a-f als verschiedene Rechenvorrichtungen implementiert, beispielsweise Server, Desktops, Laptops, Tablet, Smartphones, Internet-der-Dinge(IoT)-Vorrichtungen, AVs (einschließlich Autos, Drohnen, Shuttles, Zügen, Bussen usw.) und Verbraucherelektronik. In einer Ausführungsform werden die Rechensysteme 206a-f in oder als ein Teil von anderen Systemen implementiert.
3 zeigt ein Computersystem 300. In einer Implementierung ist das Computersystem 300 eine Spezialrechenvorrichtung. Die Spezialrechenvorrichtung ist festverdrahtet, um die Techniken durchzuführen, oder beinhaltet digitale elektronische Vorrichtungen wie etwa eine oder mehrere anwendungsspezifische integrierte Schaltungen (ASICs) oder ein oder mehrere feldprogrammierbare Gate-Arrays (FPGAs), die persistent dazu programmiert sind, die Techniken durchzuführen, oder kann einen oder mehrere Allzweck-Hardwareprozessoren beinhalten, die dazu programmiert sind, die Techniken entsprechend Programmanweisungen in Firmware, Speicher, anderer Speicherung oder einer Kombination durchzuführen. Solche Spezialrechenvorrichtungen können auch maßgeschneiderte festverdrahtete Logik, ASICs oder FPGAs mit maßgeschneideter Programmierung kombinieren, um die Techniken zu vollziehen. In verschiedenen Ausführungsformen sind die Spezialrechenvorrichtungen Desktop-Computersysteme, portable Computersysteme, handgehaltene Vorrichtungen, Netzwerkvorrichtungen oder eine beliebige andere Vorrichtung, die festverdrahtete Logik und/oder Programmlogik zum Implementieren der Techniken integriert.
In einer Ausführungsform beinhaltet das Computersystem 300 einen Bus 302 oder einen anderen Kommunikationsmechanismus zum Kommunizieren von Informationen und einen Prozessor 304, der mit einem Bus 302 gekoppelt ist, zum Verarbeiten von Informationen. Der Prozessor 304 ist beispielsweise ein Allzweck-Mikroprozessor. Das Computersystem 300 beinhaltet auch einen Hauptspeicher 306, wie etwa einen Direktzugriffsspeicher (RAM) oder eine andere dynamische Speicherungsvorrichtung, die mit dem Bus 302 gekoppelt ist, zum Speichern von Informationen und durch den Prozessor 304 auszuführenden Anweisungen. In einer Implementierung wird der Hauptspeicher 306 zum Speichern temporärer Variablen oder anderer Zwischeninformationen während der Ausführung von durch den Prozessor 304 auszuführenden Anweisungen verwendet. Solche Anweisungen, wenn sie in nicht vorübergehenden Speicherungsmedien gespeichert sind, auf die der Prozessor 304 zugreifen kann, verwandeln das Computersystem 300 in eine Spezialmaschine, die dafür angepasst ist, die in den Anweisungen spezifizierten Operationen durchzuführen.
In einer Ausführungsform beinhaltet das Computersystem 300 ferner einen Nurlesespeicher (ROM) 308 oder eine andere statische Speicherungsvorrichtung, die mit dem Bus 302 gekoppelt ist, zum Speichern statischer Informationen und Anweisungen für den Prozessor 304. Eine Speicherungsvorrichtung 310, wie etwa eine Magnetplatte, eine optische Platte, ein Solid-State-Laufwerk oder dreidimensionaler Crosspoint-Speicher, ist bereitgestellt und mit dem Bus 302 gekoppelt, um Informationen und Anweisungen zu speichern.
In einer Ausführungsform ist das Computersystem 300 über den Bus 302 mit einer Anzeige 312 gekoppelt, wie etwa einer Kathodenstrahlröhre (CRT), einem Flüssigkristalldisplay (LCD), einer Plasma-Anzeige, einer Leuchtdioden(LED)-Anzeige oder einer organischen Leuchtdioden(OLED)-Anzeige zum Anzeigen von Informationen für einen Computerbenutzer. Eine Eingabevorrichtung 314, die alphanumerische und andere Tasten beinhaltet, ist mit dem Bus 302 gekoppelt, zum Kommunizieren von Informationen und Befehlsauswahlen zu dem Prozessor 304. Eine andere Art von Benutzereingabevorrichtung ist eine Cursorsteuerung 316 wie etwa eine Maus, ein Trackball, eine berührungsgestützte Anzeige oder Cursorrichtungstasten zum Kommunizieren von Richtungsinformationen und Befehlsauswahlen zu dem Prozessor 304 und zum Steuern der Cursorbewegung auf der Anzeige 312. Diese Eingabevorrichtung weist typischerweise zwei Freiheitsgrade in zwei Achsen auf, einer ersten Achse (z. B. x-Achse) und einer zweiten Achse (z. B. y-Achse), die der Vorrichtung ermöglicht, Positionen in einer Ebene zu spezifizieren.
Gemäß einer Ausführungsform werden die Techniken hierin durch das Computersystem 300 als Reaktion darauf durchgeführt, dass der Prozessor 304 eine oder mehrere Sequenzen einer oder mehrerer im Hauptspeicher 306 enthaltener Anweisungen ausführt. Solche Anweisungen werden in den Hauptspeicher 306 von einem anderen Speicherungsmedium wie etwa der Speicherungsvorrichtung 310 eingelesen. Die Ausführung der Sequenzen von im Hauptspeicher 306 enthaltenen Anweisungen bewirkt, dass der Prozessor 304 die hierin beschriebenen Prozessschritte durchführt. In alternativen Ausführungsformen wird eine festverdrahtete Schaltungsanordnung anstelle von oder in Kombination mit Softwareanweisungen verwendet.
Der Begriff „Speicherungsmedien“, wie hierin verwendet, bezieht sich auf beliebige nicht vorübergehende Medien, die Daten und/oder Anweisungen speichern, die bewirken, dass eine Maschine auf eine spezifische Weise arbeitet. Solche Speicherungsmedien beinhalten nichtflüchtige Medien und/oder flüchtige Medien. Nichtflüchtige Medien beinhalten zum Beispiel optische Platten, Magnetplatten, Solid-State-Laufwerke oder dreidimensionalen Crosspoint-Speicher, wie etwa die Speicherungsvorrichtung 310. Flüchtige Medien beinhalten dynamischen Speicher, wie etwa den Hauptspeicher 306. Übliche Formen von Speicherungsmedien beinhalten beispielsweise eine Diskette, eine flexible Disk, eine Festplatte, ein Solid-State-Laufwerk, ein Magnetband oder ein beliebiges anderes magnetische Datenspeicherungsmedium, eine CD-ROM, ein beliebiges anderes optisches Datenspeicherungsmedium, ein beliebiges physisches Medium mit Lochmustern, einen RAM, einen PROM und einen EPROM, einen FLASH-EPROM, einen NV-RAM oder einen beliebigen anderen Speicherchip oder eine beliebige andere Speicherkassette.
Speicherungsmedien sind von Übertragungsmedien verschieden, können aber in Verbindung mit diesen verwendet werden. Übertragungsmedien nehmen am Transfer von Informationen zwischen Speicherungsmedien teil. Beispielsweise beinhalten Übertragungsmedien Koaxialkabel, Kupferdraht und Faseroptik, einschließlich der Drähte, die den Bus 302 umfassen. Übertragungsmedien können auch die Form von Akustik- oder Lichtwellen annehmen, wie etwa jene, die während Funkwellen- und Infrarot-Datenkommunikationen erzeugt werden.
In einer Ausführungsform sind verschiedene Formen von Medien beim Führen einer oder mehrerer Sequenzen einer oder mehrerer Anweisungen zu dem Prozessor 304 zur Ausführung beteiligt. Beispielsweise werden die Anweisungen anfänglich auf einer Magnetplatte oder einem Solid-State-Laufwerk eines Ferncomputers geführt. Der Ferncomputer lädt die Anweisungen in seinen dynamischen Speicher und sendet die Anweisungen über eine Telefonleitung unter Verwendung eines Modems. Ein Modem lokal zu dem Computersystem 300 empfängt die Daten auf der Telefonleitung und verwendet einen Infrarotsender, um die Daten in ein Infrarotsignal umzuwandeln. Ein Infrarotdetektor empfängt die in dem Infrarotsignal geführten Daten und eine geeignete Schaltungsanordnung platziert die Daten auf den Bus 302. Der Bus 302 führt die Daten zu dem Hauptspeicher 306, aus dem der Prozessor 304 die Anweisungen abruft und ausführt. Die durch den Hauptspeicher 306 empfangenen Anweisungen können optional in der Speicherungsvorrichtung 310 entweder bevor oder nach der Ausführung durch den Prozessor 304 gespeichert werden.
Das Computersystem 300 beinhaltet außerdem eine Kommunikationsschnittstelle 318, die mit dem Bus 302 gekoppelt ist. Die Kommunikationsschnittstelle 318 liefert eine Zweiwege-Datenkommunikation, die mit einem Netzwerklink 320 koppelt, der mit einem lokalen Netzwerk 322 verbunden ist. Beispielsweise ist die Kommunikationsschnittstelle 318 eine ISDN-Karte (ISDN: Integrated Services Digital Network - dienstintegrierendes Digitalnetz), ein Kabelmodem, ein Satellitenmodem oder ein Modem zum Bereitstellen einer Datenkommunikationsverbindung mit einer entsprechenden Art von Telefonleitung. Als ein anderes Beispiel ist die Kommunikationsschnittstelle 318 eine LAN-Karte (LAN: Local Area Network - Lokalnetz) zum Bereitstellen einer Datenkommunikationsverbindung mit einem kompatiblen LAN. In manchen Implementierungen werden auch drahtlose Links implementiert. In einer beliebigen solchen Implementierung sendet und empfängt die Kommunikationsschnittstelle 318 elektrische, elektromagnetische oder optische Signale, die digitale Datenströme führen, die verschiedene Arten von Informationen repräsentieren.
Der Netzwerklink 320 stellt typischerweise eine Datenkommunikation über ein oder mehrere Netzwerke zu anderen Datenvorrichtungen bereit. Beispielsweise stellt der Netzwerklink 320 eine Verbindung über das lokale Netzwerk 322 zu einem Hostcomputer 324 oder zu einem Cloud-Datenzentrum oder ein Gerät bereit, das durch einen Internetdienstanbieter (ISP: Internet Service Provider) 326 betrieben wird. Der ISP 326 stellt im Gegenzug Datenkommunikationsdienste durch das weltweite Paketdatenkommunikationsnetzwerk, jetzt gewöhnlich als das „Internet“ 328 bezeichnet, bereit. Sowohl das lokale Netzwerk 322 als auch das Internet 328 verwenden elektrische, elektromagnetische oder optische Signale, die digitale Datenströme führen. Die Signale durch die verschiedenen Netzwerke und die Signale auf dem Netzwerklink 320 und durch die Kommunikationsschnittstelle 318, die die digitalen Daten zu und von dem Computersystem 300 führen, sind beispielhafte Formen von Übertragungsmedien. In einer Ausführungsform enthält das Netzwerk 320 die Cloud 202 oder einen Teil der oben beschriebenen Cloud 202.
Das Computersystem 300 sendet Nachrichten und empfängt Daten, einschließlich Programmcode, durch das eine oder die mehreren Netzwerke, den Netzwerklink 320 und die Kommunikationsschnittstelle 318. In einer Ausführungsform empfängt das Computersystem 300 Code zur Verarbeitung. Der empfangene Code wird durch den Prozessor 304 wie empfangen ausgeführt und/oder in der Speicherungsvorrichtung 310 oder einer anderen nichtflüchtigen Speicherung zur späteren Ausführung gespeichert.
AV-Architektur
4 zeigt eine beispielhafte Architektur 400 für ein AV (z. B. das in 1 gezeigte Fahrzeug 100). Die Architektur 400 beinhaltet ein Wahrnehmungsmodul 402 (manchmal als eine Wahrnehmungsschaltung bezeichnet), ein Planungsmodul 404 (manchmal als eine Planungsschaltung bezeichnet), ein Steuermodul 406 (manchmal als eine Steuerschaltung bezeichnet), ein Lokalisierungsmodul 408 (manchmal als eine Lokalisierungsschaltung bezeichnet) und ein Datenbankmodul 410 (manchmal als eine Datenbankschaltung bezeichnet). Jedes Modul spielt beim Betrieb des Fahrzeugs 100 eine Rolle. Zusammen können die Module 402, 404, 406, 408 und 410 Teil des in 1 gezeigten AV-Systems 120 sein. In manchen Ausführungsformen ist ein beliebiges der Module 402, 404, 406, 408 und 410 eine Kombination aus Computersoftware (z. B. ausführbarer Code, der auf einem computerlesbaren Medium gespeichert ist) und Computerhardware (z. B. ein(e) oder mehrere Mikroprozessoren, Mikrocontroller, anwendungsspezifische integrierte Schaltungen [ASICs]), Hardwarespeichervorrichtungen, anderen Arten von integrierten Schaltungen, anderen Arten von Computerhardware oder einer Kombination beliebiger oder aller dieser Dinge). Jedes der Module 402, 404, 406, 408 und 410 wird manchmal als eine Verarbeitungsschaltung (z. B. Computerhardware, Computersoftware oder eine Kombination der beiden) bezeichnet. Eine Kombination beliebiger oder aller der Module 402, 404, 406, 408 und 410 ist auch ein Beispiel für eine Verarbeitungsschaltung.
Im Gebrauch empfängt das Planungsmodul 404 Daten, die einen Bestimmungsort 412 repräsentieren, und bestimmt Daten, die eine Trajektorie 414 (manchmal als eine Route bezeichnet) repräsentieren, die von dem Fahrzeug 100 gefahren werden kann, um den Bestimmungsort 412 zu erreichen (z. B. dort anzukommen). Damit das Planungsmodul 404 die Daten bestimmt, die die Trajektorie 414 repräsentieren, empfängt das Planungsmodul 404 Daten von dem Wahrnehmungsmodul 402, dem Lokalisierungsmodul 408 und dem Datenbankmodul 410.
Das Wahrnehmungsmodul 402 identifiziert naheliegende physische Objekte unter Verwendung eines oder mehrerer Sensoren 121, z. B. wie auch in 1 gezeigt. Die Objekte werden klassifiziert (z. B. in Arten wie etwa Fußgänger, Fahrrad, Kraftfahrzeug, Verkehrszeichen usw. gruppiert) und dem Planungsmodul 404 wird eine Szenenbeschreibung einschließlich der klassifizierten Objekte 416 bereitgestellt.
Das Planungsmodul 404 empfängt auch Daten, die die AV-Position 418 repräsentieren, vom Lokalisierungsmodul 408. Das Lokalisierungsmodul 408 bestimmt die AV-Position unter Verwendung von Daten von den Sensoren 121 und Daten vom Datenbankmodul 410 (z. B. geografische Daten), um eine Position zu berechnen. Beispielsweise verwendet das Lokalisierungsmodul 408 Daten von einem GNSS-Sensor (GNSS: Global Navigation Satellite System - globales Satellitennavigationssystem) und geografische Daten, um einen Längengrad und Breitengrad des AV zu berechnen. In einer Ausführungsform beinhalten durch das Lokalisierungsmodul 408 verwendete Daten Hochpräzisionskarten der geometrischen Eigenschaften der Straße, Karten, die Konnektivitätseigenschaften des Straßennetzes beschreiben, Karten, die physische Eigenschaften der Straße beschreiben (wie etwa Verkehrsgeschwindigkeit, Verkehrsvolumen, die Anzahl von Fahrzeug- und Fahrradfahrer-Verkehrsspuren, Spurbreite, Spurverkehrsrichtungen oder Spurmarkierungsarten und -orte oder Kombinationen von diesen), und Karten, die die räumlichen Orte von Straßenmerkmalen wie etwa Fußgängerüberwege, Verkehrszeichen oder andere Verkehrssignale verschiedener Arten beschreiben. In einer Ausführungsform werden die Hochpräzisionskarten erstellt, indem Daten durch automatische oder manuelle Annotation zu Karten mit niedriger Präzision hinzugefügt werden.
Das Steuermodul 406 empfängt die Daten, die die Trajektorie 414 repräsentieren, und die Daten, die die AV-Position 418 repräsentieren, und betreibt die Steuerfunktionen 420a-c (z. B. Lenkung, Gasgeben, Bremsung, Zündung) des AV auf eine Weise, die bewirken wird, dass das Fahrzeug 100 auf der Trajektorie 414 zu dem Bestimmungsort 412 fährt. Falls beispielsweise die Trajektorie 414 eine Linksabbiegung beinhaltet, wird das Steuermodul 406 die Steuerfunktionen 420a-c auf eine solche Weise betreiben, dass der Lenkwinkel der Lenkfunktion bewirken wird, dass das Fahrzeug 100 nach links abbiegt, und die Bremsung bewirken wird, dass das Fahrzeug 100 pausiert und auf passierende Fußgänger oder Fahrzeuge wartet, bevor die Abbiegung vorgenommen wird.
AV-Eingaben
5 zeigt ein Beispiel von Eingaben 502a-d (z. B. in 1 gezeigte Sensoren 121) und Ausgaben 504a-d (z. B. Sensordaten), die durch das Wahrnehmungsmodul 402 (4) verwendet werden. Eine Eingabe 502a ist ein LiDAR-System (LiDAR: Light Detection and Ranging - Lichtdetektion und -entfernungsmessung) (z. B. das in 1 gezeigte LiDAR 123). LiDAR ist eine Technologie, die Licht (z. B. Bursts von Licht wie etwa Infrarotlicht) verwendet, um Daten über physische Objekte in seiner Sichtlinie zu erhalten. Ein LiDAR-System erzeugt LiDAR-Ausgaben als die Ausgabe 504a. Beispielsweise sind LiDAR-Daten eine Sammlung von 3D- oder 2D-Punkten (auch als eine Punktwolke bekannt), die zum Erstellen einer Repräsentation der Umgebung 190 verwendet werden.
Eine andere Eingabe 502b ist ein RADAR-System. RADAR ist eine Technologie, die Funkwellen verwendet, um Daten über naheliegende physische Objekte zu erhalten. RADARs können Daten über Objekte erhalten, die sich nicht innerhalb der Sichtlinie eines LiDAR-Systems befinden. Ein RADAR-System erzeugt RADAR-Ausgaben als die Ausgabe 504b. Beispielsweise sind RADAR-Daten ein oder mehrerer elektromagnetische Hochfrequenzsignale, die zum Erstellen einer Repräsentation der Umgebung 190 verwendet werden.
Eine andere Eingabe 502c ist ein Kamerasystem. Ein Kamerasystem verwendet eine oder mehrere Kameras (z. B. Digitalkameras, die einen Lichtsensor wie etwa eine CCD [Charge-Coupled Device] verwenden), um Informationen über naheliegende physische Objekte zu erhalten. Ein Kamerasystem erzeugt Kameraausgaben als die Ausgabe 504c. Kameradaten nehmen häufig die Form von Bilddaten an (z. B. Daten in einem Bilddatenformat wie etwa RAW, JPEG, PNG usw.). In manchen Beispielen weist das Kamerasystem mehrere unabhängige Kameras auf, z. B. für den Zweck von Stereopsis (Stereosehen), was es dem Kamerasystem ermöglicht, Tiefe wahrzunehmen. Obwohl die durch das Kamerasystem wahrgenommenen Objekte hier als „naheliegend“ beschrieben werden, ist dies relativ zu dem AV. In manchen Ausführungsformen ist das Kamerasystem dazu ausgelegt, Objekte fern, z. B. bis zu einem Kilometer oder mehr vor dem AV zu „sehen“. Dementsprechend weist das Kamerasystem in manchen Ausführungsformen Merkmale wie etwa Sensoren und Objektive auf, die zur Wahrnehmung von weit entfernten Objekten optimiert sind.
Eine andere Eingabe 502d ist ein Ampeldetektionssystem (TLD-System; TLD: Traffic Light Detection). Ein TLD-System verwendet eine oder mehrere Kameras, um Informationen über Ampeln, Straßenzeichen und andere physische Objekte, die visuelle Navigationsinformationen bereitstellen, zu erhalten. Ein TLD-System erzeugt TLD-Ausgaben als die Ausgabe 504d. TLD-Daten nehmen häufig die Form von Bilddaten an (z. B. Daten in einem Bilddatenformat wie etwa RAW, JPEG, PNG usw.). Ein TLD-System unterscheidet sich von einem System, dass eine Kamera einbezieht, darin, dass ein TLD-System eine Kamera mit einem weiten Sichtfeld (z. B. unter Verwendung eines Weitwinkelobjektivs oder Fischaugenobjektivs) verwendet, um Informationen über so viele physische Objekte, die visuelle Navigationsinformationen bereitstellen, wie möglich zu erhalten, sodass das Fahrzeug 100 Zugriff auf alle relevanten Navigationsinformationen hat, die durch diese Objekte bereitgestellt werden. Beispielsweise beträgt der Sichtwinkel des TLD-Systems etwa 120 Grad oder mehr.
In manchen Ausführungsformen werden die Ausgaben 504a-d unter Verwendung einer Sensorfusionstechnik kombiniert. Somit werden entweder die individuellen Ausgaben 504a-d anderen Systemen des Fahrzeugs 100 bereitgestellt (z. B. einem Planungsmodul 404 wie in 4 gezeigt bereitgestellt) oder die kombinierte Ausgabe kann anderen Systemen bereitgestellt werden, entweder in der Form einer einzelnen kombinierten Ausgabe oder mehrerer kombinierter Ausgaben des gleichen Typs (z. B. unter Verwendung der gleichen Kombinationstechnik oder Kombinieren der gleichen Ausgaben oder beides) oder unterschiedlicher Typen (z. B. unter Verwendung unterschiedlicher jeweiliger Kombinationstechniken oder Kombinieren unterschiedlicher jeweiliger Ausgaben oder beides). In manchen Ausführungsformen wird eine Frühfusionstechnik verwendet. Eine Frühfusionstechnik ist dadurch gekennzeichnet, dass sie Ausgaben kombiniert, bevor ein oder mehrere Datenverarbeitungsschritte an der kombinierten Ausgabe angewendet werden. In manchen Ausführungsformen wird eine Spätfusionstechnik verwendet. Eine Spätfusionstechnik ist dadurch gekennzeichnet, dass sie Ausgaben kombiniert, nachdem ein oder mehrere Datenverarbeitungsschritte an den individuellen Ausgaben angewendet werden.
6 zeigt ein Beispiel für ein LiDAR-System 602 (z. B. die in 5 gezeigte Eingabe 502a). Das LiDAR-System 602 emittiert Licht 604a-c von einem Lichtemitter 606 (z. B. einem Lasersender). Durch ein LiDAR-System emittiertes Licht liegt typischerweise nicht im sichtbaren Spektrum; beispielsweise wird häufig Infrarotlicht verwendet. Ein Teil des emittierten Lichts 604b trifft auf ein physisches Objekt 608 (z. B. ein Fahrzeug) und wird zurück zu dem LiDAR-System 602 reflektiert. (Von einem LiDAR-System emittiertes Licht dringt typischerweise nicht in physische Objekte, z. B. physische Objekte im festen Zustand, ein.) Das LiDAR-System 602 weist auch einen oder mehrere Lichtdetektoren 610 auf, die das reflektierte Licht detektieren. In einer Ausführungsform erzeugen ein oder mehrere mit dem LiDAR-System assoziierte Datenverarbeitungssysteme ein Bild 612, das das Sichtfeld 614 des LiDAR-Systems repräsentiert. Das Bild 612 beinhaltet Informationen, die die Grenzen 616 eines physischen Objekts 608 repräsentieren. Auf diese Weise wird das Bild 612 zum Bestimmen der Grenzen 616 eines oder mehrerer physischer Objekte in der Nähe eines AV verwendet.
7 zeigt das LiDAR-System 602 im Betrieb. In dem in dieser Figur gezeigten Szenario empfängt das Fahrzeug 100 sowohl die Kamerasystemausgabe 504c in der Form eines Bildes 702 als auch die LiDAR-Systemausgabe 504a in der Form von LiDAR-Datenpunkten 704. Im Gebrauch vergleichen die Datenverarbeitungssysteme des Fahrzeugs 100 das Bild 702 mit den Datenpunkten 704. Insbesondere wird ein im Bild 702 identifiziertes physisches Objekt 706 auch unter den Datenpunkten 704 identifiziert. Auf diese Weise nimmt das Fahrzeug 100 die Grenzen des physischen Objekts basierend auf der Kontur und der Dichte der Datenpunkte 704 wahr.
8 zeigt den Betrieb des LiDAR-Systems 602 mit zusätzlichen Einzelheiten. Wie oben beschrieben, detektiert das Fahrzeug 100 die Grenze eines physischen Objekts basierend auf Charakteristiken der durch das LiDAR-System 602 detektierten Datenpunkte. Wie in 8 gezeigt, wird ein flaches Objekt, wie etwa der Boden 802, Licht 804a-d, das von einem LiDAR-System 602 emittiert wird, auf konsistente Weise reflektieren. Anders ausgedrückt wird, da das LiDAR-System 602 Licht unter Verwendung eines konsistenten Abstands emittiert, der Boden 802 Licht zurück zu dem LiDAR-System 602 mit dem gleichen konsistenten Abstand reflektieren. Während das Fahrzeug 100 über den Boden 802 fährt, wird das LiDAR-System 602 damit fortfahren, vom nächsten gültigen Bodenpunkt 806 reflektiertes Licht zu detektieren, falls nichts die Straße blockiert. Falls jedoch ein Objekt 808 die Straße blockiert, wird durch das LiDAR-System 602 emittiertes Licht 804e-f von Punkten 810a-b auf eine Weise reflektiert, die mit der erwarteten konsistenten Weise inkonsistent ist. Aus diesen Informationen kann das Fahrzeug 100 bestimmen, dass das Objekt 808 vorhanden ist.
Universelle Kalibrierungsziele
Im Allgemeinen ermöglicht ein Kalibrierungsziel die Berechnung oder Verifizierung von Parametern, die mit einem Sensor (z. B. Sensoren 121 von 1) assoziiert sind. Die Parameter definieren eine Beziehung zwischen dem Sensor und der Umgebung (z. B. Umgebung 190 von 1) oder der internen Hardware des Sensors selbst. Extrinsische Parameter beziehen sich auf externe Charakteristiken des Sensors, wie etwa jene, die Daten, die durch den Sensor erfasst werden, mit der umliegenden Umgebung in Beziehung setzen. Intrinsische Parameter sind jene Parameter, die sich auf die internen Charakteristiken des Sensors selbst beziehen. Sensoren sind funktionsfähig, die umliegende Umgebung zu beobachten und Daten gemäß der jeweiligen Modalität des Sensors zu erfassen. Im Allgemeinen bezieht sich eine Modalität eines Sensors auf den Typ von Rohdaten, eine Beschaffenheit oder einen Zustand, die durch den Sensor beobachtet werden können. Beispielsweise beobachtet eine Kamera oder ein Bildgebungssensor (z. B. Kameras 122 von 1) Pixel, wie etwa Rot-Grün-Blau(RGB)-Daten. Ein LiDAR (z. B. LiDAR 123 von 1) beobachtet elektromagnetische Strahlung, zum Beispiel Licht im sichtbaren Spektrum einschließlich Laserstrahlen, die von Objekten in der Umgebung zurückreflektiert werden. Ein Radar beobachtet Funkwellen. Jeder Typ von Sensor kann kalibriert werden, um einen genauen und präzisen Betrieb des Sensors zu gewährleisten.
Die Kalibrierung und Verifizierung werden typischerweise durch eine Beobachtung eines Ziels mittels des Sensors durchgeführt. Das Ziel ist mit bekannten Eigenschaften assoziiert. Beispielsweise wird die Kalibrierung eines Bildgebungssensors durch Erfassen von Bilddaten und Ableiten von mit dem Bildgebungssensor assoziierten Kalibrierungsparametern basierend auf den tatsächlich erfasst Bilddaten und den Ground-Truth-Bilddaten durchgeführt. Entfernungsmessungsvorrichtungen, wie etwa ein LiDAR, Radar, Ultraschallsensor, TOF-Tiefensensoren (TOF: Time of Flight - Laufzeit) und dergleichen, können durch Emittieren eines Signals und Messen eines Rücklaufsignals, manchmal als ein Echo bezeichnet, kalibriert werden. Kalibrierungsparameter für eine Entfernungsmessungsvorrichtung können basierend auf dem gemessenen Rücklaufsignal und dem Ground-Truth-Rücklaufsignal abgeleitet werden. Gleichermaßen können LiDAR-Vorrichtungen durch Emittieren von Laserstrahlen und Messen der Reflexionen kalibriert werden. Kalibrierungsparameter für ein LiDAR werden basierend auf den gemessenen Reflexionen und den Ground-Truth-Reflexionen abgeleitet. Im Allgemeinen kompensiert eine Kalibrierung Ungenauigkeiten durch Anwenden einer Art von Korrektur, die aus den tatsächlichen gemessenen Daten und den Ground-Truth-Daten abgeleitet wird.
Eine Kalibrierung kann auch für die Verifizierung eines ordnungsgemäßen Betriebs von Sensoren verwendet werden. Wie hierin verwendet, bezieht sich Verifizierung auf eine Bestimmung, dass ein Messfehler kleiner ist als ein maximal zulässiger Fehler. Beispielsweise wird ein Ziel durch einen Sensor beobachtet und durch den Sensor erfasste Daten werden analysiert, um zu bestimmen, ob die erfassten Daten für die beabsichtigte Verwendung geeignet sind. In Beispielen sind die erfassten Daten für eine beabsichtigte Verwendung geeignet, wenn Fehler in den Daten unter dem maximal zulässigen Fehler liegen. Eine periodische Verifizierung kann die Genauigkeit einer Messung des Sensors gewährleisten, da Sensoren häufig Fehler erfahren, die sich im Laufe der Zeit ansammeln. Kumulative Fehler verursachen eine Drift in der Sensormessung, die während eines Verifizierungsprozesses entdeckt werden kann. Fehler wie etwa Hysteresefehler, Rauschen, Empfindlichkeitsfehler und Biasing der Sensoren kann auch mittels einer Verifizierung entdeckt werden.
Dementsprechend wird jeder Sensor kalibriert oder sein Betrieb verifiziert, indem ein Ziel mit Eigenschaften beobachtet wird, die dazu ausgebildet sind, durch eine jeweilige Modalität des Sensors beobachtet zu werden, und die assoziierten Daten erfasst werden. Diese Eigenschaften sind bekannt oder vorbestimmt, indem das Kalibrierungsziel im Hinblick auf die Eigenschaften gestaltet wird. In einer Ausführungsform wird das Ziel für eine Kalibrierung oder Verifizierung an einem bestimmten Ort bezüglich des Sensors positioniert, um den Abstand auf einen bekannten Wert zu fixieren. Ein universelles Kalibrierungsziel vereinigt mehrere ausgeprägte hervorstechende Eigenschaften, die jeweils einer oder mehreren Sensormodalitäten entsprechen, in ein einziges Kalibrierungsziel. Wie hierin verwendet, ist eine Eigenschaft des Ziels hervorstechend, wenn die Eigenschaft durch einen entsprechenden Sensor wahrgenommen oder beobachtet werden kann. Eine hervorstechende Eigenschaft wird bewusst am universellen Kalibrierungsziel implementiert, um durch einen entsprechenden Sensor beobachtet zu werden. In einer Ausführungsform wird eine hervorstechende Eigenschaft des universellen Kalibrierungsziels basierend auf einer Konfiguration des entsprechenden Sensors ausgewählt. Beispielsweise entspricht eine Kalibrierung einer spärlichen LiDAR-Vorrichtung Eigenschaften, die sich von jenen unterscheiden, die zum Kalibrieren eines dichten oder anderen Typs von LiDAR verwendet werden. In einer Ausführungsform entspricht eine hervorstechende Eigenschaft mehreren Sensoren. Beispielsweise wird die gleiche hervorstechende Eigenschaft des universellen Kalibrierungsziels zum Kalibrieren von mehr als einem Sensor verwendet. In einer Ausführungsform ist ein Kalibrierungsraum zur Kalibrierung oder Verifizierung eines oder mehrerer Sensoren ausgelegt. Eigenschaften des Kalibrierungsraumes entsprechend der Modalität eines oder mehrerer Sensoren sind vorbestimmt oder werden gesteuert, um eine effiziente Kalibrierung oder Verifizierung des einen oder der mehreren Sensoren zu gewährleisten.
9A ist eine Veranschaulichung eines Teils eines universellen Kalibrierungsziels. Der Teil 900A des universellen Kalibrierungsziels ist ein Kern 902. Eigenschaften des Kerns 902 sind zur Beobachtung durch eine oder mehrere entsprechende Sensormodalitäten ausgebildet. Der Kern 902 ist derart ausgelegt, dass, wenn ein entsprechender Sensor den Kern mit variierenden Sichtlinien, in verschiedenen Abständen oder einer beliebigen Kombination davon beobachtet, die Ground-Truth-Werte bekannt sind. Ein Ground-Truth-Wert ist ein Datenwert oder ein Bereich von Werten, der durch den Sensor erfasst werden sollte, wenn ein Ziel mit einer bekannten Eigenschaft mit variierenden Sichtlinien, in verschiedenen Abständen oder einer beliebigen Kombination davon beobachtet wird. Im Allgemeinen werden die durch den Sensor erfassten tatsächlichen Daten mit dem entsprechenden Ground-Truth-Wert verglichen. Kalibrierungsparameter werden basierend auf den durch den Sensor erfassten tatsächlichen Daten angesichts des erwarteten Ground-Truth-Werts abgeleitet.
Beispielsweise wird die Kalibrierung eines Bildsensors durch Beobachten eines Musters mit einer äußerst strukturierten Geometrie, wie etwa ein Schachbrett, durchgeführt. Abmessungen des Schachbretts sind bekannt und können direkt unter Verwendung eines jeglichen Instruments, das Abstände misst, wie etwa ein Lineal oder Typometer, gemessen werden. Wenn das Schachbrett an eine Position zur Kalibrierung platziert wird, sind auch Koordinaten verschiedener Punkte auf dem Schachbrett bekannt. In einer Ausführungsform handelt es sich bei einem Ground-Truth-Wert für einen Bildsensor um die bekannten Abmessungen eines Musters, bekannte Koordinaten, die mit dem Muster assoziiert sind, oder eine beliebige Kombination davon. In einem anderen Beispiel wird die Kalibrierung von Reflektivitätsmessungen eines LiDAR durch Beobachten von Reflexionen von Licht, das vom LiDAR emittiert wird, durchgeführt. Die Reflektivität eines Ziels kann direkt unter Verwendung eines beliebigen Instruments, das Reflexionen misst, wie etwa ein Spektrometer, gemessen werden. In einer Ausführungsform handelt es sich bei einem Ground-Truth-Wert für ein LiDAR um die bekannte Reflektivität eines Ziels. In einem anderen Beispiel können ein LiDAR und ein Bildsensor kalibriert werden, um eine starre Transformationsmatrix zu bestimmen, die Korrespondenzen zwischen einer Punktwolke (z. B. Ausgabe 504a von 5), die durch das LiDAR ausgegeben wird, und Bilddaten (z. B. Ausgabe 504c von 5), die durch einen Bildsensor ausgegeben werden, abbildet. Wiederum sind Abmessungen und Koordinaten des Schachbretts bekannt. In einer Ausführungsform handelt es sich bei einem Ground-Truth-Wert für LiDAR- und Bildsensorkalibrierung um die bekannten Abmessungen eines Musters, bekannte Koordinaten, die mit dem Muster assoziiert sind, oder eine beliebige Kombination davon. Datenpunkte entlang des Ziels werden durch sowohl das LiDAR als auch den Bildsensor erfasst, die die gleiche hervorstechende Eigenschaft beobachten, und zum Erstellen von Punktkorrespondenzen zwischen den Sensoren verwendet.
Der Kern 902 ist zum Kalibrieren eines Radars ausgebildet. Im Allgemeinen laufen Funkwellen, die durch den Kern 902 reflektiert werden, zu dem Radar zurück und liefern Informationen, einschließlich unter anderem Informationen bezüglich des Ortes, der Geschwindigkeit und anderer Charakteristiken des Kerns 902. In Ausführungsformen ist der Kern ein Reflektor oder ein Radar-Reflektor. Der Kern 902 ist ausgelegt, um durch das Radar beobachtet zu werden, indem durch das Radar ausgegebene Funkwellen auf eine vorbestimmte Weise reflektiert werden. Die reflektierten Funkwellen werden durch einen mit dem Radar assoziierten Empfänger beobachtet und die reflektierten Funkwellen werden gemessen, um verschiedene mit dem Kern 902 assoziierte Eigenschaften zu bestimmen. Somit ist der Kern 902 mit einer ersten hervorstechenden Eigenschaft assoziiert, die Funkwellen in einer vorbestimmten Form reflektiert. Eine hervorstechende Eigenschaft bezieht sich auf Beschaffenheiten oder Charakteristiken, die für eine Beobachtung durch einen Sensor ausgebildet sind. Beispielsweise im Fall eines Radars ist der Kern derart positioniert oder weist Reflektorkerncharakteristiken auf, die dazu ausgebildet sind, ein Signal mit Eigenschaften wie etwa einem bekannten Azimutwinkel, einer bekannten Reichweite, einem bekannten Radarquerschnitt (RCS: Radar Cross Section) und einer bekannten Distanzänderung (Range Rate) zu reflektieren oder zu echoen. Physische Aspekte des Kerns 902 werden ausgewählt, um Eigenschaften des Kerns strategisch zu konfigurieren, sodass bei Beobachtung durch ein Radar ein Ground-Truth-Wert erzeugt wird. Kalibrierungsparameter werden basierend auf den Differenzen zwischen den tatsächlichen reflektierten Signalen, die durch das Radar beobachtet werden, und dem Ground-Truth-Wert abgeleitet.
9B ist eine Veranschaulichung eines universellen Kalibrierungsziels 900B. Das universelle Kalibrierungsziel 900B beinhaltet einen Außenkörper 904 und einen Kern 902. Der Kern 902 ist der gleiche Kern 902, der in 9A veranschaulicht ist. Zur Vereinfachung der Veranschaulichung ist der Außenkörper 904 als eine den Kern 902 umgebende Kugel veranschaulicht. Der Außenkörper 904 kann jedoch den Kern 902 so umgeben, dass Teile des Kerns 902 von der Außenseite des universellen Kalibrierungsziels 900B sichtbar sind. Somit ist der Außenkörper 904 allgemein kugelförmig mit Öffnungen, die einen den Kern 902 umgebenden Käfig bilden. Zusätzlich sind Teile des Außenkörpers 904 solide, während andere Teile des Außenkörpers 904 käfigartig in Bezug auf den Kern 902 sind. In Ausführungsformen rotiert der Außenkörper 904 relativ zum Kern 902.
Eigenschaften des Außenkörpers 904 sind zur Beobachtung durch eine oder mehrere entsprechende Sensormodalitäten ausgebildet. Der Außenkörper 904 ist derart ausgelegt, dass, wenn ein entsprechender Sensor den Außenkörper 904 mit variierenden Sichtlinien, in verschiedenen Abständen oder einer beliebigen Kombination davon beobachtet, die Ground-Truth-Werte bekannt sind. Die durch den Sensor erfassten tatsächlichen Daten werden mit den entsprechenden Ground-Truth-Werten verglichen. Insbesondere werden Kalibrierungsparameter basierend auf den durch den Sensor erfassten tatsächlichen Daten in Anbetracht der erwarteten Ground-Truth-Werte abgeleitet.
Beispielsweise ist der Außenkörper 904 für eine Beobachtung durch ein LiDAR ausgebildet. Im Allgemeinen emittiert ein LiDAR unter Verwendung eines oder mehrerer Laser Infrarotlicht. In Ausführungsformen verwendet ein LiDAR Ultraviolett-, sichtbares oder Infrarotlicht zum Emittieren von Lichtwellen, die durch das Ziel 900B reflektiert werden. Die durch das LiDAR emittierten Lichtwellen werden durch den Außenkörper 904 reflektiert und durch einen mit dem LiDAR assoziierten Empfänger empfangen. Der Außenkörper 904 weist Charakteristiken auf, die dazu ausgebildet sind, Lichtwellen zu reflektieren, und die gemessenen Lichtwellen werden zum Bestimmen von Eigenschaften wie etwa bekannter Bereichsversätze, vertikaler Versätze, relativer Rotationen, Elevationswinkel, Azimutwinkel und Skalierungsfaktoren verwendet. Differenzen in Reflexionszeiten der Lichtwellen und Wellenlängen werden verwendet, um dreidimensionale Eigenschaften des universellen Kalibrierungsziels zu messen. Physische Aspekte des Außenkörpers 904 werden ausgewählt, um Eigenschaften des Außenkörpers strategisch zu konfigurieren, sodass Ground-Truth-Werte erzeugt werden, wenn durch ein LiDAR beobachtet. Kalibrierungsparameter werden basierend auf den Differenzen zwischen den tatsächlichen reflektierten Signalen, die durch das LiDAR beobachtet werden, und den Ground-Truth-Werten abgeleitet.
10 ist eine Veranschaulichung eines universellen Kalibrierungsziels 1000. Das universelle Kalibrierungsziel 1000 beinhaltet einen Außenkörper 1002 und einen Kern 1004. Ähnlich zu den 9A und 9B ist der Außenkörper 1002 dazu ausgelegt, durch ein LiDAR emittiertes Licht zu reflektieren, und die tatsächlichen reflektierten Signale, wie durch das LiDAR beobachtet, werden mit Ground-Truth-Werten verglichen, um Kalibrierungsparameter abzuleiten. Der Außenkörper 1002 ist derart ausgelegt, dass Teile des Kerns 1004 sichtbar sind (oder in der Lage sind, Signale zu reflektieren), um eine Kalibrierung eines Radars zu ermöglichen. Wie veranschaulicht, ist der Kern 1004 aus mehreren quadratischen oder rechteckigen Flächen gebildet. Die quadratischen oder rechteckigen Flächen reflektieren Funkwellen, die durch ein Radar emittiert werden, auf eine vorbestimmte Weise. Dementsprechend ist der Kern 1004 mit hervorstechenden Eigenschaften assoziiert, die für eine Beobachtung durch ein Radar ausgelegt sind. Physische Aspekte des Kerns 1004 werden ausgewählt, um Eigenschaften des Kerns strategisch zu konfigurieren, sodass Ground-Truth-Werte erzeugt werden, wenn durch ein Radar beobachtet. Kalibrierungsparameter werden basierend auf den Differenzen zwischen den tatsächlichen reflektierten Signalen, die durch das Radar beobachtet werden, und den Ground-Truth-Werten abgeleitet.
11 ist eine Veranschaulichung eines universellen Kalibrierungsziels 1100. Das universelle Kalibrierungsziel 1100 beinhaltet einen Außenkörper 1102 und einen Kern 1104. Ähnlich zu den 9A, 9B und 10 ist sowohl der Außenkörper 1102 als auch der Kern 1104 mit einer oder mehreren bekannten hervorstechenden Eigenschaften assoziiert, sodass Ground-Truth-Werte erzeugt werden, wenn durch einen Sensor beobachtet. Ähnlich zu 9B ist der Außenkörper 1102 allgemein kugelförmig mit Öffnungen, die einen den Kern 1104 umgebenden Käfig bilden. Zusätzlich sind Teile des Außenkörpers 1102 solide, während andere Teile des Außenkörpers 1102 käfigartig in Bezug auf den Kern sind. In einer Ausführungsform kann der Außenkörper 1102 relativ zum Kern 1104 rotieren. Der Außenkörper 1102 kann aus einer Vielfalt von Materialien gebildet sein, wie etwa Styropor, Papier, Kunststoff, Metall, Geflecht oder beliebige Kombinationen davon. In einer Ausführungsform ist der Außenkörper 1102 aus Materialien gebildet, die erweiterbar sind. Somit kann die Größe des Außenkörpers nach Bedarf durch das Hinzufügen oder Entfernen von Komponenten des Außenkörpers 1102 an das bzw. von dem universellen Kalibrierungsziel modifiziert werden. Das universelle Kalibrierungsziel wird basierend auf Kalibrierungserfordernissen des ersten Sensors, des zweiten Sensors oder einer beliebigen Kombination davon modifiziert. In einer Ausführungsform kann der Außenkörper erweitert oder gestreckt werden, um einen Außenkörper mit verschiedenen Größen zu erzeugen.
In dem Beispiel von 11 wird ein bestimmter Anstrich oder ein bestimmtes Material 1106 auf die Oberfläche des Außenkörpers 1102 aufgetragen. Der Anstrich oder das Material 1106 ist ein Material, das die Reflektivität des Außenkörpers 1102 erhöht, wenn Infrarotlicht von einem LiDAR durch den Außenkörper 1102 und das Material 1106 reflektiert wird. Das Auftragen des Materials 1106 dient dazu, Infrarotlicht zusätzlich zu reflektieren, um Ground-Truth-Werte für eine präzisere und genauere Messung von reflektiertem Licht durch das LiDAR zu erzeugen. In manchen Beispielen erzeugt das Auftragen eines bestimmten Anstrichs oder Materials 1106 bewusst eine vorbestimmte Menge an Rauschen, Störung oder Stördaten, die durch den LiDAR-Sensor gemessen werden sollen. Auf diese Weise werden Rauschen, Störung und Stördaten während des Kalibrierungsprozesses vordefiniert, wodurch ein robusterer Kalibrierungsprozess erzeugt wird, der Sensoren hinsichtlich unerwünschter Signale kalibriert oder verifiziert.
12 ist eine Veranschaulichung eines Querschnitts eines universellen Kalibrierungsziels 1200. Das universelle Kalibrierungsziel 1200 beinhaltet einen Außenkörper 1202 und einen Kern 1204. Ähnlich zu den 9A, 9B, 10 und 11 ist der Außenkörper 1202 als auch der Kern 1204 mit einer oder mehreren bekannten hervorstechenden Eigenschaften assoziiert, sodass Ground-Truth-Werte erzeugt werden, wenn durch einen Sensor beobachtet. In dem Beispiel von 12 weist der Außenkörper 1202 ein Muster 1206 auf, das auf die Oberfläche des Außenkörpers 1202 aufgetragen ist. Das Auftragen eines bestimmten Musters oder einer bestimmten Farbe auf die Oberfläche des Außenkörpers 1202 wird verwendet, um einen Bildgebungssensor, ein LiDAR oder eine beliebige Kombination davon zu kalibrieren.
Ein Muster oder eine Farbe, das/die auf die Oberfläche des Außenkörpers 1202 aufgetragen ist, ist eine hervorstechende Eigenschaft des universellen Kalibrierungsziels 1200, die für eine Beobachtung durch einen Bildgebungssensor oder ein LiDAR ausgelegt ist. Insbesondere beinhalten die auf den Außenkörper aufgetragenen Muster oder Farben Muster mit vorbestimmten Abmessungen, variierender Farbe, Texturen und dergleichen, die durch den Bildgebungssensor oder das LiDAR beobachtet werden sollen. Die auf die Oberfläche des Außenkörpers 1202 aufgetragenen Muster oder Farben sind strategisch angeordnet, um Ground-Truth-Werte zu erzeugen, wenn durch den Bildgebungssensor oder das LiDAR beobachtet. Kalibrierungsparameter werden basierend auf den Differenzen zwischen den tatsächlichen erfassten Bilddaten, LiDAR-Daten und den Ground-Truth-Werten abgeleitet. Durch die Auswahl hervorstechender Eigenschaften, wie oben beschrieben, ist ein universelles Kalibrierungsziel dazu ausgelegt, eine simultane Datenerfassung zur Kalibrierung mehrerer Sensoren zu ermöglichen, einschließlich unter anderem einer Monokular- oder Stereovideokamera, eines Infrarot-, Wärmespektrum-, Ultraschall-Sensors, eines Laufzeit-Tiefensensors, Radar, LiDAR, eines Beschleunigungsmessers und dergleichen. Zusätzlich werden mehrere Sensoren unter Verwendung von Daten, die durch Beobachten des universellen Kalibrierungsziels erfasst werden, gleichzeitig oder gemeinsam kalibriert. In Ausführungsformen ist eine gleichzeitige Kalibrierung eine Kalibrierung, die während einer selben Runde, eines selben Durchlaufs oder einer selben Beobachtung des Ziels stattfindet.
13 ist eine Veranschaulichung eines universellen Kalibrierungsziels 1300. Das universelle Kalibrierungsziel 1300 beinhaltet einen Außenkörper 1302 und einen Kern 1304. Ähnlich zu den 9A-12 ist der Außenkörper 1302 dazu ausgelegt, durch ein LiDAR emittiertes Licht zu reflektieren, und die tatsächlichen reflektierten Signale, wie durch das LiDAR beobachtet, werden mit den Ground-Truth-Werten verglichen, um Kalibrierungsparameter abzuleiten. Der Außenkörper 1302 ist derart ausgelegt, dass Teile des Kerns 1304 sichtbar sind (oder in der Lage sind, Signale zu reflektieren), um eine Kalibrierung eines Radars zu ermöglichen. Wie veranschaulicht, hat der Kern 1304 die Form einer Pyramide. Der Kern 1304 reflektiert Funkwellen, die durch ein Radar emittiert werden, auf eine vorbestimmte Weise. Dementsprechend ist der Kern 1304 mit hervorstechenden Eigenschaften assoziiert, die für eine Beobachtung durch einen Radar-Sensor ausgelegt sind. Physische Aspekte des Kerns 1304 werden ausgewählt, um Eigenschaften des Kerns strategisch zu konfigurieren, sodass Ground-Truth-Werte erzeugt werden, wenn durch ein Radar beobachtet. Kalibrierungsparameter werden basierend auf den Differenzen zwischen den tatsächlichen reflektierten Signalen, die durch das Radar beobachtet werden, und den Ground-Truth-Werten abgeleitet.
Die hierin beschriebenen bestimmten Kern-, Außenkörper- und Außenkörperoberflächenkonfigurationen sind lediglich beispielhaft. Die beschriebenen physischen Aspekte des Kerns, des Außenkörpers und der Außenkörperoberfläche können variiert werden, um mindestens eine hervorstechende Eigenschaft zur Beobachtung durch einen entsprechenden Sensor zu erreichen. Das universelle Kalibrierungsziel, wie hierin beschrieben, ist derart adaptiv, dass Aspekte des Kerns, des Außenkörpers und der Außenkörperoberfläche für die Kalibrierung oder Verifizierung eines oder mehrerer Sensoren ausgebildet sein können. Darüber hinaus können andere Aspekte der Kalibrierung oder Verifizierung, wie etwa der Abstand und die Sichtlinie zwischen dem Sensor und dem universellen Kalibrierungsziel, verwendet werden, um Aspekte des Kerns, des Außenkörpers und der Oberfläche des Außenkörpers zu gestalten. Beispielsweise kann ein universelles Kalibrierungsziel, das zur Beobachtung in der Nähe eines Fahrzeugs ausgebildet ist, kleiner sein als ein universelles Kalibrierungsziel, das für Langstreckenbeobachtungen ausgebildet ist.
Kalibrierungsräume/-räumlichkeiten
Wie oben besprochen, ermöglicht ein Kalibrierungsziel die Berechnung oder Verifizierung von Parametern, die mit einem gerade kalibrierten Sensor assoziiert sind. Die Parameter definieren eine Beziehung zwischen dem Sensor und der Umgebung oder der internen Hardware des Sensors selbst. Ein universelles Kalibrierungsziel vereinigt Eigenschaften, die für Kalibrierungs- oder Verifizierungsprozeduren beobachtet werden, in ein einziges Ziel. In manchen Fällen kann eine Sensorkalibrierung robuster gemacht werden, indem die Umgebung gesteuert wird, in der die Kalibrierung durchgeführt wird. Ein Kalibrierungsraum ist eine Anlage, die für eine vollständige Sensorkalibrierung und -validierung mobiler Roboter dediziert ist, einschließlich autonomer Fahrzeuge, die dazu ausgebildet ist, den Kalibrierungsanforderungen des Betriebs einer großen Flotte mobiler Roboter gerecht zu werden. Der Kalibrierungsraum ist ein Außenraum oder ein Innenraum, wie etwa eine Räumlichkeit. Der Kalibrierungsraum beinhaltet Eigenschaften, die basierend auf einer Wahrscheinlichkeit, dass die Eigenschaft durch eine oder mehrere Sensormodalitäten beobachtet wird, ausgewählt oder ausgebildet werden. Zusätzlich beinhaltet die Räumlichkeit ein oder mehrere Kalibrierungsziele, universelle Kalibrierungsziele oder beliebige Kombinationen davon. In Ausführungsformen sind das eine oder die mehreren Kalibrierungsziele an verschiedenen Orten innerhalb des Sichtfeldes jedes Sensors (z. B. Sichtfeld 614 des LiDAR-Systems von 6) zur Kalibrierung positioniert. Ein oder mehrere Fahrzeuge werden unter Verwendung des Kalibrierungsraumes kalibriert.
14 ist eine Veranschaulichung eines Kalibrierungsraumes 1400. Ein Fahrzeug 1404 (z. B. Fahrzeug 100 von 1) ist auf einer Drehscheibe 1406 positioniert. Mehrere Kalibrierungsziele 1402A-1402K (z. B. universelles Kalibrierungsziel 900B von 9B, universelles Kalibrierungsziel 1000 von 10, universelles Kalibrierungsziel 1100 von 11, universelles Kalibrierungsziel 1200 von 12, universelles Kalibrierungsziel 1300 von 13) sind an verschiedenen Orten überall im Kalibrierungsraum positioniert. Eine Sensorkalibrierung ist allgemein auf die Beobachtung hervorstechender Eigenschaften von Zielen oder in der erfassten Umgebung (z. B. Umgebung 190 von 1) angewiesen. In Anbetracht der Diversität natürlicher Umgebungen und ihrer Bedingungen, die stabile Eigenschaften enthalten können oder nicht, ist es vorteilhaft, eine Kalibrierung in einer kontrollierten Umgebung mit bekannten Zielen durchzuführen, um die Zuverlässigkeit und Wiederholbarkeit der Prozeduren zu gewährleisten.
Viele mobile Roboter weisen ein Array von Sensoren auf, die gemeinsam ein Dreihundertsechzig-Grad-Sichtfeld (FOV) des Roboters abdecken. Um alle individuellen Sensoren zu kalibrieren, muss jedem Sensor eine ausreichend informative Szene präsentiert werden. Traditionell wird dies durchgeführt, indem der Roboter umher bewegt wird, falls der Kalibrierungsbereich relativ zu dem Roboter groß genug ist, oder indem die Kalibrierungsziele manuell rund um den Roboter bewegt werden. Wie veranschaulicht, wird eine Sensorkalibrierung durchgeführt, indem das Fahrzeug 1404 auf der Drehscheibe 1406 gedreht wird.
15 ist eine Veranschaulichung eines Kalibrierungsraumes 1500. Mehrere Fahrzeuge 1504 sind entlang eines Pfades 1506 veranschaulicht. Jedes der Fahrzeuge 1504A, 1504B und 1504C (z. B. Fahrzeug 100 von 1) navigiert den Pfad 1506 von links nach rechts. Die Kalibrierungsziele 1502A-1502M sind an verschiedenen Orten überall im Kalibrierungsraum positioniert. Ähnlich zu dem Kalibrierungsraum 1402 von 14 wird eine Kalibrierung durchgeführt, während jedes Fahrzeug den Pfad befährt und die Ziele 1502A-1502M beobachtet. In Ausführungsformen sind die Ziele universelle Kalibrierungsziele (z. B. universelles Kalibrierungsziel 900B von 9B, universelles Kalibrierungsziel 1000 von 10, universelles Kalibrierungsziel 1100 von 11, universelles Kalibrierungsziel 1200 von 12, universelles Kalibrierungsziel 1300 von 13). Wie in 15 veranschaulicht, befahren mehrere Fahrzeuge den Pfad 1506 und jedes Fahrzeug wird zur gleichen Zeit kalibriert.
16 ist eine Veranschaulichung eines Kalibrierungsprozedurlebenszyklus. Zur Vereinfachung der Beschreibung wird die Kalibrierungsprozedur als eine Kalibrierungsräumlichkeit verwendend veranschaulicht. Die Kalibrierung kann jedoch unter Verwendung eines oder mehrerer Ziele in einem Kalibrierungsraum (z. B. Kalibrierungsraum 1400 von 14, Kalibrierungsraum 1500 von 15) oder einem Kalibrierungsbereich durchgeführt werden. Bei Bezugsnummer 1602 fährt ein Fahrzeug (z. B. Fahrzeug 100 von 1) in eine Kalibrierungsräumlichkeit ein und eine automatisierte Kalibrierung beginnt. Bei Bezugsnummer 1604 findet eine Kalibrierung statt. In Ausführungsformen wird eine Kalibrierung unter Verwendung eines oder mehrerer Kalibrierungsziele, universeller Kalibrierungsziele (z. B. universelles Kalibrierungsziel 900B von 9B, universelles Kalibrierungsziel 1000 von 10, universelles Kalibrierungsziel 1100 von 11, universelles Kalibrierungsziel 1200 von 12, universelles Kalibrierungsziel 1300 von 13) oder beliebige Kombinationen davon durchgeführt. Zusätzlich wird eine Kalibrierung unter Verwendung bestimmter Kalibrierungsräumlichkeitseigenschaften, natürlicher Eigenschaften oder beliebiger Kombinationen davon durchgeführt. Bei Bezugsnummer 1606 fährt das kalibrierte Fahrzeug aus der Kalibrierungsräumlichkeit aus. Bei Bezugsnummer 1608 wird das kalibrierte Fahrzeug für typische Vorgänge verwendet. In dem Beispiel eines Fahrzeugs wird das Fahrzeug unter Verwendung der kalibrierten Sensorfunktionalität betrieben.
Ein Fahrzeug mit kalibrierten Sensoren arbeitet bestimmungsgemäß mit Sensoren, die für Genauigkeit und Präzision kalibriert sind. Während der normalen Verwendung driften jedoch Daten, die durch die einstig kalibrierten Sensoren erfasst werden, oder werden anderweitig korrumpiert. Beispielsweise erfahren Sensoren häufig Fehler, die sich im Laufe der Zeit ansammeln. Der kumulative Fehler verursacht eine Drift der Sensormessung, die während eines Verifizierungsprozesses entdeckt werden kann. Andere Fehler wie etwa Hysteresefehler, Rauschen, Empfindlichkeitsfehler und Biasing der Sensoren können auftreten und können auch mittels einer Verifizierung entdeckt werden. Somit kann sich die Genauigkeit von Sensormessungen im Laufe der Zeit verschlechtern. Dementsprechend kehrt das Fahrzeug bei Bezugsnummer 1602 zu der Kalibrierungsräumlichkeit zur Verifizierung des Sensorbetriebs zurück. Auf diese Weise kann ein ordnungsgemäßer Sensorbetrieb beibehalten werden.
17 ist eine Veranschaulichung einer Kalibrierungsräumlichkeit 1700 mit einer Anzahl von Kalibrierungszielen 1702. Ein Fahrzeug 1704 (z. B. Fahrzeug 100 von 1) ist auf einer Drehscheibe 1706 positioniert. Um in die Kalibrierungsräumlichkeit zu gelangen, fährt das Fahrzeug 1704 durch das Tor 1708 in die Kalibrierungsräumlichkeit ein. Wie veranschaulicht, sind die Ziele universelle Kalibrierungsziele 1702A (z. B. universelles Kalibrierungsziel 900B von 9B, universelles Kalibrierungsziel 1000 von 10, universelles Kalibrierungsziel 1100 von 11, universelles Kalibrierungsziel 1200 von 12, universelles Kalibrierungsziel 1300 von 13) oder Kalibrierungsziele 1702B.
In dem Beispiel von 17 nutzen die Kalibrierungsprozeduren Aktivierung und automatisierte Datensammlung, sodass die Kalibrierung vollständig unüberwacht ist. Beispielsweise können verschiedene Aspekte der Kalibrierung unter Verwendung einer automatisierten Prozedur variiert werden. Andere Aspekte der Kalibrierungsräumlichkeit 1700 werden variiert, wie etwa die Beleuchtung, die Fahrzeugposition mittels einer Drehscheibe und die bestimmten Ziele, die für die Kalibrierung verwendet werden. Zur Vereinfachung der Veranschaulichung sind die Ziele auf dem gleichen Bodenniveau wie das zu kalibrierende Fahrzeug veranschaulicht. Ziele können jedoch an einer beliebigen Höhe innerhalb der Kalibrierungsräumlichkeit platziert werden. In einer Ausführungsform sind die Ziele entlang der Wände, der Decke und des Bodens der Kalibrierungsräumlichkeit platziert. Ferner können die Kalibrierungsziele von einem beliebigen Typ sein, wie etwa universelle Kalibrierungsziele, wie oben beschrieben, andere Kalibrierungsziele, einschließlich unter anderem Tafeln, Rauten usw. oder beliebige Kombinationen davon.
Die Verwendung eines Kalibrierungsraumes ermöglicht eine Wiederholbarkeit und Zuverlässigkeit von Kalibrierungsergebnissen und kann auch die Sicherheit während der Kalibrierung erhöhen. Der Kalibrierungsraum ermöglicht auch Zeiteffizienzen, wie etwa eine schnelle Kalibrierung einer Flotte, wodurch Fahrzeugwartung und -ausfallzeiten reduziert werden. Durch das Automatisieren der Kalibrierungsprozedur steigt der Bedienkomfort, da keine Notwendigkeit für Fachanwender besteht, um die Kalibrierungsprozedur zu implementieren. Somit ist beschränktes Training für Betreiber des Kalibrierungsraumes erforderlich. In einem Beispiel ist der Kalibrierungsraum in eine Produktionslinie integriert und kann verschiedene Arten von Fahrzeugen, Motorrädern, Booten unterstützen.
Kalibrierungsprozesse
18 ist ein Prozessflussdiagramm eines Prozesses 1800 zur universellen Kalibrierung. Bei Block 1802 detektiert ein erster Sensor (z. B. Sensoren 121 von 1) eine erste hervorstechende Eigenschaft eines universellen Kalibrierungsziels (z. B. universelles Kalibrierungsziel 900B von 9B, universelles Kalibrierungsziel 1000 von 10, universelles Kalibrierungsziel 1100 von 11, universelles Kalibrierungsziel 1200 von 12, universelles Kalibrierungsziel 1300 von 13) zur Kalibrierung. Ein universelles Kalibrierungsziel vereinigt mehrere ausgeprägte hervorstechende Eigenschaften, die jeweils einer oder mehreren Sensormodalitäten entsprechen, in ein einziges Kalibrierungsziel. Dementsprechend detektiert bei Block 1804 ein zweiter Sensor (z. B. Sensoren 121 von 1) eine zweite hervorstechende Eigenschaft des universellen Kalibrierungsziels zur Kalibrierung des zweiten Sensors. In Ausführungsformen wird eine hervorstechende Eigenschaft bewusst am universellen Kalibrierungsziel implementiert, um durch einen entsprechenden Sensor beobachtet zu werden. Bei Block 1806 werden als Reaktion auf das Detektieren durch den ersten Sensor und den zweiten Sensor der erste Sensor und der zweite Sensor gleichzeitig während einer gleichen Kalibrierungsrunde unter Verwendung von Daten, die durch Beobachten des universellen Kalibrierungsziels erfasst werden, kalibriert.
In einer Ausführungsform kann ein Kalibrierungssystem auf Sensordaten der zu kalibrierenden Sensoren entweder als Teil des roboterinternen Softwaresystems oder über eine externe Protokollierungsschnittstelle (zu der der Roboter seine Sensorbeobachtungen liefern muss) zugreifen. Darüber hinaus werden Kalibrierungsalgorithmen an den erfassten Daten von der Räumlichkeit und dem Roboter angewendet. Die Kalibrierungsalgorithmen kombinieren die Sensordaten und wenden Algorithmen an, um die Kalibrierungsparameter zu schätzen. In Ausführungsformen werden diese Algorithmen in Echtzeit mit direkter Rückmeldung und Steuerung der Räumlichkeit ausgeführt. In einer Ausführungsform werden die Algorithmen offline mittels Wiedergabe protokollierter Daten verarbeitet und die Ausgabe der Algorithmen sind die Kalibrierungsparameter des Roboters. Zusätzlich werden in einer Ausführungsform Kalibrierungsprozeduren, die ein universelles Kalibrierungsziel (z. B. universelles Kalibrierungsziel 900B von 9B, universelles Kalibrierungsziel 1000 von 10, universelles Kalibrierungsziel 1100 von 11, universelles Kalibrierungsziel 1200 von 12, universelles Kalibrierungsziel 1300 von 13), einen Kalibrierungsraum (z. B. Kalibrierungsraum 1400 von 14, Kalibrierungsraum 1500 von 15) oder eine Kalibrierungsräumlichkeit (z. B. Kalibrierungsräumlichkeit 1700 von 17) gemäß den vorliegenden Techniken verwenden, durch Entfernen von Umgebungs- und Rauschkompensierungsfaktoren modifiziert. Durch das Steuern der Kalibrierungsräumlichkeit und des Kalibrierungsraumes wird der Effekt der Umgebung und des Raumes an Kalibrierungs- oder Verifizierungsprozeduren minimiert. Ferner können die vorliegenden Techniken unter Verwendung verschiedener Designs, Geräte und Betriebsprozeduren einer Kalibrierungsanlage implementiert werden. Kalibrierungsraumsoftware ist schnittstellenmäßig mit dem Kalibrierungsraum oder der Kalibrierungsräumlichkeit verbunden, um die Automatisierungsfähigkeiten des Kalibrierungsraumes oder der Kalibrierungsräumlichkeit zu steuern. Beispielsweise beinhalten Automatisierungsfähigkeiten Treiber und Steuerungen für die Sensoren, Aktoren und jegliche elektronisch steuerbaren Elemente (z. B. Lichter) des Kalibrierungsraumes oder der Kalibrierungsräumlichkeit.
In der vorstehenden Beschreibung wurden Ausführungsformen der Erfindung mit Bezugnahme auf zahlreiche spezifische Einzelheiten beschrieben, die von Implementierung zu Implementierung variieren können. Die Beschreibung und die Zeichnungen sind dementsprechend als veranschaulichend anstatt beschränkend aufzufassen. Der alleinige und exklusive Indikator des Schutzumfangs der Erfindung, und was durch die Anmelder als der Schutzumfang der Erfindung beabsichtigt wird, ist der wörtliche und äquivalente Schutzumfang des Satzes von Ansprüchen, der sich aus dieser Anmeldung ergibt, in der spezifischen Form, in der solche Ansprüche sich ergeben, einschließlich einer jeglichen anschließenden Korrektur. Jegliche Definitionen, die hierin für in solchen Ansprüchen enthaltenen Begriffe dargelegt sind, sollen die Bedeutung solcher Begriffe, wie in den Ansprüchen verwendet, bestimmen. Zusätzlich, wenn der Begriff „ferner umfassend“ in der vorstehenden Beschreibung oder den folgenden Ansprüchen verwendet wird, kann, was diesem Ausdruck folgt, ein zusätzlicher Schritt oder eine zusätzliche Entität oder ein Teilschritt/eine Teilentität eines zuvor vorgetragenen Schritts oder einer zuvor vorgetragenen Entität sein.

Claims

Universelles Kalibrierungsziel, umfassend: einen Kern, der mit einer ersten hervorstechenden Eigenschaft assoziiert ist; und einen Außenkörper, der mit einer zweiten hervorstechenden Eigenschaft assoziiert ist, wobei die erste hervorstechende Eigenschaft und die zweite hervorstechende Eigenschaft ausgelegt sind, um durch eine Sensormodalität beobachtet zu werden, und wobei die erste hervorstechende Eigenschaft und die zweite hervorstechende Eigenschaft mindestens einem Sensor eines Fahrzeugs entsprechen.
Universelles Kalibrierungsziel nach Anspruch 1, wobei die erste hervorstechende Eigenschaft und die zweite hervorstechende Eigenschaft basierend auf der entsprechenden Sensormodalität ausgewählt werden.
Universelles Kalibrierungsziel nach Anspruch 1 oder 2, wobei die erste hervorstechende Eigenschaft und die zweite hervorstechende Eigenschaft mehreren Sensoren entsprechen.
Universelles Kalibrierungsziel nach Anspruch 1, 2 oder 3, wobei der Kern einen Radar-Reflektor umfasst.
Universelles Kalibrierungsziel nach Anspruch 1, 2, 3 oder 4, wobei der Außenkörper einen Styropor-Außenkörper umfasst.
Universelles Kalibrierungsziel nach Anspruch 1, 2, 3, 4 oder 5, wobei der Außenkörper relativ zu dem Kern erweiterbar ist.
Universelles Kalibrierungsziel nach Anspruch 1, 2, 3, 4, 5 oder 6, wobei die Oberfläche des Außenkörpers ein Muster oder eine Farbe zum Kalibrieren einer Kamera umfasst.
Universelles Kalibrierungsziel nach Anspruch 1, 2, 3, 4, 5, 6 oder 7, wobei das Fahrzeug das Ziel beobachtet und den mindestens einen Sensor kalibriert, wobei die Kalibrierung ohne Umgebungs- oder Rauschfaktoren stattfindet.
Fahrzeug, umfassend: einen ersten Sensor; einen zweiten Sensor; mindestens einen Computer; und einen Speicher, der Anweisungen speichert, die bei Ausführung durch den mindestens einen Computer bewirken, dass der mindestens eine Computer Operationen durchführt, die Folgendes umfassen: Detektieren, durch den ersten Sensor, einer ersten hervorstechenden Eigenschaft eines universellen Kalibrierungsziels zur Kalibrierung des ersten Sensors; Detektieren, durch den zweiten Sensor, einer zweiten hervorstechenden Eigenschaft des universellen Kalibrierungsziels zur Kalibrierung des zweiten Sensors; und als Reaktion auf das Detektieren durch den ersten Sensor und den zweiten Sensor, gleichzeitiges Kalibrieren des ersten Sensors und des zweiten Sensors während einer gleichen Kalibrierungsrunde unter Verwendung von Daten, die durch Beobachten des universellen Kalibrierungsziels erfasst werden.
Fahrzeug nach Anspruch 9, wobei die Operationen umfassen: Bewirken, dass das Fahrzeug entlang eines Kalibrierungspfades fährt, wobei der Kalibrierungspfad mehrere universelle Kalibrierungsziele umfasst.
Fahrzeug nach Anspruch 9 oder 10, wobei die Operationen Verifizieren von Kalibrierungsparametern des ersten Sensors und Kalibrierungsparametern des zweiten Sensors umfassen.
Fahrzeug nach Anspruch 9, 10 oder 11, wobei die Operationen in einer Kalibrierungsräumlichkeit durchgeführt werden.
Fahrzeug nach Anspruch 9, 10, 11 oder 12, wobei eine Verifizierung als Reaktion auf fehlerhafte Sensorwerte erfolgt.
Fahrzeug nach Anspruch 9, 10, 11, 12 oder 13, wobei ein erster Algorithmus und ein zweiter Algorithmus den ersten Sensor und den zweiten Sensor zumindest teilweise basierend auf der ersten hervorstechenden Eigenschaft und der zweiten hervorstechenden Eigenschaft gleichzeitig kalibrieren sollen.
Verfahren, umfassend: Detektieren, durch den ersten Sensor, einer ersten hervorstechenden Eigenschaft eines universellen Kalibrierungsziels zur Kalibrierung des ersten Sensors; Detektieren, durch den zweiten Sensor, einer zweiten hervorstechenden Eigenschaft des universellen Kalibrierungsziels zur Kalibrierung des zweiten Sensors; und Kalibrieren, durch eine Steuerschaltung, des ersten Sensors und des zweiten Sensors während einer gleichen Kalibrierungsrunde unter Verwendung von Daten, die durch Beobachten des universellen Kalibrierungsziels erfasst werden, als Reaktion auf das Detektieren durch den ersten Sensor und den zweiten Sensor.
Verfahren nach Anspruch 15, wobei eine erste hervorstechende Eigenschaft und die zweite hervorstechende Eigenschaft basierend auf einer Konfiguration eines entsprechenden Sensors ausgewählt werden.
Verfahren nach Anspruch 15 oder 16, wobei die erste hervorstechende Eigenschaft und die zweite hervorstechende Eigenschaft mehreren Sensoren entsprechen.
Verfahren nach Anspruch 15, 16 oder 17, wobei das universelle Kalibrierungsziel einen Kern und einen Außenkörper umfasst, wobei ein Muster oder eine Farbe auf die Oberfläche des Außenkörpers aufgetragen wird.
Verfahren nach Anspruch 15, 16, 17 oder 18, wobei das universelle Kalibrierungsziel an einem vorbestimmten Ort bezüglich des ersten Sensors und des zweiten Sensors positioniert wird.
Verfahren nach Anspruch 15, 16, 17, 18 oder 19, wobei das universelle Kalibrierungsziel basierend auf Kalibrierungserfordernissen des ersten Sensors und des zweiten Sensors modifiziert wird.
Nichtflüchtiges computerlesbares Speicherungsmedium, das mindestens ein Programm zur Ausführung durch mindestens einen Prozessor einer ersten Vorrichtung umfasst, wobei das mindestens eine Programm Anweisungen beinhaltet, die bei ihrer Ausführung durch den mindestens einen Prozessor bewirken, dass die erste Vorrichtung das Verfahren nach Anspruch 14 durchführt.