DE102022104717A1 - Verfahren und systeme zur bestimmung eines mittelachsenfehlers in einem optischen system - Google Patents

Verfahren und systeme zur bestimmung eines mittelachsenfehlers in einem optischen system Download PDF

Info

Publication number
DE102022104717A1
DE102022104717A1 DE102022104717.2A DE102022104717A DE102022104717A1 DE 102022104717 A1 DE102022104717 A1 DE 102022104717A1 DE 102022104717 A DE102022104717 A DE 102022104717A DE 102022104717 A1 DE102022104717 A1 DE 102022104717A1
Authority
DE
Germany
Prior art keywords
target
camera
window
locations
pixel locations
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022104717.2A
Other languages
English (en)
Inventor
Nijumudheen Muhassin
Jayesh Dwivedi
Yew Kwang Low
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motional AD LLC
Original Assignee
Motional AD LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motional AD LLC filed Critical Motional AD LLC
Publication of DE102022104717A1 publication Critical patent/DE102022104717A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/003—Alignment of optical elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9318—Controlling the steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/93185—Controlling the brakes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9319—Controlling the accelerator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

Es werden Verfahren zur Bestimmung und Korrektur einer durch die Installation einer optischen Schicht über einer Kameraanordnung hervorgerufenen Mittelachsenverschiebung bereitgestellt. Bei einigen der beschriebenen Verfahren wird vor der Installation des Fensters eine erste Kalibrierung ausgeführt, nach der Installation des Fensters eine zweite Kalibrierung ausgeführt und die erste und die zweite Kalibrierung verglichen, um eine Transformation zu bestimmen, welche die Mittelachsenverschiebung korrigiert. Es werden auch Systeme und Computerprogrammprodukte bereitgestellt.

Description

  • HINTERGRUND
  • Durch Abdecken einer Kamera oder einer anderen optischen Anordnung mit einer zusätzlichen Schicht in der Art einer Schutzschicht kann eine Mittelachsenverschiebung hervorgerufen werden. Hier kann sich der Begriff Mittelachsenverschiebung auf die Fehlausrichtung der optischen Achse der Kamera oder des anderen optischen Systems in Bezug auf eine Referenzachse beziehen. Eine Mittelachsenverschiebung kann durch die zusätzliche Brechung oder Fehlausrichtung hervorgerufen werden, die durch die optischen Eigenschaften der zusätzlichen Schicht bewirkt wird.
  • Figurenliste
  • Es zeigen:
    • 1 eine beispielhafte Umgebung, in der ein Fahrzeug, das eine oder mehrere Komponenten eines autonomen Systems aufweist, implementiert werden kann,
    • 2 ein Diagramm eines oder mehrerer Systeme eines Fahrzeugs, das ein autonomes System aufweist,
    • 3 ein Diagramm von Komponenten einer oder mehrerer Vorrichtungen und/oder eines oder mehrerer Systeme aus den 1 und 2,
    • 4 ein Diagramm gewisser Komponenten eines autonomen Systems,
    • 5A ein Beispiel eines autonomen Systems eines Fahrzeugs mit einer oder mehreren Kameras oder anderen optischen Systemen, worüber eine zusätzliche Schutzschicht installiert werden kann,
    • 5B ein Beispiel einer durch die Installation einer zusätzlichen Schicht vor einem Kamerasystem hervorgerufenen Mittelachsenverschiebung,
    • 6 ein Diagramm einer Implementation eines Prozesses zur geometrischen intrinsischen Kamerakalibrierung unter Verwendung eines diffraktiven optischen Elements,
    • 7 ein Diagramm einer Implementation eines Systems zur geometrischen intrinsischen Kamerakalibrierung, das ein diffraktives optisches Element aufweist,
    • die 8 und 9 Diagramme von Implementationen diffraktiver optischer Elemente zur geometrischen intrinsischen Kamerakalibrierung,
    • 10 ein Flussdiagramm eines Prozesses zur Herstellung eines Systems zur geometrischen intrinsischen Kamerakalibrierung, das ein diffraktives optisches Element aufweist,
    • 11 ein weiteres Diagramm einer Implementation diffraktiver optischer Elemente zur geometrischen intrinsischen Kamerakalibrierung,
    • 12 ein Flussdiagramm eines Prozesses zur geometrischen intrinsischen Kamerakalibrierung unter Verwendung eines diffraktiven optischen Elements,
    • 13 ein Flussdiagramm eines weiteren Prozesses zur geometrischen intrinsischen Kamerakalibrierung unter Verwendung eines diffraktiven optischen Elements,
    • 14 ein Diagramm eines als Teil eines Prozesses zur geometrischen intrinsischen Kamerakalibrierung unter Verwendung eines diffraktiven optischen Elements aufgenommenen beispielhaften Bilds,
    • 15 ein Diagramm im Probenbild aus 14 als Teil eines Prozesses zur geometrischen intrinsischen Kamerakalibrierung unter Verwendung eines diffraktiven optischen Elements identifizierter Formen,
    • 16 ein Diagramm einer im Bild aus 15 als Teil eines Prozesses zur geometrischen intrinsischen Kamerakalibrierung unter Verwendung eines diffraktiven optischen Elements identifizierten zentralen Form,
    • 17 ein Diagramm der als Teil eines Prozesses zur geometrischen intrinsischen Kamerakalibrierung unter Verwendung eines diffraktiven optischen Elements in eine Reihenfolge sortierten Formen des Bilds aus 15,
    • die 18A, 18B und 18C verschiedene Stufen der Bestimmung und Korrektur einer Mittelachsenverschiebung,
    • die 19A und 19B Auftragungen mit einem über der Kameraanordnung installierten Fenster und ohne dieses bestimmter Pixelrichtungen und
    • 20 eine Ausführungsform eines Prozesses zum Bestimmen und Korrigieren einer Mittelachsenverschiebung.
  • DETAILLIERTE BESCHREIBUNG
  • In der folgenden Beschreibung werden für die Zwecke der Erklärung zahlreiche spezifische Einzelheiten dargelegt, um ein gründliches Verständnis der vorliegenden Offenbarung bereitzustellen. Es ist jedoch zu verstehen, dass die durch die vorliegende Offenbarung beschriebenen Ausführungsformen ohne diese spezifischen Einzelheiten verwirklicht werden können. In einigen Fällen sind wohlbekannte Strukturen und Vorrichtungen in Form eines Blockdiagramms dargestellt, um es zu vermeiden, Aspekte der vorliegenden Offenbarung unnötig unverständlich zu machen.
  • Spezifische Anordnungen oder Reihenfolgen schematischer Elemente in der Art jener, die Systeme, Vorrichtungen, Module, Befehlsblöcke, Datenelemente und/oder dergleichen repräsentieren, sind zur Vereinfachung der Beschreibung in den Zeichnungen dargestellt. Fachleute werden jedoch verstehen, dass die spezifische Reihenfolge oder Anordnung der schematischen Elemente in den Zeichnungen nicht implizieren soll, dass eine bestimmte Ordnung oder Sequenz der Verarbeitung oder Trennung von Prozessen erforderlich ist, es sei denn, dass dies explizit so beschrieben wird. Ferner soll die Aufnahme eines schematischen Elements in einer Zeichnung nicht implizieren, dass dieses Element in allen Ausführungsformen benötigt wird oder dass die durch dieses Element repräsentierten Merkmale nicht gemäß einigen Ausführungsformen in andere Elemente aufgenommen oder mit diesen kombiniert werden können, es sei denn, dass dies explizit so beschrieben wird.
  • Ferner soll in den Zeichnungen an Stellen, an denen verbindende Elemente, beispielsweise durchgezogene oder gestrichelte Linien oder Pfeile, verwendet werden, um eine Verbindung, Beziehung oder Assoziation zwischen oder unter zwei oder mehr anderen schematischen Elementen darzustellen, das Nichtvorhandensein solcher verbindender Elemente nicht bedeuten, dass dadurch impliziert wird, dass keine Verbindung, Beziehung oder Assoziation existieren kann. Mit anderen Worten sind in den Zeichnungen einige Verbindungen, Beziehungen oder Assoziationen zwischen Elementen nicht dargestellt, um die Offenbarung nicht unverständlich zu machen. Zusätzlich kann im Interesse einer einfachen Darstellung ein einziges verbindendes Element verwendet werden, um mehrere Verbindungen, Beziehungen oder Assoziationen zwischen Elementen zu repräsentieren. Beispielsweise sollten Fachleute an Stellen, an denen ein verbindendes Element eine Kommunikation von Signalen, Daten oder Befehlen (beispielsweise „Softwarebefehlen“) repräsentiert, verstehen, dass dieses Element einen oder mehrere Signalwege (beispielsweise einen Bus) repräsentieren kann, wie es erforderlich sein kann, um die Kommunikation auszuführen.
  • Wenngleich die Begriffe erster, zweiter, dritter und/oder dergleichen verwendet werden, um verschiedene Elemente zu beschreiben, sollten diese Elemente nicht durch diese Begriffe beschränkt werden. Die Begriffe erster, zweiter, dritter und/oder dergleichen werden nur zur Unterscheidung eines Elements von einem anderen verwendet. Beispielsweise könnte ein erster Kontakt als ein zweiter Kontakt bezeichnet werden und könnte ähnlich ein zweiter Kontakt als ein erster Kontakt bezeichnet werden, ohne vom Schutzumfang der beschriebenen Ausführungsformen abzuweichen. Der erste und der zweite Kontakt sind beide Kontakte, sie sind jedoch nicht derselbe Kontakt.
  • Die in der Beschreibung der verschiedenen hier beschriebenen Ausführungsformen verwendete Terminologie dient nur der Beschreibung bestimmter Ausführungsformen und ist nicht als einschränkend vorgesehen. Wie in der Beschreibung der verschiedenen beschriebenen Ausführungsformen und den anliegenden Ansprüchen verwendet, sollen die Singularformen „ein/eine/eines“ und „der/die/das“ auch die Pluralformen einschließen und können austauschbar mit „ein/eine/eines oder mehrere“ oder „wenigstens ein/eine/eines“ verwendet werden, es sei denn, dass der Zusammenhang klar etwas anderes angibt. Es sei auch bemerkt, dass der Begriff „und/oder“, wie er hier verwendet wird, jegliche und alle möglichen Kombinationen eines oder mehrerer der assoziierten aufgezählten Bestandteile betrifft und diese umfasst. Es ist ferner zu verstehen, dass die Begriffe „weist auf“, „aufweisend“, „umfasst“ und/oder „umfassend“, wenn sie in dieser Beschreibung verwendet werden, das Vorhandensein erwähnter Merkmale, natürlicher Zahlen, Schritte, Operationen, Elemente und/oder Komponenten spezifizieren, jedoch nicht das Vorhandensein oder das Hinzufügen eines oder mehrerer anderer Merkmale, natürlicher Zahlen, Schritte, Operationen, Elemente, Komponenten und/oder Gruppen davon ausschließen.
  • Hier beziehen sich die Begriffe „Kommunikation“ und „Kommunizieren“ auf wenigstens einen vom Empfang, von der Entgegennahme, von der Aussendung, der Übertragung, der Bereitstellung und/oder dergleichen von Informationen (oder Informationen, die beispielsweise durch Daten, Signale, Nachrichten, Befehle, Anweisungen und/oder dergleichen repräsentiert sind). Dass eine Einheit (beispielsweise eine Vorrichtung, ein System, eine Komponente einer Vorrichtung oder eines Systems, Kombinationen davon und/oder dergleichen) in Kommunikation mit einer anderen Einheit steht, bedeutet, dass die eine Einheit in der Lage ist, direkt oder indirekt Informationen von der anderen Einheit zu empfangen und/oder zu dieser zu senden (beispielsweise zu übertragen). Dies kann sich auf eine direkte oder indirekte Verbindung beziehen, die der Natur nach festverdrahtet und/oder drahtlos ist. Zusätzlich können zwei Einheiten in Kommunikation miteinander stehen, selbst wenn die übertragenen Informationen zwischen der ersten und der zweiten Einheit modifiziert, verarbeitet, vermittelt und/oder weitergeleitet werden können. Beispielsweise kann eine erste Einheit in Kommunikation mit einer zweiten Einheit stehen, selbst wenn die erste Einheit passiv Informationen empfängt und nicht aktiv Informationen zur zweiten Einheit sendet. Bei einem anderen Beispiel kann eine erste Einheit in Kommunikation mit einer zweiten Einheit stehen, falls wenigstens eine Zwischeneinheit (beispielsweise eine dritte Einheit, die sich zwischen der ersten Einheit und der zweiten Einheit befindet) von der ersten Einheit empfangene Informationen verarbeitet und die verarbeiteten Informationen zur zweiten Einheit sendet. Gemäß einigen Ausführungsformen kann sich eine Nachricht auf ein Netzpaket (beispielsweise ein Datenpaket und/oder dergleichen), das Daten aufweist, beziehen.
  • Hier sollte der Begriff „falls“ abhängig vom Zusammenhang optional als „wenn“, „bei“, „ansprechend auf eine Feststellung“, „ansprechend auf eine Erkennung“ und/oder dergleichen bedeutend ausgelegt werden. Ähnlich sollte der Ausdruck „falls festgestellt wird“ oder „falls [eine erwähnte Bedingung oder ein erwähntes Ereignis] erkannt wird“ abhängig vom Zusammenhang optional als „bei einer Feststellung“, „ansprechend auf eine Feststellung“, „bei einer Erkennung [der erwähnten Bedingung oder des erwähnten Ereignisses]“, „ansprechend auf eine Erkennung [der erwähnten Bedingung oder des erwähnten Ereignisses]“ und/oder dergleichen bedeutend ausgelegt werden. Auch sind die Begriffe „weist auf“, „weisen auf“, „aufweisend“ oder dergleichen wie hier verwendet als offene Begriffe vorgesehen. Ferner soll der Ausdruck „basierend auf” als „zumindest teilweise basierend auf“ verstanden werden, es sei denn, dass etwas anderes explizit ausgesagt wird.
  • Es wird nun detailliert auf Ausführungsformen Bezug genommen, von denen Beispiele in den anliegenden Zeichnungen dargestellt sind. In der folgenden detaillierten Beschreibung werden zahlreiche spezifische Einzelheiten dargelegt, um ein gründliches Verständnis der verschiedenen beschriebenen Ausführungsformen bereitzustellen. Durchschnittsfachleute auf dem Gebiet werden jedoch verstehen, dass die verschiedenen beschriebenen Ausführungsformen ohne diese spezifischen Einzelheiten verwirklicht werden können. In anderen Fällen wurden wohlbekannte Verfahren, Prozeduren, Komponenten, Schaltungen und Netze nicht detailliert beschrieben, um Aspekte der Ausführungsformen nicht unnötig unverständlich zu machen.
  • Allgemeiner Überblick
  • Gemäß einigen Aspekten und/oder Ausführungsformen umfassen und/oder implementieren hier beschriebene Systeme, Verfahren und Computerprogrammprodukte die Bestimmung und/oder Korrektur eines Mittelachsenfehlers in einem optischen System. Beispielsweise bewirkt die Installation eines Fensters über einer Kameraanordnung eine Mittelachsenverschiebung, welche eine Fehlausrichtung der optischen Achse der Kameraanordnung mit ihrer mechanischen Achse hervorruft, was zu einer verschlechterten Funktionsweise der Kameraanordnung führt. Aus verschiedenen Gründen, einschließlich sowohl Gründen des ästhetischen Entwurfs als auch Funktionsgründen, kann es wünschenswert sein, ein Fenster über einer Kameraanordnung in einem autonomen Fahrzeug zu installieren. Ein in dieser Anmeldung beschriebener Kalibrierprozess kann eine Transformation erzeugen, die zum Kompensieren oder Korrigieren der durch das Fenster hervorgerufenen Mittelachsenverschiebung verwendet werden kann. Beim Kalibrierprozess werden eine erste Anzahl von Pixelorten entsprechend einem Ziel vor der Installation des Fensters bestimmt, eine zweite Anzahl von Pixelorten entsprechend dem Ziel nach der Installation des Fensters bestimmt und eine Transformation erzeugt, welche die zweite Anzahl von Pixelorten auf die erste Anzahl von Pixelorten abbildet. Die Transformation kann dann auf von der Kameraanordnung aufgenommene folgende Bilder angewendet werden, um die durch das Fenster hervorgerufene Mittelachsenverschiebung zu korrigieren oder zu kompensieren.
  • Durch die Implementation hier beschriebener Systeme, Verfahren und Computerprogrammprodukte stellen Techniken zur Bestimmung und/oder Korrektur eines Mittelachsenfehlers in einem optischen System einen Kalibrierprozess bereit, welcher die Korrektur der Mittelachsenverschiebung unabhängig von den optischen Eigenschaften des Fensters ermöglicht, so dass es möglich wird, dass eine breite Vielfalt von Fensterentwürfen verwendet wird, ohne die optische Funktionsweise der Kameraanordnung zu beeinträchtigen. In einigen Fällen verringert der Kalibrierprozess die Präzision, mit der die Fenster in Bezug auf die Kameraanordnungen installiert werden müssen.
  • 1 zeigt nun eine beispielhafte Umgebung 100, in der Fahrzeuge, die autonome Systeme aufweisen, sowie Fahrzeuge, bei denen dies nicht der Fall ist, betrieben werden. Wie dargestellt, weist die Umgebung 100 Fahrzeuge 102a - 102n, Objekte 104a - 104n, Routen 106a - 106n, einen Bereich 108, eine Fahrzeug-zu-Infrastruktur(V2I)-Vorrichtung 110, ein Netz 112, ein Fernes-autonomes-Fahrzeug(AV)-System 114, ein Flottenverwaltungssystem 116 und ein V21-System 118 auf. Die Fahrzeuge 102a - 102n, die Fahrzeug-zu-Infrastruktur(V2I)-Vorrichtung 110, das Netz 112, das Autonomes-Fahrzeug(AV)-System 114, das Flottenverwaltungssystem 116 und das V21-System 118 sind durch festverdrahtete Verbindungen, drahtlose Verbindungen oder eine Kombination festverdrahteter oder drahtloser Verbindungen miteinander verbunden (stellen beispielsweise eine Verbindung zur Kommunikation und/oder dergleichen) her. Gemäß einigen Ausführungsformen sind Objekte 104a - 104n durch festverdrahtete Verbindungen, drahtlose Verbindungen oder eine Kombination festverdrahteter oder drahtloser Verbindungen mit wenigstens einem der Fahrzeuge 102a - 102n, der Fahrzeug-zu-Infrastruktur(V2I)-Vorrichtung 110, des Netzes 112, des Autonomes-Fahrzeug(AV)-Systems 114, des Flottenverwaltungssystems 116 und des V21-Systems 118 verbunden.
  • Fahrzeuge 102a - 102n (individuell als Fahrzeug 102 und gemeinsam als Fahrzeuge 102 bezeichnet) weisen wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, Waren und/oder Personen zu transportieren. Gemäß einigen Ausführungsformen sind Fahrzeuge 102 dafür ausgelegt, über das Netz 112 in Kommunikation mit der V21-Vorrichtung 110, dem Fern-AV-System 114, dem Flottenverwaltungssystem 116 und/oder dem V21-System 118 zu stehen. Gemäß einigen Ausführungsformen umfassen Fahrzeuge 102 Personenkraftwagen, Busse, Lastwagen, Züge und/oder dergleichen. Gemäß einigen Ausführungsformen gleichen oder ähneln die Fahrzeuge 102 hier beschriebenen Fahrzeugen 200 (siehe 2). Gemäß einigen Ausführungsformen ist ein Fahrzeug 200 eines Satzes von Fahrzeugen 200 mit einem Autonome-Flotte-Manager assoziiert. Gemäß einigen Ausführungsformen fahren Fahrzeuge 102 entlang jeweiligen Routen 106a - 106n (individuell als Route 106 und gemeinsam als Routen 106 bezeichnet), wie hier beschrieben. Gemäß einigen Ausführungsformen weisen ein oder mehrere Fahrzeuge 102 ein autonomes System (beispielsweise ein autonomes System, das dem autonomen System 202 gleicht oder ähnelt) auf.
  • Objekte 104a - 104n (individuell als Objekt 104 und gemeinsam als Objekte 104 bezeichnet) umfassen beispielsweise wenigstens ein Fahrzeug, wenigstens einen Fußgänger, wenigstens einen Radfahrer, wenigstens eine Struktur (beispielsweise ein Gebäude, ein Zeichen, einen Feuerhydranten usw.) und/oder dergleichen. Jedes Objekt 104 ist stationär (befindet sich beispielsweise während eines Zeitraums an einem festen Ort) oder mobil (weist beispielsweise eine Geschwindigkeit auf und ist mit wenigstens einer Fahrstrecke assoziiert). Gemäß einigen Ausführungsformen sind Objekte 104 mit entsprechenden Orten im Bereich 108 assoziiert.
  • Routen 106a - 106n (individuell als Route 106 und gemeinsam als Routen 106 bezeichnet) sind jeweils mit einer Sequenz von Aktionen (auch als Fahrstrecke bekannt), die Zustände verbinden, entlang derer ein AV navigieren kann, assoziiert (schreiben diese beispielsweise vor). Jede Route 106 beginnt an einem Anfangszustand (beispielsweise einem Zustand, der einem ersten räumlich-zeitlichen Ort, einer Geschwindigkeit und/oder dergleichen entspricht) und einem Endzielzustand (beispielsweise einem Zustand, der einem zweiten räumlich-zeitlichen Ort entspricht, welcher sich vom ersten räumlich-zeitlichen Ort unterscheidet) oder Zielgebiet (beispielsweise einem Teilraum akzeptierbarer Zustände (beispielsweise Endzustände)). Gemäß einigen Ausführungsformen umfasst der erste Zustand einen Ort, an dem eine oder mehrere Personen durch das AV aufzunehmen sind, und umfasst der zweite Zustand oder das zweite Gebiet einen oder mehrere Orte, an denen die eine oder die mehreren vom AV aufgenommenen Personen abzusetzen sind. Gemäß einigen Ausführungsformen umfassen Routen 106 mehrere akzeptierbare Zustandssequenzen (beispielsweise mehrere räumlich-zeitliche Ortssequenzen), wobei die mehreren Zustandssequenzen mit mehreren Fahrstrecken assoziiert sind (beispielsweise diese definieren). Bei einem Beispiel umfassen Routen 106 nur Aktionen hoher Ebene oder ungenaue Zustandsorte, wie eine Reihe miteinander verbundener Straßen, die Abbiegerichtungen an Straßenkreuzungen vorschreiben. Zusätzlich oder alternativ können Routen 106 genauere Aktionen oder Zustände wie beispielsweise spezifische Zielfahrspuren oder genaue Orte innerhalb der Fahrspurbereiche und die angestrebte Geschwindigkeit an diesen Positionen umfassen. Bei einem Beispiel umfassen Routen 106 mehrere genaue Zustandssequenzen entlang der wenigstens einen Aktionssequenz hoher Ebene mit einem begrenzten Vorschauhorizont zur Erreichung von Zwischenzielen, wobei die Kombination aufeinander folgender Iterationen von Zustandssequenzen mit einem begrenzten Horizont kumulativ mehreren Fahrstrecken entspricht, die gemeinsam die Route hoher Ebene zum Erreichen des Endzielzustands oder -gebiets bilden.
  • Der Bereich 108 umfasst einen physischen Bereich (beispielsweise ein geographisches Gebiet), innerhalb dessen Fahrzeuge 102 navigieren können. Bei einem Beispiel umfasst der Bereich 108 wenigstens einen Zustand (beispielsweise ein Land, eine Provinz, einen individuellen Staat mehrerer Staaten in einem Land usw.), wenigstens einen Teil eines Staats, wenigstens eine Stadt, wenigstens einen Teil einer Stadt usw. Gemäß einigen Ausführungsformen umfasst der Bereich 108 wenigstens eine benannte Durchgangsroute (hier als „Straße“ bezeichnet) in der Art einer Schnellstraße, einer Überlandschnellstraße, einer Schnellstraße mit beschränkter Fahrzeuggröße, einer Stadtstraße usw. Zusätzlich oder alternativ umfasst der Bereich 108 bei einigen Beispielen wenigstens eine unbenannte Straße in der Art einer Auffahrt, eines Abschnitts eines Parkplatzes, eines Abschnitts eines leeren und/oder unterentwickelten Grundstücks, eines unbefestigten Wegs usw. Gemäß einigen Ausführungsformen weist eine Straße wenigstens eine Fahrspur (beispielsweise einen Teil der Straße, der von Fahrzeugen 102 befahren werden kann) auf. Bei einem Beispiel weist eine Straße wenigstens eine Fahrspur in Zusammenhang mit wenigstens einer Fahrspurmarkierung (beispielsweise auf der Grundlage dieser identifiziert) auf.
  • Die Fahrzeug-zu-Infrastruktur(V21)-Vorrichtung 110 (manchmal als Fahrzeug-zu-Infrastruktur(V2X)-Vorrichtung bezeichnet) umfasst wenigstens eine Vorrichtung, die dafür ausgelegt ist, mit Fahrzeugen 102 und/oder dem V21-Infrastruktursystem 118 in Kommunikation zu stehen. Gemäß einigen Ausführungsformen ist die V21-Vorrichtung 110 dafür ausgelegt, über das Netz 112 in Kommunikation mit Fahrzeugen 102, mit dem Fern-AV-System 114, mit dem Flottenverwaltungssystem 116 und/oder dem V21-System 118 zu stehen. Gemäß einigen Ausführungsformen umfasst die V21-Vorrichtung 110 eine Funkfrequenzidentifikations(RFID)-Vorrichtung, eine Ausschilderung, Kameras (beispielsweise zweidimensionale (2D) und/oder dreidimensionale (3D) Kameras), Fahrspurmarkierungen, Straßenleuchten, Parkuhren usw. Gemäß einigen Ausführungsformen ist die V21-Vorrichtung 110 dafür ausgelegt, direkt mit Fahrzeugen 102 zu kommunizieren. Alternativ oder zusätzlich ist die V21-Vorrichtung 110 gemäß einigen Ausführungsformen dafür ausgelegt, über das V21-System 118 mit Fahrzeugen 102, mit dem Fern-AV-System 114 und/oder mit dem Flottenverwaltungssystem 116 zu kommunizieren. Gemäß einigen Ausführungsformen ist die V21-Vorrichtung 110 dafür ausgelegt, über das Netz 112 mit dem V21-System 118 zu kommunizieren.
  • Das Netz 112 umfasst ein oder mehrere festverdrahtete und/oder drahtlose Netze. Bei einem Beispiel umfasst das Netz 112 ein zellenbasiertes Netz (beispielsweise ein Long-Term-Evolution(LTE)-Netz, ein Netz der dritten Generation (3G-Netz), ein Netz der vierten Generation (4G-Netz), ein Netz der fünften Generation (5G-Netz), ein Codegetrenntlage-Vielfachzugriff(CDMA)-Netz usw.), ein öffentliches terrestrisches Mobilfunknetz (PLMN), ein lokales Netz (LAN), ein Weitbereichsnetz (WAN), ein Großstadtnetz (MAN), ein Telefonnetz (beispielsweise das öffentliche Wählverbindungsnetz (PSTN), ein privates Netz, ein Adhoc-Netz, ein Intranet, das Internet, ein Netz auf Faseroptikbasis, ein Cloud-Rechennetz usw., eine Kombination einiger oder aller dieser Netze und/oder dergleichen.
  • Das Fern-AV-System 114 weist wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, über das Netz 112 in Kommunikation mit Fahrzeugen 102, der V21-Vorrichtung 110, dem Netz 112, dem Fern-AV-System 114, dem Flottenverwaltungssystem 116 und/oder dem V21-System 118 zu stehen. Bei einem Beispiel weist das Fern-AV-System 114 einen Server, eine Gruppe von Servern und/oder andere vergleichbare Vorrichtungen auf. Gemäß einigen Ausführungsformen befindet sich das Fern-AV-System 114 am selben Ort wie das Flottenverwaltungssystem 116. Gemäß einigen Ausführungsformen ist das Fern-AV-System 114 an der Installation einiger oder aller der Komponenten eines Fahrzeugs, einschließlich eines autonomen Systems, eines Autonomes-Fahrzeug-Computers, durch einen Autonomes-Fahrzeug-Computer implementierter Software und/oder dergleichen, beteiligt. Gemäß einigen Ausführungsformen wartet das Fern-AV-System 114 solche Komponenten und/oder solche Software während der Lebensdauer der Vorrichtung (führt beispielsweise Aktualisierungen und/oder Ersetzungen aus).
  • Das Flottenverwaltungssystem 116 weist wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, in Kommunikation mit Fahrzeugen 102, der V21-Vorrichtung 110, dem Fern-AV-System 114 und/oder dem V21-Infrastruktursystem 118 zu stehen. Bei einem Beispiel weist das Flottenverwaltungssystem 116 einen Server, eine Gruppe von Servern und/oder andere vergleichbare Vorrichtungen auf. Gemäß einigen Ausführungsformen ist das Flottenverwaltungssystem 116 mit einer Fahrgemeinschaftsfirma (beispielsweise einer Organisation, die den Betrieb mehrerer Fahrzeuge steuert (beispielsweise Fahrzeuge, die autonome Systeme aufweisen, und/oder Fahrzeuge, die keine autonomen Systeme aufweisen) und/oder dergleichen) assoziiert.
  • Gemäß einigen Ausführungsformen weist das V21-System 118 wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, über das Netz 112 in Kommunikation mit Fahrzeugen 102, der V21-Vorrichtung 110, dem Fern-AV-System 114 und/oder dem Flottenverwaltungssystem 116 zu stehen. Bei einigen Beispielen ist das V21-System 118 dafür ausgelegt, über eine vom Netz 112 verschiedene Verbindung in Kommunikation mit der V21-Vorrichtung 110 zu stehen. Gemäß einigen Ausführungsformen weist das V21-System 118 einen Server, eine Gruppe von Servern und/oder andere vergleichbare Vorrichtungen auf. Gemäß einigen Ausführungsformen ist das V21-System 118 mit einer Kommunalverwaltung oder einer privaten Institution (beispielsweise einer privaten Institution, welche die V21-Vorrichtung 110 und/oder dergleichen unterhält) assoziiert.
  • Die Anzahl und die Anordnung der in 1 dargestellten Elemente dienen als Beispiel. Es kann zusätzliche Elemente, weniger Elemente, andere Elemente und/oder anders angeordnete Elemente als die in 1 dargestellten geben. Zusätzlich oder alternativ kann wenigstens ein Element der Umgebung 100 eine oder mehrere Funktionen ausführen, die als durch wenigstens ein anderes Element aus 1 ausgeführt beschrieben wurden. Zusätzlich oder alternativ kann wenigstens ein Satz von Elementen der Umgebung 100 eine oder mehrere Funktionen ausführen, die als durch wenigstens einen anderen Satz der Elemente der Umgebung 100 ausgeführt beschrieben wurden.
  • Mit Bezug auf 2 sei nun bemerkt, dass das Fahrzeug 200 ein autonomes System 202, ein Antriebsstrang-Steuersystem 204, ein Lenksteuersystem 206 und ein Bremssystem 208 aufweist. Gemäß einigen Ausführungsformen gleicht oder ähnelt das Fahrzeug 200 dem Fahrzeug 102 (siehe 1). Gemäß einigen Ausführungsformen weist das Fahrzeug 102 eine Autonomiefähigkeit auf (beispielsweise Implementieren wenigstens einer Funktion, wenigstens eines Merkmals, wenigstens einer Vorrichtung und/oder dergleichen, wodurch es ermöglicht wird, dass das Fahrzeug 200 teilweise oder ganz ohne einen menschlichen Eingriff betrieben wird, einschließlich ohne Einschränkung vollständig autonomer Fahrzeuge (beispielsweise Fahrzeuge, die nicht auf einen menschlichen Eingriff vertrauen), hochgradig autonomer Fahrzeuge (beispielsweise Fahrzeuge, die in gewissen Situationen nicht auf einen menschlichen Eingriff vertrauen) und/oder dergleichen). Für eine detaillierte Beschreibung vollständig autonomer Fahrzeuge und hochgradig autonomer Fahrzeuge sei auf SAE International's Standard J3016: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems, der durch Verweis in seiner Gesamtheit aufgenommen ist, verwiesen. Gemäß einigen Ausführungsformen ist das Fahrzeug 200 mit einem Autonome-Flotte-Manager und/oder einer Fahrgemeinschaftsfirma assoziiert.
  • Das autonome System 202 weist eine Sensorsuite auf, die eine oder mehrere Vorrichtungen in der Art von Kameras 202a, LiDAR-Sensoren 202b, Radarsensoren 202c und Mikrofonen 202d aufweist. Gemäß einigen Ausführungsformen kann das autonome System 202 mehr oder weniger Vorrichtungen und/oder andere Vorrichtungen (beispielsweise Ultraschallsensoren, Trägheitssensoren, GPS-Empfänger (nachstehend erörtert), Odometrie-Sensoren, die Daten erzeugen, die mit einer Angabe der Strecke, die das Fahrzeug 200 gefahren ist, assoziiert sind, und/oder dergleichen) aufweisen. Gemäß einigen Ausführungsformen verwendet das autonome System 202 die eine oder die mehreren darin enthaltenen Vorrichtungen zur Erzeugung von Daten in Zusammenhang mit der Umgebung 100, wie hier beschrieben. Die durch die eine oder die mehreren Vorrichtungen des autonomen Systems 202 erzeugten Daten können durch ein oder mehrere hier beschriebene Systeme zur Beobachtung der Umgebung (beispielsweise der Umgebung 100), in der sich das Fahrzeug 200 befindet, verwendet werden. Gemäß einigen Ausführungsformen weist das autonome System 202 eine Kommunikationsvorrichtung 202e, einen Autonomes-Fahrzeug-Computer 202f und ein Drive-by-Wire(DBW)-System 202h auf.
  • Kameras 202a weisen wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, über einen Bus (beispielsweise einen Bus, der dem Bus 302 aus 3 gleicht oder ähnelt) in Kommunikation mit der Kommunikationsvorrichtung 202e, dem Autonomes-Fahrzeug-Computer 202f und/oder der Sicherheitssteuereinrichtung 202g zu stehen. Kameras 202a umfassen wenigstens eine Kamera (beispielsweise eine Digitalkamera unter Verwendung eines Lichtsensors in der Art einer ladungsgekoppelten Vorrichtung (CCD), eine Wärmekamera, eine Infrarot(IR)-Kamera, eine Ereigniskamera und/oder dergleichen) zur Aufnahme von Bildern, die physische Objekte (beispielsweise Personenkraftwagen, Busse, Bordsteine, Personen und/oder dergleichen) aufweisen. Gemäß einigen Ausführungsformen erzeugt die Kamera 202a Kameradaten als Ausgabe. Bei einigen Beispielen erzeugt die Kamera 202a Kameradaten, die Bilddaten in Zusammenhang mit einem Bild einschließen. Bei diesem Beispiel können die Bilddaten wenigstens einen dem Bild entsprechenden Parameter (beispielsweise Bildmerkmale in der Art von Belichtung, Helligkeit usw., einen Bildzeitstempel und/oder dergleichen) spezifizieren. Bei einem solchen Beispiel kann das Bild in einem Format (beispielsweise RAW, JPEG, PNG und/oder dergleichen) vorliegen. Gemäß einigen Ausführungsformen umfasst die Kamera 202a mehrere unabhängige Kameras, die an einem Fahrzeug zur Aufnahme von Bildern für den Zweck des räumlichen Sehens (Stereosehens) ausgebildet (beispielsweise positioniert) sind. Bei einigen Beispielen umfasst die Kamera 202a mehrere Kameras, die Bilddaten erzeugen und die Bilddaten zum Autonomes-Fahrzeug-Computer 202f und/oder zum Flottenverwaltungssystem (beispielsweise einem Flottenverwaltungssystem, das dem Flottenverwaltungssystem 116 aus 1 gleicht oder ähnelt) senden. Bei einem solchen Beispiel bestimmt der Autonomes-Fahrzeug-Computer 202f die Tiefe eines oder mehrerer Objekte in einem Gesichtsfeld wenigstens zweier der mehreren Kameras auf der Grundlage der Bilddaten von den wenigstens zwei Kameras. Gemäß einigen Ausführungsformen sind Kameras 202a dafür ausgelegt, Bilder von Objekten innerhalb eines Abstands von den Kameras 202a (beispielsweise bis zu 100 Meter, bis zu einem Kilometer und/oder dergleichen) aufzunehmen. Dementsprechend weisen die Kameras 202a Merkmale in der Art von Sensoren und Linsen auf, die für die Wahrnehmung von Objekten optimiert sind, die sich in einem oder mehreren Abständen von den Kameras 202a befinden.
  • Gemäß einer Ausführungsform umfasst die Kamera 202a wenigstens eine Kamera, die dafür ausgelegt ist, ein oder mehrere Bilder in Zusammenhang mit einer oder mehreren Ampeln, Straßenzeichen und/oder anderen physischen Objekten, die visuelle Navigationsinformationen bereitstellen, aufzunehmen. Gemäß einigen Ausführungsformen erzeugt die Kamera 202a Ampeldaten in Zusammenhang mit einem oder mehreren Bildern. Bei einigen Beispielen erzeugt die Kamera 202a TLD-Daten in Zusammenhang mit einem oder mehreren Bildern, die ein Format (beispielsweise RAW, JPEG, PNG und/oder dergleichen) aufweisen. Gemäß einigen Ausführungsformen unterscheidet sich die Kamera 202a, die TLD-Daten erzeugt, von anderen hier beschriebenen Systemen, die Kameras aufweisen, in der Hinsicht, dass die Kamera 202a eine oder mehrere Kameras mit einem weiten Gesichtsfeld (beispielsweise Weitwinkellinse, Fischaugenlinse, Linse mit einem Sichtwinkel von etwa 120 Grad oder mehr und/oder dergleichen) zur Erzeugung von Bildern über möglichst viele physische Objekte aufweisen kann.
  • Laser-Detection-and-Ranging(LiDAR)-Sensoren 202b weisen wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, über einen Bus (beispielsweise einen Bus, der dem Bus 302 aus 3 gleicht oder ähnelt) in Kommunikation mit der Kommunikationsvorrichtung 202e, dem Autonomes-Fahrzeug-Computer 202f und/oder der Sicherheitssteuereinrichtung 202g zu stehen. LiDAR-Sensoren 202b weisen ein System auf, das dafür ausgelegt ist, Licht von einem Lichtemitter (beispielsweise einem Lasersender) auszusenden. Von LiDAR-Sensoren 202b emittiertes Licht umfasst Licht (beispielsweise Infrarotlicht und/oder dergleichen), das sich außerhalb des sichtbaren Spektrums befindet. Gemäß einigen Ausführungsformen trifft während des Betriebs von LiDAR-Sensoren 202b emittiertes Licht auf ein physisches Objekt (beispielsweise ein Fahrzeug) und wird zu den LiDAR-Sensoren 202b rückreflektiert. Gemäß einigen Ausführungsformen durchdringt das von den LiDAR-Sensoren 202b emittierte Licht die physischen Objekte, auf die das Licht trifft, nicht. LiDAR-Sensoren 202b weisen auch wenigstens einen Lichtdetektor auf, der das Licht erfasst, das vom Lichtemitter emittiert wurde, nachdem es auf ein physisches Objekt getroffen ist. Gemäß einigen Ausführungsformen erzeugt wenigstens ein Datenverarbeitungssystem in Zusammenhang mit LiDAR-Sensoren 202b ein Bild (beispielsweise eine Punktwolke, eine kombinierte Punktwolke und/oder dergleichen), welches die im Gesichtsfeld der LiDAR-Sensoren 202b enthaltenen Objekte repräsentiert. Bei einigen Beispielen erzeugt das wenigstens eine Datenverarbeitungssystem in Zusammenhang mit dem LiDAR-Sensor 202b ein Bild, das die Begrenzungen eines physischen Objekts, die Oberflächen (beispielsweise die Topologie der Oberflächen) des physischen Objekts und/oder dergleichen repräsentiert. Bei einem solchen Beispiel wird das Bild zur Bestimmung der Begrenzungen physischer Objekte im Gesichtsfeld von LiDAR-Sensoren 202b verwendet.
  • Radio-Detection-and-Ranging(Radar)-Sensoren 202c weisen wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, über einen Bus (beispielsweise einen Bus, der dem Bus 302 aus 3 gleicht oder ähnelt) in Kommunikation mit der Kommunikationsvorrichtung 202e, dem Autonomes-Fahrzeug-Computer 202f und/oder der Sicherheitssteuereinrichtung 202g zu stehen. Radarsensoren 202c weisen ein System auf, das dafür ausgelegt ist, Radiowellen (entweder gepulst oder kontinuierlich) auszusenden. Die von Radarsensoren 202c ausgesendeten Radiowellen umfassen Radiowellen, die sich innerhalb eines vorgegebenen Spektrums befinden. Gemäß einigen Ausführungsformen treffen während des Betriebs von Radarsensoren 202c ausgesendete Radiowellen auf ein physisches Objekt und werden zu den Radarsensoren 202c rückreflektiert. Gemäß einigen Ausführungsformen werden die von Radarsensoren 202c ausgesendeten Radiowellen von einigen Objekten nicht reflektiert. Gemäß einigen Ausführungsformen erzeugt wenigstens ein Datenverarbeitungssystem in Zusammenhang mit Radarsensoren 202c Signale, welche die in einem Gesichtsfeld der Radarsensoren 202c enthaltenen Objekte repräsentieren. Beispielsweise erzeugt das wenigstens eine Datenverarbeitungssystem in Zusammenhang mit dem Radarsensor 202c ein Bild, das die Grenzen eines physischen Objekts, die Oberflächen (beispielsweise die Topologie der Oberflächen) des physischen Objekts und/oder dergleichen repräsentiert. Bei einigen Beispielen wird das Bild verwendet, um die Grenzen physischer Objekte im Gesichtsfeld der Radarsensoren 202c zu bestimmen.
  • Mikrofone 202d weisen wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, über einen Bus (beispielsweise einen Bus, der dem Bus 302 aus 3 gleicht oder ähnelt) in Kommunikation mit der Kommunikationsvorrichtung 202e, dem Autonomes-Fahrzeug-Computer 202f und/oder der Sicherheitssteuereinrichtung 202g zu stehen. Die Mikrofone 202d umfassen ein oder mehrere Mikrofone (beispielsweise Array-Mikrofone, externe Mikrofone und/oder dergleichen), die Audiosignale erfassen und Daten in Zusammenhang mit den Audiosignalen erzeugen (beispielsweise repräsentieren). Bei einigen Beispielen weisen die Mikrofone 202d Wandlervorrichtungen und/oder vergleichbare Vorrichtungen auf. Gemäß einigen Ausführungsformen können ein oder mehrere hier beschriebene Systeme die von Mikrofonen 202d erzeugten Daten empfangen und die Position eines Objekts in Bezug auf das Fahrzeug 200 (beispielsweise Abstand und/oder dergleichen) auf der Grundlage der Audiosignale in Zusammenhang mit den Daten bestimmen.
  • Die Kommunikationsvorrichtung 202e umfasst wenigstens eine Vorrichtung, die dafür ausgelegt ist, in Kommunikation mit Kameras 202a, LiDAR-Sensoren 202b, Radarsensoren 202c, Mikrofonen 202d, dem Autonomes-Fahrzeug-Computer 202f, der Sicherheitssteuereinrichtung 202g und/oder dem DBW-System 202h zu stehen. Beispielsweise kann die Kommunikationsvorrichtung 202e eine Vorrichtung umfassen, die der Kommunikationsschnittstelle 314 aus 3 gleicht oder ähnelt. Gemäß einigen Ausführungsformen umfasst die Kommunikationsvorrichtung 202e eine Fahrzeug-zu-Fahrzeug(V2V)-Kommunikationsvorrichtung (beispielsweise eine Vorrichtung, die eine Drahtloskommunikation von Daten zwischen Fahrzeugen ermöglicht).
  • Der Autonomes-Fahrzeug-Computer 202f weist wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, in Kommunikation mit Kameras 202a, LiDAR-Sensoren 202b, Radarsensoren 202c, Mikrofonen 202d, der Kommunikationsvorrichtung 202e, der Sicherheitssteuereinrichtung 202g und/oder dem DBW-System 202h zu stehen. Bei einigen Beispielen weist der Autonomes-Fahrzeug-Computer 202f eine Vorrichtung in der Art einer Client-Vorrichtung, einer mobilen Vorrichtung (beispielsweise Mobiltelefon, Tablet und/oder dergleichen), eines Servers (beispielsweise einer Rechenvorrichtung, die eine oder mehrere Zentralverarbeitungseinheiten, Graphikverarbeitungseinheiten und/oder dergleichen aufweist) und/oder dergleichen auf. Gemäß einigen Ausführungsformen gleicht oder ähnelt der Autonomes-Fahrzeug-Computer 202f dem hier beschriebenen Autonomes-Fahrzeug-Computer 400. Zusätzlich oder alternativ ist der Autonomes-Fahrzeug-Computer 202f gemäß einigen Ausführungsformen dafür ausgelegt, in Kommunikation mit einem autonomen Fahrzeugsystem (beispielsweise einem autonomen Fahrzeugsystem, das dem Fern-AV-System 114 aus 1 gleicht oder ähnelt), einem Flottenverwaltungssystem (beispielsweise einem Flottenverwaltungssystem, das dem Flottenverwaltungssystem 116 aus 1 gleicht oder ähnelt), einer V21-Vorrichtung (beispielsweise einer V21-Vorrichtung, die der V21-Vorrichtung 110 aus 1 gleicht oder ähnelt) und/oder einem V21-System (beispielsweise einem V21-System, das dem V21-System 118 aus 1 gleicht oder ähnelt) zu stehen.
  • Die Sicherheitssteuereinrichtung 202g weist wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, in Kommunikation mit Kameras 202a, LiDAR-Sensoren 202b, Radarsensoren 202c, Mikrofonen 202d, der Kommunikationsvorrichtung 202e, dem Autonomes-Fahrzeug-Computer 202f und/oder dem DBW-System 202h zu stehen. Bei einigen Beispielen umfasst die Sicherheitssteuereinrichtung 202g eine oder mehrere Steuereinrichtungen (elektrische Steuereinrichtungen, elektromechanische Steuereinrichtungen und/oder dergleichen), die dafür ausgelegt sind, Steuersignale zum Betreiben einer oder mehrerer Vorrichtungen des Fahrzeugs 200 (beispielsweise Antriebsstrang-Steuersystem 204, Lenksteuersystem 206, Bremssystem 208 und/oder dergleichen) zu erzeugen und/oder auszusenden. Gemäß einigen Ausführungsformen ist die Sicherheitssteuereinrichtung 202g dafür ausgelegt, Steuersignale zu erzeugen, die vom Autonomes-Fahrzeug-Computer 202f erzeugten und/oder ausgesendeten Steuersignalen übergeordnet sind (beispielsweise diese überschreiben).
  • Das DBW-System 202h weist wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, in Kommunikation mit der Kommunikationsvorrichtung 202e und/oder dem Autonomes-Fahrzeug-Computer 202f zu stehen. Bei einigen Beispielen weist das DBW-System 202h eine oder mehrere Steuereinrichtungen (beispielsweise elektrische Steuereinrichtungen, elektromechanische Steuereinrichtungen und/oder dergleichen) auf, die dafür ausgelegt sind, Steuersignale zum Betreiben einer oder mehrerer Vorrichtungen des Fahrzeugs 200 (beispielsweise Antriebsstrang-Steuersystem 204, Lenksteuersystem 206, Bremssystem 208 und/oder dergleichen) zu erzeugen und/oder auszusenden. Zusätzlich oder alternativ sind die eine oder die mehreren Steuereinrichtungen des DBW-Systems 202h dafür ausgelegt, Steuersignale zum Betreiben wenigstens einer anderen Vorrichtung (beispielsweise Blinksignal, Frontscheinwerfer, Türverriegelungen, Scheibenwischer und/oder dergleichen) des Fahrzeugs 200 zu erzeugen und/oder auszusenden.
  • Das Antriebsstrang-Steuersystem 204 weist wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, in Kommunikation mit dem DBW-System 202h zu stehen. Bei einigen Beispielen weist das Antriebsstrang-Steuersystem 204 wenigstens eine Steuereinrichtung, einen Aktuator und/oder dergleichen auf. Gemäß einigen Ausführungsformen empfängt das Antriebsstrang-Steuersystem 204 Steuersignale vom DBW-System 202h und veranlasst das Antriebsstrang-Steuersystem 204 das Fahrzeug 200, eine Vorwärtsbewegung zu beginnen, eine Vorwärtsbewegung zu unterbrechen, eine Rückwärtsbewegung zu beginnen, eine Rückwärtsbewegung zu unterbrechen, in einer Richtung zu beschleunigen, in einer Richtung zu verzögern, nach links zu fahren, nach rechts zu fahren und/oder dergleichen. Bei einem Beispiel bewirkt das Antriebsstrang-Steuersystem 204, dass die einem Motor des Fahrzeugs bereitgestellte Energie (beispielsweise Kraftstoff, Elektrizität und/oder dergleichen) zunimmt, gleich bleibt oder abnimmt, wodurch bewirkt wird, dass sich wenigstens ein Rad des Fahrzeugs 200 dreht oder nicht dreht.
  • Das Lenksteuersystem 206 weist wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, ein oder mehrere Räder des Fahrzeugs 200 zu drehen. Bei einigen Beispielen weist das Lenksteuersystem 206 wenigstens eine Steuereinrichtung, einen Aktuator und/oder dergleichen auf. Gemäß einigen Ausführungsformen bewirkt das Lenksteuersystem 206, dass die beiden Vorderräder und/oder die beiden hinteren Räder des Fahrzeugs 200 nach links oder nach rechts gedreht werden, um zu bewirken, dass das Fahrzeug 200 nach links oder nach rechts fährt.
  • Das Bremssystem 208 weist wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, eine oder mehrere Bremsen zu betätigen, um zu bewirken, dass das Fahrzeug 200 die Geschwindigkeit verringert und/oder stationär bleibt. Bei einigen Beispielen weist das Bremssystem 208 wenigstens eine Steuereinrichtung und/oder wenigstens einen Aktuator auf, der dafür ausgelegt ist, das Schließen eines oder mehrerer Bremsbeläge in Zusammenhang mit einem oder mehreren Rädern des Fahrzeugs 200 an einem entsprechenden Rotor des Fahrzeugs 200 zu bewirken. Zusätzlich oder alternativ umfasst das Bremssystem 208 bei einigen Beispielen ein automatisches Notbrems(AEB)-System, ein regeneratives Bremssystem und/oder dergleichen.
  • Gemäß einigen Ausführungsformen weist das Fahrzeug 200 wenigstens einen Plattformsensor (nicht explizit dargestellt) auf, der Eigenschaften eines Zustands oder einer Bedingung des Fahrzeugs 200 misst oder ableitet. Bei einigen Beispielen weist das Fahrzeug 200 Plattformsensoren in der Art eines Empfängers des globalen Positionsbestimmungssystems (GPS), einer Trägheitsmesseinheit (IMU), eines Radgeschwindigkeitssensors, eines Radbrems-Drucksensors, eines Raddrehmomentsensors, eines Motordrehmomentsensors, eines Lenkwinkelsensors und/oder dergleichen auf.
  • 3 zeigt ein schematisches Diagramm einer Vorrichtung 300. Wie dargestellt, weist die Vorrichtung 300 einen Prozessor 304, einen Speicher 306, eine Massenspeicherkomponente 308, eine Eingabeschnittstelle 310, eine Ausgabeschnittstelle 312, eine Kommunikationsschnittstelle 314 und einen Bus 302 auf. Gemäß einigen Ausführungsformen entspricht die Vorrichtung 300 wenigstens einer Vorrichtung der Fahrzeuge 102 (beispielsweise wenigstens einer Vorrichtung eines Systems der Fahrzeuge 102), wenigstens einer Vorrichtung der Fahrzeuge 200 und/oder einer oder mehreren Vorrichtungen des Netzes 112 (beispielsweise einer oder mehreren Vorrichtungen eines Systems des Netzes 112). Gemäß einigen Ausführungsformen umfassen eine oder mehrere Vorrichtungen der Fahrzeuge 102 (beispielsweise eine oder mehrere Vorrichtungen eines Systems der Fahrzeuge 102), eine oder mehrere Vorrichtungen des Fahrzeugs 200 und/oder eine oder mehrere Vorrichtungen des Netzes 112 (beispielsweise eine oder mehrere Vorrichtungen eines Systems des Netzes 112) wenigstens eine Vorrichtung 300 und/oder wenigstens eine Komponente der Vorrichtung 300. Wie in 3 dargestellt ist, weist die Vorrichtung 300 den Bus 302, den Prozessor 304, den Speicher 306, die Massenspeicherkomponente 308, die Eingabeschnittstelle 310, die Ausgabeschnittstelle 312 und die Kommunikationsschnittstelle 314 auf.
  • Der Bus 302 weist eine Komponente auf, die eine Kommunikation zwischen den Komponenten der Vorrichtung 300 ermöglicht. Gemäß einigen Ausführungsformen ist der Prozessor 304 in Hardware, Software oder einer Kombination von Hardware und Software implementiert. Bei einigen Beispielen umfasst der Prozessor 304 einen Prozessor (beispielsweise eine Zentralverarbeitungseinheit (CPU), eine Graphikverarbeitungseinheit (GPU), eine Einheit für eine beschleunigte Verarbeitung (APU) und/oder dergleichen), ein Mikrofon, einen Digitalsignalprozessor (DSP) und/oder eine Verarbeitungskomponente (beispielsweise ein feldprogrammierbares Gate-Array (FPGA), eine anwendungsspezifische integrierte Schaltung (ASIC) und/oder dergleichen), die programmiert werden kann, um wenigstens eine Funktionen auszuführen. Der Speicher 306 umfasst einen Direktzugriffsspeicher (RAM), einen Nurlesespeicher (ROM) und/oder einen anderen Typ einer dynamischen und/oder statischen Speichervorrichtung (beispielsweise Flash-Speicher, magnetischer Speicher, optischer Speicher und/oder dergleichen), die vom Prozessor 304 verwendbare Daten und/oder Befehle speichert.
  • Die Massenspeicherkomponente 308 speichert Daten und/oder Software in Bezug auf den Betrieb und die Verwendung der Vorrichtung 300. Bei einigen Beispielen umfasst die Massenspeicherkomponente 308 eine Festplatte (beispielsweise eine Magnetplatte, eine optische Scheibe, eine magnetooptische Scheibe, eine Halbleiterplatte und/oder dergleichen), eine Compact Disc (CD), eine Digital Versatile Disc (DVD), eine Diskette, eine Kassette, ein Magnetband, eine CD-ROM, einen RAM, einen PROM, einen EPROM, einen FLASH-EPROM, einen NV-RAM und/oder einen anderen Typ eines computerlesbaren Mediums zusammen mit einem entsprechenden Laufwerk.
  • Die Eingabeschnittstelle 310 weist eine Komponente auf, die es der Vorrichtung 300 ermöglicht, Informationen, beispielsweise über eine Benutzereingabe (beispielsweise eine Touchscreen-Anzeige, eine Tastatur, ein Tastenfeld, eine Maus, eine Taste, einen Schalter, ein Mikrofon, eine Kamera und/oder dergleichen), zu empfangen. Zusätzlich oder alternativ weist die Eingabeschnittstelle 310 gemäß einigen Ausführungsformen einen Sensor auf, der Informationen erfasst (beispielsweise einen Empfänger des globalen Positionsbestimmungssystems (GPS), einen Beschleunigungsmesser, ein Gyroskop, einen Aktuator und/oder dergleichen). Die Ausgabeschnittstelle 312 weist eine Komponente auf, die von der Vorrichtung 300 ausgegebene Informationen bereitstellt (beispielsweise eine Anzeige, einen Lautsprecher, eine oder mehrere Leuchtdioden (LEDs) und/oder dergleichen).
  • Gemäß einigen Ausführungsformen weist die Kommunikationsschnittstelle 314 eine sendeempfängerartige Komponente (beispielsweise einen Sendeempfänger, einen getrennten Empfänger und Sender und/oder dergleichen) auf, die es der Vorrichtung 300 ermöglicht, über eine festverdrahtete Verbindung, eine drahtlose Verbindung oder eine Kombination einer festverdrahteten und einer drahtlosen Verbindung mit anderen Vorrichtungen zu kommunizieren. Bei einigen Beispielen ermöglicht es die Kommunikationsschnittstelle 314 der Vorrichtung 300, Informationen von einer anderen Vorrichtung zu empfangen und/oder einer anderen Vorrichtung Informationen bereitzustellen. Bei einigen Beispielen umfasst die Kommunikationsschnittstelle 314 eine Ethernet-Schnittstelle, eine optische Schnittstelle, eine Koaxialschnittstelle, eine Infrarotschnittstelle, eine Funkfrequenz(RF)-Schnittstelle, eine Universeller-serieller-Bus(USB)-Schnittstelle, eine WiFi®-Schnittstelle, eine Mobilfunkschnittstelle und/oder dergleichen.
  • Gemäß einigen Ausführungsformen führt die Vorrichtung 300 einen oder mehrere hier beschriebene Prozesse aus. Die Vorrichtung 300 führt diese Prozesse auf der Grundlage davon aus, dass der Prozessor 304 von einem computerlesbaren Medium in der Art des Speichers 305 und/oder der Massenspeicherkomponente 308 gespeicherte Softwarebefehle ausführt. Ein computerlesbares Medium (beispielsweise ein nichtflüchtiges computerlesbares Medium) wird hier als nichtflüchtige Speichervorrichtung definiert. Eine nichtflüchtige Speichervorrichtung weist einen sich innerhalb einer einzigen physischen Speichervorrichtung befindenden Speicherplatz oder einen über mehrere physische Speichervorrichtungen verteilten Speicherplatz auf.
  • Gemäß einigen Ausführungsformen werden Softwarebefehle über die Kommunikationsschnittstelle 314 von einem anderen computerlesbaren Medium oder einer anderen Vorrichtung in den Speicher 306 und/oder die Massenspeicherkomponente 308 gelesen. Wenn sie ausgeführt werden, veranlassen im Speicher 306 und/oder der Massenspeicherkomponente 308 gespeicherte Softwarebefehle den Prozessor 304, einen oder mehrere hier beschriebene Prozesse auszuführen. Zusätzlich oder alternativ wird anstelle von Softwarebefehlen oder in Kombination damit eine festverdrahtete Schaltungsanordnung verwendet, um einen oder mehrere hier beschriebene Prozesse auszuführen. Demgemäß sind hier beschriebene Ausführungsformen nicht auf eine spezifische Kombination einer Hardwareschaltungsanordnung und Software beschränkt, es sei denn, dass explizit etwas anderes ausgesagt wird.
  • Der Speicher 306 und/oder die Massenspeicherkomponente 308 weist einen Datenspeicher oder wenigstens eine Datenstruktur (beispielsweise eine Datenbank und/oder dergleichen) auf. Die Vorrichtung 300 ist in der Lage, Informationen vom Datenspeicher oder von der wenigstens einen Datenstruktur im Speicher 306 oder der Massenspeicherkomponente 308 zu empfangen, darin zu speichern, Informationen dazu zu übermitteln oder darin gespeicherte Informationen zu suchen. Bei einigen Beispielen umfassen die Informationen Netzdaten, Eingangsdaten, Ausgangsdaten oder eine Kombination davon.
  • Gemäß einigen Ausführungsformen ist die Vorrichtung 300 dafür ausgelegt, Softwarebefehle auszuführen, die entweder im Speicher 306 und/oder im Speicher einer anderen Vorrichtung (beispielsweise einer anderen Vorrichtung, die der Vorrichtung 300 gleicht oder ähnelt) gespeichert sind. Hier bezieht sich der Begriff „Modul“ auf wenigstens einen im Speicher 306 und/oder im Speicher einer anderen Vorrichtung gespeicherten Befehl, der, wenn er durch den Prozessor 304 und/oder einen Prozessor einer anderen Vorrichtung (beispielsweise eine andere Vorrichtung, die der Vorrichtung 300 gleicht oder ähnelt) ausgeführt wird, die Vorrichtung 300 (beispielsweise wenigstens eine Komponente der Vorrichtung 300) veranlasst, einen oder mehrere hier beschriebene Prozesse auszuführen. Gemäß einigen Ausführungsformen ist ein Modul in Software, Firmware, Hardware und/oder dergleichen implementiert.
  • Die Anzahl und Anordnung in 3 dargestellter Komponenten dienen als Beispiel. Gemäß einigen Ausführungsformen kann die Vorrichtung 300 zusätzliche Komponenten, weniger Komponenten, andere Komponenten oder anders angeordnete Komponenten als in 3 aufweisen. Zusätzlich oder alternativ kann ein Satz von Komponenten (beispielsweise eine oder mehrere Komponenten) der Vorrichtung 300 eine oder mehrere Funktionen ausführen, die als von einer anderen Komponente oder einem anderen Satz von Komponenten der Vorrichtung 300 ausgeführt beschrieben werden.
  • 4 zeigt ein beispielhaftes Blockdiagramm eines Autonomes-Fahrzeug-Computers 400 (manchmal als „AV-Stapel“ bezeichnet). Wie dargestellt ist, weist der Autonomes-Fahrzeug-Computer 400 ein Wahrnehmungssystem 402 (manchmal als Wahrnehmungsmodul bezeichnet), ein Planungssystem 404 (manchmal als Planungsmodul bezeichnet), ein Lokalisierungssystem 406 (manchmal als Lokalisierungsmodul bezeichnet), ein Steuersystem 408 (manchmal als Steuermodul bezeichnet) und eine Datenbank 410 auf. Gemäß einigen Ausführungsformen sind das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuersystem 408 und die Datenbank 410 in ein autonomes Navigationssystem eines Fahrzeugs (beispielsweise den Autonomes-Fahrzeug-Computer 202f des Fahrzeugs 200) aufgenommen und/oder darin implementiert. Zusätzlich oder alternativ sind gemäß einigen Ausführungsformen das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuersystem 408 und die Datenbank 410 in ein oder mehrere eigenständige Systeme (beispielsweise ein oder mehrere Systeme, die dem Autonomes-Fahrzeug-Computer 400 und/oder dergleichen gleichen oder ähneln) aufgenommen. Bei einigen Beispielen sind das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuersystem 408 und die Datenbank 410 in ein oder mehrere eigenständige Systeme aufgenommen, die sich in einem Fahrzeug und/oder wenigstens einem fernen System, wie hier beschrieben, befinden. Gemäß einigen Ausführungsformen sind einige und/oder alle der im Autonomes-Fahrzeug-Computer 400 enthaltenen Systeme in Software (beispielsweise in Softwarebefehlen, die im Speicher gespeichert sind), Computerhardware (beispielsweise durch Mikroprozessoren, Mikrosteuereinrichtungen, anwendungsspezifische integrierte Schaltungen (ASICs), feldprogrammierbare Gate-Arrays (FPGAs) und/oder dergleichen) oder Kombinationen von Computersoftware und Computerhardware implementiert. Es sei auch bemerkt, dass der Autonomes-Fahrzeug-Computer 400 gemäß einigen Ausführungsformen dafür ausgelegt ist, in Kommunikation mit einem fernen System (beispielsweise einem Autonomes-Fahrzeug-System, das dem Fern-AV-System 114 gleicht oder ähnelt, einem Flottenverwaltungssystem 116, das dem Flottenverwaltungssystem 116 gleicht oder ähnelt, einem V21-System, das dem V21-System 118 gleicht oder ähnelt und/oder dergleichen) zu stehen.
  • Gemäß einigen Ausführungsformen empfängt das Wahrnehmungssystem 402 Daten in Zusammenhang mit wenigstens einem physischen Objekt (beispielsweise Daten, die vom Wahrnehmungssystem 402 verwendet werden, um das wenigstens eine physische Objekt zu erkennen) in einer Umgebung und klassifiziert das wenigstens eine physische Objekt. Bei einigen Beispielen empfängt das Wahrnehmungssystem 402 von wenigstens einer Kamera (beispielsweise Kameras 202a) aufgenommene Bilddaten, wobei das Bild mit einem oder mehreren physischen Objekten innerhalb eines Gesichtsfelds der wenigstens einen Kamera assoziiert ist (diese beispielsweise repräsentiert). Bei einem solchen Beispiel klassifiziert das Wahrnehmungssystem 402 wenigstens ein physisches Objekt auf der Grundlage einer oder mehrerer Gruppierungen physischer Objekte (beispielsweise Fahrräder, Fahrzeuge, Verkehrszeichen, Fußgänger und/oder dergleichen). Gemäß einigen Ausführungsformen überträgt das Wahrnehmungssystem 402 Daten in Zusammenhang mit der Klassifikation der physischen Objekte auf der Grundlage der vom Wahrnehmungssystem 402 vorgenommenen Klassifikation der physischen Objekte zum Planungssystem 404.
  • Gemäß einigen Ausführungsformen empfängt das Planungssystem 404 Daten in Zusammenhang mit einem Bestimmungsort und erzeugt Daten in Zusammenhang mit wenigstens einer Route (beispielsweise Routen 106), entlang derer ein Fahrzeug (beispielsweise die Fahrzeuge 102) zu einem Bestimmungsort fahren kann. Gemäß einigen Ausführungsformen empfängt das Planungssystem 404 periodisch oder kontinuierlich Daten vom Wahrnehmungssystem 402 (beispielsweise Daten in Zusammenhang mit der Klassifikation physischer Objekte, wie vorstehend beschrieben) und aktualisiert das Planungssystem 404 die wenigstens eine Fahrstrecke oder erzeugt wenigstens eine andere Fahrstrecke auf der Grundlage der vom Wahrnehmungssystem 402 erzeugten Daten. Gemäß einigen Ausführungsformen empfängt das Planungssystem 404 Daten in Zusammenhang mit einer aktualisierten Position eines Fahrzeugs (beispielsweise der Fahrzeuge 102) vom Lokalisierungssystem 406 und aktualisiert das Planungssystem 404 die wenigstens eine Fahrstrecke oder erzeugt wenigstens eine andere Fahrstrecke auf der Grundlage der vom Lokalisierungssystem 406 erzeugten Daten.
  • Gemäß einigen Ausführungsformen empfängt das Lokalisierungssystem 406 Daten in Zusammenhang mit dem Ort eines Fahrzeugs (beispielsweise der Fahrzeuge 102) in einem Bereich (welche diesen beispielsweise repräsentieren). Bei einigen Beispielen empfängt das Lokalisierungssystem 406 LiDAR-Daten in Zusammenhang mit wenigstens einer von wenigstens einem LiDAR-Sensor (beispielsweise den LiDAR-Sensoren 202b) erzeugten Punktwolke. Bei gewissen Beispielen empfängt das Lokalisierungssystem 406 Daten in Zusammenhang mit wenigstens einer Punktwolke von mehreren LiDAR-Sensoren und erzeugt das Lokalisierungssystem 406 eine kombinierte Punktwolke auf der Grundlage jeder der Punktwolken. Bei diesen Beispielen vergleicht das Lokalisierungssystem 406 die wenigstens eine Punktwolke oder die kombinierte Punktwolke mit einer in der Datenbank 410 gespeicherten zweidimensionalen (2D) und/oder dreidimensionalen (3D) Karte des Bereichs. Das Lokalisierungssystem 406 bestimmt dann die Position des Fahrzeugs im Bereich auf der Grundlage dessen, dass das Lokalisierungssystem 406 die wenigstens eine Punktwolke oder die kombinierte Punktwolke mit der Karte vergleicht. Gemäß einigen Ausführungsformen weist die Karte eine vor der Navigation des Fahrzeugs erzeugte kombinierte Punktwolke des Bereichs auf. Gemäß einigen Ausführungsformen umfassen Karten ohne Einschränkung Karten hoher Genauigkeit der geometrischen Eigenschaften der Fahrbahn, Karten, die Straßennetz-Verbindbarkeitseigenschaften beschreiben, Karten, die physische Eigenschaften der Fahrbahn beschreiben (wie Verkehrsgeschwindigkeit, Verkehrsaufkommen, die Anzahl von Fahrzeug- und Radfahrer-Verkehrsspuren, die Fahrspurbreite, Fahrspur-Verkehrsrichtungen oder Fahrspur-Markierungstypen und -orte oder Kombinationen davon) und Karten, welche die räumlichen Orte von Straßenmerkmalen in der Art von Fußgängerüberwegen, Verkehrszeichen oder anderen Verkehrssignalen verschiedener Typen beschreiben. Gemäß einigen Ausführungsformen wird die Karte in Echtzeit auf der Grundlage der vom Wahrnehmungssystem empfangenen Daten erzeugt.
  • Bei einem anderen Beispiel empfängt das Lokalisierungssystem 406 von einem Empfänger des globalen Positionsbestimmungssystems (GPS) erzeugte Daten des globalen Navigationssatellitensystems (GNSS). Bei einigen Beispielen empfängt das Lokalisierungssystem 406 GNSS-Daten in Zusammenhang mit dem Ort des Fahrzeugs im Bereich und bestimmt das Lokalisierungssystem 406 die Breite und Länge des Fahrzeugs im Bereich. Bei einem solchen Beispiel bestimmt das Lokalisierungssystem 406 die Position des Fahrzeugs im Bereich auf der Grundlage der Breite und Länge des Fahrzeugs. Gemäß einigen Ausführungsformen erzeugt das Lokalisierungssystem 406 Daten in Zusammenhang mit der Position des Fahrzeugs. Bei einigen Beispielen erzeugt das Lokalisierungssystem 406 Daten in Zusammenhang mit der Position des Fahrzeugs auf der Grundlage dessen, dass das Lokalisierungssystem 406 die Position des Fahrzeugs bestimmt. Bei einem solchen Beispiel umfassen die Daten in Zusammenhang mit der Position des Fahrzeugs Daten in Zusammenhang mit einer oder mehreren semantischen Eigenschaften, die der Position des Fahrzeugs entsprechen.
  • Gemäß einigen Ausführungsformen empfängt das Steuersystem 408 Daten in Zusammenhang mit wenigstens einer Fahrstrecke vom Planungssystem 404 und steuert das Steuersystem 408 den Betrieb des Fahrzeugs. Bei einigen Beispielen empfängt das Steuersystem 408 Daten in Zusammenhang mit wenigstens einer Fahrstrecke vom Planungssystem 404 und steuert das Steuersystem 408 den Betrieb des Fahrzeugs durch Erzeugen und Übertragen von Steuersignalen, um zu bewirken, dass ein Antriebsstrang-Steuersystem (beispielsweise das DBW-System 202h, das Antriebsstrang-Steuersystem 204 und/oder dergleichen, ein Lenksteuersystem (beispielsweise das Lenksteuersystem 206) und/oder ein Bremssystem (beispielsweise das Bremssystem 208) arbeiten. Bei einem Beispiel, bei dem eine Fahrstrecke ein Abbiegen nach links aufweist, überträgt das Steuersystem 408 ein Steuersignal, um das Lenksteuersystem 206 zu veranlassen, den Lenkwinkel des Fahrzeugs 200 einzustellen, wodurch das Fahrzeug 200 veranlasst wird, nach links zu fahren. Zusätzlich oder alternativ erzeugt und überträgt das Steuersystem 408 Steuersignale, um andere Vorrichtungen (beispielsweise Frontscheinwerfer, Abbiegesignale, Türverriegelungen, Scheibenwischer und/oder dergleichen) des Fahrzeugs 200 zu veranlassen, Zustände zu ändern.
  • Gemäß einigen Ausführungsformen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 wenigstens ein Maschinenlernmodell (beispielsweise wenigstens ein mehrschichtiges Perzeptron (MLP), wenigstens ein faltendes neuronales Netz (CNN), wenigstens ein rekurrentes neuronales Netz (RNN), wenigstens einen Autoencoder, wenigstens einen Transformer und/oder dergleichen). Bei einigen Beispielen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 allein oder in Kombination mit einem oder mehreren der vorstehend erwähnten Systeme wenigstens ein Maschinenlernmodell. Bei einigen Beispielen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 wenigstens ein Maschinenlernmodell als Teil einer Pipeline (beispielsweise einer Pipeline zur Identifikation eines oder mehrerer Objekte, die sich in einer Umgebung und/oder dergleichen befinden).
  • Die Datenbank 410 speichert Daten, die zum Wahrnehmungssystem 402, zum Planungssystem 404, zum Lokalisierungssystem 406 und/oder zum Steuersystem 408 gesendet, davon empfangen und/oder dadurch aktualisiert werden. Bei einigen Beispielen weist die Datenbank 410 eine Massenspeicherkomponente (beispielsweise eine Massenspeicherkomponente, die der Massenspeicherkomponente 308 aus 3 gleicht oder ähnelt) auf, die Daten und/oder Software in Bezug auf den Betrieb speichert und wenigstens ein System des Autonomes-Fahrzeug-Computers 400 verwendet. Gemäß einigen Ausführungsformen speichert die Datenbank 410 Daten in Zusammenhang mit 2D- und/oder 3D-Karten wenigstens eines Bereichs. Bei einigen Beispielen speichert die Datenbank 410 Daten in Zusammenhang mit 2D- und/oder 3D-Karten eines Teils einer Stadt, mehrerer Teile mehrerer Städte, mehrerer Städte, eines Lands, eine Staats, eines souveränen Staats (beispielsweise eines Lands) und/oder dergleichen. Bei einem solchen Beispiel kann ein Fahrzeug (beispielsweise ein Fahrzeug, das den Fahrzeugen 102 und/oder dem Fahrzeug 200 gleicht oder ähnelt) entlang einem oder mehreren befahrbaren Gebieten (beispielsweise einspurigen Straßen, mehrspurigen Straßen, Schnellstraßen, Nebenwegen, Querfeldeinwegen und/oder dergleichen) fahren und wenigstens einen LiDAR-Sensor (beispielsweise einen LiDAR-Sensor, der dem LiDAR-Sensor 202b gleicht oder ähnelt) veranlassen, Daten in Zusammenhang mit einem Bild zu erzeugen, das die in einem Gesichtsfeld des wenigstens einen LiDAR-Sensors enthaltenen Objekte repräsentiert.
  • Gemäß einigen Ausführungsformen kann die Datenbank 410 über mehrere Vorrichtungen hinweg implementiert werden. Bei einigen Beispielen ist die Datenbank 410 in ein Fahrzeug (beispielsweise ein Fahrzeug, das den Fahrzeugen 102 und/oder dem Fahrzeug 200 gleicht oder ähnelt), ein autonomes Fahrzeugsystem (beispielsweise ein autonomes Fahrzeugsystem, das dem Fern-AV-System 114 gleicht oder ähnelt), ein Flottenverwaltungssystem (beispielsweise ein Flottenverwaltungssystem, das dem Flottenverwaltungssystem 116 aus 1 gleicht oder ähnelt), ein V21-System (beispielsweise ein V21-System, das dem V21-System 118 aus 1 gleicht oder ähnelt) und/oder dergleichen aufgenommen.
  • Wie vorstehend beschrieben, können sich autonome Systeme in der Art der mit Bezug auf die 1 - 4 beschriebenen auf die Eingabe unter anderem eines oder mehrerer optischer oder Kamerasysteme oder Anordnungen stützen. Beispielsweise weisen die autonomen Systeme 202 des Fahrzeugs 200 Kameras 202a auf, wie vorstehend beschrieben. 5A zeigt eine Ausführungsform eines autonomen Systems 500, das an einem Fahrzeug vorhanden sein kann. Wie in 5A dargestellt ist, kann das System 500 eine oder mehrere Kameras oder andere optische Anordnungen 502, die daran angeordnet sind, aufweisen. Die eine oder die mehreren Kameras oder anderen optischen Anordnungen 502 können eine Linse und Bildsensoren aufweisen, die Bilder erfassen, welche vom autonomen System 500 verwendet werden können, um das Fahren des Fahrzeugs zu erleichtern.
  • In einigen Fällen kann es wünschenswert sein, die Kamera oder die anderen optischen Anordnungen 502 mit einem Fenster abzudecken. Beispielsweise kann ein Fenster über jeglichen der in 5A dargestellten optischen Anordnungen 502 oder einer anderen optischen Anordnung installiert werden. Ein Fenster kann installiert werden, um die optische Anordnung beispielsweise vor Stößen, Staub, Wasser usw. zu schützen. Gemäß einigen Ausführungsformen kann das Fenster aus stilistischen Gründen (beispielsweise zur Verbesserung der Ästhetik des Fahrzeugs) installiert werden. Zusätzlich oder alternativ kann das Fenster die Funktionalität des Sensors verbessern. Beispielsweise kann das Fenster eine Athermalisierung, eine Feuchtigkeitsverringerung, ein Testen intrinsischer thermischer Verschiebungen unter Verwendung einer thermischen Kammer, Anforderungen einer hydrophoben Beschichtung oder andere Funktionalitätstypen bereitstellen. Gemäß einigen Ausführungsformen kann das Fenster eine klare Schicht umfassen und aus einem Material in der Art einer zusätzlichen Schicht aus Glas, Siliciumdioxid, Polycarbonat oder anderen Materialien bestehen.
  • Die Installation eines Fensters über den optischen Sensoren 502 kann jedoch einige Probleme hervorrufen. Beispielsweise kann die Installation eines Fensters über einem optischen Sensor eine Mittelachsenverschiebung hervorrufen. Eine Mittelachsenverschiebung kann sich auf die Fehlausrichtung der Achse eines optischen Systems in Bezug auf eine gewisse optische Referenzachse oder mechanische Achse beziehen. Wenn die optischen Sensoren 502 installiert werden, werden sie beispielsweise im Allgemeinen an einer gewissen Position installiert, so dass die optischen Achsen der optischen Sensoren 502 in wünschenswerte Richtungen zeigen. Die Installation eines Fensters über den optischen Sensoren 502 bewirkt eine Verschiebung, die zu einer Fehlausrichtung der optischen Sensoren 502 mit ihrer wünschenswerten Orientierung führt. Insbesondere wird eine Pixelverschiebung hervorgerufen, wenn eine optische Schicht zum Kamerasystem hinzugefügt wird, wobei dies auf die zusätzliche Brechung und Fehlausrichtung, die durch dieses neue Material hervorgerufen wird, zurückzuführen ist. Dies ändert die intrinsischen Eigenschaften des Kamerasystems, was, falls es nicht berücksichtigt wird, zu einer verschlechterten Funktionsweise und Genauigkeit eines autonomen Systems führen kann, das sich auf die optischen Sensoren 502 als Eingabe stützt. Dementsprechend kann es vorteilhaft sein, den Grad der durch das neue Material hervorgerufenen Mittelachsenverschiebung zu bestimmen und sie zu korrigieren.
  • Diese Anmeldung stellt Verfahren und Systeme zum Berechnen und Visualisieren der Mittelachsenverschiebungsaberration in einem optischen System bereit. Wie detaillierter erörtert wird, werden intrinsische Parameter des optischen Systems mit dem hinzugefügten Fenster und ohne dieses bestimmt und verglichen, um die durch das Fenster hervorgerufenen verschiedenen Richtungen zu bestimmen, in welche die Pixel zeigen. Gemäß einigen Ausführungsformen umfasst die Methodologie das Erzeugen eines Gitters von Pixelorten, welches das kalibrierte Gesichtsfeld in beiden Fällen abdeckt (beispielsweise mit dem installierten Fenster und ohne dieses). Für jedes Pixel innerhalb des Gitters wird die Richtung (beispielsweise die dreidimensionale Strahlrichtung) des Pixels auf der Grundlage einer intrinsischen Kalibrierung der Kamera bestimmt. Der Winkelfehler zwischen Richtungen mit dem installierten Fenster und ohne dieses kann dann bestimmt werden. Dieser Winkelfehler repräsentiert die Mittelachsenverschiebung. Gemäß einigen Ausführungsformen wird der Winkelfehler in Bogenminuten bestimmt. Dieser Fehler kann als Vektordarstellung repräsentiert werden. Es kann eine Transformation zwischen den Differenzen erzeugt und angewendet werden, um die Mittelachsenverschiebung zu korrigieren. In einigen Fällen kann es, sobald dieser Fehler berechnet wurde, erforderlich sein, die optische Schicht oder das Fenster perfekt auszurichten. Dies kann daran liegen, dass eine Transformation berechnet werden kann, welche durch die Ausrichtung des Fensters hervorgerufene Fehler korrigiert. Beispielsweise ist das System, sobald die Dreh- und Verschiebungsmatrix bestimmt wurden, für Ausrichtungsprobleme nicht anfällig. Zusätzlich hilft die Fähigkeit zum Messen und Korrigieren der Mittelachsenverschiebung auch bei der Verwendung und Auswahl einer Vielzahl von Materialien unabhängig vom Brechungsindex der Materialien oder unterschiedlichen Krümmungen.
  • 5B zeigt schematisch ein Beispiel einer durch die Installation eines Fensters 504 über einer Kameraanordnung 502, die ein Linsenmodul 506 und einen Bildsensor 508 umfasst, hervorgerufenen Mittelachsenverschiebung. Wie in diesem Beispiel dargestellt ist, ist das Fenster 504 so vor dem Linsenmodul 508 installiert, dass Lichtstrahlen durch das Fenster 504 hindurchtreten, bevor sie durch das Linsenmodul 506 hindurchtreten und schließlich auf den Bildsensor 508 fokussiert werden. Zum Vergleich sind die Strahlen sowohl durch das Fenster 504 beeinflusst als auch so, als ob das Fenster 504 nicht vorhanden wäre, dargestellt. Zusätzlich sind Strahlen sowohl an einer Achsenposition (blau dargestellte Mittelstrahlen) als auch an zwei Außerachsenpositionen oberhalb (+7,8° FOV) und unterhalb (-7,8° FOV) der Achsenposition (in Rot (oben) und Grün (unten)) dargestellt. Für jeden Strahl tritt ein gewisses Beugungsmaß auf, wenn die Strahlen durch das Fenster hindurchtreten. Für in 150 Yards auftretende Objekte kann diese Beugung zu einer erheblichen Verschiebung des wahrgenommenen Orts des Objekts führen. Beispielsweise tritt für den auf der Achse liegenden Strahl eine Verschiebung von 0,427 Metern auf. Noch extremer treten an den Außerachsenpositionen Verschiebungen von 2,8 Metern und 6,6 Metern auf. Wenngleich sich diese Beispiele auf eine spezifische Konfiguration und Orientierung des Fensters beziehen, werden die Probleme in Zusammenhang mit der Mittelachsenverschiebung klar erläutert. Falls sie nicht berücksichtigt wird, können Objekte als gegenüber ihrem tatsächlichen Ort verschoben erscheinen, was in autonomen Systemen, die sich auf die Ausgabe der Kameraanordnung 502 verlassen, um zu bestimmen, wie ein Fahrzeug zu leiten ist, besonders problematisch sein kann.
  • Die Bestimmung der Mittelachsenverschiebung und ihre Korrektur können durch Vergleichen der Differenzen in den intrinsischen Parametern des Kamerasystems sowohl mit installiertem Fenster als auch ohne installiertes Fenster erreicht werden. Bei einem Verfahren zum Bestimmen der intrinsischen Parameter der Kamera kann ein diffraktives optisches Element (DOE) verwendet werden. Die 6 - 17 zeigen Beispiele eines intrinsischen DOE-Kalibriermoduls gemäß einer Ausführungsform sowie assoziierte Verfahren zur Herstellung und Verwendung davon. Wie nachstehend beschrieben wird, kann ein solches intrinsisches DOE-Kalibriermodul während eines Prozesses zur Bestimmung und Korrektur einer Mittelachsenverschiebung verwendet werden.
  • 6 zeigt ein Diagramm einer Implementation eines Prozesses 600 zur geometrischen intrinsischen Kamerakalibrierung unter Verwendung eines diffraktiven optischen Elements. Gemäß einigen Ausführungsformen werden einer oder mehrere der mit Bezug auf den Prozess 600 beschriebenen Schritte (beispielsweise vollständig, teilweise und/oder dergleichen) durch das autonome Fahrzeug 102, wie vorstehend erwähnt, ausgeführt. Zusätzlich oder alternativ können gemäß einigen Ausführungsformen ein oder mehrere der mit Bezug auf den Prozess 600 beschriebenen Schritte (beispielsweise vollständig, teilweise und/oder dergleichen) durch eine andere Vorrichtung oder Gruppe von Vorrichtungen getrennt vom autonomen Fahrzeug 102 oder dieses einschließend, beispielsweise durch einen fernen Server (beispielsweise einen fernen Server, der dem Fern-AV-System 114 und/oder dem Flottenverwaltungssystem 116 aus 1 gleicht oder ähnelt), der einige oder alle der vorstehenden Berechnungen ausführt, ausgeführt werden.
  • Wie in 6 dargestellt ist, ist eine Vorrichtung 602, die ein diffraktives optisches Element 604 aufweist, mit einer optischen Achse einer Kamera 202a (die bei einigen Beispielen am autonomen Fahrzeug 102 befestigt sein kann) ausgerichtet. Die Vorrichtung 602 projiziert die Lichtstrahlen 604 über das diffraktive optische Element 604 auf die Kamera 202a. Jeder der Lichtstrahlen 604 weist eine Ausbreitungsrichtung auf, die mit einem entsprechenden von mehreren Sichtwinkeln der Kamera 202a assoziiert ist. Die Kamera 202a nimmt ein Bild 606 auf der Grundlage der Lichtstrahlen 604 auf und leitet das Bild über einen Datenport 610 an einen oder mehrere Prozessoren 608 weiter. Der Prozessor 608 führt im Speicher 612 gespeicherte Befehle aus, um Formen im empfangenen Bild 606 zu identifizieren (614), eine Entsprechung zwischen den Formen im Bild 606 und in den Lichtstrahlen 604 zu bestimmen (616), Pixelkoordinaten für die Formen zu berechnen (618), eine Tabelle, welche die Pixelkoordinaten mit entsprechenden Ausbreitungsrichtungen der Lichtstrahlen 604 assoziiert, zu speichern (620) und einen oder mehrere intrinsische Parameter der Kamera, welche eine Reprojektionsfehlerfunktion auf der Grundlage der Formen im Bild 606 und der Ausbreitungsrichtungen minimieren, zu identifizieren (622).
  • 7 zeigt ein Diagramm einer Implementation eines geometrischen intrinsischen Kamerakalibriersystems 700. Gemäß einigen Ausführungsformen weist das System 700 einen Laser 702 (beispielsweise einen Halbleiterlaser), eine Strahlaufweitungslinse 704, einen Kollimator 706, ein diffraktives optisches Element 708 (das beispielsweise einem oder mehreren diffraktiven optischen Elementen, die hier an anderer Stelle beschrieben wurden, gleichen oder ähneln kann) und ein Schutzfenster 712 auf. Der Laser 702 ist dafür ausgelegt, einen ersten Lichtstrahl 712 in Richtung eines Kollimators 706, optional durch eine Strahlaufweitungslinse 704, auszustrahlen. Bei einigen Beispielen ist die Strahlaufweitungslinse 704 dafür ausgelegt, den ersten Lichtstrahl 712 zu einem aufgeweiteten Lichtstrahl 714 aufzuweiten und den aufgeweiteten Lichtstrahl dem Kollimator 706 bereitzustellen. Bei wieder anderen Beispielen ist der Kollimator 706 ein strahlaufweitender Kollimator, der dafür ausgelegt ist, den vom Laser 702 ausgegebenen ersten Lichtstrahl 712 aufzuweiten, was bewirkt, dass der Durchmesser des kollimierten Lichtstrahls 716 größer als der Durchmesser des vom Laser 702 ausgegebenen ersten Lichtstrahls 712 ist. Der Kollimator 706 ist entlang einem optischen Weg des Lasers 702 angeordnet und dafür ausgelegt, einen kollimierten Lichtstrahl 716 auf der Grundlage des vom Laser 702 (und/oder von der Strahlaufweitungslinse 704) empfangenen ersten Lichtstrahls 712 (oder gegebenenfalls des erweiterten Lichtstrahls 714) auszugeben.
  • Das diffraktive optische Element 708 ist entlang einem optischen Weg des Kollimators 706 angeordnet und weist eine erste Fläche 718 und eine zweite Fläche 720 auf. Die erste Fläche 718 (beispielsweise eine flache Seite) weist eine Maske (in 7 nicht getrennt dargestellt) mit Sichtwinkeln einer Kamera (beispielsweise der in 7 nicht getrennt dargestellten Kamera 202a) entsprechenden Öffnungen auf. Die zweite Fläche 720 weist den Sichtwinkeln entsprechende Grate (in 7 nicht getrennt dargestellt) auf, wobei jeder Grat einen mit dem entsprechenden Sichtwinkel assoziierten Gratwinkel aufweist. Das diffraktive optische Element 708 ist dafür ausgelegt, den kollimierten Lichtstrahl 716 in mehrere Lichtstrahlen 722 zu zerlegen, indem der kollimierte Lichtstrahl 716 durch Öffnungen (beispielsweise in der Art der in 8 dargestellten Öffnungen 808) hindurchgeführt wird, und die Lichtstrahlen 722 durch die Grate einer Linse (in 7 nicht getrennt dargestellt) der Kamera zur Kalibrierung auszugeben, wobei die Lichtstrahlen 722 in jeweiligen auf den Gratwinkeln beruhenden Ausbreitungsrichtungen ausgegeben werden. Bei einem Beispiel werden die Lichtstrahlen 722 während einer Entwurfsphase des DOEs 708 ausgelegt. Bei einem solchen Beispiel wird ein Gitterwinkel des DOEs 708 auf der Grundlage einer gewünschten Anzahl von Lichtstrahlen (beispielsweise Lichtstrahlen 722), in die der Primärlichtstrahl 712 zu zerlegen ist, beispielsweise unter Verwendung der Gleichungen (1), (2) und (3) in der nachstehend beschriebenen Weise vorgegeben. Bei einem anderen Beispiel werden verschiedene Aspekte des DOEs 708 während einer Entwurfsphase auf der Grundlage des Gesichtsfelds und/oder der Auflösung einer unter Verwendung des DOEs 708 zu testenden Kamera ausgelegt. Beispielsweise kann das DOE 708 für eine Kamera mit einem Gesichtsfeld von 30 Grad und einer Auflösung von 2 Grad dafür ausgelegt werden, einen Primärlichtstrahl (der beispielsweise dem Lichtstrahl 712 gleicht oder ähnelt) in 15 Lichtstrahlen (die beispielsweise den Lichtstrahlen 722 gleichen oder ähneln) zu zerlegen, um jedes 2-Grad-Auflösungsintervall im Gesichtsfeld von 30 Grad abzudecken. Die Größe des Primärlichtstrahls (der beispielsweise dem Lichtstrahl 712 gleicht oder ähnelt) und/oder die Größe der mehreren Lichtstrahlen (die beispielsweise den Lichtstrahlen 722 gleichen oder ähneln), in welche der Primärlichtstrahl durch das DOE 708 zu zerlegen ist, können bei einem anderen Aspekt auf der Grundlage der Querschnittsfläche des DOEs 708, beispielsweise durch Dimensionieren der Öffnungen (beispielsweise der Öffnungen 808 aus 8) zur Verwendung eines maximalen Anteils der Querschnittsfläche einer Seite (beispielsweise der Seite 806 aus 8) des DOEs 708 definiert werden. Bei einigen Beispielen ist das diffraktive optische Element 708 ferner dafür ausgelegt, die Lichtstrahlen 722 durch die Linse und auf einen Bildsensor der Kamera zu projizieren, wenn die optischen Achsen des Lasers 702, der Strahlaufweitungslinse 704, des Kollimators 706, des diffraktiven optischen Elements 708 und der Kamera miteinander ausgerichtet sind, um zu ermöglichen, dass der Bildsensor ein Bild der Lichtstrahlen 722 für eine intrinsische Kalibrierung aufnimmt. Bei diesen Beispielen kann das diffraktive optische Element 708 ferner so ausgelegt sein, dass es bewirkt, dass ein Punktgitter auf der Grundlage der projizierten Lichtstrahlen auf dem Bildsensor der Kamera gebildet wird, wobei das Punktgitter den Sichtwinkeln der Kameras entspricht, und dass es die Berechnung wenigstens eines intrinsischen Parameters (beispielsweise Orientierung des diffraktiven optischen Elements 708, Brennweite der Kamera, Hauptpunkt der Kamera, Verzerrung der Orientierung der Kamera) ermöglicht. Gemäß einigen Ausführungsformen scheint jeder Punkt des Punktgitters von einer unendlichen Entfernung von der Kamera auszugehen, um ähnlich einem Verwendungsfall der Kameras 202a des autonomen Fahrzeugs 102 ein Kalibrier-„Target“ zu emulieren.
  • Die 8 und 9 zeigen Diagramme 800 und 900 von Implementationen diffraktiver optischer Elemente (die beispielsweise dem diffraktiven optischen Element 708 oder einem oder mehreren anderen diffraktiven optischen Elementen, wie hier beschrieben, gleichen oder ähneln können). Gemäß einigen Ausführungsformen, wie in 8 dargestellt, weist das diffraktive optische Element 802 eine erste Fläche 804 und eine zweite Fläche 806 auf. Die erste Fläche 804 weist Öffnungen 808 auf, die gemäß einigen Ausführungsformen in einem Fadenkreuzmuster angeordnet sind. Bei einem Beispiel sind die Öffnungen 808 in eine flache Oberfläche geätzt, um eine Maske auf der ersten Oberfläche 804 des optischen Elements 802 zu bilden. Bei einigen Beispielen sind das diffraktive optische Element 802 und die Öffnungen 808 kreisförmig und nehmen die Durchmesser der Öffnungen 808 von einem Rand des diffraktiven optischen Elements 802 zur Mitte des diffraktiven optischen Elements 802 ab. Unter weiterem Bezug auf die 8 und 9 sei bemerkt, dass das diffraktive optische Element 802 bei einigen Beispielen Grate 902 aufweist, die in konzentrischen Kreisen auf der zweiten Fläche 806 des diffraktiven optischen Elements 802 angeordnet sind. Bei diesen Beispielen sind die Öffnungen 808 entlang optischen Wegen der Grate 902 angeordnet.
  • 10 zeigt ein Flussdiagramm eines Prozesses 1000 zur Herstellung eines geometrischen intrinsischen Kamerakalibriersystems, das ein diffraktives optisches Element aufweist. Gemäß einigen Ausführungsformen werden einer oder mehrere der mit Bezug auf den Prozess 1000 beschriebenen Schritte (beispielsweise vollständig, teilweise und/oder dergleichen) durch das autonome Fahrzeug 102, wie vorstehend erwähnt, ausgeführt. Zusätzlich oder alternativ können gemäß einigen Ausführungsformen ein oder mehrere der mit Bezug auf den Prozess 1000 beschriebenen Schritte (beispielsweise vollständig, teilweise und/oder dergleichen) durch eine andere Vorrichtung oder Gruppe von Vorrichtungen getrennt vom autonomen Fahrzeug 102 oder dieses einschließend, beispielsweise durch einen fernen Server (beispielsweise einen fernen Server, der dem Fern-AV-System 114 und/oder dem Flottenverwaltungssystem 116 aus 1 gleicht oder ähnelt), der einige oder alle der vorstehenden Berechnungen ausführt, ausgeführt werden.
  • Unter weiterem Bezug auf 10 sei bemerkt, dass Öffnungen an einer ersten Fläche eines diffraktiven optischen Elements entsprechend mehreren Sichtwinkeln einer zu kalibrierenden Kamera gebildet werden (Block 1002). Der Prozessor 608 (oder ein anderer geeigneter Prozessor) bestimmt Gratwinkel auf der Grundlage der Sichtwinkel und auf der Grundlage einer vorgegebenen Formel (beispielsweise snelliussches Gesetz) (Block 1004), wie in weiteren Einzelheiten in Zusammenhang mit 11 beschrieben. Auf der Grundlage der Gratwinkel werden Grate an einer zweiten Fläche des diffraktiven optischen Elements gebildet (Block 1006). Ein Kollimator wird zwischen einem Laser und dem diffraktiven optischen Element angeordnet, wobei die optischen Achsen des Lasers, des Kollimators und des diffraktiven optischen Elements miteinander ausgerichtet werden (Block 1008). Beim Anordnen des Kollimators zwischen dem Laser und dem diffraktiven optischen Element werden bei einigen Beispielen der Abstand zwischen dem Laser und dem Kollimator und der Abstand zwischen dem Kollimator und dem diffraktiven optischen Element fixiert. Bei einigen Beispielen befindet sich eine Linse innerhalb des Kollimators und ist dafür ausgelegt, einen vom Laser ausgegebenen Lichtstrahl aufzuweiten (Block 1010).
  • 11 zeigt ein Diagramm 1100 einer Implementation eines diffraktiven optischen Elements 1102 (das beispielsweise dem diffraktiven optischen Element 708 oder einem oder mehreren anderen diffraktiven optischen Elementen, wie hier beschrieben, gleichen oder ähneln kann). Das diffraktive optische Element 1102 weist eine erste Fläche 1104 (die beispielsweise der ersten Fläche 718 und/oder 804 gleichen oder ähneln kann) und eine zweite Fläche 1106 (die beispielsweise der zweiten Fläche 720 und/oder 806 gleichen oder ähneln kann) auf. 11 weist eine Teilschnittansicht eines einzigen Grats 1108 des diffraktiven optischen Elements 1102 mit einem Gratwinkel 1116 (auch als DOE-Oberflächenwinkel bezeichnet), einem Sichtwinkel 1110, einem theta1 1112 und einem theta2 1114 auf. Gemäß einigen Ausführungsformen weist das diffraktive optische Element 1102 mehrere (beispielsweise 15) Sichtwinkel und mehrere (beispielsweise 15) entsprechende Grate (beispielsweise ähnlich dem Grat 1108) auf. Gemäß diesen Ausführungsformen wird die Geometrie (beispielsweise die Winkel) jedes Grats auf der Grundlage des snelliusschen Gesetzes, des Brechungsindex des das diffraktive optische Element bildenden Materials und/oder anderer Faktoren bestimmt, um eine gewünschte Feldwinkelprojektion in eine zu kalibrierende Kameralinse zu erreichen. Beispielsweise werden die Gratwinkel (beispielsweise der Gratwinkel 1116) bei einigen Beispielen durch Identifizieren der Gratwinkel, die dafür ausgelegt sind, von einem Kollimator kollimierte Strahlen unter jeweiligen Sichtwinkeln (beispielsweise Sichtwinkeln 1110) zu einer getesteten Kamera abzulenken, bestimmt. Gemäß einem Beispiel werden das snelliussche Gesetz (hier als Gleichung (1) reproduziert) und Gleichung (2) iterativ verwendet, um Werte von theta2 (1114) auf der Grundlage nacheinander eingegebener Schätzungen von theta1 (1112) zu bestimmen, bis Werte von theta1 und theta2 bestimmt wurden, die zum gewünschten Sichtwinkel (1110) führen. N 1 × sin ( theta 1 ) = N 2 × sin ( theta 2 )
    Figure DE102022104717A1_0001
     Sichtwinkel = theta 2 − ( 90 ° − theta 1 )
    Figure DE102022104717A1_0002
  • Sobald die Werte von theta1 und theta2 bestimmt wurden, die zum gewünschten Sichtwinkel (1110) führen, wird der jeweilige Gratwinkel (1116) für den gewünschten Sichtwinkel nach Gleichung (3) bestimmt. Gratwinkel = 90 ° − theta 1
    Figure DE102022104717A1_0003
  • Tabelle 1118 zeigt eine beispielhafte Liste von Sichtwinkeln 1110 entsprechend Werten von N1 und N2 (Brechungsindizes des das diffraktive optische Element 1102 bildenden Materials bzw. Vakuum) und Werten von theta1 1112, theta2 1114 und Gratwinkeln 1116, die für ein beispielhaftes diffraktives optisches Element 1102 mit 15 Sichtwinkeln bestimmt werden können.
  • 12 zeigt ein Flussdiagramm eines Prozesses 1200 für eine geometrische intrinsische Kamerakalibrierung unter Verwendung eines diffraktiven optischen Elements. Gemäß einigen Ausführungsformen werden einer oder mehrere der mit Bezug auf den Prozess 1200 beschriebenen Schritte (beispielsweise vollständig, teilweise und/oder dergleichen) durch das autonome Fahrzeug 102, wie vorstehend erwähnt, ausgeführt. Zusätzlich oder alternativ können gemäß einigen Ausführungsformen ein oder mehrere der mit Bezug auf den Prozess 1200 beschriebenen Schritte (beispielsweise vollständig, teilweise und/oder dergleichen) durch eine andere Vorrichtung oder Gruppe von Vorrichtungen getrennt vom autonomen Fahrzeug 102 oder dieses einschließend, beispielsweise durch einen fernen Server (beispielsweise einen fernen Server, der dem Fern-AV-System 114 und/oder dem Flottenverwaltungssystem 116 aus 1 gleicht oder ähnelt), der einige oder alle der vorstehenden Berechnungen ausführt, ausgeführt werden.
  • Unter weiterem Bezug auf 12 sei bemerkt, dass eine Kamera (beispielsweise die Kamera 202a) vor einem diffraktiven optischen Element (das beispielsweise dem diffraktiven optischen Element 708 oder einem oder mehreren anderen diffraktiven optischen Elementen, wie hier beschrieben, gleichen oder ähneln kann) mit wechselseitiger Ausrichtung der optischen Achsen angeordnet wird (Block 1202). Lichtstrahlen werden in der hier an anderer Stelle beschriebenen Weise über das diffraktive optische Element auf die Kamera projiziert, und die Kamera nimmt ein oder mehrere Bilder auf der Grundlage der projizierten Lichtstrahlen auf (Block 1204). Der Prozessor 608 (oder ein beliebiger geeigneter Prozessor) empfängt wenigstens ein von der Kamera aufgenommenes Bild auf der Grundlage der Lichtstrahlen, die vom mit der optischen Achse der Kamera ausgerichteten diffraktiven optischen Element empfangen werden, wobei die Lichtstrahlen Ausbreitungsrichtungen in Zusammenhang mit Sichtwinkeln der Kamera aufweisen (Block 1206). Bei einem Beispiel weisen die Richtungen der Lichtstrahlen Koordinaten in einem Koordinatensystem des diffraktiven optischen Elements auf. Der Prozessor 608 identifiziert Formen im Bild beispielsweise in der nachstehend in weiteren Einzelheiten in Zusammenhang mit 13 beschriebenen Weise (Block 1208). Der Prozessor 608 bestimmt eine Entsprechung zwischen den Formen im Bild und den Lichtstrahlen beispielsweise in der nachstehend in weiteren Einzelheiten in Zusammenhang mit 13 beschriebenen Weise. Bei einem Beispiel wird bei der Bestimmung der Entsprechung zwischen den Formen im Bild und den Lichtstrahlen eine Liste (beispielsweise pU1, DA1), (pU2, DA2), ..., (pUN, DAN) erzeugt, wobei die pUi Pixelkoordinaten von Punkten im Bild repräsentieren und die DAi entsprechende Richtungen der Lichtstrahlen in DOE-zentrischen Koordinaten repräsentieren (Block 1210). Die Pixelkoordinaten der Punkte im Bild können beispielsweise auf der Grundlage eines Schwerpunkterkennungsalgorithmus berechnet werden (Block 1212). Der Prozessor 608 speichert in einem Speicher (beispielsweise im Speicher 612) eine Tabelle, welche die Pixelkoordinaten auf der Grundlage der bestimmten Entsprechung zwischen den Formen im Bild und den Lichtstrahlen mit den Ausbreitungsrichtungen assoziiert (Block 1214). Der Prozessor 608 identifiziert einen oder mehrere intrinsische Parameter der Kamera (beispielsweise Brennweite der Kamera, Hauptpunkt der Kamera und/oder Verzerrung einer Linse der Kamera), wodurch eine Reprojektionsfehlerfunktion auf der Grundlage der Formen im Bild und der Ausbreitungsrichtungen minimiert wird (beispielsweise durch Finden intrinsischer Parameter (Θ) und der Drehmatrix CRD, wodurch eine Reprojektionsfehlerfunktion in der Art der in Gleichung (4) dargestellten Summe-von-Quadraten-Reprojektionsfehlerfunktion minimiert wird, wobei ||.|| die 2-Norm repräsentiert) (Block 1216). Q ( Θ , C R D ) = ∑ i = 1 N ‖ p U i − ƒ ( C R D ⋅ D A i , Θ ) ‖ 2
    Figure DE102022104717A1_0004
  • 13 zeigt ein Flussdiagramm eines weiteren Prozesses 1300 für eine geometrische intrinsische Kamerakalibrierung unter Verwendung eines diffraktiven optischen Elements. Gemäß einigen Ausführungsformen gleicht oder ähnelt der Prozess 1300 den vorstehend in Zusammenhang mit 12 beschriebenen Prozessen aus den Blöcken 1208, 1210 und/oder 1212. Gemäß einigen Ausführungsformen werden einer oder mehrere der mit Bezug auf den Prozess 1300 beschriebenen Schritte (beispielsweise vollständig, teilweise und/oder dergleichen) durch das autonome Fahrzeug 102, wie vorstehend erwähnt, ausgeführt. Zusätzlich oder alternativ können gemäß einigen Ausführungsformen ein oder mehrere der mit Bezug auf den Prozess 1300 beschriebenen Schritte (beispielsweise vollständig, teilweise und/oder dergleichen) durch eine andere Vorrichtung oder Gruppe von Vorrichtungen getrennt vom autonomen Fahrzeug 102 oder dieses einschließend, beispielsweise durch einen Prozessor 608, einen fernen Server (beispielsweise einen fernen Server, der dem Fern-AV-System 114 und/oder dem Flottenverwaltungssystem 116 aus 1 gleicht oder ähnelt), der einige oder alle der vorstehenden Berechnungen ausführt, ausgeführt werden.
  • Unter weiterem Bezug auf 13 sei bemerkt, dass der Prozessor 608 (oder ein beliebiger geeigneter Prozessor) ein Bild in der Art des Bilds 1400 in 14, das von einer Kamera (beispielsweise der Kamera 202a) auf der Grundlage von Lichtstrahlen, die durch ein diffraktives optisches Element (das beispielsweise dem diffraktiven optischen Element 708 oder einem oder mehreren anderen diffraktiven optischen Elementen, wie hier beschrieben, gleichen oder ähneln kann) darauf projiziert wurden, aufgenommen wurde, lädt (1302). Der Prozessor 608 führt eine Demosaikverarbeitung am geladenen Bild unter Verwendung eines geeigneten Demosaikalgorithmus aus (1304). Der Prozessor 608 identifiziert Formen (beispielsweise Blobs, Punkte und/oder Schwerpunkte, wie im Bild 1500 aus 15 dargestellt) im der Demosaikverarbeitung unterzogenen Bild durch Ausführen eines gewichteten Schwerpunkterkennungsalgorithmus auf der Grundlage des der Demosaikverarbeitung unterzogenen Bilds (1306). Der Prozessor 608 weist eine der identifizierten Formen (beispielsweise Form 1602 aus 16) als einer zentralen Form 1602 aus den Formen im Bild 1500 entsprechend zu (1308). Der Prozessor 608 sortiert die Formen des Bilds 1500 zumindest teilweise auf der Grundlage der Positionen der mehreren Formen in Bezug auf die zentrale Form 1602 in eine Reihenfolge (beispielsweise in der Zeilen- und Spaltenreihenfolge auf der Grundlage der in 17 dargestellten zentralen Form 1602 indexiert) (1310). Der Prozessor 608 assoziiert jede Form mit einem entsprechenden der Lichtstrahlen zumindest teilweise auf der Grundlage der Reihenfolge der Formen (1312).
  • Die mit Bezug auf die 6 - 17 beschriebenen DOE-intrinsischen Kalibriermodule können zur Bestimmung der intrinsischen Eigenschaften des Kamerasystems mit und ohne installiertes Fenster verwendet werden. Diese intrinsischen Eigenschaften können dann verglichen werden, um die durch das Fenster hervorgerufenen Mittelachsenverschiebungswirkungen zu bestimmen. Eine Transformation, welche die Mittelachsenverschiebung korrigiert, kann auch bestimmt werden und auf künftige aufgenommene Bilder mit installiertem Fenster auf die Korrektur der Mittelachsenverschiebung angewendet werden.
  • Die 18A - 18C zeigen einen beispielhaften Prozess. Mit Bezug auf 18A sei bemerkt, dass eine Kameraanordnung 1802 in einem Gehäuse 1804 installiert werden kann. Ohne ein installiertes Schutzfenster kann eine intrinsische Kalibrierung ausgeführt werden (wie beispielsweise vorstehend mit Bezug auf die 6 - 17 beschrieben), um für ein Gitter von Pixeln die Richtung zu bestimmen, in welche die Pixel zeigen. In 18A sind die Richtungen, in welche die Pixel zeigen, in einer Auftragung 1810a dargestellt, wobei die Pixel vom Pluszeichen zum Quadrat zeigen.
  • Die Größe des Gitters und wie nahe die Punkte des Gitters des diffraktiven optischen Elements (DOE) beieinander liegen sollten (beispielsweise Pixelabstand) können gemäß einigen Ausführungsformen auf der Grundlage des optischen Systems (beispielsweise der Kamera), das in Kürze kalibriert wird, bestimmt werden. Faktoren des optischen Systems, die berücksichtigt werden können, umfassen Folgende: (a) Das FOV der Kamera. Gemäß einigen Ausführungsformen ist es wünschenswert, das gesamte Gesichtsfeld der Kamera abzudecken, so dass die das gesamte FOV einschließenden DOE-Punkte gesehen werden können; (b) Die Gittergröße kann darauf beruhen, wie viele Punkte im FOV einer jeweiligen Kamera, um das System unter Verwendung des intrinsischen Kalibrieralgorithmus erfolgreich zu kalibrieren. Beispielsweise könnte ein 15 x 15-Gitter für ein kleineres FOV von 30 bis 40 Grad ausreichen, für eine Kamera mit einem FOV von mehr als 90 Grad könnte das 15 x 15-Gitter jedoch zu sehr ausgebreitet sein, um das gesamte FOV abzudecken. In diesem Fall kann es wünschenswert sein, die Gittergröße zu erhöhen; (c) Den Pixelabstand. Dies kann von der Sensorauflösung und/oder vom FOV und von der Fähigkeit des vorhandenen Kalibrieralgorithmus abhängen. Falls die Kamera beispielsweise eine hohe Auflösung aufweist, werden ein moderates FOV (beispielsweise etwa 50 Grad) und ein robuster Kalibrieralgorithmus verwendet und könnte das Pixel um etwa 3 - 4 Mikrometer messen, vorausgesetzt, dass die Gitter das gesamte FOV abdecken. Im Allgemeinen kann der Kalibrieralgorithmus, je größer die Anzahl der das FOV abdeckenden Punkte ist, umso mehr Datenpunkte für seine Optimierung verwenden, wodurch ein genauerer Algorithmus bereitgestellt wird, vorausgesetzt, dass die Sensorauflösung seine Funktionsweise nicht behindert.
  • Wie in 18B dargestellt ist, kann ein Fenster 1806 am Gehäuse 1804 über der Kameraanordnung 1802 installiert werden. Nachdem das Fenster 1806 installiert wurde, kann die intrinsische Kalibrierung wieder ausgeführt werden. Für das Pixelgitter werden die Richtungen erneut bestimmt. Diese Richtungen werden durch die Auftragung 1810b repräsentiert. Durch Vergleichen der Auftragung 1810a und der Auftragung 1810b können die Wirkungen der Mittelachsenverschiebung anhand der Differenzen zwischen den Auftragungen gesehen werden. Durch Berechnen der Winkeldifferenz zwischen den jeweiligen Richtungen für jedes der Pixel kann eine Transformation zwischen den beiden erhalten werden. Die Transformation kann, wenn sie angewendet wird, die Mittelachsenverschiebung korrigieren, wie in 18C dargestellt. Wie dargestellt ist, erscheint, selbst wenn das Fenster 1806 installiert ist, die Auftragung 1810c ähnlich oder identisch mit der Auftragung 1810a, welche das System ohne die durch das Fenster 1806 hervorgerufene Mittelachsenverschiebung repräsentiert, wenn die Transformation angewendet wird.
  • Die 19A und 19B zeigen die Wirkung unter Verwendung eines größeren Pixelgitters. 19A repräsentiert eine durch intrinsische Kalibrierung vor der Installation des Fensters erhaltene Auftragung von Pixelrichtungen, und 19B zeigt eine durch intrinsische Kalibrierung nach der Installation des Fensters erhaltene Auftragung von Pixelrichtungen. Wie dargestellt ist, haben sich die Pixelrichtungen in 19B geändert. Diese Änderung wird durch die Mittelachsenverschiebung hervorgerufen. Durch Berechnen der Winkeldifferenz zwischen den Pixelrichtungen für jedes Pixel im Gitter kann die korrigierende Transformation erhalten werden.
  • 20 ist ein Flussdiagramm eines beispielhaften Prozesses 2000 zur Bestimmung einer Transformation, welche die Mittelachsenverschiebung korrigieren kann. Der Prozess beginnt in Block 2002 mit dem Montieren einer Kameraanordnung in einer Einfassung oder einem Gehäuse ohne Installation eines Fensters über der Kameraanordnung. In Block 2004 wird die Kamera ohne installiertes Fenster kalibriert. Die Kalibrierung kann die intrinsische Kalibrierung unter Verwendung eines DOE-intrinsischen Kalibriermoduls, wie vorstehend mit Bezug auf die 6 - 17 beschrieben, einschließen. Die Kalibrierung kann beispielsweise eine Pixelrichtung (beispielsweise dreidimensionale Strahlrichtungen) für mehrere Punkte in einem Gitter bestimmen. Die Anzahl der Pixel und die Größe des Gitters können dafür ausgelegt werden, das Gesichtsfeld der Kameraanordnung abzudecken. Diese Informationen können als Kalibrierdaten C1 gespeichert werden.
  • Zu Block 2006 übergehend sei bemerkt, dass das Fenster dann über der Kameraanordnung installiert werden kann. Nachdem das Fenster installiert wurde, wird die Kamera in Block 2008 zum zweiten Mal kalibriert. Die Kalibrierung kann die intrinsische Kalibrierung unter Verwendung eines DOE-intrinsischen Kalibriermoduls, wie vorstehend mit Bezug auf die 6 - 17 beschrieben, einschließen. Die Kalibrierung kann beispielsweise die Pixelrichtung (beispielsweise dreidimensionale Strahlrichtungen) für die mehreren Punkte in einem Gitter bestimmen. Diese Informationen können als Kalibrierdaten C2 gespeichert werden.
  • In Block 2010 werden Kalibrierdaten C1 (ohne das Fenster) und Kalibrierdaten C2 verglichen, um die Winkeldifferenz zwischen den Pixelrichtungen für jedes Pixel im Gitter zu bestimmen. Diese Differenzen werden durch die Mittelachsenverschiebung hervorgerufen und können zur Bestimmung einer Transformation, welche die Mittelachsenverschiebung korrigiert, verwendet werden. Gemäß einigen Ausführungsformen ist die Transformation ein Vergleich zwischen den Strahlwinkeln zwischen den Strahlrichtungen eines bestimmten Punkts im FOV mit dem Gestaltungsfenster/mit der optischen Schicht und ohne diese. Diese Strahlenwinkeldifferenz existiert für jeden Gitterpunkt im 3D-Raum. Gemäß einigen Ausführungsformen stellt eine extrinsische Kalibrierung zwischen den beiden „Gitterebenen“ eine Dreh- und Verschiebungsmatrix bereit.
  • In Block 2012 kann die Transformation auf alle nachfolgenden von der Kamera aufgenommenen Bilder angewendet werden, um die Mittelachsenverschiebung zu korrigieren.
  • In der vorhergehenden Beschreibung wurden Aspekte und Ausführungsformen der vorliegenden Offenbarung mit Bezug auf zahlreiche spezifische Einzelheiten, die von Implementation zu Implementation variieren können, beschrieben. Dementsprechend sind die Beschreibung und die Zeichnungen als erläuternd und nicht als einschränkend anzusehen. Der einzige und ausschließliche Indikator des Schutzumfangs der Erfindung und dessen, was von den Anmeldern als der Schutzumfang der Erfindung vorgesehen ist, ist der buchstäbliche und gleichwertige Schutzumfang des Anspruchssatzes, der sich aus dieser Anmeldung ergibt, in der spezifischen Form, in der diese Ansprüche erteilt werden, einschließlich jeder späteren Korrektur. Jegliche Definitionen, die hier ausdrücklich für in diesen Ansprüchen enthaltene Begriffe dargelegt sind, sollen die Bedeutung dieser Begriffe, wie in den Ansprüchen verwendet, bestimmen. Zusätzlich kann, wenn wir den Begriff „ferner umfassend“ in der folgenden Beschreibung oder den folgenden Ansprüchen verwenden, das, was diesem Ausdruck folgt, ein zusätzlicher Schritt oder eine zusätzliche Entität oder ein Unterschritt/eine Unterentität eines zuvor erwähnten Schritts oder einer zuvor erwähnten Entität sein.
  • Verschiedene zusätzliche beispielhafte Ausführungsformen der Offenbarung können durch die folgenden Klauseln beschrieben werden:
    • Klausel 1: Verfahren, umfassend:
      • Positionieren einer Kameraanordnung in einem Gehäuse, wobei die Kameraanordnung eine Linsenanordnung und einen Bildsensor umfasst, wobei das Gehäuse so in Bezug auf ein Target positioniert wird, dass das Kalibriertarget das Gesichtsfeld der Kameraanordnung zumindest teilweise abdeckt,
      • Bestimmen einer ersten Anzahl von Pixelorten entsprechend einer Anzahl von Orten auf dem Target auf der Grundlage einer ersten Ausgabe des Bildsensors,
      • Bestimmen einer zweiten Anzahl von Pixelorten entsprechend der Anzahl von Orten auf dem Target auf der Grundlage einer zweiten Ausgabe des Bildsensors, die erhalten wird, wenn ein Fenster am Gehäuse positioniert ist, wobei eine durch das Fenster hervorgerufene Mittelachsenverschiebung bewirkt, dass die zweite Anzahl von Pixelorten von der ersten Anzahl von Pixelorten abweicht,
      • Erzeugen einer Transformation, welche die zweite Anzahl von Pixelorten auf die erste Anzahl von Pixelorten abbildet, und
      • Anwenden der Transformation auf nachfolgende von der Kameraanordnung aufgenommene Bilder, wobei das Fenster über der Kameraanordnung installiert ist.
    • Klausel 2: Verfahren nach Klausel 1, wobei die Transformation die durch das Fenster hervorgerufene Mittelachsenverschiebung korrigiert.
    • Klausel 3: Verfahren nach einer der Klauseln 1 oder 2, wobei:
      • bei der Bestimmung der ersten Anzahl von Pixelorten entsprechend der Anzahl von Orten auf dem Target für jeden von der ersten Anzahl von Pixelorten eine erste dreidimensionale Strahlrichtung vom Pixelort zum entsprechenden Ort auf dem Target bestimmt wird und
      • bei der Bestimmung der zweiten Anzahl von Pixelorten entsprechend der Anzahl von Orten auf dem Target für jeden von der zweiten Anzahl von Pixelorten eine zweite dreidimensionale Strahlrichtung vom Pixelort zum entsprechenden Ort auf dem Target bestimmt wird.
    • Klausel 4: Verfahren nach Klausel 3, wobei bei der Erzeugung der Transformation eine Winkeldifferenz zwischen allen ersten und zweiten dreidimensionalen Strahlrichtungen bestimmt wird.
    • Klausel 5: Verfahren nach einer der Klauseln 1 - 4, wobei das Target ein Punktgitter umfasst.
    • Klausel 6: Verfahren nach einer der Klauseln 1 - 5, wobei das Gehäuse so in Bezug auf das Target positioniert wird, dass das Target das Gesichtsfeld des Kamerasensors vollständig abdeckt.
    • Klausel 7: Verfahren nach einer der Klauseln 1 - 6, wobei ferner die Transformation gespeichert wird.
    • Klausel 8: Wenigstens ein nichtflüchtiges Speichermedium, das Befehle speichert, die, wenn sie durch den wenigstens einen Prozessor ausgeführt werden, den wenigstens einen Prozessor veranlassen, Folgendes auszuführen:
      • Bestimmen einer ersten Anzahl von Pixelorten entsprechend einer Anzahl von Orten auf einem Target auf der Grundlage einer ersten Ausgabe einer Kameraanordnung, wobei die erste Ausgabe der Kameraanordnung vor der Positionierung eines Fensters über der Kameraanordnung erhalten wird,
      • Bestimmen einer zweiten Anzahl von Pixelorten entsprechend der Anzahl von Orten auf dem Target auf der Grundlage einer zweiten Ausgabe der Kameraanordnung, die erhalten wird, wenn das Fenster über der Kameraanordnung positioniert ist,
      • Erzeugen einer Transformation, welche die zweite Anzahl von Pixelorten auf die erste Anzahl von Pixelorten abbildet, und
      • Speichern der Transformation in einem mit der Kameraanordnung assoziierten Speicher, so dass die Transformation auf nachfolgende von der Kameraanordnung aufgenommene Bilder, wobei das Fenster über der Kameraanordnung installiert ist, angewendet wird.
    • Klausel 9: Wenigstens ein nichtflüchtiges Speichermedium nach Klausel 8, wobei die Transformation die durch das Fenster hervorgerufene Mittelachsenverschiebung korrigiert.
    • Klausel 10: Wenigstens ein nichtflüchtiges Speichermedium nach einer der Klauseln 8 oder 9, wobei die Befehle ferner den wenigstens einen Prozessor veranlassen, Folgendes auszuführen:
      • Bestimmen der ersten Anzahl von Pixelorten entsprechend der Anzahl von Orten auf dem Target durch Bestimmen einer ersten dreidimensionalen Strahlrichtung vom Pixelort zum entsprechenden Ort auf dem Target für jeden von der ersten Anzahl von Pixelorten und
      • Bestimmen der zweiten Anzahl von Pixelorten entsprechend der Anzahl von Orten auf dem Target durch Bestimmen einer zweiten dreidimensionalen Strahlrichtung vom Pixelort zum entsprechenden Ort auf dem Target für jeden von der zweiten Anzahl von Pixelorten.
    • Klausel 11: Wenigstens ein nichtflüchtiges Speichermedium nach Klausel 10, wobei bei der Erzeugung der Transformation eine Winkeldifferenz zwischen allen ersten und zweiten dreidimensionalen Strahlrichtungen bestimmt wird.
    • Klausel 12: Wenigstens ein nichtflüchtiges Speichermedium nach einer der Klauseln 8 - 11, wobei das Target ein Punktgitter umfasst.
    • Klausel 13: Wenigstens ein nichtflüchtiges Speichermedium nach einer der Klauseln 8 - 12, wobei die Befehle ferner den wenigstens einen Prozessor veranlassen, die Transformation zu speichern.
    • Klausel 14: System, umfassend:
      • eine Kameraanordnung, die eine Linsenanordnung und einen Bildsensor, die innerhalb eines Gehäuses positioniert sind, umfasst,
      • ein computerlesbares Medium, das eine Transformation speichert, die eine durch das Fenster hervorgerufene Mittelachsenverschiebung korrigiert, wobei die Transformation durch Folgendes erzeugt wird:
        • Bestimmen einer ersten Anzahl von Pixelorten entsprechend einer Anzahl von Orten auf einem Target auf der Grundlage einer ersten Ausgabe einer Kameraanordnung, wobei die erste Ausgabe der Kameraanordnung vor der Positionierung eines Fensters über der Kameraanordnung erhalten wird,
        • Bestimmen einer zweiten Anzahl von Pixelorten entsprechend der Anzahl von Orten auf dem Target auf der Grundlage einer zweiten Ausgabe der Kameraanordnung, die erhalten wird, wenn das Fenster über der Kameraanordnung positioniert ist, und
        • Abbilden der zweiten Anzahl von Pixelorten auf die erste Anzahl von Pixelorten, und
      • einen Prozessor, der dafür ausgelegt ist, die Transformation auf von der Kameraanordnung aufgenommene Bilder anzuwenden.
    • Klausel 15: System nach Klausel 14, wobei:
      • bei der Bestimmung der ersten Anzahl von Pixelorten entsprechend der Anzahl von Orten auf dem Target für jeden von der ersten Anzahl von Pixelorten eine erste dreidimensionale Strahlrichtung vom Pixelort zum entsprechenden Ort auf dem Target bestimmt wird und
      • bei der Bestimmung der zweiten Anzahl von Pixelorten entsprechend der Anzahl von Orten auf dem Target für jeden von der zweiten Anzahl von Pixelorten eine zweite dreidimensionale Strahlrichtung vom Pixelort zum entsprechenden Ort auf dem Target bestimmt wird.
    • Klausel 16: System nach Klausel 15, wobei die Transformation durch Bestimmen einer Winkeldifferenz zwischen allen ersten und zweiten dreidimensionalen Strahlrichtungen erzeugt wird.
    • Klausel 17: System nach einer der Klauseln 14 - 16, wobei das Target ein Punktgitter umfasst.
    • Klausel 18: System nach einer der Klauseln 14 - 17, wobei das Fenster ein Schutzfenster ist.
    • Klausel 19: System nach einer der Klauseln 14 - 18, wobei das Fenster die Kameraanordnung versiegelt.
    • Klausel 20: System nach einer der Klauseln 14 - 19, wobei das Gehäuse an einem autonomen System eines Fahrzeugs positioniert ist.

Claims (20)

  1. Verfahren, umfassend: Positionieren einer Kameraanordnung in einem Gehäuse, wobei die Kameraanordnung eine Linsenanordnung und einen Bildsensor umfasst, wobei das Gehäuse so in Bezug auf ein Target positioniert wird, dass das Kalibriertarget das Gesichtsfeld der Kameraanordnung zumindest teilweise abdeckt, Bestimmen einer ersten Anzahl von Pixelorten entsprechend einer Anzahl von Orten auf dem Target auf der Grundlage einer ersten Ausgabe des Bildsensors, Bestimmen einer zweiten Anzahl von Pixelorten entsprechend der Anzahl von Orten auf dem Target auf der Grundlage einer zweiten Ausgabe des Bildsensors, die erhalten wird, wenn ein Fenster am Gehäuse positioniert ist, wobei eine durch das Fenster hervorgerufene Mittelachsenverschiebung bewirkt, dass die zweite Anzahl von Pixelorten von der ersten Anzahl von Pixelorten abweicht, Erzeugen einer Transformation, welche die zweite Anzahl von Pixelorten auf die erste Anzahl von Pixelorten abbildet, und Anwenden der Transformation auf nachfolgende von der Kameraanordnung aufgenommene Bilder, wobei das Fenster über der Kameraanordnung installiert ist.
  2. Verfahren nach Anspruch 1, wobei die Transformation die durch das Fenster hervorgerufene Mittelachsenverschiebung korrigiert.
  3. Verfahren nach Anspruch 1 oder 2, wobei: bei der Bestimmung der ersten Anzahl von Pixelorten entsprechend der Anzahl von Orten auf dem Target für jeden von der ersten Anzahl von Pixelorten eine erste dreidimensionale Strahlrichtung vom Pixelort zum entsprechenden Ort auf dem Target bestimmt wird und bei der Bestimmung der zweiten Anzahl von Pixelorten entsprechend der Anzahl von Orten auf dem Target für jeden von der zweiten Anzahl von Pixelorten eine zweite dreidimensionale Strahlrichtung vom Pixelort zum entsprechenden Ort auf dem Target bestimmt wird.
  4. Verfahren nach Anspruch 3, wobei bei der Erzeugung der Transformation eine Winkeldifferenz zwischen allen ersten und zweiten dreidimensionalen Strahlrichtungen bestimmt wird.
  5. Verfahren nach einem der Ansprüche 1-4, wobei das Target ein Punktgitter umfasst.
  6. Verfahren nach einem der Ansprüche 1-5, wobei das Gehäuse so in Bezug auf das Target positioniert wird, dass das Target das Gesichtsfeld des Kamerasensors vollständig abdeckt.
  7. Verfahren nach einem der Ansprüche 1-6, wobei ferner die Transformation gespeichert wird.
  8. Wenigstens ein nichtflüchtiges Speichermedium, das Befehle speichert, die, wenn sie durch den wenigstens einen Prozessor ausgeführt werden, den wenigstens einen Prozessor veranlassen, Folgendes auszuführen: Bestimmen einer ersten Anzahl von Pixelorten entsprechend einer Anzahl von Orten auf einem Target auf der Grundlage einer ersten Ausgabe einer Kameraanordnung, wobei die erste Ausgabe der Kameraanordnung vor der Positionierung eines Fensters über der Kameraanordnung erhalten wird, Bestimmen einer zweiten Anzahl von Pixelorten entsprechend der Anzahl von Orten auf dem Target auf der Grundlage einer zweiten Ausgabe der Kameraanordnung, die erhalten wird, wenn das Fenster über der Kameraanordnung positioniert ist, Erzeugen einer Transformation, welche die zweite Anzahl von Pixelorten auf die erste Anzahl von Pixelorten abbildet, und Speichern der Transformation in einem mit der Kameraanordnung assoziierten Speicher, so dass die Transformation auf nachfolgende von der Kameraanordnung aufgenommene Bilder, wobei das Fenster über der Kameraanordnung installiert ist, angewendet wird.
  9. Wenigstens ein nichtflüchtiges Speichermedium nach Anspruch 8, wobei die Transformation die durch das Fenster hervorgerufene Mittelachsenverschiebung korrigiert.
  10. Wenigstens ein nichtflüchtiges Speichermedium nach Anspruch 8 oder 9, wobei die Befehle ferner den wenigstens einen Prozessor veranlassen, Folgendes auszuführen: Bestimmen der ersten Anzahl von Pixelorten entsprechend der Anzahl von Orten auf dem Target durch Bestimmen einer ersten dreidimensionalen Strahlrichtung vom Pixelort zum entsprechenden Ort auf dem Target für jeden von der ersten Anzahl von Pixelorten und Bestimmen der zweiten Anzahl von Pixelorten entsprechend der Anzahl von Orten auf dem Target durch Bestimmen einer zweiten dreidimensionalen Strahlrichtung vom Pixelort zum entsprechenden Ort auf dem Target für jeden von der zweiten Anzahl von Pixelorten.
  11. Wenigstens ein nichtflüchtiges Speichermedium nach Anspruch 10, wobei bei der Erzeugung der Transformation eine Winkeldifferenz zwischen allen ersten und zweiten dreidimensionalen Strahlrichtungen bestimmt wird.
  12. Wenigstens ein nichtflüchtiges Speichermedium nach einem der Ansprüche 8-11, wobei das Target ein Punktgitter umfasst.
  13. Wenigstens ein nichtflüchtiges Speichermedium nach einem der Ansprüche 8-12, wobei die Befehle ferner den wenigstens einen Prozessor veranlassen, die Transformation zu speichern.
  14. System, umfassend: eine Kameraanordnung, die eine Linsenanordnung und einen Bildsensor, die innerhalb eines Gehäuses positioniert sind, umfasst, ein computerlesbares Medium, das eine Transformation speichert, die eine durch das Fenster hervorgerufene Mittelachsenverschiebung korrigiert, wobei die Transformation durch Folgendes erzeugt wird: Bestimmen einer ersten Anzahl von Pixelorten entsprechend einer Anzahl von Orten auf einem Target auf der Grundlage einer ersten Ausgabe einer Kameraanordnung, wobei die erste Ausgabe der Kameraanordnung vor der Positionierung eines Fensters über der Kameraanordnung erhalten wird, Bestimmen einer zweiten Anzahl von Pixelorten entsprechend der Anzahl von Orten auf dem Target auf der Grundlage einer zweiten Ausgabe der Kameraanordnung, die erhalten wird, wenn das Fenster über der Kameraanordnung positioniert ist, und Abbilden der zweiten Anzahl von Pixelorten auf die erste Anzahl von Pixelorten, und einen Prozessor, der dafür ausgelegt ist, die Transformation auf von der Kameraanordnung aufgenommene Bilder anzuwenden.
  15. System nach Anspruch 14, wobei: bei der Bestimmung der ersten Anzahl von Pixelorten entsprechend der Anzahl von Orten auf dem Target für jeden von der ersten Anzahl von Pixelorten eine erste dreidimensionale Strahlrichtung vom Pixelort zum entsprechenden Ort auf dem Target bestimmt wird und bei der Bestimmung der zweiten Anzahl von Pixelorten entsprechend der Anzahl von Orten auf dem Target für jeden von der zweiten Anzahl von Pixelorten eine zweite dreidimensionale Strahlrichtung vom Pixelort zum entsprechenden Ort auf dem Target bestimmt wird.
  16. System nach Anspruch 15, wobei die Transformation durch Bestimmen einer Winkeldifferenz zwischen allen ersten und zweiten dreidimensionalen Strahlrichtungen erzeugt wird.
  17. System nach einem der Ansprüche 14-16, wobei das Target ein Punktgitter umfasst.
  18. System nach einem der Ansprüche 14-17, wobei das Fenster ein Schutzfenster ist.
  19. System nach einem der Ansprüche 14-18, wobei das Fenster die Kameraanordnung versiegelt.
  20. System nach einem der Ansprüche 14-19, wobei das Gehäuse an einem autonomen System eines Fahrzeugs positioniert ist.
DE102022104717.2A 2022-01-21 2022-02-28 Verfahren und systeme zur bestimmung eines mittelachsenfehlers in einem optischen system Pending DE102022104717A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/581,582 2022-01-21
US17/581,582 US11812128B2 (en) 2022-01-21 2022-01-21 Methods and systems for determination of boresight error in an optical system

Publications (1)

Publication Number Publication Date
DE102022104717A1 true DE102022104717A1 (de) 2023-07-27

Family

ID=81175507

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022104717.2A Pending DE102022104717A1 (de) 2022-01-21 2022-02-28 Verfahren und systeme zur bestimmung eines mittelachsenfehlers in einem optischen system

Country Status (5)

Country Link
US (1) US11812128B2 (de)
KR (1) KR20230113100A (de)
CN (1) CN116528031A (de)
DE (1) DE102022104717A1 (de)
GB (1) GB2615145A (de)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL167193A (en) 2004-03-18 2009-11-18 Elbit Systems Ltd Method and system for determining optical distortion in a transparent medium
US9459515B2 (en) * 2008-12-05 2016-10-04 Mobileye Vision Technologies Ltd. Adjustable camera mount for a vehicle windshield
US9734419B1 (en) 2008-12-30 2017-08-15 Cognex Corporation System and method for validating camera calibration in a vision system
JP6427900B2 (ja) 2014-03-07 2018-11-28 株式会社リコー 校正方法、校正システム、プログラム及び移動体
JP2017062198A (ja) 2015-09-25 2017-03-30 富士重工業株式会社 幾何歪除去再現装置
US10771776B2 (en) 2017-09-12 2020-09-08 Sony Corporation Apparatus and method for generating a camera model for an imaging system
JP7405710B2 (ja) * 2020-07-16 2023-12-26 日立Astemo株式会社 処理装置及び車載カメラ装置

Also Published As

Publication number Publication date
US11812128B2 (en) 2023-11-07
KR20230113100A (ko) 2023-07-28
GB2615145A (en) 2023-08-02
GB202203254D0 (en) 2022-04-20
US20230262303A1 (en) 2023-08-17
CN116528031A (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
DE112019006128T5 (de) Systeme und verfahren zum validieren von sensorkalibrierung
DE102021132853A1 (de) Auf deep learning basierende kamerakalibrierung
DE102022102189A1 (de) Multimodales Segmentierungsnetz für ein verbessertes semantisches Labelingbei einer Kartenerzeugung
DE102022106461A1 (de) Systeme und verfahren zur kameraausrichtung
DE102022102182A1 (de) Sipm-basierter sensor zur zusammenführung niedriger ebene
DE102022100214A1 (de) Auf einem zweimodigen Silicium-Photomultiplier beruhendes LiDAR
DE102021131480A1 (de) Sensorangriffssimulationssystem
DE102022104054A1 (de) Die fahrzeugzustandsschätzung verbessernde sensordaten zur fahrzeugsteuerung und zum autonomen fahren
DE102022131625A1 (de) Bordsteinbasierte merkmalsextraktion für lokalisierung und fahrspurerkennung mittels radar
DE102022122456A1 (de) Auf maschinellem lernen basierte klassifizierung einer punktwolkenausrichtung
DE102022104716A1 (de) Kalibrierkurse und -objekte
DE102022103060A1 (de) Automatisches detektieren von verkehrssignalen unter verwendung von sensordaten
DE102022102187A1 (de) High-fidelity-daten-getriebene multimodale simulation
DE102022104718A1 (de) Aktive ausrichtung einer optischen anordnung mit intrinsischer kalibrierung
DE102022106723A1 (de) Geometrische intrinsische kamerakalibration unter verwendung eines diffraktiven optischen elements
DE102022104056A1 (de) Universelles sensorfunktionsweise- und kalibriertarget für mehrsensor-bilderzeugungssysteme
DE102023104784A1 (de) Bildbasierte lidar-kamera-synchronisierung
DE102022133254A1 (de) Antennenüberwachung und -auswahl
DE102021133740A1 (de) Erlernen der identifikation sicherheitskritischer szenarien für ein autonomes fahrzeug
DE102022104717A1 (de) Verfahren und systeme zur bestimmung eines mittelachsenfehlers in einem optischen system
DE102021134413A1 (de) Systeme und verfahren zur messung der optischen vignettierung
DE102022103427A1 (de) Systeme und verfahren zur behandlung des verhaltens von ampeln
DE102021132844A1 (de) Kalibrierungskurse und -ziele
DE102023101852A1 (de) Komponentenkalibrierung unter verwendung von bewegungserfassungssensordaten
DE102023115560A1 (de) Beibehaltung einer Kalibrierung einer IBIS-Kamera