DE102020114916A1 - Systeme und verfahren zum reduzieren von flimmerartefakten in bildlichtquellen - Google Patents

Systeme und verfahren zum reduzieren von flimmerartefakten in bildlichtquellen Download PDF

Info

Publication number
DE102020114916A1
DE102020114916A1 DE102020114916.6A DE102020114916A DE102020114916A1 DE 102020114916 A1 DE102020114916 A1 DE 102020114916A1 DE 102020114916 A DE102020114916 A DE 102020114916A DE 102020114916 A1 DE102020114916 A1 DE 102020114916A1
Authority
DE
Germany
Prior art keywords
camera
light source
determining
scene
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020114916.6A
Other languages
English (en)
Inventor
David Michael Herman
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of DE102020114916A1 publication Critical patent/DE102020114916A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Abstract

Die Offenbarung stellt Systeme und Verfahren zum Reduzieren von Flimmerartefakten in Bildlichtquellen bereit. Systeme, Verfahren und computerlesbare Medien werden offenbart, um Flimmerartefakte in Bildlichtquellen zu reduzieren. Beispielverfahren können Folgendes umfassen: Empfangen von Bildern, die einer von einer Kamera aufgenommenen Szene entsprechen; Bestimmen einer Lichtquelle in der Szene unter Verwendung mindestens eines auf künstlicher Intelligenz (KI) basierenden Algorithmus; Bestimmen von Daten unter Verwendung einer ereignisbasierten Kamera, die das Flimmern der Lichtquelle darstellen, wobei das Flimmern eine Frequenz aufweist; Bestimmen basierend auf den Daten, dass eine Zeitdauer der Überlappung zwischen einem eingeschalteten Zustand der Lichtquelle und einer Belichtungszeit der Kamera einen Schwellenwert unterschreitet; und Verzögern der Belichtungszeit der Kamera um eine Verzögerungszeit, um die Zeitdauer der Überlappung zu erhöhen.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Offenbarung bezieht sich auf Systeme und Verfahren zum Reduzieren von Artefakten in Bildern und insbesondere auf Verfahren und Systeme zum Reduzieren von Flimmerartefakten in Lichtquellen von Bildern.
  • ALLGEMEINER STAND DER TECHNIK
  • Die heutigen Fahrzeuge beinhalten verschiedene bordeigene Sensoren, wie Sonar, Radio Detection and Ranging (RADAR) und Kameras, die im Rahmen kommerzieller Fahrerassistenzsysteme immer häufiger eingesetzt werden. Solche Sensorsysteme können die Umgebung in bestimmten Zeitintervallen und Dauern erfassen, die durch die zugrunde liegende elektronische Architektur und Umgebung begrenzt sein können. Mit Servolenkung, Servobremsen und standardisierter Rückmeldung können Fahrzeuge zunehmend mit der Umgebung interagieren, in der sie fahren.
  • Eine Komponente dieser Fahrzeuge kann ein Wahrnehmungssystem beinhalten, mit dem das Fahrzeug seine Umgebung rechnerisch analysieren und interpretieren kann. Wahrnehmungssysteme können verschiedene Erfassungsmodalitäten wie RADAR und Light Detection and Ranging (LIDAR) verwenden. Die Wahrnehmungssysteme können Kameras verwenden, um Lichtquellen (z. B. Ampeln, Fahrzeugscheinwerfer und -blinker und dergleichen) in der Fahrzeugumgebung zu erfassen. Diese Lichtquellen können jedoch Artefakte wie Flimmern aufweisen (z. B. die Änderung der Helligkeit einer Lichtquelle im Laufe der Zeit). Im Allgemeinen kann das von Lichtquellen emittierte Licht in Abhängigkeit von der Zeit absichtlich oder unbeabsichtigt hinsichtlich seiner Stärke variieren. Absichtliche Lichtschwankungen können zur Warnung und Signalisierung (z. B. Ampelsignalisierung) angewendet werden, damit das Flimmern von Personen wahrgenommen wird. Die Lichtleistung der Lichtquelle kann jedoch aufgrund der Lichtquelle selbst auch unbeabsichtigte Lichtpegelmodulationen aufweisen. Die Größe, Form, Periodizität, der Versatz und die Frequenz dieser zeitlichen Lichtmodulationen können von vielen Faktoren abhängen, wie beispielsweise der Art der Lichtquelle, der Frequenz der elektrischen Versorgung, der Treiber- oder Vorschalttechnologie und der Art der angewendeten Lichtregulierungstechnologie (z. B. Impulsbreitenmodulation (pulse-width modulation - PWM)). Diese unbeabsichtigten Lichtpegelmodulationen können das Wahrnehmungssystem von Fahrzeugen stören. Insbesondere können die Flimmereffekte dazu führen, dass die Wahrnehmungssysteme fälschlicherweise bestimmen, dass sich eine bestimmte Lichtquelle in einem bestimmten Zustand befindet (z. B. ausgeschalteten Zustand), obwohl sich die Lichtquelle tatsächlich in einem anderen Zustand befindet (z. B. eingeschalteten Zustand).
  • Aufgrund der zeitlichen Natur von Sensor- und Beleuchtungselementen erkennt ein Sensor eine Lichtquelle möglicherweise nicht immer korrekt als aktiv. Der Sensor erkennt möglicherweise auch die Lichtquelle in einigen Frames und nicht die Lichtquelle in anderen Frames. Diese Fehler können dazu führen, dass das Fahrzeug oder zugehörige Vorrichtung falsche Schlussfolgerungen über den aktuellen Status der Lichtquellen (z. B. Ampeln) in der Fahrzeugumgebung ziehen.
  • Aus diesem Grund müssen Systeme und Verfahren Flimmerartefakte in Bildlichtquellen reduzieren.
  • KURZDARSTELLUNG DER ERFINDUNG
  • Systeme, Verfahren und computerlesbare Medien werden offenbart, um Flimmerartefakte in Bildlichtquellen zu reduzieren. Beispielverfahren können Folgendes umfassen: Empfangen von Bildern, die einer von einer Kamera aufgenommenen Szene entsprechen; Bestimmen einer Lichtquelle in der Szene unter Verwendung mindestens eines auf künstlicher Intelligenz (KI) basierenden Algorithmus; Bestimmen von Daten unter Verwendung einer ereignisbasierten Kamera, die das Flimmern der Lichtquelle darstellen, wobei das Flimmern eine Frequenz aufweist; Bestimmen basierend auf den Daten, dass eine Zeitdauer der Überlappung zwischen einem eingeschalteten Zustand der Lichtquelle und einer Belichtungszeit der Kamera einen Schwellenwert unterschreitet; und Verzögern der Belichtungszeit der Kamera um eine Verzögerungszeit, um die Zeitdauer der Überlappung zu erhöhen.
  • Figurenliste
    • 1 zeigt eine Darstellung eines beispielhaften Umgebungskontexts zur Fahrzeugnavigation mit beispielhaften Lichtquellen, welche Flimmerartefakte aufweisen, gemäß beispielhaften Ausführungsformen der Offenbarung.
    • 2 zeigt Zeitdarstellungen, die mit einer Lichtquelle und einer Belichtungszeit der Kamera assoziiert sind, gemäß beispielhaften Ausführungsformen der Offenbarung.
    • 3A zeigt zusätzliche Zeitdarstellungen, die mit einer Lichtquelle, einer ereignisbasierten Kamera und einer Belichtungszeit der Kamera assoziiert sind, gemäß beispielhaften Ausführungsformen der Offenbarung.
    • 3B zeigt zusätzlich zu denen aus 3A weitere Zeitdarstellungen, welche eine modifizierte Zeitdarstellung für die Belichtungszeit der Kamera beinhalten, um die Lichtquellen mit reduzierten Flimmerartefakten gemäß beispielhaften Ausführungsformen der Offenbarung abzubilden.
    • 4 zeigt einen beispielhaften Prozessablauf, der ein Verfahren zum Reduzieren von Flimmerartefakten in abgebildeten Lichtquellen gemäß beispielhaften Ausführungsformen der Offenbarung beschreibt.
    • 5 zeigt einen weiteren beispielhaften Prozessablauf, der ein Verfahren zum Reduzieren von Flimmerartefakten in abgebildeten Lichtquellen gemäß beispielhaften Ausführungsformen der Offenbarung beschreibt.
    • 6 ist eine schematische Veranschaulichung eines beispielhaften autonomen Fahrzeugs (autonomous vehicle - AV), das die in der vorliegenden Schrift offenbarten Vorgänge verwenden kann, um Flimmerartefakte in Bildlichtquellen zu reduzieren, um in der Umgebung des AV besser wahrnehmen und navigieren zu können, gemäß einer oder mehreren Ausführungsformen der Offenbarung.
    • 7 ist eine schematische Veranschaulichung einer beispielhaften Serverarchitektur für einen oder mehrere Server, die zum Reduzieren von Flimmerartefakten in Bildlichtquellen verwendet werden können, gemäß einer oder mehreren Ausführungsformen der Offenbarung.
  • DETAILLIERTE BESCHREIBUNG
  • Überblick
  • Bei autonomen Fahrzeugen können Computer-Vision-Aufgaben aufgrund der Vielzahl von Außenbedingungen, die Ampeln, die Sichtbarkeit des Fahrzeuglichts oder die Sichtbarkeit anderer Lichtquellen beeinflussen können, welche die Wahrnehmung des autonomen Fahrzeugbetriebs oder zugehöriger unterstützender Systeme beeinflussen, eine Herausforderung darstellen. Beispielsweise kann eine Kamera mit fester Verstärkung, Belichtung und Blende kalibriert werden, um Ampelfarbpegel, Beleuchtungsstärken und/oder Geometrie zu identifizieren, um den Lichtstatus unter Umgebungslichtbedingungen zu bestimmen. Wie bereits erwähnt, können die Lichtquellen, die Artefakte aufweisen können, wie etwa zeitliche Lichtmodulationen, die als Flimmern bezeichnet werden, die Fahrzeugwahrnehmungssysteme stören. Insbesondere können die Flimmereffekte dazu führen, dass die Wahrnehmungssysteme fälschlicherweise bestimmen, dass sich eine bestimmte Lichtquelle in einem bestimmten Zustand befindet (z. B. ausgeschalteten Zustand), obwohl sich die Lichtquelle tatsächlich in einem anderen Zustand befindet (z. B. eingeschalteten Zustand). Alternativ kann die Kamera die Lichtquelle in einem bestimmten Zustand (z. B. ausgeschalteten Zustand) in einigen Bildframes detektieren und detektieren, dass sich die Lichtquelle in einem anderen Zustand (z. B. eingeschalteten Zustand) in anderen Frames befindet.
  • Diese Flimmerartefakte der Lichtquelle können zu Fehlern bei der Detektion durch Kamerasysteme in Fahrzeugwahrnehmungssystemen führen, einschließlich fortschrittlicher Fahrerassistenzsysteme (advanced driver-assistance systems - ADAS) und AV-Wahrnehmungssysteme. In einigen Fällen kann das Flimmern der Lichtquelle dazu führen, dass bestimmte auf Computer Vision basierende Algorithmen unterschiedliche Begrenzungsrahmen um Lichtquellen aufweisen. In einigen Fällen kann das Flimmern der Lichtquelle aus einem Steuermechanismus für die Impulsbreitenmodulation (PWM) resultieren. PWM kann sich auf ein Verfahren zum Reduzieren der durchschnittlichen Leistung beziehen, die von einem elektrischen Signal geliefert wird, indem es effektiv in einzelne Teile zerlegt wird. Bei PWM kann der Durchschnittswert der dem Verbraucher zugeführten Spannung durch Ein- und Ausschalten des Schalters zwischen Versorgung und Last bei einer bestimmten Frequenz gesteuert werden. Dieser Mechanismus kann zu Zeiträumen, in denen die Lichtquelle ausgeschaltet ist, und zu anderen Zeiträumen, in denen die Lichtquelle eingeschaltet ist, führen. PWM kann verwendet werden, um Lichtquellen in einer Vielzahl von Anwendungen zu steuern, wie beispielsweise in Ampeln, Beschilderungen, Werbetafeln, beleuchteten Verkehrsschildern, Fahrzeugbeleuchtung und dergleichen. Die Frequenz der Schaltleistung der Lichtquelle unter Verwendung von PWM kann hoch genug sein, um vom menschlichen Auge nicht wahrgenommen zu werden. Das heißt, die Lichtquelle scheint für das menschliche Auge eine konstante Beleuchtung aufzuweisen. Kameras können jedoch Belichtungszeiten aufweisen, die möglicherweise nicht immer mit den einschalteten Zeiträumen der Lichtquellen synchronisiert sind, was zu einer falschen Bestimmung des Lichtquellenzustands führt. Darüber hinaus kann eine Kamera mehrere Bilder einer Szene unter verschiedenen Belichtungen sammeln, um ein Bild mit einem höheren Dynamikbereich zu erzeugen. In diesem Prozess kann die Lichtquelle in einigen Bildern aktiv sein, in anderen jedoch nicht, wodurch eine Berechnung der Intensitätspegel in dem Bild beeinflusst wird. Dieser Prozess kann durch die Verwendung von CMOS-Kameras (complementary metaloxide-semiconductor cameras - Kameras mit komplementärem Metalloxid-Halbleiter) noch komplizierter werden. Insbesondere bei CMOS-Kameras können bestimmte Reihen des Kamerasensors so belichtet werden, dass ein Teil der Lichtquelle als eingeschaltet abgebildet werden kann, während der andere Teil der Lichtquelle während dieses Teils der Belichtung der Kamera ausgeschaltet sein kann. Außerdem können unterschiedliche Lichtquellen (z. B. unterschiedliche Lichtquellen am selben Fahrzeug oder am selben Verkehrssignal) von unterschiedlichen PWM-Steuerungen angesteuert werden, und der Zeitpunkt zwischen PWM-Steuerungen kann auch nicht synchronisiert sein. Dieses Fehlen einer Synchronisation von mehr als einer Lichtquellenfrequenz kann auch zu einer falschen Bestimmung des Lichtquellenzustands führen.
  • Die Offenbarung bezieht sich im Allgemeinen auf Systeme und Verfahren zum Verwenden der Ausgabe einer ereignisbasierten Kamera, um die Auswirkungen des Flimmerns einer Lichtquelle von einer herkömmlichen Kamera zu detektieren und herauszufiltern. In einigen Fällen kann die Ausgabe der ereignisbasierten Kamera eine Zeitreihe beinhalten, die den eingeschalteten und ausgeschalteten Zustand einer abgebildeten Lichtquelle darstellt, und die offenbarten Systeme können einen zukünftigen Leistungszustand der Lichtquelle aus den Zeitreihendaten vorhersagen. Die offenbarten Systeme können dann eine Dauer oder Periodizität der Belichtungszeit der herkömmlichen Kamera modifizieren, um die Bilderzeugung der herkömmlichen Kamera mit dem vorhergesagten Leistungszustand der Lichtquelle zu synchronisieren. In einigen Beispielen kann die Lichtquelle eine Leuchtdiode (light-emitting diode - LED) beinhalten, und die Kamera kann einen beliebigen geeigneten Sensor beinhalten, der die Lichtleistung aus der Umgebung an einem bestimmten Ort detektieren kann. Nicht einschränkende Beispiele für einen geeigneten Sensor können eine Kamera mit komplementärem Metalloxid-Halbleiter (CMOS) und/oder eine Kamera mit ladungsgekoppelter Vorrichtung (CCD) beinhalten. Andere Beispiele für einen Sensor können ein mechanisches Light Detection and Ranging (LIDAR) mit variierender Drehzahl und/oder variierendem Versatz zur Abbildung der Lichtquelle, eine Time-of-Flight-Kamera (TOF-Kamera), ein Blitz-LIDAR oder dergleichen beinhalten. In anderen Aspekten sind die offenbarten Systeme in der Lage, die Effekte des Lichtquellenflimmerns in relativ weiteren Arbeitsabständen zwischen den Kameras und der Lichtquelle (z. B. einem Abstand von mehr als etwa 20 Metern) zu detektieren und herauszufiltern.
  • Insbesondere können in einigen Beispielen die offenbarten Systeme eine Objektdetektion oder -verfolgung durchführen, um Lichtquellen in der Umgebung des Fahrzeugs unter Verwendung der herkömmlichen Kamera zu detektieren. Solche Lichtquellen können unter anderem Scheinwerfer, Verkehrssignale, Busbeschilderung und/oder dergleichen beinhalten. Ferner können die offenbarten Systeme Karteninformationen (z. B. hochauflösende (HD) Karteninformationen) von Straßenschildern verwenden, die Lichtquellen (z. B. Ampeln) enthalten, um die Kameras beim Auffinden der Lichtquelle für Bilderzeugungszwecke zu unterstützen. In einigen Beispielen kann sich das Fahrzeug bewegen; daher können die Pixel einer Ereigniskamera heller und dunkler werden, wenn sich das Objekt in der Szene bewegt, und diese Intensitätsänderung kann aufgrund von Flimmereffekten weiter variieren. Dementsprechend können die offenbarten Systeme eine Fusion des Fahrzeugzustands und anderer Sensoren durchführen, um die Flimmerinformationen zu detektieren und aus Daten zu extrahieren, die die gesamte Zeitreihenvariation der Daten darstellen, die von den Kamerapixeln des Fahrzeugs erzeugt werden, wenn sich das Fahrzeug bewegt.
  • Die offenbarten Systeme können Lichtquellenflimmern unter Verwendung der Merkmalserkennung und/oder einer auf Zeitreihen basierenden Technik detektieren, um eine charakteristische Frequenz des Flimmerns aus Daten, die mit den Bildern der ereignisbasierten Kamera assoziiert sind, zu extrahieren. In einigen Beispielen können die offenbarten Systeme Daten von der ereignisbasierten Kamera zusammen mit Karteninformationen verwenden, um Zeitreihendaten zu verfolgen, die Änderungen der Intensität der Lichtquelle über Pixel der ereignisbasierten Kamera oder der herkömmlichen Kamera widerspiegeln. In anderen Aspekten können die offenbarten Systeme aktuelle und historische Bilddaten von der ereignisbasierten Kamera überprüfen, um zwischen einem ausgeschalteten Zustand der Lichtquelle und einem Flimmern der Lichtquelle zu unterscheiden. Ferner können die offenbarten Systeme die historischen Daten verwenden, um zukünftige Zustände der Lichtquelle vorherzusagen und die Belichtungszeit der herkömmlichen Kamera für eine vorbestimmte Dauer zu verzögern. Diese Verzögerung der Belichtungszeit der herkömmlichen Kamera kann es ermöglichen, dass das von der Kamera aufgenommene Bild zeitlich mit den vorhergesagten Lichtquellen im eingeschalteten Zustand ausgerichtet wird. Alternativ oder zusätzlich können die offenbarten Systeme den Hochdynamikbereich durch Mehrfachbilderzeugung neu ordnen, einen Teilbereich des Bildes abbilden, um Zeit zu sparen, und den Auslöser eines Rolling-Shutter variieren und/oder Mechanismen auslesen und/oder dergleichen. In einigen Aspekten können die offenbarten Systeme ein potentielles Flimmern einer vorgegebenen Lichtquelle unter Verwendung einer ereignisbasierten Kamera detektieren. In einigen Fällen kann die ereignisbasierte Kamera ein relativ großes Sichtfeld (z. B. eine Kamera mit einer Fischaugenlinse oder eine 360-Grad-Kamera) und eine oder mehrere herkömmliche Kameras (z. B. eine CMOS-Kamera und/oder eine CCD-Kamera) beinhalten. Alternativ oder zusätzlich können die offenbarten Systeme eine ereignisbasierte Kamera und mehrere hochauflösende Kameras um das Fahrzeug herum verwenden.
  • Ausführungsformen der vorliegenden Offenbarung sind in dieser Schrift beschrieben. Es versteht sich jedoch, dass die offenbarten Ausführungsformen lediglich Beispiele sind und andere Ausführungsformen verschiedene und alternative Formen annehmen können. Die Figuren sind nicht unbedingt maßstabsgetreu; einige Merkmale können vergrößert oder verkleinert dargestellt sein, um Einzelheiten bestimmter Komponenten zu zeigen. Demnach sind die in der vorliegenden Schrift offenbarten konkreten strukturellen und funktionellen Einzelheiten nicht als einschränkend auszulegen, sondern lediglich als repräsentative Grundlage, um den Fachmann den vielfältigen Gebrauch der vorliegenden Erfindung zu lehren. Für einen Durchschnittsfachmann versteht es sich, dass verschiedene Merkmale, die in Bezug auf beliebige der Figuren veranschaulicht und beschrieben sind, mit Merkmalen kombiniert werden können, die in einer oder mehreren anderen Figuren veranschaulicht sind, um Ausführungsformen zu erzeugen, die nicht explizit veranschaulicht oder beschrieben sind. Die Kombinationen veranschaulichter Merkmale stellen repräsentative Ausführungsformen für typische Anwendungen bereit. Verschiedene Kombinationen und Modifikationen der Merkmale, die mit den Lehren dieser Offenbarung vereinbar sind, könnten jedoch für bestimmte Anwendungen oder Umsetzungen wünschenswert sein.
  • Wie angemerkt, können Lichtquellenflimmerartefakte zu Fehlern bei der Detektion durch Kamerasysteme in ADAS- und AV-Wahrnehmungssystemen von Fahrzeugen führen. In einigen Fällen kann eine ereignisbasierte Kamera verwendet werden, um Fehler bei der Detektion des Zustands einer Lichtquelle aufgrund von Flimmerartefakten zu reduzieren. Solche ereignisbasierten Kameras können im Vergleich zu herkömmlichen Kameras relativ hohe zeitliche Reaktionsraten und relativ hohe Dynamikbereiche aufweisen. Ferner kann die Ausgabe der ereignisbasierten Kamera in eine Motorsteuereinheit (engine control unit - ECU) oder eine Domänensteuerung eingegeben werden, beispielsweise unter Verwendung von Kantenverarbeitungstechniken auf der Leiterplatte (printed circuit board - PCB) der Kamera.
  • In einigen Beispielen erfordern ereignisbasierte Kameras möglicherweise die Verwendung größerer Pixelgrößen, ungefähr 15 Mikrometer bis ungefähr 18,5 Mikrometer, was die Auflösung solcher ereignisbasierten Kameras von ungefähr 320 x 240 Pixel bis ungefähr 640 x 480 Pixel (entspricht etwa 0,3 Megapixeln (MP)) begrenzen kann. Die Kameraauflösungen für ADAS-Anwendungen können etwa 8 MP betragen und die Kameraauflösungen für AV-Anwendungen können etwa 16 MP betragen. Dementsprechend kann eine Auflösung von ungefähr 0,3 MP für bestimmte Automobilanwendungen zu gering sein, wie im folgenden Beispiel beschrieben.
  • In einem Beispiel kann eine ereignisbasierte Kamera eine vertikale Auflösung von 480 Pixeln und eine vertikale Auflösung von 45,6 Grad aufweisen. Diese Konfiguration kann zu einer Winkelauflösung von etwa 0,095 Grad/Pixel (oder entsprechend etwa 10,5 Pixeln/Grad) führen. Der vertikale Abstand einer Ampel, ein übliches Flimmerziel für Lichtquellen zur Bilderzeugung in Automobilanwendungen, kann ungefähr 1 Meter betragen. Eine Berechnung der Pixel für die Objektdetektion und -verfolgung zusammen mit der Identifizierung einer Lichtquelle (z. B. unter Verwendung eines Bildverarbeitungsalgorithmus) kann einen Abstandsschwellenwert identifizieren, der den maximalen Abstand zwischen der Kamera und der Lichtquelle darstellt, der eine angemessene Auflösung für die Detektion von Flimmern sicherstellt. Beispielsweise kann eine beispielhafte Berechnung ungefähr 3 Pixel pro LED und 1 Pixel zwischen LEDs in einer Ampel annehmen, um eine Gesamtpixelzahl von 11 für die Ampel zu erhalten. Bei einer Fahrzeuggeschwindigkeit von etwa 30 bis 50 Meilen pro Stunde kann es zu einem Abschaltanhalteweg kommen, bei dem eine ereignisbasierte Kamera mit aktuellen Auflösungen möglicherweise nicht in der Lage ist, einzelne Lichter an der Ampel zu identifizieren, abhängig von den typischen Annahmen für Anhalteweg und Bremsrate für ein bestimmtes Fahrzeug. Dementsprechend kann eine ereignisbasierte Kamera mit bestimmten Auflösungen in einigen Szenarien nicht ausreichen, um das Flimmern der Lichtquelle zu überwinden. Darüber hinaus kann die Verwendung eines Objektivs mit größerem Sichtfeld oder eine strengere Anforderung an die Pixelanzahl den Abstandsschwellenwert weiter senken, was zu erhöhten Anforderungen an die Kameraauflösung führt, was die Komplexität und die Kosten erhöhen und für bestimmte ADAS- und/oder AV-Anwendungen nicht durchführbar sein kann.
  • Wie vorstehend beschrieben, können herkömmliche Systeme Flimmern von Lichtquellen unzureichend interpretieren. Während eine ereignisbasierte Kamera mehrere Vorteile für ADAS- und/oder AV-Anwendungen bieten kann, darunter Flimmern von Lichtquellen, kann eine ereignisbasierte Kamera eine geringere Auflösung aufweisen, die unzureichend sein kann, um flimmernde Lichtquellen in den Bereichen, die in mehreren ADAS- und/oder AV-Anwendungen erforderlich sind, korrekt zu identifizieren (z. B., um zu bestimmen, ob ein bestimmtes Verkehrssignal aktiv oder inaktiv ist). Bestimmte Kameras, darunter zum Beispiel Rolling-Shutter-CMOS-Sensoren, können eine ausreichende Auflösung für die Detektion von Lichtquellen, wie etwa LEDs, bieten. Andere Faktoren wie (1) eine Zeitverzögerung, die mit Austast- und Zeitlücken von Frame zu Frame verbunden ist, und (2) die Komplikationen eines Rolling-Shutter können jedoch zu einem großen Fenster führen, in dem ein eingeschalteter Lichtzustand übersehen oder verwechselt werden kann (beispielsweise kann die Kamera möglicherweise nicht zwischen Blinken und eingeschaltetem Zustand für die Kamera unterscheiden). Darüber hinaus sind die Belichtungszeiten von CMOS-basierten Kameras und die Betriebsfrequenz von LED-PWMs möglicherweise nicht konsistent oder standardisiert. Darüber hinaus kann die Belichtungszeit der Kamera je nach Umgebungslicht variieren. Beispielsweise kann eine Kamera bei hellem Tageslicht kurze Belichtungen und bei Dämmerung oder Nacht lange Belichtungen aufweisen.
  • In anderen Beispielen können HDRI(High-Dynamic Range Imaging)- und Rolling-Shutter-Technologien mit Mehrfachbelichtung zusätzliche Artefakte erzeugen, die die Effekte des Flimmerns verstärken können. Rolling-Shutter kann sich auf ein Verfahren zur Bildaufnahme beziehen, bei dem ein Standbild (in einer Standbildkamera) oder jeder Frame eines Videos (in einer Videokamera) aufgenommen wird, indem nicht zu einem bestimmten Zeitpunkt eine Momentaufnahme der gesamten Szene aufgenommen wird, sondern durch schnelles Scannen der Szene, entweder vertikal oder horizontal. Dementsprechend werden nicht alle Teile des Bildes der Szene zum gleichen Zeitpunkt aufgezeichnet. Während der Wiedergabe kann das gesamte Bild der Szene auf einmal angezeigt werden, als ob es einen einzelnen Zeitpunkt darstellt. Dies erzeugt Verzerrungen von sich schnell bewegenden Objekten oder schnellen Lichtblitzen. HDRI kann sich auf eine HDR(High Dynamic Range)-Technik beziehen, die in der Bilderzeugung und Fotografie verwendet wird, um einen größeren Dynamikbereich der Leuchtkraft zu reproduzieren, als dies mit standardmäßigen digitalen Bilderzeugungs- oder Fototechniken möglich ist. HDR-Bilder können einen größeren Bereich von Luminanzstufen darstellen, als dies mit herkömmlichen Verfahren möglich ist, z. B. mit vielen realen Szenen, die helles, direktes Sonnenlicht bis hin zu extremem Schatten enthalten. HDRI kann erreicht werden, indem mehrere verschiedene Belichtungen desselben Motivs aufgenommen und dann kombiniert werden. Die zusätzlichen Komplikationen, die sich aus der HDRI- und Rolling-Shutter-Bilderzeugung ergeben, können zusätzliche Schwierigkeiten bei der Wahrnehmung von Kraftfahrzeugen darstellen. Herkömmliche Systeme können Hochgeschwindigkeitskameras verwenden, d. h. Vorrichtungen, die bewegte Bilder mit Belichtungen von weniger als etwa 1/1.000stel pro Sekunde oder Frameraten von mehr als etwa 250 Frames pro Sekunde aufnehmen können. Hochgeschwindigkeitskameras können jedoch viele Nachteile aufweisen, einschließlich Kosten, Datenverbrauchsraten, Leistungsanforderungen, aktiver Kühlung und dergleichen, was ihre Verwendung als praktikable Lösung für viele Anwendungen, wie z. B. Automobilanwendungen, beeinträchtigen kann.
  • Ausführungsformen der Offenbarung beschreiben Systeme und Verfahren zum Bereitstellen einer zeitlichen Sensorfusion zwischen herkömmlichen (z. B. CMOS-basierten) Kamerasensoren und ereignisbasierten Kamerasensoren, um die Detektion von Lichtquellenflimmern zu unterstützen. In einigen Beispielen können Ausführungsformen das Detektieren von Lichtquellenflimmern bei relativ längeren Arbeitsabständen (z. B. Abständen über einem vorbestimmten Schwellenwert wie etwa 20 Metern) zwischen der Kamera und der Lichtquelle ermöglichen. In einigen Fällen können die offenbarten Systeme den Zeitpunkt des eingeschalteten Zustands einer Lichtquelle vorhersagen, um die Belichtung der Kamera während des einschalteten Zustands der Lichtquelle zu erleichtern. In anderen Fällen, in denen der eingeschaltete Zustand einer Lichtquelle nicht erfasst wird, können die offenbarten Systeme eine Sensorfusion zusammen mit ereignisbasierten Kameras verwenden, um den tatsächlichen Zustand einer Lichtquelle zu bestimmen. Dementsprechend können die offenbarten Systeme Informationen erzeugen, die eine verbesserte Wahrnehmung und ein besseres Verständnis der Umgebung ermöglichen, was zu einer erhöhten Effizienz für ADAS- und AV-Anwendungen führt.
  • Wie hierin verwendet, können sich „ereignisbasierte Kameras“ auf Kameras beziehen, die Helligkeitsänderungen auf Pixelebene anstelle von Standardintensitätsframes ausgeben. Ereignisbasierte Kameras können sich in mehrfacher Hinsicht von herkömmlichen Kameras unterscheiden. Insbesondere, wenn herkömmliche Kameras mit relativ hohen Geschwindigkeiten arbeiten, können Bilder unter Bewegungsunschärfe leiden, die dazu führen kann, dass Eye-Tracking-Algorithmen fehlschlagen. Ferner kann die Framerate einer herkömmlichen Kamera begrenzt sein und somit eine Obergrenze für die erreichbare Verzögerung liefern, die mit Eye-Tracking-Algorithmen und/oder -systemen assoziiert ist. Je höher die Framerate einer herkömmlichen Kamera ist, desto mehr Daten müssen möglicherweise verarbeitet werden. Dies kann den Leistungsverbrauch der herkömmlichen Kamera erhöhen, selbst wenn Bilder zeitlich redundant sind. Ereignisgesteuerte Kameras können andererseits unabhängige asynchrone Aufnahmeelemente (z. B. Pixel) beinhalten. Die Erfassungselemente können in Echtzeit auf lokale Beleuchtungsänderungen reagieren. Derartige Beleuchtungsänderungen können aus Kamerabewegungen, Objektbewegungen oder Änderungen der Beleuchtung in der Umgebung resultieren.
  • Die ereignisbasierte Kamera kann eine Ausgabe aufweisen, die einen Strom von Ereignissen registriert. Die Ereignisse können Situationen entsprechen, in denen sich ein Fotostrom der Erfassungselemente der ereignisbasierten Kamera um einen vorbestimmten und konfigurierbaren Betrag ändert. Darüber hinaus kann der Fotostrom eines Erfassungselements proportional zur Änderung der Helligkeit der Strahlung sein, die die Erfassungselemente beleuchtet.
  • Ereignisgesteuerte Kameras bieten möglicherweise Vorteile gegenüber herkömmlichen Kameras. Insbesondere können Ereigniskameras eine geringere Latenz und eine höhere zeitliche Auflösung als herkömmliche Kameras bereitstellen. Ereignisgesteuerte Kameras können die mit Eingangsänderungen verbundene Verzögerung reduzieren, die in der Größenordnung von Mikrosekunden liegen kann. Ereignisgesteuerte Kameras können im Vergleich zu herkömmlichen Kameras einen höheren Dynamikbereich bereitstellen. Dies kann daran liegen, dass jedes Erfassungselement einer Ereigniskamera unabhängig angetrieben werden kann und mit seinem eigenen vorgegebenen Sollwert arbeiten kann. Ereignisgesteuerte Kameras können hohe Dynamikbereiche innerhalb der Szene beinhalten. In einigen Beispielen können die offenbarten Systeme diesen Sollwert oder diese Datenpriorität basierend auf der Detektion (z. B. über eine CMOS-basierte Kamera) einer möglichen Lichtquelle (z. B. Lichtquellen wie Ampeln, die sich in einem ausgeschalteten Zustand befinden) anpassen.
  • Ereignisgesteuerte Kameras erfordern möglicherweise eine relativ geringe Bandbreitennutzung, zumindest weil ereignisgesteuerte Kameras Beleuchtungsänderungen auf Erfassungselementebene melden. Dementsprechend ist möglicherweise keine zusätzliche Bandbreite erforderlich, wenn sich der Wert der Erfassungselemente nicht ändert (z. B., wenn zwischen einer bestimmten Szene und einer ereignisgesteuerten Kamera keine relative Bewegung besteht oder wenn sich die Umgebungsbeleuchtung nicht ändert). Dies kann die Komplexität der Backend-Elektronik einer ereignisgesteuerten Kamera im Vergleich zu herkömmlichen Kameras reduzieren. Ereignisgesteuerte Kameras benötigen im Vergleich zu herkömmlichen Kameras möglicherweise relativ wenig Leistung. Eine ereignisgesteuerte Kamera benötigt möglicherweise weniger Leistung, da die Analog-Digital-Wandler (analogto-digital converters - ADCs) der ereignisgesteuerten Kamera, die zum Auslesen des Erfassungselements erforderlich sind, möglicherweise relativ weniger Leistung verbrauchen, da sie nicht so häufig wie herkömmliche Kameras arbeiten.
  • Wie hierin verwendet, kann sich eine Kamera oder ein Sensor mit „ladungsgekoppelter Vorrichtung (CCD)“ auf eine Kamera beziehen, die eine Sensoranordnung beinhaltet, das einen bestimmten Mechanismus zum Lesen und Verarbeiten von Ladung aufweist. Insbesondere kann die Sensoranordnung der CCD-Kamera dazu konfiguriert sein, dass die Sensoranordnung aufgebaute Ladung über die Sensoranordnung transportiert, ohne die Bildqualität zu beeinträchtigen. Die CCD-Sensoranordnung kann mehrere Reihen von Erfassungselementen beinhalten, die in Ausgaberegister eingelesen und wiederum in entsprechende Verstärker und ADCs eingespeist werden. Wenn jede Zeile der CCD-Sensoranordnung gelesen wird, kann sie aus einem entsprechenden Ausleseregister übertragen werden, und eine andere Zeile der CCD-Sensoranordnung kann in das Register eingelesen werden. Darüber hinaus folgen nacheinander aufeinanderfolgende Zeilen im Ausleseprozess, was zu digitalen Daten führt, die gespeichert oder manipuliert werden können.
  • Die Kamera kann eine CMOS-Kamera beinhalten, die eine Sensoranordnung beinhaltet, die aus einem CMOS-Wafer hergestellt sein kann. Die offenbarten Systeme können eine CMOS-Kamera oder eine CCD-Kamera basierend auf einer beliebigen Anzahl von Parametern verwenden. In einigen Beispielen kann eine CMOS-Sensoranordnung einen geringeren Leistungsverbrauch bereitstellen und im Vergleich zu einer CCD-Sensoranordnung komplexere Schaltungen am Backend der Sensoranordnung ermöglichen. Ein vorgegebenes Erfassungselement einer CMOS-basierten Sensoranordnung kann drei oder mehr Transistoren beinhalten, um die auf die CMOS-Sensoranordnung einfallende Strahlung anzusteuern und zu lesen. Insbesondere können die Transistoren eine lokale Verarbeitung der Daten auf dem Transistor jedes Erfassungselements ermöglichen, und jedes Erfassungselement kann unabhängig von anderen Erfassungselementen zugänglich sein. CMOS-basierte Transistoren können im Vergleich zu CCD-Sensoranordnungen ein höheres Rauschen aufweisen, da die Transistoren einen Teil der Fläche des CMOS-Transistors einnehmen. Die CMOS-basierte Sensoranordnung kann zusätzliche Verstärker wie Spaltenverstärker für jede Spalte einer Anordnung beinhalten.
  • Veranschaulichende Beispiele
  • 1 zeigt eine Darstellung eines Umgebungskontextes für die Fahrzeugkommunikation unter Verwendung von dynamisch konfigurierbaren Interaktionsmodi gemäß beispielhaften Ausführungsformen der Offenbarung. 1 stellt einen Umgebungskontext 100 dar, der ein Fahrzeug 102 beinhaltet. In einigen Beispielen kann das Fahrzeug 102 ein autonomes Fahrzeug (autonomous vehicle - AV) beinhalten. In einigen Beispielen kann das Fahrzeug 102 Kameras 104 beinhalten. Die Kameras 104 können ferner ereignisbasierte Kameras und/oder beliebige geeigneten lichtempfindlichen Sensoren beinhalten, darunter unter anderem CMOS-basierte Kameras und CCD-basierte Kameras. Die offenbarten Systeme können die Kameras 104 verwenden, um eine Szene 112 aufzunehmen. Die Szene 112 kann Straßenbeschilderungen, Infrastrukturkomponenten, Radfahrer, Fußgänger und andere Fahrzeuge beinhalten, die in der Lage sein können, Beleuchtung abzugeben. Wie hierin verwendet, kann eine „Infrastrukturkomponente“ Straßen- und Autobahnnetze beinhalten, einschließlich Beschilderung und Markierungen, elektrischer Systeme (Straßenbeleuchtung und Ampeln) und/oder dergleichen.
  • In einigen Beispielen kann die Szene 112 verschiedene Verkehrssignale beinhalten, wie beispielsweise ein erstes Verkehrssignal 114 und ein zweites Verkehrssignal 116. Die offenbarten Systeme können jeden geeigneten auf künstlicher Intelligenz (KI) basierenden Algorithmus umsetzen (z. B. Bildverarbeitungsalgorithmen, Stellungsdetektionsalgorithmen, neuronale Netze und/oder dergleichen), um die verschiedenen Verkehrssignale zu identifizieren und zwischen verschiedenen Verkehrssignalen in derselben Szene zu unterscheiden (z. B. zwischen dem ersten Verkehrssignal 114 und dem zweiten Verkehrssignal 116 zu unterscheiden). In einigen Fällen können die Verkehrssignale eine Vielzahl von Lichtquellen beinhalten (z. B. Leuchtdioden (LEDs) wie eine rote LED, eine gelbe LED und eine grüne LED). Die offenbarten Systeme können zusätzlich zur Unterscheidung zwischen den Verkehrssignalen selbst zwischen den verschiedenen Lichtquellen innerhalb eines vorgegebenen Verkehrssignals unterscheiden.
  • Während dieser beispielhafte Umgebungskontext 100 hauptsächlich Verkehrssignale umfasst, versteht es sich, dass die offenbarten Systeme und Verfahren in einer Vielzahl anderer Transportszenarien in verschiedenen Umgebungen verwendet werden können. Beispielsweise können die offenbarten Systeme verschiedene Lichtquellen detektieren, die mit Fahrzeugen assoziiert sind (z. B. Blinker, Richtungsanzeiger, Tagfahrlichter, Weihnachtsdekorationslichter, Menorah-Lichter usw.) und die hierin beschriebenen Vorgänge ausführen, um die flimmernden Artefakte in Bildern derartiger Lichtquellen zu reduzieren.
  • Die offenbarten Systeme können eine herkömmliche Kamera (z. B. Kamera 104 des Fahrzeugs 102) verwenden, um eine Objektdetektion durchzuführen. Die Objektdetektion kann dazu dienen, potentielle Lichtquellen im Sichtfeld 112 der herkömmlichen Kamera zu detektieren. Derartige Lichtquellen können unter anderem Scheinwerfer, Verkehrssignale, Busbeschilderung und dergleichen beinhalten. Die offenbarten Systeme können auch Objektverfolgungsalgorithmen verwenden, um Fahrzeuge und andere nicht stationäre Objektezu verfolgen. In anderen Ausführungsformen können die offenbarten Systeme die Objektverfolgungsalgorithmen verwenden, um Objekte zu verfolgen, die sich in Bezug auf das Fahrzeug, in dem die Kamera (z. B. eine ereignisbasierte Kamera und/oder eine herkömmliche Kamera) installiert oder montiert ist, in relativer Bewegung befinden.
  • In einigen Beispielen können die offenbarten Systeme auf hochauflösende (HD) Karteninformationen von externen Vorrichtungen (z. B. externen Servern und/oder Cloud-basierten Servern, nicht gezeigt) zugreifen, auf die über die Antenne 110 zugegriffen werden kann. In einigen Beispielen kann die Antenne 110 mit Satelliten, wie etwa dem Satelliten 130, und/oder Mobilfunkmasten, wie etwa dem Mobilfunkmasten 132, in Kommunikation stehen, um derartige Informationen zu erhalten. Die HD-Karteninformationen können Straßenbeschilderungsinformationen beinhalten, die den Standort verschiedener Straßenschilder angeben. Die Straßenbeschilderungsinformationen können Lichtquellen wie Ampeln umfassen, die von den Kameras beobachtet und über die hierin beschriebenen Techniken analysiert werden können. In anderen Beispielen können die offenbarten Systeme jedes geeignete Lokalisierungsverfahren umsetzen, um die Lichtquellen unter Verwendung der HD-Karten genau zu lokalisieren, wie weiter unten beschrieben wird.
  • Wie erwähnt, können die offenbarten Systeme eine Lichtquellen-LED-Flimmerdetektion unter Verwendung einer ereignisbasierten Kamera als Teil der Kameras 104 des Fahrzeugs 102 durchführen. Insbesondere kann die ereignisbasierte Kamera eine Merkmalserkennung und/oder zeitreihenbasierte Identifizierung charakteristischer Frequenzen in den detektierten Bildern durchführen. In einigen Beispielen können die offenbarten Systeme eine solche Merkmalserkennung und/oder zeitreihenbasierte Identifizierung zur Detektion einer PWM-Lichtquelle verwenden. Ferner können die offenbarten Systeme aufgrund der Zeitreihennatur der Flimmerdetektion von Lichtquellen während der Bewegung der Kameras 104 des Fahrzeugs 102 eine Lokalisierungstechnik durchführen, um das Fahrzeug 102 im Raum zu lokalisieren und Objekte um das Fahrzeug 102 herum zu verfolgen. Beispielsweise kann das pulsierende LED-Flimmern einer nahenden Ampel auf Bilder übertragen werden, die aufgrund der Bewegung des Fahrzeugs von einer Kamera erzeugt werden, während die Ampel tatsächlich stationär bleibt. In einem anderen Beispiel können die offenbarten Systeme einen Verfolgungsalgorithmus umsetzen, um die Lichtquellen eines anderen Fahrzeugs (z. B. Rücklichter oder Blinker) zu verfolgen, da das Flimmern möglicherweise verfolgt werden muss, da sowohl das Wirts- als auch das Zielfahrzeug in Bezug aufeinander fahren können.
  • In einem Beispiel können die offenbarten Systeme einen Verfolgungsalgorithmus umsetzen, um flimmernde Lichtquellen zu verfolgen, indem die Frequenz der PWM verfolgt wird, die zur Steuerung der Lichtquelle verwendet wird. In diesem Beispiel kann der entsprechende Datenstrom, der von der ereignisbasierten Kamera erzeugt wird, höher sein als die relative Pixelbewegung der Lichtquelle. In einem anderen Beispiel kann die Lichtquelle zwei Frequenzen oder zwei Größen beinhalten, die eingeschalteten und ausgeschalteten Zuständen des Fahrzeugs entsprechen, und die Frequenzen können unterschiedliche Größen aufweisen. Beispielsweise kann die Lichtquelle einen aktiven LED-Richtungsanzeiger eines Fahrzeugs beinhalten, bei dem die PWM-Frequenz relativ hoch ist. Dieselbe Lichtquelle kann ferner eine Ein-Aus-Frequenz des Richtungsanzeigers beinhalten, die langsamer als die PWM-Frequenz sein kann. In diesem Fall können die offenbarten Systeme die langsamere PWM-Frequenz aus den von der ereignisbasierten Kamera erzeugten Daten herausfiltern und nur die schnellere Frequenz zum Bestimmen des eingeschalteten Zustands der Lichtquelle und zum Reduzieren der damit assoziierten flimmernden Artefakte berücksichtigen. Alternativ oder zusätzlich können die offenbarten Systeme zu einem Tagfahrlicht übergehen und/oder eine Farbfilterfusion zwischen dem Graustufenbild einer Ereigniskamera und einem Farbbild einer CMOS-basierten Kamera anwenden.
  • In einigen Fällen können die offenbarten Systeme einen Verfolgungsalgorithmus umsetzen, um das Fahrzeug 102 zu verfolgen, um verschiedene Pixel in verschiedenen Bildern, die Ein- und Ausschaltereignissen entsprechen, die von derselben Lichtquelle ausgehen, translatorisch abzugleichen. Diese Verfolgung kann unter Verwendung der ereignisbasierten Kamera und/oder der herkömmlichen Kamera durchgeführt werden. Beispielsweise kann ein Fahrzeug 102 an einer festen Lichtquelle wie einer Ampel vorbeifahren. Der Weg des Fahrzeugs 102 in verschiedenen Bildern, die von der Kamera 104 aufgenommen wurden, kann basierend auf einer Bestimmung der Bewegung des Fahrzeugs 102 und des physischen Raums um das Fahrzeug 102 herum erhalten werden. In einigen Beispielen können die offenbarten Systeme die von der ereignisbasierten Kamera und der herkömmlichen Kamera erzeugten Daten mit den HD-Karten-basierten Informationen verbinden, um die Zeitreihen der Intensitätsänderungen der Lichtquelle mit einer Bewegung über Pixel im Laufe der Zeit zu verfolgen und aufzuzeichnen. In einigen Beispielen kann die ereignisbasierte Kamera zur Posenschätzung, visuellen Kilometerzählung und gleichzeitigen Lokalisierung und Kartierung (simultaneous localization and mapping - SLAM) verwendet werden. Unter Verwendung solcher Techniken können die offenbarten Systeme die Bewegung des Fahrzeugs 102 in der Umgebung verwenden, um Szenenbewegungen zu filtern, die das Auftreten von Lichtquellenflimmern nachahmen können. Beispielsweise können die offenbarten Systeme Ausreißerintensitäten filtern, um das Flimmern der Lichtquelle zu validieren. Da das Lichtquellenflimmern häufig sein kann und relativ genau definierte Eigenschaften aufweisen kann, können die offenbarten Systeme eine solche Filterung unter Verwendung von auf digitaler Signalverarbeitung (digital signal processing - DSP) basierenden Filtertechniken leichter durchführen.
  • In einigen Beispielen können die offenbarten Systeme die Daten von herkömmlichen Kamera- und ereignisbasierten Kamerapixelkarten verwenden, um zusätzliche Informationen über den Zustand der Lichtquellen zu bestimmen. Beispielsweise kann das Sichtfeld der beiden Kameras so sein, dass die ereignisbasierte Kamera im Vergleich zu einer CMOS-basierten Kamera eine geringere Auflösung aufweist. In einem solchen Fall kann ein einzelnes Pixel des Lichtquellenflimmerns mehreren Pixeln entsprechen (zum Beispiel einer Pixelanordnung von 10 x 10 Elementen), die in der CMOS-basierten Kamera angeregt werden. In anderen Fällen kann das Lichtquellenflimmern mit Verzerrungen, variierender Fahrzeugposition, Sichtfeldunterschieden zwischen der CMOS-basierten Kamera und der ereignisbasierten Kamera und/oder dergleichen verbunden sein. Dementsprechend kann die Kartierung komplexer werden als in Situationen ohne solche zusammengesetzten Verzerrungen, die offenbarten Systeme können jedoch weiterhin die Karierung unter Verwendung einer Sensorfusion zwischen den verschiedenen Kameratypen durchführen. Nach dem Erfassen eines vorgegebenen Unterbereichs im Sichtfeld der CMOS-basierten Kamera (z. B. eines Bereichs von 10 x 10 Pixeln) können die offenbarten Systeme den Ort in potenzielle einzelne Lichtquellen wie einen Teil der Busbeschilderung, individuelle Fahrzeugbeleuchtung und dergleichen unterteilen.
  • In einigen Fällen kann sich die Lichtquelle in der Nähe der ereignisbasierten Kamera befinden, und die ereignisbasierte Kamera kann verwendet werden, um den Zustand des Objekts zu bestimmen. Diese Bestimmung kann auf der Komplexität der Lichtquelle (z. B. Anzahl und Form kleinerer Lichtquellen, aus denen die Lichtquelle besteht) und der Entfernung von der ereignisbasierten Kamera basieren. In einigen Beispielen können die offenbarten Systeme den Abstand zum Objekt unter Verwendung von Sensorfusion messen (zum Beispiel unter Verwendung von Stereokameras, LIDAR, RADAR, HD-Kartendaten und dergleichen). In anderen Aspekten können die offenbarten Systeme den Abstand des Objekts basierend auf der Objektdetektion und/oder -erkennung mit der Kamera selbst bestimmen. Die Komplexität des Objekts kann vom Objekttyp abhängen. Beispielsweise kann eine Ampel drei Lichtquellen aufweisen, die mit einer bekannten Geometrie sichtbar sein können. Im Vergleich dazu kann eine LED-Anordnung auf einem Bus mehrere kleine LEDs mit unterschiedlichen PWM-Frequenzen und Versätzen enthalten. Daher kann der kritische Abstand für das Buszeichen näher als die Ampel sein.
  • Bei dem Fahrzeug 102 kann es sich um ein beliebiges geeignetes Fahrzeug handeln, wie etwa ein Motorrad, ein Auto, ein Lastwagen, ein Wohnmobil usw., und es kann mit geeigneter Hardware und Software ausgestattet sein, die es ihm ermöglicht, über ein Netz, wie etwa ein lokales Netz (local area network - LAN), zu kommunizieren. Wie angemerkt, kann das Fahrzeug 102 ein AV beinhalten, wie in Verbindung mit 6 unten gezeigt und beschrieben.
  • In einer anderen Ausführungsform kann das Fahrzeug 102 eine Vielzahl von Sensoren beinhalten, die das Fahrzeug beim Lokalisieren von Lichtquellen wie Verkehrssignalen basierend auf Karten (z. B. HD-Karten) unterstützen können. Die Sensoren können RADAR, LIDAR, Kameras, Magnetometer, Ultraschall, Barometer und dergleichen beinhalten (nachstehend beschrieben). In einer Ausführungsform können die Sensoren und andere Vorrichtungen des Fahrzeugs 102 über eine oder mehrere Netzverbindungen kommunizieren. Beispiele für geeignete Netzverbindungen beinhalten ein Controller Area Network (CAN), einen Media-Oriented System Transfer (MOST), ein Local Interconnect Network (LIN), ein Mobilfunknetz, ein WiFi-Netz und andere zweckmäßige Verbindungen, wie etwa diejenigen, die bekannten Standards und Spezifikationen (z. B. einem oder mehreren Standards des Institute of Electrical and Electronics Engineers (IEEE) und dergleichen) entsprechen.
  • In einigen Beispielen können die Fahrzeuge 102 verschiedene Standortbestimmungsvorrichtung zusätzlich zu satellitenbasierten Standortbestimmungsvorrichtungen beinhalten. Diese Vorrichtungen können verwendet werden, um den Standort von Lichtquellen wie etwa Ampeln zu identifizieren, das Fahrzeug auf einer Karte (z. B. einer HD-Karte) zu verfolgen, andere Lichtquellen an anderen Fahrzeugen in der Nähe des Fahrzeugs zu verfolgen, anderen Fahrzeugen Aktualisierungen hinsichtlich des Standorts eines bestimmten Fahrzeugs bereitzustellen und allgemein die hierein beschriebenen Vorgänge zu unterstützen. Beispielsweise können die Fahrzeuge 102 magnetische Positionsbestimmungsvorrichtungen wie Magnetometer beinhalten, die eine Möglichkeit zur Standortbestimmung in Innenräumen bieten können. Magnetische Positionsbestimmung kann auf dem Eisen im Inneren von Gebäuden beruhen, die lokale Variationen des Erdmagnetfelds erzeugen. Nicht optimierte Kompasschips im Inneren von Vorrichtungen in dem Fahrzeug 102 können diese magnetischen Variationen wahrnehmen und aufzeichnen, um Standorte in Innenräumen abzubilden. In einer Ausführungsform können die magnetischen Positionsbestimmungsvorrichtungen verwendet werden, um die Höhenlage des Fahrzeugs 102 zu bestimmen. Alternativ oder zusätzlich kann eine Barometervorrichtung dazu verwendet werden, die Höhenlage des Fahrzeugs 102 zu bestimmen. In einer anderen Ausführungsform können Barometer und Druckhöhenmesser ein Teil des Fahrzeugs sein und Druckänderungen messen, die durch eine Änderung der Höhe der Fahrzeuge 102 hervorgerufen werden.
  • In einer Ausführungsform kann das Fahrzeug 102 eine oder mehrere inertiale Messeinheiten (nicht gezeigt) verwenden, um die Position des jeweiligen Fahrzeugs zu bestimmen, um die Fahrzeuge zu verfolgen und/oder den Standort verschiedener Lichtquellen in der Fahrzeugumgebung in Bezug auf eine Karte (z. B. eine HD-Karte) zu bestimmen. Die Fahrzeuge 102 können Koppelnavigation und andere Ansätze zur Positionsbestimmung des Fahrzeugs unter Verwendung einer inertialen Messeinheit verwenden, die durch die Fahrzeuge 102 getragen wird, wobei manchmal auf Karten oder andere zusätzliche Sensoren Bezug genommen wird, um die inhärente Sensordrift, die bei Trägheitsnavigation auftritt, zu beschränken. In einer Ausführungsform können ein oder mehrere auf mikroelektromechanischen Systemen (MEMS) beruhende Inertialsensoren in der inertialen Messeinheit des Fahrzeugs verwendet werden; die MEMS-Sensoren können jedoch durch Eigengeräusche beeinflusst werden, was mit der Zeit zu einem kubisch wachsenden Positionsfehler führen kann. Um das Fehlerwachstum bei derartigen Vorrichtungen zu reduzieren, kann in einer Ausführungsform ein auf Kalman-Filterung beruhender Ansatz verwendet werden, indem Softwarealgorithmen in Softwaremodulen umgesetzt werden, die mit den verschiedenen Vorrichtungen in dem Fahrzeug 102 assoziiert sind.
  • In einer Ausführungsform können die inertialen Messungen eine oder mehrere Bewegungsdifferenzen des Fahrzeugs 102 abdecken, und deshalb kann der Standort bestimmt werden, indem Integrationsfunktionen in den Softwaremodulen durchgeführt werden, und dementsprechend können Integrationskonstanten erforderlich sein, um Ergebnisse bereitzustellen. Ferner kann die Positionsschätzung für das Fahrzeug 102 als das Maximum einer zweidimensionalen oder einer dreidimensionalen Wahrscheinlichkeitsverteilung bestimmt werden, die bei einem beliebigen Zeitschritt unter Berücksichtigung des Geräuschmodells aller involvierten Sensoren und Vorrichtungen neu berechnet werden kann. Basierend auf der Bewegung der Fahrzeuge können die inertialen Messvorrichtungen dazu in der Lage sein, die Standorte der Fahrzeuge durch einen oder mehrere Algorithmen mit künstlicher Intelligenz, zum Beispiel einen oder mehrere Algorithmen zum maschinellen Lernen (z. B. Convolutional Neural Networks), zu schätzen. Die offenbarten Systeme können jede der oben genannten Vorrichtungen in Kombination mit den Positionsbestimmungssignalen verwenden, um den Standort des Fahrzeugs, den Standort anderer Fahrzeuge und/oder den Standort verschiedener Lichtquellen in der Fahrzeugumgebung zu bestimmen.
  • In einigen Beispielen können die offenbarten Systeme ein Indoor-Positionsbestimmungssystem (indoor positioning system - IPS) in Verbindung mit bestimmten Infrastrukturkomponenten verwenden, um den Standort der Lichtquelle und/oder des Fahrzeugs mit erhöhter Genauigkeit zu bestimmen. Ferner kann das IPS verwendet werden, um den Standort des Fahrzeugs auf einer Karte (z. B. einer HD-Karte) zu bestimmen, beispielsweise an Standorten, an denen Satellitennavigationssignale unzureichend sind. Insbesondere kann sich ein IPS auf ein System beziehen, um Objekte (z. B. das Fahrzeug 102) im Inneren eines Gebäudes, wie etwa einer Parkstruktur, unter Verwendung von Leuchten, Funkwellen, Magnetfeldern, akustischen Signalen oder anderen sensorischen Informationen, die durch mobile Vorrichtungen (z. B. Benutzervorrichtungen oder Fahrzeugvorrichtungen) gesammelt werden, zu lokalisieren. IPSs können unterschiedliche Technologien verwenden, einschließlich der Entfernungsmessung zu nahe gelegenen Ankerknoten (Knoten mit bekannten festen Positionen, z. B. WiFi- und/oder LiFi-Zugangspunkten oder Bluetooth-Baken, magnetische Positionsbestimmung und/oder Koppelnavigation). Derartige IPSs können mobile Vorrichtungen und Tags aktiv lokalisieren oder Umgebungsstandort oder Umgebungskontext bereitstellen, damit Vorrichtungen erfasst werden. In einer Ausführungsform kann ein IPS-System mindestens drei unabhängige Messungen bestimmen, um einen Standort eines bestimmten Fahrzeugs 102 oder einer Lichtquelle eindeutig zu finden.
  • In einigen Beispielen können die Fahrzeugantennen (zum Beispiel die Antenne 110) eine beliebige geeignete Kommunikationsantenne beinhalten. Einige nicht einschränkende Beispiele für geeignete Kommunikationsantennen beinhalten WiFi-Antennen, mit der Standardfamilie 802.11 des Institute of Electrical and Electronics Engineers (IEEE) kompatible Antennen, Richtantennen, ungerichtete Antennen, Dipolantennen, gefaltete Dipolantennen, Patchantennen und Antennen mit mehreren Eingängen und mehreren Ausgängen (multipleinput multiple-output antennas - MIMO-Antennen) oder dergleichen. Die Kommunikationsantenne kann kommunikativ an eine Funkkomponente gekoppelt sein, um Signale zu übertragen und/oder zu empfangen, wie etwa Kommunikationssignale an die und/oder von den Fahrzeuge/n. Beispielsweise können die offenbarten Systeme Signale an andere Fahrzeuge übertragen, um die anderen Fahrzeuge darüber zu informieren, dass sie mindestens eine Aktion (z. B. bremsen, beschleunigen, abbiegen und/oder dergleichen) basierend auf einer Bestimmung des Zustands der Lichtquellen durchführen sollen. In verschiedenen Aspekten können die übertragenen und/oder empfangenen Signale auf den Ergebnissen der detektierten Zustände der Lichtquellen basieren, die durch die Umsetzung der offenbarten Vorgänge genauer bestimmt werden können.
  • In einigen Beispielen kann das Fahrzeug 102 über bordeigene Einheiten (nicht gezeigt) verfügen, die Mikrocontroller und Vorrichtungen beinhalten, die in Anwendungen ohne Host-Computer miteinander kommunizieren können. Die bordeigene Einheit kann ein nachrichtenbasiertes Protokoll verwenden, um interne Kommunikationen durchzuführen. Darüber hinaus kann die bordeigene Einheit einen Sendeempfänger dazu veranlassen, Nachrichten (z. B. Fahrzeug-zu-alles-Nachrichten (V2X-Nachrichten) an Infrastrukturkomponenten und an die bordeigenen Einheiten anderer Fahrzeuge zu senden und von diesen zu empfangen.
  • Ferner können verschiedene Vorrichtungen des Fahrzeugs 102 und/oder Infrastrukturkomponenten (z. B. intelligente Ampeln, straßenseitige Einheiten, IPS-Systeme und/oder dergleichen) ein beliebiges geeignetes Funkgerät und/oder einen beliebigen geeigneten Sendeempfänger zum Übertragen und/oder Empfangen von Hochfrequenzsignalen (HF-Signalen) in der Bandbreite und/oder den Kanälen beinhalten, die den Kommunikationsprotokollen entsprechen, die durch eine beliebige der Fahrzeugvorrichtungen verwendet werden, um miteinander und/oder mit Infrastrukturkomponenten zu kommunizieren. Die Funkkomponenten können Hardware und/oder Software zum Modulieren und/oder Demodulieren von Kommunikationssignalen nach im Vorfeld eingerichteten Übertragungsprotokollen umfassen. Die Funkkomponenten können zudem Hardware und/oder Softwareanweisungen für die Kommunikation über ein oder mehrere WiFi- und/oder WiFi-Direktprotokolle aufweisen, wie etwa 802.11-Standards des Institute of Electrical and Electronics Engineers (IEEE). In bestimmten beispielhaften Ausführungsformen kann die Funkkomponente in Zusammenarbeit mit den Kommunikationsantennen konfiguriert sein, um über 2,4-GHz-Kanäle (z.B. 802.11b, 802.11g, 802.1 In), 5-GHz-Kanäle (z.B. 802.1 In, 802.11ac) oder 60-GHz-Kanäle (z.B. 802.11ad) zu kommunizieren. In einigen Ausführungsformen können Nicht-WiFi-Protokolle für die Kommunikation zwischen Vorrichtungen, wie Bluetooth, dedizierte Nachbereichskommunikation (dedicated short-range communication - DSRC), Ultrahochfrequenz (UHF) (z.B. IEEE 802.11af, IEEE 802.22), Weißbandfrequenz (z. B. Leerräume) oder andere paketierte Funkkommunikationen verwendet werden. Die Funkkomponente kann einen beliebigen bekannten Empfänger und ein beliebiges bekanntes Basisband beinhalten, die für eine Kommunikation über die Kommunikationsprotokolle geeignet sind. Die Funkkomponente kann zudem einen rauscharmen Verstärker (low noise amplifier - LNA), zusätzliche Signalverstärker, einen Analog-Digital-Wandler (A/D), einen oder mehrere Puffer und ein digitales Basisband umfassen.
  • Wenn ein beispielhaftes Fahrzeug 102 eine Kommunikation mit einem anderen Fahrzeug (nicht gezeigt) aufbaut und/oder eine Kommunikation mit einer Infrastrukturkomponentenvorrichtung aufbaut, kann das Fahrzeug 102 typischerweise in der Downlink-Richtung kommunizieren, indem es Datenrahmen sendet (z. B. einen Datenrahmen, der verschiedene Felder, wie etwa ein Rahmensteuerfeld, ein Dauerfeld, ein Adressfeld, ein Datenfeld und ein Prüfsummenfeld, umfassen kann). Den Datenrahmen können eine oder mehrere Präambeln vorangehen, die Teil eines oder mehrerer Header sein können. Diese Präambeln können verwendet werden, um es der Benutzervorrichtung zu ermöglichen, einen neu eingehenden Datenrahmen von der Vorrichtung des Fahrzeugs zu erkennen. Eine Präambel kann ein Signal sein, das bei Netzkommunikationen verwendet wird, um die Übertragungszeit zwischen zwei oder mehr Vorrichtungen (z. B. zwischen der Vorrichtung des Fahrzeugs 102 und der Infrastrukturkomponente und/oder zwischen den Vorrichtungen separater Fahrzeuge) zu synchronisieren. Wie erwähnt, können die Datenframes zur Übertragung von Informationen zwischen Fahrzeugen verwendet werden, sodass ein bestimmtes Fahrzeug mindestens eine Aktion als Ergebnis der Detektion eines eingeschalteten oder ausgeschalteten Zustandes einer Lichtquelle ausführen kann. Nicht einschränkende Beispiele für solche Aktionen sind Bremsen, Abbiegen, Beschleunigen, Einschalten von Warnblinkleuchten und/oder dergleichen.
  • In einem anderen Aspekt kann der Umgebungskontext 100 einen oder mehrere Satelliten 130 und einen oder mehrere Mobilfunkmasten 132 beinhalten. Die Satelliten 130 und/oder die Mobilfunkmasten 132 können verwendet werden, um Informationen von verschiedenen Datenbanken wie Datenbanken mit HD-Karten zu erhalten. In anderen Aspekten können die offenbarten Systeme Informationen übertragen, die mit Lichtquellen (z. B. den jeweiligen Standorten von Lichtquellen, den jeweiligen Zuständen der Lichtquellen und/oder dergleichen) assoziiert sind. Wie erwähnt, kann das Fahrzeug 102 Sendeempfänger aufweisen, die wiederum einen oder mehrere Standortempfänger (z. B. Empfänger eines globalen Navigationssatellitensystems (GNSS)) beinhalten können, die Standortsignale (z. B. GNSS-Signale) von einem oder mehreren Satelliten 130 empfangen können. In einer anderen Ausführungsform kann sich ein Empfänger auf eine Vorrichtung beziehen, die Informationen von Satelliten (z. B. den Satelliten 130) empfangen und die geografische Position der Fahrzeuge berechnen kann.
  • In einigen Beispielen können die Fahrzeuge (z. B. das Fahrzeug 102) dazu konfiguriert sein, drahtlos oder drahtgebunden über ein Netz zu kommunizieren. Wie bereits erwähnt, kann die Kommunikation zwischen Fahrzeugen durchgeführt werden, um beispielsweise ein bestimmtes Fahrzeug über eine Aktion zu informieren, die basierend auf dem Zustand einer Lichtquelle zu ergreifen ist. Das Netz kann unter anderem ein beliebiges einer Kombination aus unterschiedlichen Arten geeigneter Kommunikationsnetze beinhalten, wie zum Beispiel Rundfunknetze, öffentliche Netze (zum Beispiel das Internet), private Netze, drahtlose Netze, Mobilfunknetze oder beliebige andere geeignete private und/oder öffentliche Netze. Ferner können beliebige der Kommunikationsnetze eine beliebige damit assoziierte geeignete Kommunikationsreichweite aufweisen und zum Beispiel globale Netze (zum Beispiel das Internet), Metropolitan Area Networks (MANs), Weitverkehrsnetze (WANs - wide area networks), lokale Netze (LANs) oder persönliche Netze (PANs - personal area networks) beinhalten. Zusätzlich können beliebige der Kommunikationsnetze eine beliebige Art von Medium beinhalten, über das Netzverkehr geführt werden kann, was Koaxialkabel, Kabel mit verdrillten Adernpaaren, Lichtleitfaser, ein Hybridfaser-Koaxialmedium (HFC-Medium), Sendeempfänger für terrestrische Mikrowellen, Hochfrequenzkommunikationsmedien, White-Space-Kommunikationsmedien, Ultrahochfrequenzkommunikationsmedien, Satellitenkommunikationsmedien oder eine beliebige Kombination daraus einschließt, jedoch nicht darauf beschränkt ist.
  • In einigen Beispielen können die offenbarten Systeme Karteninformationen analysieren, die mit einer Umgebung der Fahrzeuge, früheren Fahrzeugstandorten in einer bestimmten Umgebung, Lichtquellenstandorten, infrastrukturellen Aktualisierungen in Bezug auf das Transportnetz (z. B. Lichtquellen, die aufgrund von Bauarbeiten oder anderen Aktivitäten ausgeschaltet sind) und/oder dergleichen assoziiert sind. Die Datenbank kann durch jedes geeignete System gesteuert werden, einschließlich eines Datenbankverwaltungssystems (database management system - DBMS), das im Zusammenhang mit 7 unten genauer erörtert wird. Das DBMS kann ein beliebiges aus einer Vielfalt von Datenbankmodellen (zum Beispiel ein relationales Modell, Objektmodell usw.) verwenden und kann eine beliebige von einer Vielfalt an Abfragesprachen unterstützen, um Informationen von der Datenbank zu erhalten. In einigen Beispielen kann die Datenbank eine Cloud-basierte Datenbank oder eine Fahrzeug-basierte Datenbank beinhalten.
  • 2 zeigt Zeitdarstellungen, die mit einer Lichtquelle und einer Belichtungszeit der Kamera assoziiert sind, gemäß beispielhaften Ausführungsformen der Offenbarung. Die Darstellung 200 beinhaltet ein erstes Bild 202 eines Verkehrssignals mit einer LED im eingeschalteten Zustand und ein zweites Bild 204 des Verkehrssignals, das sich noch im eingeschalteten Zustand befindet, obwohl das Verkehrssignal aufgrund von Flimmern ausgeschaltet zu sein scheint. Die Bilder können in Frames 206 basierend auf einer Framerate aufgenommen und von einer Kamera wie einer CMOS-basierten Kamera oder einer CCD-basierten Kamera aufgenommen werden. Das erste Bild 202 kann einem ersten Frame N 208 entsprechen und das zweite Bild 204 kann einem zweiten Frame N+1 210 entsprechen.
  • Die Darstellung 200 zeigt ferner eine Zeitdarstellung 212 eines LED-Leistungsimpulses. Die Zeitdarstellung 212 zeigt Intervalle, in denen eine Schaltung die LED mit Leistung versorgen kann, und andere Intervalle, in denen die Schaltung die LED nicht mit Leistung versorgt. Dies kann auf die Tatsache zurückzuführen sein, dass die Schaltung eine Wechselstrom-Leistungsquelle (AC-Leistungsquelle) sein kann, die mit einer bestimmten Frequenz arbeitet. Insbesondere stellt das Intervall 214 eine Situation dar, in der die Schaltung die LED mit Leistung versorgt, während das Intervall 215 eine Situation darstellt, in der die Schaltung die LED nicht aktiv mit Leistung versorgt. Wie weiter unten erörtert, stellen die Intervalle 218 und 220 Intervalle dar, die sich mit dem Belichtungsintervall 228 bzw. dem Belichtungsintervall 232 überlappen und nicht überlappen.
  • Die Darstellung 200 zeigt ferner eine Zeitdarstellung 224 einer mit der Kamera assoziierten Belichtungszeit. Wie gezeigt, beinhaltet die Zeitdarstellung 224 Austastintervalle wie das Austastintervall 226 und das Austastintervall 230. Die Austastintervalle können Intervalle darstellen, in denen die Kamera keine Bilder aufnimmt und daher einen eingeschalteten Zustand einer pulsierenden Lichtquelle wie der LED der Ampel übersehen kann. Zusätzlich beinhaltet die Zeitdarstellung 224 Belichtungsintervalle wie das Belichtungsintervall 228 und das Belichtungsintervall 232. Die Belichtungsintervalle stellen Intervalle dar, in denen die Kamera ein Bild der Lichtquelle aufnimmt. Dementsprechend muss, damit die Kamera den eingeschalteten Zustand der Lichtquelle erfassen kann, eine ausreichende Überlappung zwischen einem Intervall, das mit der Leistungsversorgung der Lichtquelle assoziiert ist (wie Intervall 218 oder Intervall 220), und einem Belichtungsintervall (wie Belichtungsintervall 228 und/oder Belichtungsintervall 232) bestehen. In dem in Darstellung 200 gezeigten Beispiel gibt es eine angemessene Überlappung zwischen dem Intervall 218 und dem Belichtungsintervall 228. Dementsprechend kann die Kamera den eingeschalteten Zustand der Lichtquelle in diesem Zyklus der Zeitdarstellung korrekt erfassen. Die Darstellung 200 veranschaulicht jedoch, dass es keine ausreichende Überlappung zwischen dem Intervall 220 und dem Belichtungsintervall 232 gibt. Dementsprechend kann es sein, dass die Kamera während dieses Zyklus der Zeitdarstellung den eingeschalteten Zustand der Lichtquelle nicht erfasst, und ein Wahrnehmungssystem kann fälschlicherweise annehmen, dass die Lichtquelle ausgeschaltet ist, obwohl die Lichtquelle tatsächlich nur flimmert.
  • 3A veranschaulicht zusätzliche Zeitdarstellungen, die mit einer Lichtquelle, einer ereignisbasierten Kamera und einer Belichtungszeit der Kamera assoziiert sind, gemäß beispielhaften Ausführungsformen der Offenbarung. Die Darstellung 300 stellt eine Darstellung, die der vorstehend gezeigten und beschriebenen Darstellung 200 aus 2 ähnlich ist, mit einigen bemerkenswerten Unterschieden dar. Insbesondere beinhaltet die Darstellung 300 ferner eine Zeitdarstellung 302 einer Zeitreihe einer ereignisbasierten Kamera. Die Zeitdarstellung 302 beinhaltet einen positiven Auslöser wie den positiven Auslöser 304 und einen negativen Auslöser wie den negativen Auslöser 306. Insbesondere bewirkt der positive Auslöser, dass sich die ereignisbasierte Kamera einschaltet, und kann durch die Detektion eines Ausschaltereignisses zu einem Einschaltereignis ausgelöst werden, das mit der Lichtquelle assoziiert ist. Gleichermaßen kann der negative Auslöser bewirken, dass sich die ereignisbasierte Kamera ausschaltet, und kann durch die Detektion eines Einschaltereignisses zu einem Einschaltereignis ausgelöst werden, das mit der Lichtquelle assoziiert ist.
  • Wie in Darstellung 300 gezeigt, ist die Zeitdarstellung 302 periodisch und kann eine assoziierte Frequenz aufweisen, die der Periodizität der Zeitdarstellung 212 folgen kann. Dies liegt daran, dass die Lichtquelle, wie erwähnt, ein periodisches Verhalten aufweisen kann und die ereignisbasierte Kamera dazu konfiguriert ist, basierend auf Änderungen der Luminanz der Lichtquelle ein- und ausgeschaltet wird. Die Darstellung 300 zeigt ferner, dass die ereignisbasierte Kamera während des positiven Auslösers 312 eingeschaltet werden kann, der an einem eingeschalteten Zustand 218 ausgerichtet ist, und dass die ereignisbasierte Kamera nach dem negativen Auslöser 314 ausgeschaltet werden kann, der an einem ausgeschalteten Zustand der Lichtquelle ausgerichtet ist. Gleichermaßen zeigt die Darstellung 300, dass die ereignisbasierte Kamera während des positiven Auslösers 320 eingeschaltet werden kann, der an einem eingeschalteten Zustand 220 ausgerichtet ist, und dass die ereignisbasierte Kamera nach dem negativen Auslöser 322 ausgeschaltet werden kann, der an einem ausgeschalteten Zustand der Lichtquelle ausgerichtet ist.
  • In dem Fall, in dem der positive Auslöser 312 und der negative Auslöser 314 involviert sind, kann die Kamera einem Belichtungsereignis ausgesetzt sein, wie durch das Belichtungsintervall 228 dargestellt, das an der Dauer zwischen dem positiven Auslöser 312 und dem negativen Auslöser 314 ausgerichtet sein kann und auch an dem eingeschalteten Zustand 218 der Lichtquelle ausgerichtet sein kann. Dementsprechend kann die Kamera den eingeschalteten Zustand der Lichtquelle erfassen. In dem Fall, in dem der positive Auslöser 320 und der negative Auslöser 322 involviert sind, kann die Kamera jedoch einem Belichtungsereignis ausgesetzt sein, wie durch das Belichtungsintervall 232 dargestellt, das an der Dauer zwischen dem positiven Auslöser 320 und dem negativen Auslöser 322 ausgerichtet sein kann und auch an dem eingeschalteten Zustand 220 der Lichtquelle ausgerichtet sein kann. Dementsprechend kann die Kamera den eingeschalteten Zustand der Lichtquelle nicht erfassen, auch wenn die Lichtquelle eingeschaltet ist. Dies kann dazu führen, dass das System davon ausgeht, dass die Lichtquellen ausgeschaltet sind, obwohl sie tatsächlich eingeschaltet sind und nur ein flimmerndes Ereignis auftritt.
  • 3B stellt zusätzlich zu denen aus 3A weitere Zeitdarstellungen bereit, welche eine modifizierte Zeitdarstellung für die Belichtungszeit der Kamera beinhalten, um flimmernde Artefakte in Bildern zu reduzieren, gemäß den Ausführungsbeispielen der Offenbarung. Die Darstellung 301 stellt eine Darstellung dar, die der vorstehend gezeigten und beschriebenen Darstellung 200 aus 2 ähnlich ist. Zusätzlich beinhaltet die Darstellung 301 ferner eine Zeitdarstellung 329 eines LED-Leistungsimpulses. Die Zeitdarstellung 329 zeigt Intervalle, in denen eine Schaltung die LED mit Leistung versorgen kann, und andere Intervalle, in denen die Schaltung die LED nicht mit Leistung versorgt. Zum Beispiel stellt das Intervall 330 eine Situation dar, in der die Schaltung die LED mit Leistung versorgt, während das Intervall 331 eine Situation darstellt, in der die Schaltung die LED nicht aktiv mit Leistung versorgt. Die Zeitdarstellung 340 stellt die nominelle Belichtungszeit für eine Kamera dar, die Bilder der Szene einschließlich der Verkehrssignale 202 und 204 aufnimmt. In dieser Hinsicht stellt die Zeitdarstellung 340 die nicht modifizierte Zeitdarstellung dar, die Austastintervalle wie das Austastintervall 340 und Belichtungsintervalle wie das Belichtungsintervall 342 beinhaltet. Diese Intervalle und andere gezeigte Intervalle (zum Beispiel Austastintervall 343 und Belichtungsintervall 344) können sich mit den eingeschalteten Zustände (z. B. eingeschalteten Zustand 330, eingeschalteten Zustand 332 und/oder eingeschalteten Zustand 334) der Zeitdarstellung 329 angemessen überlappen oder nicht. Ferner zeigt die Darstellung 300 eine Zeitdarstellung 350, die mit einer Ereigniskamera assoziiert ist.
  • Die Darstellung 301 zeigt ferner, dass die ereignisbasierte Kamera während des positiven Auslösers 351 eingeschaltet werden kann, der an einem eingeschalteten Zustand 330 ausgerichtet ist, und dass die ereignisbasierte Kamera nach dem negativen Auslöser 352 ausgeschaltet werden kann, der an einem Übergang zu einem ausgeschalteten Zustand der Lichtquelle ausgerichtet ist. Die Zeitdarstellung 350 zeigt ferner an, dass im Gegensatz zu der Zeitdarstellung 302 aus 3A oben sich die positiven Auslöser und negativen Auslöser der Zeitdarstellung 350 nicht notwendigerweise periodisch wiederholen müssen. Vielmehr kann die Vergangenheit der Ereigniskamera die Vorhersage zukünftiger Lichtquellen auf Zuständen ermöglichen. Beispielsweise können verschiedene KI-basierte Algorithmen historische Daten überwachen, die mit der Zeitdarstellung 350 der Ereigniskamera assoziiert sind, in Verbindung mit den nominalen Belichtungszeiten, wie sie durch die Zeitdarstellung 340 dargestellt sind, und den eingeschalteten und ausgeschalteten Zuständen der Lichtquelle, wie sie durch die Zeitdarstellung 329 dargestellt sind. Mit diesen historischen Informationen können die KI-basierten Algorithmen einen zukünftigen eingeschalteten Zustand der Lichtquelle vorhersagen, anstatt sich auf externe Auslöser zu stützen, die auf Übergängen zwischen eingeschalteten und ausgeschalteten Zuständen der Lichtquelle basieren. Dementsprechend können die offenbarten Systeme eine Verzögerung wie die Verzögerung 362 und eine Zeitdarstellung hinzufügen, um eine modifizierte Zeitdarstellung 360 für die Belichtungszeiten der ereignisbasierten Kamera zu erzeugen. Insbesondere zeigt die Zeitdarstellung 360 ein Austastintervall 361, gefolgt von einer Verzögerung 362 mit einer vorbestimmten Dauer, wie sie durch die Ausgabe eines KI-basierten Algorithmus konfiguriert ist.
  • Nach der Verzögerung 362 beinhaltet die Zeitdarstellung 360 ein Belichtungsintervall 363, gefolgt von einem zusätzlichen Austastintervall 364 und einem weiteren Belichtungsintervall 365. In einigen Beispielen kann die Verzögerung wie die Verzögerung 362 nur eine endliche Anzahl von Malen zwischen Austastintervallen wie dem Austastintervall 361 und Belichtungsintervallen wie dem Belichtungsintervall 363 eingefügt werden. In anderen Beispielen kann die Verzögerung kontinuierlich eingefügt werden und dadurch die Frequenz zwischen den Belichtungszeiten in der Zeitdarstellung 360 der ereignisbasierten Kamera einstellen. In verschiedenen Beispielen können die Dauer der Verzögerung, die Position der Verzögerung in Bezug auf ein Austastintervall und/oder ein Belichtungsintervall und die Häufigkeit des Auftretens der Verzögerung zumindest teilweise durch die Zeitdarstellungen 329, 340 und/oder 350 zusätzlich zu allen anderen geeigneten Parametern bestimmt werden, die durch den KI-basierten Algorithmus bestimmt werden.
  • 4 zeigt einen beispielhaften Prozessablauf, der ein Verfahren zum Reduzieren von Flimmerartefakten in abgebildeten Lichtquellen gemäß beispielhaften Ausführungsformen der Offenbarung beschreibt. In Block 402 können die offenbarten Systeme die nachstehend beschriebenen Vorgänge starten. In Block 404 können die offenbarten Systeme eine ereignisbasierte Kamera verwenden, um ein Ereignis oder einen Kameraereignisstrom zu erfassen. Wie erwähnt, kann die ereignisbasierte Kamera Teil eines Fahrzeugs wie eines AV sein. In einigen Beispielen kann die ereignisbasierte Kamera eine vorbestimmte Auflösung, eine vorbestimmte Framerate und andere Parameter aufweisen.
  • In Block 406 können die offenbarten Systeme eine herkömmliche Kamera (z. B. eine CMOS-basierte und/oder eine CCD-basierte Kamera) verwenden, um ein Bild der Szene eines Fahrzeugs aufzunehmen. In einigen Beispielen kann die herkömmliche Kamera eine vorbestimmte Auflösung, einen vorbestimmten Dynamikbereich, eine vorbestimmte Bandbreite und dergleichen aufweisen. Die herkömmliche Kamera kann dazu konfiguriert sein, Szenen aufzunehmen, die der Umgebung entsprechen, in der das Fahrzeug navigiert. In einigen Beispielen kann die herkömmliche Kamera auf einer drehbaren und/oder verschiebbaren Basis montiert sein, die das Sichtfeld der Kamera verändern kann, z. B. auf einem mechanisch drehenden Lidar montiert. Auf diese Weise kann die herkömmliche Kamera manövriert werden, um Bilder von verschiedenen Objekten wie Lichtquellen in der Umgebung aufzunehmen.
  • In Block 408 können die offenbarten Systeme eine potentielle Lichtquelle detektieren. Insbesondere kann die ereignisbasierte Kamera und/oder die herkömmliche Kamera jeden geeigneten Computer-Vision-basierten Algorithmus verwenden, um das mögliche Vorhandensein einer Lichtquelle zu detektieren. Beispielsweise kann der Algorithmus dazu konfiguriert sein, nach bestimmten Formen zu suchen, die Formen entsprechen, die mit Verkehrssignalen und/oder Fahrzeug-basierten Richtungssignalen assoziiert sind.
  • In Block 410 können die offenbarten Systeme eine aktive Lichtquelle detektieren. Insbesondere können die offenbarten Systeme dazu konfiguriert sein, Lichtquellen zu detektieren, die bestimmte Lichtfrequenzen erfüllen. Zum Beispiel kann die ereignisbasierte Kamera und/oder die herkömmliche Kamera so kalibriert sein, dass sie rotes Licht einer bestimmten Frequenz detektiert, die mit dem roten Stoppsignal der Ampel und dem aktiven Modus assoziiert ist.
  • In Block 412 können die offenbarten Systeme Lichtquellenflimmern detektieren. Insbesondere kann die ereignisbasierte Kamera und/oder die herkömmliche Kamera dazu konfiguriert sein, eine Helligkeitsänderungsgröße der Lichtquelle bei einer vorgegebenen Frequenz zu detektieren. Beispielsweise können die Kameras zusammen mit einem geeigneten KI-basierten Algorithmus dazu konfiguriert sein, nach gemeinsamen Flimmerfrequenzen in Teilen der aufgenommenen Bilder zu suchen, die aktiven Lichtquellen entsprechen.
  • In Block 414 können die offenbarten Systeme einen Lichtquellenzustand in einem von einer herkömmlichen Kamera aufgenommenen Bild basierend auf einer Sensorfusion mit der ereignisbasierten Kamera detektieren. Wie erwähnt, können die offenbarten Systeme zukünftige eingeschaltete oder ausgeschaltete Ereignisse für die Lichtquelle basierend auf historischen Daten vorhersagen, die von der ereignisbasierten Kamera erfasst wurden.
  • In Block 416 können die offenbarten Systeme Wahrnehmungsalgorithmen über den eingeschalteten oder ausgeschalteten Zustand einer Lichtquelle basierend auf den Ergebnissen der vorstehenden Vorgänge informieren. Insbesondere können die offenbarten Systeme dazu konfiguriert sein, die Gewichte aller geeigneten KI-basierten Algorithmen basierend auf der Frequenz und/oder den Charakteristika der eingeschalteten und ausgeschalteten Zustände der Lichtquelle zu aktualisieren.
  • In Block 418 können die offenbarten Systeme bestimmen, ob ein eingeschalteter Zustand der Lichtquelle erfasst wurde. Wenn ja, können die Vorgänge der offenbarten Systeme zu Block 422 übergehen, wo die Vorgänge beendet werden.
  • In Block 420 können die offenbarten Systeme bestimmen, ob eine Lichtquelle im eingeschalteten Zustand ist, und zwar innerhalb der folgenden N Sekunden, wobei N eine positive Zahl darstellt. Wenn ja, können die Vorgänge der offenbarten Systeme zu Block 422 übergehen, wo die Vorgänge beendet werden. Wenn nicht, können die offenbarten Systeme in Block 424 bestimmen, eine Verzögerung zu berechnen und der Belichtungszeit der Kamera hinzuzufügen. Das Ausmaß der Verzögerung, die zur Belichtungszeit der Kamera hinzugefügt werden muss, kann zumindest teilweise auf dem vorhergesagten zukünftigen Zustand der Lichtquelle basieren, wie er durch die KI-Algorithmen in Verbindung mit Daten bestimmt wird, die von der ereignisbasierten Kamera erzeugt werden.
  • Ferner können in Block 426 die offenbarten Systeme das Bild der Szene nach der Verzögerung erfassen. Insbesondere kann dieses aufgenommene Bild eine korrekte zeitliche Ausrichtung zwischen der Belichtungszeit der herkömmlichen Kamera und der Flimmerfrequenz der Lichtquelle aufweisen. Dementsprechend kann das Bild eine originalgetreue Wiedergabe des tatsächlichen Zustands der Lichtquelle darstellen. Die Vorgänge der offenbarten Systeme können dann zu Block 422 übergehen, wo die Vorgänge beendet werden.
  • 5 zeigt einen weiteren beispielhaften Prozessablauf, der ein Verfahren zum Reduzieren von Flimmerartefakten in abgebildeten Lichtquellen gemäß beispielhaften Ausführungsformen der Offenbarung beschreibt. Bei Block 502 kann das Verfahren das Aufnehmen von Bildern, die einer Szene entsprechen, unter Verwendung einer Kamera und das Identifizieren einer Lichtquelle in der Szene unter Verwendung mindestens eines KI-basierten Algorithmus beinhalten. In einigen Beispielen kann die Kamera eine CMOS-basierte Kamera oder eine CCD-basierte Kamera beinhalten. In einigen Beispielen beinhaltet der KI-basierte Algorithmus einen Objektverfolgungsalgorithmus, der eine Position der Lichtquelle in der Szene verfolgt, und wobei das Verfahren ferner das Ändern eines Fokus der ereignisbasierten Kamera beinhalten kann, um die Position der Lichtquelle zu verfolgen.
  • Bei Block 504 kann das Verfahren das Bestimmen von Daten, die das Flimmern der Lichtquelle darstellen, und das Identifizieren einer Frequenz des Flimmerns unter Verwendung einer ereignisbasierten Kamera beinhalten. In einigen Beispielen können die offenbarten Systeme ferner Informationen bestimmen, die mit einer Bewegung der Kamera assoziiert sind, und zusätzliche Daten in den bestimmten Daten basierend auf den Informationen herausfiltern. In anderen Beispielen kann das offenbarte System mindestens zwei Frequenzen identifizieren, die mit dem eingeschalteten Zustand und einem ausgeschalteten Zustand der Lichtquelle assoziiert sind, und die Frequenz mit einem größeren Wert auswählen. In einigen Beispielen können die offenbarten Systeme eine HD-Karte verwenden, um einen Standort der Lichtquelle zu erhalten. In anderen Aspekten können die offenbarten Systeme eine maximale Lichtintensität von mehreren Lichtquellen in der Szene identifizieren, wobei jede Lichtquelle eine jeweilige Intensität aufweist.
  • Bei Block 506 kann das Verfahren das Bestimmen aus den Daten beinhalten, dass eine Zeitdauer der Überlappung zwischen einem eingeschalteten Zustand der Lichtquelle und einer Belichtungszeit der Kamera einen Schwellenwert unterschreitet. Insbesondere können die offenbarten Systeme eine numerische Darstellung des Überlappungsgrades zwischen dem eingeschalteten Zustand der Lichtquelle und der Belichtungszeit der Kamera als Prozentsatz erhalten. In einigen Beispielen, wenn der Prozentsatz unter ungefähr 50 % liegt, können die offenbarten Systeme bestimmen, dass der Grad der Überlappung unzureichend ist und daher den Schwellenwert unterschreitet. In anderen Aspekten können die offenbarten Systeme die Lichtquellenintensität für eine Anzeige skalieren. Beispielsweise können die offenbarten Systeme eine Kameraansicht (z. B. eine Rück-, eine Seiten- oder eine Umgebungskamera) konfigurieren, um ein Flimmern zu erfassen, wenn einige Frames vergleichsweise heller sind, und andere Frames, bei denen die Lichtquelle ausgeschaltet ist. Die offenbarten Systeme können Bilder verwenden, die von der Ereigniskamera erzeugt werden, wie hierin verschieden beschrieben, um eine Ansicht anzuzeigen, die mit einem Menschen vergleichbar ist, der die Szene sieht.
  • Bei Block 508 kann das Verfahren das Verzögern der Belichtungszeit der Kamera um eine Verzögerungszeit oder das Durchführen einer anderen geeigneten Aktion zum Erhöhen der Zeitdauer der Überlappung über den Schwellenwert beinhalten. Insbesondere können die offenbarten Systeme die Belichtungszeit der Kamera um die Verzögerungszeit verzögern, um die Zeitdauer der Überlappung über und ungefähr 50 % der Überlappungszeit zu erhöhen. In einigen Beispielen können die offenbarten Systeme mindestens eines von einer Dauer der Belichtungszeit oder einer Häufigkeit der Bildaufnahme durch die Kamera basierend auf der Zeitdauer der Überlappung oder der Verzögerungszeit modifizieren (zum Beispiel erhöhen oder verringern). In einigen Beispielen kann das offenbarte System Anweisungen erzeugen, die bewirken, dass ein Fahrzeug innerhalb eines vorbestimmten ungefähren Abstands von der Lichtquelle bremst.
  • Wie erwähnt, können Ausführungsformen von Vorrichtungen und Systemen (und ihren verschiedenen Komponenten), die hierin beschrieben werden, KI verwenden, um die Automatisierung eines oder mehrerer hierin beschriebener Merkmale zu erleichtern, beispielsweise beim Druchführen von Objekterkennung in der Szene, die durch die Kameras des Fahrzeugs aufgenommen wurde, oder biem Vorhersagen des zukünftigen eingeschalteten Zustands einer Lichtquelle basierend auf historischen Daten. Die Komponenten können verschiedene KI-basierte Verfahren einsetzen, um verschiedene in dieser Schrift offenbarte Ausführungsformen und/oder Beispiele auszuführen. Um die in der vorliegenden Schrift beschriebenen zahlreichen Bestimmungen zu gewährleisten oder diese zu unterstützen (z. B. bestimmen, feststellen, ableiten, berechnen, vorhersagen, prognostizieren, schätzen, herleiten, voraussagen, erfassen, berechnen), können die in der vorliegenden Schrift beschriebenen Komponenten die Gesamtheit oder eine Teilmenge der Daten untersuchen, zu denen Zugang gewährt wird, und aus einer Reihe von Beobachtungen, die über Ereignisse und/oder Daten erfasst wurden, Überlegungen zu System-, Umgebungszuständen usw. anstellen oder diese bestimmen. Bestimmungen können eingesetzt werden, um einen konkreten Kontext oder eine konkrete Handlung zu identifizieren, oder können zum Beispiel eine Wahrscheinlichkeitsverteilung über Zustände erzeugen. Die Bestimmungen können probabilistisch sein; was das Errechnen einer Wahrscheinlichkeitsverteilung über Zustände von Interesse basierend auf einer Berücksichtigung von Daten und Ereignissen bedeutet. Bestimmungen können sich zudem auf Techniken beziehen, die zum Zusammensetzen von Ereignissen höherer Ebene aus einer Reihe von Ereignissen und/oder Daten verwendet werden.
  • Derartige Bestimmungen können zur Konstruktion neuer Ereignisse oder Handlungen aus einem Satz von beobachteten Ereignissen und/oder gespeicherten Ereignisdaten führen, ob die Ereignisse in großer zeitlicher Nähe korreliert sind und ob die Ereignisse und Daten aus einer oder mehreren Ereignis- und Datenquellen (z. B. unterschiedlichen Sensoreingängen) stammen. Hierin offenbarte Komponenten können verschiedene Schemata zur Klassifizierung (explizit trainiert (z. B. über Trainingsdaten) sowie implizit trainiert (z. B. über das Beobachten von Verhalten, Präferenzen, historischen Informationen, Empfangen von extrinsischen Informationen usw.)) und/oder Systeme (z. B. Support-Vektor-Maschinen, neuronale Netze, Expertensysteme, Bayessche Netze, Fuzzylogik, Datenfusions-Engines usw.) in Verbindung mit dem Durchführen einer automatischen und/oder bestimmten Handlung in Verbindung mit dem beanspruchten Gegenstand einsetzen. Derartige Klassifizierungsschemata und/oder - systeme können zum automatischen Lernen und Ausführen einer Reihe von Funktionen, Handlungen, und/oder Bestimmungen verwendet werden.
  • Ein Klassifikator kann einen Eingabeattributvektor abbilden, z = (z1, z2, z3, z4,..., zn), zu der Gewissheit, dass die Eingabe zu einer Klasse gehört, wie durch f (z) = Konfidenz (Klasse). Eine derartige Klassifizierung kann eine probabilistische und/oder statistikbasierte Analyse (z. B. Einkalkulierung in die Analyseeinrichtungen und -kosten) einsetzen, um eine Handlung zu bestimmen, die automatisch durchgeführt werden soll. Eine Stützvektormaschine (SVM) kann ein Beispiel für einen Klassifikator sein, der verwendet werden kann. Die SVM arbeitet, indem sie eine Hyperoberfläche in dem Raum der möglichen Eingaben findet, wo die Hyperoberfläche versucht, die auslösenden Kriterien von den nicht auslösenden Ereignissen zu trennen. Dies macht die Klassifizierung zum Testen von Daten, die nahe bei den Trainingsdaten liegen, mit diesen jedoch nicht identisch sind, intuitiv korrekt. Andere gerichtete und ungerichtete Modellklassifizierungsansätze beinhalten zum Beispiel naive Bayes, Bayessche Netze, Entscheidungsbäume, neuronale Netze, Fuzzylogik-Modelle und/oder probabilistische Klassifizierungsmodelle, die unterschiedliche Muster von Unabhängigkeit bereitstellen, die eingesetzt werden können. Klassifizierung schließt im hierin verwendeten Sinne auch statistische Regression ein, die verwendet wird, um Prioritätsmodelle zu entwickeln.
  • 6 ist eine schematische Veranschaulichung eines beispielhaften autonomen Fahrzeugs gemäß einer oder mehreren Ausführungsformen der Offenbarung. Wie erwähnt, kann das Fahrzeug (zum Beispiel das in Verbindung mit 1 oben gezeigte und beschriebene Fahrzeug 102) ein AV beinhalten. Unter Bezugnahme auf 6 kann ein beispielhaftes Fahrzeug 600 ein Triebwerk 602 (wie etwa eine Brennkraftmaschine und/oder einen Elektromotor) beinhalten, das angetriebenen Rädern 604, die das Fahrzeug vorwärts oder rückwärts antreiben, Drehmoment bereitstellt.
  • Der autonome Fahrzeugbetrieb, der Antrieb, Lenkung, Bremsung, Navigation und dergleichen beinhaltet, kann autonom durch eine Fahrzeugsteuerung 606 gesteuert werden. Zum Beispiel kann die Fahrzeugsteuerung 606 dazu konfiguriert sein, Feedback von einem oder mehreren Sensoren (zum Beispiel dem Sensorsystem 634 usw.) und anderen Fahrzeugkomponenten zu empfangen, um Straßenverhältnisse, Fahrzeugpositionierung und so weiter zu bestimmen. Die Fahrzeugsteuerung 606 kann zudem Daten von verschiedenen Sensoren wie etwa Geschwindigkeitsüberwachungs- und Gierratensensor sowie den Reifen, den Bremsen, dem Elektromotor und anderen Fahrzeugkomponenten aufnehmen. Die Fahrzeugsteuerung 606 kann die Rückkopplungs- und die Routen-/Kartendaten der Route verwenden, um durch das autonome Fahrzeug vorzunehmende Handlungen zu bestimmen, die Vorgänge bezüglich des Motors, der Lenkung, der Bremsung und so weiter beinhalten können. Die Steuerung der verschiedenen Fahrzeugsysteme kann unter Verwendung beliebiger geeigneter mechanischer Mittel umgesetzt sein, wie etwa Servomotoren, Roboterarmen (z. B. zum Steuern des Lenkradbetriebs, des Gaspedals, des Bremspedals usw.) und so weiter. Die Steuerung 606 kann dazu konfiguriert sein, mit dem Benutzer durch Kommunizieren mit der Benutzervorrichtung des Benutzers zu interagieren.
  • Die Fahrzeugsteuerung 606 kann einen oder mehrere Computerprozessoren beinhalten, die an mindestens einen Speicher gekoppelt sind. Das Fahrzeug 600 kann ein Bremssystem 608 beinhalten, das Bremsscheiben 610 und Bremssättel 612 aufweist. Das Fahrzeug 600 kann ein Lenksystem 614 beinhalten. Das Lenksystem 614 kann ein Lenkrad 616 beinhalten, wobei eine Lenkwelle 618 das Lenkrad mit einer Zahnstange 620 (oder einem Lenkgetriebe) verbindet. Die Vorder- und/oder Hinterräder 604 können über die Achse 622 mit der Zahnstange 620 verbunden sein. Ein Lenksensor 624 kann nahe der Lenkwelle 618 angeordnet sein, um einen Lenkwinkel zu messen. Das Fahrzeug 600 beinhaltet zudem einen Geschwindigkeitssensor 626, der an den Rädern 604 oder in dem Getriebe angeordnet sein kann. Der Geschwindigkeitssensor 626 ist dazu konfiguriert, ein Signal an die Steuerung 606 auszugeben, das die Geschwindigkeit des Fahrzeugs angibt. Ein Gierratensensor 628 steht in Kommunikation mit der Steuerung 606 und ist dazu konfiguriert, ein Signal auszugeben, das die Gierrate des Fahrzeugs 600 angibt.
  • Das Fahrzeug 600 beinhaltet eine Kabine, die eine Anzeige 630 in elektronischer Kommunikation mit der Steuerung 606 aufweist. Die Anzeige 630 kann ein Touchscreen sein, der den Fahrgästen des Fahrzeugs Informationen anzeigt und/oder als Eingabe dient. Es versteht sich für den Durchschnittsfachmann, dass viele unterschiedliche Anzeige- und Eingabevorrichtungen verfügbar sind und dass die vorliegende Offenbarung nicht auf eine konkrete Anzeige beschränkt ist. Ein Audiosystem 632 kann innerhalb der Kabine angeordnet sein und kann einen oder mehrere Lautsprecher beinhalten, um Benutzern Informationen bereitzustellen, die Gegenstände aufnehmen. Das Audiosystem 632 kann auch ein Mikrofon zum Empfangen von Spracheingaben oder zum Erfassen von Geräuschen an dem Wohnsitz (zum Beispiel Tiergeräusche) beinhalten. Das Fahrzeug kann ein Kommunikationssystem 636 beinhalten, das dazu konfiguriert ist, drahtlose Kommunikation über ein oder mehrere Netze zu senden und/oder zu empfangen. Das Kommunikationssystem 636 kann zur Kommunikation mit Vorrichtungen im Auto oder außerhalb des Autos konfiguriert sein, wie etwa einer Vorrichtung eines Benutzers, den Zustellfahrzeugen usw.
  • Das Fahrzeug 600 kann zudem ein Sensorsystem zum Erfassen von Bereichen außerhalb des Fahrzeugs beinhalten. Das Sensorsystem kann eine Vielzahl von unterschiedlichen Arten von Sensoren und Vorrichtungen beinhalten, wie etwa Kameras, Ultraschallsensoren, RADAR, LIDAR und/oder Kombinationen daraus. Das Sensorsystem kann zum Steuern der Funktionen verschiedener Komponenten mit der Steuerung 606 in elektronischer Kommunikation stehen. Die Steuerung kann über einen seriellen Bus oder über dedizierte elektrische Leitungen kommunizieren. Die Steuerung umfasst im Allgemeinen eine beliebige Anzahl von Mikroprozessoren, ASICs, ICs, Speicher (zum Beispiel FLASH, ROM, RAM, EPROM und/oder EEPROM) und Softwarecode, um miteinander zusammenzuwirken, um eine Reihe von Vorgängen auszuführen. Die Steuerung beinhaltet auch vorbestimmte Daten oder „Lookup-Tabellen“, die auf Berechnungen und Testdaten beruhen und in dem Speicher gespeichert sind. Die Steuerung kann über eine oder mehrere drahtgebundene oder drahtlose Fahrzeugverbindungen unter Verwendung üblicher Busprotokolle (zum Beispiel CAN und LIN) mit anderen Fahrzeugsystemen und Steuerungen kommunizieren. Wie hierin verwendet, bezieht sich eine Bezugnahme auf „eine Steuerung“ auf eine oder mehrere Steuerungen und/oder einen oder mehrere Computerprozessoren. Die Steuerung 606 kann Signale von dem Sensorsystem 634 empfangen und Speicher beinhalten, der maschinenlesbare Anweisungen zum Verarbeiten der Daten von dem Sensorsystem beinhaltet. Die Steuerung 606 kann dazu programmiert sein, Anweisungen an mindestens die Anzeige 630, das Audiosystem 632, das Lenksystem 614, das Bremssystem 608 und/oder das Triebwerk 602 auszugeben, um das Fahrzeug 600 autonom zu betreiben.
  • 7 ist eine schematische Veranschaulichung einer beispielhaften Serverarchitektur für einen oder mehrere Server 700 gemäß einer oder mehreren Ausführungsformen der Offenbarung. Der Server 700, der in dem Beispiel aus 7 veranschaulicht ist, kann einem Server entsprechen, der von einem Fahrzeug (zum Beispiel Fahrzeug 102, wie vorstehend in Verbindung mit 1 gezeigt und beschrieben) in einem mit dem Fahrzeug assoziierten Netz verwendet werden kann. In einer Ausführungsform kann der Server 700 einen Cloud-basierten Server beinhalten, der zum Speichern und Übertragen von Informationen (zum Beispiel HD-Karteninformationen, einschließlich des Standorts von Lichtquellen wie Ampeln, Verkehrsinformationen und dergleichen) dienen kann. Einige oder alle der einzelnen Komponenten können in verschiedenen Ausführungsformen optional und/oder unterschiedlich sein. In einigen Ausführungsformen kann sich mindestens einer der in 7 beschriebenen Server an einem autonomen Fahrzeug befinden.
  • Der Server 700 kann mit einem AV 740 und einer oder mehreren Benutzervorrichtungen 750 in Kommunikation stehen. Das AV 740 kann mit der einen oder den mehreren Benutzervorrichtungen 750 in Kommunikation stehen. Ferner können der Server 700, das AV 740 und/oder die Benutzervorrichtungen 750 dazu konfiguriert sein, über ein oder mehrere Netze 742 zu kommunizieren. Das AV 740 kann zusätzlich über ein oder mehrere Netz(e) 742 mit den Benutzervorrichtungen 750 über ein Verbindungsprotokoll wie etwa Bluetooth oder NFC in drahtloser Kommunikation stehen. Ein derartiges Netz bzw. derartige Netze 742 kann bzw. können unter anderem eine oder mehrere beliebige unterschiedliche Arten von Kommunikationsnetzen beinhalten, wie etwa Kabelnetze, öffentliche Netze (zum Beispiel das Internet), private Netze (zum Beispiel Frame-Relay-Netze), drahtlose Netze, Mobilfunknetze, Telefonnetze (zum Beispiel ein öffentliches Fernsprechnetz) oder beliebige andere geeignete private oder öffentliche paketvermittelte oder leitungsvermittelte Netze. Ferner kann ein derartiges Netz bzw. können derartige Netze einen beliebigen geeigneten, damit assoziierten Kommunikationsbereich aufweisen. Zusätzlich kann/können (ein) solche(s) Netz(e) Kommunikationsverbindungen und assoziierte Vernetzungsvorrichtungen (zum Beispiel Switches auf der Sicherungsschicht, Router usw.) zum Übertragen von Netzverkehr über eine beliebige geeignete Art von Medium beinhalten, einschließlich unter anderem Koaxialkabel, Kabel mit verdrillten Adernpaaren (zum Beispiel Kupferkabel mit verdrillten Adernpaaren), Lichtleitfaser, ein HFC-Medium, ein Mikrowellenmedium, ein Hochfrequenzkommunikationsmedium, ein Satellitenkommunikationsmedium oder eine beliebige Kombination davon.
  • In einer veranschaulichenden Konfiguration kann der Server700 einen oder mehrere Prozessoren 702, eine oder mehrere Speichervorrichtungen 704 (in dieser Schrift auch als Speicher 704 bezeichnet), eine oder mehrere Eingangs-/Ausgangs-(E/A-)Schnittstelle(n) 706, eine oder mehrere Netzschnittstelle(n) 708, einen oder mehrere Sensor(en) oder eine oder mehrere Sensorschnittstelle(n) 710, einen oder mehrere Sender/Empfänger 712, eine oder mehrere optionale Anzeigekomponenten 714, ein(-e/-en) oder mehrere optionale Lautsprecher/Kamera(s)/Mikrofon(e) 716 und Datenspeicher 720 beinhalten. Der Server 700 kann ferner einen oder mehrere Bus(se) 718 beinhalten, die verschiedene Komponenten des Servers 700 funktionell koppeln. Der Server 700 kann ferner eine oder mehrere Antenne(n) 730 beinhalten, zu denen unter anderem eine Mobilfunkantenne zum Übertragen oder Empfangen von Signalen an eine/von einer Mobilfunknetzinfrastruktur, eine GNSS-Antenne zum Empfangen von GNSS-Signalen von einem GNSS-Satelliten, eine Bluetooth-Antenne zum Übertragen oder Empfangen von Bluetooth-Signalen, eine NFC-Antenne zum Übertragen oder Empfangen von NFC-Signalen und so weiter gehören können. Diese verschiedenen Komponenten werden nachstehend genauer beschrieben.
  • Der bzw. die Bus(se) 718 kann bzw. können mindestens eines von einem Systembus, einem Speicherbus, einem Adressbus oder einem Nachrichtenbus beinhalten und den Austausch von Informationen (zum Beispiel Daten (einschließlich computerausführbarer Codes), Signalisierung usw.) zwischen verschiedenen Komponenten des Servers 700 ermöglichen. Der bzw. die Bus(se) 718 kann bzw. können unter anderem einen Speicherbus oder eine Speichersteuerung, einen Peripheriebus, einen Accelerated Graphics Port und so weiter beinhalten. Der bzw. die Bus(se) 718 kann bzw. können mit einer beliebigen geeigneten Busarchitektur assoziiert sein.
  • Der Speicher 704 des Servers 700 kann flüchtigen Speicher (Speicher, der seinen Zustand beibehält, wenn er mit Leistung versorgt wird) wie etwa RAM und/oder nichtflüchtigen Speicher (Speicher, der seinen Zustand beibehält, auch wenn er nicht mit Leistung versorgt wird) wie etwa Festwertspeicher (read-only memory - ROM), Flash-Speicher, ferroelektrischen RAM (FRAM) und so weiter beinhalten. Dauerhafter Datenspeicher kann im hierin verwendeten Sinne des Ausdrucks nicht flüchtigen Speicher einschließen. In gewissen Ausführungsbeispielen kann ein flüchtiger Speicher einen schnelleren Lese-/Schreibzugriff als ein nichtflüchtiger Speicher ermöglichen. In bestimmten anderen Ausführungsbeispielen können bestimmte Arten von nicht flüchtigem Speicher (zum Beispiel FRAM) jedoch einen schnelleren Lese-/Schreibzugriff als bestimmte Arten von flüchtigem Speicher ermöglichen.
  • Der Datenspeicher 720 kann wechselbaren Speicher und/oder nicht wechselbaren Speicher beinhalten, der unter anderem Magnetspeicher, optischen Plattenspeicher und/oder Bandspeicher beinhaltet. Der Datenspeicher 720 kann nichtflüchtige Speicherung von computerausführbaren Anweisungen und anderen Daten bereitstellen.
  • Der Datenspeicher 720 kann computerausführbaren Code, Anweisungen oder dergleichen speichern, die in den Speicher 704 ladbar und durch den bzw. die Prozessor(en) 702 ausführbar sein können, um den bzw. die Prozessor(en) 702 dazu zu veranlassen, verschiedene Vorgänge durchzuführen oder einzuleiten. Der Datenspeicher 720 kann zusätzlich Daten speichern, die zur Verwendung durch den bzw. die Prozessor(en) 702 während der Ausführung der computerausführbaren Anweisungen in den Speicher 704 kopiert werden können. Konkreter kann der Datenspeicher 720 ein oder mehrere Betriebssysteme (operating systems - O/S) 722; ein oder mehrere Datenbankverwaltungssysteme (database management systems - DBMS) 724; und ein(e) oder mehrere Programmodul(e), Anwendungen, Engines, computerausführbaren Code, Skripte oder dergleichen speichern. Einige oder alle dieser Komponenten können Unterkomponenten sein. Beliebige der als in dem Datenspeicher 720 gespeichert dargestellten Komponenten können eine beliebige Kombination aus Software, Firmware und/oder Hardware beinhalten. Die Software und/oder Firmware kann computerausführbaren Code, Anweisungen oder dergleichen beinhalten, die zur Ausführung durch einen oder mehrere des Prozessors bzw. der Prozessoren 702 in den Speicher 704 geladen werden können. Beliebige der Komponenten, die als in dem Datenspeicher 720 gespeichert dargestellt sind, können Funktionen unterstützen, die unter Bezugnahme auf entsprechende Komponenten beschrieben sind, die an früherer Stelle in dieser Offenbarung benannt sind.
  • Der bzw. die Prozessor(en) 702 kann bzw. können dazu konfiguriert sein, auf den Speicher 704 zuzugreifen und die in diesen geladenen computerausführbaren Anweisungen auszuführen. Zum Beispiel kann bzw. können der bzw. die Prozessor(en) 702 dazu konfiguriert sein, die computerausführbaren Anweisungen der verschiedenen Programmmodul(e), Anwendungen, Engines oder dergleichen des Servers 700 auszuführen, um das Durchführen verschiedener Vorgänge gemäß einer oder mehreren Ausführungsformen der Offenbarung zu bewirken oder zu erleichtern. Der bzw. die Prozessor(en) 702 kann bzw. können eine beliebige geeignete Verarbeitungseinheit beinhalten, die zum Annehmen von Daten als Eingabe, Verarbeiten der eingegebenen Daten gemäß gespeicherten computerausführbaren Anweisungen und Erzeugen von Ausgabedaten in der Lage ist. Der bzw. die Prozessor(en) 702 kann bzw. können eine beliebige Art von geeigneter Verarbeitungseinheit beinhalten.
  • Unter Bezugnahme auf andere veranschaulichte Komponenten, die als in dem Datenspeicher 720 gespeichert dargestellt sind, kann das O/S 722 von dem Datenspeicher 720 in den Speicher 704 geladen werden und eine Schnittstelle zwischen anderer Anwendungssoftware, die auf dem Server 700 ausgeführt wird, und den Hardwareressourcen des Servers 700 bereitstellen.
  • Das DBMS 724 kann in den Speicher 704 geladen werden und Funktionen zum Zugreifen, Abrufen, Speichern und/oder Bearbeiten von Daten, die in dem Speicher 704 gespeichert sind, und/oder Daten, die in dem Datenspeicher 720 gespeichert sind, unterstützen. Das DBMS 724 kann beliebige von vielfältigen Datenbankmodellen (zum Beispiel relationales Modell, Objektmodell usw.) verwenden und beliebige von vielfältigen Abfragesprachen unterstützen.
  • Unter Bezugnahme auf andere veranschaulichte Komponenten des Servers 700 kann bzw. können die Eingangs-/Ausgangs(E/A)-Schnittstelle(n) 706 den Empfang von Eingabeinformationen durch den Server 700 von einer oder mehreren E/A-Vorrichtungen sowie die Ausgabe von Informationen von dem Server 700 an die eine oder mehreren E/A-Vorrichtungen erleichtern. Die E/A-Vorrichtungen können beliebige von vielfältigen Komponenten beinhalten, wie etwa eine Anzeige oder einen Anzeigebildschirm, der eine Berührungsfläche oder einen Touchscreen aufweist; eine Audioausgabevorrichtung zum Erzeugen von Tönen, wie etwa einen Lautsprecher; eine Audioaufnahmevorrichtung, wie etwa ein Mikrofon; eine Bild- und/oder Videoaufnahmevorrichtung, wie etwa eine Kamera; eine haptische Einheit; und so weiter. Die E/A-Schnittstelle(n) 706 kann bzw. können zudem eine Verbindung mit einer oder mehreren der Antenne(n) 730 beinhalten, um über ein Funkgerät für ein drahtloses lokales Netz (WLAN) (wie etwa Wi-Fi), Bluetooth, ZigBee und/oder ein Funkgerät für ein drahtloses Netz, wie etwa ein Funkgerät, das zur Kommunikation mit einem drahtlosen Kommunikationsnetz in der Lage ist, wie etwa einem Long-Term-Evolution-(LTE-)Netz, WiMAX-Netz, 3G-Netz, ZigBee-Netz usw., eine Verbindung mit einem oder mehreren Netzen herzustellen.
  • Der Server 700 kann ferner eine oder mehrere Netzschnittstelle(n) 708 beinhalten, über die der Server 700 mit beliebigen von vielfältigen anderen Systemen, Plattformen, Netzen, Vorrichtungen und so weiter kommunizieren kann. Die Netzschnittstelle(n) 708 kann bzw. können Kommunikation zum Beispiel mit einem oder mehreren drahtlosen Routern, einem oder mehreren Host-Servern, einem oder mehreren Web-Servern und dergleichen über ein oder mehrere Netze ermöglichen.
  • Der bzw. die Sensor(en)/Sensorschnittstelle(n) 710 kann bzw. können eine beliebige Art von Erfassungsvorrichtung, wie zum Beispiel Trägheitssensoren, Kraftsensoren, Wärmesensoren, Fotozellen und so weiter, beinhalten oder dazu in der Lage sein, damit eine Schnittstelle zu bilden.
  • Die Anzeigekomponente(n) 714 kann bzw. können eine oder mehrere Anzeigeschichten, wie etwa LED- oder LCD-Schichten, Touchscreen-Schichten, Schutzschichten und/oder andere Schichten beinhalten. Die optionale(n) Kamera(s) des bzw. der Lautsprecher(s)/Kamera(s)/Mikrofon(-s/-e) 716 kann bzw. können eine beliebige Vorrichtung sein, die zum Aufnehmen von Umgebungslicht oder Bildern konfiguriert ist. Das bzw. die optionale(n) Mikrofon(e) des bzw. der Lautsprecher(s)/Kamera(s)/Mikrofon(-s/-e) 716 kann bzw. können eine beliebige Vorrichtung sein, die zum Empfangen von analogen Schalleingaben oder Sprachdaten konfiguriert ist. Das bzw. die Mikrofon(e) des bzw. der Lautsprecher(s)/Kamera(s)/Mikrofon(-s/-e) 716 kann bzw. können Mikrofone beinhalten, die zum Aufnehmen von Schall verwendet werden.
  • Es versteht sich, dass das/der bzw. die Programmmodul(e), Anwendungen, computerausführbaren Anweisungen, Code oder dergleichen, die in 7 als in dem Datenspeicher 720 gespeichert dargestellt sind, lediglich veranschaulichend und nicht erschöpfend sind und dass Verarbeitung, die als durch ein beliebiges bestimmtes Modul unterstützt beschrieben ist, alternativ auf mehrere Modul(e) verteilt sein kann oder durch ein anderes Modul durchgeführt werden kann.
  • Es versteht sich ferner, dass der Server 700 alternative und/oder zusätzliche Hardware-, Software- oder Firmwarekomponenten beinhalten kann, die über die beschriebenen oder dargestellten hinausgehen, ohne vom Umfang der Offenbarung abzuweichen.
  • Die Benutzervorrichtung 750 kann einen oder mehrere Computerprozessor(en) 752, eine oder mehrere Speichervorrichtungen 754 und eine oder mehrere Anwendungen, wie etwa eine Fahrzeuganwendung 756, beinhalten. Andere Ausführungsformen können unterschiedliche Komponenten beinhalten.
  • Der/die Prozessor(en) 752 können dazu konfiguriert sein, auf den Speicher 754 zuzugreifen und die vom Computer ausführbaren Anweisungen, die darin geladen sind, auszuführen. Zum Beispiel kann bzw. können der bzw. die Prozessor(en) 752 dazu konfiguriert sein, die computerausführbaren Anweisungen der verschiedenen Programmmodul(e), Anwendungen, Engines oder dergleichen des Servers auszuführen, um das Durchführen verschiedener Vorgänge gemäß einer oder mehreren Ausführungsformen der Offenbarung zu bewirken oder zu erleichtern. Der/die Prozessor(en) 752 können eine beliebige geeignete Verarbeitungseinheit beinhalten, die in der Lage ist, Daten als Eingabe zu akzeptieren, die Eingangsdaten gemäß gespeicherten, vom Computer ausführbaren Anweisungen zu verarbeiten und Ausgangsdaten zu generieren. Der/die Prozessor(en) 752 können eine beliebige Art von geeigneter Verarbeitungseinheit beinhalten.
  • Der Speicher 754 kann einen flüchtigen Speicher (Speicher, der seinen Zustand beibehält, wenn er mit Strom versorgt wird) beinhalten. Dauerhafter Datenspeicher kann im hierin verwendeten Sinne des Ausdrucks nicht flüchtigen Speicher einschließen. In gewissen Ausführungsbeispielen kann ein flüchtiger Speicher einen schnelleren Lese-/Schreibzugriff als ein nichtflüchtiger Speicher ermöglichen. In bestimmten anderen Ausführungsbeispielen können bestimmte Arten von nicht flüchtigem Speicher (zum Beispiel FRAM) jedoch einen schnelleren Lese-/Schreibzugriff als bestimmte Arten von flüchtigem Speicher ermöglichen.
  • Nun unter Bezugnahme auf die Funktionalität, die von der Benutzervorrichtung 750 unterstützt wird, kann die Anwendung 756 eine mobile Anwendung sein, die von dem Prozessor 752 ausführbar ist und zum Darstellen von Optionen und/oder Empfangen von Benutzereingaben von Informationen in Bezug auf die offenbarten Ausführungsformen verwendet werden kann. Zusätzlich kann die Benutzervorrichtung 750 mit dem AV 740 über das Netz 742 und/oder eine direkte Verbindung kommunizieren, die eine drahtlose oder drahtgebundene Verbindung sein kann. Die Benutzervorrichtung 750 kann eine Kamera, einen Scanner, einen Bioleser oder dergleichen beinhalten, um biometrische Daten eines Benutzers zu erfassen, einen gewissen Verarbeitungsschritt an den biometrischen Daten durchzuführen, wie etwa Merkmale aus aufgenommenen biometrischen Daten zu extrahieren, und diese extrahierten Merkmale dann an einen oder mehrere entfernte Server zu kommunizieren, wie etwa einen oder mehrere von Cloud-basierten Servern.
  • Es versteht sich, dass das/der bzw. die Programmmodul(e), Anwendungen, computerausführbaren Anweisungen, Code oder dergleichen, die in 7 als in dem Datenspeicher 720 gespeichert dargestellt sind, lediglich veranschaulichend und nicht erschöpfend sind und dass Verarbeitung, die als durch ein beliebiges bestimmtes Modul unterstützt beschrieben ist, alternativ auf mehrere Modul(e) verteilt sein kann oder durch ein anderes Modul durchgeführt werden kann.
  • Es versteht sich ferner, dass der Server 700 alternative und/oder zusätzliche Hardware-, Software- oder Firmwarekomponenten beinhalten kann, die über die beschriebenen oder dargestellten hinausgehen, ohne vom Umfang der Offenbarung abzuweichen.
  • Ausführungsbeispiele
  • Beispiel 1 kann ein Verfahren beinhalten, das Folgendes umfasst: Empfangen von Bildern, die einer von einer Kamera aufgenommenen Szene entsprechen; Bestimmen einer Lichtquelle in der Szene unter Verwendung mindestens eines auf künstlicher Intelligenz (KI) basierenden Algorithmus; Empfangen von Daten von einer ereignisbasierten Kamera, die das Flimmern der Lichtquelle darstellen; Bestimmen basierend auf den Daten, dass eine Zeitdauer der Überlappung zwischen einem eingeschalteten Zustand der Lichtquelle und einer Belichtungszeit der Kamera einen Schwellenwert unterschreitet; und Verzögern der Belichtungszeit der Kamera um eine Verzögerungszeit, um die Zeitdauer der Überlappung zu erhöhen.
  • Beispiel 2 kann das Verfahren aus Beispiel 1 und/oder ein anderes Beispiel hierin beinhalten, ferner umfassend das Modifizieren von mindestens einem von einer Dauer der Belichtungszeit oder einer Frequenz der Bildaufnahme durch die Kamera basierend auf mindestens einem von der Zeitdauer der Überlappung oder der Verzögerungszeit.
  • Beispiel 3 kann das Verfahren aus Beispiel 1 und/oder ein anderes Beispiel hierin beinhalten, ferner umfassend das Bestimmen einer Frequenz des Flimmerns durch Bestimmen von mindestens zwei Frequenzen, die mit dem eingeschalteten Zustand und einem ausgeschalteten Zustand der Lichtquelle assoziiert sind, und Auswählen der Frequenz mit einem größeren Wert.
  • Beispiel 4 kann das Verfahren aus Beispiel 1 und/oder ein anderes Beispiel hierin beinhalten, wobei der KI-basierte Algorithmus einen Objektverfolgungsalgorithmus beinhaltet, der eine Position der Lichtquelle in der Szene verfolgt, und wobei das Verfahren ferner das Ändern eines Fokus der ereignisbasierten Kamera umfasst, um die Position der Lichtquelle zu verfolgen.
  • Beispiel 5 kann das Verfahren aus Beispiel 1 und/oder ein anderes Beispiel hierin beinhalten, ferner umfassend: Bestimmen von Informationen, die mit einer Bewegung der Kamera assoziiert sind, und Herausfiltern zusätzlicher Daten in den bestimmten Daten basierend auf den Informationen.
  • Beispiel 6 kann das Verfahren aus Beispiel 1 und/oder ein anderes Beispiel hierin beinhalten, wobei das Bestimmen der Lichtquelle in der Szene ferner Folgendes umfasst: Bestimmen von hochauflösenden (HD) Karteninformationen, die einen Ort der Lichtquelle umfassen.
  • Beispiel 7 kann das Verfahren aus Beispiel 1 und/oder ein anderes Beispiel hierin beinhalten, wobei das Bestimmen der Lichtquelle in der Szene ferner das Bestimmen einer maximalen Intensität des Lichts von mehreren Lichtquellen in der Szene umfasst, wobei jede Lichtquelle eine jeweilige Intensität aufweist.
  • Beispiel 8 kann das Verfahren aus Beispiel 1 und/oder ein anderes Beispiel hierin beinhalten, ferner umfassend das Erzeugen von Anweisungen, die ein Fahrzeug dazu veranlassen, innerhalb eines Abstands von der Lichtquelle anzuhalten.
  • Beispiel 9 kann das Verfahren aus Beispiel 1 und/oder einige andere Beispiele hierin beinhalten, wobei die Kamera eine Kamera mit komplementärem Metalloxid-Halbleiter (CMOS) oder eine Kamera mit ladungsgekoppelter Vorrichtung (CCD) umfasst.
  • Beispiel 10 kann eine Vorrichtung beinhalten, die Folgendes umfasst: mindestens eine Speichervorrichtung, auf der computerausführbare Anweisungen gespeichert sind; und mindestens einen Prozessor, der dazu konfiguriert ist, auf die mindestens eine Speichervorrichtung zuzugreifen, wobei der mindestens eine Prozessor dazu konfiguriert ist, die computerausführbaren Anweisungen für Folgendes auszuführen: Empfangen von Bildern, die einer von einer Kamera aufgenommenen Szene entsprechen; Bestimmen einer Lichtquelle in der Szene unter Verwendung mindestens eines auf künstlicher Intelligenz (KI) basierenden Algorithmus; Empfangen von Daten von einer ereignisbasierten Kamera, die das Flimmern der Lichtquelle darstellen; Bestimmen basierend auf den Daten, dass eine Zeitdauer der Überlappung zwischen einem eingeschalteten Zustand der Lichtquelle und einer Belichtungszeit der Kamera einen Schwellenwert unterschreitet; und Verzögern der Belichtungszeit der Kamera um eine Verzögerungszeit, um die Zeitdauer der Überlappung zu erhöhen.
  • Beispiel 11 kann die Vorrichtung aus Beispiel 10 und/oder ein anderes Beispiel hierin beinhalten, ferner umfassend Anweisungen zum Modifizieren von mindestens einem von einer Dauer der Belichtungszeit oder einer Frequenz der Bildaufnahme durch die Kamera basierend auf mindestens einem von der Zeitdauer der Überlappung oder der Verzögerungszeit.
  • Beispiel 12 kann die Vorrichtung aus Beispiel 10 und/oder ein anderes Beispiel hierin beinhalten, ferner umfassend Anweisungen zum Bestimmen einer Frequenz des Flimmerns durch Identifizieren von mindestens zwei Frequenzen, die mit dem eingeschalteten Zustand und einem ausgeschalteten Zustand der Lichtquelle assoziiert sind, und Auswählen der Frequenz mit einem größeren Wert.
  • Beispiel 13 kann die Vorrichtung aus Beispiel 10 und/oder ein anderes Beispiel hierin beinhalten, wobei die Anweisungen zum Bestimmen der Lichtquelle in der Szene ferner Folgendes umfassen: Bestimmen von HD-Karteninformationen, die einen Ort der Lichtquelle umfassen.
  • Beispiel 14 kann die Vorrichtung aus Beispiel 10 und/oder ein anderes Beispiel hierin beinhalten, wobei die Anweisungen zum Identifizieren der Lichtquelle in der Szene ferner Anweisungen zum Identifizieren einer maximalen Intensität des Lichts von mehreren Lichtquellen in der Szene umfassen, wobei jede Lichtquelle eine jeweilige Intensität aufweist.
  • Beispiel 15 kann ein nicht transitorisches computerlesbares Medium beinhalten, auf dem computerlesbare Anweisungen gespeichert sind, die bei Ausführung durch einen Prozessor den Prozessor dazu veranlassen, Vorgänge durchzuführen, die Folgendes umfassen: Empfangen von Bildern, die einer von einer Kamera aufgenommenen Szene entsprechen; Bestimmen einer Lichtquelle in der Szene unter Verwendung mindestens eines auf künstlicher Intelligenz (KI) basierenden Algorithmus; Empfangen von Daten von einer ereignisbasierten Kamera, die das Flimmern der Lichtquelle darstellen; Bestimmen basierend auf den Daten, dass eine Zeitdauer der Überlappung zwischen einem eingeschalteten Zustand der Lichtquelle und einer Belichtungszeit der Kamera einen Schwellenwert unterschreitet; und Verzögern der Belichtungszeit der Kamera um eine Verzögerungszeit, um die Zeitdauer der Überlappung zu erhöhen.
  • Beispiel 16 kann das nicht transitorische computerlesbare Medium aus Beispiel 15 und/oder ein anderes Beispiel hierin beinhalten, ferner umfassend Anweisungen zum Modifizieren von mindestens einem von einer Dauer der Belichtungszeit oder einer Frequenz der Bildaufnahme durch die Kamera basierend auf mindestens einem von der Zeitdauer der Überlappung oder der Verzögerungszeit.
  • Beispiel 17 kann das nicht transitorische computerlesbare Medium aus Beispiel 15 und/oder ein anderes Beispiel hierin beinhalten, ferner umfassend Anweisungen zum Bestimmen einer Frequenz des Flimmerns durch Bestimmen von mindestens zwei Frequenzen, die mit dem eingeschalteten Zustand und einem ausgeschalteten Zustand der Lichtquelle assoziiert sind, und Auswählen der Frequenz mit einem größeren Wert.
  • Beispiel 18 kann das nicht transitorische computerlesbare Medium aus Beispiel 15 und/oder ein anderes Beispiel hierin beinhalten, wobei die Anweisungen zum Identifizieren der Lichtquelle in der Szene ferner Folgendes umfassen: Bestimmen von HD-Karteninformationen, die einen Ort der Lichtquelle umfassen.
  • Beispiel 19 kann das nicht transitorische computerlesbare Medium aus Beispiel 15 und/oder ein anderes Beispiel hierin beinhalten, wobei die Anweisungen zum Bestimmen der Lichtquelle in der Szene ferner Anweisungen zum Bestimmen einer maximalen Intensität des Lichts von mehreren Lichtquellen in der Szene umfassen, wobei jede Lichtquelle eine jeweilige Intensität aufweist.
  • Beispiel 20 kann das nicht transitorische computerlesbare Medium aus Beispiel 15 und/oder ein anderes Beispiel hierin beinhalten, ferner umfassend das Erzeugen von Anweisungen, die ein Fahrzeug dazu veranlassen, innerhalb eines ungefähren Abstands von der Lichtquelle anzuhalten.
  • Wenngleich konkrete Ausführungsformen der Offenbarung beschrieben wurden, wird der Durchschnittsfachmann erkennen, dass zahlreiche andere Modifikationen und alternative Ausführungsformen innerhalb des Umfangs der Offenbarung liegen. Beispielsweise können beliebige der Funktionen und/oder Verarbeitungsmöglichkeiten, die in Bezug auf eine konkrete Vorrichtung oder Komponente beschrieben wurden, durch eine beliebige andere Vorrichtung oder Komponente durchgeführt werden. Ferner wird der Durchschnittsfachmann, auch wenn verschiedene veranschaulichende Umsetzungen und Architekturen gemäß den Ausführungsformen der Offenbarung beschrieben wurden, erkennen, dass zahlreiche andere Modifikationen an den veranschaulichenden Umsetzungen und Architekturen, die in der vorliegenden Schrift beschrieben sind, ebenfalls innerhalb des Umfangs der Offenbarung liegen.
  • Blöcke der Blockdiagramme und Ablaufdiagramme unterstützen Kombinationen von Mitteln zum Durchführen der angegebenen Funktionen, Kombinationen von Elementen oder Schritten zum Durchführen der angegebenen Funktionen und Programmanweisungsmittel zum Durchführen der angegebenen Funktionen. Es versteht sich zudem, dass jeder Block der Blockdiagramme und Ablaufdiagramme und Kombinationen aus Blöcken in den Blockdiagrammen und Ablaufdiagrammen durch speziell dazu dienende hardwarebasierte Computersysteme, welche die angegebenen Funktionen, Elemente oder Schritte durchführen, oder Kombinationen aus speziell dazu dienender Hardware und Computeranweisungen, umgesetzt werden können.
  • Eine Softwarekomponente kann in einer beliebigen einer Vielfalt von Programmiersprachen kodiert sein. Eine veranschaulichende Programmiersprache kann eine niederrangige Programmiersprache sein, wie etwa eine Assembler-Sprache, die einer konkreten Hardwarearchitektur und/oder Betriebssystemplattform zugeordnet ist. Eine Softwarekomponente, die Assembler-Sprachanweisungen umfasst, kann eine Umwandlung in ausführbaren Maschinencode durch einen Assembler vor Ausführung durch die Hardwarearchitektur und/oder Plattform erforderlich machen.
  • Eine Softwarekomponente kann als eine Datei oder ein anderes Datenspeicherkonstrukt gespeichert sein. Softwarekomponenten einer ähnlichen Art oder verwandter Funktionalität können zusammen gespeichert sein, wie etwa beispielsweise in einem konkreten Verzeichnis, Ordner oder einer Programmbibliothek. Softwarekomponenten können statisch (zum Beispiel voreingestellt oder fest) oder dynamisch (zum Beispiel zum Zeitpunkt der Ausführung erstellt oder modifiziert) sein.
  • Softwarekomponenten können durch einen beliebigen einer großen Vielfalt von Mechanismen andere Softwarekomponenten aufrufen oder durch diese aufgerufen werden. Aufgerufene oder aufrufende Softwarekomponenten können weitere vom Kunden entwickelte Anwendungssoftware, Betriebssystemfunktionen (zum Beispiel Vorrichtungstreiber, Routinen der Datenspeicher (zum Beispiel Dateiverwaltung), andere übliche Routinen und Dienste usw.) oder Softwarekomponenten Dritter (zum Beispiel Middleware, Verschlüsselung oder andere Sicherheitssoftware, Datenbankverwaltungssoftware, Datentransfer- oder andere Netzkommunikationssoftware, mathematische oder statistische Software, Bildverarbeitungssoftware und Formatübersetzungssoftware) umfassen.
  • Softwarekomponenten, die mit einer konkreten Lösung oder einem konkreten System assoziiert sind, können auf einer einzelnen Plattform liegen und ausgeführt werden oder können über mehrere Plattformen verteilt sein. Die mehreren Plattformen können mit mehr als einem Hardwarehersteller, zugrundeliegender Chiptechnologie oder Betriebssystem assoziiert sein. Des Weiteren können Softwarekomponenten, die einer bestimmten Lösung oder einem bestimmten System zugeordnet sind, zunächst in einer oder mehreren Programmiersprachen geschrieben sein, aber Softwarekomponenten aufrufen, die in anderen Programmiersprachen geschrieben sind.
  • Die computerausführbaren Programmanweisungen können in einen Spezialcomputer oder eine andere konkrete Maschine, einen Prozessor oder andere programmierbare Datenverarbeitungsvorrichtung geladen werden, um eine konkrete Maschine zu erzeugen, sodass die Ausführung der Anweisungen auf dem Computer, dem Prozessor oder der anderen programmierbaren Datenverarbeitungsvorrichtung veranlasst, dass eine oder mehrere Funktionen oder ein oder mehrere Vorgänge, die in den Ablaufdiagrammen angegeben sind, durchgeführt werden. Diese Computerpogrammanweisungen können außerdem in einem computerlesbaren Speichermedium (computer-readable storage medium - CRSM) gespeichert sein, das bei Ausführung einen Computer oder eine andere programmierbare Datenverarbeitungsvorrichtung anweisen kann, in einer bestimmten Weise zu funktionieren, sodass die in dem computerlesbaren Speichermedium gespeicherten Anweisungen ein Produkt mit Anweisungsmitteln erzeugen, die eine oder mehrere Funktionen oder einen oder mehrere Vorgänge, die in den Ablaufdiagrammen angegeben sind, umsetzen. Die Computerprogrammanweisungen können außerdem in einen Computer oder eine andere programmierbare Datenverarbeitungsvorrichtung geladen werden, um zu veranlassen, dass eine Reihe von funktionsfähigen Elementen oder Schritten auf dem Computer oder der anderen programmierbaren Vorrichtung durchgeführt wird, um einen computerumgesetzten Prozess herzustellen.
  • Wenngleich die Ausführungsformen in für Strukturmerkmale oder methodische Handlungen spezifischer Sprache beschrieben wurden, versteht es sich, dass die Offenbarung nicht notwendigerweise auf die beschriebenen konkreten Merkmale oder Handlungen beschränkt ist. Die konkreten Merkmale und Aktionen werden vielmehr als veranschaulichende Formen der Umsetzung der Ausführungsformen offenbart. Sprache, die konditionale Zusammenhänge ausdrückt, wie etwa unter anderem „kann“, „könnte“, „würde“ oder „möchte“, soll, sofern nicht spezifisch anders angegeben oder im verwendeten Kontext anders zu verstehen ist, allgemein vermitteln, dass gewisse Ausführungsformen gewisse Merkmale, Elemente und/oder Schritte beinhalten könnten, während andere Ausführungsformen diese nicht beinhalten. Somit soll solche Sprache, die konditionale Zusammenhänge ausdrückt, im Allgemeinen nicht implizieren, dass Merkmale, Elemente und/oder Schritte für eine oder mehrere Ausführungsformen in irgendeiner Weise erforderlich sind oder dass eine oder mehrere Ausführungsformen unbedingt Logik beinhalten, die mit oder ohne Eingabe oder Aufforderung durch einen Benutzer entscheidet, ob diese Merkmale, Elemente und/oder Schritte in einer beliebigen konkreten Ausführungsform eingeschlossen oder durchzuführen sind.
  • Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch Anweisungen, um mindestens eines von einer Dauer der Belichtungszeit oder einer Frequenz der Bildaufnahme durch die Kamera basierend auf mindestens einem von der Zeitdauer der Überlappung oder der Verzögerungszeit zu modifizieren.
  • Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch Anweisungen zum Bestimmen einer Frequenz des Flimmerns durch Bestimmen von mindestens zwei Frequenzen, die mit dem eingeschalteten Zustand und einem ausgeschalteten Zustand der Lichtquelle assoziiert sind, und Auswählen der Frequenz mit einem größeren Wert.
  • Gemäß einer Ausführungsform umfassen die Anweisungen zum Identifizieren der Lichtquelle in der Szene ferner das Bestimmen einer HD-Karteninformation, die einen Ort der Lichtquelle umfasst.
  • Gemäß einer Ausführungsform umfassen die Anweisungen zum Bestimmen der Lichtquelle in der Szene ferner Anweisungen zum Bestimmen einer maximalen Intensität des Lichts von mehreren Lichtquellen in der Szene, wobei jede Lichtquelle eine jeweilige Intensität aufweist.
  • Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch Erzeugen von Anweisungen, die bewirken, dass ein Fahrzeug in einem ungefähren Abstand von der Lichtquelle anhält.

Claims (15)

  1. Verfahren, umfassend: Empfangen von Bildern, die einer von einer Kamera aufgenommenen Szene entsprechen; Bestimmen einer Lichtquelle in der Szene unter Verwendung von mindestens einem auf künstlicher Intelligenz (KI) basierenden Algorithmus; Empfangen von Daten von einer ereignisbasierten Kamera, die das Flimmern der Lichtquelle darstellen; Bestimmen basierend auf den Daten, dass eine Zeitdauer der Überlappung zwischen einem eingeschalteten Zustand der Lichtquelle und einer Belichtungszeit der Kamera einen Schwellenwert unterschreitet; und Verzögern der Belichtungszeit der Kamera um eine Verzögerungszeit, um die Zeitdauer der Überlappung zu erhöhen.
  2. Verfahren nach Anspruch 1, ferner umfassend das Modifizieren von mindestens einem von einer Dauer der Belichtungszeit oder einer Frequenz der Bildaufnahme durch die Kamera basierend auf mindestens einem von der Zeitdauer der Überlappung oder der Verzögerungszeit.
  3. Verfahren nach Anspruch 1, ferner umfassend das Bestimmen einer Frequenz des Flimmerns durch Bestimmen von mindestens zwei Frequenzen, die mit dem eingeschalteten Zustand und einem ausgeschalteten Zustand der Lichtquelle assoziiert sind, und Auswählen der Frequenz mit einem größeren Wert.
  4. Verfahren nach Anspruch 1, wobei der KI-basierte Algorithmus einen Objektverfolgungsalgorithmus beinhaltet, der eine Position der Lichtquelle in der Szene verfolgt, und wobei das Verfahren ferner das Ändern eines Fokus der ereignisbasierten Kamera umfasst, um die Position der Lichtquelle zu verfolgen.
  5. Verfahren nach Anspruch 1, ferner umfassend: Bestimmen von Informationen, die mit einer Bewegung der Kamera assoziiert sind; und Herausfiltern von zusätzlichen Daten in den empfangenen Daten basierend auf den Informationen.
  6. Verfahren nach Anspruch 1, wobei das Bestimmen der Lichtquelle in der Szene ferner Folgendes umfasst: Bestimmen von Informationen einer hochauflösenden (HD) Karte, welche eine Position der Lichtquelle umfassen.
  7. Verfahren nach Anspruch 1, wobei das Bestimmen der Lichtquelle in der Szene ferner das Bestimmen einer maximalen Intensität des Lichts von mehreren Lichtquellen in der Szene umfasst, wobei jede Lichtquelle eine jeweilige Intensität aufweist.
  8. Verfahren nach Anspruch 1, ferner umfassend das Erzeugen von Anweisungen, die ein Fahrzeug dazu veranlassen, innerhalb eines Abstands von der Lichtquelle anzuhalten.
  9. Verfahren nach Anspruch 1, wobei die Kamera eine Kamera mit komplementärem Metalloxid-Halbleiter (CMOS) oder eine Kamera mit ladungsgekoppelter Vorrichtung (CCD) umfasst.
  10. Vorrichtung, umfassend: mindestens eine Speichervorrichtung, auf der computerausführbare Anweisungen gespeichert sind, und mindestens einen Prozessor, der dazu konfiguriert ist, auf die mindestens eine Speichervorrichtung zuzugreifen, wobei der mindestens eine Prozessor dazu konfiguriert ist, die computerausführbaren Anweisungen auszuführen zum: Empfangen von Bildern, die einer von einer Kamera aufgenommenen Szene entsprechen; Bestimmen einer Lichtquelle in der Szene unter Verwendung von mindestens einem auf künstlicher Intelligenz (KI) basierenden Algorithmus; Empfangen von Daten von einer ereignisbasierten Kamera, die das Flimmern der Lichtquelle darstellen; Bestimmen basierend auf den Daten, dass eine Zeitdauer der Überlappung zwischen einem eingeschalteten Zustand der Lichtquelle und einer Belichtungszeit der Kamera einen Schwellenwert unterschreitet; und Verzögern der Belichtungszeit der Kamera um eine Verzögerungszeit, um die Zeitdauer der Überlappung zu erhöhen.
  11. Vorrichtung nach Anspruch 10, ferner umfassend Anweisungen, um mindestens eines von einer Dauer der Belichtungszeit oder einer Frequenz der Bildaufnahme durch die Kamera basierend auf mindestens einem von der Zeitdauer der Überlappung oder der Verzögerungszeit zu modifizieren.
  12. Vorrichtung nach Anspruch 10, ferner umfassend Anweisungen zum Bestimmen einer Frequenz des Flimmerns durch Identifizieren von zwei Frequenzen, die mit dem eingeschalteten Zustand und einem ausgeschalteten Zustand der Lichtquelle assoziiert sind, und Auswählen der Frequenz mit einem größeren Wert.
  13. Vorrichtung nach Anspruch 10, wobei die Anweisungen zum Bestimmen der Lichtquelle in der Szene ferner Folgendes umfassen: Bestimmen von Informationen einer HD-Karte, welche eine Position der Lichtquelle umfassen.
  14. Vorrichtung nach Anspruch 10, wobei die Anweisungen zum Identifizieren der Lichtquelle in der Szene ferner Anweisungen zum Identifizieren einer maximalen Intensität des Lichts von mehreren Lichtquellen in der Szene umfassen, wobei jede Lichtquelle eine jeweilige Intensität aufweist.
  15. Nicht transitorisches computerlesbares Medium, auf dem computerausführbare Anweisungen gespeichert sind, die bei Ausführung durch einen Prozessor den Prozessor dazu veranlassen, Vorgänge durchzuführen, die Folgendes umfassen: Empfangen von Bildern, die einer Szene entsprechen, die von einer Kamera aufgenommen wurde; Bestimmen einer Lichtquelle in der Szene unter Verwendung von mindestens einem auf künstlicher Intelligenz (KI) basierenden Algorithmus; Empfangen von Daten von einer ereignisbasierten Kamera, die das Flimmern der Lichtquelle darstellen; Bestimmen basierend auf den Daten, dass eine Zeitdauer der Überlappung zwischen einem eingeschalteten Zustand der Lichtquelle und einer Belichtungszeit der Kamera einen Schwellenwert unterschreitet; und Verzögern der Belichtungszeit der Kamera um eine Verzögerungszeit, um die Zeitdauer der Überlappung zu erhöhen.
DE102020114916.6A 2019-06-04 2020-06-04 Systeme und verfahren zum reduzieren von flimmerartefakten in bildlichtquellen Pending DE102020114916A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/431,510 2019-06-04
US16/431,510 US10944912B2 (en) 2019-06-04 2019-06-04 Systems and methods for reducing flicker artifacts in imaged light sources

Publications (1)

Publication Number Publication Date
DE102020114916A1 true DE102020114916A1 (de) 2020-12-10

Family

ID=73459746

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020114916.6A Pending DE102020114916A1 (de) 2019-06-04 2020-06-04 Systeme und verfahren zum reduzieren von flimmerartefakten in bildlichtquellen

Country Status (3)

Country Link
US (1) US10944912B2 (de)
CN (1) CN112040154A (de)
DE (1) DE102020114916A1 (de)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11823466B2 (en) * 2019-03-27 2023-11-21 Sony Group Corporation Object detection device, object detection system, and object detection method
US11488320B2 (en) * 2019-07-31 2022-11-01 Samsung Electronics Co., Ltd. Pose estimation method, pose estimation apparatus, and training method for pose estimation
US11120538B2 (en) * 2019-12-27 2021-09-14 Zoox, Inc. Sensor degradation detection and remediation
US11635802B2 (en) * 2020-01-13 2023-04-25 Sony Interactive Entertainment Inc. Combined light intensity based CMOS and event detection sensor for high speed predictive tracking and latency compensation in virtual and augmented reality HMD systems
US11195033B2 (en) * 2020-02-27 2021-12-07 Gm Cruise Holdings Llc Multi-modal, multi-technique vehicle signal detection
WO2022012748A1 (en) * 2020-07-15 2022-01-20 Veoneer Sweden Ab Vision system for a motor vehicle
US11063667B1 (en) * 2020-07-30 2021-07-13 Raytheon BBN Technologies, Corp. Systems, devices, and methods for optical communication
US11681005B2 (en) * 2020-07-31 2023-06-20 Rivian Ip Holdings, Llc Vehicle location systems
US11803237B2 (en) * 2020-11-14 2023-10-31 Facense Ltd. Controlling an eye tracking camera according to eye movement velocity
US11620836B2 (en) * 2020-12-04 2023-04-04 Argo AI, LLC Light emitting diode flicker mitigation
CN112616016A (zh) * 2020-12-10 2021-04-06 南昌欧菲光电技术有限公司 事件相机获取影像的方法、装置、电子设备及存储介质
US12003894B1 (en) 2020-12-29 2024-06-04 Waymo Llc Systems, methods, and apparatus for event detection
CN113839733A (zh) * 2021-09-28 2021-12-24 北京航空航天大学 一种用于光通信的时钟同步装置与方法
WO2023113103A1 (en) * 2021-12-16 2023-06-22 Samsung Electronics Co., Ltd. Method and apparatus for removing flicker in a video
EP4352947A1 (de) 2021-12-16 2024-04-17 Samsung Electronics Co., Ltd. Verfahren und vorrichtung zur beseitigung von flimmern in einem video
WO2023175890A1 (ja) * 2022-03-18 2023-09-21 株式会社ソニー・インタラクティブエンタテインメント センサシステムおよびセンシング方法
EP4344242A1 (de) * 2022-09-21 2024-03-27 IniVation AG Flimmerabschwächung mithilfe einer ereignisbasierten kamera

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4259998B2 (ja) * 2003-12-19 2009-04-30 三洋電機株式会社 フリッカ検出装置及び撮像装置
JP4948090B2 (ja) * 2006-08-25 2012-06-06 キヤノン株式会社 撮像装置及び駆動制御方法
US9176006B2 (en) * 2008-01-15 2015-11-03 Mobileye Vision Technologies Ltd. Detection and classification of light sources using a diffraction grating
WO2012093519A1 (ja) * 2011-01-06 2012-07-12 富士フイルム株式会社 撮像装置及びその発光量制御方法
CN103197774A (zh) * 2012-01-09 2013-07-10 西安智意能电子科技有限公司 一种为发射光源的运动轨迹映射其应用轨迹的方法与系统
JP6296697B2 (ja) * 2013-05-10 2018-03-20 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体
JP5883833B2 (ja) 2013-08-05 2016-03-15 富士重工業株式会社 車外環境認識装置
US20160252905A1 (en) 2014-08-28 2016-09-01 Google Inc. Real-time active emergency vehicle detection
US10356337B2 (en) 2014-10-07 2019-07-16 Magna Electronics Inc. Vehicle vision system with gray level transition sensitive pixels
JP6460829B2 (ja) * 2015-02-20 2019-01-30 キヤノン株式会社 撮像装置、電子機器及び光量変化特性の算出方法
CN107431769B (zh) * 2015-03-02 2018-07-10 富士胶片株式会社 摄像装置、闪烁检测方法及闪烁检测程序
JP6525715B2 (ja) * 2015-05-08 2019-06-05 キヤノン株式会社 撮像装置、光量変化の検出方法及びプログラム
KR102135427B1 (ko) * 2015-06-22 2020-07-17 젠텍스 코포레이션 진폭-변조된 광의 깜박임을 보정하기 위해 스트리밍된 비디오 이미지를 처리하는 시스템 및 방법
JP6300118B2 (ja) * 2015-09-24 2018-03-28 カシオ計算機株式会社 撮像装置、フリッカ検出方法及びプログラム
WO2017077690A1 (ja) * 2015-11-06 2017-05-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 可視光信号の生成方法、信号生成装置およびプログラム
WO2017081870A1 (ja) * 2015-11-12 2017-05-18 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 表示方法、プログラムおよび表示装置
US10339387B2 (en) * 2016-03-03 2019-07-02 Brigham Young University Automated multiple target detection and tracking system
JP2017204699A (ja) * 2016-05-10 2017-11-16 ソニー株式会社 撮像装置、および撮像方法
US10301041B2 (en) * 2016-06-09 2019-05-28 California Institute Of Technology Systems and methods for tracking moving objects
CN110114988B (zh) * 2016-11-10 2021-09-07 松下电器（美国）知识产权公司 发送方法、发送装置及记录介质
US10185881B2 (en) 2016-11-23 2019-01-22 Ford Global Technologies, Llc Traffic-light detection and classification using computer vision and deep learning
US10453208B2 (en) 2017-05-19 2019-10-22 Waymo Llc Camera systems using filters and exposure times to detect flickering illuminated objects
JP6884064B2 (ja) * 2017-07-26 2021-06-09 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
WO2019173547A1 (en) * 2018-03-07 2019-09-12 Robert Bosch Gmbh Odometry system and method for tracking traffic lights
US11991808B2 (en) * 2018-07-12 2024-05-21 Apple Inc. Electronic device with ambient light flicker sensor
US11064132B2 (en) * 2019-04-29 2021-07-13 Samsung Electronics Co., Ltd. Image capture with anti-flicker synchronization

Also Published As

Publication number Publication date
CN112040154A (zh) 2020-12-04
US10944912B2 (en) 2021-03-09
US20200389582A1 (en) 2020-12-10

Similar Documents

Publication Publication Date Title
DE102020114916A1 (de) Systeme und verfahren zum reduzieren von flimmerartefakten in bildlichtquellen
DE102018109366B4 (de) Verfahren zur lichtsignalanlagenerfassung
DE102020113779A1 (de) Umgebungs-kamerasystem mit nahtlosem zusammenfügen für die auswahl beliebiger blickwinkel
US11833966B2 (en) Switchable display during parking maneuvers
DE102018102285A1 (de) System und verfahren zum beurteilen des innenraums eines autonomen fahrzeugs
DE102018119469A1 (de) System und verfahren zur verbesserten hinderniserkennung unter verwendung eines v2x-kommunikationssystems
DE112018004847B4 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, programm und mobiles objekt
DE102019115809A1 (de) Verfahren und system zum durchgehenden lernen von steuerbefehlen für autonome fahrzeuge
DE102018112139A1 (de) Lichtbasierte Fahrzeug-Vorrichtung-Kommunikationen
DE102020131323A1 (de) Kamera-zu-lidar-kalibration und -validierung
DE102019128799A1 (de) Systeme und verfahren zum bestimmen eines fahrzeugstandorts in parkstrukturen
DE102018106353A1 (de) Vorübergehende datenzuordnungen zum betreiben von autonomen fahrzeugen
DE102018114042A1 (de) Vorrichtung, verfahren und system zur multimodalen fusionsverarbeitung von daten mit mehreren verschiedenen formaten, die von heterogenen vorrichtungen erfasst wurden
DE102018111265A1 (de) Fahrzeugumgebungs-abbildungssysteme und -verfahren
US11341614B1 (en) Emirror adaptable stitching
US11721100B2 (en) Automatic air recirculation systems for vehicles
US11436839B2 (en) Systems and methods of detecting moving obstacles
DE102018119882A1 (de) Übertragen von Bilddaten, die von einer Fahrzeugkamera aufgenommen werden
CN109167929A (zh) 车载相机参数的调节方法、装置与电子设备
DE102020106218A1 (de) Systeme und Verfahren für Sicht bei schlechten Lichtverhältnissen durch gepulste Beleuchtung
DE102019108610A1 (de) Verbesserung des fahrzeugverhaltens unter verwendung von informationen aus anderen fahrzeugleuchten
DE112019001659T5 (de) Steuervorrichtung, steuerverfahren und programm
DE112018002918T5 (de) Steuervorrichtung, bildaufnahmevorrichtung, steuerverfahren, programm undbildaufnahmesystem
DE102018107854A1 (de) Modulierte Infrarotbeleuchtung
CN109076167A (zh) 图像处理器、摄像装置和图像处理系统

Legal Events

Date Code Title Description
R082 Change of representative

Representative=s name: BONSMANN - BONSMANN - FRANK PATENTANWAELTE, DE