DE102021127725A1 - Systeme und verfahren zum abmindern von bildgebungsartefakten durch lichtemittierende dioden (led) in einem bildgebungssystem eines fahrzeugs - Google Patents

Systeme und verfahren zum abmindern von bildgebungsartefakten durch lichtemittierende dioden (led) in einem bildgebungssystem eines fahrzeugs Download PDF

Info

Publication number
DE102021127725A1
DE102021127725A1 DE102021127725.6A DE102021127725A DE102021127725A1 DE 102021127725 A1 DE102021127725 A1 DE 102021127725A1 DE 102021127725 A DE102021127725 A DE 102021127725A DE 102021127725 A1 DE102021127725 A1 DE 102021127725A1
Authority
DE
Germany
Prior art keywords
led
camera
image
state
imaging system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021127725.6A
Other languages
English (en)
Inventor
David Herman
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of DE102021127725A1 publication Critical patent/DE102021127725A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
    • H05B45/50—Circuit arrangements for operating light-emitting diodes [LED] responsive to malfunctions or undesirable behaviour of LEDs; responsive to LED life; Protective circuits
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/125—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/165—Controlling the light source following a pre-assigned programmed sequence; Logic control [LC]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Abstract

Die vorliegende Offenbarung stellt Systeme und Verfahren zum Abmindern von Bildgebungsartefakten durch lichtemittierende Dioden (Led) in einem Bildgebungssystem eines Fahrzeugs bereit. Diese Offenbarung ist im Allgemeinen auf das Abmindern von Bildgebungsartefakten durch lichtemittierende Dioden (LED) in einem Bildgebungssystem eines Fahrzeugs gerichtet. In einer beispielhaften Ausführungsform beinhaltet das Bildgebungssystem eine erste Kamera, die unter einer Steuerung einer ersten Impulsauslösesequenz betrieben wird, und eine zweite Kamera, die unter der Steuerung einer zweiten Impulsauslösesequenz betrieben wird. Die zweite Impulsauslösesequenz weist einen zeitlichen Versatz in Bezug auf die erste Impulsauslösesequenz auf. Die erste Kamera nimmt ein Bild einer Lichtquelle auf, wie etwa einer Verkehrsampel, die LEDs enthält. Dieses Bild kann ein LED-Bildgebungsartefakt enthalten, das angibt, dass die Verkehrsampel ausgeschaltet ist. Die zweite Kamera nimmt ebenfalls ein Bild der Lichtquelle auf. Der zeitliche Versatz der zweiten Impulsauslösesequenz kann das LED-Bildgebungsartefakt in dem zweiten Bild beseitigen. Eine Steuerung kann die zwei Bilder vergleichen und bestimmen, dass die Verkehrsampel tatsächlich eingeschaltet ist.

Description

  • GEBIET DER OFFENBARUNG
  • Diese Offenbarung betrifft im Allgemeinen Vorgänge, die einem Fahrzeug zugeordnet sind, und betrifft insbesondere das Abmindern von LED-Bildgebungsartefakten in Bildern, die durch ein Bildgebungssystem eines Fahrzeugs oder eine andere Vorrichtung, wie etwa ein Smartphone oder dergleichen, aufgenommen werden.
  • ALLGEMEINER STAND DER TECHNIK
  • Leuchtdioden (light-emitting diodes - LED) bieten mehrere Vorteile im Vergleich zu Glühlampen und wurden daher in eine Vielzahl von Beleuchtungsvorrichtungen, wie etwa Straßenlaternen, Verkehrsampeln und Werbetafeln, integriert. Die von den Leuchtdioden in den meisten dieser Leuchten emittierte Lichtintensität ist steuerbar, indem die Leuchtdioden mit einer Spannung versorgt werden, die eine Impulswellenform aufweist. Der Arbeitszyklus und/oder die Impulswiederholungsfrequenz der Impulswellenform kann variiert werden, um die von jeder LED emittierte Lichtmenge zu variieren.
  • Die Impulswiederholungsfrequenz ist in der Regel so ausgewählt, dass menschliche Augen kein Flackern der LED bemerken, wenn die LED zwischen einem eingeschalteten und ausgeschalteten Zustand umgeschaltet wird. Eine an einem Fahrzeug montierte digitale Bildgebungskamera kann jedoch in mindestens einigen Fällen Bilder erzeugen, die Bildgebungsartefakte aufweisen, die als LED-Flackern gekennzeichnet sind. In einigen Fällen kann eine Fahrzeugsteuerung des Fahrzeugs das LED-Flackern einer roten Verkehrsampel so interpretieren, dass die Verkehrsampel ausgeschaltet ist, wenn die rote Verkehrsampel angeschaltet ist. Die Fahrzeugsteuerung kann auch ein Bild der flackernden roten Verkehrsampel auf einem Anzeigebildschirm in dem Fahrzeug darstellen, was für den Fahrer störend sein kann.
  • Einige herkömmliche Ansätze zum Lösen des Problems des LED-Flackerns in Fahrzeugen konzentrierten sich auf die Verwendung von Hardwarelösungen, wie etwa LOFIC (lateral overflow integration capacitor), Bildverarbeitungslösungen, wie etwa Chopping (Hinzufügen von Komponenten zum Filtern des Bildsignals) und Bildaufnahmestrategien, wie etwa Split-Pixel-Bildgebung, die ein Bild einer Szene gleichzeitig anstatt nacheinander aufnimmt.
  • KURZDARSTELLUNG
  • Hinsichtlich eines allgemeinen Überblicks sind gewisse Ausführungsformen, die in dieser Offenbarung beschrieben sind, auf Systeme und Verfahren zum Abmindern von Bildgebungsartefakten durch lichtemittierende Dioden (LED) in einem Bildgebungssystem eines Fahrzeugs gerichtet. In einer beispielhaften Ausführungsform beinhaltet das Bildgebungssystem eine erste Kamera, die unter einer Steuerung einer ersten Impulsauslösesequenz betrieben wird. Die erste Impulsauslösesequenz ist Teil eines ersten Impulsauslösebetriebsmodus. Eine zweite Kamera des Bildgebungssystems wird unter einer Steuerung einer zweiten Impulsauslösesequenz betrieben. Die zweite Impulsauslösesequenz, die Teil eines zweiten Impulsauslösebetriebsmodus ist, weist einen zeitlichen Versatz in Bezug auf die erste Impulsauslösesequenz auf. Die erste Kamera nimmt ein Bild einer Lichtquelle auf. In einem beispielhaften Szenario ist die Lichtquelle eine Verkehrsampel, die Leuchtdioden enthält, die in schneller Abfolge zwischen ein- und ausgeschaltet umgeschaltet werden, wenn sich die Verkehrsampel in einem eingeschalteten Zustand befindet. Das von der ersten Kamera aufgenommene Bild kann ein LED-Bildgebungsartefakt enthalten, das fälschlicherweise angibt, dass die Verkehrsampel ausgeschaltet ist. Die zweite Kamera nimmt ebenfalls ein Bild der Lichtquelle auf. Der zeitliche Versatz der zweiten Impulsauslösesequenz kann das LED-Bildgebungsartefakt in dem von der zweiten Kamera aufgenommenen Bild beseitigen. Eine Steuerung kann die zwei Bilder vergleichen und bestimmen, dass die Verkehrsampel tatsächlich eingeschaltet ist.
  • Figurenliste
  • Nachfolgend ist eine detaillierte Beschreibung unter Bezugnahme auf die beigefügten Zeichnungen dargelegt. Die Verwendung der gleichen Bezugszeichen kann ähnliche oder identische Elemente angeben. Für verschiedene Ausführungsformen können andere Elemente und/oder Komponenten verwendet werden als die in den Zeichnungen veranschaulichten und einige Elemente und/oder Komponenten sind in verschiedenen Ausführungsformen unter Umständen nicht vorhanden. Die Elemente und/oder Komponenten in den Figuren sind nicht zwingend maßstabsgetreu gezeichnet. Für die gesamte Offenbarung gilt, dass Ausdrücke im Singular und Plural je nach Kontext austauschbar verwendet werden können.
    • 1 zeigt ein beispielhaftes Fahrzeug, das ein Bildgebungssystem zum Aufnehmen von Bildern verschiedener Arten von Lichtquellen gemäß einer Ausführungsform der Offenbarung beinhaltet.
    • 2 veranschaulicht ein Szenario, in dem das Bildgebungssystem aus 1 ein LED-Bildgebungsartefakt erzeugt.
    • 3 zeigt ein beispielhaftes Fahrzeug, das ein Bildgebungssystem zum Aufnehmen von Bildern verschiedener Arten von Lichtquellen gemäß einer Ausführungsform der Offenbarung beinhaltet.
    • 4 veranschaulicht eine Abminderung des LED-Bildgebungsartefakts aus 2 durch das in 3 veranschaulichte Bildgebungssystem.
    • 5 zeigt einige beispielhafte Komponenten, die in dem in 3 gezeigten Fahrzeug beinhaltet sein können.
    • 6 zeigt ein Ablaufdiagramm eines Verfahrens zum Abmindern von LED-Bildgebungsartefakten in einem Bildgebungssystem gemäß einer Ausführungsform der Offenbarung.
  • DETAILLIERTE BESCHREIBUNG
  • Die Offenbarung wird nachfolgend unter Bezugnahme auf die beigefügten Zeichnungen ausführlicher beschrieben, in denen beispielhafte Ausführungsformen der Offenbarung gezeigt sind. Diese Offenbarung kann jedoch in vielen unterschiedlichen Formen umgesetzt werden und sollte nicht als auf die in dieser Schrift dargelegten beispielhaften Ausführungsformen beschränkt angesehen werden. Für den einschlägigen Fachmann ist ersichtlich, dass verschiedene Änderungen bezüglich Form und Detail an verschiedenen Ausführungsformen vorgenommen werden können, ohne vom Wesen und Umfang der vorliegenden Offenbarung abzuweichen. Somit sollten die Breite und der Schutzumfang der vorliegenden Offenbarung durch keine der vorstehend beschriebenen beispielhaften Ausführungsformen eingeschränkt werden, sondern lediglich gemäß den folgenden Patentansprüchen und deren Äquivalenten definiert werden. Die nachfolgende Beschreibung ist zu Veranschaulichungszwecken dargelegt worden und soll nicht erschöpfend oder auf die exakte offenbarte Form beschränkt sein. Es versteht sich, dass alternative Umsetzungen in einer beliebigen gewünschten Kombination verwendet werden können, um zusätzliche Hybridumsetzungen der vorliegenden Offenbarung zu bilden. Zum Beispiel können beliebige der unter Bezugnahme auf eine konkrete Vorrichtung oder eine konkrete Komponente beschriebenen Funktionen durch eine andere Vorrichtung oder eine andere Komponente durchgeführt werden. Des Weiteren wurden zwar konkrete Vorrichtungseigenschaften beschrieben, doch können sich Ausführungsformen der Offenbarung auf zahlreiche andere Vorrichtungseigenschaften beziehen. Ferner versteht es sich, dass, obwohl Ausführungsformen in für Strukturmerkmale und/oder methodische Handlungen spezifischer Sprache beschrieben worden sind, die Offenbarung nicht notwendigerweise auf die konkreten beschriebenen Merkmale oder Handlungen beschränkt ist. Die konkreten Merkmale und Handlungen werden vielmehr als veranschaulichende Formen der Umsetzung der Ausführungsformen offenbart.
  • Bestimmte Wörter und Begriffe werden in dieser Schrift ausschließlich aus Gründen der Zweckmäßigkeit verwendet, und derartige Wörter und Begriffe sollen so interpretiert werden, dass sie sich auf verschiedene Objekte und Maßnahmen beziehen, die von einem Durchschnittsfachmann allgemein in verschiedenen Formen und Äquivalenzen verstanden werden. Es versteht sich außerdem, dass die nachstehend bereitgestellten Beispiele zum Erklären der Prinzipien gemäß der Offenbarung auf Verkehrsampel gerichtet sind. Diese Prinzipien können jedoch gleichermaßen auf andere Objekte als Verkehrsampeln anwendbar sein, die LEDs und Beleuchtungselemente (zum Beispiel Glühbirnen) beinhalten, die zwischen ein- und ausgeschaltet umgeschaltet werden. Einige Beispiele für derartige Objekte können Haushaltsglühbirnen, Straßenlaternen, kommerzielle Beleuchtung, Verkehrsampeln und Werbetafeln beinhalten. Es versteht sich zudem, dass das Wort „Beispiel“, wie es in dieser Schrift verwendet wird, nicht ausschließender und nicht einschränkender Natur sein soll.
  • 1 zeigt ein beispielhaftes Fahrzeug 115, das ein Bildgebungssystem zum Aufnehmen von Bildern verschiedener Arten von Lichtquellen beinhaltet. Wenngleich es als Limousine veranschaulicht ist, kann das Fahrzeug 115 die Form eines anderen Personen- oder Nutzfahrzeugs, wie zum Beispiel eines Lastwagens, eines Hochleistungsfahrzeugs, eines Crossover-Fahrzeugs, eines Vans, einer Rikscha, eines Jeepneys, eines Taxis, eines Busses usw., annehmen und dazu konfiguriert und/oder programmiert sein, verschiedene Arten von Kraftfahrzeugantriebssystemen zu beinhalten. Beispielhafte Antriebssysteme können verschiedene Arten von Antriebssträngen einer Brennkraftmaschine (internal combustion engine - ICE) beinhalten, die einen mit Benzin, Diesel oder Erdgas angetriebenen Verbrennungsmotor mit herkömmlichen Antriebskomponenten, wie etwa einem Getriebe, einer Antriebswelle, einem Differential usw., aufweisen. In einigen Fällen kann das Bildgebungssystem unabhängig von dem Fahrzeug sein. Zum Beispiel kann das Bildgebungssystem Teil eines Telefons/einer Kamera einer mobilen Vorrichtung sein, die in ein Fahrzeug gebracht wird. Das heißt, die in dieser Schrift beschriebenen Systeme und Verfahren können auf tragbare Kameravorrichtungen angewendet werden, wie etwa mobile Vorrichtungen, Smartphones, Wearables usw.
  • In einigen Fällen kann das Fahrzeug 115 ein Elektrofahrzeug (electric vehicle - EV), das ein Batterie-EV(BEV)-Antriebssystem beinhaltet, ein Hybridelektrofahrzeug (HEV) mit einem unabhängigen bordeigenen Triebwerk oder ein Plug-in-HEV (PHEV) sein, das einen HEV-Antriebsstrang beinhaltet, der mit einer externen Leistungsquelle verbindbar ist, und/oder einen Parallel- oder Serienhybridantriebsstrang mit einem Verbrennungsmotortriebwerk und einem oder mehreren EV-Antriebssystemen beinhaltet. HEVs können ferner Batterie- und/oder Superkondensatorbänke zur Leistungsspeicherung, Schwungradleistungsspeichersysteme oder andere Leistungserzeugungs- undspeicherinfrastrukturen beinhalten.
  • In einigen anderen Fällen kann das Fahrzeug 115 ein Brennstoffzellenfahrzeug (fuel cell vehicle - FCV) sein, das unter Verwendung einer Brennstoffzelle (z. B. Antriebsstrang eines Fahrzeugs mit Wasserstoffbrennstoffzelle (hydrogen fuel cell vehicle - HFCV) usw.) und/oder einer beliebigen Kombination dieser Antriebssysteme und Komponenten flüssigen oder festen Kraftstoff in nutzbare Leistung umwandelt.
  • Es versteht sich, dass das Fahrzeug 115 gemäß der Offenbarung unabhängig von der Art des verwendeten Motors, Kraftstoffs oder der verwendeten Energiequelle ein beliebiges Fahrzeug sein kann, das zwei oder mehr Kameras aufweist, die angeordnet sind, um die verschiedenen in dieser Schrift beschriebenen Funktionen auszuführen. Derartige Fahrzeuge können ein beliebiges Fahrzeug beinhalten, das einer von sechs Stufen der Fahrautomatisierung entspricht, die durch die Society of Automotive Engineers (SAE) definiert sind. Die sechs Stufen der Fahrautomatisierung reichen von Stufe 0 (vollständig manuell) bis Stufe 5 (vollständig autonom). Diese Stufen wurden vom US-Verkehrsministerium übernommen. Fahrzeuge der Stufe 0 (L0) sind manuell gesteuerte Fahrzeuge, die keine fahrbezogene Automatisierung aufweisen. In Fahrzeuge der Stufe 1 (L1) sind einige Funktionen, wie etwa Geschwindigkeitsregelung, integriert, doch ein menschlicher Fahrer steuert weiterhin die meisten Fahr- und Manövriervorgänge. Fahrzeuge der Stufe 2 (L2) sind teilweise automatisiert, wobei bestimmte Fahrvorgänge, wie etwa Lenken, Bremsen und Spursteuerung, durch einen Fahrzeugcomputer gesteuert werden. Der Fahrer steuert das Fahrzeug weiterhin zu einem gewissen Grad und kann bestimmte durch den Fahrzeugcomputer ausgeführte Vorgänge übersteuern. Fahrzeuge der Stufe 3 (L3) stellen bedingte Fahrautomatisierung bereit, sind jedoch insofern intelligenter, als sie die Fähigkeit aufweisen, eine Fahrumgebung und bestimmte Fahrsituationen zu erfassen. Fahrzeuge der Stufe 4 (L4) können in einem Selbstfahrmodus betrieben werden und Funktionen beinhalten, bei denen der Fahrzeugcomputer die Steuerung während bestimmter Arten von Ausrüstungsausfällen übernimmt. Der Grad an menschlichem Eingreifen ist sehr gering. Fahrzeuge der Stufe 5 (L5) sind vollständig autonome Fahrzeuge, die keine menschliche Beteiligung einschließen.
  • Das Fahrzeug 115 kann verschiedene Komponenten beinhalten, wie zum Beispiel einen Fahrzeugcomputer 120, eine Bildgebungssystemsteuerung 125, eine Kamera 130 und ein System zur drahtlosen Kommunikation. Die Bildgebungssystemsteuerung 125 und die Kamera 130 sind zwei beispielhafte Komponenten eines Bildgebungssystems des Fahrzeugs 115, das zum Aufnehmen von Bildern verwendet wird. Der Fahrzeugcomputer 120 kann verschiedene Funktionen durchführen, wie etwa Steuern von Vorgängen des Motors (Kraftstoffeinspritzung, Drehzahlsteuerung, Emissionssteuerung, Bremsen usw.), Verwalten von Klimasteuerelementen (Klimaanlage, Heizung usw.), Anschalten von Airbags und Ausgeben von Alarmen (Motorkontrollleuchte, Glühbirnenausfall, niedriger Reifendruck, Fahrzeug im toten Winkel usw.). In einigen Fällen kann der Fahrzeugcomputer 120 mehr als einen Computer beinhalten.
  • In einer beispielhaften Umsetzung gemäß der Offenbarung kann die Bildgebungssystemsteuerung 125 dazu konfiguriert sein, drahtlose Kommunikation mit einem Servercomputer 145 und/oder einem Cloud-Speichersystem 140 über ein Netzwerk 135 zu unterstützen. Das Netzwerk 135 kann das Internet, ein privates Netzwerk, ein öffentliches Netzwerk oder eine andere Konfiguration sein und/oder beinhalten, die unter Verwendung eines oder mehrerer bekannter Kommunikationsprotokolle betrieben werden, wie zum Beispiel Transmission Control Protocol/Internet Protocol (TCP/IP), Bluetooth®, BLE®, WLAN auf Grundlage des Standards 802.11 des Institute of Electrical and Electronics Engineers (IEEE), UWB und Mobilfunktechnologien, wie etwa Time Division Multiple Access (TDMA), Code Division Multiple Access (CDMA), High Speed Packet Access (HSPDA), Long-Term Evolution (LTE), Global System for Mobile Communications (GSM) und Fifth Generation (5G), um nur einige Beispiele zu nennen.
  • Der Servercomputer 145 und/oder das Cloud-Speichersystem 140 können der Bildgebungssystemsteuerung 125 verschiedene Arten von Informationen bereitstellen, die zum Abmindern von LED-Bildgebungsartefakten gemäß der Offenbarung relevant sein können. Einige Beispiele für derartige Informationen können Zeitsteuerungseigenschaften von Lichtquellen, wie etwa Verkehrsampeln und Verkehrszeichen, beinhalten.
  • Der Fahrzeugcomputer 120 kann in einem Motorraum des Fahrzeugs 115 (oder an anderer Stelle in dem Fahrzeug 115) installiert und kommunikativ an die Bildgebungssystemsteuerung 125 gekoppelt sein. In einigen Umsetzungen kann die Bildgebungssystemsteuerung 125 ein Teil des Fahrzeugcomputers 120 sein.
  • Die Kamera 130 kann an einer beliebigen Komponente des Fahrzeugs 115 montiert sein, wie zum Beispiel der Motorhaube des Fahrzeugs 115, einem Armaturenbrett des Fahrzeugs 115 oder einem Dach des Fahrzeugs 115 (wie gezeigt). Die Kamera 130 kann eine Digitalkamera sein, die digitale Bilder mit einer Bildaufnahmerate aufnimmt, die durch die Bildgebungssystemsteuerung 125 gesteuert werden kann. In dieser beispielhaften Ausführungsform ist die Kamera 130 im Allgemeinen dazu ausgerichtet, Bilder von Objekten um das Fahrzeug 115 herum aufzunehmen. Von der Kamera 130 erzeugte Bilder und/oder Videos können auf einem Anzeigebildschirm eines Infotainmentsystems angezeigt werden, das in dem Fahrzeug 115 zum Betrachten durch einen Insassen des Fahrzeugs 115 bereitgestellt ist und/oder der Bildgebungssystemsteuerung 125 zum Erzeugen von Bildern und/oder Informationen, die sich auf dem Anzeigebildschirm des Infotainmentsystems befinden können, bereitgestellt wird. Wenn das Fahrzeug 115 ein autonomes Fahrzeug ist, kann die Bildgebungssystemsteuerung 125 die Bilder und/oder Videos zum Zwecke des automatischen Steuerns verschiedener Vorgänge des Fahrzeugs auswerten.
  • Die von der Kamera 130 aufgenommenen Bilder beinhalten typischerweise fahrtbezogene Objekte, wie zum Beispiel Verkehrsampeln, Verkehrsschilder, Fußgänger, Hindernisse und Fußgängerüberwege. Prozeduren und Systeme zum Abmindern von LED-Bildgebungsartefakten gemäß der Offenbarung sehen insbesondere die Abbildung verschiedener Lichtquellen vor, wie zum Beispiel einer Verkehrsampel, eines Straßenschilds, eines Fußgängerschilds und/oder einer Leuchte, die an einem zweiten Fahrzeug montiert ist (zum Beispiel eine Bremsleuchte). Die Bildgebungssystemsteuerung 125 kann ein Bild einer Verkehrsampel, wie zum Beispiel einer Verkehrsampel 105, bewerten, um zu bestimmen, ob eine rote Warnleuchte 106 der Verkehrsampel 105 eingeschaltet ist. Die rote Warnleuchte 106 kann LEDs beinhalten, die zwischen ein- und ausgeschaltet umgeschaltet werden, wenn die rote Warnleuchte 106 eingeschaltet ist, wobei die Bildgebungssystemsteuerung 125 in diesem Moment mit dem Fahrzeugcomputer 120 zusammenwirken kann, um das Fahrzeug 115 anzuhalten. Wenn andererseits die rote Warnleuchte 106 ausgeschaltet ist und eine grüne Leuchte 107 der Verkehrsampel 105 eingeschaltet ist, kann die Bildgebungssystemsteuerung 125 mit dem Fahrzeugcomputer 120 zusammenwirken, um das Fahrzeug 115 vorwärts zu bewegen.
  • Die Bildgebungssystemsteuerung 125 kann auch ein Bild einer anderen Verkehrsampel 110 bewerten, um zu bestimmen, ob eine grüne Leuchte an der Verkehrsampel 110 eingeschaltet ist, die angibt, dass es für das Fahrzeug 115 sicher ist, sich vorwärts zu bewegen und nach rechts abzubiegen.
  • In einem anderen Szenario kann die Bildgebungssystemsteuerung 125 ein Bild eines Verkehrszeichens bewerten, das eine Fahrtwarnung bereitstellt, wie zum Beispiel „Achtung Unfall in 3,1415926 Meilen“. Die Wörter können durch LEDs angezeigt werden, die in das Straßenschild integriert sind, und die Bildgebungssystemsteuerung 125 kann beliebige LED-Artefakte abmindern, wenn sie in Bildern des Straßenschilds vorhanden sind, die von der Kamera 130 aufgenommen werden.
  • In noch einem weiteren Szenario kann die Bildgebungssystemsteuerung 125 ein Bild einer Werbetafel, in die LEDs integriert sind, bewerten, beliebige gegebenenfalls in dem Bild vorhandene LED-Artefakte abmindern und eine individualisierte Nachricht erzeugen, die auf dem Anzeigebildschirm des Infotainmentsystems in dem Fahrzeug 115 angezeigt wird.
  • 2 veranschaulicht ein Szenario, in dem das in dem Fahrzeug 115 bereitgestellte Bildgebungssystem ein LED-Bildgebungsartefakt erzeugt. In diesem Szenario ist die rote Warnleuchte 106 der Verkehrsampel 105 aktuell eingeschaltet (wie durch einen Beleuchtungsstatus 205 in 2 angegeben). Die rote Warnleuchte 106 enthält einen Satz von LEDs. Der Satz von LEDs beinhaltet eine beispielhafte LED 207. Die LEDs in der roten Warnleuchte 106 werden beim Anlegen von Leistung an die rote Warnleuchte 106 angeschaltet. Die angelegte Leistung ist in Form einer gepulsten Wellenform 210 veranschaulicht, die bewirkt, dass jede der LEDs in der roten Warnleuchte 106 zwischen einem eingeschalteten Zustand und einem ausgeschalteten Zustand umschaltet. Die Umschaltrate ist für einen menschlichen Fahrer typischerweise nicht erkennbar, da das menschliche Auge sehr schnelle Lichtveränderungen in den LEDs nicht wahrnehmen kann und/oder sich das menschliche Gehirn an derartige Lichtänderungen anpasst. Jedoch kann ein Gerät zum maschinellen Sehen, wie etwa eine in einem Fahrzeug verwendete Kamera, das Flackern erfassen und in einigen Fällen falsche Schlussfolgerungen in Bezug auf eine Verkehrsampel ziehen.
  • Die gepulste Wellenform 210 enthält eine Reihe von Impulsen, die zu einem High-Pegel übergehen, um die LEDs einzuschalten, und auf einen Low-Pegel fallen, um die LEDs auszuschalten. Verschiedene Eigenschaften der gepulsten Wellenform 210, wie zum Beispiel ein Arbeitszyklus, eine Phase und/oder eine Impulswiederholungsfrequenz (pulse repetition frequency - prf), können angepasst werden, um die von den LEDs erzeugte Lichtintensität zu steuern. Zum Beispiel erhöht das Erhöhen einer Impulsbreite jedes der Impulse in der gepulsten Wellenform 210 den durchschnittlichen Spannungspegel der gepulsten Wellenform 210, wodurch bewirkt wird, dass die LEDs heller leuchten, und umgekehrt.
  • In dem in 2 veranschaulichten beispielhaften Szenario werden die LEDs der roten Warnleuchte 106 zum Beispiel zu einem Zeitpunkt „t1“ und einem Zeitpunkt „t3“ eingeschaltet und zu einem Zeitpunkt „t2“ ausgeschaltet. Die Impulse der gepulsten Wellenform 210 dauern für einen Zeitraum 245 fort, der einem Zeitraum entspricht, in dem die rote Warnleuchte 106 eingeschaltet ist, und verschwinden, wenn die Leistung von der roten Warnleuchte 106 getrennt wird, wie etwa zum Beispiel, wenn die Leistung stattdessen an eine grüne Leuchte 107 der Verkehrsampel 105 angelegt wird.
  • Die Bildgebungssystemsteuerung 125 kann die Kamera 130 dazu konfigurieren, Bilder der Verkehrsampel 105 und/oder der Verkehrsampel 110 auf Grundlage verschiedener Kameraeinstellungen aufzunehmen. In einer beispielhaften Kameraeinstellung gemäß der Offenbarung konfiguriert die Bildgebungssystemsteuerung 125 die Kamera 130 dazu, in einem Bildaufnahmemodus zu arbeiten, in dem eine Impulsauslösesequenz 215 verwendet wird, um eine Sequenz von Bildaufnahmezyklen auszulösen. Jeder Bildaufnahmezyklus kann durch eine Übergangsflanke eines jeweiligen Impulses in der Impulsauslösesequenz 215 eingeleitet werden. Zum Beispiel wird ein Bildaufnahmezyklus 218 durch eine steigende Flanke eines Impulses 217 der Impulsauslösesequenz 215 ausgelöst. Andere Bildaufnahmezyklen werden nacheinander durch die steigenden Flanken anderer nacheinander auftretender Impulse in der Impulsauslösesequenz 215 ausgelöst. Jeder Bildaufnahmezyklus beinhaltet einen Belichtungszeitraum und einen Auslesezeitraum. Der Belichtungszeitraum kann durch die Bildgebungssystemsteuerung 125 entweder automatisch (abhängig von Parametern, wie zum Beispiel Kamerahardware und/oder Umgebungslichtbedingungen) oder unter Steuerung eines Softwareprogramms variiert werden. In einer beispielhaften Umsetzung kann die Bildgebungssystemsteuerung 125 ein Softwareprogramm ausführen, um den Belichtungszeitraum der Bildaufnahmezyklen anzupassen, um Bildgebungsartefakte gemäß einer Ausführungsform der Offenbarung abzumindern.
  • Verschiedene Eigenschaften der Impulsauslösesequenz 215, wie zum Beispiel den Arbeitszyklus und die Impulswiederholungsfrequenz (prf), können durch die Bildgebungssystemsteuerung 125 variiert werden, um die Belichtungszeiträume zu steuern. In dem in 2 veranschaulichten beispielhaften Szenario ist der Kameraverschluss zu jedem der Zeitpunkte „t1“, „t2“ und „t3“ geöffnet. Zu diesen Zeitpunkten tritt Licht, das einem aufzunehmenden Bild zugeordnet ist, in die Linse der Kamera 130 ein und trifft auf einen Bildsensor, der in der Kamera 130 enthalten ist. Das aufgenommene Bild beinhaltet in diesem Beispiel die Verkehrsampel 105. Der Status der Bilder, die von der Kamera 130 zu den Zeitpunkten „t1“, „t2“ und „t3“ aufgenommen wurden, wird durch den Bildgebungsstatus 220 angegeben. Zum Zeitpunkt „t1“ befindet sich die gepulste Wellenform 210 in einem High-Zustand, wodurch bewirkt wird, dass sich die LEDs der roten Warnleuchte 106 in einem eingeschalteten Zustand befinden. Die Bildaufnahmesequenz 216 entspricht zum Zeitpunkt „t1“ einem Belichtungszeitraum und der Bildgebungssensor in der Kamera 130 nimmt ein Bild 225 auf. Folglich beinhaltet, wie durch den Bildgebungsstatus 220 gezeigt, das von der Kamera 130 zu dem Zeitpunkt „t1“ aufgenommene Bild 225 die rote Warnleuchte 106 in einem beleuchteten Zustand (alle LEDs, einschließlich der LED 207, sind in einem eingeschalteten Zustand).
  • Auf ähnliche Weise befindet sich die gepulste Wellenform 210 zum Zeitpunkt „t3“ in einem High-Zustand, wodurch bewirkt wird, dass sich die LEDs der roten Warnleuchte 106 in einem eingeschalteten Zustand befinden. Die Bildaufnahmesequenz 216 entspricht zum Zeitpunkt „t3“ einem Belichtungszeitraum und der Bildgebungssensor in der Kamera 130 nimmt ein Bild 235 auf. Folglich beinhaltet, wie durch den Bildgebungsstatus 220 gezeigt, das von der Kamera 130 zu dem Zeitpunkt „t3“ aufgenommene Bild 235 die rote Warnleuchte 106 in einem beleuchteten Zustand (alle LEDs, einschließlich der LED 207, sind in einem eingeschalteten Zustand).
  • Jedoch befindet sich die gepulste Wellenform 210 zum Zeitpunkt „t2“ in einem „Low“-Zustand, wodurch die LEDs der roten Warnleuchte 106 ausgeschaltet sind. Die Bildaufnahmesequenz 216 entspricht zum Zeitpunkt „t2“ einem Belichtungszeitraum und der Bildgebungssensor in der Kamera 130 nimmt ein Bild 230 von der roten Warnleuchte 106 in einem ausgeschalteten Zustand auf. Der Bildgebungsstatus 220 zeigt, dass das von der Kamera 130 zu dem Zeitpunkt „t2“ aufgenommene Bild 230 die rote Warnleuchte 106 in einem nicht beleuchteten Zustand beinhaltet (alle LEDs, einschließlich der LED 207, sind in einem ausgeschalteten Zustand).
  • In Wirklichkeit befindet sich die rote Warnleuchte 106 noch in einem beleuchteten Zustand (alle LEDs einschließlich der LED 207 sind aufgrund des schnellen Umschaltens, das durch die gepulste Wellenform 210 verursacht wird, lediglich vorübergehend ausgeschaltet). Das Bild 230 stellt ein LED-Bildgebungsartefakt dar, da das Bild den Status der Verkehrsampel 105 nicht genau wiedergibt, wie es von einem menschlichen Fahrer wahrgenommen würde, der die Verkehrsampel 105 beobachtet.
  • Es ist gemäß der Offenbarung wünschenswert, dass die Bildgebungssystemsteuerung 125 das Bild 230 im Vergleich zu anderen Bildern, wie zum Beispiel dem Bild 225 und dem Bild 235, auswertet. In einer beispielhaften Ausführungsform wird ein Beleuchtungszustand der roten Warnleuchte 106 durch Vergleichen eines ersten Status der roten Warnleuchte 106 in dem Bild 230 und eines zweiten Status der roten Warnleuchte 106 in dem Bild 235 bestimmt. In einer anderen beispielhaften Ausführungsform wird ein Beleuchtungszustand der LED 207 durch Vergleichen eines ersten Status der LED 207 in dem Bild 230 und eines zweiten Status der LED 207 in dem Bild 235 bestimmt. In noch einer weiteren beispielhaften Ausführungsform kann ein LED-Bildgebungsartefakt durch eine Mehrheitsabfrageprozedur identifiziert werden, der auf eine vorausgewählte Anzahl von Bildern angewendet wird, wie etwa zum Beispiel ein Bild, das sich im Vergleich zu 10 anderen benachbarten Bildern über einen Zeitrahmen unterscheidet. Die benachbarten Bilder können dem Bild, das dem LED-Bildgebungsartefakt zugeordnet ist, vorausgehen und/oder diesem nachfolgen.
  • Ein Zeitrahmen zum Auswerten der verschiedenen Bilder unter Verwendung einer beliebigen der vorstehend angegebenen Prozeduren kann zum Beispiel dem Zeitraum 245 entsprechen oder kann einem beliebigen anderen Zeitraum entsprechen, in dem eine angemessene Anzahl von Bildern aufgenommen wurde. Der Zeitrahmen kann auch auf Grundlage verschiedener Faktoren ausgewählt werden, wie zum Beispiel einer oder mehrerer Bildaufnahmeeinstellungen an der Kamera 130, einer Einzelbildwiederholungsrate der Impulsauslösesequenz 215 und/oder einer erwarteten Dauer, über welche die rote Warnleuchte 106 eingeschaltet bleibt. In einigen Fällen kann die Einzelbildwiederholrate der gepulsten Wellenform, wenn sie nicht bekannt ist, durch die Bildgebungssystemsteuerung 125 über eine Kommunikation mit anderen Vorrichtungen, die mit dem Stromnetz verbunden sind, geschätzt werden. Darüber hinaus kann die Kamera 130 in einigen Fällen eine Rolling-Shutter-Kamera sein und einzelne durch die Rolling-Shutter-Kamera aufgenommene Bilder können ausgewertet werden, um etwaige Banding-Merkmale, falls vorhanden, innerhalb des Einzelbilds zu erkennen. Derartige Banding-Merkmale können auf das Auftreten von Flackern bei höheren Raten als der Einzelbildzeilenbelichtungsdauer und dem zeitlichen Versatz von Zeile zu Zeile während des Auslesens hinweisen.
  • Zum Zeitpunkt „t4“ bleibt die gepulste Wellenform 210 in einem stabilen Low-Zustand, da die rote Warnleuchte 106 ausgeschaltet wurde und Leistung an eine andere Leuchte, wie etwa die grüne Leuchte 107, angelegt wurde. In diesem Moment nimmt die Kamera 130 ein Bild 240 auf, das die rote Warnleuchte 106 korrekt in einem nicht erleuchteten Zustand widerspiegelt.
  • In einigen Fällen kann die Kamera einen Rolling-Shutter-Betriebsmodus verwenden, bei dem jede Zeile der Belichtung der Kamera nacheinander ausgelesen wird, was zu einem zeitlichen Versatz in jeder Zeile führt, da die Belichtung der ersten Zeile im Vergleich zur nächsten Zeile leicht verzögert ist und so weiter. Es versteht sich, dass die Form der in 2 gezeigten Bildaufnahmesequenz 216 lediglich der Veranschaulichung dient. In einigen anderen Fällen kann der Belichtungszeitraum durch eine andere Form veranschaulicht werden, wie zum Beispiel ein Parallelogramm. Eine vertikale Abmessung des Parallelogramms kann als eine zeitliche Zeilenachse angegeben werden und eine Zeilenposition einer Lichtquelle kann angeben, ob die Lichtquelle ein- oder ausgeschaltet ist. Darüber hinaus kann eine Lichtquelle auf Grundlage der Dauer der Belichtung relativ zu der Dauer des von der Lichtquelle erzeugten Lichts entweder eingeschaltet, gedimmt oder ausgeschaltet sein. In einigen Umsetzungen kann der Zeitraum 245 ein Einzelbild in einem sich wiederholenden Einzelbildformat des Betriebs darstellen. In einigen Fällen kann keine Zeitlücke zwischen Einzelbildern vorhanden sein und in einigen anderen Fällen kann eine Zeitlücke zwischen den Einzelbildern bereitgestellt sein. Die Zeitlücke zwischen den Einzelbildern kann eingestellt werden, um einen kleineren Auslesezeitraum zu beeinflussen. Die Kamera 105 kann auch mit einer Einzelbildfrequenz betrieben werden, die nicht konstant ist, und die Belichtungszeiträume können so eingestellt werden, dass eine höhere Einzelbildfrequenz erzeugt wird.
  • 3 zeigt das Fahrzeug 115, das mit einem Bildgebungssystem ausgestattet ist, das zwei Kameras zum Aufnehmen von Bildern verschiedener Arten von Lichtquellen gemäß einer Ausführungsform der Offenbarung beinhaltet. In dieser Ausführungsform kann das Fahrzeug 115 verschiedene Komponenten beinhalten, wie etwa zum Beispiel den Fahrzeugcomputer 120, die Bildgebungssystemsteuerung 125, die Kamera 130 und das System zur drahtlosen Kommunikation. Das Bildgebungssystem des Fahrzeugs kann verschiedene Komponenten beinhalten, wie zum Beispiel die Kamera 130 und die Bildgebungssystemsteuerung 125 und ferner eine zweite Kamera 305 beinhalten. In anderen Ausführungsformen kann das Bildgebungssystem mehr als zwei Kameras beinhalten. Das Sichtfeld jeder von mehreren Kameras kann so angeordnet sein, dass es sich überlappt, um ein gewünschtes kumulatives Sichtfeld bereitzustellen. Einige oder alle der Kameras können auch Objekte wie Weitwinkelobjektive und Filter beinhalten.
  • 4 veranschaulicht ein Szenario, in dem die Kamera 130 und die Kamera 305, die in 3 gezeigt sind, zum Identifizieren und Abmindern von LED-Bildgebungsartefakten gemäß der Offenbarung eingesetzt werden. Mehr als zwei Kameras können in anderen Anwendungen gemäß der Offenbarung eingesetzt werden. Es versteht sich, dass die Elemente, die in 4 durch die gleichen Bezugszeichen wie in 2 angegeben werden, identisch zueinander sind. Zum Beispiel können die gepulste Wellenform 210, die Impulsauslösesequenz 215 und die Bildaufnahmesequenz 216, die in 4 gezeigt sind, identisch mit der gepulsten Wellenform 210, der Impulsauslösesequenz 215 und der Bildaufnahmesequenz 216 sein, die in 2 gezeigt sind.
  • Die Impulsauslösesequenz 215 wird zum Auslösen der Bildaufnahmesequenz 216 in der ersten Kamera 130 verwendet. Die Impulsauslösesequenz 405 wird zum Auslösen der Bildaufnahmesequenz 406 in der zweiten Kamera 305 verwendet. Die Impulsauslösesequenz 405 und/oder die Bildaufnahmesequenz 406 können mit der Impulsauslösesequenz 215 und/oder der Bildaufnahmesequenz 216 identisch, ähnlich dazu oder verschieden davon sein. Zum Beispiel kann eine Impulsbreite „e2“ jedes Impulses in der Impulsauslösesequenz 405 mit einer Impulsbreite „e1“ jedes Impulses in der Impulsauslösesequenz 215 identisch, ähnlich dazu oder verschieden davon sein.
  • Jedoch wird ein zeitlicher Versatz zwischen der Impulsauslösesequenz 215 und der Impulsauslösesequenz 405 gemäß der Offenbarung bereitgestellt. Der zeitliche Versatz ist in 4 durch einen zeitlichen Versatz „d1“ zwischen einer Vorderflanke des ersten Impulses in der Impulsauslösesequenz 215 und einer Vorderflanke des ersten Impulses in der Impulsauslösesequenz 405 veranschaulicht. Der zeitliche Versatz kann auf verschiedene Arten bereitgestellt werden. In einer beispielhaften Umsetzung kann der zeitliche Versatz bereitgestellt werden, indem eine andere Impulswiederholungsfrequenz (prf) und/oder ein Arbeitszyklus für die Impulsauslösesequenz 405 im Vergleich zu der Impulswiederholungsfrequenz (prf) und/oder dem verwendeten Arbeitszyklus für die Impulsauslösesequenz 215 eingesetzt wird. In einer anderen beispielhaften Umsetzung kann der zeitliche Versatz bereitgestellt werden, indem ein Verzögerungselement (zum Beispiel ein D-Flipflop) verwendet wird, um eine Signalverzögerung auf die Impulsauslösesequenz 405 in Bezug auf die Impulsauslösesequenz 215 anzuwenden. In noch einer anderen beispielhaften Umsetzung kann der zeitliche Versatz „d1“
  • Ein Zeitraum des anzuwendenden zeitlichen Versatzes „d1“ kann auf verschiedene Arten bestimmt werden. In einer beispielhaften Anwendung kann der zeitliche Versatz „d1“ ein Bruchteil des Zeitraums 245 sein. In einer anderen beispielhaften Anwendung kann der zeitliche Versatz „d1“ auf Grundlage eines gewünschten Betrags der Verzögerung in verschiedenen Aspekten eines Rolling-Shutter-Betriebsmodus berechnet werden, wie etwa zum Beispiel Zeilenauslesezeiten, einer Anzahl von Zeilen zwischen einem Bild, die in benachbarten Einzelbildern vorhanden ist, und einer Auslöseverzögerung zwischen dem Start von Einzelbildaufnahmen in mehreren Kameras.
  • In einigen Fällen kann die Bildgebungssystemsteuerung 125 den zeitlichen Versatz „d1“ durch drahtloses Abrufen einiger Zeitsteuerungsparameter, die der gepulsten Wellenform 210 zugeordnet sind, von dem Servercomputer 145 und/oder dem Cloud-Speichersystem 140 bestimmen. Zum Beispiel kann die Bildgebungssystemsteuerung 125 von dem Servercomputer 145 und/oder dem Cloud-Speichersystem 140 Zeitsteuerungssequenzinformationen erhalten, die sich auf eine rote, gelbe und grüne Leuchte der Verkehrsampel 105 beziehen. Insbesondere können wir in diesem Beispiel die Wechselstrom-(AC-)Netzfrequenz und den Versatz an dieser Stelle bestimmen, um die Zeitsteuerungssequenzinformationen der mit dem Stromnetz verbundenen Verkehrsampel 105 zu schätzen. In einem anderen Beispiel kann ein Fahrzeughersteller eine PWM-Steuerung mit spezifischen Zeitsteuerungseinstellungen verwenden, wobei der zeitliche Versatz an sich nicht bekannt sein kann, die Frequenz jedoch auf Grundlage der Fahrzeugmodellerkennung aus dem aufgenommenen Bild geschätzt werden kann.
  • In einer beispielhaften Anwendung ist der zeitliche Versatz „d1“ ein fester Versatz, der zeitinvariant ist. In einer anderen beispielhaften Anwendung kann der zeitliche Versatz „d1“ periodisch und/oder intermittierend im Zeitverlauf variiert werden. In einigen Fällen kann ein erster zeitlicher Versatz auf Grundlage eines Identifizierens eines Zeitsteuerungsmusters der LED 207, wenn die LED 207 zwischen einem eingeschalteten Zustand und einem ausgeschalteten Zustand umschaltet, zu einem zweiten zeitlichen Versatz geändert werden.
  • Der Status der Bilder, die von der ersten Kamera 130 zu den Zeitpunkten „t1“, „t2“ und „t3“ aufgenommen wurden, ist vorstehend beschrieben und als Bild 225, Bild 230 und Bild 235 gezeigt. Der Status der Bilder, die von der zweiten Kamera 305 zu Zeitpunkten „t5“, „t6“ und „t7“ aufgenommen wurden, wird durch ein Bild 415, ein Bild 420 und ein Bild 425 gezeigt.
  • Zum Zeitpunkt „t5“ befindet sich die gepulste Wellenform 210 in einem High-Zustand, wodurch bewirkt wird, dass sich die LEDs der roten Warnleuchte 106 in einem eingeschalteten Zustand befinden. Die Bildaufnahmesequenz 406 entspricht zum Zeitpunkt „t5“ einem Belichtungszeitraum und der Bildgebungssensor in der zweiten Kamera 305 nimmt ein Bild 415 auf. Das von der Kamera 305 zu dem Zeitpunkt „t5“ aufgenommene Bild 415 beinhaltet die rote Warnleuchte 106 in einem beleuchteten Zustand (alle LEDs, einschließlich der LED 207, sind in einem eingeschalteten Zustand).
  • Zum Zeitpunkt „t6“ befindet sich die gepulste Wellenform 210 in einem High-Zustand, wodurch bewirkt wird, dass sich die LEDs der roten Warnleuchte 106 in einem eingeschalteten Zustand befinden. Die Bildaufnahmesequenz 406 entspricht zum Zeitpunkt „t6“ einem Belichtungszeitraum und der Bildgebungssensor in der Kamera 305 nimmt ein Bild 420 auf. Das von der Kamera 305 zu dem Zeitpunkt „t6“ aufgenommene Bild 420 beinhaltet die rote Warnleuchte 106 in einem beleuchteten Zustand (alle LEDs, einschließlich der LED 207, sind in einem eingeschalteten Zustand).
  • Zum Zeitpunkt „t7“ befindet sich die gepulste Wellenform 210 in einem High-Zustand, wodurch bewirkt wird, dass sich die LEDs der roten Warnleuchte 106 in einem eingeschalteten Zustand befinden. Die Bildaufnahmesequenz 406 entspricht zum Zeitpunkt „t7“ einem Belichtungszeitraum und der Bildgebungssensor in der Kamera 305 nimmt ein Bild 425 auf. Das von der Kamera 305 zu dem Zeitpunkt „t7“ aufgenommene Bild 425 beinhaltet die rote Warnleuchte 106 in einem beleuchteten Zustand (alle LEDs, einschließlich der LED 207, sind in einem eingeschalteten Zustand).
  • In diesem Beispiel hat der auf die Impulsauslösesequenz 405 angewendete zeitliche Versatz dazu geführt, dass das Bild 420 angibt, dass sich die rote Warnleuchte 106 in einem beleuchteten Zustand befindet, obwohl das durch die erste Kamera 130 aufgenommene vorherige Bild 230 angibt, dass die rote Warnleuchte 106 in einem nicht beleuchteten Zustand ist.
  • Es ist gemäß der Offenbarung wünschenswert, dass die Bildgebungssystemsteuerung 125 das Bild 230 im Vergleich zu anderen Bildern, wie etwa dem Bild 415 und/oder dem Bild 420, auswertet. In einer beispielhaften Ausführungsform wird ein Beleuchtungszustand der LED 207 durch Vergleichen eines ersten Status der LED 207 in dem Bild 230 und eines zweiten Status der LED 207 in dem Bild 235 bestimmt. In einer anderen beispielhaften Ausführungsform basiert ein Beleuchtungszustand der roten Warnleuchte 106 auf dem Vergleichen eines ersten Status der roten Warnleuchte 106 in dem Bild 230 und eines zweiten Status der roten Warnleuchte 106 in dem Bild 235. In noch einer weiteren beispielhaften Ausführungsform kann ein LED-Bildgebungsartefakt durch eine Mehrheitsabfrageprozedur identifiziert werden, der auf eine vorausgewählte Anzahl von Bildern angewendet wird, wie etwa zum Beispiel ein Bild, das sich im Vergleich zu 10 anderen benachbarten Bildern über einen Zeitrahmen unterscheidet. Die benachbarten Bilder können dem Bild, das dem LED-Bildgebungsartefakt zugeordnet ist, vorausgehen und/oder diesem nachfolgen.
  • Ein Zeitrahmen zum Auswerten der verschiedenen Bilder unter Verwendung einer beliebigen der vorstehend angegebenen Prozeduren kann zum Beispiel dem Zeitraum 245 entsprechen oder kann einem beliebigen anderen Zeitraum entsprechen, in dem eine angemessene Anzahl von Bildern aufgenommen wurde. Der Zeitrahmen kann auch auf Grundlage verschiedener Faktoren ausgewählt werden, wie zum Beispiel einer oder mehrerer Bildaufnahmeeinstellungen an der Kamera 130 und/oder der Kamera 305, einer Einzelbildwiederholungsrate der Impulsauslösesequenz 215, einer Einzelbildwiederholungsrate der Impulsauslösesequenz 405 und/oder einer erwarteten Dauer, über welche die rote Warnleuchte 106 eingeschaltet bleibt. In einigen Fällen können die Eigenschaften dieser Arten von Signalen, wenn sie nicht bekannt sind, auf Grundlage von Informationen bestimmt werden, die von anderen Vorrichtungen erhalten werden, die mit dem Stromnetz verbunden sind.
  • In einigen Umsetzungen können einzelne Bilder ausgewertet werden, um zu identifizieren, ob Banding-Merkmale vorhanden sind. Derartige Banding-Merkmale können auf das Auftreten von Flackern mit höheren Raten als die Belichtung hindeuten, was die Intensität bei Rolling Shutter in jedem Kamerabild zu jedem Zeitpunkt der Bildgebung beeinflusst.
  • 5 zeigt einige beispielhafte Komponenten, die in dem Fahrzeug 115 beinhaltet sein können. Die beispielhaften Komponenten können die Kamera 130, die Kamera 305, den Fahrzeugcomputer 120, ein Infotainmentsystem 510, ein System zur drahtlosen Kommunikation 520 und die Bildgebungssystemsteuerung 125 beinhalten. Die verschiedenen Komponenten können über einen oder mehrere Busse, wie etwa einen beispielhaften Bus 511, kommunikativ miteinander gekoppelt sein. Der Bus 511 kann unter Verwendung verschiedener drahtgebundener und/oder drahtloser Technologien umgesetzt sein. Zum Beispiel kann der Bus 511 ein Fahrzeugbus sein, der ein Controller-Area-Network-Bus-Protokoll (CAN-Bus-Protokoll), ein Media-Oriented-Systems-Transport-Bus-Protokoll (MOST-Bus-Protokoll) und/oder ein CAN-Flexible-Data-Bus-Protokoll (CAN-FD-Bus-Protokoll) verwendet. Einige oder alle Abschnitte des Busses 511 können auch unter Verwendung von Drahtlostechnologien, wie etwa Bluetooth®, Ultrabreitband, Wi-Fi, Zigbee® oder Nahfeldkommunikation (near-field-communication - NFC), umgesetzt sein. Zum Beispiel kann der Bus 511 eine Bluetooth®-Kommunikationsverbindung beinhalten, die es der Bildgebungssystemsteuerung 125 ermöglicht, drahtlos mit der Kamera 130 und/oder der Kamera 305 zu kommunizieren.
  • In einer beispielhaften Umsetzung beinhaltet das Infotainmentsystem 510 eine Anzeige 515, die dazu konfiguriert sein kann, verschiedene Arten von Informationen anzuzeigen, die durch die Bildgebungssystemsteuerung 125 bereitgestellt werden. In einigen Ausführungsformen kann die Anzeige 515 eine grafische Benutzeroberfläche (graphical user interface - GUI) (oder eine Mensch-Maschine-Schnittstelle (human-machine interface - HMI)) beinhalten, die verwendet werden kann, um Eingaben von einem Insassen des Fahrzeugs 115 zu akzeptieren und auch um Elemente anzuzeigen, wie etwa Nachrichten, Symbole und/oder Softkeys.
  • Das System zur drahtlosen Kommunikation 520 kann verschiedene Knoten zur drahtlosen Kommunikation beinhalten. In einer beispielhaften Umsetzung können einige oder alle der Knoten zur drahtlosen Kommunikation ein Bluetooth®-Low-Energy-Modul (BLEM) und/oder ein Bluetooth®-Low-Energy-Antennenmodul (BLEAM) beinhalten.
  • Die Bildgebungssystemsteuerung 125 kann einen Prozessor 530, ein Kommunikationssystem 535 und einen Speicher 540 beinhalten. Das Kommunikationssystem 535 kann einen oder mehrere drahtlose Sender/Empfänger (zum Beispiel BLEAMs) beinhalten, die für verschiedene Zwecke verwendet werden können, wie zum Beispiel, um es der Bildgebungssystemsteuerung 125 zu ermöglichen, Befehle an die Kamera 130 und die Kamera 305 zu übertragen und um durch die Kamera 130 und die Kamera 305 aufgenommene Bilder zu empfangen.
  • Der Speicher 540, der ein Beispiel für ein nichttransitorisches computerlesbares Medium ist, kann verwendet werden, um ein Betriebssystem (operating system - OS) 560, eine Datenbank 550 und verschiedene Codemodule, wie etwa ein Bildgebungsartefakt-Abminderungsmodul 545, zu speichern. Die Codemodule sind in Form computerausführbarer Anweisungen bereitgestellt, die durch den Prozessor 530 ausgeführt werden können, um verschiedene Vorgänge gemäß der Offenbarung durchzuführen.
  • Das Bildgebungsartefakt-Abminderungsmodul 545 kann durch den Prozessor 530 ausgeführt werden, um verschiedene Vorgänge gemäß der Offenbarung durchzuführen, wie zum Beispiel Identifizieren von Bildgebungsartefakten in Bildern, die durch die Kamera 130 und/oder die Kamera 305 aufgenommen werden, und zum Bestimmen einer Beleuchtungsbedingung der Verkehrsampel 105.
  • In einer beispielhaften Umsetzung kann die Datenbank 550 verwendet werden, um Zeitsteuerungsinformationen in Bezug auf verschiedene Lichtquellen, wie etwa die Verkehrsampel 105, und Informationen, die von dem Servercomputer 145 und/oder dem Cloud-Speichersystem 140 abgerufen werden, zu speichern.
  • 6 zeigt ein Ablaufdiagramm 600 eines beispielhaften Verfahrens gemäß der Offenbarung zum Abmindern von Bildgebungsartefakten in Bildern, die durch ein Bildgebungssystem eines Fahrzeugs, wie etwa des Fahrzeugs 115, aufgenommen werden. Das Ablaufdiagramm 600 veranschaulicht eine Abfolge von Vorgängen, die in Hardware, Software oder einer Kombination daraus umgesetzt sein kann. Im Zusammenhang mit Software stellen die Vorgänge computerausführbare Anweisungen dar, die auf einem oder mehreren nichtflüchtigen computerlesbaren Medien, wie etwa dem Speicher 540, gespeichert sind, die bei Ausführung durch einen oder mehrere Prozessoren, wie etwa den Prozessor 530, die genannten Vorgänge durchführen. Im Allgemeinen beinhalten computerausführbare Anweisungen Routinen, Programme, Objekte, Komponenten, Datenstrukturen und dergleichen, die bestimmte Funktionen durchführen oder bestimmte abstrakte Datentypen umsetzen. Die Reihenfolge, in der die Vorgänge beschrieben sind, soll nicht als Einschränkung ausgelegt werden, und eine beliebige Anzahl der beschriebenen Vorgänge kann in einer anderen Reihenfolge ausgeführt, weggelassen, in einer beliebigen Reihenfolge kombiniert und/oder parallel ausgeführt werden. Einige oder alle der in dem Ablaufdiagramm 600 beschriebenen Vorgänge können unter Verwendung der Bildgebungssystemsteuerung 125 und des Kommunikationssystems 535 ausgeführt werden. Die nachstehende Beschreibung kann sich auf bestimmte Komponenten und Objekte, die in 1-4 gezeigt sind, beziehen, es versteht sich jedoch, dass dies zum Zwecke der Erläuterung bestimmter Aspekte der Offenbarung erfolgt und dass die Beschreibung gleichermaßen auf viele andere Ausführungsformen anwendbar ist.
  • Bei Block 605 kann eine Bildszene identifiziert werden. Die Identifizierung kann auf Grundlage verschiedener Faktoren erfolgen, wie zum Beispiel zum Unterstützen des Fahrzeugs 115, sich entlang einer Straße zu bewegen. In diesem Fall kann die Bildgebungssystemsteuerung 125 mit der Kamera 130 und/oder der Kamera 305 kommunizieren, um Bilder verschiedener Objekte aufzunehmen, während sich das Fahrzeug 115 entlang der Straße bewegt. Zum Beispiel können die Kamera 130 und/oder die Kamera 305 angeschaltet werden, um einen Satz von Bildern und/oder einen Videoclip einer Bildszene vor dem Fahrzeug 115 aufzunehmen.
  • Bei Block 610 kann die Bildgebungssystemsteuerung 125 damit beginnen, die Bilder zu bewerten, um verschiedene Lichtquellen, die in den Bildern vorhanden sein können, und/oder Artefakte, die ein LED-Flackern während der Rolling-Shutter-Bildaufnahme angeben, oder innerhalb eines einzelnen Bildes, was das Vorhandensein von ausgeschalteten Zuständen angibt, zu charakterisieren.
  • Bei Block 615 kann die durch die Bildgebungssystemsteuerung 125 durchgeführte Auswertung das Charakterisieren verschiedener Lichtquellen als unveränderliche Lichtquellen (zum Beispiel eine Straßenlaterne, die kontinuierlich angeschaltet bleibt) oder Lichtquellen, die sich mit einer schnellen Rate ein- und ausschalten (wie etwa zum Beispiel die Verkehrsampel 105) vorsehen. Das Charakterisieren kann ferner ein Identifizieren von Lichtquellen vorsehen, die für das Fahrzeug 115 relevant sind (wie etwa die Verkehrsampel 105), im Vergleich zu Lichtquellen, die als irrelevant erachtet werden (wie etwa eine Leuchte, die ein neben der Straße befindliches Plakat beleuchtet).
  • Bei Block 620 kann die durch die Bildgebungssystemsteuerung 125 durchgeführte Auswertung das Identifizieren einer Möglichkeit vorsehen, mit Bildgebungsartefakten umgehen zu müssen, die in einer oder mehreren Lichtquellen vorhanden sein können (wie etwa der Verkehrsampel 105, die LEDs enthält, die in der vorstehend beschriebenen Weise zwischen ein- und ausgeschaltet umgeschaltet werden können, und Bildgebungsartefakte erzeugen kann).
  • Bei Block 625 kann eine Bestimmung vorgenommen werden, ob zwei oder mehr Kameras zum Abmindern von Bildartefakten eingesetzt werden sollen. Abminderungsvorgänge können beendet werden, wenn dies als unnötig erachtet wird, wie zum Beispiel zum Einstellen einer längeren Belichtung während eines bewölkten Tages oder zum Reduzieren einer Belichtung während eines sehr sonnigen Tages. In einigen Fällen kann eine längere Belichtungseinstellung dazu führen, dass mehr Angeschaltet-Ausgeschaltet-Zyklen von LEDs aufgenommen werden. Wenn Abminderungsvorgänge als notwendig erachtet werden, kann bei Block 630 eine Bestimmung vorgenommen werden, ob sich die Lichtquelle (wie etwa die Verkehrsampel 105) innerhalb eines Sichtfelds von zwei oder mehr Kameras befindet, die an dem Fahrzeug 115 montiert sind (wie etwa die Kamera 130 und die Kamera 305).
  • In einigen Fällen können weitere Vorgänge beendet werden, wenn sich die Lichtquelle nicht innerhalb des Sichtfelds der zwei oder mehr Kameras befindet. In einigen anderen Fällen, in denen sich eine Lichtquelle innerhalb des Sichtfelds einer einzelnen Kamera, aber nicht innerhalb des Sichtfelds der zwei oder mehr Kameras befindet, können Abminderungsvorgänge, die vorstehend in Bezug auf durch eine einzelne Kamera, wie etwa die Kamera 130 aufgenommene Bilder beschrieben sind, ausgeführt werden. Derartige Abminderungsvorgänge können das Verwenden einer Belichtung mit längerer Dauer beinhalten, um eine potenzielle Lichtquelle bei einem oder mehreren Zyklen aufzunehmen, während eine unerwünschte Sättigung des Sensors akzeptiert wird. Ein weiteres Beispiel kann darin bestehen, eine Unterfensteraufnahme der erfassten Lichtquelle durchzuführen, um die Bildaufnahmerate zu erhöhen, um die Wahrscheinlichkeit des Aufnehmens des eingeschalteten Zyklus einer beliebigen vermuteten Lichtquelle zu verbessern. In anderen Fällen kann die einzelne Kamera Einzelbilder mit eingeschalteten Zuständen der Lichtquelle und Einzelbilder mit ausgeschalteten Zuständen der Lichtquelle erfassen, die die Verwendung von Filtern über ein verstecktes Markov-Modell, die Verwendung von sequentiellen Monte-Carlo-Verfahren, ein genaues Kalman-Filter, Partikelfilter, usw. erfordern kann. Diese Abminderungsstrategien können ferner Sensorfusionsstrategien und Planungslogik informieren. In einigen Fällen kann dies zu einer Abschaltung von Merkmalen führen, wie etwa einer Abschaltung von visuellen Warnungen zur Verkehrszeichenerkennung auf einer Anzeige.
  • Wenn sich die Lichtquelle innerhalb des Sichtfelds der zwei oder mehr Kameras befindet, können bei Block 635 optimale Einstellungen für die zwei oder mehr Kameras (zum Beispiel Belichtungszeiten, zeitlicher Versatz usw.) bestimmt werden. Dieser Vorgang kann Merkmalshomographie (über Vorgänge wie etwa Ransac, Transformation, Korrektur auf globale Differenz von Belichtung/Helligkeit und Bildsubtraktion) gefolgt von einer Subtraktion zum Identifizieren von Anomalien beinhalten. Ein Konfidenzschwellenwert kann in einigen Fällen verwendet werden, um die Anomalien zu bewerten.
  • In einigen Anwendungen kann eine Bestimmung auf einem relativen, numerisch gewichteten Vergleich unter Verwendung von Eigenschaften basieren, die die aktuelle Expositionszeit, aktuelle Wettermuster oder andere atmosphärische Bedingungen (z. B. einen sonnigen Tag im Vergleich zu einem bewölkten Tag) und andere Faktoren beinhalten können. Zum Beispiel kann eine nominale Belichtungszeit für eine Kamera während eines bewölkten Tages im Vergleich zu einem hellen sonnigen Tag eine wesentlich längere Dauer aufweisen. Eine Bildbelichtung mit relativ langer Dauer kann eine Wahrscheinlichkeit erhöhen, die mit dem Erhalten eines korrekten Lichtzustands für eine Lichtquelle in den aufgenommenen Bildern zugeordnet ist. Im Vergleich dazu kann die Belichtungszeit an einem sonnigen Tag relativ kurz sein, sodass das Bild nicht überbelichtet und lichtgesättigt ist.
  • Bei Block 640 kann die Bildgebungssystemsteuerung 125 alle nachteiligen Auswirkungen identifizieren, die durch die in Block 635 bestimmten Einstellungen verursacht werden. Zum Beispiel kann die Bildgebungssystemsteuerung 125 identifizieren, dass eine bestimmte Belichtungseinstellung dazu führen kann, dass in den durch die Kamera 130 und/oder die Kamera 305 aufgenommenen Bildern übermäßige Bildgebungsartefakte vorhanden sind.
  • Bei Block 645 kann die Bildgebungssystemsteuerung 125 einen ersten Betriebsmodus mit gepulstem Auslöser für die erste Kamera 130 bestimmen. Der erste Betriebsmodus mit gepulstem Auslöser sieht die Anwendung der Impulsauslösesequenz 215 und der Bildaufnahmesequenz 216 auf die Kamera 130 vor. Die Bildgebungssystemsteuerung 125 kann zudem einen zweiten Betriebsmodus mit gepulstem Auslöser für die zweite Kamera 305 bestimmen. Der zweite Betriebsmodus mit gepulstem Auslöser sieht die Anwendung der Impulsauslösesequenz 405 und der Bildaufnahmesequenz 406 auf die Kamera 305 vor.
  • Verschiedene Aspekte in Bezug auf den ersten Betriebsmodus mit gepulstem Auslöser und/oder den zweiten Betriebsmodus mit gepulstem Auslöser können das Identifizieren und Akzeptieren eines Kompromisses zwischen der Leistung und der Fähigkeit anderer Wahrnehmungsalgorithmen zum Erfassen des wahren Zustands von Lichtquellen beinhalten. Zum Beispiel können Änderungen der Belichtungseinstellungen die individuelle Bildqualität negativ beeinflussen, was zu einer Verringerung der Leistung des maschinellen Sehens bei der Objekterkennung führt. In anderen Fällen ist die Belichtung der Kameras möglicherweise nicht zeitlich ausgerichtet, was zu Fehlern führt, die mit einer relativen Objektbewegung in dem Einzelbild verbunden sind, z. B. einem optischen Fluss, was zusätzliche Fehler bei der Tiefenschätzung erzeugt. Die negativen Auswirkungen des Betreibens der Kamera 105 und/oder der Kamera 305 unter nicht idealen Belichtungseinstellungen können in Form einer beliebigen Kostenskala ausgedrückt werden, z. B. 1 bis 11, die auf dem technischen Wissen für einen Bereich von idealen bis nicht idealen Belichtungseinstellungen basiert, die vorhergesagt wird, um die höchste zeitliche Abdeckung von Lichtimpulsen zu erhalten. Dieser Prozess kann ferner die Belichtungseinstellungen analysieren, die Rolling-Shutter-Kameras zugeordnet sind, z. B. CMOS, wobei einzelne Zeilen der Kamera relativ zu anderen Zeilen zu unterschiedlichen Zeiten belichtet werden können. Ein Zusammensetzungsverfahren kann in einigen Fällen verwendet werden, wobei Kamerazeilen unterschiedliche Sichtfelder abdecken können, z. B. nach vom gerichtete Kamera- und Surround-View-Kameras, sodass die Zeile 100 einer Kamera und die Zeile 500 einer anderen Kamera Bilder der gleichen Lichtquelle bereitstellen können.
  • Bei Block 650 werden die Impulsauslösesequenz 215 und die Bildaufnahmesequenz 216 für die Kamera 130 auf die Kamera 130 angewendet und/oder werden die Impulsauslösesequenz 405 und die Bildaufnahmesequenz 406 auf die Kamera 305 angewendet. Die Kamera 130 und/oder die Kamera 305 werden dann zum Aufnehmen von Bildern, wie etwa den in 2 und/oder 4 gezeigten Bildern, betrieben.
  • Bei Block 655 kann die Bildgebungssystemsteuerung 125 die aufgenommenen Bilder in Bezug auf Homographie auswerten. Eine derartige Auswertung kann das Auswerten eines Bildes, bei dem eine zeitliche Verzögerung und/oder eine komplexere Homographie (nicht ausgerichtete Kameras) in zwei Bildern vorliegt, beinhalten. Ein Homographieansatz kann verwendet werden, um übereinstimmende einzelne Pixel auch unter relativer Bewegung sicherzustellen. Der Homographieansatz kann auch über mehrere Bilder (die von einer einzelnen Kamera oder von mehreren Kameras aufgenommen werden) angewendet werden, um eine festgelegte Lichtquellenposition im Pixelraum im Zeitverlauf zu verfolgen, um eingeschaltete/ ausgeschaltete Zustände im Zeitverlauf zu verfolgen. Der Pixelraum kann ferner durch Techniken wie Simultaneous Localization and Mapping (SLAM), Combined Stereo und Temporal Stereo Structure from Motion (SFM) in den 3D-Raum gebracht werden. Die Bildgebungssystemsteuerung 125 kann auch eine Qualität verschiedener Arten von homographischen Übereinstimmungen auswerten.
  • Bei Block 660 kann die Bildgebungssystemsteuerung 125 die aufgenommenen Bilder auswerten, um LED-Bildgebungsartefakte im Pixelraum und/oder 3D-Raum zu identifizieren.
  • Bei Block 665 kann die Bildgebungssystemsteuerung 125 die aufgenommenen Bilder bewerten, um verschiedene Beleuchtungsparameter zu bewerten, wie zum Beispiel Beleuchtungsparameter, die der roten Warnleuchte 106 zugeordnet sind. Das Bewerten derartiger Parameter kann auf dem Sicherstellen beruhen, dass Informationen, die durch die zugehörige rote Warnleuchte 106 (Stoppanzeige) bereitgestellt werden, erkennbar sind.
  • Bei Block 670 kann die Bildgebungssystemsteuerung 125 einen Konfidenzwert von Informationen bestimmen, die von Bildern abgeleitet sind, die von einer oder mehreren Lichtquellen über verschiedene Zeitrahmen aufgenommen wurden, wie zum Beispiel verschiedene Bildaufnahmeeinzelbilder und/oder den Zeitraum 245 (gezeigt in 2 und 4), was einer Dauer des Beleuchtens der roten Warnleuchte 106 entspricht.
  • Bei Block 675 kann die Bildgebungssystemsteuerung 125 das Konfidenzniveau mit einem Konfidenzschwellenwert vergleichen.
  • Bei Schritt 680 kann die Bildgebungssystemsteuerung 125 als Reaktion auf das Bestimmen, dass der Konfidenzschwellenwert erfüllt ist, bildbezogene Informationen in einen oder mehrere Wahrnehmungsalgorithmen für Zwecke integrieren, wie etwa das Überschreiben einer aktuellen Bestimmung (zum Beispiel eines jüngsten Einzelbildauswertungsergebnisses), sowie Informieren der Sensorfusion und Planungslogik in der Bildgebungssystemsteuerung 125. Wenn zum Beispiel der jüngste Satz von durch die Kamera(s) aufgenommenen Einzelbildern angibt, dass eine Kamera auf den meisten Einzelbildern ausgeschaltet ist, aber die gemäß der Offenbarung vorgenommene Konfidenzniveaubestimmung (zum Beispiel < 0,4) etwas anderes angibt (z. B. der eingeschaltete/ausgeschaltete Zustand der Lichtquelle als eingeschaltet vorhergesagt wird und die vorhergesagten Impulseigenschaften angeben, dass sich der Belichtungszeitraum und der Lichtquellenzeitraum nicht überlappen), dann kann die Bildgebungssystemsteuerung 125 den Planungsalgorithmus eines Softwareprogramms darüber informieren, dass das Licht gegenwärtig eingeschaltet ist (z. B. Verkehrsampelzustand ist eine rote Leuchte). In derartigen Fällen kann das Softwareprogramm den Weg und den Bewegungsplan anderer Fahrzeuge auf Grundlage eines rote-Ampel-Zustands vorhersagen und eine Anzeige in dem Fahrzeug 115 entsprechend betätigen (zum Beispiel ein Verkehrsampelsymbol anzeigen, das eine rote Leuchte auf dem Anzeigebildschirm eines Infotainmentsystems angibt), eine Bremswarnung bereitzustellen und/oder das Bremsen zu betätigen, während sie sich in einem autonomen/halbautonomen Betrieb befindet. In einem anderen Beispiel kann das Konfidenzniveau hoch sein (zum Beispiel> 0,7), wodurch angegeben wird, dass der Einzelbildzustand, z. B. alle Lichtsignale sind ausgeschaltet, mit dem wahren Zustand übereinstimmt, ein Ergebnis, das unter Verwendung eines Wahrnehmungsalgorithmus abgeleitet wird, unverändert bleiben kann und somit andere Algorithmen/Logik, z. B. Planungslogik informieren, was zu einem anderen Fahrzeugbetätigungssatz führt, z. B. Abschalten eines halbautonomen Stop-und-Go-Fahrzeugbetriebs bei niedriger Geschwindigkeit, auf Grundlage eines Verkehrszustands, der außerhalb des Umfangs der Merkmale von sicheren Betriebsbedingungen, wie durch den Hersteller definiert, liegt.
  • Bei Schritt 685 kann die Bildgebungssystemsteuerung 125 bildbezogene Informationen in einen oder mehrere Planungsvorhersagealgorithmen, z. B. Vorhersage anderer Fahrzeugweg- und Bewegungspläne, und Planungsalgorithmen für Zwecke, wie etwa Bewegung, Weg, Auswertung oder Strategie, integrieren.
  • Bei Schritt 690 kann die Bildgebungssystemsteuerung 125 mit dem Fahrzeugcomputer 120 zusammenwirken, um eine oder mehrere Fahrzeugsteuerhandlungen auszuführen. Zum Beispiel kann sich das Fahrzeug 115 auf Grundlage des Beleuchtungsstatus der roten Warnleuchte 106 und/oder der grünen Leuchte 107 weiter vorwärts über die Verkehrsampel 105 bewegen oder an der Verkehrsampel 105 anhalten.
  • In der vorstehenden Offenbarung wurde auf die beigefügten Zeichnungen Bezug genommen, die einen Teil hiervon bilden und konkrete Umsetzungen veranschaulichen, in denen die vorliegende Offenbarung angewandt werden kann. Es versteht sich, dass auch andere Umsetzungen genutzt und strukturelle Änderungen vorgenommen werden können, ohne vom Umfang der vorliegenden Offenbarung abzuweichen. Bezugnahmen in der Beschreibung auf „eine Ausführungsform“, „eine beispielhafte Ausführungsform“ usw. geben an, dass die beschriebene Ausführungsform ein(e) bestimmte(s) Merkmal, Struktur oder Eigenschaft aufweisen kann, wobei jedoch nicht unbedingt jede Ausführungsform diese(s) bestimmte Merkmal, Struktur oder Eigenschaft aufweisen muss. Darüber hinaus beziehen sich derartige Formulierungen nicht unbedingt auf dieselbe Ausführungsform. Ferner wird, wenn ein(e) bestimmte(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit einer Ausführungsform beschrieben ist, der Fachmann ein(e) derartige(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit anderen Ausführungsformen erkennen, ob dies nun ausdrücklich beschrieben ist oder nicht.
  • Umsetzungen der in dieser Schrift offenbarten Systeme, Einrichtungen, Vorrichtungen und Verfahren können eine oder mehrere Vorrichtungen umfassen oder nutzen, die Hardware beinhalten, wie zum Beispiel einen oder mehrere Prozessoren und Systemspeicher, wie in dieser Schrift erörtert. Eine Umsetzung der in dieser Schrift offenbarten Vorrichtungen, Systeme und Verfahren kann über ein Computernetzwerk kommunizieren. Ein „Netzwerk“ ist als eine oder mehrere Datenverbindungen definiert, die den Transport von elektronischen Daten zwischen Computersystemen und/oder Modulen und/oder anderen elektronischen Vorrichtungen ermöglichen. Wenn Informationen über ein Netzwerk oder eine andere Kommunikationsverbindung (entweder festverdrahtet, drahtlos oder eine beliebige Kombination aus festverdrahtet oder drahtlos) an einen Computer übertragen oder diesem bereitgestellt werden, sieht der Computer die Verbindung zweckmäßig als ein Übertragungsmedium an. Übertragungsmedien können ein Netzwerk und/oder Datenverbindungen beinhalten, das/die verwendet werden kann/können, um gewünschte Programmcodemittel in Form von computerausführbaren Anweisungen oder Datenstrukturen zu führen, und auf die durch einen Universal- oder Spezialcomputer zugegriffen werden kann. Kombinationen des Vorstehenden sollen ebenfalls innerhalb des Schutzumfangs nichttransitorischer computerlesbarer Medien beinhaltet sein.
  • Computerausführbare Anweisungen umfassen zum Beispiel Anweisungen und Daten, die bei Ausführung an einem Prozessor veranlassen, dass der Prozessor eine gewisse Funktion oder Gruppe von Funktionen durchführt. Die computerausführbaren Anweisungen können zum Beispiel Binärdateien, Zwischenformatanweisungen, wie etwa Assemblersprache, oder sogar Quellcode sein. Wenngleich der Gegenstand in für Strukturmerkmale und/oder methodische Handlungen spezifischer Sprache beschrieben worden ist, versteht es sich, dass der in den beigefügten Patentansprüchen definierte Gegenstand nicht notwendigerweise auf die vorangehend beschriebenen Merkmale oder Handlungen beschränkt ist. Die beschriebenen Merkmale und Handlungen sind vielmehr als beispielhafte Formen zum Umsetzen der Patentansprüche offenbart.
  • Eine Speichervorrichtung, wie etwa der Speicher 540, kann ein beliebiges Speicherelement oder eine Kombination aus flüchtigen Speicherelementen (z. B. Direktzugriffsspeicher (random access memory - RAM, wie etwa DRAM, SRAM, SDRAM usw.)) und nichtflüchtigen Speicherelementen (z. B. ROM, Festplatte, Band, CD-ROM usw.) beinhalten. Darüber hinaus können in die Speichervorrichtung elektronische, magnetische, optische und/oder andere Arten von Speichermedien integriert sein. Im Kontext dieser Schrift kann ein „nichttransitorisches computerlesbares Medium“ zum Beispiel unter anderem ein/e elektronische/s, magnetische/s, optische/s, elektromagnetische/s, Infrarot- oder Halbleitersystem, -einrichtung oder -vorrichtung sein. Konkretere Beispiele (eine nicht erschöpfende Liste) des computerlesbaren Mediums würden Folgendes beinhalten: eine tragbare Computerdiskette (magnetisch), einen Direktzugriffsspeicher (RAM) (elektronisch), einen Festwertspeicher (ROM) (elektronisch), einen löschbaren programmierbaren Festwertspeicher (EPROM, EEPROM oder Flash-Speicher) (elektronisch) und einen tragbaren Compact-Disc-Festwertspeicher (CD-ROM) (optisch). Es sei darauf hingewiesen, dass das computerlesbare Medium sogar Papier oder ein anderes geeignetes Medium sein könnte, auf welches das Programm gedruckt ist, da das Programm zum Beispiel durch optisches Abtasten des Papiers oder ein anderes Medium elektronisch erfasst, dann kompiliert, interpretiert oder bei Bedarf auf andere Weise verarbeitet und dann in einem Computerspeicher gespeichert werden kann.
  • Der Fachmann wird verstehen, dass die vorliegende Offenbarung in Network-Computing-Umgebungen mit vielen Arten von Computersystemkonfigurationen umgesetzt werden kann, die Armaturenbrett-Fahrzeugcomputer, Personal Computer, Desktop-Computer, Laptop-Computer, Mitteilungsprozessoren, Handheld-Vorrichtungen, Multiprozessorsysteme, Unterhaltungselektronik auf Mikroprozessorbasis oder programmierbare Unterhaltungselektronik, Netzwerk-PCs, Minicomputer, Mainframe-Computer, Mobiltelefone, PDAs, Tablets, Pager, Router, Switches, verschiedene Datenspeichervorrichtungen und dergleichen beinhalten. Die Offenbarung kann außerdem in Umgebungen mit verteilten Systemen angewandt werden, in denen sowohl lokale als auch entfernte Computersysteme, die durch ein Netzwerk (entweder durch festverdrahtete Datenverbindungen, drahtlose Datenverbindungen oder durch eine beliebige Kombination aus festverdrahteten und drahtlosen Datenverbindungen) verbunden sind, Aufgaben ausführen. In einer Umgebung mit verteilten Systemen können sich Programmmodule sowohl in lokalen als auch in entfernten Datenspeichervorrichtungen befinden.
  • Ferner können die in dieser Schrift beschriebenen Funktionen gegebenenfalls in einem oder mehreren von Hardware, Software, Firmware, digitalen Komponenten oder analogen Komponenten durchgeführt werden. Eine oder mehrere anwendungsspezifische integrierte Schaltungen (ASICs) können zum Beispiel dazu programmiert sein, eine(s) oder mehrere der in dieser Schrift beschriebenen Systeme und Prozeduren auszuführen. Bestimmte Ausdrücke werden in der gesamten Beschreibung verwendet und Patentansprüche beziehen sich auf bestimmte Systemkomponenten. Für den Fachmann liegt auf der Hand, dass die Komponenten mit anderen Benennungen bezeichnet sein können. In dieser Schrift soll nicht zwischen Komponenten unterschieden werden, die sich der Benennung nach unterscheiden, nicht jedoch hinsichtlich ihrer Funktion.
  • Es ist anzumerken, dass die vorangehend erörterten Sensorausführungsformen Computerhardware, -software, -firmware oder eine beliebige Kombination daraus umfassen können, um zumindest einen Teil ihrer Funktionen durchzuführen. Beispielsweise kann ein Sensor Computercode, der konfiguriert ist, um in einem oder mehreren Prozessoren ausgeführt zu werden, und eine Hardware-Logikschaltung/elektrische Schaltung, die durch den Computercode gesteuert wird, beinhalten. Diese beispielhaften Vorrichtungen sind in dieser Schrift zum Zwecke der Veranschaulichung bereitgestellt und sollen nicht einschränkend sein. Ausführungsformen der vorliegenden Offenbarung können in weiteren Arten von Vorrichtungen umgesetzt werden, wie sie dem einschlägigen Fachmann bekannt wären.
  • Mindestens einige Ausführungsformen der vorliegenden Offenbarung sind auf Computerprogrammprodukte gerichtet, die derartige Logik (z. B. in Form von Software) umfassen, die auf einem beliebigen computernutzbaren Medium gespeichert ist. Derartige Software bewirkt, wenn sie in einer oder mehreren Datenverarbeitungsvorrichtungen ausgeführt wird, dass eine Vorrichtung wie in dieser Schrift beschrieben arbeitet.
  • Wenngleich vorstehend verschiedene Ausführungsformen der vorliegenden Offenbarung beschrieben wurden, versteht es sich, dass diese lediglich als Beispiele und nicht der Einschränkung dienen. Der einschlägige Fachmann wird erkennen, dass verschiedene Änderungen bezüglich Form und Detail daran vorgenommen werden können, ohne vom Wesen und Umfang der vorliegenden Offenbarung abzuweichen. Somit sollten die Breite und der Schutzumfang der vorliegenden Offenbarung durch keine der vorstehend beschriebenen beispielhaften Ausführungsformen eingeschränkt werden, sondern lediglich gemäß den folgenden Patentansprüchen und deren Äquivalenten definiert werden. Die vorangehende Beschreibung ist zu Veranschaulichungs- und Beschreibungszwecken dargelegt worden. Sie erhebt keinerlei Anspruch auf Vollständigkeit und soll die vorliegende Offenbarung nicht auf die exakte offenbarte Form beschränken. Viele Modifikationen und Variationen sind in Anbetracht der vorangehenden Lehren möglich. Ferner ist anzumerken, dass beliebige oder alle der vorangehend genannten alternativen Umsetzungen in einer beliebigen gewünschten Kombination verwendet werden können, um zusätzliche Hybrid-Umsetzungen der vorliegenden Offenbarung zu bilden. Zum Beispiel können beliebige der unter Bezugnahme auf eine konkrete Vorrichtung oder eine konkrete Komponente beschriebenen Funktionen durch eine andere Vorrichtung oder eine andere Komponente durchgeführt werden. Ferner wurden zwar konkrete Vorrichtungseigenschaften beschrieben, doch können sich Ausführungsformen der Offenbarung auf zahlreiche andere Vorrichtungseigenschaften beziehen. Ferner versteht es sich, dass, obwohl Ausführungsformen in für Strukturmerkmale und/oder methodische Handlungen spezifischer Sprache beschrieben worden sind, die Offenbarung nicht notwendigerweise auf die konkreten beschriebenen Merkmale oder Handlungen beschränkt ist. Die konkreten Merkmale und Handlungen werden vielmehr als veranschaulichende Formen der Umsetzung der Ausführungsformen offenbart. Mit Formulierungen, die konditionale Zusammenhänge ausdrücken, wie unter anderem „kann“, „könnte“, „können“ oder „könnten“, soll im Allgemeinen vermittelt werden, dass gewisse Ausführungsformen gewisse Merkmale, Elemente und/oder Schritte beinhalten könnten, wohingegen andere Umsetzungen diese unter Umständen nicht beinhalten, es sei denn, es ist konkret etwas anderes angegeben oder es ergibt sich etwas anderes aus dem jeweils verwendeten Kontext. Somit sollen derartige Formulierungen, die konditionale Zusammenhänge ausdrücken, nicht implizieren, dass Merkmale, Elemente und/oder Schritte für eine oder mehrere Ausführungsformen in irgendeiner Weise erforderlich sind.
  • In einem Aspekt der Erfindung ist der Prozessor ferner dazu konfiguriert, auf den Speicher zuzugreifen und die computerausführbaren Anweisungen zu Folgendem auszuführen: Anwenden einer ersten Impulsauslösesequenz auf die erste Kamera zum Aufnehmen des ersten Bildes, wobei die erste Impulsauslösesequenz ein Teil eines ersten Betriebsmodus mit gepulste Auslöser ist; und Anwenden einer zweiten Impulsauslösesequenz auf die zweite Kamera zum Aufnehmen des zweiten Bildes, wobei die zweite Impulsauslösesequenz Teil eines zweiten Betriebsmodus mit gepulstem Auslöser ist und einen ersten zeitlichen Versatz in Bezug auf die erste Impulsauslösesequenz aufweist.
  • Gemäß einer Ausführungsform ist die Lichtquelle eines von einer Verkehrsampel, einem Straßenschild, einem Fußgängerschild oder einer Leuchte, die an einem zweiten Fahrzeug montiert ist.
  • Gemäß einer Ausführungsform ist der Prozessor ferner dazu konfiguriert, auf den Speicher zuzugreifen und die computerausführbaren Anweisungen zu Folgendem auszuführen: Bestimmen eines zweiten zeitlichen Versatzes, der das Bildgebungsartefakt in dem zweiten Bild beseitigt; und Beseitigen des Bildgebungsartefakts in dem zweiten Bild durch Anwenden des zweiten zeitlichen Versatzes zwischen der ersten Impulsauslösesequenz und der zweiten Impulsauslösesequenz.
  • Gemäß einer Ausführungsform ist der Prozessor ferner dazu konfiguriert, auf den Speicher zuzugreifen und die computerausführbaren Anweisungen zu Folgendem auszuführen: Identifizieren eines Zeitsteuerungsmusters der LED, das zwischen dem eingeschalteten Zustand und dem ausgeschalteten Zustand umschaltet; und Ändern des ersten zeitlichen Versatzes zu einem zweiten zeitlichen Versatz auf Grundlage des Identifizierens des Zeitsteuerungsmusters der LED.
  • Gemäß einer Ausführungsform ist der Prozessor ferner dazu konfiguriert, auf den Speicher zuzugreifen und die computerausführbaren Anweisungen mindestens zu Folgendem auszuführen: Abrufen des Zeitsteuerungsmusters der LED durch drahtloses Kommunizieren mit einem Cloud-Speichersystem.

Claims (15)

  1. Verfahren, umfassend: Aufnehmen, durch eine erste Kamera eines Bildgebungssystems, eines ersten Bildes einer Lichtquelle, das eine Leuchtdiode (LED) umfasst, die zwischen einem eingeschalteten Zustand und einem ausgeschalteten Zustand umschaltet, wobei die erste Kamera dazu konfiguriert ist, Bilder unter der Steuerung einer ersten Impulsauslösesequenz aufzunehmen, die Teil eines ersten Betriebsmodus mit gepulstem Auslöser ist; Aufnehmen, durch eine zweite Kamera des Bildgebungssystems, eines zweiten Bildes der Lichtquelle, wobei die zweite Kamera dazu konfiguriert ist, Bilder unter der Steuerung einer zweiten Impulsauslösesequenz aufzunehmen, die Teil eines zweiten Betriebsmodus mit gepulsten Auslöser ist, wobei die zweite Impulsauslösesequenz, einen zeitlichen Versatz in Bezug auf die erste Impulsauslösesequenz aufweist; und Bestimmen eines Beleuchtungszustands der LED auf Grundlage des Vergleichens eines ersten Status der LED in dem ersten Bild und eines zweiten Status der LED in dem zweiten Bild.
  2. Verfahren nach Anspruch 1, wobei der erste Betriebsmodus mit gepulstem Auslöser einen ersten Belichtungszeitraum und einen ersten Auslesezeitraum umfasst, wobei der zweite Betriebsmodus mit gepulstem Auslöser einen zweiten Belichtungszeitraum und einen zweiten Auslesezeitraum umfasst, der im Wesentlichen identisch zu dem ersten Belichtungszeitraum bzw. dem ersten Auslesezeitraum ist.
  3. Verfahren nach Anspruch 2, wobei die Lichtquelle eines von einer Verkehrsampel, einem Straßenschild, einem Fußgängerschild oder einer Leuchte, die an einem Fahrzeug montiert ist, ist.
  4. Verfahren nach Anspruch 1, wobei der zeitliche Versatz zwischen der zweiten Impulsauslösesequenz und der ersten Impulsauslösesequenz über einen Zeitraum fest ist.
  5. Verfahren nach Anspruch 1, wobei der zeitliche Versatz zwischen der zweiten Impulsauslösesequenz und der ersten Impulsauslösesequenz eines von einem periodisch variierten zeitlichen Versatz oder einem intermittierend variierten zeitlichen Versatz ist.
  6. Verfahren nach Anspruch 1, das ferner Folgendes umfasst: Bestimmen, dass die Lichtquelle eingeschaltet ist, wenn mindestens einer von dem ersten Status der LED oder dem zweiten Status der LED den eingeschalteten Zustand der LED angibt.
  7. Verfahren nach Anspruch 1, das ferner Folgendes umfasst: Modifizieren von mindestens einer von der ersten Impulsauslösesequenz, der zweiten Impulsauslösesequenz oder dem zeitlichen Versatz auf Grundlage eines Konfidenzschwellenwerts.
  8. Verfahren, das Folgendes umfasst: Aufnehmen, durch eine erste Kamera eines Bildgebungssystems, eines ersten Bildes einer Lichtquelle, das eine Leuchtdiode (LED) umfasst, die zwischen einem eingeschalteten Zustand und einem ausgeschalteten Zustand umschaltet, wobei das erste Bild die LED im eingeschalteten Zustand zeigt; Aufnehmen, durch eine zweite Kamera des Bildgebungssystems, eines zweiten Bildes der Lichtquelle, wobei das zweite Bild ein Bildgebungsartefakt zeigt, wobei sich die LED im ausgeschalteten Zustand befindet; und Bestimmen, dass sich die Lichtquelle in einem eingeschalteten Zustand befindet, auf Grundlage dessen, dass das erste Bild die LED im eingeschalteten Zustand zeigt.
  9. Verfahren nach Anspruch 8, wobei die erste Kamera dazu konfiguriert ist, Bilder unter der Steuerung einer ersten Impulsauslösesequenz aufzunehmen, die ein Teil eines ersten Betriebsmodus mit gepulstem Auslöser ist und die zweite Kamera dazu konfiguriert ist, Bilder unter der Steuerung einer zweiten Impulsauslösesequenz aufzunehmen, die Teil eines zweiten Betriebsmodus mit gepulsten Auslöser ist, wobei die zweite Impulsauslösesequenz, einen ersten zeitlichen Versatz in Bezug auf die erste Impulsauslösesequenz aufweist.
  10. Verfahren nach Anspruch 9, wobei die Lichtquelle eines von einer Verkehrsampel, einem Straßenschild, einem Fußgängerschild oder einer Leuchte, die an einem Fahrzeug montiert ist, ist.
  11. Verfahren nach Anspruch 9, das ferner Folgendes umfasst: Identifizieren eines Zeitsteuerungsmusters der LED, das zwischen dem eingeschalteten Zustand und dem ausgeschalteten Zustand umschaltet; und Ändern des ersten zeitlichen Versatzes zu einem zweiten zeitlichen Versatz auf Grundlage des Identifizierens des Zeitsteuerungsmusters der LED.
  12. Verfahren nach Anspruch 11, das ferner Folgendes umfasst: Abrufen des Zeitsteuerungsmusters der LED durch drahtloses Kommunizieren mit einem Cloud-Speichersystem.
  13. Verfahren nach Anspruch 11, ferner umfassend: Modifizieren von mindestens einem von der ersten Impulsauslösesequenz, der zweiten Impulsauslösesequenz, dem ersten zeitlichen Versatz oder dem zweiten zeitlichen Versatz auf Grundlage eines Konfidenzschwellenwerts.
  14. Verfahren nach Anspruch 9, das ferner Folgendes umfasst: Ändern des ersten zeitlichen Versatzes zu einem zweiten zeitlichen Versatz auf Grundlage eines homographischen Kriteriums.
  15. Bildgebungssystem eines Fahrzeugs, wobei das Bildgebungssystem Folgendes umfasst: eine erste Kamera; eine zweite Kamera; und eine Steuerung, wobei die Steuerung Folgendes umfasst: einen Speicher, in dem computerausführbare Anweisungen gespeichert sind; und einen Prozessor, der dazu konfiguriert ist, auf den Speicher zuzugreifen und die computerausführbaren Anweisungen mindestens zu Folgendem auszuführen: Betreiben der ersten Kamera zum Aufnehmen eines ersten Bildes einer Lichtquelle, das eine Leuchtdiode (LED) umfasst, die zwischen einem eingeschalteten Zustand und einem ausgeschalteten Zustand umschaltet; Erfassen in dem ersten Bild, dass sich die LED im eingeschalteten Zustand befindet; Betreiben der zweiten Kamera, um ein zweites Bild der Lichtquelle aufzunehmen; Erfassen, in dem zweiten Bild, eines Bildgebungsartefakts, wobei sich die LED im ausgeschalteten Zustand befindet; und Bestimmen, dass sich die Lichtquelle in einem eingeschalteten Zustand befindet, auf Grundlage dessen, dass das erste Bild die LED im eingeschalteten Zustand zeigt.
DE102021127725.6A 2020-10-30 2021-10-25 Systeme und verfahren zum abmindern von bildgebungsartefakten durch lichtemittierende dioden (led) in einem bildgebungssystem eines fahrzeugs Pending DE102021127725A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/085,667 US11490023B2 (en) 2020-10-30 2020-10-30 Systems and methods for mitigating light-emitting diode (LED) imaging artifacts in an imaging system of a vehicle
US17/085,667 2020-10-30

Publications (1)

Publication Number Publication Date
DE102021127725A1 true DE102021127725A1 (de) 2022-05-05

Family

ID=81184563

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021127725.6A Pending DE102021127725A1 (de) 2020-10-30 2021-10-25 Systeme und verfahren zum abmindern von bildgebungsartefakten durch lichtemittierende dioden (led) in einem bildgebungssystem eines fahrzeugs

Country Status (3)

Country Link
US (1) US11490023B2 (de)
CN (1) CN114531522A (de)
DE (1) DE102021127725A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4183127A1 (de) * 2020-07-15 2023-05-24 Arriver Software AB Sichtsystem für ein kraftfahrzeug
JP2022126350A (ja) * 2021-02-18 2022-08-30 本田技研工業株式会社 認識装置、移動体、認識方法、およびプログラム
DE102021119319B4 (de) * 2021-07-26 2023-08-03 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zur Erkennung und/oder Repräsentation einer Signalisierungseinheit
CN115630529B (zh) * 2022-12-07 2023-03-10 中国海洋大学 一种基于蒙特卡洛的目标物跨界质成像仿真方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5772714B2 (ja) * 2012-05-16 2015-09-02 株式会社デンソー 灯火検出装置及び車両制御システム
WO2016084903A1 (ja) * 2014-11-28 2016-06-02 日本電気株式会社 電力管理装置、電力管理システム、電力管理方法、及び、プログラム
JP7060958B2 (ja) 2015-06-22 2022-04-27 ジェンテックス コーポレイション 振幅変調光のフリッカ補正のためのビデオストリーム画像処理システムおよび方法
US20210281732A1 (en) 2016-09-23 2021-09-09 Sony Semiconductor Solutions Corporation Signal processing device, imaging device, and signal processing method
US10992876B2 (en) 2016-10-18 2021-04-27 Texas Instruments Incorporated WDR imaging with LED flicker mitigation

Also Published As

Publication number Publication date
US20220141368A1 (en) 2022-05-05
CN114531522A (zh) 2022-05-24
US11490023B2 (en) 2022-11-01

Similar Documents

Publication Publication Date Title
DE102021127725A1 (de) Systeme und verfahren zum abmindern von bildgebungsartefakten durch lichtemittierende dioden (led) in einem bildgebungssystem eines fahrzeugs
DE102017127489A1 (de) Verkehrsampelerfassung und -klassifizierung unter verwendung von computervision und deep learning
DE102018109439A1 (de) Kameragestützte fahrzeugleuchtendiagnose über fahrzeug-zu-fahrzeug-kommunikation
DE102019102716A1 (de) Fahrzeug-anhänger rückfahrsichtsystem und -verfahren
DE102017111143A1 (de) Totwinkelerfassung in erweiterungsspur
DE102020114916A1 (de) Systeme und verfahren zum reduzieren von flimmerartefakten in bildlichtquellen
DE102018112139A1 (de) Lichtbasierte Fahrzeug-Vorrichtung-Kommunikationen
DE102018107167A1 (de) Fahrzeugabbildungssysteme und verfahren zur beleuchtungsdiagnose
DE102018110419A1 (de) Verwendung von nir-beleuchtungseinrichtungen zum verbessern der fahrzeugkameraleistung bei szenarien mit schwachem licht
DE102014216666A1 (de) Ladeklappenpositionsdetektion
WO2017102366A1 (de) System und verfahren zur objektbasierten ansteuerung eines hochauflösenden scheinwerfers für ein kraftfahrzeug
DE102014107488A1 (de) Vorrichtung zur bestimmung der umgebung
DE102020106218A1 (de) Systeme und Verfahren für Sicht bei schlechten Lichtverhältnissen durch gepulste Beleuchtung
DE102020104695A1 (de) Erkennung von blockierungen von beleuchtungseinrichtungen
DE102017117305A1 (de) Scheinwerferausschaltung für ein autonomes fahrzeug
DE102015205266A1 (de) Fahrzeugscheinwerfersystem
DE102011084275A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems und Verfahren zum Bearbeiten von Fahrzeugumfelddaten
DE102018112277A1 (de) Fahrerwarnsysteme und -verfahren basierend auf der anwesenheit von radfahrern
DE102014217666A1 (de) Fahrzeugsystem zur automatischen videoaufzeichnung
DE112018000944T5 (de) Fahrzeuganzeigevorrichtung
DE102016108653A1 (de) Warnung vor nicht funktionierenden frontscheinwerfern
DE102018132487A1 (de) Fahrzeugüberwachung von infrastrukturbeleuchtung
DE102021131701A1 (de) Systeme und verfahren zum erfassen von abgelenktem fahren eines fahrers eines fahrzeugs
DE102015103971A1 (de) Fahrzeugleuchtenanomaliezustandswarnung
EP3112214B1 (de) Verfahren zum steuern eines scheinwerfers eines fahrzeugs, verfahren zum generieren von positionsdaten zum steuern eines scheinwerfers eines fahrzeugs und verfahren zum betreiben einer lichtanlage eines fahrzeugs

Legal Events

Date Code Title Description
R082 Change of representative

Representative=s name: BONSMANN - BONSMANN - FRANK PATENTANWAELTE, DE

R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: H04N0005232000

Ipc: H04N0023600000