DE102020103431A1 - Lichtflackerminderung in Systemen für maschinelles Sehen - Google Patents

Lichtflackerminderung in Systemen für maschinelles Sehen Download PDF

Info

Publication number
DE102020103431A1
DE102020103431A1 DE102020103431.8A DE102020103431A DE102020103431A1 DE 102020103431 A1 DE102020103431 A1 DE 102020103431A1 DE 102020103431 A DE102020103431 A DE 102020103431A DE 102020103431 A1 DE102020103431 A1 DE 102020103431A1
Authority
DE
Germany
Prior art keywords
circuitry
lfm
pixels
exposure
hdr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020103431.8A
Other languages
English (en)
Inventor
Rastislav Lukac
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of DE102020103431A1 publication Critical patent/DE102020103431A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

Die vorliegende Offenbarung ist auf Systeme und Verfahren zum Detektieren und Minimieren des Effekts von Lichtflackern in einem gestitchten HDR-Bild, das unter Verwendung mehrerer Bilder gebildet wird, die unter Verwendung einer Bilderfassungssensorschaltungsanordnung erhalten werden, ausgerichtet. Eine Lichtflackerminderung(LFM)-Schaltungsanordnung empfängt ein Signal, das Daten enthält, die mehrere Bilder repräsentieren. Mehrfachmerkmal-Extraktionsschaltungen in der LFM-Schaltungsanordnung extrahieren Daten, die ein oder mehrere Merkmale repräsentieren, aus manchen oder allen der Pixel, die in den mehreren Pixeln enthalten sind. Lichtflacker-Detektion-und-Analyse-Schaltungen in der LFM-Schaltungsanordnung detektieren flackende Pixel in den mehreren Bildern. Belichtungsindex-Umwandlungsschaltungen in der LFM-Schaltungsanordnung bestimmen eine oder mehrere Ausgabekorrekturen zum Anwenden auf die mehreren Bilder, während die Bilder gestitcht werden, um ein einzelnes HDR-Bild zu bilden, in dem flackernde Pixel minimiert, gemindert oder eliminiert sind.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Erfindung betrifft Systeme für maschinelles Sehen und insbesondere die Verbesserung der Erkennung und Identifikation geschalteter Lichtquellen wie etwa Leuchtdiodenquellen.
  • HINTERGRUND
  • Leuchtdioden (LEDs) werden aufgrund ihrer relativ geringen Kosten, langen Dienstlebensdauer, ihres geringen Leistungsverbrauchs, ihrer relativ hohen Effizienz und Zuverlässigkeit und einfachen elektronischen Steuerung zunehmend in Kraftfahrzeugen, Verkehrssteuerungsvorrichtungen, Verkehrsinformationsvorrichtungen, Rettungsfahrzeugsignalen und Autobahnbenachrichtigungen verwendet. Somit ist LED-Lichtflackerminderung (LFM) in Fahrerassistenzsystemen (FAS) und Kameraüberwachungssystemen (CMS) zunehmend wichtiger geworden. In vielen Fällen nutzen derartige FAS- und CMS-Systeme HDR-Bildgebung (HDR: High-Dynamic Range - hoher Dynamikbereich), um einen breiten Bereich von Farben und Lichtintensitäten in verschiedenen Fahrsituationen und Beleuchtungsbedingungen aufzunehmen und zu reproduzieren, sodass ein realistischerer visueller Inhalt bereitgestellt wird. HDR-Technologie wird typischerweise immer dann eingesetzt, wenn eine Szene oder ein visueller Inhalt den Dynamikbereich von Vorrichtungen überschreitet (gewöhnlich definiert als ein Verhältnis zwischen den größten und kleinsten nicht-negativen Größen, die eine Bilderfassungsvorrichtung in der Lage ist, abzutasten und/oder zu reproduzieren). Beispielsweise erzeugen gegenwärtige HDR-Bildsensoren eine Ausgabe, die eine Anzahl (z. B. drei oder vier) von Bildern beinhaltet, die unter Verwendung unterschiedlicher Belichtungszeiten und/oder Verstärkungswerte erfasst werden. Ein einzelnes Ausgabebild wird dann erzeugt, wenn die Einzelbelichtungsbilder durch den Bilderfassungssensor kombiniert, oder gestitcht, werden. Alternativ dazu können mehrere Bilder, die jeweils unterschiedliche Belichtungszeiten und/oder Verstärkungswerte aufweisen, unter Verwendung einer oder mehrerer externer Vorrichtungen oder Host-Vorrichtungen, wie etwa eines oder mehrerer Bild- und Signalprozessoren (ISPs), kombiniert oder gestitcht werden.
  • Mit LED-Lichtquellen resultiert das HDR-Stitching aufgrund von Sensorsättigung bei längeren Belichtungszeiten oder des Fehlschlagens, Lichtflackern einer erleuchteten LED bei kürzeren Belichtungszeiten zu detektieren und zu vermeiden, allgemein in unvollständigem Informationsinhalt. Ein Auftreten von einer dieser Bedingungen kann sich auf den Betrieb von Bremslichtdetektion, Nachtsichtassistenz und/oder Ampelerkennungssystemen negativ auswirken. Um derartige Probleme zu vermeiden, können LFM-Systeme eingesetzt werden.
  • Figurenliste
  • Merkmale und Vorteile verschiedener Ausführungsformen des beanspruchten Gegenstands werden im Verlauf der folgenden ausführlichen Beschreibung und unter Bezug auf die Zeichnungen ersichtlich, in denen gleiche Ziffern gleiche Teile bezeichnen, und in denen gilt:
    • 1 ist ein schematisches Diagramm eines veranschaulichenden Systems, in dem eine Lichtflackerminderung(LFM)-Schaltungsanordnung Mehrfachbelichtungs-Bilddaten empfängt, die durch eine Bilderfassungssensorschaltungsanordnung erzeugt werden, jene Pixel und/oder Pixelblöcke identifiziert, die Flackern angebende Ausgabevarianzen zeigen, und ein oder mehrere Signale, die Korrekturinformationen enthalten, einer HDR-Stitching-Schaltungsanordnung bereitstellt, um ein Ausgabebild zu erzeugen, in dem die Flackereffekte reduziert oder eliminiert sind, gemäß mindestens einer hierin beschriebenen Ausführungsform;
    • 2 stellt ein Blockdiagramm eines veranschaulichenden Systems dar, das eine 3A(Autofokus-Autobelichtung-Auto-Weißabgleich)-Schaltungsanordnung beinhaltet, die unter Verwendung des Ausgabesignals von der Bilderfassungssensorschaltungsanordnung und eines Ausgabesignals von der LFM-Schaltungsanordnung ein Belichtungskompensationsdaten enthaltendes Ausgabesignal erzeugt, das zu der Bilderfassungssensorschaltungsanordnung kommuniziert wird, gemäß mindestens einer hierin beschriebenen Ausführungsform;
    • 3 ist ein Blockdiagramm eines Systems, das eine veranschaulichende LFM-Schaltungsanordnung beinhaltet, die Folgendes enthält: eine oder mehrere Mehrfachmerkmal-Extraktionsschaltungen; eine oder mehrere Lichtflacker-Detektion-und-Analyse-Schaltungen; eine oder mehrere Belichtungsindex-Umwandlungsschaltungsanordnungen; und eine oder mehrere Anpassungsfaktor/LFM-Statistik-Umwandlungsschaltungen; gemäß mindestens einer hierin beschriebenen Ausführungsform;
    • 4 ist ein schematisches Diagramm einer veranschaulichenden elektronischen prozessorbasierten Vorrichtung, die eine Zentralverarbeitungseinheit (CPU) oder ein Mehrchipmodul (MCM) beinhaltet, die bzw. das eine Flacker-Detektion-und-Korrektur-Schaltungsanordnung und/oder eine Grafikverarbeitungseinheit(GPU)-Schaltungsanordnung, die eine Lichtflacker-Detektion-und-Korrektur-Schaltungsanordnung enthält, beinhaltet, gemäß mindestens einer hierin beschriebenen Ausführungsform;
    • 5 ist ein Flussdiagramm hoher Ebene eines veranschaulichenden Verfahrens zum Detektieren und Analysieren von Bildern auf das Vorhandensein von flackernden Pixeln, gemäß mindestens einer hierin beschriebenen Ausführungsform;
    • 6 ist ein Flussdiagramm hoher Ebene eines veranschaulichenden Verfahrens zum Anpassen oder anderweitigen Korrigieren einer oder mehrerer Belichtungseinstellungen und/oder einer Verstärkung der Bilderfassungssensorschaltungsanordnung für jedes der Bilder, die in den mehreren durch die Bilderfassungssensorschaltungsanordnung erfassten Bildern enthalten sind, gemäß mindestens einer hierin beschriebenen Ausführungsform; und
    • 7 ist ein Flussdiagramm hoher Ebene eines veranschaulichenden Verfahrens zum Korrigieren, Ändern und/oder Anpassen der Belichtungseinstellungen und/oder der Verstärkung eines oder mehrerer der Bilder, die durch die Bilderfassungssensorschaltungsanordnung gesammelt oder anderweitig erfasst werden, gemäß mindestens einer hierin beschriebenen Ausführungsform.
  • Obwohl die folgende ausführliche Beschreibung mit Bezugnahme auf veranschaulichende Ausführungsformen fortfahren wird, werden Fachleuten viele Alternativen, Modifikationen und Variationen davon ersichtlich werden.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Die hierin beschriebenen Systeme und Verfahren verwenden Signalverarbeitungsverfahren zum Wiederherstellen von aufgenommenen LED-Informationen und/oder Inhalt während des HDR-Stitching-Prozesses. Insbesondere verwenden die hierin beschriebenen Systeme und Verfahren eine Lichtflackerminderung(LFM)-Schaltungsanordnung zum Empfangen von Mehrfachbelichtungs-Bilddaten von einem oder mehreren Bilderfassungssensoren, die von einem Kraftfahrzeug geführt oder in anderen Kamerasystemen verwendet werden, wie etwa Videoüberwachungskameras, Verkehrskameras usw. Die LFM-Schaltungsanordnung detektiert das Vorhandensein von Pixeln, die eine zeitlich variable Ausgabe zeigen, die für Flackern charakteristisch ist. Die LFM-Schaltungsanordnung verbessert entweder einzelne Pixel und/oder Blöcke von Pixeln, die als flackernd identifiziert werden, um den Einfluss des Flackerns auf das resultierende gestitchte HDR-Bild zu minimieren. Die LFM-Schaltungsanordnung kann auch eine oder mehrere Belichtungssteuerungsausgaben erzeugen, die zu der Autofokus-Autobelichtung-Auto-Weißabgleich(3A)-Schaltungsanordnung kommuniziert werden, die die Bildbelichtung durch die Bilderfassungssensorschaltungsanordnung steuert. Bei Ausführungsformen kann die LFM-Schaltungsanordnung verschiedene Module beinhalten, die jeweils eine dedizierte Schaltungsanordnung enthalten, die in der Lage ist, eine oder mehrere Funktionen zum Bereitstellen einer HDR-Stitching-Korrektur und/oder einer Belichtungsanpassung des Bilderfassungssensors bereitzustellen, um Bilder zu erzeugen, die den Einfluss von Flackern durch Anpassen der Belichtungszeit und/oder der Verstärkung jedes durch den Bilderfassungssensor erfassten Bildes und durch Identifizieren einzelner Pixel oder Blöcke von Pixeln, die Flackern zeigen, und Anpassen der Ausgabeparameter der identifizierten Pixel während des HDR-Stitching-Prozesses mindern. Somit stellen die hierin beschriebenen Systeme und Verfahren nutzbringend und vorteilhafterweise Korrekturinformationen an die 3A-Schaltungsanordnung bereit, die die Bilderfassungssensorschaltungsanordnung steuert, um die Effekte des Flackerns zu mindern und Korrekturinformationen an die HDR-Stitching-Schaltungsanordnung bereitzustellen, die für jene Pixel/Pixelblöcke ausgerichtet sind, die als Flackern zeigend identifiziert werden.
  • Ein Bilderfassungssystem ist bereitgestellt. Das System kann Folgendes beinhalten: eine Hochdynamikbereich(HDR)-Sensorschaltungsanordnung zum Erhalten von Bilddaten für jedes von mehreren Pixeln, die in einem Bild enthalten sind; eine Lichtflackerminderung(LFM)-Schaltungsanordnung zum: Empfangen der Bilddaten vom Bilderfassungssensor; Durchführen einer Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Pixeln enthaltene Pixel zu identifizieren, die Flackern zeigen; Bestimmen, auf einer Pro-Pixel-Basis, eines oder mehrerer Korrekturfaktoren, um Flackern der identifizierten Pixel in einem finalen HDR-Bild zu minimieren, zu mindern oder zu eliminieren; eine HDR-Stitching-Schaltungsanordnung zum: selektiven Kombinieren von Pixelwerten unter Verwendung der durch die Bilderfassungssensorschaltungsanordnung bereitgestellten Bilddaten und der durch die LFM-Schaltungsanordnung erzeugten Korrekturfaktoren, um ein Ausgabe-HDR-Bild zu erzeugen.
  • Ein Bilderfassungsverfahren ist bereitgestellt. Das Verfahren kann Folgendes beinhalten: Erhalten, über eine Hochdynamikbereich(HDR)-Sensorschaltungsanordnung, von Mehrfachbelichtungs-Bilddaten für jedes von mehreren Pixeln, die in einem Bild enthalten sind; Empfangen, durch eine Lichtflackerminderung(LFM)-Schaltungsanordnung, der Mehrfachbelichtungs-Bilddaten von der Bilderfassungssensorschaltungsanordnung; Durchführen, durch die LFM-Schaltungsanordnung, einer Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Pixeln enthaltene Pixel zu identifizieren, die Flackern zeigen; Bestimmen, durch die LFM-Schaltungsanordnung auf einer Pro-Pixel-Basis, eines oder mehrerer Korrekturfaktoren, um Flackern der identifizierten Pixel in einem finalen HDR-Bild zu minimieren, zu mindern oder zu eliminieren; und selektives Kombinieren von Pixelwerten unter Verwendung der durch die Bilderfassungssensorschaltungsanordnung bereitgestellten Bilddaten und der durch die LFM-Schaltungsanordnung erzeugten Korrekturfaktoren, um ein Ausgabe-HDR-Bild zu erzeugen.
  • Eine nichtflüchtige Speicherungsvorrichtung ist bereitgestellt. Die nichtflüchtige Speicherungsvorrichtung beinhaltet Anweisungen, die bei Ausführung durch eine Lichtflackerminderung(LFM)-Schaltungsanordnung veranlassen, dass die LFM-Schaltungsanordnung Folgendes ausführt: Empfangen, von einer Hochdynamikbereich(HDR)-Sensorschaltungsanordnung, von Mehrfachbelichtungs-Bilddaten für jedes von mehreren Pixeln, die in einem Bild enthalten sind; Durchführen einer Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Pixeln enthaltene Pixel zu identifizieren, die Flackern zeigen; Bestimmen, auf einer Pro-Pixel-Basis, eines oder mehrerer Korrekturfaktoren, um Flackern der identifizierten Pixel in einem finalen HDR-Bild zu minimieren, zu mindern oder zu eliminieren; und Veranlassen, dass eine HDR-Stitching-Schaltungsanordnung Pixelwerte unter Verwendung der durch die Bilderfassungssensorschaltungsanordnung bereitgestellten Bilddaten und der durch die LFM-Schaltungsanordnung erzeugten Korrekturfaktoren selektiv kombiniert, um ein Ausgabe-HDR-Bild zu erzeugen.
  • Ein Bilderfassungssystem ist bereitgestellt. Das System kann Folgendes beinhalten: Mittel zum Erhalten von Mehrfachbelichtungs-Bilddaten für jedes von mehreren Pixeln, die in einem Bild enthalten sind; Mittel zum Empfangen der Mehrfachbelichtungs-Bilddaten von der Bilderfassungssensorschaltungsanordnung; Mittel zum Durchführen einer Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Pixeln enthaltene Pixel zu identifizieren, die Flackern zeigen; Mittel zum Bestimmen, auf einer Pro-Pixel-Basis, eines oder mehrerer Korrekturfaktoren, um Flackern der identifizierten Pixel in einem finalen HDR-Bild zu minimieren, zu mindern oder zu eliminieren; und Mittel zum selektiven Kombinieren von Pixelwerten unter Verwendung der durch die Bilderfassungssensorschaltungsanordnung bereitgestellten Bilddaten und der durch die LFM-Schaltungsanordnung erzeugten Korrekturfaktoren, um ein HDR-Bild zu erzeugen.
  • 1 ist ein schematisches Diagramm eines veranschaulichenden Systems 100, in dem eine Lichtflackerminderung(LFM)-Schaltungsanordnung 120 Mehrfachbelichtungs-Bilddaten 112 empfängt, die durch eine Bilderfassungssensorschaltungsanordnung 110 erzeugt, gebildet oder anderweitig produziert werden, jene Pixel und/oder Pixelblöcke identifiziert, die Flackern angebende Ausgabevarianzen zeigen, und ein oder mehrere Signale 122, die Korrekturinformationen enthalten, an eine HDR-Stitching-Schaltungsanordnung 130 bereitstellt, um ein Ausgabebild 132 zu erzeugen, in dem die Flackereffekte minimiert, gemindert, reduziert oder eliminiert sind, gemäß mindestens einer hierin beschriebenen Ausführungsform. Wie in 1 dargestellt, sammelt die Bilderfassungssensorschaltungsanordnung 110 bei Ausführungsformen Informationen und/oder Daten, die mit einem Bild 102 assoziiert sind, das Objekte im Sichtfeld der Bilderfassungssensorschaltungsanordnung 110 enthält. Bei Ausführungsformen kann die Bilderfassungssensorschaltungsanordnung 110 funktionsfähig mit einem Kraftfahrzeug gekoppelt sein und die erfassten Bilder 102 können Objekte wie etwa LED-Lichtquellen wie etwa Verkehrssteuervorrichtungen, Kraftfahrzeugblinker und ähnliches beinhalten. Die Bilderfassungssensorschaltungsanordnung 110 erzeugt ein Ausgabesignal 112, das Informationen und/oder Daten beinhaltet, die die Szene mit LED-Lichtquellen im Sichtfeld des HDR-Bildsensors 110 repräsentieren. Die LFM-Schaltungsanordnung 120 und die HDR-Stitching-Schaltungsanordnung 130 empfangen das HDR-Bildsensor-Ausgabesignal 112. Die LFM-Schaltungsanordnung 120 identifiziert Pixel und/oder Pixelblöcke, die Ausgabeparameter oder anderes Verhalten zeigen, die bzw. das Flackern angibt, und bestimmt einen oder mehrere Korrektur- und/oder Anpassungsparameter zum Anwenden in dem HDR-Stitching-Prozess. Die LFM-Schaltungsanordnung 120 erzeugt ein Ausgabesignal 132, das Informationen und/oder Daten beinhaltet, die den einen oder die mehreren Korrektur- und/oder Anpassungsparameter repräsentieren, zum Anwenden während des HDR-Stitching-Prozesses und kommuniziert das Ausgabesignal zu der HDR-Stitching-Schaltungsanordnung 130.
  • Die Bilderfassungssensorschaltungsanordnung 110 beinhaltet eine beliebige Anzahl und/oder Kombination von elektronischen Komponenten, Halbleitervorrichtungen und/oder Logikelementen, die in der Lage sind, mehrere Bilder (Mehrfachbelichtungs-Bilddaten) von Objekten zu erfassen, die im Sichtfeld 102 der Bilderfassungssensorschaltungsanordnung 110 angeordnet oder positioniert sind. Die Bilderfassungssensorschaltungsanordnung 110 erzeugt ein Ausgabesignal 112, das Informationen und/oder Daten beinhaltet, die jedes der mehreren durch die Bilderfassungssensorschaltungsanordnung 110 erfassten Bilder repräsentieren. Die Bilddaten beinhalten Informationen und/oder Daten, die mit jedem der mehreren Pixel assoziiert sind, die jedes jeweilige der Bilder bilden. Da jedes der Bilder gewöhnlich unter Verwendung unterschiedlicher Belichtungseinstellungen und/oder unterschiedlicher Verstärkungseinstellungen erfasst wird, kann das gleiche Pixel oder der gleiche Block von Pixeln unterschiedliche Charakteristiken (Luminanzkomponenten, Pixelwerte usw.) von einem Bild zu einem anderen Bild aufweisen. Diese Differenz zwischen Bildern ermöglicht die Detektion und/oder Identifikation von flackernden Pixeln und/oder Pixelblöcken durch die LFM-Schaltungsanordnung 120.
  • Die LFM-Schaltungsanordnung 120 beinhaltet eine beliebige Anzahl und/oder Kombination von gegenwärtig verfügbaren und/oder zukünftig entwickelten elektronischen Komponenten, Halbleitervorrichtungen und/oder Logikelementen, die in der Lage sind, Mehrfachbelichtungs-Bilddaten von der Bilderfassungssensorschaltungsanordnung 110 zu empfangen, Pixel und/oder Pixelblöcke zu identifizieren, die Flackern angebendes Verhalten zeigen, und einen oder mehrere Korrektur- und/oder Anpassungsparameter zum Anwenden auf die identifizierten flackernden Pixel während des HDR-Stitching-Prozesses zu bestimmen, um den Flackereffekt im finalen HDR-Bild zu minimieren, zu mindern, zu reduzieren, zu vermeiden oder zu eliminieren.
  • Die HDR-Stitching-Schaltungsanordnung 130 beinhaltet eine beliebige Anzahl und/oder Kombination von gegenwärtig verfügbaren und/oder zukünftig entwickelten elektronischen Komponenten, Halbleitervorrichtungen und/oder Logikelementen, die in der Lage sind, das Ausgabesignal 112, das Informationen und/oder Daten enthält, die mehrere Bilder repräsentieren, von der Bilderfassungssensorschaltungsanordnung 110 und ein Ausgabesignal 122, das Korrektur- und/oder Anpassungsparameterinformationen und/oder -daten beinhaltet, die mit in den Bildern enthaltenen Pixeln und/oder Pixelgruppen assoziiert sind, die Informationen enthalten, die flackernde Pixel und/oder Pixelgruppen angeben, zu empfangen und die Bilder zu kombinieren, um ein Ausgabesignal zu erzeugen, in dem die Pixel und/oder Pixelblöcke, die durch die LFM-Schaltungsanordnung 120 als Flackern zeigend identifiziert werden, angepasst wurden, um den Flackereffekt im Ausgabe-HDR-Bild zu reduzieren, zu minimieren, zu mindern, zu vermeiden oder zu eliminieren.
  • 2 stellt ein Blockdiagramm eines veranschaulichenden Systems 200 dar, das eine 3A(Autofokus-Autobelichtung-Auto-Weißabgleich)-Schaltungsanordnung 210 beinhaltet, die unter Verwendung des Ausgabesignals 112 von der Bilderfassungssensorschaltungsanordnung 110 und eines Ausgabesignals 202 von der LFM-Schaltungsanordnung 120 ein Ausgabesignal erzeugt, das Belichtungskompensationsdaten enthält, die zu der Bilderfassungssensorschaltungsanordnung 110 kommuniziert werden, gemäß mindestens einer hierin beschriebenen Ausführungsform. Bei Ausführungsformen kann die LFM-Schaltungsanordnung 120 eine oder mehrere Schaltungen zum Bestimmen eines oder mehrerer Belichtungsparameter beinhalten, die zum Mindern, Minimieren oder Eliminieren der Flackereffekte eines/einer oder mehrerer Pixel und/oder Pixelgruppen, die in den Bilddaten in dem durch die Bilderfassungssensorschaltungsanordnung 110 bereitgestellten Ausgabesignal 112 enthalten sind, nützlich sind. Die LFM-Schaltungsanordnung 120 erzeugt ein Ausgabesignal 202, das Informationen und/oder Daten beinhaltet, die die korrigierten Belichtungsparameter repräsentieren, und das zu der 3A-Schaltungsanordnung 210 kommuniziert wird. Die 3A-Schaltungsanordnung 210 empfängt die korrigierten Belichtungsparameter und veranlasst direkt oder indirekt, dass die Bilderfassungssensorschaltungsanordnung 110 die korrigierten Belichtungsparameter implementiert.
  • 3 ist ein Blockdiagramm eines Systems 300, das eine veranschaulichende LFM-Schaltungsanordnung 120 beinhaltet, die Folgendes beinhaltet: eine oder mehrere Mehrfachmerkmal-Extraktionsschaltungen 310; eine oder mehrere Flacker-Detektion-und-Analyse-Schaltungen 320; eine oder mehrere Belichtungsindex-Umwandlungsschaltungen 330; und eine oder mehrere Anpassungsfaktor/LFM-Statistik-Umwandlungsschaltungen 340; gemäß mindestens einer hierin beschriebenen Ausführungsform. Wie in 3 dargestellt, empfängt die LFM-Schaltungsanordnung 120 das Ausgabesignal 112, das die durch die Bilderfassungssensorschaltungsanordnung 110 erzeugten Mehrfachbelichtungs-Bilddaten enthält. Die eine oder die mehreren Mehrfachmerkmal-Extraktionsschaltungen 310 extrahieren Werte aus den Pixeln, die in manchen oder allen der mehreren durch die Bilderfassungssensorschaltungsanordnung 110 bereitgestellten Bilder enthalten sind. Die durch die eine oder die mehreren Mehrfachmerkmal-Extraktionsschaltungen 310 extrahierten Werte können tatsächliche Pixelwerte und/oder eine oder mehrere Luminanzkomponenten verwenden, die mit jedem der Pixel und/oder Pixelblöcke assoziiert sind.
  • Die eine oder die mehreren Mehrfachmerkmal-Extraktionsschaltungen 310 beinhalten eine beliebige Anzahl und/oder Kombination von gegenwärtig verfügbaren und/oder zukünftig entwickelten elektronischen Komponenten, Halbleitervorrichtungen und/oder Logikelementen, die in der Lage sind, Informationen und/oder Daten (z. B. Merkmale), die zum Durchführen einer Flackerdetektion und -analyse nützlich sind, aus zumindest einem Teil der durch die Bilderfassungssensorschaltungsanordnung 110 bereitgestellten Bilddaten zu extrahieren. Bei Ausführungsformen können die eine oder die mehreren Mehrfachmerkmal-Extraktionsschaltungen 310 ein oder mehrere programmierbare Logikelemente beinhalten, die in der Lage sind, maschinenausführbare Befehlssätze auszuführen, die die Extraktion von Informationen und/oder Daten (z. B. Merkmalen) ermöglichen, die zum Durchführen einer Flackerdetektion und -analyse an den durch die Bilderfassungssensorschaltungsanordnung 110 bereitgestellten Mehrfachbelichtungs-Bilddaten nützlich sind.
  • Die Mehrfachmerkmal-Extraktionsschaltung 310 führt eine Mehrfachmerkmalextraktion unter Verwendung tatsächlicher Pixelwerte oder ihrer Luminanzkomponenten von Pixeln und/oder Pixelblöcken, die in den von der Bilderfassungssensorschaltungsanordnung 110 Mehrfachbelichtungs-Bilddaten enthalten sind, durch. Bei Ausführungsformen kann, wenn die Bilderfassungssensorschaltungsanordnung 110 mehrere Belichtungsbilder in einem Bayer-Farbfilterarray(CFA)-Format bereitstellt, die Mehrfachmerkmal-Extraktionsschaltung 310 einen Wert, der der Pixel-/Pixelblockluminanz entspricht, über eine Gauß-Filterung mit einem räumlichen 3×3-Fenster mit Koeffizienten [1 2 1; 2 4 2; 1 2 1]/16 bestimmen. Bei Ausführungsformen kann die Mehrfachmerkmal-Extraktionsschaltung 310 jedes HDR-Bild in überlappende oder nichtüberlappende (z. B. 2x2-Bayer-Quadrate) Blöcke teilen und die Luminanzkomponente kann als der maximale, mittlere oder minimale Pixelwert in jedem derartigen Block approximiert werden. Bei Ausführungsformen verwendet die Mehrfachmerkmal-Extraktionsschaltung 310 nutzbringenderweise den Maximum-Operator, um die vorteilhaften Signal-Rausch-Verhältnisse und die Detektierbarkeit von Bildbereichen, die von Sensorsättigung betroffen sind, wirksam einzusetzen. In einem Fall von Dreikanal-Farbbildern, wie etwa RGB-Bildern, die aus Bayer-Bildern über Demosaicing erhalten werden, kann die Mehrfachmerkmal-Extraktionsschaltung 310 die Luminanzkomponente an jedem Pixelort als eine Linearkombination (gewichteter Durchschnitt, z. B. (1R+2G+1B)/4 oder 0,299R+0,587G+0,114B) von Rot(R)-, Grün(G)- und Blau(B)-Komponenten erhalten.
  • Die eine oder die mehreren Flacker-Detektion-und-Analyse-Schaltungen 320 beinhalten eine beliebige Anzahl und/oder Kombination von gegenwärtig verfügbaren und/oder zukünftig entwickelten elektronischen Komponenten, Halbleitervorrichtungen und/oder Logikelementen, die in der Lage sind, Pixelwerte und/oder Luminanzkomponenten von dem gleichen Pixel und/oder den gleichen Pixelblöcken über mehrere Bilder zu vergleichen, um flackernde Pixel und/oder Pixelblöcke zu detektieren. Bei Ausführungsformen können die eine oder die mehreren Flacker-Detektion-und-Analyse-Schaltungen 320 ein oder mehrere programmierbare Logikelemente beinhalten, die in der Lage sind, maschinenausführbare Befehlssätze auszuführen, die den Vergleich von Pixelwerten, Luminanzkomponenten und/oder anderen geeigneten repräsentativen Werten von dem gleichen Pixel und/oder den gleichen Pixelblöcken über mehrere Pixel ermöglichen, um flackernde Pixel und/oder Pixelblöcke zu detektieren. Bei Ausführungsformen können die eine oder die mehreren Flacker-Detektion-und-Analyse-Schaltungen 320 eine harte Schwellenwertbildung (z. B. Binärausgabe); eine weiche Schwellenwertbildung (z. B. wahrscheinlichkeitsartige Ausgabe); oder eine ähnliche Messtechnik (z. B. exponentielle Funktion im Fall von Pixelwerten oder Luminanzdifferenzen) durchführen. Bei Ausführungsformen können die eine oder die mehreren Flacker-Detektion-und-Analyse-Schaltungen 320 definierte Schwellenwerte oder andere Steuerparameter als eine Eingabe empfangen oder können derartige Schwellenwerte oder andere Parameter basierend auf dem Inhalt der von den HDR-Bildsensoren 110 empfangenen Bilddaten adaptiv bestimmen.
  • Bei Ausführungsformen können die eine oder die mehreren Flacker-Detektion-und-Analyse-Schaltungen 320 ein erstes Bild mit einem zweiten Bild (ein Bild mit langer Belichtung wird mit einem Bild mit mittellanger Belichtung verglichen, ein Bild mit mittellanger Belichtung wird mit einem Bild mit kurzer Belichtung verglichen usw.) in den erfassten Mehrfachbelichtungs-Bilddaten vergleichen oder können jedes Bild vergleichen, das in einer Teilmenge von Bildern enthalten ist, die aus den mehreren Bildern ausgewählt werden. Bei Ausführungsformen können die eine oder die mehreren Flacker-Detektion-und-Analyse-Schaltungen 320 Pixel- oder Luminanzdifferenzen über die Mehrfachbelichtungs-Bildaufnahme unter Verwendung von Belichtungsbildern, die gegenüber Differenzen in der Belichtungszeit kompensiert (normiert) sind, bestimmen. Bei Ausführungsformen können die eine oder die mehreren Flacker-Detektion-und-Analyse-Schaltungen 320 Differenzen zwischen einer ersten (ursprünglichen) Komponente und einer zweiten Komponente, die unter Verwendung von Skalierungs- und Offsetfaktoren angepasst ist, bestimmen. Bei Ausführungsformen können die eine oder die mehreren Flacker-Detektion-und-Analyse-Schaltungen 320 ein oder mehrere Pixelwertverhältnisse oder Luminanzkomponentenverhältnisse über manche oder alle der Mehrfachbelichtungs-Bilder bestimmen. Bei Ausführungsformen können die eine oder die mehreren Flacker-Detektion-und-Analyse-Schaltungen 320 Mehrfachbelichtungs-Merkmale an Pixelorten oder in Bildgebieten, die von Sensorsättigung betroffen sind, evaluieren.
  • Die eine oder die mehreren Belichtungsindex-Umwandlungsschaltungen 330 beinhalten eine beliebige Anzahl und/oder Kombination von gegenwärtig verfügbaren und/oder zukünftig entwickelten elektronischen Komponenten, Halbleitervorrichtungen und/oder Logikelementen, die in der Lage sind, die durch die eine oder die mehreren Flacker-Detektion-und-Analyse-Schaltungen 320 erzeugte Ausgabe mit den identifizierten flackernden Pixeln und/oder Pixelblöcken in einen oder mehrere Werte umzuwandeln, die einen Belichtungsindex repräsentieren, der Daten beinhaltet, die den Beitrag der Pixel und/oder Pixelblöcke in manchen oder allen der Einzelbelichtungsbilder zu dem finalen korrigierten Pixelwert in dem durch die HDR-Stitching-Schaltungsanordnung 130 erzeugten gestitchten HDR-Bild 132 repräsentieren. Bei Ausführungsformen können die eine oder die mehreren Belichtungsindex-Umwandlungsschaltungen 330 ein oder mehrere programmierbare Logikelemente beinhalten, die in der Lage sind, die Ausgabe mit den identifizierten flackernden Pixeln und/oder Pixelblöcken in einen oder mehrere Werte umzuwandeln, die einen Belichtungsindex repräsentieren, der Daten beinhaltet, die den Beitrag der Pixel und/oder Pixelblöcke in manchen oder allen der einzelnen Bilder zu dem finalen korrigierten Pixelwert in dem gestitchten HDR-Bild 132, das durch die HDR-Stitching-Schaltungsanordnung 130 erzeugt wird, repräsentieren.
  • Bei Ausführungsformen können die eine oder die mehreren Belichtungsindex-Umwandlungsschaltungen 330 die Ausgabe durch Zuweisen von Einzelbelichtungsbildern zu manchen Werten im Ausgabedetektionsbereich (z. B. kann für das Paar von langer und mittellanger Belichtung der Minimumwert im Detektionsbereich die lange Belichtung repräsentieren, wohingegen der Maximalwert die mittellange Belichtung repräsentieren kann) und dann Bestimmen des tatsächlichen Belichtungsindexes als eine Auswahl (zur Binärentscheidung) oder einen gewichteten Durchschnitt dieser anfänglichen Werte oder Indizes umwandeln. Bei Ausführungsformen können die eine oder die mehreren Belichtungsindex-Umwandlungsschaltungen 330 diesen Prozess für verschiedene Paare von Belichtungsbildern und kombinierte Zwischenergebnisse wiederholen, um den finalen Belichtungsindex zu erhalten, der dann der HDR-Stitching-Schaltungsanordnung 130 bereitgestellt wird (auch als HDR-Zusammenfügen, HDR-Bildung oder DOL-Verarbeitung bezeichnet). Bei Ausführungsformen kann dieser Prozess pro Pixelort, Block, Bildgebiet usw. angewendet werden. Bei Ausführungsformen können die erhaltenen Belichtungsindizes und/oder extrahierten Merkmale einer Verbesserung mittels Tiefpassfilterung (z. B. Mittelwert-, Gauß- oder Medianfilterung) und/oder einer morphologischen Verarbeitung (z. B. Dilatation, Erosion, Opening, Closing) unter Verwendung jeweils der Indizes und/oder extrahierten Merkmale in ihrer Nachbarschaft unterzogen werden, um das in den Belichtungsbildern vorhandene Rauschen oder mögliche Verarbeitungsungenauigkeiten zu bearbeiten. Bei Ausführungsformen kann/können mehrere aufgenommene Eingabebilder, eine Teilmenge dieser Bilder, Luminanzversionen dieser Bilder oder eine andere geeignete repräsentative Version dieser Bilder auch einer Tiefpassfilterung, wie etwa Mittelwert-, Gewichteter-Durchschnitt- und detailerhaltende (z. B. bilaterale und nicht lokale Mittelwert-) Filterung, unterzogen werden.
  • Die eine oder die mehreren Anpassungsfaktor/LFM-Statistik-Umwandlungsschaltungen 340 beinhalten eine beliebige Anzahl und/oder Kombination von gegenwärtig verfügbaren und/oder zukünftig entwickelten elektronischen Komponenten, Halbleitervorrichtungen und/oder Logikelementen, die in der Lage sind, Bilddaten von zumindest manchen der mehreren Bilder im Signal 112, das von der Bilderfassungssensorschaltungsanordnung 110 empfangen wird, zu sammeln, anzusammeln oder anderweitig zu erhalten. Bei Ausführungsformen können die eine oder die mehreren Belichtungsindex-Umwandlungsschaltungen 330 ein oder mehrere programmierbare Logikelemente beinhalten, die in der Lage sind, Bilddaten von zumindest manchen der mehreren Bilder im Signal 112, das von der Bilderfassungssensorschaltungsanordnung 110 empfangen wird, zu sammeln, anzusammeln oder anderweitig zu erhalten.
  • Bei Ausführungsformen können die eine oder die mehreren Anpassungsfaktor/LFM-Statistik-Umwandlungsschaltungen 340 zumindest einen Teil der aus der Mehrfachbelichtungs-Bildaufnahme extrahierten Informationen und/oder Daten verwenden, um ein oder mehrere Ausgabesignale 202 zu erzeugen, die zum Steuern des durch die 3A-Schaltungsanordnung 210 durchgeführten Autobelichtung(AE)-Prozesses verwendet werden. Bei manchen Ausführungsformen wandeln die eine oder die mehreren Anpassungsfaktor/LFM-Statistik-Umwandlungsschaltungen 340 beispielsweise aus einem oder mehreren der mehreren Bilder extrahierten Informationen und/oder Daten zu additiven oder multiplikativen Faktoren um, um die durch die 3A-Schaltungsanordnung 210 bestimmten Belichtungszeiten für jedes von zumindest manchen der mehreren Bilder anzupassen. Bei Ausführungsformen berechnen die eine oder die mehreren Anpassungsfaktor/LFM-Statistik-Umwandlungsschaltungen 340 einen oder mehrere repräsentative Werte für jedes von zumindest manchen der mehreren Bilder (z. B. den Durchschnitts-, gewichteten Durchschnitts-, Median-, Luminanz- oder Maximalwert von allen detektierten Pixeln, die von Lichtflackern betroffen sind), vergleichen diese Werte mit einer oder mehreren vorbestimmten Schwellen (z. B. Sensorsättigungswert oder seine skalierte Version, wie etwa 95 % des Maximalwerts, den die Bilderfassungssensorschaltungsanordnung 110 in der Lage ist, zu lesen) und wandeln die Differenz oder das Verhältnis dieser beiden Werte in tatsächliche Belichtungsanpassungsfaktoren um, die dann der 3A-Schaltungsanordnung 210 als ein Ausgabesignal 202 bereitgestellt werden. Bei Ausführungsformen kann die LFM-Schaltungsanordnung 120 einen Tensor oder ein Array erzeugen, der bzw. das Bildbelichtungsstatistiken enthält, wie etwa Mittelwerte pro Block mit vorbestimmten Dimensionen. Bei Ausführungsformen können derartige Statistiktensoren oder -arrays einer Verbesserung mittels Tiefpassfilterung (z. B. Mittelwert-, Gauß- oder Medianfilterung) und/oder einer morphologischen Verarbeitung (z. B. Dilatation, Erosion, Opening, Closing) unterzogen werden, um das in den Belichtungsbildern vorhandenen Rauschen oder mögliche Verarbeitungsungenauigkeiten zu bearbeiten. Die LFM-Schaltungsanordnung 120 kommuniziert den Tensor oder das Array zu der 3A-Schaltungsanordnung 210, wodurch der 3A-Schaltungsanordnung ermöglicht wird, einen oder mehrere Belichtungsanpassungsfaktoren zu berechnen oder optimalere Belichtungszeiten für manche oder alle der mehreren Bilder zu bestimmen.
  • 4 ist ein schematisches Diagramm einer veranschaulichenden elektronischen prozessorbasierten Vorrichtung 400, die eine Zentralverarbeitungseinheit (CPU) oder ein Mehrchipmodul (MCM) 410 beinhaltet, die bzw. das eine Flacker-Detektion-und-Korrektur-Schaltungsanordnung 100/200 und/oder eine Grafikverarbeitungseinheit(GPU)-Schaltungsanordnung 412, die eine Flacker-Detektion-und-Korrektur-Schaltungsanordnung 100/200 enthält, beinhaltet, gemäß mindestens einer hierin beschriebenen Ausführungsform. Die prozessorbasierte Vorrichtung 400 beinhaltet eine Bilderfassungssensorschaltungsanordnung 110, die in der Lage ist, ein Ausgabesignal 112 zu erzeugen, das Informationen und/oder Daten beinhaltet, die mehrere Bilder repräsentieren, die jeweils unter Verwendung verschiedener Belichtungseinstellungen und/oder einer anderen Verstärkung erhalten werden, und die Informationen und/oder Daten enthalten, die mit einem Objekt assoziiert sind, das im Sichtfeld 102 der Bilderfassungssensorschaltungsanordnung 110 vorhanden ist. Die prozessorbasierte Vorrichtung 400 kann zusätzlich eines oder mehrere des Folgenden beinhalten: eine drahtlose Eingabe/Ausgabe(E/A)-Schnittstelle 420, eine drahtgebundene E/A-Schnittstelle 430, einen Systemspeicher 440, eine Leistungsverwaltungsschaltungsanordnung 450, eine nichtflüchtige Speicherungsvorrichtung 460 und eine Netzwerkschnittstelle 170, die verwendet wird, um die prozessorbasierte Vorrichtung 400 kommunikativ mit einer oder mehreren externen Vorrichtungen (z. B. einem Cloud-basierten Server) 490 über ein oder mehrere Netzwerke 480 zu koppeln. Die folgende Besprechung liefert eine kurze allgemeine Beschreibung der Komponenten, die die veranschaulichende prozessorbasierte Vorrichtung 400 bilden. Beispielhafte nicht beschränkende prozessorbasierte Vorrichtungen 400 können unter anderem Folgendes beinhalten: autonome Kraftfahrzeuge, semiautonome Kraftfahrzeuge, manuell gesteuerte Kraftfahrzeuge, Smartphones, Wearable-Computer, tragbare Rechenvorrichtungen, handgehaltene Rechenvorrichtungen, Desktop-Rechenvorrichtungen, Blade-Server-Vorrichtungen, Arbeitsstationen und ähnliches.
  • Die prozessorbasierte Vorrichtung 400 beinhaltet eine Prozessorschaltungsanordnung 410, die alle oder einen Teil der LFM-Schaltungsanordnung 120, der HDR-Stitching-Schaltungsanordnung 130 und/oder der 3A-Schaltungsanordnung 210 bereitstellen kann. Bei Ausführungsformen können manche oder alle der LFM-Schaltungsanordnung 120, der HDR-Stitching-Schaltungsanordnung 130 und/oder der 3A-Schaltungsanordnung 210 in der Form einer anwendungsspezifischen integrierten Schaltung (ASIC) oder ähnlicher Chiplet-basierter integrierten Schaltung vorliegen, die zusammen mit der Prozessorschaltungsanordnung 410 als ein System-on-Chip(SoC)- oder Mehrchipmodul(MCM)-Halbleitergehäuse angeordnet ist. Bei Ausführungsformen beinhaltet die prozessorbasierte Vorrichtung 400 eine GPU-Schaltungsanordnung 412, die alle oder einen Teil der LFM-Schaltungsanordnung 120, der HDR-Stitching-Schaltungsanordnung 130 und/oder der 3A-Schaltungsanordnung 210 bereitstellen kann. Bei Ausführungsformen können manche oder alle der LFM-Schaltungsanordnung 120, der HDR-Stitching-Schaltungsanordnung 130 und/oder der 3A-Schaltungsanordnung 210 in der Form einer anwendungsspezifischen integrierten Schaltung (ASIC) oder ähnlichen Chiplet-basierten integrierten Schaltung vorliegen, die zusammen mit der GPU-Schaltungsanordnung 412 als ein System-on-Chip(SoC)- oder Mehrchipmodul(MCM)-Halbleitergehäuse angeordnet ist.
  • Fachleute werden verstehen, dass die veranschaulichten Ausführungsformen sowie andere Ausführungsformen mit anderen prozessorbasierten Vorrichtungskonfigurationen umgesetzt werden können, einschließlich tragbarer elektronischer oder handgehaltener elektronischer Vorrichtungen, beispielsweise Smartphones, tragbaren Computern, Wearable-Computern, Verbraucherelektronik, Personal Computern („PCs“), Netzwerk-PCs, Minicomputern, Server-Blades, Mainframe-Computern und dergleichen. Die Prozessorschaltungsanordnung 410 kann eine beliebige Anzahl festverdrahteter oder konfigurierbarer Schaltungen beinhalten, von denen manche oder alle programmierbare und/oder konfigurierbare Kombinationen von elektronischen Komponenten, Halbleitervorrichtungen und/oder Logikelementen beinhalten können, die teilweise oder vollständig in einem PC, Server oder anderen Rechensystem angeordnet sind, der bzw. das in der Lage ist, maschinenlesbare Anweisungen auszuführen.
  • Die prozessorbasierte Vorrichtung 400 beinhaltet einen Bus oder ähnlichen Kommunikationslink 416, der verschiedene Systemkomponenten einschließlich der Prozessorschaltungsanordnung 410, der Grafikprozessorschaltungsanordnung 412, einer oder mehrerer drahtloser E/A-Schnittstellen 420, einer oder mehrerer drahtgebundener E/A-Schnittstellen 430, des Systemspeichers 440, einer oder mehrerer Speicherungsvorrichtungen 460 und/oder der Netzwerkschnittstellenschaltungsanordnung 470 kommunikativ koppelt und den Austausch von Informationen und/oder Daten zwischen diesen ermöglicht. Auf die prozessorbasierte Vorrichtung 400 kann sich hierin im Singular bezogen werden, dies soll aber nicht die Ausführungsformen auf eine einzelne prozessorbasierte Vorrichtung 400 beschränken, da es in gewissen Ausführungsformen mehr als eine prozessorbasierte Vorrichtung 400 geben kann, die eine beliebige Anzahl von kommunikativ gekoppelten, kolokalisierten oder entfernt vernetzten Schaltungen oder Vorrichtungen integriert, beinhaltet oder enthält.
  • Die Prozessorschaltungsanordnung 410 kann eine beliebige Anzahl, Art oder Kombination von gegenwärtig verfügbaren oder zukünftig entwickelten Vorrichtungen beinhalten, die in der Lage sind, maschinenlesbare Befehlssätze auszuführen. Die Prozessorschaltungsanordnung 410 kann unter anderem einen beliebigen gegenwärtigen oder zukünftig entwickelten Ein- oder Mehrkernprozessor oder -mikroprozessor beinhalten, wie etwa: ein/e oder mehrere Systems-on-Chip (SOCs); Zentralverarbeitungseinheiten (CPUs); Digitalsignalprozessoren (DSPs); Grafikverarbeitungseinheiten (GPUs); anwendungsspezifische integrierte Schaltungen (ASICs), programmierbare Logikeinheiten, feldprogrammierbare Gate-Arrays (FPGAs) und dergleichen. Sofern nicht anders beschrieben, sind die Konstruktion und der Betrieb der verschiedenen in 4 gezeigten Blöcke von herkömmlichem Design. Infolgedessen müssen derartige Blöcke hierin nicht ausführlicher beschrieben werden, da Fachleute sie verstehen werden. Der Bus 416, der zumindest manche der Komponenten der prozessorbasierten Vorrichtung 400 miteinander verbindet, kann beliebige gegenwärtig verfügbare oder zukünftig entwickelte serielle oder parallele Busstrukturen oder -architekturen einsetzen.
  • Der Systemspeicher 440 kann Nur-Lese-Speicher („ROM“) 442 und Direktzugriffspeicher („RAM“) 446 beinhalten. Ein Teil des ROM 442 kann zum Speichern oder anderweitigen Aufbewahren eines Basic-Input/Output-Systems („BIOS“) 444 verwendet werden. Das BIOS 444 stellt der prozessorbasierten Vorrichtung 400 Grundfunktionalität bereit, zum Beispiel durch Veranlassen, dass die Prozessorschaltungsanordnung 410 einen oder mehrere maschinenlesbare Befehlssätze 414 lädt und/oder ausführt. Bei Ausführungsformen veranlassen zumindest manche des einen oder der mehreren maschinenlesbaren Befehlssätze 414, dass zumindest einen Teil der Prozessorschaltungsanordnung 410 eine dedizierte, spezifische und spezielle Maschine bereitstellt, erstellt, erzeugt, dazu übergeht und/oder als solche fungiert, zum Beispiel ein Lichtflacker-Detektion-und-Analyse-System, das manche oder alle der LFM-Schaltungsanordnung 120, der HDR-Stitching-Schaltungsanordnung 130 und/oder der 3A-Schaltungsanordnung 210 beinhaltet.
  • Die prozessorbasierte Vorrichtung 400 kann mindestens eine drahtlose Eingabe/Ausgabe(E/A)-Schnittstelle 420 beinhalten. Die mindestens eine drahtlose E/A-Schnittstelle 420 kann kommunikativ mit einer oder mehreren physischen Ausgabevorrichtungen 422 gekoppelt sein (taktilen Vorrichtungen, Videoanzeigen, Audioausgabevorrichtungen, Hardcopy-Ausgabevorrichtungen usw.). Die mindestens eine drahtlose E/A-Schnittstelle 420 kann kommunikativ mit einer oder mehreren physischen Eingabevorrichtungen 424 gekoppelt sein (Zeigevorrichtungen, Touchscreens, Tastaturen, taktilen Vorrichtungen usw.). Die mindestens eine drahtlose E/A-Schnittstelle 420 kann eine beliebige gegenwärtig verfügbare oder zukünftig entwickelte drahtlose E/A-Schnittstelle beinhalten. Beispielhafte drahtlose E/A-Schnittstellen beinhalten unter anderem: BLUETOOTH®, Nahfeldkommunikation (NFC) oder ähnliches.
  • Die prozessorbasierte Vorrichtung 400 kann eine oder mehrere drahtgebundene Eingabe/Ausgabe(E/A)-Schnittstellen 430 beinhalten. Die mindestens eine drahtgebundene E/A-Schnittstelle 430 kann kommunikativ mit einer oder mehreren physischen Ausgabevorrichtungen 422 gekoppelt sein (taktilen Vorrichtungen, Videoanzeigen, Audioausgabevorrichtungen, Hardcopy-Ausgabevorrichtungen usw.). Die mindestens eine drahtgebundene E/A-Schnittstelle 430 kann kommunikativ mit einer oder mehreren physischen Eingabevorrichtungen 424 gekoppelt sein (Zeigevorrichtungen, Touchscreens, Tastaturen, taktilen Vorrichtungen usw.). Die drahtgebundene E/A-Schnittstelle 430 kann eine beliebige gegenwärtig verfügbare oder zukünftig entwickelte E/A-Schnittstelle beinhalten. Beispielhafte drahtgebundene E/A-Schnittstellen beinhalten unter anderem: Universal Serial Bus (USB), IEEE 1394 („FireWire“) und ähnliches.
  • Die prozessorbasierte Vorrichtung 400 kann eine oder mehrere kommunikativ gekoppelte, nichtflüchtige Datenspeicherungsvorrichtungen 460 beinhalten. Die Datenspeicherungsvorrichtungen 460 können ein oder mehrere Festplattenlaufwerke (HDDs) und/oder eine oder mehrere Festkörperspeicherungsvorrichtungen (SSDs) beinhalten. Die eine oder die mehreren Datenspeicherungsvorrichtungen 460 können beliebige gegenwärtige oder zukünftig entwickelte Speicherungsgeräte, Netzwerkspeicherungsvorrichtungen und/oder Systeme beinhalten. Nicht beschränkende Beispiele derartiger Datenspeicherungsvorrichtungen 460 können unter anderem beliebige gegenwärtige oder zukünftig entwickelte nichtflüchtige Speicherungsgeräte oder -vorrichtungen beinhalten, wie etwa eine oder mehrere magnetische Speicherungsvorrichtungen, eine oder mehrere optische Speicherungsvorrichtungen, eine oder mehrere elektroresistive Speicherungsvorrichtungen, eine oder mehrere molekulare Speicherungsvorrichtungen, eine oder mehrere Quantenspeicherungsvorrichtungen oder verschiedene Kombinationen davon. Bei manchen Implementierungen können die eine oder die mehreren Datenspeicherungsvorrichtungen 460 eine oder mehrere entfernbare Speicherungsvorrichtungen beinhalten, wie etwa ein oder mehrere Flash-Laufwerke, Flash-Speicher, Flash-Speicherungseinheiten oder ähnliche Geräte oder Vorrichtungen, die in der Lage sind, kommunikativ zu/von der prozessorbasierten Vorrichtung 400 gekoppelt und entkoppelt zu werden.
  • Die eine oder die mehreren Datenspeicherungsvorrichtungen 460 können Schnittstellen oder Steuerungen (nicht gezeigt) beinhalten, die die jeweilige Speicherungsvorrichtung oder das jeweilige Speicherungssystem mit dem Bus 416 koppeln. Die eine oder die mehreren Datenspeicherungsvorrichtungen 460 können maschinenlesbare Befehlssätze, Datenstrukturen, Programmmodule, Datenspeicher, Datenbanken, Logikstrukturen und/oder andere Daten speichern, aufbewahren oder anderweitig enthalten, die für die Prozessorschaltungsanordnung 410 und/oder die Grafikprozessorschaltungsanordnung 412 und/oder eine oder mehrere Anwendungen, die auf der oder durch die Prozessorschaltungsanordnung 410 und/oder die Grafikprozessorschaltungsanordnung 412 ausgeführt werden, nützlich sind. In manchen Fällen können die eine oder die mehreren Datenspeicherungsvorrichtungen 460 kommunikativ mit der Prozessorschaltungsanordnung 410 gekoppelt sein, zum Beispiel über den Bus 416 oder über eine oder mehrere drahtgebundene Kommunikationsschnittstellen 430 (z. B. Universal Serial Bus oder USB); eine oder mehrere drahtlose Kommunikationsschnittstellen 420 (z. B. Bluetooth®, Nahfeldkommunikation oder NFC); und/oder eine oder mehrere Netzwerkschnittstellen 470 (IEEE 802.3 oder Ethernet, IEEE 802.11 oder WiFi® usw.).
  • Maschinenlesbare Befehlssätze 414 und andere Programme, Anwendungen, Logiksätze und/oder Module können vollständig oder teilweise im Systemspeicher 440 gespeichert sein. Derartige Befehlssätze 414 können vollständig oder teilweise von der einen oder den mehreren Datenspeicherungsvorrichtungen 460 transferiert werden. Die Befehlssätze 414 können im Systemspeicher 440 vollständig oder teilweise während der Ausführung durch die Prozessorschaltungsanordnung 410 und/oder die Grafikprozessorschaltungsanordnung 412 geladen, gespeichert oder anderweitig behalten werden.
  • Die prozessorbasierte Vorrichtung 400 kann eine Leistungsverwaltungsschaltungsanordnung 450 beinhalten, die einen oder mehrere Betriebsaspekte der Energiespeichervorrichtung 452 steuert. Bei Ausführungsformen kann die Energiespeichervorrichtung 452 eine oder mehrere Primär- (d. h. nicht wiederaufladbar) oder Sekundärbatterien (d. h. wiederaufladbar) oder ähnliche Energiespeichervorrichtungen beinhalten. Bei Ausführungsformen kann die Energiespeichervorrichtung 452 einen oder mehrere Superkondensatoren oder Ultrakondensatoren beinhalten. Bei Ausführungsformen kann die Leistungsverwaltungsschaltungsanordnung 450 den Energiefluss von einer externen Leistungsquelle 454 zu der Energiespeichervorrichtung 452 und/oder der prozessorbasierten Vorrichtung 400 ändern, anpassen oder steuern. Die Leistungsquelle 454 kann unter anderem ein Solarenergiesystem, ein kommerzielles Stromnetz, einen tragbaren Generator, eine externe Energiespeichervorrichtung oder eine beliebige Kombination davon beinhalten.
  • Zur Zweckmäßigkeit sind die Prozessorschaltungsanordnung 410, die Grafikprozessorschaltungsanordnung 412, die drahtlose E/A-Schnittstelle 420, die drahtgebundene E/A-Schnittstelle 430, der Systemspeicher 440, die Leistungsverwaltungsschaltungsanordnung 450, die Speicherungsvorrichtung 460 und die Netzwerkschnittstelle 470 als über den Bus 416 kommunikativ miteinander gekoppelt veranschaulicht, wodurch eine Konnektivität zwischen den oben beschriebenen Komponenten bereitgestellt wird. Bei alternativen Ausführungsformen können die oben beschriebenen Komponenten auf eine andere Weise als die in 4 veranschaulichte kommunikativ gekoppelt sein. Beispielsweise können eine oder mehrere der oben beschriebenen Komponenten direkt mit anderen Komponenten gekoppelt sein oder können miteinander über eine oder mehrere Zwischenkomponenten (nicht gezeigt) gekoppelt sein. In einem anderen Beispiel können eine oder mehrere der oben beschriebenen Komponenten in die Prozessorschaltungsanordnung 410 und/oder die Grafikprozessorschaltungsanordnung 412 integriert sein. Bei manchen Ausführungsformen kann der gesamte oder ein Teil des Busses 416 weggelassen sein und die Komponenten sind unter Verwendung geeigneter drahtgebundener oder drahtloser Verbindungen direkt miteinander gekoppelt.
  • 5 ist ein Flussdiagramm hoher Ebene eines veranschaulichenden Verfahrens 500 zum Detektieren und Analysieren von Bildern gegenüber dem Vorhandensein von flackernden Pixeln, gemäß mindestens einer hierin beschriebenen Ausführungsform. Bei Ausführungsformen erhält die HDR-Bildsensorschaltungsanordnung 110 mehrere Bilder, die jeweils unter Verwendung ihrer eigenen Aufnahmeeinstellungen erfasst werden, wie etwa Belichtungszeit, Analog- und Digitalverstärkung usw. Verschiedene Objekte, wie etwa geschaltete Lichtquellen (z. B. LED-Lichtquellen), können die Erscheinung von Flackern in den erfassten Bildern liefern. Ein derartiges Flackern kann Sicherheits- oder Betriebsbedenken verursachen, wenn Kraftfahrzeug-Informations- und/oder Steuersysteme nicht in der Lage sind, den Inhalt der erfassten Bilder zweckmäßig zu detektieren oder zu analysieren. Das Verfahren 500 minimiert, mindert oder eliminiert sogar das Auftreten von Flackern in dem finalen gestitchten HDR-Bild, das durch die HDR-Stitching-Schaltungsanordnung 130 erzeugt wird, und fängt bei 502 an.
  • Bei 504 erzeugt die Bilderfassungssensorschaltungsanordnung 110 ein oder mehrere Ausgabesignale 112, die Informationen und/oder Daten beinhalten, die jedes von mehreren Bilder repräsentieren, die jeweils aus einer Anzahl von Pixeln und/oder Pixelblöcken zusammengestellt sind und jeweils unter Verwendung ihrer eigenen Aufnahmeeinstellungen erhalten werden, wie etwa der Belichtungszeit, Analog- und Digitalverstärkung usw. Jedes der in der Mehrfachbelichtungs-Bildaufnahme enthaltenen Bilder enthält Informationen und/oder Daten, die ein oder mehrere Objekte, wie etwa eine oder mehrere LED-Lichtquellen, repräsentieren, die im Sichtfeld 102 der Bilderfassungssensorschaltungsanordnung 110 angeordnet sind.
  • Bei 506 empfängt die LFM-Schaltungsanordnung 120 das Signal 112, das die Informationen und/oder Daten beinhaltet, die zumindest einen Teil der mehreren Bilder repräsentieren, die durch die Bilderfassungssensorschaltungsanordnung 110 erhalten oder anderweitig erfasst werden.
  • Bei 508 führt die LFM-Schaltungsanordnung 120 eine Mehrfachbelichtungs-Merkmalsextraktion unter Verwendung der empfangenen Daten durch, die die mehreren Bilder repräsentieren. Bei Ausführungsformen extrahiert die LFM-Schaltungsanordnung 120 Informationen und/oder Daten (z. B. Merkmale), die zum Durchführen einer Flackerdetektion und -analyse nützlich sind, aus zumindest einem Teil der durch die Bilderfassungssensorschaltungsanordnung 110 bereitgestellten Bilddaten.
  • Bei 510 bestimmt, berechnet oder erhält die LFM-Schaltungsanordnung 102 anderweitig einen oder mehrere Korrekturparameter und/oder Anpassungsparameter, um Werte anzupassen, die mit Pixeln und/oder Pixelgruppen, die durch die LFM-Schaltungsanordnung 120 bei 508 als flackernd identifiziert wurden, assoziiert sind. Die LFM-Schaltungsanordnung 120 erzeugt ein Ausgabesignal 122, das Informationen und/oder Daten beinhaltet, die die bestimmten Korrekturparameter und/oder Anpassungsparameter repräsentieren, um die Effekte von flackernden Pixeln und/oder Pixelblöcken in dem durch die HDR-Stitching-Schaltungsanordnung 130 erzeugten HDR-Bild zu minimieren, zu mindern, zu ändern, zu vermeiden oder zu eliminieren.
  • Bei 512 empfängt die HDR-Stitching-Schaltungsanordnung 130 das Ausgabesignal 122 von der LFM-Schaltungsanordnung 120 und verwendet die Korrekturfaktoren in dem Signal, um ein einzelnes HDR-Ausgabebild 132 unter Verwendung der Informationen und/oder Daten, die manche oder alle der Bilder repräsentieren, die in den durch die Bilderfassungssensorschaltungsanordnung 110 erzeugten Bilddaten enthalten sind, zu erzeugen. Das Verfahren 500 endet bei 514.
  • 6 ist ein Flussdiagramm hoher Ebene eines veranschaulichenden Verfahrens 600 zum Anpassen oder anderweitigen Korrigieren einer oder mehrerer Aufnahmeeinstellungen (z. B. Belichtungszeit, Analog- oder Digitalverstärkung) der Bilderfassungssensorschaltungsanordnung 110 für jedes der Bilder, die in den durch die Bilderfassungssensorschaltungsanordnung 110 erfassten Mehrfachbelichtungs-Bilddaten enthalten sind, gemäß mindestens einer hierin beschriebenen Ausführungsform. Bei Ausführungsformen analysiert die LFM-Schaltungsanordnung 120 die Mehrfachbelichtungs-Bilddaten und erzeugt ein Ausgabesignal 202, das mindestens eines von Folgenden beinhaltet: Belichtungskorrekturdaten und Verstärkungskorrekturdaten. Die LFM-Schaltungsanordnung 120 erzeugt ein Ausgabesignal 202, das die korrigierten Belichtungs- und/oder Verstärkungseinstellungen oder -werte beinhaltet, und kommuniziert das Ausgabesignal 202 zu der 3A-Schaltungsanordnung 210. Das Verfahren 600 beginnt bei 602.
  • Bei 604 erzeugt die Bilderfassungssensorschaltungsanordnung 110 ein oder mehrere Ausgabesignale 112, die Informationen und/oder Daten beinhalten, die jedes von mehreren Bildern repräsentieren, die jeweils aus einer Anzahl von Pixeln und/oder Pixelblöcken zusammengestellt sind und jeweils ihre eigenen Aufnahmeeinstellungen enthalten, wie etwa die Belichtungszeit, Analog- und Digitalverstärkung usw. Jedes der in den mehreren Bildern enthaltenen Bilder enthält Informationen und/oder Daten, die ein oder mehrere Objekte, wie etwa eine oder mehrere LED-Lichtquellen, repräsentieren, die im Sichtfeld 102 der Bilderfassungssensorschaltungsanordnung 110 angeordnet sind.
  • Bei 606 empfängt die LFM-Schaltungsanordnung 120 das Signal 112, das die Informationen und/oder Daten beinhaltet, die zumindest einen Teil der mehreren Bilder repräsentieren, die durch die Bilderfassungssensorschaltungsanordnung 110 erhalten oder anderweitig erfasst werden.
  • Bei 608 führt die LFM-Schaltungsanordnung 120 eine Mehrfachbelichtungs-Merkmalsextraktion unter Verwendung der empfangenen Daten durch, die die mehreren Bilder repräsentieren. Bei Ausführungsformen extrahiert die LFM-Schaltungsanordnung 120 Informationen und/oder Daten (z. B. Merkmale), die zum Durchführen einer Flackerdetektion und -analyse nützlich sind, aus zumindest einem Teil der Bilddaten, die durch die Bilderfassungssensorschaltungsanordnung 110 bereitgestellt werden.
  • Bei 610 bestimmt, berechnet, erfasst oder erhält die LFM-Schaltungsanordnung 120 anderweitig einen oder mehrere Bildaufnahmekorrekturwerte, die sich auf die Belichtungszeit- und Verstärkungseinstellungen beziehen, um die Bildaufnahmeeinstellungen der Bilderfassungssensorschaltungsanordnung 110 anzupassen, um den Effekt von flackernden Pixeln und/oder Pixelblöcken in den mehreren Bildern zu minimieren, zu mindern, anzupassen, zu vermeiden und/oder zu eliminieren. Die LFM-Schaltungsanordnung 120 erzeugt ein Ausgabesignal 202, das Informationen und/oder Daten beinhaltet, die die bestimmten korrigierten Belichtungs- und/oder Verstärkungswerte repräsentieren, um die Effekte von flackernden Pixeln und/oder Pixelblöcken in dem durch die HDR-Stitching-Schaltungsanordnung 130 erzeugten HDR-Bild zu minimieren, zu mindern, zu ändern oder zu eliminieren.
  • Bei 612 empfängt die 3A-Schaltungsanordnung 210 das Ausgabesignal 202 von der LFM-Schaltungsanordnung 120 und verwendet die in dem Signal enthaltenen Korrekturfaktoren, um die Belichtung und/oder Verstärkung von zumindest einem Teil der mehreren Bilder anzupassen, die durch die Bilderfassungssensorschaltungsanordnung 110 erhalten werden. Das Verfahren 600 endet bei 614.
  • 7 ist ein Flussdiagramm hoher Ebene eines veranschaulichenden Verfahrens 700 zum Korrigieren, Ändern und/oder Anpassen der Aufnahmeeinstellungen, wie etwa der Belichtungszeit und verschiedener Verstärkungen, eines oder mehrerer der Bilder, die durch die Bilderfassungssensorschaltungsanordnung 110 gesammelt oder anderweitig erfasst werden, gemäß mindestens einer hierin beschriebenen Ausführungsform. Das Verfahren 700 kann in Verbindung mit den Verfahren 500 und/oder 600 verwendet werden, die oben bezüglich der 5 und 6 ausführlich beschrieben sind. Das Verfahren 700 beginnt bei 702.
  • Bei 704 bestimmt, berechnet, extrahiert und/oder erhält die LFM-Schaltungsanordnung 120 ein oder mehrere Merkmale, die mit jedem als flackernd identifizierten Pixel und/oder Pixelblock assoziiert sind.
  • Bei 706 vergleicht die LFM-Schaltungsanordnung 120 die bestimmten einen oder mehreren extrahierten Merkmale mit einem oder mehreren definierten Schwellenwerten.
  • Bei 708 bestimmt die LFM-Schaltungsanordnung 120 unter Verwendung der bestimmten einen oder mehreren extrahierten Merkmale und des einen oder der mehreren definierten Schwellenwerte einen oder mehrere Belichtungskorrekturwerte zum Anwenden auf eines oder mehrere der mehreren durch die Bilderfassungssensorschaltungsanordnung 110 erzeugten Bilder.
  • Bei 710 erzeugt die LFM-Schaltungsanordnung 120 ein oder mehrere Ausgabesignale 202, die Informationen und/oder Daten beinhalten, die den einen oder die mehreren bestimmten Belichtungskorrekturwerte repräsentieren. Die LFM-Schaltungsanordnung 120 kommuniziert das eine oder die mehreren Ausgabesignale 202 zu der Bilderfassungssensorschaltungsanordnung 110. Das Verfahren endet bei 712.
  • Obwohl die 5, 6 und 7 verschiedene Operationen gemäß einer oder mehreren Ausführungsformen veranschaulichen, versteht es sich, dass nicht alle der in den 5, 6 und 7 dargestellten Operationen für andere Ausführungsformen notwendig sind. In der Tat wird hierin vollständig in Betracht gezogen, dass bei anderen Ausführungsformen der vorliegenden Offenbarung die in den 5, 6 und 7 dargestellten Operationen und/oder andere hierin beschriebene Operationen auf eine Art und Weise kombiniert werden können, die nicht spezifisch in irgendwelchen der Zeichnungen gezeigt, aber dennoch vollständig mit der vorliegenden Offenbarung konsistent ist. Somit sollen Ansprüche, die auf Merkmale und/oder Operationen ausgerichtet sind, die nicht genau in einer Zeichnung gezeigt sind, als im Schutzumfang und Inhalt der vorliegenden Offenbarung enthalten erachtet werden.
  • Wie in dieser Anmeldung und in den Ansprüchen verwendet, kann eine Auflistung von Elementen, die durch den Begriff „und/oder“ verbunden sind, eine beliebige Kombination der aufgelisteten Elemente bedeuten. Beispielweise kann der Ausdruck „A, B und/oder C“ A; B; C; A und B; A und C; B und C; oder A, B und C bedeuten. Wie in der dieser Anmeldung und in den Ansprüchen verwendet, kann eine Auflistung von Elementen, die durch den Begriff „mindestens eines von“ verbunden sind, eine beliebige Kombination der aufgelisteten Elemente bedeuten. Beispielsweise können die Ausdrücke „mindestens eines von A, B oder C“ A; B; C; A und B; A und C; B und C; oder A, B und C bedeuten.
  • Wie in einer beliebigen Ausführungsform hierin verwendet, können sich die Begriffe „System“ oder „Modul“ zum Beispiel auf Software, Firmware und/oder eine Schaltungsanordnung beziehen, die dazu ausgelegt ist, beliebige der vorgenannten Operationen durchzuführen. Software kann als ein Softwarepaket, Code, Anweisungen, Befehlssätze und/oder Daten umgesetzt sein, die auf nichtflüchtigen computerlesbaren Speicherungsmedien aufgezeichnet sind. Firmware kann als Code, Anweisungen oder Befehlssätze und/oder Daten umgesetzt sein, die in Speichervorrichtungen festcodiert (z. B. beständig) sind.
  • Wie in einer beliebigen Ausführungsform hierin verwendet, kann der Begriff „Schaltungsanordnung“ zum Beispiel einzeln oder in einer beliebigen Kombination eine festverdrahtete Schaltungsanordnung, eine programmierbare Schaltungsanordnung wie etwa Computerprozessoren, die einen oder mehrere einzelne Anweisungsverarbeitungskerne umfassen, eine Zustandsmaschinen-Schaltungsanordnung und/oder Firmware, die Anweisungen speichert, die durch eine programmierbare Schaltungsanordnung oder zukünftige Rechenparadigmen ausgeführt werden, einschließlich zum Beispiel massiver Parallelismus, Analog- oder Quantenberechnung, Hardwareausführungsformen von Beschleunigern wie etwa Neuronalnetzprozessoren und Nicht-Silizium-Implementierungen des Obigen. Die Schaltungsanordnung kann kollektiv oder einzeln als eine Schaltungsanordnung umgesetzt sein, die Teil eines größeren Systems bildet, zum Beispiel einer integrierten Schaltung (IC), eines System-on-Chip (SoC), Desktop-Computern, Laptop-Computern, Tablet-Computern, Servern, Smartphones usw.
  • Beliebige der hierin beschriebenen Operationen können in einem System implementiert werden, das ein oder mehrere Medien (z. B. nichtflüchtige Speicherungsmedien) mit darin einzeln oder in Kombination gespeicherten Anweisungen beinhaltet, die bei Ausführung durch einen oder mehrere Prozessoren die Verfahren durchführen. Hier kann der Prozessor zum Beispiel eine Server-CPU, eine Mobilvorrichtung-CPU und/oder eine andere programmierbare Schaltungsanordnung beinhalten. Es wird auch beabsichtigt, dass hierin beschriebene Operationen über mehrere physische Vorrichtungen verteilt sein können, wie etwa Verarbeitungsstrukturen an mehr als einem unterschiedlichen physischen Ort. Das Speicherungsmedium kann einen beliebigen Typ von greifbarem Medium beinhalten, zum Beispiel einen beliebigen Typ von Platte einschließlich Festplatten, Disketten, optischen Platten, Compact Disk-Read Only Memories (CD-ROMs), Compact Disk Rewritables (CD-RWs) und magnetooptischen Platten, Halbleitervorrichtungen wie etwa Nur-Lese-Speichern (ROMs), Direktzugriffspeichern (RAMs) wie etwa dynamischen und statischen RAMs, löschbaren programmierbaren Nur-Lese-Speichern (EPROMs), elektrisch löschbaren programmierbaren Nur-Lese-Speichern (EEPROMs), Flash-Speichern, Festkörperplatten (SSDs), eingebetteten Multimedia-Karten (eMMCs), sicheren Digital-Eingabe/Ausgabe(SDIO)-Karten, magnetischen oder optischen Karten oder einen beliebigen Typ von Medien, die sich zum Speichern elektronischer Anweisungen eignen. Andere Ausführungsformen können als Software implementiert werden, die durch eine programmierbare Steuervorrichtung ausgeführt wird.
  • Somit ist die vorliegende Offenbarung auf Systeme und Verfahren zum Detektieren und Minimieren des Effekts von Flackern in Bildern, die unter Verwendung einer Bilderfassungssensorschaltungsanordnung erhalten werden, ausgerichtet. Eine Lichtflackerminderung(LFM)-Schaltungsanordnung empfängt ein Signal, das Daten enthält, die mehrere Bilder repräsentieren. Mehrfachmerkmal-Extraktionsschaltungen in der LFM-Schaltungsanordnung extrahieren Daten, die ein oder mehrere Merkmale repräsentieren, aus manchen oder allen der in den mehreren Bildern enthaltenen Pixeln. Lichtflacker-Detektion-und-Analyse-Schaltungen in der LFM-Schaltungsanordnung detektieren flackernde Pixel in den mehreren Bildern. Belichtungsindex-Umwandlungsschaltungen in der LFM-Schaltungsanordnung bestimmen eine oder mehrere Ausgabekorrekturen zum Anwenden auf die mehreren Bilder, während die Bilder gestitcht werden, um ein einzelnes HDR-Bild zu bilden, in dem flackernde Pixel minimiert, gemindert oder eliminiert sind.
  • Die folgenden Beispiele betreffen weitere Ausführungsformen. Die folgenden Beispiele der vorliegenden Offenbarung können ein Gegenstandsmaterial wie etwa eine Vorrichtung, ein Verfahren, mindestens ein maschinenlesbares Medium zum Speichern von Anweisungen, die bei ihrer Ausführung veranlassen, dass eine Maschine Handlungen basierend auf dem Verfahren durchführt, Mittel zum Durchführen von Handlungen basierend auf dem Verfahren und/oder ein System zum Detektieren und Minimieren des Effekts von Flackern in Mehrfachbelichtungs-Datenaufnahmen, die unter Verwendung einer Bilderfassungssensorschaltungsanordnung erhalten werden, umfassen.
  • Gemäß Beispiel 1 ist ein Bilderfassungssystem bereitgestellt. Das System kann Folgendes beinhalten: eine Hochdynamikbereich(HDR)-Sensorschaltungsanordnung zum Erhalten von Mehrfachbelichtungs-Bilddaten für jedes von mehreren Pixeln in einer Bildaufnahme; eine Lichtflackerminderung(LFM)-Schaltungsanordnung zum: Empfangen der Bilddaten vom Bilderfassungssensor; Durchführen einer Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Pixeln enthaltene Pixel zu identifizieren, die Flackern zeigen; Bestimmen, auf einer Pro-Pixel-Basis, eines oder mehrerer Korrekturfaktoren, um den Beitrag von Pixeln, die als Flackern zeigend identifiziert werden, im HDR-Stitching-Prozess zu minimieren, zu mindern, zu reduzieren, zu vermeiden oder zu eliminieren; eine HDR-Stitching-Schaltungsanordnung zum: adaptiven Erzeugen, auf einer Pro-Pixel-Basis, des Anzeigebildes unter Verwendung der vom Bilderfassungssensor empfangenen Bilddaten und des einen oder der mehreren von der LFM-Schaltungsanordnung empfangenen Korrekturfaktoren.
  • Beispiel 2 kann Elemente von Beispiel 1 beinhalten, und das System kann zusätzlich Folgendes beinhalten: eine 3A(Autobelichtung-Autofokus-Auto-Weißabgleich)-Anpassungsschaltungsanordnung, die mit der LFM-Schaltungsanordnung und der Bilderfassungssensorschaltungsanordnung gekoppelt ist, wobei die 3A-Schaltungsanordnung ausgelegt ist zum: Anpassen einer Autobelichtungseinstellung der Bilderfassungssensorschaltungsanordnung unter Verwendung von Informationen, die von der LFM-Schaltungsanordnung empfangen werden und einen oder mehrere Autobelichtungsparameter angeben.
  • Beispiel 3 kann Elemente eines beliebigen der Beispiele 1 oder 2 beinhalten, wobei die LFM-Schaltungsanordnung ferner ausgelegt ist zum, für jedes als flackernd identifizierte Pixel, Bestimmen (Extrahieren) eines oder mehrerer Merkmale, die mit dem jeweiligen Pixel assoziiert sind; Vergleichen des einen oder der mehreren extrahierten Merkmale mit einem oder mehreren definierten Schwellenwerten; Bestimmen eines Belichtungskorrekturwerts unter Verwendung des einen oder der mehreren Ausgabewerte und des einen oder der mehreren definierten Schwellenwerte; und Kommunizieren des Belichtungskorrekturwerts zu der Bilderfassungssensorschaltungsanordnung.
  • Beispiel 4 kann Elemente eines beliebigen der Beispiele 1 bis 3 beinhalten, wobei das eine oder die mehreren extrahierten Merkmale einen Durchschnittswert und/oder einen gewichteten Durchschnittswert und/oder einen Maximalwert umfassen.
  • Beispiel 5 kann Elemente eines beliebigen der Beispiele 1 bis 4 beinhalten, wobei der eine oder die mehreren definierten Schwellenwerte einen Sensorsättigungswert und/oder einen skalierten oder anderweitig modifizierten Wert, der einen definierten Sensorsättigungswert repräsentiert, beinhalten.
  • Beispiel 6 kann Elemente eines beliebigen der Beispiele 1 bis 5 beinhalten, wobei zum Bestimmen eines Belichtungskorrekturwerts unter Verwendung des einen oder der mehreren extrahierten Merkmale und des einen oder der mehreren definierten Schwellenwerte, die 3A-Anpassungsschaltungsanordnung ferner ausgelegt ist zum: Umwandeln einer Differenz zwischen dem einen oder den mehreren extrahierten Merkmalen und/oder eines Verhältnisses des einen oder der mehreren extrahierten Merkmale, um den Belichtungskorrekturwert unter Verwendung des einen oder der mehreren definierten Schwellenwerte bereitzustellen.
  • Beispiel 7 kann Elemente eines beliebigen der Beispiele 1 bis 6 beinhalten, wobei zum Durchführen einer Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Pixeln enthaltene Pixel zu identifizieren, die Flackern zeigen, die LFM-Schaltungsanordnung ferner ausgelegt ist zum: Durchführen einer Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Pixeln enthaltene Pixel, die Flackern zeigen, unter Verwendung von mindestens einem der Folgenden zu identifizieren: eines Pixelwerts, der mit dem jeweiligen Pixel assoziiert ist, oder Luminanzkomponenten, die mit dem jeweiligen Pixel assoziiert sind.
  • Beispiel 8 kann Elemente eines beliebigen der Beispiele 1 bis 7 beinhalten, wobei zum Durchführen einer Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Pixeln enthaltene Pixel zu identifizieren, die Flackern zeigen, die LFM-Schaltungsanordnung ausgelegt ist zum: Vergleichen eines oder mehrerer Mehrfachbelichtungs-Merkmale, die in einem oder mehreren Paaren von durch den Bilderfassungssensor erhaltenen Bildern enthalten und gegenüber Variationen in Aufnahmeeinstellungen normiert sind, für jedes der Bilder, die in jedem des einen oder der mehreren Paare von Bildern enthalten sind.
  • Beispiel 9 kann Elemente eines beliebigen der Beispiele 1 bis 8 beinhalten, wobei zum Durchführen einer Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Pixeln enthaltene Pixel zu identifizieren, die Flackern zeigen, die LFM-Schaltungsanordnung ausgelegt ist zum: Vergleichen eines oder mehrerer Mehrfachbelichtungs-Merkmale, die in einem oder mehreren Paaren von durch den Bilderfassungssensor erhaltenen Bildern enthalten sind, durch Bestimmen einer Differenz zwischen einer ersten Komponente und einer zweiten Komponente unter Verwendung von mindestens einem von: einem oder mehreren Skalierungsfaktoren oder einem oder mehreren Offsetfaktoren.
  • Beispiel 10 kann Elemente eines beliebigen der Beispiele 1 bis 9 beinhalten, wobei zum Durchführen einer Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Pixeln enthaltene Pixel zu identifizieren, die Flackern zeigen, die LFM-Schaltungsanordnung ausgelegt ist zum: Bestimmen eines Verhältnisses zwischen mindestens einem von Folgendem: Pixelwerten, die mit jedem jeweiligen Pixel assoziiert sind, oder Luminanzkomponenten, die mit jedem jeweiligen Pixel assoziiert sind, um Flackern zu detektieren.
  • Gemäß Beispiel. 11 ist ein Bilderfassungsverfahren bereitgestellt. Das Verfahren kann Folgendes beinhalten: Erhalten, über eine Hochdynamikbereich(HDR)-Sensorschaltungsanordnung, von Mehrfachbelichtungs-Bilddaten für jedes von mehreren Pixeln, die in einer Bildaufnahme enthalten sind; Empfangen, durch eine Lichtflackerminderung(LFM)-Schaltungsanordnung, der Mehrfachbelichtungs-Bilddaten vom Bilderfassungssensor; Durchführen, durch die LFM-Schaltungsanordnung, einer Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Pixeln enthaltene Pixel zu identifizieren, die Flackern zeigen; Bestimmen, durch die LFM-Schaltungsanordnung auf einer Pro-Pixel-Basis, eines oder mehrerer Korrekturfaktoren, um die Ausgabe von Pixeln, die als Flackern zeigend identifiziert werden, anzupassen; und adaptives Erzeugen, durch eine HDR-Stitching-Schaltungsanordnung, des HDR-Bildes unter Verwendung der vom Bilderfassungssensor empfangenen Bilddaten und des einen oder der mehreren von der LFM-Schaltungsanordnung empfangenen Korrekturfaktoren.
  • Beispiel 12 kann Elemente von Beispiel 11 beinhalten, und das Verfahren kann zusätzlich Folgendes beinhalten: Anpassen, durch eine 3A(Autobelichtung-Autofokus-Auto-Weißabgleich)-Anpassungsschaltungsanordnung, die mit der LFM-Schaltungsanordnung und der Bilderfassungssensorschaltungsanordnung gekoppelt ist, einer Autobelichtungseinstellung der Bilderfassungssensorschaltungsanordnung unter Verwendung von Informationen, die von der LFM-Schaltungsanordnung empfangen werden und einen oder mehrere Autobelichtungsparameter angeben.
  • Beispiel 13 kann Elemente eines beliebigen der Beispiele 11 oder 12 beinhalten, und das Verfahren kann ferner Folgendes beinhalten: Bestimmen, durch die LFM-Schaltungsanordnung, eines oder mehrerer extrahierter Merkmale, die mit jedem als flackernd identifizierten Pixel assoziiert sind; Vergleichen, durch die 3A-Anpassungsschaltungsanordnung, des einen oder der mehreren extrahierten Merkmale mit einem oder mehreren definierten Schwellenwerten; Bestimmen, durch die 3A-Anpassungsschaltungsanordnung, eines Belichtungskorrekturwerts unter Verwendung des einen oder der mehreren Ausgabewerte und des einen oder der mehreren definierten Schwellenwerte; und Kommunizieren, durch die 3A-Anpassungsschaltungsanordnung, des Belichtungskorrekturwerts zu der Bilderfassungssensorschaltungsanordnung.
  • Beispiel 14 kann Elemente eines beliebigen der Beispiele 11 bis 13 beinhalten, wobei das Vergleichen des einen oder der mehreren extrahierten Merkmale mit dem einen oder den mehreren definierten Schwellenwerten Folgendes umfasst: Vergleichen, durch die 3A-Anpassungsschaltungsanordnung, eines Durchschnittswerts und/oder eines gewichteten Durchschnittswerts und/oder eines Maximalwerts mit dem einen oder den mehreren definierten Schwellenwerten.
  • Beispiel 15 kann Elemente eines beliebigen der Beispiele 11 bis 14 beinhalten, wobei das Bestimmen eines Belichtungskorrekturwerts unter Verwendung des einen oder der mehreren extrahierten Merkmale und des einen oder der mehreren definierten Schwellenwerte Folgendes umfasst: Verwenden, durch die 3A-Anpassungsschaltungsanordnung, eines Sensorsättigungswerts und/oder eines skalierten oder anderweitig modifizierten Werts, der einen definierten Sensorsättigungswert repräsentiert, als den einen oder die mehreren definierten Schwellenwerte.
  • Beispiel 16 kann Elemente eines beliebigen der Beispiele 11 bis 15 beinhalten, wobei das Bestimmen eines Belichtungskorrekturwerts unter Verwendung des einen oder der mehreren extrahierten Merkmale und des einen oder der mehreren definierten Schwellenwerte Folgendes umfasst: Umwandeln, durch die 3A-Anpassungsschaltungsanordnung, einer Differenz zwischen dem einen oder den mehreren extrahierten Merkmalen und/oder eines Verhältnisses des einen oder der mehreren extrahierten Merkmale, um den Belichtungskorrekturwert unter Verwendung des einen oder der mehreren definierten Schwellenwerte bereitzustellen.
  • Beispiel 17 kann Elemente eines beliebigen der Beispiele 11 bis 16 beinhalten, wobei das Durchführen einer Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Pixeln enthaltene Pixel zu identifizieren, die Flackern zeigen, ferner Folgendes umfasst: Durchführen, durch die LFM-Schaltungsanordnung, einer Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Pixeln enthaltene Pixel, die Flackern zeigen, unter Verwendung eines Pixelwerts, der mit dem jeweiligen Pixel assoziiert ist, und/oder Luminanzkomponenten, die mit dem jeweiligen Pixel assoziiert sind, zu identifizieren.
  • Beispiel 18 kann Elemente eines beliebigen der Beispiele 11 bis 17 beinhalten, wobei das Durchführen einer Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Pixeln enthaltene Pixel zu identifizieren, die Flackern zeigen, ferner Folgendes umfasst: Vergleichen, durch die LFM-Schaltungsanordnung, eines oder mehrerer Mehrfachbelichtungs-Merkmale, die in einem oder mehreren Paaren von durch den Bilderfassungssensor erhaltenen Bildern enthalten und gegenüber Variationen in Aufnahmeeinstellungen normiert sind, für jedes der Bilder, die in jedem des einen oder der mehreren Paare von Bildern enthalten sind.
  • Beispiel 19 kann Elemente eines beliebigen der Beispiele 11 bis 18 beinhalten, wobei das Durchführen einer Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Pixeln enthaltene Pixel zu identifizieren, die Flackern zeigen, ferner Folgendes umfasst: Vergleichen, durch die LFM-Schaltungsanordnung, eines oder mehrerer Mehrfachbelichtungs-Merkmale, die in einem oder mehreren Paaren von durch den Bilderfassungssensor erhaltenen Bildern enthalten sind, durch Bestimmen einer Differenz zwischen einer ersten Komponente und einer zweiten Komponente unter Verwendung eines oder mehrerer Skalierungsfaktoren und/oder eines oder mehrerer Offsetfaktoren.
  • Beispiel 20 kann Elemente eines beliebigen der Beispiele 11 bis 19 beinhalten, wobei das Durchführen einer Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Pixeln enthaltene Pixel zu identifizieren, die Flackern zeigen, ferner Folgendes umfasst: Bestimmen, durch die LFM-Schaltungsanordnung, eines Verhältnisses zwischen Pixelwerten, die mit jedem jeweiligen Pixel assoziiert sind, und/oder Luminanzkomponenten, die mit jedem jeweiligen Pixel assoziiert sind, um Flackern zu detektieren.
  • Gemäß Beispiel 21 ist eine nichtflüchtige Speicherungsvorrichtung bereitgestellt. Die nichtflüchtige Speicherungsvorrichtung kann Anweisungen beinhalten, die bei Ausführung durch eine Lichtflackerminderung(LFM)-Schaltungsanordnung veranlassen, dass die LFM-Schaltungsanordnung Folgendes ausführt: Empfangen, von einer Hochdynamikbereich(HDR)-Sensorschaltungsanordnung, von Mehrfachbelichtungs-Bilddaten für jedes von mehreren Pixeln, die in einer Bildaufnahme enthalten sind; Durchführen einer Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Pixeln enthaltene Pixel zu identifizieren, die Flackern zeigen; Bestimmen, auf einer Pro-Pixel-Basis, eines oder mehrerer Korrekturfaktoren, um die Ausgabe von Pixeln, die als Flackern zeigend identifiziert werden, anzupassen; und Veranlassen, dass eine HDR-Stitching-Schaltungsanordnung Folgendes ausführt: adaptives Erzeugen, auf einer Pro-Pixel-Basis, des Anzeigebildes unter Verwendung der vom Bilderfassungssensor empfangenen Bilddaten und des einen oder der mehreren von der LFM-Schaltungsanordnung empfangenen Korrekturfaktoren.
  • Beispiel 22 kann Elemente von Beispiel 21 beinhalten, wobei die Anweisungen die LFM-Schaltungsanordnung ferner veranlassen zum: Veranlassen, dass eine 3A(Autobelichtung-Autofokus-Auto-Weißabgleich)-Anpassungsschaltungsanordnung eine Autobelichtungseinstellung der Bilderfassungssensorschaltungsanordnung unter Verwendung von Informationen, die von der LFM-Schaltungsanordnung empfangen werden und einen oder mehrere Autobelichtungsparameter angeben, anpasst.
  • Beispiel 23 kann Elemente eines beliebigen der Beispiele 21 oder 22 beinhalten, wobei die Anweisungen die LFM-Schaltungsanordnung ferner veranlassen zum: Bestimmen (Extrahieren) eines oder mehrerer Merkmale, die mit jedem als flackernd identifizierten Pixel assoziiert sind; Veranlassen, dass die 3A-Anpassungsschaltungsanordnung das eine oder die mehreren extrahierten Merkmale mit einem oder mehreren definierten Schwellenwerten vergleicht; Veranlassen, dass die 3A-Anpassungsschaltungsanordnung einen Belichtungskorrekturwert unter Verwendung des einen oder der mehreren extrahierten Merkmale und des einen oder der mehreren definierten Schwellenwerte bestimmt; und Veranlassen, dass die 3A-Anpassungsschaltungsanordnung den Belichtungskorrekturwert zu der Bilderfassungssensorschaltungsanordnung kommuniziert.
  • Beispiel 24 kann Elemente eines beliebigen der Beispiele 21 bis 23 beinhalten, wobei die Anweisungen, die veranlassen, dass die LFM-Schaltungsanordnung veranlasst, dass die 3A-Anpassungsschaltungsanordnung den einen oder die mehreren extrahierten Merkmale mit einem oder mehreren definierten Schwellenwerten vergleicht, die LFM-Schaltungsanordnung ferner veranlassen zum: Veranlassen, dass die 3A-Anpassungsschaltungsanordnung einen Durchschnittswert und/oder einen gewichteten Durchschnittswert und/oder einen Maximalwert mit dem einen oder den mehreren definierten Schwellenwerten vergleicht.
  • Beispiel 25 kann Elemente eines beliebigen der Beispiele 21 bis 24 beinhalten, wobei die Anweisungen, die veranlassen, dass die LFM-Schaltungsanordnung veranlasst, dass die 3A-Anpassungsschaltungsanordung einen Belichtungskorrekturwert unter Verwendung des einen oder der mehreren extrahierten Merkmale und des einen oder der mehreren definierten Schwellenwerte bestimmt, die LFM-Schaltungsanordnung ferner veranlassen zum: Veranlassen, dass die 3A-Anpassungsschaltungsanordnung den Belichtungskorrekturwert unter Verwendung eines oder mehrerer definierter Schwellenwerte bestimmt, die einen Sensorsättigungswert und/oder einen skalierten oder anderweitig modifizierten Wert, der einen definierten Sensorsättigungswert repräsentiert, beinhalten.
  • Beispiel 26 kann Elemente eines beliebigen der Beispiele 21 bis 25 beinhalten, wobei die Anweisungen, die veranlassen, dass die LFM-Schaltungsanordnung veranlasst, dass die 3A-Anpassungsschaltungsanordnung einen Belichtungskorrekturwert unter Verwendung des einen oder der mehreren extrahierten Merkmale und des einen oder der mehreren definierten Schwellenwerte bestimmt, die LFM-Schaltungsanordnung ferner veranlassen zum: Veranlassen, dass die 3A-Anpassungsschaltungsanordnung zu dem einen oder den mehreren definierten Schwellenwerten umwandelt, um den Belichtungskorrekturwert unter Verwendung des einen oder der mehreren definierten Schwellenwerte und einer Differenz zwischen dem einen oder den mehreren extrahierten Merkmalen und/oder eines Verhältnisses des einen oder der mehreren extrahierten Merkmale bereitzustellen.
  • Beispiel 27 kann Elemente eines beliebigen der Beispiele 21 bis 26 beinhalten, wobei die Anweisungen, die veranlassen, dass die LFM-Schaltungsanordnung die Mehrfachbelichtungs-Merkmalsextraktion durchführt, um in den mehreren Pixeln enthaltene Pixel zu identifizieren, die Flackern zeigen, die LFM-Schaltungsanordnung ferner veranlassen zum: Durchführen der Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Pixeln enthaltene Pixel, die Flackern zeigen, unter Verwendung eines Pixelwerts, der mit dem jeweiligen Pixel assoziiert ist, und/oder einer oder mehrerer Luminanzkomponenten, die mit dem jeweiligen Pixel assoziiert sind, zu identifizieren.
  • Beispiel 28 kann Elemente eines beliebigen der Beispiele 21 bis 27 beinhalten, wobei die Anweisungen, die veranlassen, dass die LFM-Schaltungsanordnung die Mehrfachbelichtungs-Merkmalsextraktion durchführt, um in den mehreren Pixeln enthaltene Pixel zu identifizieren, die Flackern zeigen, die LFM-Schaltungsanordnung ferner veranlassen zum: Vergleichen eines oder mehrerer Mehrfachbelichtungs-Merkmale, die in einem oder mehreren Paaren von durch den Bilderfassungssensor erhaltenen Bildern enthalten und gegenüber Variationen in Aufnahmeeinstellungen normiert sind, für jedes der Bilder, die in jedem des einen oder der mehreren Paare von Bildern enthalten sind.
  • Beispiel 29 kann Elemente eines beliebigen der Beispiele 21 bis 28 beinhalten, wobei die Anweisungen, die veranlassen, dass die LFM-Schaltungsanordnung die Mehrfachbelichtungs-Merkmalsextraktion durchführt, um in den mehreren Pixeln enthaltene Pixel zu identifizieren, die Flackern zeigen, die LFM-Schaltungsanordnung ferner veranlassen zum: Vergleichen des einen oder der mehreren Mehrfachbelichtungs-Merkmale, die in einem oder mehreren Paaren von durch den Bilderfassungssensor erhaltenen Bildern enthalten sind, durch Bestimmen einer Differenz zwischen einer ersten Komponente und einer zweiten Komponente unter Verwendung eines oder mehrerer Skalierungsfaktoren und/oder eines oder mehrerer Offsetfaktoren.
  • Beispiel 30 kann Elemente eines beliebigen der Beispiele 21 bis 29 beinhalten, wobei die Anweisungen, die veranlassen, dass die LFM-Schaltungsanordnung die Mehrfachbelichtungs-Merkmalsextraktion durchführt, um in den mehreren Pixeln enthaltene Pixel zu identifizieren, die Flackern zeigen, die LFM-Schaltungsanordnung ferner veranlassen zum: Bestimmen eines Verhältnisses zwischen Pixelwerten, die mit jedem jeweiligen Pixel assoziiert sind, und/oder Luminanzkomponenten, die mit jedem jeweiligen Pixel assoziiert sind, um Flackern zu detektieren.
  • Gemäß Beispiel 31 ist ein Bilderfassungssystem bereitgestellt. Das System kann Folgendes beinhalten: Mittel zum Erhalten von Mehrfachbelichtungs-Bilddaten für jedes von mehreren Pixeln, die in einer Bildaufnahme enthalten sind; Mittel zum Empfangen der Mehrfachbelichtungs-Bilddaten vom Bilderfassungssensor; Mittel zum Durchführen einer Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Pixeln enthaltene Pixel zu identifizieren, die Flackern zeigen; Mittel zum Bestimmen, auf einer Pro-Pixel-Basis, eines oder mehrerer Korrekturfaktoren, um den Beitrag von Pixeln, die als Flackern zeigend identifiziert werden, zu minimieren, zu mindern, zu vermeiden, zu reduzieren oder zu eliminieren; und Mittel zum adaptiven Erzeugen, auf einer Pro-Pixel-Basis, des Anzeigebildes unter Verwendung der vom Bilderfassungssensor empfangenen Bilddaten und des einen oder der mehreren von der Lichtflackerminderung-Schaltungsanordnung empfangenen Korrekturfaktoren.
  • Beispiel 32 kann Elemente von Beispiel 31 beinhalten, und das System kann ferner Folgendes beinhalten: Mittel zum Anpassen einer Autobelichtungseinstellung der Bilderfassungssensorschaltungsanordnung unter Verwendung von Informationen, die von der LFM-Schaltungsanordnung empfangen werden und einen oder mehrere Autobelichtungsparameter angeben.
  • Beispiel 33 kann Elemente eines beliebigen der Beispiele 31 oder 32 beinhalten, und das System kann ferner Folgendes beinhalten: Mittel zum Bestimmen (Extrahieren) eines oder mehrerer Merkmale, die mit dem als flackernd identifizierten Pixel assoziiert sind; Mittel zum Vergleichen des einen oder der mehreren extrahierten Merkmale mit einem oder mehreren definierten Schwellenwerten; Mittel zum Bestimmen eines Belichtungskorrekturwerts unter Verwendung des einen oder der mehreren extrahierten Merkmale und des einen oder der mehreren definierten Schwellenwerte; und Mittel zum Kommunizieren des Belichtungskorrekturwerts zu der Bilderfassungssensorschaltungsanordnung.
  • Beispiel 34 kann Elemente eines beliebigen der Beispiele 31 bis 33 beinhalten, wobei das Mittel zum Vergleichen des einen oder der mehreren extrahierten Merkmale mit dem einen oder den mehreren definierten Schwellenwerten Folgendes umfasst: Mittel zum Vergleichen, durch die 3A-Anpassungsschaltungsanordnung, eines Durchschnittswerts und/oder eines gewichteten Durchschnittswerts und/oder eines Maximalwerts mit dem einen oder den mehreren definierten Schwellenwerten.
  • Beispiel 35 kann Elemente eines beliebigen der Beispiele 31 bis 34 beinhalten, wobei das Mittel zum Bestimmen des Belichtungskorrekturwerts unter Verwendung des einen oder der mehreren extrahierten Merkmale und des einen oder der mehreren definierten Schwellenwerte Folgendes umfasst: Mittel zum Erhalten eines Sensorsättigungswerts und/oder eines skalierten oder anderweitig modifizierten Werts, der einen definierten Sensorsättigungswert repräsentiert.
  • Beispiel 36 kann Elemente eines beliebigen der Beispiele 31 bis 35 beinhalten, wobei das Mittel zum Bestimmen des Belichtungskorrekturwerts unter Verwendung des einen oder der mehreren extrahierten Merkmale und des einen oder der mehreren definierten Schwellenwerte Folgendes umfasst: Mittel zum Umwandeln einer Differenz zwischen dem einen oder den mehreren extrahierten Merkmalen und/oder eines Verhältnisses des einen oder der mehreren extrahierten Merkmale unter Verwendung des einen oder der mehreren definierten Schwellenwerte, um den Belichtungskorrekturwert bereitzustellen.
  • Beispiel 37 kann Elemente eines beliebigen der Beispiele 31 bis 36 beinhalten, wobei das Mittel zum Durchführen der Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Pixeln enthaltene Pixel zu identifizieren, die Flackern zeigen, ferner Folgendes umfasst: Verwenden eines Pixelwerts, der mit dem jeweiligen Pixel assoziiert ist, und/oder einer oder mehrerer Luminanzkomponenten, die mit dem jeweiligen Pixel assoziiert sind.
  • Beispiel 38 kann Elemente eines beliebigen der Beispiele 31 bis 37 beinhalten, wobei das Mittel zum Durchführen der Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Pixeln enthaltene Pixel zu identifizieren, die Flackern zeigen, ferner Folgendes umfasst: Mittel zum Vergleichen eines oder mehrerer Mehrfachbelichtungs-Merkmale, die in einem oder mehreren Paaren von Bildern enthalten und gegenüber Variationen in Aufnahmeeinstellungen normiert sind, für jedes der Bilder, die in jedem des einen oder der mehreren Paare von Bildern enthalten sind.
  • Beispiel 39 kann Elemente eines beliebigen der Beispiele 31 bis 38 beinhalten, wobei das Mittel zum Durchführen der Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Pixeln enthaltene Pixel zu identifizieren, die Flackern zeigen, ferner Folgendes umfasst: Mittel zum Vergleichen eines oder mehrerer Mehrfachbelichtungs-Merkmale, die in einem oder mehreren Paaren von durch den Bilderfassungssensor erhaltenen Bildern enthalten sind, durch Bestimmen einer Differenz zwischen einer ersten Komponente und einer zweiten Komponente unter Verwendung eines oder mehrerer Skalierungsfaktoren und/oder eines oder mehrerer Offsetfaktoren.
  • Beispiel 40 kann Elemente eines beliebigen der Beispiele 31 bis 39 beinhalten, wobei das Mittel zum Durchführen der Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Pixeln enthaltene Pixel zu identifizieren, die Flackern zeigen, ferner Folgendes umfasst: Mittel zum Bestimmen eines Verhältnisses zwischen Pixelwerten, die mit jedem jeweiligen Pixel assoziiert sind, und/oder Luminanzkomponenten, die mit jedem jeweiligen Pixel assoziiert sind, um Flackern zu detektieren.
  • Gemäß Beispiel 41 ist ein System zum Bereitstellen von Detektion und Minimierung des Effekts von Flackern in Bildern, die unter Verwendung einer Bilderfassungssensorschaltungsanordnung erhalten werden, bereitgestellt, wobei das System dazu eingerichtet ist, das Verfahren nach einem der Beispiele 11 bis 20 durchzuführen.
  • Gemäß Beispiel 42 ist ein Chipsatz bereitgestellt, der dazu eingerichtet ist, das Verfahren nach einem der Beispiele 11 bis 20 durchzuführen.
  • Gemäß Beispiel 43 ist mindestens eine maschinenlesbare Speicherungsvorrichtung bereitgestellt, die mehrere Anweisungen beinhaltet, die als Reaktion auf ihre Ausführung auf einer Rechenvorrichtung veranlassen, dass die Rechenvorrichtung das Verfahren nach einem der Beispiele 11 bis 20 ausführt.
  • Gemäß Beispiel 44 ist eine Vorrichtung bereitgestellt, die ausgelegt ist zum Detektieren und Minimieren des Effekts von Flackern in Bildern, die unter Verwendung einer Bilderfassungssensorschaltungsanordnung erhalten werden, wobei die Vorrichtung dazu eingerichtet ist, das Verfahren nach einem der Beispiele 11 bis 20 durchzuführen.
  • Die Begriffe und Ausdrücke, die hierin eingesetzt wurden, werden als Begriffe der Beschreibung und nicht Beschränkung verwendet, und es wird durch die Verwendung derartiger Begriffe und Ausdrücke nicht beabsichtigt, jegliche Äquivalente der gezeigten und beschriebenen Merkmale (oder von Teilen davon) auszuschließen, und es wird erkannt, dass verschiedene Modifikationen innerhalb des Schutzumfangs der Ansprüche möglich sind. Dementsprechend sollen die Ansprüche alle derartigen Äquivalente abdecken. Verschiedene Merkmale, Aspekte und Ausführungsformen wurden hierin beschrieben. Die Merkmale, Aspekte und Ausführungsformen können miteinander kombiniert sowie variiert und modifiziert werden, wie Fachleute verstehen werden. Die vorliegende Offenbarung sollte daher als derartige Kombinationen, Variationen und Modifikationen einschließend angesehen werden.
  • Wie hierin beschrieben, können verschiedene Ausführungsformen unter Verwendung von Hardwareelementen, Softwareelementen oder einer beliebigen Kombination davon implementiert werden. Beispiele für Hardwareelemente können Prozessoren, Mikroprozessoren, Schaltungen, Schaltungselemente (z. B. Transistoren, Widerstände, Kondensatoren, Induktivitäten und so weiter), integrierte Schaltungen, anwendungsspezifische integrierte Schaltungen (ASIC), programmierbare Logikvorrichtungen (PLD), Digitalsignalprozessoren (DSP), ein feldprogrammierbares Gate-Arrays (FPGA), Logikgatter, Register, eine Halbleitervorrichtung, Chips, Mikrochips, Chipsätze und so weiter beinhalten.
  • Ein Bezug in dieser Spezifikation auf „eine Ausführungsform“ bedeutet, dass ein spezielles Merkmal, eine spezielle Struktur oder eine spezielle Charakteristik, das bzw. die in Verbindung mit der Ausführungsform beschrieben ist, in mindestens einer Ausführungsform enthalten ist. Somit beziehen ist Erscheinungen der Ausdrücke „bei einer Ausführungsform“ an verschiedenen Stellen in dieser Spezifikation nicht notwendigerweise alle auf dieselbe Ausführungsform. Ferner können die speziellen Merkmale, Strukturen oder Charakteristiken bei einer oder mehreren Ausführungsformen auf eine beliebige geeignete Art und Weise kombiniert werden.

Claims (19)

  1. Bilderfassungssystem (200), das Folgendes umfasst: eine Hochdynamikbereich(HDR)-Sensorschaltungsanordnung (110) zum Erhalten von HDR-Bilddaten (112) für jedes von mehreren Pixeln, die in einem Bild enthalten sind; eine Lichtflackerminderung(LFM)-Schaltungsanordnung (120) zum: Empfangen der HDR-Bilddaten (112) von der HDR-Sensorschaltungsanordnung (110); Durchführen einer Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Pixeln enthaltene Pixel zu identifizieren, die Flackern zeigen; Bestimmen, auf einer Pro-Pixel-Basis, eines oder mehrerer Dynamikbereich-Korrekturfaktoren, um die Ausgabe von Pixeln, die als Flackern zeigend identifiziert wurden, anzupassen; eine HDR-Stitching-Schaltungsanordnung (130) zum: selektiven Anpassen, auf einer Pro-Pixel-Basis, des Anzeigebildes unter Verwendung: der HDR-Bilddaten (112), die von der HDR-Sensorschaltungsanordnung (110) empfangen werden; und des einen oder der mehreren Dynamikbereich-Korrekturfaktoren, die von der LFM-Schaltungsanordnung (120) empfangen werden.
  2. System (200) nach Anspruch 1, das ferner Folgendes umfasst: eine 3A(Autobelichtung-Autofokus-Auto-Weißabgleich)-Anpassungsschaltunganordnung (210), die mit der LFM-Schaltungsanordnung (120) und der HDR-Sensorschaltungsanordnung (110) gekoppelt ist, wobei die 3A-Anpassungsschaltunganordnung (210) ausgelegt ist zum: Anpassen einer Autobelichtungseinstellung der HDR-Sensorschaltungsanordnung (110) unter Verwendung von Informationen, die von der LFM-Schaltungsanordnung (120) empfangen werden und einen oder mehrere Autobelichtungsparameter angeben.
  3. System (200) nach Anspruch 2, wobei die LFM-Schaltungsanordnung (120) ferner ausgelegt ist zum: für jedes als flackernd identifizierte Pixel, Bestimmen eines oder mehrerer Ausgabewerte, die mit dem jeweiligen Pixel assoziiert sind; Vergleichen des einen oder der mehreren bestimmten Ausgabewerte mit einem oder mehreren definierten Schwellenwerten; Bestimmen eines Belichtungskorrekturwerts unter Verwendung des einen oder der mehreren Ausgabewerte und des einen oder der mehreren definierten Schwellenwerte; und Kommunizieren des Belichtungskorrekturwerts zu der HDR-Sensorschaltungsanordnung (110); wobei optional der eine oder die mehreren Ausgabewerte mindestens eines von Folgendem umfassen: einen durchschnittlichen Ausgabewert, einen gewichteten durchschnittlichen Ausgabewert oder einen maximalen Luminanzwert.
  4. System (200) nach Anspruch 3, wobei der eine oder die mehreren definierten Schwellenwerte mindestens einen von Folgenden beinhalten: einen Sensorsättigungswert oder einen skalierten Wert, der einen definierten Sensorsättigungswert repräsentiert.
  5. System (200) nach einem der Ansprüche 3 oder 4, wobei zum Bestimmen eines Belichtungskorrekturwerts unter Verwendung des einen oder der mehreren Ausgabewerte und des einen oder der mehreren definierten Schwellenwerte die 3A-Anpassungsschaltungsanordnung (210) ferner ausgelegt ist zum: Umwandeln von mindestens einem von Folgenden: einer Differenz zwischen dem einen oder den mehreren Ausgabewerten und dem einen oder den mehreren definierten Schwellenwerten oder eines Verhältnisses des einen oder der mehreren Ausgabewerte zu dem einen oder den mehreren definierten Schwellenwerten, um den Belichtungskorrekturwert bereitzustellen.
  6. System (200) nach einem der Ansprüche 1 bis 5, wobei zum Durchführen der Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Pixeln enthaltene Pixel zu identifizieren, die Flackern zeigen, die LFM-Schaltungsanordnung (102) ferner ausgelegt ist zum: Durchführen der Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Pixeln enthaltene Pixel, die Flackern zeigen, unter Verwendung von mindestens einem von Folgenden zu identifizieren: eines Pixelwerts, der mit dem jeweiligen Pixel assoziiert ist, oder Luminanzkomponenten, die mit dem jeweiligen Pixel assoziiert sind; wobei optional zum Durchführen der Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Pixeln enthaltene Pixel zu identifizieren, die Flackern zeigen, die LFM-Schaltungsanordnung (120) ausgelegt ist zum: Vergleichen eines oder mehrerer Mehrfachbelichtungs-Merkmale, die in einem oder mehreren Paaren von durch die HDR-Sensorschaltungsanordnung (110) erhaltenen Bildern enthalten sind, unter Verwendung einer normierten Bildbelichtungszeit für jedes der Bilder, die in jedem des einen oder der mehreren Paare von Bildern enthalten sind.
  7. System (200) nach Anspruch 6, wobei zum Durchführen der Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Pixeln enthaltene Pixel zu identifizieren, die Flackern zeigen, die LFM-Schaltungsanordnung (120) ausgelegt ist zum: Vergleichen eines oder mehrerer Mehrfachbelichtungs-Merkmale, die in einem oder mehreren Paaren von durch die HDR-Sensorschaltungsanordnung (110) erhaltenen Bildern enthalten sind, durch Bestimmen einer Differenz zwischen einer ersten Komponente und einer zweiten Komponente unter Verwendung von mindestens einem von Folgenden: eines oder mehrerer Skalierungsfaktoren oder eines oder mehrerer Offsetfaktoren.
  8. System (200) nach einem der Ansprüche 6 oder 7, wobei zum Durchführen der Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Pixeln enthaltene Pixel zu identifizieren, die Flackern zeigen, die LFM-Schaltungsanordnung (120) ausgelegt ist zum: Bestimmen eines Verhältnisses zwischen mindestens einem von Folgenden: Pixelwerten, die mit jedem jeweiligen Pixel assoziiert sind, oder Luminanzkomponenten, die mit jedem jeweiligen Pixel assoziiert sind, um Flackern zu detektieren.
  9. Bilderfassungsverfahren, das Folgendes umfasst: Erhalten, über eine Hochdynamikbereich(HDR)-Sensorschaltungsanordnung (110), von HDR-Bilddaten (112) für jedes von mehreren Pixeln, die in einem Bild enthalten sind; Empfangen, durch eine Lichtflackerminderung(LFM)-Schaltungsanordnung (120), der HDR-Bilddaten (112) von der HDR-Sensorschaltungsanordnung (110); Durchführen, durch die LFM-Schaltungsanordnung (120), einer Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Pixeln enthaltene Pixel zu identifizieren, die Flackern zeigen; Bestimmen, durch die LFM-Schaltungsanordnung (120) auf einer Pro-Pixel-Basis, eines oder mehrerer Dynamikbereich-Korrekturfaktoren, um die Ausgabe von Pixeln, die als Flackern zeigend identifiziert wurden, anzupassen; selektives Anpassen, durch eine HDR-Stitching-Schaltungsanordnung (130) auf einer Pro-Pixel-Basis, des Anzeigebildes unter Verwendung: der HDR-Bilddaten (112), die von der HDR-Sensorschaltungsanordnung (110) empfangen werden; und des einen oder der mehreren Dynamikbereich-Korrekturfaktoren, die von der LFM-Schaltungsanordnung (120) empfangen werden.
  10. Verfahren nach Anspruch 9, das ferner Folgendes umfasst: Anpassen, durch eine 3A(Autobelichtung-Autofokus-Auto-Weißabgleich)-Anpassungsschaltunganordnung (210), die mit der LFM-Schaltungsanordnung (120) und der HDR-Sensorschaltungsanordnung (110) gekoppelt ist, einer Autobelichtungseinstellung der HDR-Sensorschaltungsanordnung (110) unter Verwendung von Informationen, die von der LFM-Schaltungsanordnung (120) empfangen werden und einen oder mehrere Autobelichtungsparameter angeben.
  11. Verfahren nach Anspruch 10, das ferner Folgendes umfasst: Bestimmen, durch die LFM-Schaltungsanordnung (120), eines oder mehrerer Ausgabewerte, die mit jedem als flackernd identifizierten Pixel assoziiert sind; Vergleichen, durch die 3A-Anpassungsschaltunganordnung (210), des einen oder der mehreren bestimmten Ausgabewerte mit einem oder mehreren definierten Schwellenwerten; Bestimmen, durch die 3A-Anpassungsschaltunganordnung (210), eines Belichtungskorrekturwerts unter Verwendung des einen oder der mehreren Ausgabewerte und des einen oder der mehreren definierten Schwellenwerte; und Kommunizieren, durch die 3A-Anpassungsschaltunganordnung (210), des Belichtungskorrekturwerts zu der HDR-Sensorschaltungsanordnung (110); wobei optional das Vergleichen des einen oder der mehreren bestimmten Ausgabewerte mit dem einen oder den mehreren definierten Schwellenwerten des einen oder der mehreren Ausgabewerte Folgendes umfasst: Vergleichen, durch die 3A-Anpassungsschaltunganordnung (210), des einen oder der mehreren bestimmten Ausgabewerte einschließlich mindestens eines von Folgenden: eines durchschnittlichen Ausgabewerts, eines gewichteten durchschnittlichen Ausgabewerts oder eines maximalen Luminanzwerts, mit dem einen oder den mehreren definierten Schwellenwerten.
  12. Verfahren nach Anspruch 11, wobei das Bestimmen eines Belichtungskorrekturwerts unter Verwendung des einen oder der mehreren Ausgabewerte und des einen oder der mehreren definierten Schwellenwerte Folgendes umfasst: Bestimmen, durch die 3A-Anpassungsschaltunganordnung (210), eines Belichtungskorrekturwerts unter Verwendung des einen oder der mehreren Ausgabewerte und des einen oder der mehreren definierten Schwellenwerte einschließlich mindestens eines der Folgenden: eines Sensorsättigungswerts oder eines skalierten Werts, der einen definierten Sensorsättigungswert repräsentiert.
  13. Verfahren nach Anspruch 11, wobei das Bestimmen eines Belichtungskorrekturwerts unter Verwendung des einen oder der mehreren Ausgabewerte und des einen oder der mehreren definierten Schwellenwerte Folgendes umfasst: Umwandeln, durch die 3A-Anpassungsschaltunganordnung (210), von mindestens einem von Folgenden: einer Differenz zwischen dem einen oder den mehreren Ausgabewerten und dem einen oder den mehreren definierten Schwellenwerten oder eines Verhältnisses des einen oder der mehreren Ausgabewerte zu dem einen oder den mehreren definierten Schwellenwerten, um den Belichtungskorrekturwert bereitzustellen.
  14. Verfahren nach einem der Ansprüche 9 bis 13, wobei das Durchführen der Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Pixeln enthaltene Pixel zu identifizieren, die Flackern zeigen, ferner Folgendes umfasst: Durchführen, durch die LFM-Schaltungsanordnung (120), der Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Pixeln enthaltene Pixel, die Flackern zeigen, unter Verwendung von mindestens einem von Folgenden zu identifizieren: eines Pixelwerts, der mit dem jeweiligen Pixel assoziiert ist, oder Luminanzkomponenten, die mit dem jeweiligen Pixel assoziiert sind.
  15. Verfahren nach Anspruch 14, wobei das Durchführen der Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Pixeln enthaltene Pixel zu identifizieren, die Flackern zeigen, ferner Folgendes umfasst: Vergleichen, durch die LFM-Schaltungsanordnung (120), eines oder mehrerer Mehrfachbelichtungs-Merkmale, die in einem oder mehreren Paaren von durch die HDR-Sensorschaltungsanordnung (110) erhaltenen Bildern enthalten sind, unter Verwendung einer normierten Bildbelichtungszeit für jedes der Bilder, die in jedem des einen oder der mehreren Paare von Bildern enthalten sind.
  16. Verfahren nach Anspruch 14, wobei das Durchführen der Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Pixeln enthaltene Pixel zu identifizieren, die Flackern zeigen, ferner Folgendes umfasst: Vergleichen, durch die LFM-Schaltungsanordnung (120), eines oder mehrerer Mehrfachbelichtungs-Merkmale, die in einem oder mehreren Paaren von durch die HDR-Sensorschaltungsanordnung (110) erhaltenen Bildern enthalten sind, durch Bestimmen einer Differenz zwischen einer ersten Komponente und einer zweiten Komponente unter Verwendung von mindestens einem von Folgenden: eines oder mehrerer Skalierungsfaktoren oder eines oder mehrerer Offsetfaktoren.
  17. Verfahren nach Anspruch 14, wobei das Durchführen der Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Pixeln enthaltene Pixel zu identifizieren, die Flackern zeigen, ferner Folgendes umfasst: Bestimmen, durch die LFM-Schaltungsanordnung (120), eines Verhältnisses zwischen mindestens einem von Folgenden: Pixelwerten, die mit jedem jeweiligen Pixel assoziiert sind, oder Luminanzkomponenten, die mit jedem jeweiligen Pixel assoziiert sind, um Flackern zu detektieren.
  18. Nichtflüchtige Speicherungsvorrichtung, die Anweisungen beinhaltet, die bei ihrer Ausführung durch eine Lichtflackerminderung(LFM)-Schaltungsanordnung (120) veranlassen, dass die LFM-Schaltungsanordnung (120) das Verfahren nach einem der Ansprüche 9 bis 17 durchführt.
  19. Bilderfassungssystem (200), das Folgendes umfasst: Mittel (110) zum Erhalten von Bilddaten (112) für jedes von mehreren Pixeln, die in jedem von mehreren Bildern enthalten sind; Mittel (120) zum Empfangen der erhaltenen Bilddaten (112) von dem Mittel (110) zum Erhalten von Bilddaten (112); Mittel (120) zum Durchführen einer Mehrfachbelichtungs-Merkmalsextraktion, um in den mehreren Bildern enthaltene Pixel zu identifizieren, die Flackern zeigen; Mittel (120) zum Bestimmen eines oder mehrerer Korrekturparameter, um die Beiträge von Pixeln, die als Flackern zeigend identifiziert wurden, an die Ausgabe anzupassen; Mittel (130) zum selektiven Stitching der mehrere Bilder unter Verwendung der Bilddaten (112), die von dem Mittel (110) zum Erhalten von Bilddaten (112) empfangen werden, und des einen oder der mehreren Korrekturparameter, die von dem Mittel (120) zum Bestimmen eines oder mehrerer Korrekturparameter empfangen werden.
DE102020103431.8A 2019-03-11 2020-02-11 Lichtflackerminderung in Systemen für maschinelles Sehen Pending DE102020103431A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/297,861 2019-03-11
US16/297,861 US10986284B2 (en) 2019-03-11 2019-03-11 Light flicker mitigation in machine vision systems

Publications (1)

Publication Number Publication Date
DE102020103431A1 true DE102020103431A1 (de) 2020-09-17

Family

ID=67058623

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020103431.8A Pending DE102020103431A1 (de) 2019-03-11 2020-02-11 Lichtflackerminderung in Systemen für maschinelles Sehen

Country Status (2)

Country Link
US (1) US10986284B2 (de)
DE (1) DE102020103431A1 (de)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
LU92673B1 (en) * 2015-03-05 2016-09-06 Iee Int Electronics & Eng Sa Method and system for real-time noise removal and image enhancement of high-dynamic range images
WO2019118319A1 (en) * 2017-12-15 2019-06-20 Gopro, Inc. High dynamic range processing on spherical images
US20190206036A1 (en) * 2017-12-20 2019-07-04 Al Analysis, Inc. Method and system that use super flicker to facilitate image comparison
US11039082B2 (en) * 2018-11-27 2021-06-15 Canon Kabushiki Kaisha Image capturing apparatus, control method thereof, and storage medium
DE102019128219A1 (de) 2019-10-18 2021-04-22 Connaught Electronics Ltd. Ein Bildverarbeitungsverfahren
EP3839880A1 (de) 2019-12-20 2021-06-23 Koninklijke Philips N.V. System zur durchführung einer umgebungslichtbildkorrektur
US11490029B2 (en) 2020-10-30 2022-11-01 Ford Global Technologies, Llc Vehicle vision LED flicker interference mitigation system
US11451718B1 (en) * 2021-03-12 2022-09-20 Nvidia Corporation Detecting flicker bands using multi-exposure sensors
US11889033B2 (en) 2022-05-11 2024-01-30 Samsung Electronics Co., Ltd. Flare mitigation via deconvolution using high dynamic range imaging

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012010105A (ja) * 2010-06-24 2012-01-12 Sony Corp 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP2014050042A (ja) * 2012-09-03 2014-03-17 Toshiba Corp 画像処理装置及び固体撮像装置
US9462194B2 (en) * 2012-12-04 2016-10-04 Hanwha Techwin Co., Ltd. Apparatus and method for calculating flicker-evaluation value

Also Published As

Publication number Publication date
US10986284B2 (en) 2021-04-20
US20190208106A1 (en) 2019-07-04

Similar Documents

Publication Publication Date Title
DE102020103431A1 (de) Lichtflackerminderung in Systemen für maschinelles Sehen
DE112018002228B4 (de) Konfigurierbare faltungsmaschine für verschachtelte kanaldaten
WO2021036636A1 (zh) 升降设备的振动检测方法、装置、服务器及存储介质
DE102015212349A1 (de) Fehlererfassungsvorrichtung und fehlererfassungsprogramm
US9036047B2 (en) Apparatus and techniques for image processing
DE102013111729A1 (de) Bewegungssensorarray-Vorrichtung sowie Tiefenerfassungssystem und Verfahren, die dieselbe verwenden
DE112016006873T5 (de) Erfassung von Menschen in Bildern unter Verwendung von Tiefeninformationen
CN109753878B (zh) 一种恶劣天气下的成像识别方法及系统
DE102014101354A1 (de) Raumintensitätsverteilungsgesteuerter blitz
DE102018109276A1 (de) Bildhintergrundsubtraktion für dynamische beleuchtungsszenarios
DE112018007171T5 (de) Abnormalitätsinspektionsvorrichtung und abnormalitätsinspektionsverfahren
DE112020003776T5 (de) Inhaltadaptive anzeigenleistungseinsparungssysteme und -verfahren
CN108810506B (zh) 一种基于fpga的透雾增强图像处理方法及系统
CN111866501A (zh) 一种摄像模组检测方法、装置、电子设备及介质
US9779486B2 (en) Image processing apparatus and image processing method
CN114998122A (zh) 一种低照度图像增强方法
DE102019133492A1 (de) Leistungssparende Anzeige mit verbesserter Bildqualität
CN114257805A (zh) 一种影像采集测试的方法、系统及介质
CN111539975B (zh) 一种运动目标的检测方法、装置、设备及存储介质
DE102014102011B4 (de) System und Verfahren zum Erzeugen eines Bildes mit einem breiten dynamischen Bereich
DE102011010315A1 (de) Erkennung von Objekten
CN107527011B (zh) 一种非接触式皮肤电阻变化趋势检测方法、装置及设备
DE102013021618A1 (de) Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren zum Ausführen einer Bildverarbeitung, um ein Objekt in einem Bild zu erfassen
DE102019128219A1 (de) Ein Bildverarbeitungsverfahren
Chen et al. Low-light image enhancement and acceleration processing based on ZYNQ

Legal Events

Date Code Title Description
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: H04N0005235000

Ipc: H04N0023700000