DE102017101517A1 - Kraftfahrzeugbildgebungssystem einschliesslich eines elektronischen Bildsensors mit einem dünnbesetzten Farbfilterarray - Google Patents

Kraftfahrzeugbildgebungssystem einschliesslich eines elektronischen Bildsensors mit einem dünnbesetzten Farbfilterarray Download PDF

Info

Publication number
DE102017101517A1
DE102017101517A1 DE102017101517.5A DE102017101517A DE102017101517A1 DE 102017101517 A1 DE102017101517 A1 DE 102017101517A1 DE 102017101517 A DE102017101517 A DE 102017101517A DE 102017101517 A1 DE102017101517 A1 DE 102017101517A1
Authority
DE
Germany
Prior art keywords
color filter
image sensor
filter array
sparse
imaging system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102017101517.5A
Other languages
English (en)
Inventor
Jonathan Diedrich
Adil Nizam SIDDIQUI
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of DE102017101517A1 publication Critical patent/DE102017101517A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00Scanning details of television systems; Combination thereof with generation of supply voltages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

Verschiedene Ausführungsformen der vorliegenden Offenbarung stellen ein Kraftfahrzeugbildgebungssystem einschließlich eines elektronischen Bildsensors mit einem dünnbesetzten Farbfilterarray (CFA) bereit. Die Verwendung eines dünnbesetzten CFA führt zu Folgendem: (1) verbesserte Bildqualität und/oder (2) Kostenersparnisse durch das Ermöglichen der Verwendung eines weniger komplexen, billigeren Objektivs ohne eine Verringerung oder eine deutliche Verringerung in der Bildqualität.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Offenbarung betrifft allgemein ein Kraftfahrzeugbildgebungssystem. Insbesondere beinhaltet das Kraftfahrzeugbildgebungssystem eine Kamera mit einem Objektiv und einem elektronischen Bildsensor mit einem dünnbesetzten Farbfilterarray.
  • HINTERGRUND
  • Kameras, die typischerweise in bekannten Kraftfahrzeugbildgebungssystemen verwendet werden, beinhalten einen elektronischen Bildsensor, wie etwa einen aktiven Pixelsensor (APS), der unter Verwendung eines CMOS(Complementary Metal-Oxide Semiconductor)-Prozesses hergestellt wird, oder eine CCD (Charge Coupled Device). Dieser bekannte elektronische Bildsensor beinhaltet mehrere lichtempfindliche Pixel, die typischerweise in einer Matrix aus Zeilen und Spalten angeordnet sind. 1A stellt einen beispielhaften elektronischen Bildsensor 12 nach dem Stand der Technik dar, der 144 Pixel 12a beinhaltet, die in einer 12×12-Matrix angeordnet sind. Im Betrieb wandelt der Schaltkreis dieses bekannten elektronischen Bildsensors Licht, das auf ein Pixel einfällt, in digitale Bilddaten um. Eine Steuerung wandelt die Bilddaten in ein Bild um, das auf einer Anzeigeeinrichtung anzeigbar ist.
  • Um Farbdaten aufzunehmen und die Erstellung von Farbbildern zu ermöglichen, beinhalten diese bekannten elektronischen Bildsensoren ein Bayer-Farbfilterarray (CFA). Das Bayer-CFA beinhaltet rote, grüne und blaue Farbfilter, die über den Pixeln (eins pro Pixel) in einem sich wiederholenden Muster angeordnet oder gebildet sind. 1B stellt den elektronischen Bildsensor 12 nach dem Stand der Technik dar, der ein Bayer-CFA einschließlich einem sich wiederholenden Mosaik 13 aus zwei grünen Filtern 13a, einem roten Filter 13b und einem blauen Filter 13c beinhaltet. Im Betrieb gestattet jeder Farbfilter, dass nur Licht mit einer bestimmten Wellenlänge (Rot, Grün oder Blau in diesem Fall) sein Pixel erreicht, was Farbinformationen an den elektronischen Bildsensor liefert. Die Steuerung verwendet einen Demosaicing-Algorithmus, um das Vollfarbbild unter Verwendung dieser Farbinformationen wiederherzustellen.
  • Da jeder Farbfilter gestattet, dass nur Licht mit einer bestimmten Wellenlänge sein Pixel erreicht, erreicht ungefähr zwei Drittel weniger Licht jedes gefilterte Pixel als wenn das Pixel ungefiltert wäre. Die Verwendung eines Bayer-CFA — bei dem jedes Pixel gefiltert wird — führt zu einer deutlich verringerten Lichtempfindlichkeit. Im Gegenzug führt dies zu einem Farbbild minderwertiger Qualität im Vergleich zu einem monochromen Bild, das unter Verwendung eines ungefilterten elektronischen Bildsensors erhalten wird. Dieses Problem wird während der Verwendung in schlechten Lichtverhältnissen verschlimmert. Beispielsweise kann das Farbbild erhöhtes Rauschen, Aliasing, verringerte räumliche Auflösung und verringerte Bildschärfe aufweisen, was durch die verringerte Lichtempfindlichkeit oder die Nachbearbeitungstechniken, die verwendet werden, um für die verringerte Lichtempfindlichkeit aufzukommen, bewirkt wird.
  • Es besteht ein Bedarf nach neuen Kraftfahrzeugbildgebungssystemen, die diese Probleme lösen.
  • KURZDARSTELLUNG
  • Die angehängten Ansprüche definieren diese Anmeldung. Die Beschreibung fasst Aspekte der Ausführungsformen zusammen und sollte nicht zum Einschränken der Ansprüche verwendet werden. Andere Implementierungen werden gemäß den vorliegend beschriebenen Techniken in Betracht gezogen, wie sich einem Durchschnittsfachmann bei Prüfung der folgenden Zeichnungen und der ausführlichen Beschreibung ergeben wird, und diese Implementierungen sollen innerhalb des Schutzbereichs dieser Anmeldung liegen.
  • Ausführungsbeispiele stellen ein Kraftfahrzeug und ein Kraftfahrzeugbildgebungssystem für das Kraftfahrzeug bereit. Gemäß einer Ausführungsform umfasst ein Kraftfahrzeug einen Rahmen und ein Bildgebungssystem, das durch den Rahmen gestützt wird und Folgendes beinhaltet: eine Kamera einschließlich eines Objektivs und eines Bildsensors mit einem dünnbesetzten Farbfilterarray, wobei die Kamera dazu konfiguriert ist, Bilddaten basierend auf dem Licht, das auf den Sensor einfällt, zu erzeugen, und das Objektiv eine Blendenzahl höher als f/2,4 aufweist; eine Steuerung, die dazu konfiguriert ist, ein Bild unter Verwendung der Bilddaten zu erzeugen; und eine Anzeigeeinrichtung, die zum Anzeigen des Bildes konfiguriert ist.
  • Gemäß einer anderen Ausführungsform umfasst ein Kraftfahrzeugbildgebungssystem eine Kamera einschließlich eines Objektivs und eines Bildsensors mit einem dünnbesetzten Farbfilterarray, wobei die Kamera dazu konfiguriert ist, Bilddaten basierend auf dem Licht, das auf den Sensor einfällt, zu erzeugen, und das Objektiv eine Blendenzahl höher als f/2,4 aufweist; eine Steuerung, die dazu konfiguriert ist, ein Bild unter Verwendung der Bilddaten zu erzeugen; und eine Anzeigeeinrichtung, die zum Anzeigen des Bildes konfiguriert ist.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • Zum besseren Verständnis der Erfindung nimmt die ausführliche Beschreibung Bezug auf in den folgenden Zeichnungen dargestellte Ausführungsformen. Die Komponenten in den Zeichnungen sind nicht notwendigerweise maßstabsgetreu, und zugehörige Elemente können weggelassen sein, um dadurch die neuartigen, vorliegend beschriebenen Merkmale zu betonen und klar zu veranschaulichen. Zusätzlich können Systemkomponenten auf verschiedene Weisen angeordnet werden, wie aus der Technik bekannt ist. In den Zeichnungen können sich in den unterschiedlichen Figuren gleiche Referenznummern durchweg auf gleiche Teile beziehen, es sei denn, es ist etwas anderes spezifiziert.
  • 1A stellt einen elektronischen Bildsensor nach dem Stand der Technik dar.
  • 1B stellt den elektronischen Bildsensor von 1A mit einem Bayer-CFA dar.
  • 2 ist ein Blockdiagramm eines Ausführungsbeispiels des Kraftfahrzeugbildgebungssystems der vorliegenden Offenbarung.
  • Die 3A, 3B und 3C stellen verschiedene Ausführungsformen von elektronischen Bildsensoren mit verschiedenen Arten von dünnbesetzten CFAs dar.
  • AUSFÜHRLICHE BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
  • Kraftfahrzeugbildgebungssystem einschließlich eines elektronischen Bildsensors mit einem dünnbesetzten Farbfilterarray
  • Obwohl das Kraftfahrzeugbildgebungssystem der vorliegenden Offenbarung in verschiedenen Formen verkörpert sein kann, stellen die Zeichnungen einige beispielhafte und nicht einschränkende Ausführungsformen des Kraftfahrzeugbildgebungssystems dar und diese Beschreibung beschreibt diese. Die vorliegende Offenbarung ist eine Veranschaulichung des Kraftfahrzeugbildgebungssystems und schränkt das Kraftfahrzeugbildgebungssystem nicht auf die spezifischen veranschaulichten und beschriebenen Ausführungsformen ein. Möglicherweise sind nicht alle der abgebildeten und beschriebenen Komponenten erforderlich und manche Ausführungsformen können zusätzliche, unterschiedliche oder weniger Komponenten beinhalten. Die Anordnung und die Art der Komponenten können variieren, ohne vom Gedanken oder vom Schutzbereich der Ansprüche, die vorliegend dargelegt werden, abzuweichen.
  • Verschiedene Ausführungsformen des Kraftfahrzeugbildgebungssystems der vorliegenden Offenbarung (manchmal der Kürze wegen als das „Bildgebungssystem“ bezeichnet) beinhalten einen elektronischen Bildsensor mit einem dünnbesetzten CFA. Abhängig von der Implementierung führt die Verwendung eines dünnbesetzten CFA im Gegensatz zu einem Bayer-CFA zu Folgendem: (1) eine verbesserte Bildqualität und/oder (2) Kostenersparnisse durch das Ermöglichen der Verwendung eines weniger komplexen, billigeren Objektivs ohne eine Verringerung oder eine deutliche Verringerung in der Bildqualität.
  • 1. Kraftfahrzeugbildgebungssystemkomponenten
  • 2 ist ein Blockdiagramm eines Ausführungsbeispiels eines Kraftfahrzeugbildgebungssystems 10 der vorliegenden Offenbarung. Bei diesem Ausführungsbeispiel wird das Kraftfahrzeugbildgebungssystem 10 durch einen Rahmen eines Kraftfahrzeugs gestützt, obgleich das Fahrzeug bei anderen Ausführungsformen ein beliebiges geeignetes Fahrzeug (wie etwa ein Lastwagen, ein Wasserfahrzeug oder ein Luftfahrzeug) sein kann. Das Kraftfahrzeugbildgebungssystem 10 beinhaltet eine Kamera 100, eine Steuerung 20 und eine Anzeigeeinrichtung 30. Die Kamera 100 und die Anzeigeeinrichtung 30 sind elektrisch mit der Steuerung 20 verbunden, so dass die Steuerung 20 Signale an diese Komponenten senden und Signale von diesen empfangen kann (und umgekehrt).
  • Die Kamera 100 kann eine beliebige geeignete Kamera sein, die ein Objektiv 110 und einen elektronischen Bildsensor 120 beinhaltet. Das Objektiv 110 kann ein beliebiges geeignetes Objektiv sein, wie etwa (unter anderem) ein geradliniges Objektiv oder ein Kraftfahrzeug-Fischaugen-Objektiv (auch ein Objektiv mit weitem Sichtfeld genannt). Das Objektiv kann ein Objekt mit fester Apertur oder ein Objekt mit variabler Apertur sein. Der elektronische Bildsensor 120 kann ein beliebiger geeigneter elektronischer Bildsensor sein — wie etwa ein APS oder eine CCD — der mehrere Pixel 120a beinhaltet, die in einer Matrix aus Zeilen und Spalten angeordnet sind. Der elektronische Bildsensor 120 ist bezüglich dem Objektiv 110 so positioniert, dass das Objektiv einfallendes Licht auf die Pixel 120a fokussiert.
  • Der elektronische Bildsensor beinhaltet ein dünnbesetztes CFA (SCFA), das weniger Farbfilter als ein Bayer-CFA mit der gleichen Pixeldichte beinhaltet. Mit den anderen Faktoren konstant gehalten, erhöht die Verwendung des SCFA die Lichtmenge, die die Pixel erreicht, im Vergleich zu einem Bayer-CFA.
  • Wie in 3A dargestellt ist, beinhaltet der elektronische Bildsensor 120 bei dieser Ausführungsform ein 3×3-SCFA mit einem sich wiederholenden Mosaik 130 aus zwei grünen Filtern 130a, einem roten Filter 130b und einem blauen Filter 130c. Im 3×3-SCFA sind die Mosaike 130 in einem Muster angeordnet, so dass eine Zeile oder Spalte von ungefilterten Pixeln 120 benachbarte Mosaike 130 voneinander trennt.
  • 3B stellt eine andere Ausführungsform eines elektronischen Bildsensors 1120 dar, der ein 4×4-SCFA mit einem sich wiederholenden Mosaik 1130 aus zwei grünen Filtern 1130a, einem roten Filter 1130b und einem blauen Filter 1130c beinhaltet. Im 4×4-SCFA sind die Mosaike 1130 in einem Muster angeordnet, so dass zwei Zeilen oder Spalten von ungefilterten Pixeln 1120 benachbarte Mosaike 1130 voneinander trennen.
  • 3C stellt eine andere Ausführungsform eines elektronischen Bildsensors 2120 dar, der ein Fischaugen-SCFA mit einem sich wiederholenden Mosaik 2130 aus zwei grünen Filtern 2130a, einem roten Filter 2130b und einem blauen Filter 2130c beinhaltet. Im Fischaugen-SCFA sind die Mosaike 2130 so in einem Muster angeordnet, dass die Mosaike 2130 nahe des horizontalen und vertikalen Mittelpunkts des elektronischen Bildsensors 2120 dicht aneinander angeordnet sind und weg vom Mittelpunkt weiter voneinander entfernt angeordnet sind. Dies führt zu einer hohen Konzentration von Mosaiken nahe des Mittelpunkts des elektronischen Bildsensors und einer geringen Konzentration von Mosaiken nahe der Kanten des elektronischen Bildsensors. Dieser Abstand entspricht dem einzigartigen Sichtfeld eines Fischaugen-Objektivs.
  • Diese drei SCFAs sind lediglich Beispiele und der elektronische Bildsensor kann ein beliebiges geeignetes SCFA mit beliebigen geeigneten Mosaiken, die in beliebigen geeigneten Mustern angeordnet sind, mit beliebigen geeigneten Farbfiltern und mit einer beliebigen geeigneten Menge an Filtern beinhalten, so lange bestimmte Pixel ungefiltert bleiben.
  • Die Steuerung 20 beinhaltet mindestens einen Prozessor, der mit einem Speicher, der einen Satz von Anweisungen speichert, in Kommunikation steht. Der Prozessor ist dazu konfiguriert, mit dem Speicher zu kommunizieren, auf den Satz von Anweisungen zuzugreifen und den Satz von Anweisungen auszuführen, was dazu führt, dass das Bildgebungssystem 10 beliebige der vorliegend beschriebenen Verfahren, Prozesse und Merkmale durchführt.
  • Der Prozessor kann eine beliebige geeignete Verarbeitungseinrichtung oder ein Satz von Verarbeitungseinrichtungen sein, wie etwa unter anderem ein Mikroprozessor, eine Plattform auf Mikrocontrollerbasis, eine geeignete integrierte Schaltung oder eine oder mehrere anwendungsspezifische integrierte Schaltungen (ASICs), die dazu konfiguriert sind, den Satz von Anweisungen auszuführen. Der Speicher kann ein beliebiger geeigneter Speicher sein, wie etwa unter anderem Direktzugriffsspeicher (RAM), was nicht flüchtigen RAM, magnetischen RAM, ferroelektrischen RAM und beliebige andere geeignete Formen beinhalten kann; Festplattenspeicher; ein Festplattenlaufwerk (HDD); ein Halbleiterlaufwerk (SSD); FLASH-Speicher, EPROMs; EEPROMs; Memristorbasierender nicht flüchtiger Halbleiterspeicher; unveränderbarer Speicher oder Festwertspeicher.
  • Die Anzeigeeinrichtung 30 kann eine beliebige geeignete Anzeigeeinrichtung sein, die dazu konfiguriert ist, durch die Steuerung 20 erzeugte Bilder anzuzeigen, wie etwa (unter anderem) eine Flüssigkristallanzeige (LCD) oder eine organische Leuchtdiode (OLED). Die Anzeigeeinrichtung 30 kann eine beliebige geeignete Größe und eine beliebige geeignete Form aufweisen und kann an einer beliebigen geeigneten Position innerhalb des Kraftfahrzeugs positioniert sein. Bei einer Ausführungsform ist die Anzeigeeinrichtung Teil des Infotainment-Systems des Kraftfahrzeugs.
  • 2. Betrieb
  • Um ein Bild unter Verwendung des Kraftfahrzeugbildgebungssystems 10 zu erzeugen und anzuzeigen, setzt die Kamera 100 zuerst den elektronischen Bildsensor 120 (und insbesondere die Pixel 120a) (über das Objektiv 110) einfallendem Licht für einen Zeitraum, der die Integrationszeit genannt wird, aus. Die Kamera 100 führt dies aus, indem sie ihren Verschluss öffnet, den Verschluss für die Integrationszeit geöffnet lässt und dann den Verschluss schließt. Der Verschluss kann elektronisch oder mechanisch sein. Schaltkreise des elektronischen Bildsensors 120 wandeln das auf die Pixel einfallende Licht in digitale Bilddaten um und senden die Bilddaten zur Steuerung 20. Die Steuerung 20 wandelt die Bilddaten in ein Bild um — zumindest teilweise unter Verwendung eines in der Technik bekannten Demosaicing-Algorithmus zum Wiederherstellen von Farbe — und sendet das Bild zur Anzeigeeinrichtung 30 zum Anzeigen.
  • 3. Blendenzahl und Integrationszeit
  • Wie in der Technik bekannt, besitzt ein Kameraobjektiv eine Blendenzahl (manchmal eine Öffnungszahl oder Öffnungsverhältnis genannt), die das Verhältnis der Brennweite des Objektivs zum Durchmesser der Eintrittspupille des Objektivs repräsentiert. Je kleiner die Blendenzahl ist, desto größer ist die Apertur und desto mehr Licht läuft durch das Objektiv und umgekehrt. Beispielsweise ist die Apertur eines f/1,4-Objektivs größer als die Apertur eines f/8-Objektivs. Objektive mit größeren Blendenzahlen (kleineren Aperturen) weisen eine bessere Tiefenschärfe als die mit kleineren Blendenzahlen (größeren Aperturen) auf, was für Anwendungen von Vorteil ist, bei denen es gewünscht ist, dass die resultierenden Bilder Tiefe vermitteln. Objektive mit kleineren Blendenzahlen (größeren Aperturen) sind komplexer als Objektive mit größeren Blendenzahlen (kleineren Aperturen), was bedeutet, dass sie in größeren Gehäusen als die mit größeren Blendenzahlen (kleineren Aperturen) untergebracht sind.
  • Das Erzeugen eines Bildes akzeptabler Qualität erfordert das Abwägen von drei Hauptfaktoren: (1) die Blendenzahl des Objektivs, (2) die Integrationszeit und (3) die Art des CFA (wenn überhaupt) des elektronischen Bildsensors.
  • Die nachstehende Tabelle 1 stellt für jede von mehreren Blendenzahlen und für vier Arten von CFAs (keines, 4×4-SCFA, 3×3-SCFA und Bayer-CFA) den Prozentsatz von einfallendem Licht, das die Pixel des elektronischen Bildsensors erreicht, normiert auf f/2,4 und eine Integrationszeit von 30 Millisekunden annehmend dar.
    Figure DE102017101517A1_0002
    Figure DE102017101517A1_0003
    Tabelle 1
  • Die nachstehende Tabelle 2 stellt für jede von mehreren Integrationszeiten und für vier Arten von CFAs (keines, 4×4-SCFA, 3×3-SCFA und Bayer-CFA) den Prozentsatz von einfallendem Licht, das die Pixel des elektronischen Bildsensors erreicht, normiert auf eine beliebige Blendenzahl dar.
    Figure DE102017101517A1_0004
    Tabelle 2
  • Typische bekannte Kraftfahrzeugbildgebungssysteme beinhalten einen elektronischen Bildsensor mit einem Bayer-CFA, weisen ein Objektiv mit f/2,4 auf und verwenden eine Integrationszeit von 30 Millisekunden. Dies führt dazu, dass 33,33% des einfallenden Lichts die Pixel des elektronischen Bildsensors erreichen.
  • Wie in den Tabellen 1 und 2 angegeben, kann die Qualität des Bildes, das letztlich durch die Steuerung erzeugt wird, durch die Verwendung eines elektronischen Bildsensors mit dem 3×3-SCFA oder dem 4×4-SCFA der vorliegenden Offenbarung und Konstanthalten der Integrationszeit und der Blendenzahl (30 Millisekunden und f/2,4 in diesem Ausführungsbeispiel) in Vergleich zu dem, das erzeugt wird, wenn das Bayer-CFA verwendet wird, erhöht werden. Das Verwenden des 3×3-SCFA erhöht den Prozentsatz des einfallenden Lichts, das die Pixel des elektronischen Bildsensors erreicht, um mehr als 2-Mal auf 69% und das Verwenden des 4×4-SCFA erhöht den Prozentsatz des einfallenden Lichts, das die Pixel des elektronischen Bildsensors erreicht, um mehr als 2,5-Mal auf 86%. Da sich die Integrationszeit und die Blendenzahl nicht ändern, wird mehr Licht, das die Pixel erreicht, zu einem Bild besserer Qualität führen. Dies verbessert auch die Leistung bei schlechten Lichtverhältnissen. Da mehr Licht die Pixel erreicht, wenn ein elektronischer Bildsensor mit dem 3×3-SCFA oder dem 4×4-SCFA verwendet wird, kann das Kraftfahrzeugbildgebungssystem bei schlechten Lichtverhältnissen akzeptabel arbeiten und erfordert in manchen Fällen nicht, dass das Kraftfahrzeug seine eigene Lichtquelle erzeugt, damit eine akzeptable Umgebungslichtmenge bereitgestellt wird.
  • Wie durch Tabelle 1 angegeben, kann durch das Verwenden eines elektronischen Bildsensors mit dem 3×3-SCFA oder dem 4×4-SCFA der vorliegenden Offenbarung und Konstanthalten der Integrationszeit (30 Millisekunden in diesem Ausführungsbeispiel) eine höhere Blendenzahl im Vergleich zur mit dem Bayer-CFA verwendeten Blendenzahl ohne eine Verschlechterung oder eine deutliche Verschlechterung in der Bildqualität verwendet werden. Das Verwenden eines elektronischen Bildsensors mit dem 3×3-SCFA kombiniert mit einem Objektiv mit f/2,8 — eine Blendenzahl höher als das mit dem Bayer-CFA verwendete Objektiv mit f/2,4 — führt zum Beispiel dazu, dass 48,3% des einfallenden Lichts die Pixel des elektronischen Bildsensors erreichen. In diesem Fall führt das Verwenden eines weniger komplexen Objektivs mit einer höheren Blendenzahl zu einer kompakteren Kamera und dazu, dass mehr Licht die Pixel erreicht als bei den typischen oben beschriebenen Kraftfahrzeugbildgebungssystemen. Und da sich die Integrationszeit nicht ändert, führt mehr Licht, das die Pixel erreicht, zu einem Bild höherer Qualität. Des Weiteren liefert eine höhere Blendenzahl eine größere Tiefenschärfe und daher ein schärferes Bild über die Bildebene.
  • Das Verwenden eines elektronischen Bildsensors mit dem 4×4-SCFA kombiniert mit einem Objektiv mit f/4 — zwei Blendenzahlen höher als das mit dem Bayer-CFA verwendete Objektiv mit f/2,4 — führt bei einem anderen Beispiel dazu, dass 30,1% des einfallenden Lichts die Pixel des elektronischen Bildsensors erreichen. In diesem Fall führt das Verwenden eines weniger komplexen Objektivs mit einer höheren Blendenzahl zu einer kompakteren Kamera und dazu, dass ungefähr die gleiche Lichtmenge die Pixel erreicht als bei den typischen oben beschriebenen Kraftfahrzeugbildgebungssystemen. Dementsprechend wird sich die Bildqualität im Wesentlichen nicht verschlechtern, aber ein weniger komplexes, billigeres und kleineres Objektiv kann verwendet werden. Des Weiteren liefert eine höhere Blendenzahl eine größere Tiefenschärfe und daher ein schärferes Bild über die Bildebene.
  • Wie durch Tabelle 2 angegeben, kann durch das Verwenden eines elektronischen Bildsensors mit dem 3×3-SCFA oder dem 4×4-SCFA der vorliegenden Offenbarung und Konstanthalten der Blendenzahl (f/2,4 in diesem Ausführungsbeispiel) eine geringere Integrationszeit im Vergleich zur mit dem Bayer-CFA verwendeten Integrationszeit verwendet und die Bildqualität erhöht werden. Das Verwenden eines elektronischen Bildsensors mit dem 3×3-SCFA und einer Integrationszeit von 15 Millisekunden — halb so viel wie die mit dem Bayer-CFA verwendete — führt zum Beispiel dazu, dass 34,5% des einfallenden Lichts die Pixel des elektronischen Bildsensors erreichen. In diesem Fall führt die Verringerung der Integrationszeit zu einem schärferen Bild besserer Qualität. Und da sich die Blendenzahl nicht ändert, führt mehr Licht, das die Pixel erreicht, auch zu einem Bild höherer Qualität.
  • Das Verwenden eines elektronischen Bildsensors mit dem 4×4-SCFA und einer Integrationszeit von 15 Millisekunden — halb so viel wie die mit dem Bayer-CFA verwendete — führt bei einem anderen Beispiel dazu, dass 43% des einfallenden Lichts die Pixel des elektronischen Bildsensors erreichen. In diesem Fall führt die Verringerung der Integrationszeit zu einem schärferen Bild besserer Qualität. Und da sich die Blendenzahl nicht ändert, führt mehr Licht, das die Pixel erreicht, auch zu einem Bild höherer Qualität.
  • Es versteht sich daher, dass eine Blendenzahl, eine Integrationszeit und eine Art von SFCA ausgewählt werden können, um ein schärferes Bild, eine verbesserte Lichteinheitlichkeit über das gesamte Bild (verringerte Vignettierung), eine verbesserte Farbwiedergabe, ein verbesserter Rauschabstand und ein verbesserter Dynamikbereich und eine verbesserte Farbtonwiedergabe zu erzeugen.
  • Die oben beschriebenen Ausführungsformen und insbesondere alle „bevorzugten“ Ausführungsformen sind mögliche Beispiele für Implementierungen und sind lediglich für ein klares Verständnis der Prinzipien der Erfindung dargelegt. Viele Variationen und Modifikationen können an der bzw. den oben beschriebenen Ausführungsform(en) vorgenommen werden, ohne im Wesentlichen vom Gedanken und den Prinzipien der vorliegend beschriebenen Techniken abzuweichen. Alle Modifikationen sollen vorliegend im Schutzbereich dieser Offenbarung eingeschlossen sein und durch die folgenden Ansprüche geschützt sein.

Claims (20)

  1. Kraftfahrzeug, das Folgendes umfasst: einen Rahmen und ein Bildgebungssystem, das durch den Rahmen gestützt wird und Folgendes beinhaltet: eine Kamera einschließlich eines Objektivs und eines Bildsensors mit einem dünnbesetzten Farbfilterarray, wobei die Kamera dazu konfiguriert ist, Bilddaten basierend auf Licht, das auf den Sensor einfällt, zu erzeugen, und das Objektiv eine Blendenzahl höher als f/2,4 aufweist; eine Steuerung, die dazu konfiguriert ist, ein Bild unter Verwendung der Bilddaten zu erzeugen; und eine Anzeigeeinrichtung, die zum Anzeigen des Bildes konfiguriert ist.
  2. Kraftfahrzeug nach Anspruch 1, wobei die Integrationszeit der Kamera ungefähr 30 Millisekunden oder weniger beträgt.
  3. Kraftfahrzeug nach Anspruch 1 oder Anspruch 2, wobei die Blendenzahl des Objektivs höher als f/2,8 ist.
  4. Kraftfahrzeug nach Anspruch 3, wobei das dünnbesetzte Farbfilterarray ein dünnbesetztes 4×4-Farbfilterarray ist und die Integrationszeit der Kamera ungefähr 30 Millisekunden beträgt.
  5. Kraftfahrzeug nach Anspruch 4, wobei die Blendenzahl des Objektivs f/4 ist.
  6. Kraftfahrzeug nach einem der Ansprüche 1 bis 5, wobei die Blendenzahl des Objektivs f/2,8 ist und das dünnbesetzte Farbfilterarray ein dünnbesetztes 3×3-Farbfilterarray ist.
  7. Kraftfahrzeug nach einem der Ansprüche 1 bis 6, wobei die Integrationszeit der Kamera ungefähr 15 Millisekunden oder weniger beträgt.
  8. Kraftfahrzeug nach Anspruch 7, wobei das dünnbesetzte Farbfilterarray ein dünnbesetztes 3×3-Farbfilterarray ist.
  9. Kraftfahrzeug nach einem der Ansprüche 1 bis 8, wobei das Objektiv ein Fischaugen-Objektiv ist.
  10. Kraftfahrzeug nach Anspruch 9, wobei der Bildsensor mehrere Pixel beinhaltet und das dünnbesetzte Farbfilterarray ein sich wiederholendes Mosaik von Farbfiltern beinhaltet, die so in einem Muster angeordnet sind, dass die Mosaike nahe eines Mittelpunkts des Bildsensors höher konzentriert sind als nahe der Kanten des Bildsensors.
  11. Kraftfahrzeugbildgebungssystem, das Folgendes umfasst: eine Kamera einschließlich eines Objektivs und eines Bildsensors mit einem dünnbesetzten Farbfilterarray, wobei die Kamera dazu konfiguriert ist, Bilddaten basierend auf Licht, das auf den Sensor einfällt, zu erzeugen, und das Objektiv eine Blendenzahl höher als f/2,4 aufweist; eine Steuerung, die dazu konfiguriert ist, ein Bild unter Verwendung der Bilddaten zu erzeugen; und eine Anzeigeeinrichtung, die zum Anzeigen des Bildes konfiguriert ist.
  12. Kraftfahrzeugbildgebungssystem nach Anspruch 11, wobei die Integrationszeit der Kamera ungefähr 30 Millisekunden oder weniger beträgt.
  13. Kraftfahrzeugbildgebungssystem nach Anspruch 11 oder Anspruch 12, wobei die Blendenzahl des Objektivs höher als f/2,8 ist.
  14. Kraftfahrzeugbildgebungssystem nach Anspruch 13, wobei das dünnbesetzte Farbfilterarray ein dünnbesetztes 4×4-Farbfilterarray ist und die Integrationszeit der Kamera ungefähr 30 Millisekunden beträgt.
  15. Kraftfahrzeugbildgebungssystem nach Anspruch 14, wobei die Blendenzahl des Objektivs f/4 ist.
  16. Kraftfahrzeugbildgebungssystem nach einem der Ansprüche 11 bis 15, wobei die Blendenzahl des Objektivs f/2,8 ist und das dünnbesetzte Farbfilterarray ein dünnbesetztes 3×3-Farbfilterarray ist.
  17. Kraftfahrzeugbildgebungssystem nach einem der Ansprüche 11 bis 16, wobei die Integrationszeit der Kamera ungefähr 15 Millisekunden oder weniger beträgt.
  18. Kraftfahrzeugbildgebungssystem nach Anspruch 17, wobei das dünnbesetzte Farbfilterarray ein dünnbesetztes 3×3-Farbfilterarray ist.
  19. Kraftfahrzeugbildgebungssystem nach einem der Ansprüche 11 bis 18, wobei das Objektiv ein Fischaugen-Objektiv ist.
  20. Kraftfahrzeugbildgebungssystem nach Anspruch 19, wobei der Bildsensor mehrere Pixel beinhaltet und das dünnbesetzte Farbfilterarray ein sich wiederholendes Mosaik von Farbfiltern beinhaltet, die so in einem Muster angeordnet sind, dass die Mosaike nahe eines Mittelpunkts des Bildsensors höher konzentriert sind als nahe der Kanten des Bildsensors.
DE102017101517.5A 2016-01-29 2017-01-26 Kraftfahrzeugbildgebungssystem einschliesslich eines elektronischen Bildsensors mit einem dünnbesetzten Farbfilterarray Pending DE102017101517A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/010,698 US9998695B2 (en) 2016-01-29 2016-01-29 Automotive imaging system including an electronic image sensor having a sparse color filter array
US15/010,698 2016-01-29

Publications (1)

Publication Number Publication Date
DE102017101517A1 true DE102017101517A1 (de) 2017-08-03

Family

ID=58462882

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017101517.5A Pending DE102017101517A1 (de) 2016-01-29 2017-01-26 Kraftfahrzeugbildgebungssystem einschliesslich eines elektronischen Bildsensors mit einem dünnbesetzten Farbfilterarray

Country Status (6)

Country Link
US (1) US9998695B2 (de)
CN (1) CN107026962B (de)
DE (1) DE102017101517A1 (de)
GB (1) GB2548687A (de)
MX (1) MX2017001357A (de)
RU (1) RU2678018C2 (de)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10930709B2 (en) 2017-10-03 2021-02-23 Lockheed Martin Corporation Stacked transparent pixel structures for image sensors
CN108122004A (zh) * 2017-12-19 2018-06-05 杭州电子科技大学 基于Fisher判别稀疏超限学习机的脑电分类方法
US10838250B2 (en) * 2018-02-07 2020-11-17 Lockheed Martin Corporation Display assemblies with electronically emulated transparency
US10951883B2 (en) 2018-02-07 2021-03-16 Lockheed Martin Corporation Distributed multi-screen array for high density display
US10979699B2 (en) 2018-02-07 2021-04-13 Lockheed Martin Corporation Plenoptic cellular imaging system
US11616941B2 (en) 2018-02-07 2023-03-28 Lockheed Martin Corporation Direct camera-to-display system
US10652529B2 (en) 2018-02-07 2020-05-12 Lockheed Martin Corporation In-layer Signal processing
US10567724B2 (en) * 2018-04-10 2020-02-18 GM Global Technology Operations LLC Dynamic demosaicing of camera pixels
CN112840633A (zh) * 2018-07-31 2021-05-25 3M创新有限公司 交通工具辅助系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6476865B1 (en) 2001-03-07 2002-11-05 Eastman Kodak Company Sparsely sampled image sensing device with color and luminance photosites
US7012643B2 (en) 2002-05-08 2006-03-14 Ball Aerospace & Technologies Corp. One chip, low light level color camera
CN101015200A (zh) * 2004-09-10 2007-08-08 松下电器产业株式会社 摄像机和摄像机装置
JP2006165975A (ja) 2004-12-07 2006-06-22 Konica Minolta Photo Imaging Inc 撮像素子、撮像装置、画像処理方法
JP2007103401A (ja) 2005-09-30 2007-04-19 Matsushita Electric Ind Co Ltd 撮像装置及び画像処理装置
US7916362B2 (en) 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
US7893976B2 (en) 2006-12-01 2011-02-22 Eastman Kodak Company Light sensitivity in image sensors
US7999870B2 (en) * 2008-02-01 2011-08-16 Omnivision Technologies, Inc. Sampling and readout of an image sensor having a sparse color filter array pattern
US8164669B2 (en) * 2008-12-19 2012-04-24 Truesense Imaging, Inc. Charge-coupled device image sensor with efficient binning of same-color pixels
US20100309340A1 (en) * 2009-06-03 2010-12-09 Border John N Image sensor having global and rolling shutter processes for respective sets of pixels of a pixel array
US20110115954A1 (en) 2009-11-19 2011-05-19 Eastman Kodak Company Sparse color pixel array with pixel substitutes
WO2013145487A1 (ja) 2012-03-27 2013-10-03 ソニー株式会社 画像処理装置、撮像素子、および画像処理方法、並びにプログラム
US9105550B2 (en) * 2013-01-11 2015-08-11 Digimarc Corporation Next generation imaging methods and systems
TWI690209B (zh) 2013-09-25 2020-04-01 新力股份有限公司 固體攝像裝置、攝像裝置及電子機器
KR102163727B1 (ko) 2014-04-03 2020-10-08 삼성전자주식회사 광 이용 효율이 향상된 이미지 센서
KR102276432B1 (ko) 2014-04-07 2021-07-09 삼성전자주식회사 색분리 소자 및 상기 색분리 소자를 포함하는 이미지 센서
US9906691B2 (en) * 2015-03-25 2018-02-27 Tripurari Singh Methods and system for sparse blue sampling

Also Published As

Publication number Publication date
US20170223288A1 (en) 2017-08-03
GB2548687A (en) 2017-09-27
RU2017101529A3 (de) 2018-11-21
GB201701408D0 (en) 2017-03-15
CN107026962A (zh) 2017-08-08
US9998695B2 (en) 2018-06-12
RU2017101529A (ru) 2018-07-19
MX2017001357A (es) 2018-07-30
RU2678018C2 (ru) 2019-01-22
CN107026962B (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
DE102017101517A1 (de) Kraftfahrzeugbildgebungssystem einschliesslich eines elektronischen Bildsensors mit einem dünnbesetzten Farbfilterarray
DE112013005334B4 (de) Superauflösung auf der Basis von optischer Bildstabilisierung
DE112017001625T5 (de) Digitalkamera und Anzeigeverfahren für die Digitalkamera
DE102016102111A1 (de) Bildsensor und bildgebende Vorrichtung mit demselben
DE102015110326A1 (de) Bildverarbeitungsvorrichtung, Verfahren zum Steuern derselben und Speichermedium
DE102016112968B4 (de) Bestimmung von Farbwerten für Pixel an Zwischenpositionen
EP2583464B1 (de) Farbbildsensor
DE102020107490A1 (de) Künstliches neuronales netzwerkmodell und dieses enthaltende elektronische vorrichtung
DE102014214750B3 (de) Bildaufnahmesystem mit schnell vibrierendem Global-Shutter-CMOS-Sensor
DE102015102681A1 (de) All-in-focus - implementierung
EP1013076B1 (de) Bildsensorelemente
DE112021000853T5 (de) Elektronisches gerät
EP1860492A1 (de) Verfahren zur Raumfilterung und Bildaufnahmegerät
DE102019113572B4 (de) Bildsensoren mit dummy-pixel-zeilen
DE102004018633B4 (de) Bilderzeuger-System und -Verfahren mit Filterung
DE102016212771A1 (de) Verfahren und Vorrichtung zum Abtasten eines Lichtsensors
DE112014000874T5 (de) Elektronische Vorrichtung, Verfahren zum Erzeugen eines Bildes und Filteranordnung
WO2015090997A1 (de) Optisches sensorsystem
WO2018077357A1 (de) Bildsensor mit einem für pixelbinning geeigneten farbfilter
EP3437315A1 (de) Bildsensor für eine multifunktionale beobachtungskamera zum beobachten eines fahrers für ein fahrzeug, bildsensoreinrichtung, beobachtungskamera und verfahren zum erzeugen eines infrarot-bilds und eines intensität-bilds
DE102013114450B4 (de) Verfahren zum Verbessern einer Bildempfindlichkeits- und Farbinformation für ein von einer Kameravorrichtung aufgenommes Bild
DE102004061978A1 (de) Verfahren und Vorrichtung zum Ersetzen defekter Pixel in Focal Plane Array Kameras
DE112022005895T5 (de) Elektronische vorrichtung
DE112021004403T5 (de) Sensoranordnung und Verfahren zur Herstellung einer Sensoranordnung
DE102020118510A1 (de) Elektronische Vorrichtung zur Durchführung einer Video-HDR-Verarbeitung auf der Grundlage von Bilddaten, die durch eine Vielzahl von Bildsensoren erhalten werden

Legal Events

Date Code Title Description
R084 Declaration of willingness to licence
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: H04N0005235000

Ipc: H04N0023700000

R012 Request for examination validly filed