DE112021005519T5 - Bildgebungselement und elektronisches instrument - Google Patents

Bildgebungselement und elektronisches instrument Download PDF

Info

Publication number
DE112021005519T5
DE112021005519T5 DE112021005519.4T DE112021005519T DE112021005519T5 DE 112021005519 T5 DE112021005519 T5 DE 112021005519T5 DE 112021005519 T DE112021005519 T DE 112021005519T DE 112021005519 T5 DE112021005519 T5 DE 112021005519T5
Authority
DE
Germany
Prior art keywords
imaging element
pixel
unit
processing unit
wavelength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112021005519.4T
Other languages
English (en)
Inventor
Masashi Nakata
Hirotaka SHINOZAKI
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of DE112021005519T5 publication Critical patent/DE112021005519T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14636—Interconnect structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14649—Infrared imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

[Lösung] Die vorliegende Erfindung stellt ein Bildgebungselement bereit, das als ein Halbleiterchip konfiguriert ist, wobei ein optisches Element außerhalb des Halbleiterchips bereitgestellt ist und das Bildgebungselement Folgendes umfasst: eine Erfassungseinheit zum Erfassen von Informationen bezüglich des optischen Elements; eine Pixeleinheit, die N (N ist eine ganze Zahl) Arten von Pixeln mit jeweils unterschiedlichen spektralen Charakteristiken mit Bezug auf die Wellenlänge von Eingabelicht beinhaltet, das über das optische Element eingegeben wird; eine Umwandlungseinheit, die ein Ausgabesignal von der Pixeleinheit in ein digitales Ausgabesignalumwandelt; eine Verarbeitungseinheit, die das Ausgabesignal, das durch die Umwandlungseinheit ausgegeben wird, als eine Basis zum Durchführen einer Umwandlungsverarbeitung von wenigstens N + 1 Verarbeitungssignalen mit jeweils unterschiedlichen spektralen Charakteristiken unter Verwendung der zuvor genannten Informationen verwendet; und eine Ausgabeeinheit, die ein Signal basierend auf den Verarbeitungssignalen nach außerhalb des Halbleiterchips ausgibt.

Description

  • TECHNISCHES GEBIET
  • Ausführungsformen der vorliegenden Erfindung betreffen ein Bildgebungselement und eine elektronische Vorrichtung.
  • HINTERGRUND
  • Ein multispektrales (Multispektrum- oder multispektrales) Bild ist ein Bild, in dem elektromagnetische Wellen mehrerer Wellenlängenbänder aufgezeichnet werden. Das multispektrale Bild weist als ein Bildsignal Informationen elektromagnetischer Wellen in einem Wellenlängenband von nichtsichtbarem Licht, wie etwa Ultraviolettstrahlen, Infrarotstrahlen und externe Infrarotstrahlen, zusätzlich zu Informationen elektromagnetischer Wellen in einem Wellenlängenband von sichtbarem Licht auf. Dementsprechend wird das multispektrale Bild zum Visualisieren eines Objekts verwendet, das durch Augen nicht identifiziert werden kann, oder zur Objektidentifizierung oder Zustandsbestimmung verwendet.
  • Das heißt, im Gegensatz zu einem allgemeinen Bildgebungselement zur Bilderfassung ist es erforderlich, mehr spektrale Charakteristiken außer Rot/Grün/Blau (die nachfolgend als R, G und B beschrieben werden können), Cyan, Magenta und Gelb (die nachfolgend als C, M und Y beschrieben werden können) von Primärfarben zu haben. Dementsprechend weist ein Bildgebungselement für multispektrale Bilder allgemein fünf oder mehr Wellenlängencharakteristiken auf, obwohl dies von der Anwendung abhängt.
  • ZITATLISTE
  • PATENTDOKUMENT
    • Patentdokument 1: Japanische Patentanmeldung mit der Veröffentlichungs-Nr. 2008-136251
    • Patentdokument 2: Japanische Patentanmeldung mit der Veröffentlichungs-Nr. 2013-45917
  • KURZDARSTELLUNG DER ERFINDUNG
  • DURCH DIE ERFINDUNG ZU LÖSENDE PROBLEME
  • Um feine spektrale Charakteristiken aufzuweisen (siehe zum Beispiel 20), ist es andererseits erforderlich, eine solche Anzahl an Filtern bereitzustellen. Aus diesem Grund nimmt, wenn eine Montage in dem Bildgebungselement angenommen wird, die Anzahl an Pixeln in einem Wellenlängenband mit Bezug auf die Gesamtanzahl an Pixeln ab, und es besteht eine Möglichkeit, dass die Auflösung für ein Wellenlängenband abnimmt.
  • Wenn ein Signal, das jedem Wellenlängenband entspricht, von dem Bildgebungselement ausgegeben wird und dann in ein unterschiedliches Spektrum unter Verwendung einer Berechnung umgewandelt wird, nimmt außerdem die Verarbeitungszeit aufgrund einer Zunahme der Berechnungsmenge oder dergleichen zu. Dementsprechend kann bei einer Softwareverarbeitung in einer elektronischen Vorrichtung, wie etwa einem Smartphone, eine Echtzeitverarbeitung behindert werden. Insbesondere ist es erforderlich, das Bildsignal mit Bezug auf das abschließend erzeugte Bildsignal redundant auszugeben, und die Datenmenge nimmt ebenfalls zu.
  • Des Weiteren unterscheidet sich ein Pixelarray eines Bildgebungselements für multispektrale Bilder (das Bildgebungselement kann als ein Bildsensor bezeichnet werden) von einem Pixelarray (zum Beispiel Bayer) in 2 × 2 Einheiten eines normalen Bildgebungselements zur Kamerabildgebung. Zum Beispiel produziert das Pixelarray des Bildgebungselements für multispektrale Bilder eine Pixelausgabe von 2 × 4 Einheiten oder 3 × 3 Einheiten oder mehr. Dementsprechend ist es in einem Anwendungsprozessor oder dergleichen in einer anschließenden Stufe, der ein von dem Bildgebungselement für multispektrale Bilder ausgegebenes Bildsignal verarbeitet, erforderlich, einen solchen Anordnungszyklus zu bewältigen.
  • LÖSUNG DER PROBLEME
  • Um das obige Problem zu lösen, wird gemäß der vorliegenden Offenbarung ein Bildgebungselement bereitgestellt, das als ein Halbleiterchip konfiguriert ist, wobei das Bildgebungselement Folgendes beinhaltet:
    • eine Erfassungseinheit, die Informationen bezüglich eines optischen Elements erfasst, wobei das optische Element außerhalb des Halbleiterchips bereitgestellt ist;
    • eine Pixeleinheit einschließlich N (N ist eine ganze Zahl) Arten von Pixeln mit unterschiedlichen spektralen Charakteristiken mit Bezug auf eine Wellenlänge von Eingabelicht, das über das optische Element eingegeben wird;
    • eine Umwandlungseinheit, die ein Ausgabesignal der Pixeleinheit in ein digitales Ausgabesignal umwandelt;
    • eine Verarbeitungseinheit, die eine Umwandlungsverarbeitung in N + 1 oder mehr verarbeitete Signale mit unterschiedlichen spektralen Charakteristiken basierend auf einem Ausgabesignal, das von der Umwandlungseinheit ausgegeben wird, durch Verwenden der Informationen durchführt; und
    • eine Ausgabeeinheit, die ein Signal basierend auf dem verarbeiteten Signal nach außerhalb des Halbleiterchips ausgibt.
  • Die Pixeleinheit kann mehrere fotoelektrische Umwandlungselemente beinhalten, die das Eingabelicht über N Arten von Filtern in das Ausgabesignal umwandeln.
  • N kann 5 oder größer sein.
  • Das Bildgebungselement kann in einem Halbleiterchipteil oder in mehreren angrenzenden Halbleiterchipteilen konfiguriert sein.
  • Die Informationen können eine optische Charakteristik des optischen Elements zwischen dem Bildgebungselement und dem Subjekt betreffen und einen Transmissionsgrad, einen Reflexionsgrad, einen Brechungsindex, eine Emissionswellenlänge und/oder eine Wellenlängenabhängigkeit betreffen.
  • Das optische Element kann ein Farbfilter, ein Plasmon und/oder ein organischer fotoelektrischer Umwandlungsfilm sein.
  • Die N Arten von Filtern können vier oder mehr Arten von Filtern unter Filtern beinhalten, die beliebiges von Rotfarblicht, Grünfarblicht, Blaufarblicht, Cyanfarblicht, Magentafarblicht und Gelbfarblicht transmittieren.
  • Die Erfassungseinheit kann ein Speicher (EEPROM) sein, der zum Speichern der Informationen von außerhalb des Halbleiterchips in der Lage ist, und die Informationen von außerhalb des Halbleiterchips, die in dem Speicher gespeichert werden, können an die Verarbeitungseinheit geliefert werden.
  • Das optische Element kann ein Bandpassfilter sein.
  • Das Bandpassfilter kann Licht in einem vorbestimmten Sichtbares-Licht-Bereich und Licht in einem vorbestimmten Infrarot(IR)-Bereich transmittieren.
  • Die Verarbeitungseinheit kann zum Durchführen einer Verarbeitung unter Verwendung eines Parameters bezüglich einer Bilderfassungsumgebung in der Lage sein, und
    die Erfassungseinheit kann zum Erfassen des Parameters einschließlich wenigstens Informationen bezüglich eines Lichtquellenschätzungsergebnisses in der Lage sein.
  • Das verarbeitete Signal, das durch die Verarbeitungseinheit ausgegeben wird, kann Bilddaten gemäß vorbestimmten Arrayinformationen sein, und
    die Erfassungseinheit kann zum Erfassen von Informationen bezüglich der N + 1 oder mehr spektralen Charakteristiken und/oder Informationen bezüglich der Arrayinformationen in der Lage sein.
  • Jedes der verarbeiteten Signale kann eine Spitze einer Fotoempfindlichkeit in jedem der N + 1 oder mehr Wellenlängenbänder in Eingabelicht in einem vorbestimmten Wellenlängenbereich aufweisen, und
    die Verarbeitungseinheit kann zum Ändern eines Bereichs wenigstens eines der N + 1 oder mehr Wellenlängenbänder durch Parametereinstellung von außerhalb des Halbleiterchips in der Lage sein.
  • Das verarbeitete Signal, das durch die Verarbeitungseinheit ausgegeben wird, kann Bilddaten gemäß vorbestimmten Arrayinformationen sein, und
    die Verarbeitungseinheit kann zum Ändern eines Pixelarrays der Bilddaten durch Parametereinstellung von außerhalb des Halbleiterchips in der Lage sein.
  • Das optische Element kann wenigstens ein Anzeigepanel für eine Anzeige sein, und die Verarbeitungseinheit kann das verarbeitete Signal durch Verwenden von wenigstens Informationen bezüglich einer optischen Charakteristik des Anzeigepanels erzeugen.
  • Die Verarbeitungseinheit kann das verarbeitete Signal auch basierend auf Ausgabesignalen erzeugen, die durch unterschiedliche Bildgebungselemente erzeugt werden.
  • Die Pixeleinheit kann einen von einem organischen fotoelektrischen Umwandlungsfilm und einer unterteilten Fotodiode, die in einer Querschnittsrichtung unterteilt ist, beinhalten.
  • In der Verarbeitungseinheit kann eine Kombination in dem verarbeiteten Signal, das in einem ersten Einzelbild erzeugt wird, verschieden von einer Kombination in dem verarbeiteten Signal sein, das in einem zweiten Einzelbild angrenzend an das erste Einzelbild erzeugt wird.
  • Die Verarbeitungseinheit kann M (M ist eine ganze Zahl und es gilt M < N + 1) verarbeitete Signale in den N + 1 der verarbeiteten Signale als das erste Einzelbild erzeugen und verbleibende verarbeitete Signale in den N + 1 der verarbeiteten Signale als das zweite Einzelbild erzeugen.
  • In der Pixeleinheit kann die Pixeleinheit einer unterschiedlichen Belichtungssteuerung zwischen Einzelbildern oder zwischen Pixeln unterzogen werden.
  • Die Pixeleinheit kann ein Weißpixel und/oder ein Graupixel mit einer Empfindlichkeit in einem breiten Wellenlängenband beinhalten, das mit einem Wellenlängenband mit einer Empfindlichkeit eines anderen Pixels mit Bezug auf Eingabelicht in dem vorbestimmten Wellenlängenbereich überlappt.
  • In spektralen Charakteristiken der N Arten von Filtern kann es eine Überlappung an einer oder mehreren Positionen eines zu transmittierenden Wellenlängenbandes geben.
  • Die spektrale Charakteristik kann eine Variation des Betrags eines verarbeiteten Signals mit Bezug auf Eingabelicht in einem vorbestimmten Wellenlängenbereich angeben, und in einem Fall, in dem das optische Element ein Bandpassfilter ist, kann die Verarbeitungseinheit eine Verarbeitung einer weiteren Verschmälerung einer Halbwertsbreite eines Variationswertes eines verarbeiteten Signals mit Bezug auf eine Wellenlänge in Eingabelicht in wenigstens einem beliebigen der N + 1 oder mehr verarbeiteten Signale durchführen.
  • In der Verarbeitungseinheit kann die Verarbeitungseinheit wenigstens ein verarbeitetes Signal mit einer gemeinsamen spektralen Charakteristik in dem verarbeiteten Signal in dem ersten Einzelbild bzw. dem verarbeiteten Signal in dem zweiten Einzelbild beinhalten.
  • Die Verarbeitungseinheit kann zum Durchführen einer dynamischen Korrektur eines Subjekts durch Verwenden eines verarbeiteten Signals mit der gemeinsamen spektralen Charakteristik in der Lage sein.
  • Um die zuvor beschriebenen Probleme zu lösen, kann gemäß der vorliegenden Offenbarung eine elektronische Vorrichtung einschließlich des Bildgebungselements bereitgestellt werden.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
    • 1 ist ein Diagramm, das ein Beispiel für eine Basiseinheit einer Pixeleinheit gemäß der vorliegenden Ausführungsform veranschaulicht.
    • 2 ist ein Diagramm, das spektrale Charakteristiken von Pixeln veranschaulicht.
    • 3A ist ein Diagramm, das ein Beispiel für Ausgabewerte für Wellenlängen von zwei Pixeln veranschaulicht.
    • 3B ist ein Diagramm, das ein Beispiel für Ausgabewerte für Wellenlängen von zwei anderen Pixeln veranschaulicht.
    • 4 ist ein Diagramm, das ein Verarbeitungsbeispiel veranschaulicht, in dem eine Farbmatrixoperation von 12 Zeilen und 8 Spalten an einem Ausgabesignalwert eines Pixels durchgeführt wird.
    • 5 ist ein Diagramm, das ein Konfigurationsbeispiel eines Bildgebungselements gemäß der vorliegenden Ausführungsform veranschaulicht.
    • 6A ist ein Diagramm, das ein Konfigurationsbeispiel eines Bildgebungsmoduls gemäß der vorliegenden Ausführungsform veranschaulicht.
    • 6B ist ein Diagramm, das ein anderes Konfigurationsbeispiel des Bildgebungsmoduls gemäß der vorliegenden Ausführungsform veranschaulicht.
    • 6C ist ein Diagramm, das noch ein anderes Konfigurationsbeispiel des Bildgebungsmoduls gemäß der vorliegenden Ausführungsform veranschaulicht.
    • 7 ist ein Diagramm, das ein Ausgabesignalbeispiel des Bildgebungselements in einem Fall veranschaulicht, in dem ein Bandpassfilter verwendet wird.
    • 8A ist ein Diagramm, das ein Konfigurationsbeispiel des Bildgebungsmoduls gemäß einer dritten Ausführungsform veranschaulicht.
    • 8B ist ein Diagramm, das ein Konfigurationsbeispiel des Bildgebungsmoduls ohne eine Linse veranschaulicht.
    • 9 ist ein Diagramm, das ein Konfigurationsbeispiel des Bildgebungsmoduls gemäß einer vierten Ausführungsform veranschaulicht.
    • 10 ist ein Diagramm, das ein Pixelarraybeispiel von Basiseinheiten von Pixeleinheiten veranschaulicht.
    • 11 ist ein Diagramm, das ein Pixelarraybeispiel von Basiseinheiten der Pixeleinheiten veranschaulicht, die sich von jenen in 10 unterscheiden.
    • 12 ist ein Diagramm, das ein Pixelarraybeispiel von Basiseinheiten der Pixeleinheiten veranschaulicht, die sich weiter unterscheiden.
    • 13 ist ein Diagramm, das ein Pixelarraybeispiel von Basiseinheiten der Pixeleinheiten veranschaulicht, die sich von jenen in 10 bis 12 unterscheiden.
    • 14 ist ein Diagramm, das ein Beispiel für eine Basiskonfiguration der Pixeleinheit gemäß einer fünften Ausführungsform veranschaulicht.
    • 15 ist ein Diagramm, das ein Beispiel für eine andere Basiskonfiguration der Pixeleinheit gemäß der fünften Ausführungsform veranschaulicht.
    • 16 ist ein Diagramm, das ein Beispiel für Pixel veranschaulicht, die auf eine analoge Weise addiert und gelesen werden können.
    • 17 ist ein Diagramm, das einen Teil einer Querschnittsansicht der Pixeleinheit gemäß einer sechsten Ausführungsform veranschaulicht.
    • 18 ist ein Diagramm, das ein Beispiel veranschaulicht, bei dem die Bildgebungsmodule auf ein Smartphone als eine elektronische Vorrichtung angewandt sind.
    • 19 ist ein Diagramm, das ein Beispiel veranschaulicht, bei dem die Bildgebungsmodule auf eine am Kopf befestigte Anzeige als eine elektronische Vorrichtung angewandt sind.
    • 20 ist ein Diagramm, das ein Beispiel für spektrale Charakteristiken veranschaulicht.
  • WEISE ZUM AUSFÜHREN DER ERFINDUNG
  • Nachfolgend werden Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die Zeichnungen beschrieben. Es wird angemerkt, dass in den Zeichnungen, die an die vorliegende Beschreibung angehängt sind, zur besseren Veranschaulichung und zum einfachen Verständnis Maßstäbe, vertikale und horizontale Abmessungsverhältnisse und dergleichen geeignet geändert und gegenüber tatsächlichen übertrieben sind.
  • (Erste Ausführungsform)
  • 1 ist ein Diagramm, das ein Beispiel für eine Basiseinheit einer Pixeleinheit 120 gemäß der vorliegenden Ausführungsform veranschaulicht. Bei der vorliegenden Ausführungsform werden, wenn die Lichtempfangsoberfläche in rechteckige Pixelblöcke einschließlich mehrerer Pixel unterteilt ist, die Pixelblöcke als Basiseinheiten bezeichnet. 1 veranschaulicht 4 × 4 Pixel als eine Pixelgruppe, die eine Basiseinheit darstellt. In der Pixeleinheit 120 gemäß der vorliegenden Ausführungsform sind zum Beispiel solche Basiseinheiten wiederholt horizontal und vertikal angeordnet. Es wird angemerkt, dass die Pixeleinheit 120 gemäß der vorliegenden Ausführungsform solche Basiseinheiten in der Größenordnung von Millionen beinhalten kann.
  • Die Arten der Pixel R, B, G, Y, C, IR, M und W sind gemäß Empfindlichkeitscharakteristiken mit Bezug auf eine Lichtempfangswellenlänge klassifiziert. In jedem Pixel sind zum Beispiel On-Chip-Farbfilter von Rot (R), Blau (B), Grün (G), Gelb (Y), Cyan (C), Infrarot (IR), Magenta (M) und Weiß (W) gebildet. Das heißt, Bezugszeichen von R, B, G, Y, C, IR, M und W sind so zugewiesen, dass die Art jedes Pixels dem Farbfilter entspricht. Die Rot(R)-, Blau(B)-, Grün(G)-, Gelb(Y)-, Cyan(C)-, Infrarot(IR)-, Magenta(M)- und Weiß(W)-Filter weisen Charakteristiken des Transmittierens von Licht in einem Rotband, einem Blauband, einem Grünband, einem Gelbband, einem Cyanband, einem Infrarotband, einem Magentaband bzw. einem Weißband auf.
  • Wie in 1 veranschaulicht, sind in der oberen Zeile Pixel, die Grün (G), Blau (B), Gelb (Y) und Cyan (C) entsprechen, in dieser Reihenfolge von links angeordnet. In einer weiteren unteren Zeile sind Pixel, die Rot (R), Infrarot (IR, was als Schwarz bezeichnet werden kann), Magenta (M)und Weiß (W) entsprechen, in dieser Reihenfolge von links angeordnet. In einer weiteren unteren Zeile sind Pixel, die Gelb (Y), Cyan (C), Grün (G) und Blau (B) entsprechen, in dieser Reihenfolge von links angeordnet. In der untersten Zeile sind Pixel, die Magenta (M), Weiß (W), Rot (R), und Infrarot (IR) entsprechen, in dieser Reihenfolge von links angeordnet.
  • 2 ist ein Diagramm, das spektrale Charakteristiken der Pixel R, B, G, Y, C, IR, M und W veranschaulicht. Die vertikale Achse repräsentiert einen Quanteneffekt (QE) und die horizontale Achse repräsentiert eine Wellenlänge. Der Quanteneffekt QE ist ein Wert, der durch Teilen einer Lichtempfangsempfindlichkeit mit Bezug auf eine Wellenlänge der Pixel R, B, G, Y, C, IR, M oder W durch die Wellenlänge erhalten wird. 2 veranschaulicht Spektralkurven von acht Arten von Quanteneffekten QE, die Ausgaben der Pixel R, B, G, Y, C, IR, M und W entsprechen. Wie in 2 veranschaulicht, wird Eingabelicht, das in die Pixel R, B, G, Y, C, IR, M und W eingegeben wird, für jede Wellenlänge gemessen (dispergiert), und das Verhältnis eines Signalwertes zu dem Licht wird als eine spektrale Charakteristik (spektrale Verteilung) repräsentiert. Dementsprechend geben Spektralkurven, die die spektralen Charakteristiken der Pixel R, B, G, Y, C, IR, M und W angeben, Informationen an, wie etwa welchen Wellenlängenbereich einer Farbe ein Pixel aufweist und welche Form eine Spitze aufweist. 2 veranschaulicht acht Arten spektraler Kurven, die den Ausgaben der Pixel R, B, G, Y, C, IR, M und W entsprechen.
  • Jede der Spektralkurven der Pixel R, B, G, Y, C, IR, M, und W weist eine breite spektrale Breite (Halbwertsbreite) auf. Bei der vorliegenden Ausführungsform wird die Anzahl an Signalwerten für einen vorbestimmten Wellenlängenbereich, zum Beispiel 300 bis 900 Nanometer, als eine Spektralzahl bezeichnet. Zum Beispiel ist die Anzahl an Spektralkurven in 2 acht, da es acht Spektralkurven gibt. Des Weiteren kann bei der vorliegenden Ausführungsform der Signalwert als ein Pixelwert bezeichnet werden. Informationen, die Farben, wie etwa R, B, G, Y, C, IR, M, und W, angeben, sind mit dem Signalwert assoziiert. Alternativ dazu sind Informationen, die Farben, wie etwa R, B, G, Y, C, IR, M, und W, angeben, mit Informationen eines Arrays von Bilddaten assoziiert, die durch Signalwerte gegeben sind.
  • 3A ist ein Diagramm, das ein Beispiel für Ausgabewerte 022 und 024 für Wellenlängen von zwei Pixeln veranschaulicht. Die vertikale Achse repräsentiert einen Ausgabewert und die horizontale Achse repräsentiert eine Wellenlänge. Bei dem Beispiel aus 3A gibt es keine Überlappung zwischen den Ausgabewerten 022 und 024 für die Wellenlängen von zwei Pixeln. Andererseits ist 3B ein Diagramm, das ein Beispiel für Ausgabewerte 026 und 028 für Wellenlängen von zwei anderen Pixeln veranschaulicht. Die vertikale Achse repräsentiert einen Ausgabewert und die horizontale Achse repräsentiert eine Wellenlänge. Bei der vorliegenden Ausführungsform wird, falls es eine Überlappung, wie etwa der Ausgabewerte 026 und 028, gibt, eine Spektrumserzeugungsverarbeitung zum Reduzieren der Überlappung durchgeführt.
  • Zum Beispiel wird eine Kombination aus Ausgabesignalwerten der Pixel R, B, G, Y, C, IR, M und W mit einem Koeffizienten multipliziert, um ein neues Ausgabesignal gemäß der spektralen Charakteristik zu erzeugen. Insbesondere wird, wie in Ausdruck (1) veranschaulicht, der Signalwert des Y-Pixels mit einem Koeffizienten a multipliziert, wird der Signalwert des G-Pixels mit einem Koeffizienten -b multipliziert und wird der Signalwert des B-Pixels mit einem Koeffizienten -c multipliziert, und Ergebnisse werden addiert. Dementsprechend kann der Ausgabesignalwert α mit einer neuen spektralen Charakteristik erzeugt werden.
    [Ausdruck 1] α = aY − bG − cB
    Figure DE112021005519T5_0001
  • Auf diese Weise ist es zum Beispiel durch Berechnen der Farbmatrix von N Zeilen und 8 Spalten mit Bezug auf die Ausgabesignalwerte der Pixel R, B, G, Y, C, IR, M und W möglich, Signalwerte mit N neuen spektralen Charakteristiken zu erhalten. Zum Beispiel kann die Farbmatrix im Voraus durch ein anfängliches Experiment zur Zeit der Herstellung, eine Berechnungssimulation oder dergleichen festgelegt werden.
  • 4 ist ein Diagramm, das ein Beispiel für ein verarbeitetes Signal veranschaulicht, das durch Durchführen einer Farbmatrixoperation von 12 Zeilen und 8 Spalten an den Ausgabesignalwerten der Pixel R, B, G, Y, C, IR, M und W erhalten wird, die in 2 veranschaulicht sind. α repräsentiert eine Spitzenposition der spektralen Charakteristik, die in dem Ausdruck (1) veranschaulicht ist. Das heißt, dass in der Farbmatrix aus 12 Zeilen und 8 Spalten die Koeffizienten, die Matrixparameter der Zeile sind, die der Ausgabe α entspricht, zum Beispiel (0, -c, -b, a, 0, 0, 0 und 0) sind. Insbesondere wird unter der Annahme, dass die Ausgabewerte der Pixel R, B, G, Y, C, IR, M und W die Signalwertspalten (R, B, G, Y, C, IR, M und W) sind, der Zeilenkoeffizient (0, -c, -b, a, 0, 0, 0 und 0) × die Signalwertspalte (R, B, G, Y, C, IR, M und W) durch Ausdruck (1) ausgedrückt. Des Weiteren kann bei der vorliegenden Ausführungsform, weil zum Beispiel das W-Pixel eine breitere Halbwertsbreite in dem Quanteneffekt (QE) aufweist, ein breites Spektralgebiet abgedeckt werden. Dementsprechend ist es möglich, ein verarbeitetes Signal mit einer neuen spektralen Charakteristik, die ein breites Spektralgebiet abdeckt, durch Berechnung mit den Ausgabesignalen der anderen Pixel R, B, G, Y, C, IR und M zu erhalten. Es wird angemerkt, dass dies gleichermaßen auf Grau zutrifft, wobei ein Transmissionsgrad des W-Pixels reduziert wird, und ein Graupixel kann verwendet werden. Wie zuvor beschrieben, beinhaltet das Pixel gemäß der vorliegenden Ausführungsform ein Weißpixel und/oder ein Graupixel mit einer Empfindlichkeit in einem vorbestimmten Wellenlängenbereich, zum Beispiel einem breiten Wellenlängenband, das mit einem Wellenlängenband mit einer Empfindlichkeit anderer Pixel R, B, G, Y, C, IR und M für Eingabelicht von 300 bis 1000 Nanometer überlappt.
  • Des Weiteren können durch Durchführen einer Berechnungsverarbeitung an den Ausgabesignalen der Pixel R, B, G, Y, C, IR, M und W die spektralen Charakteristiken des Bildgebungselements gemäß dem Zweck geändert werden. Zum Beispiel kann in einer Farbmatrix von N Zeilen und 8 Spalten N größer als 8 sein. Wie zuvor beschrieben, ist es, falls die Anzahl an Farbfiltern N ist, möglich, eine Ausgabe mit einer Spektralzahl von N + 1 oder größer zu erzeugen. Mit anderen Worten können die spektralen Charakteristiken (siehe zum Beispiel 20) fein in einem Zustand gemacht werden, in dem die Anzahl an Farbfiltern verringert wird. Dementsprechend können spektrale Charakteristiken fein in einem Zustand gemacht werden, in dem eine Abnahme der Auflösung unterdrückt wird. Es wird angemerkt, dass bei der vorliegenden Ausführungsform das Verfeinern spektraler Charakteristiken bedeutet, dass die Halbwertsbreite der Spektralkurve (siehe 2 und 4) schmaler als jene vor der Verarbeitung gemacht wird und die Anzahl an Spektralkurven erhöht wird.
  • Hier wird eine schematische Basiskonfiguration des Bildgebungselements gemäß der vorliegenden Ausführungsform unter Bezugnahme auf 5 beschrieben. 5 ist ein Diagramm, das ein Konfigurationsbeispiel des Bildgebungselements gemäß der vorliegenden Ausführungsform veranschaulicht. Wie in 5 veranschaulicht, ist bei der vorliegenden Ausführungsform zum Beispiel eine Verarbeitungseinheit, die eine Signalverarbeitung durchführt, wie zuvor beschrieben, in Logikschaltkreisen 334, 345 und 355 in Bildgebungselementen (Bildsensoren) 330, 340 und 350 konfiguriert.
  • Als ein erstes Beispiel ist das Bildgebungselement 330, das in einem oberen Teil aus 5 veranschaulicht ist, durch Montieren eines Pixelgebiets 332, eines Steuerschaltkreises 333 und des Logikschaltkreises 334 einschließlich des zuvor beschriebenen Signalverarbeitungsschaltkreises in einem Halbleiterchip 331 konfiguriert.
  • Als ein zweites Beispiel beinhaltet das Bildgebungselement 340, das in einem mittleren Teil aus 5 veranschaulicht ist, einen ersten Halbleiterchipteil 341 und einen zweiten Halbleiterchipteil 342. Ein Pixelgebiet 343 und ein Steuerschaltkreis 344 sind auf dem ersten Halbleiterchipteil 341 montiert und der Logikschaltkreis 345 einschließlich des zuvor beschriebenen Signalverarbeitungsschaltkreises ist auf dem zweiten Halbleiterchipteil 342 montiert. Dann werden der erste Halbleiterchipteil 341 und der zweite Halbleiterchipteil 342 elektrisch miteinander verbunden, wodurch das Bildgebungselement 340 als ein Halbleiterchip gebildet wird.
  • Als ein drittes Beispiel beinhaltet das Bildgebungselement 350, das in einem unteren Teil aus 5 veranschaulicht ist, einen ersten Halbleiterchipteil 351 und einen zweiten Halbleiterchipteil 352. Das Pixelgebiet 353 ist auf dem ersten Halbleiterchipteil 351 montiert und der Steuerschaltkreis 354 und der Logikschaltkreis 355 einschließlich des zuvor beschriebenen Signalverarbeitungsschaltkreises sind auf dem zweiten Halbleiterchipteil 352 montiert. Dann werden der erste Halbleiterchipteil 351 und der zweite Halbleiterchipteil 352 elektrisch miteinander verbunden, wodurch das Bildgebungselement 350 als ein Halbleiterchip gebildet wird.
  • 6A ist ein Diagramm, das ein Konfigurationsbeispiel eines Bildgebungsmoduls 110 gemäß der vorliegenden Ausführungsform veranschaulicht. Das Bildgebungsmodul 110 beinhaltet ein Linsensystem 112, ein optisches Filter 114, ein Bildgebungselement 116 und eine Speicherungseinheit (Speicher: EEPROM) 118.
  • Das Linsensystem 112 bildet ein Bild von Licht von einem Subjekt auf der Pixeleinheit 120 über das optische Filter 114. Das optische Filter 114 ist zum Beispiel ein Infrarotsperrfilter (IR-Sperrfilter). Es wird angemerkt, dass das optische Filter 114 möglicherweise nicht bereitgestellt ist. Des Weiteren wird im Allgemeinen das optische Filter 114 für das Bildgebungselement 116 gemäß dem Zweck einer Verarbeitung geändert. Zum Beispiel kann, wie nachfolgend beschrieben, das optische Filter 114 als ein Bandpassfilter, Plasmon, einen organischen fotoelektrischen Umwandlungsfilm oder dergleichen verwendet werden. Das heißt, dass bei der vorliegenden Ausführungsform Objekte, die die spektrale Form (siehe 2) beeinflussen, kollektiv als Filter bezeichnet werden. Wie zuvor beschrieben, können, da das Linsensystem 112 und das optische Filter 114 angebracht werden, nachdem das Bildgebungselement 116 hergestellt wurde, die Signalverarbeitungseinheit des Bildgebungselements 116 die Charakteristiken des Linsensystems 112 und des Filters einschließlich des optischen Filters 114 zur Zeit der Herstellung nicht erkennen.
  • Des Weiteren wird bei der vorliegenden Ausführungsform das Erfassen zweidimensionaler Bilddaten allgemein als Bilderfassung bezeichnet. Das heißt, dass Bildgebung auch Ausgeben eines Ausgabesignals von dem Bildgebungselement 11 als Erfassungsdaten, wie etwa Objektidentifikation und Zustandserkennung, einschließt.
  • Das Bildgebungselement 116 entspricht zum Beispiel den Bildgebungselementen (Bildsensoren) 330, 340 und 350, die in 5 veranschaulicht sind, und beinhaltet die Pixeleinheit 120, einen AD-Wandler 122, eine Lichtquellenschätzungseinheit 124, eine Spektrumserzeugungsverarbeitungseinheit 126 und eine Ausgabeschnittstelle 128. Es wird angemerkt, dass die Pixeleinheit 120 in zum Beispiel den Pixelgebieten 332, 343 und 353 konfiguriert ist, die in 5 veranschaulicht sind. Des Weiteren sind der AD-Wandler 122, die Lichtquellenschätzungseinheit 124 und die Spektrumserzeugungsverarbeitungseinheit 126 in zum Beispiel den Logikschaltkreisen 334, 345 und 355 konfiguriert, die in 5 veranschaulicht sind. Es wird angemerkt, dass der AD-Wandler 122 gemäß der vorliegenden Ausführungsform einer Umwandlungseinheit entspricht. Ferner entsprechen die Lichtquellenschätzungseinheit 124 und die Spektrumserzeugungsverarbeitungseinheit 126 gemäß der vorliegenden Ausführungsform der Verarbeitungseinheit. Des Weiteren entspricht die Ausgabeschnittstelle 128 gemäß der vorliegenden Ausführungsform einer Ausgabeeinheit.
  • Die Pixeleinheit 120 beinhaltet zum Beispiel die in 1 beschriebene Basiseinheit. Von einem Subjekt über das Linsensystem 112 und das optische Filter 114 reflektiertes Licht wird durch jedes Pixel der Pixeleinheit 120 fotoelektrisch umgewandelt. Das heißt, die Pixeleinheit 120 kann das in 1 veranschaulichte Pixellayout sein oder kann ein anderes Layout sein.
  • Der AD-Wandler 122 wandelt ein Ausgabesignal jedes Pixels der Pixeleinheit 120 in einen digitalen Signalwert um. Es wird angemerkt, dass bei der vorliegenden Ausführungsform Daten mit einem Signalwert und Anordnungsinformationen des Signalwertes als Bilddaten oder ein Bild bezeichnet werden. Das heißt, dass der AD-Wandler 122 das Ausgabesignal jedes Pixels der Pixeleinheit 120 in einen digitalen Signalwert umwandelt, um ein multispektrales (Multispektrum- oder multispektrales) Bild zu erzeugen.
  • Die Lichtquellenschätzungseinheit 124 führt eine Lichtquellenschätzungsverarbeitung durch. Die Lichtquellenschätzungseinheit 124 führt eine Hintergrunddetektion an dem multispektralen Bild durch, das zum Beispiel durch den AD-Wandler 122 erzeugt wird, und legt ein Lichtquellenschätzungsgebiet basierend auf einem Ergebnis der Hintergrunddetektion fest. Dann führt die Lichtquellenschätzungseinheit 124 eine Schätzungsverarbeitung der Art der Lichtquelle, wenn das multispektrale Bild erfasst wird, basierend auf dem Lichtquellenschätzungsgebiet durch.
  • Das Eingabelicht, das in das Bildgebungselement 116 eingegeben wird, ist durch zum Beispiel einen Subjektreflexionsgrad × einem Lichtquellenspektrum × einem Linsentransmissionsgrad × einem Transmissionsgrad des optischen Filters × spektralen Charakteristiken von Pixeln (siehe zum Beispiel 2) angegeben. Dementsprechend wird, falls eine Charakteristik, die in dem multispektralen Bild erhalten werden soll, ein Subjektreflexionsgrad ist, ein Lichtquellenspektrum, das heißt ein Verarbeitungsergebnis der Lichtquellenschätzungseinheit 124, zum genauen Erkennen des Subjektreflexionsgrades verwendet. Zu dieser Zeit ist es, da der Linsentransmissionsgrad und der Transmissionsgrad des optischen Filters zur Zeit der Herstellung unbekannte Charakteristiken für das Bildgebungselement sind, möglich, eine Genauigkeit der Lichtquellenschätzungsverarbeitung durch externes Eingeben von Filtercharakteristiken einschließlich Informationen, wie etwa des Linsentransmissionsgrades und des Transmissionsgrades des optischen Filters, in das Bildgebungselement 116 weiter zu verbessern.
  • Die Spektrumserzeugungsverarbeitungseinheit 126 erzeugt ein verarbeitetes Signal, das dem Spektrum entspricht, zum Beispiel durch eine Farbmatrixoperation einschließlich Ausdruck (1). Zu dieser Zeit wird eine Berechnungsverarbeitung basierend auf dem Sensorspektrum durchgeführt. Das heißt, dass, falls sich die spektrale Charakteristik in dem Linsensystem 112 und dem optischen Filter 114 ändert, die spektrale Charakteristik als das ursprüngliche Spektrum berechnet wird. Zum Beispiel wird die Farbmatrixoperation einschließlich Ausdruck (1) als eine Basis der Berechnungsverarbeitung verwendet, falls sich aber die spektralen Charakteristiken in dem Linsensystem 112 und dem optischen Filter 114 ändern, werden die Koeffizienten der Farbmatrixoperation einschließlich Ausdruck (1) unter Verwendung der optischen Charakteristiken geändert.
  • Es wird angemerkt, dass die Spektrumserzeugungsverarbeitungseinheit 126 gemäß der vorliegenden Ausführungsform ein verarbeitetes Signal (das als ein Pixelsignal oder ein Pixelwert bezeichnet werden kann), das dem Spektrum entspricht, zum Beispiel durch die Farbmatrixoperation einschließlich Ausdruck (1) erzeugt, ist aber nicht darauf beschränkt. Zum Beispiel kann bewirkt werden, dass das neuronale Netz (NN) durch Lerndaten lernt, in denen Ausgabesignale der Pixel R, B, G, Y, C, IR, M und W (siehe 2) als Eingabesignale verwendet werden und ein verarbeitetes Signal, das einem Zielspektrum entspricht, als ein Trainingssignal verwendet wird. Das heißt, dass die Spektrumserzeugungsverarbeitungseinheit 126 unter Verwendung des erlernten neuronalen Netzes (NN) konfiguriert werden kann. Auch in diesem Fall ist es wünschenswert, die Charakteristiken des Linsensystems 112 und des optischen Filters 114 einzugeben. Außerdem können die spektralen Charakteristiken selbst als die optische Charakteristik von außen eingegeben werden oder kann ein Parameter, nachdem eine gewisse Berechnung hinzugefügt wurde, eingegeben werden. Zum Beispiel kann ein Matrixparameter eingegeben werden, der als eine Matrixoperation, wie etwa eine Linearmatrix- oder Inverse-Matrix-Operation, verwendet wird. Des Weiteren erzeugt die Spektrumserzeugungsverarbeitungseinheit 126 auch Arrayinformationen eines erzeugten Signalwerts basierend auf Informationen, die von der Speicherungseinheit 118 bereitgestellt werden. Wie zuvor beschrieben, wandelt die Spektrumserzeugungsverarbeitungseinheit 126 die Bilddaten mit N Farben in Bilddaten mit einer Farbzahl von N + 1 oder mehr um.
  • Das verarbeitete Signal mit einer vorbestimmten spektralen Charakteristik, das durch die Spektrumserzeugungsverarbeitungseinheit 126 erzeugt wird, wird über die Ausgabe-SST 128 ausgegeben. Es wird angemerkt, dass, wie nachfolgend beschrieben wird, das verarbeitete Signal, nachdem eine Verarbeitung zum Ändern von Spezifikationen eines Ausgabebildes, wie etwa Pixelinterpolation oder Pixelumsortierung, durchgeführt wurde, über die Ausgabe-SST ausgegeben werden kann.
  • Bei einer herkömmlichen Verarbeitung wird eine Verarbeitung der Spektrumserzeugungsverarbeitungseinheit 126 durch Softwareverarbeitung oder dergleichen nach einer Ausgabe von dem Bildgebungselement 116 ausgeführt. Dementsprechend ist es, falls eine Verarbeitung in einer anschließenden Stufe durchgeführt wird, wie in einer herkömmlichen Verarbeitung, erforderlich, zu bewirken, dass das Bildgebungselement 116 Ausgabesignale (Bilddaten) ausgibt, die von sämtlichen Pixeln ausgegeben werden. Zum Beispiel sind bei dem zuvor beschriebenen Beispiel wenigstens drei Ausgabesignale der Pixel Y, G und B erforderlich, um das Spektrum α zu erhalten. Wie zuvor beschrieben, gibt es, wenn die Datengröße des Ausgabesignals zunimmt, einen nachteiligen Effekt, dass die Menge an Daten zunimmt und die Bildwiederholrate des Bildgebungselements beeinflusst wird oder ein Leistungsverbraucht zunimmt. Andererseits kann die Spektrumserzeugungsverarbeitungseinheit 126 gemäß der vorliegenden Ausführungsform eine Berechnungsverarbeitung in dem Bildgebungselement 116 durchführen. Dementsprechend kann die Spektrumserzeugungsverarbeitungseinheit 126 gemäß der vorliegenden Ausführungsform eine Zunahme der Menge an Daten unterdrücken und den Einfluss der Bildwiederholrate des Bildgebungselements 116 und die Zunahme des Leistungsverbrauchs unterdrücken.
  • Indessen ist die Verarbeitung der Spektrumserzeugungsverarbeitungseinheit 126 in dem Bildgebungselement 116 implementiert. Falls ein Berechnungsschaltkreis, wie etwa die Spektrumserzeugungsverarbeitungseinheit 126, in dem Bildgebungselement 116 montiert ist, ist es nicht möglich, viele Spektrumsvariationsfaktoren, wie etwa Variationen in dem Herstellungsprozess und von Charakteristiken des optischen Filters 114, der in einem anschließenden Prozess des Sensorherstellungsprozesses montiert wird, zu berücksichtigen. Dementsprechend ermöglicht, wie in 6 veranschaulicht, die Speicherungseinheit 118, dass Informationen, wie etwa Filtercharakteristiken, von außerhalb des Bildgebungselements 116 eingegeben werden. Das heißt, dass die Speicherungseinheit 118 Informationen einschließlich Parameter bereitstellt, die durch die Lichtquellenschätzungseinheit 124 und die Spektrumserzeugungsverarbeitungseinheit 126 benötigt werden. Wie zuvor beschrieben, beinhaltet der Parameter eine Matrixoperation, wie etwa eine Linearmatrix, einen Matrixparameter, der für eine Inverse-Matrix-Operation verwendet wird, und dergleichen. Es wird angemerkt, dass ein Verfahren zum Eingeben von Informationen, wie etwa von Filtercharakteristiken, beliebig sein kann, und die Informationen können direkt von dem Anwendungsprozessor über eine beliebige SST (I2C, I3C, SPI, MIPI oder dergleichen) eingegeben werden.
  • 6B ist ein Diagramm, das ein anderes Konfigurationsbeispiel des Bildgebungsmoduls 110 gemäß der vorliegenden Ausführungsform veranschaulicht. Das Bildgebungsmodul 110 beinhaltet das Linsensystem 112, das optische Filter 114, das Bildgebungselement 116 und eine Informationseingabeeinheit 1180. Die Informationseingabeeinheit 1180 speichert zum Beispiel Anpassungswerte, wie etwa eine Filtercharakteristik und eine erforderliche Wellenlänge und Optische-Charakteristik-Informationen in Assoziation mit Parametern, wie etwa „1“ und „2“. Dementsprechend werden, wenn zum Beispiel Parameter, wie etwa „1“ und „2“, von dem Anwendungsprozessor 1120 übertragen werden, Anpassungswerte und optische Charakteristiken, die mit den Parametern, wie etwa „1“ und „2“, assoziiert sind, in der Lichtquellenschätzungseinheit 124, der Spektrumserzeugungsverarbeitungseinheit 126 und dergleichen eingestellt.
  • 6C ist ein Diagramm, das ein noch anderes Konfigurationsbeispiel des Bildgebungsmoduls 110 gemäß der vorliegenden Ausführungsform veranschaulicht. Das Bildgebungsmodul 110 beinhaltet das Linsensystem 112, das optische Filter 114, das Bildgebungselement 116 und eine interne Speicherungseinheit (OTP) 1122. Die interne Speicherungseinheit 1122 weist eine Konfiguration äquivalent zu jener der Speicherungseinheit 118 auf. Das heißt, dass die interne Speicherungseinheit 1122 Informationen einschließlich Parameter bereitstellt, die durch die Lichtquellenschätzungseinheit 124 und die Spektrumserzeugungsverarbeitungseinheit 126 benötigt werden. Es wird angemerkt, dass die Speicherungseinheit 118, die Informationseingabeeinheit 1180, die interne Speicherungseinheit 1122 und eine beliebige SST (I2C, I3C, SPI, MIPI oder dergleichen) gemäß der vorliegenden Ausführungsform einer Erfassungseinheit entsprechen.
  • Wie zuvor beschrieben, verwendet gemäß der vorliegenden Ausführungsform die Spektrumserzeugungsverarbeitungseinheit 126 Signalwerte der Pixel R, B, G, Y, C, IR, M und W, die den N Farbfiltern entsprechen, als Eingabesignal und erzeugt N + 1 oder mehr verarbeitete Signale mit vorbestimmten spektralen Charakteristiken. Dementsprechend ist es möglich, einen Signalwert mit einer Spektralzahl von N + 1 oder größer zu erzeugen. Da die Spektrumserzeugungsverarbeitungseinheit 126 in dem Bildgebungselement 116 konfiguriert ist, ist es außerdem möglich, einen Signalwert von N + 1 oder mehr mit einer vorbestimmten spektralen Charakteristik ohne Ausgeben von Bilddaten nach außerhalb des Bildgebungselements 116 zu erzeugen, und ist es möglich, eine Last eines Datentransfers zu verringern. Da Informationen, die zur Berechnungsverarbeitung erforderlich sind, wie etwa Filtercharakteristiken, von der Speicherungseinheit 118, einer beliebigen SST (I2C, I3C, SPI, MIPI oder dergleichen) und dergleichen eingegeben werden können, ist es zu dieser Zeit möglich, eine Berechnungsverarbeitung der Lichtquellenschätzungseinheit 124 und der Spektrumserzeugungsverarbeitungseinheit 126 mit höherer Genauigkeit durchzuführen, selbst wenn die Filtercharakteristiken nach der Herstellung des Bildgebungselements 116 geändert oder bestätigt werden.
  • (Zweite Ausführungsform)
  • Das Bildgebungsmodul 110 gemäß der ersten Ausführungsform verwendet ein Infrarotsperrfilter (IR-Sperrfilter) für das optische Filter 114, aber das Bildgebungsmodul 110 gemäß der ersten Ausführungsform unterscheidet sich darin, dass ein Bandpassfilter (BPF) für das optische Filter 114 verwendet wird. Nachfolgend werden Unterschiede von dem Bildgebungsmodul 110 gemäß der ersten Ausführungsform beschrieben.
  • 7 ist ein Diagramm, das ein Ausgabesignalbeispiel des Bildgebungselements 116 in einem Fall veranschaulicht, in dem ein Bandpassfilter verwendet wird. Ein linkes Diagramm A ist ein Ausgabebeispiel, das spektrale Charakteristiken der Pixeleinheit 120 in einem Fall veranschaulicht, in dem das optische Filter 114 nicht bereitgestellt ist. Zum Beispiel repräsentiert eine vertikale Achse einen Quanteneffekt als einen Ausgabewert (Ausgabe) und repräsentiert eine horizontale Achse eine Wellenlänge. Ein mittleres Diagramm B ist ein Diagramm, das eine Wellenlängentransmissionscharakteristik des Bandpassfilters veranschaulicht. Die vertikale Achse repräsentiert einen Transmissionsgrad (Transparenz) und die horizontale Achse repräsentiert eine Wellenlänge. Ein rechtes Diagramm C ist ein Ausgabebeispiel, das spektrale Charakteristiken der Spektrumserzeugungsverarbeitungseinheit 126 in einem Fall veranschaulicht, in dem das optische Filter 114 vorhanden ist.
  • Wie in dem linken Diagramm A veranschaulicht, wird, falls zum Beispiel kein Bandpassfilter vorhanden ist, die spektrale Spitze in dem Infrarot(IR)-Gebiet reduziert. Dementsprechend wird es, selbst wenn die Spektrumsverarbeitungsoperation der Spektrumserzeugungsverarbeitungseinheit 126 durchgeführt wird, schwierig, ein Spektrum mit einer schmalen Halbwertsbreite zu erzeugen.
  • Wie in dem mittleren Diagramm B veranschaulicht, kann das Bandpassfilter das transmittierte Licht in dem Infrarot(IR)-Bereich auf zum Beispiel nur 800 bis 900 Nanometer verschmälern. Gleichermaßen kann das Bandpassfilter das transmittierte Licht in dem Sichtbares-Licht-Bereich auf zum Beispiel 400 bis 700 Nanometer verschmälern. Wenn die Spektrumsverarbeitungsoperation der Spektrumserzeugungsverarbeitungseinheit 126 durchgeführt wird, kann dementsprechend eine Spektralkurve mit einer schmalen Halbwertsbreite in dem Infrarot(IR)-Gebiet erhalten werden, wie in dem rechten Diagramm C veranschaulicht ist. Gleichermaßen kann eine Spektralkurve mit einer schmalen Halbwertsbreite in dem Sichtbares-Licht-Bereich erhalten werden.
  • In einem solchen Fall kann ein Signal einschließlich Charakteristikinformationen des Bandpassfilters von der Speicherungseinheit 118 oder einem Eingabesystem eingegeben werden (siehe 6). In diesem Fall können andere Parameter verwendet werden, die basierend auf den Charakteristiken des Bandpassfilters berechnet werden. Dementsprechend kann zum Beispiel der Koeffizient, der ein Parameter der Linearmatrix ist, die bei der Berechnung der Spektrumserzeugungsverarbeitungseinheit 126 verwendet wird, auf einen Koeffizienten geändert werden, der für die Charakteristiken des Bandpassfilters geeigneter ist. Das heißt, dass der Parameter der Linearmatrix, der dem Bandpassfilter entspricht, im Voraus in der Speicherungseinheit 118 gespeichert werden kann oder von dem Eingabesystem eingegeben werden kann(siehe 6). Es wird angemerkt, dass das Bandpassfilter gemäß der vorliegenden Ausführungsform in dem optischen Filter 114 angeordnet ist, aber nicht darauf beschränkt ist. Zum Beispiel kann ein Bandpassfilter in dem Bildgebungselement 116 konfiguriert sein.
  • Wie zuvor beschrieben, wird gemäß der vorliegenden Ausführungsform ein Bandpassfilter mit einer Transmissionscharakteristik in einem speziellen Wellenlängenbereich (400 bis 700 nm oder 800 bis 900 nm) für das optische Filter 114 verwendet. Dementsprechend kann die Spektrumserzeugungsverarbeitungseinheit 126 eine Spektralkurve mit einer schmalen Halbwertsbreite in einem Wellenlängenbereich erhalten, der einem speziellen Wellenlängenbereich (400 bis 700 nm oder 800 bis 900 nm) entspricht.
  • (Dritte Ausführungsform)
  • Das Bildgebungsmodul 110 gemäß der ersten Ausführungsform führt die Spektrumsverarbeitung zum Bewirken davon durch, dass die Anzahl an Spektren jedes Pixels des Einheitsteils in der Pixeleinheit 120 größer als die Art N des Farbfilter ist, das in dem Einheitsteil angeordnet ist, aber das Bildgebungsmodul 110 gemäß der dritten Ausführungsform unterschiedet sich darin, dass es auch möglich ist, die Spektrumsverarbeitung zum Bewirken davon durchzuführen, dass die Anzahl an Spektren einer Signalausgabe jedes Pixels des Einheitsteils in der Pixeleinheit 120 kleiner als die Art N des Farbfilter ist, das in dem Einheitsteil angeordnet ist. Nachfolgend werden Unterschiede von dem Bildgebungsmodul 110 gemäß der ersten Ausführungsform beschrieben.
  • 8A ist ein Diagramm, das ein Konfigurationsbeispiel des Bildgebungsmoduls 110 gemäß der dritten Ausführungsform veranschaulicht. Das Bildgebungsmodul 110 beinhaltet ferner eine zweite Eingabeeinheit 132, die Wellenlängeninformationen (AP) eingibt. Die zweite Eingabeeinheit 132 beinhaltet zum Beispiel einen Speicher. Alternativ dazu kann die zweite Eingabeeinheit 132 als eine Eingabeverarbeitungseinheit konfiguriert sein, die Informationen direkt von dem Anwendungsprozessor über eine beliebige SST (I2C, I3C, SPI, MIPI oder dergleichen) erfasst. Dementsprechend kann, selbst wenn die Wellenlängeninformationen (AP) nach der Herstellung des Bildgebungselements 116 geändert werden, die Änderung gehandhabt werden. Das Bildgebungselement 116 beinhaltet ferner eine Pixelinterpolationsverarbeitungseinheit 130.
  • Die Pixeleinheit 120 beinhaltet 4 × 4 Pixel als eine Pixelgruppe, die eine Basiseinheit darstellt. Des Weiteren sind zum Beispiel acht Arten von Farbfiltern On-Chip in der Pixelgruppe angeordnet, die die Basiseinheit darstellt. Dementsprechend ist die Anzahl an Spektren der Pixelgruppe, die die Basiseinheit der Pixeleinheit 120 darstellt, acht.
  • Basierend auf den Wellenlängeninformationen (AP), die von der zweiten Eingabeeinheit 132 eingegeben werden, erfasst die Spektrumserzeugungsverarbeitungseinheit 126 zum Beispiel einen Parameter, der für eine Matrixoperation verwendet wird, aus der Speicherungseinheit 118. Zum Beispiel führt, falls die Anzahl an Spektren der eingegebenen Wellenlängeninformationen (AP) 4 ist, die Spektrumserzeugungsverarbeitungseinheit 126 eine Berechnungsverarbeitung an einer Determinante von 4 Zeilen und 8 Spalten mit Bezug auf einen Ausgabesignalwert von 4 × 4 Pixeln durch. Es wird angemerkt, dass das Ausgabesignal von 4 × 4 Pixeln durch die AD-Umwandlungseinheit 122 in einen Digitalsignalwert umgewandelt wird.
  • Die Pixelinterpolationsverarbeitungseinheit 130 wandelt das Array von Pixelwerten von 4 × 4 Pixeln in ein Array von nur vier Farben durch Verwenden eines Verarbeitungsergebnisses der Spektrumserzeugungsverarbeitungseinheit 126 um. Die Pixelinterpolationsverarbeitungseinheit 130 kann auch eine Pixelinterpolationsverarbeitung durchführen, wenn das Array von Pixelwerten von 4 × 4 Pixeln in ein Array von nur vier Farben umgewandelt wird. Für diese Pixelinterpolationsverarbeitung kann ein (Demosaic-) Prozess zum Durchführen einer Interpolation von Informationen von Peripheriepixeln, wie in einer herkömmlichen Kamerasignalverarbeitung verwendet, durchgeführt werden oder kann eine Interpolationsverarbeitung unter Verwendung eines neuronalen Netzes verwendet werden. Auch in dieser Anordnungsreihenfolge kann die Pixelinterpolationsverarbeitungseinheit 130 eine Anordnung basierend auf Informationen durchführen, die von außerhalb basierend auf den Wellenlängeninformationen (AP) eingegeben werden, die von der zweiten Eingabeeinheit 132 eingegeben werden. Es wird angemerkt, dass die Spektrumserzeugungsverarbeitungseinheit 126 und die Pixelinterpolationsverarbeitungseinheit 130 gemäß der vorliegenden Ausführungsform der Verarbeitungseinheit entsprechen. Des Weiteren entspricht die zweite Eingabeeinheit 132 gemäß der vorliegenden Ausführungsform der Erfassungseinheit.
  • Wie zuvor beschrieben, kann durch die Prozesse der Spektrumserzeugungsverarbeitungseinheit 126 und der Pixelinterpolationsverarbeitungseinheit 130 eine Codierung von acht Farben in eine Codierung von vier Farben umgewandelt werden. Bei einer normalen Kamerasignalverarbeitung ist ein System oft so konstruiert, dass drei bis vier Farben verwendet werden, und es gibt auch einen Vorteil, dass ein großer Teil einer herkömmlichen Signalverarbeitung wiederverwendet werden kann, indem vier Farben oder weniger ausgegeben werden. Es wird angemerkt, dass, obwohl bei der vorliegenden Ausführungsform vier Farben umgewandelt werden, die Anzahl beliebig ist und nicht darauf beschränkt ist. Es wird angemerkt, dass, ähnlich der ersten Ausführungsform, die Spektrumserzeugungsverarbeitungseinheit 126 das Ausgabesignal in ein Ausgabesignal mit einer größeren Anzahl an Spektren als die Art N eines Farbfilters ändern kann, indem die für die Matrixoperation verwendeten Parameter geändert werden. In diesem Fall kann die Pixelinterpolationsverarbeitungseinheit 130 eine Codierung von N Farben in eine Codierung mit mehr als N Farben umwandeln.
  • 8B ist ein Diagramm, das ein Konfigurationsbeispiel des Bildgebungsmoduls 110 ohne eine Linse veranschaulicht. Wie in 8B veranschaulicht, kann das Bildgebungsmodul 110 ein linsenloses Bildgebungssystem sein, zum Beispiel eine Lochkamera oder eine Struktur aus Nadellochpixeln.
  • Wie zuvor beschrieben, führt gemäß der vorliegenden Ausführungsform das Bildgebungsmodul 110 die Spektrumsverarbeitung zum Bewirken davon durch, dass die Anzahl an Spektren der Signalausgabe jedes Pixels des Einheitsteils in der Pixeleinheit 120 kleiner als die Art N des Farbfilters ist, der in dem Einheitsteil angeordnet ist. Dementsprechend ist es möglich, zu einem Bilddatenformat der Verarbeitungseinheit in der anschließenden Stufe zu wechseln, die eine Verarbeitung unter Verwendung von Bilddaten des Bildgebungsmoduls 110 durchführt.
  • (Vierte Ausführungsform)
  • Das Bildgebungsmodul 110 gemäß der vierten Ausführungsform unterscheidet sich von dem Bildgebungsmodul 110 gemäß der dritten Ausführungsform darin, dass ein Ausgabesignal mit einer neuen spektralen Charakteristik unter Verwendung eines Ausgabesignals einer binokularen Kamera erzeugt wird. Unterschiede zu dem Bildgebungsmodul 110 gemäß der dritten Ausführungsform werden nachfolgend beschrieben.
  • 9 ist ein Diagramm, das ein Konfigurationsbeispiel des Bildgebungsmoduls 110 gemäß der vierten Ausführungsform veranschaulicht. Das Bildgebungsmodul 110 gemäß der vierten Ausführungsform beinhaltet ein erstes Linsensystem 112a, ein erstes optisches Filter 114a, ein erstes Bildgebungselement (Bildsensor 1) 116a, ein zweites Linsensystem 112b und ein zweites Bildgebungselement (Bildsensor 2) 116b. 9 veranschaulicht ferner einen Anwendungsverarbeitungsschaltkreis (Anwendungsprozessor) 200. In 9 ist „a“ an Komponenten bezüglich des ersten Bildgebungselements 116a angehängt und ist „b“ an Komponenten bezüglich des zweiten Bildgebungselements 116b angehängt. Des Weiteren sind ähnliche Komponenten zu jenen zuvor beschriebenen durch die gleichen Bezugsziffern bezeichnet und die Beschreibung davon wird weggelassen. Das heißt, dass das erste Bildgebungselement 116a eine Pixeleinheit 120a, einen AD-Wandler 122a, eine Klemmeinheit 132a und eine Ausgabeschnittstelle 128a beinhaltet. Andererseits beinhaltet das erste Bildgebungselement 116b eine Pixeleinheit 120b, einen AD-Wandler 122b, eine Klemmeinheit 132b, eine Eingabeschnittstelle 134b, eine Speichereinheit 136b, die Lichtquellenschätzungseinheit 124, eine Spektrumserzeugungsverarbeitungseinheit 126b, eine Pixelinterpolationsverarbeitungseinheit 130b, eine Ausgabeschnittstelle 128b und eine Informationseingabeeinheit 138b. Es wird angemerkt, dass die Informationseingabeeinheit 138b gemäß der vorliegenden Ausführungsform der Erfassungseinheit entspricht.
  • 10 ist ein Diagramm, das ein Pixelarraybeispiel von Basiseinheiten der Pixeleinheit 120a und der Pixeleinheit 120b veranschaulicht. Wie in 10 veranschaulicht, beinhaltet die Pixeleinheit 120a 4 × 4 Pixel als eine Basiseinheit und beinhaltet Pixel von Cyan, Magenta und Gelb.
  • Andererseits weist die Pixeleinheit 120b 4 × 4 Pixel als eine Basiseinheit auf und beinhaltet Pixel von Rot (Red), Grün (Green), Blau (Blue) und Infrarot (IR). Das heißt, dass ein Cyanpixel und ein Rotpixel eine komplementäre Farbbeziehung aufweisen, ein Magentapixel und ein Grünpixel eine komplementäre Farbbeziehung aufweisen und ein Gelbpixel und ein Blaupixel eine komplementäre Farbbeziehung aufweisen.
  • Wieder unter Bezugnahme auf 9 führt die Klemmeinheit 132a zum Beispiel eine Verarbeitung bezüglich des Grundpegels in dem Bild aus. Zum Beispiel definiert die Klemmeinheit 132a einen Schwarzpegel, subtrahiert den definierten Schwarzpegel von Bilddaten, die von dem AD-Wandler 122a ausgegeben werden, und gibt die Bilddaten aus.
  • Die Eingabeschnittstelle 134b empfängt erste Bilddaten, die von der Ausgabeschnittstelle 128a ausgegeben werden. Die Speichereinheit 136b speichert die ersten Bilddaten und zweiten Bilddaten, die von der Klemmeinheit 132b ausgegeben werden, in Assoziation miteinander. Die Informationseingabeeinheit 138b erfasst ein Signal einschließlich Informationen bezüglich der Filtercharakteristik und der erforderlichen Wellenlänge von dem Anwendungsverarbeitungsschaltkreis 200 und liefert das Signal an die Lichtquellenschätzungseinheit 124 und die Spektrumserzeugungsverarbeitungseinheit 126b.
  • Die Spektrumserzeugungsverarbeitungseinheit 126b erzeugt ein Ausgabesignal mit einer neuen spektralen Charakteristik für jede Basiseinheit durch Verwenden eines ersten Signals, das in jeder Basiseinheit der ersten Bilddaten enthalten ist, und eines zweiten Signals, das in jeder entsprechenden Basiseinheit der zweiten Bilddaten enthalten ist. Bei der vorliegenden Ausführungsform beinhaltet das erste Signal Ausgabesignale von Pixeln von Cyan, Magenta und Gelb. Andererseits beinhaltet das zweite Signal Ausgabesignale von Pixeln von Rot(Red)-, Grün(Green)-, Blau(Blue)- und Infrarot(IR)-Farben. Dementsprechend kann die Spektrumserzeugungsverarbeitungseinheit 126b Signale, die sieben Farben entsprechen, für jede Basiseinheit verarbeiten. Dann erzeugt die Spektrumserzeugungsverarbeitungseinheit 126b Signale mit M neuen spektralen Charakteristiken durch zum Beispiel eine Matrixoperation von M Zeilen und 7 Spalten. In diesem Fall kann M größer als 7 sein. Auf diese Weise kann M durch Verwenden von Ausgabesignalen der mehreren Bildgebungsmodule 110 größer als 7 gemacht werden. In diesem Fall können Signale in mehr Wellenlängenbändern als beim Verwenden von nur einem des ersten Bildgebungselements 116a und des zweiten Bildgebungselements 116b verwendet werden und kann eine Genauigkeit einer Spektrumsverarbeitung weiter verbessert werden. Wie aus diesen zu sehen ist, können die unterschiedlichen optischen Systeme 112a und 112b und der unterschiedliche erste Filter 114a in dem ersten Bildgebungselement 116a und dem zweiten Bildgebungselement verwendet werden und die Spektrumserzeugungsverarbeitungseinheit 126b kann Signale von mehr Wellenlängenbändern verwenden.
  • Es wird angemerkt, dass, falls ein Pixel einer Infrarot(IR)-Farbe enthalten ist, das zweite Bildgebungselement möglicherweise das Infrarotsperrfilter (IR-Sperrfilter) nicht enthält, da das Infrarotsperrfilter (IR-Sperrfilter) nicht verwenden werden kann. Alternativ dazu kann ein Bandpassfilter verwendet werden. Auf diese Weise ist es möglich, ein optisches Filter oder eine Linse zu verwenden, das/die für sowohl das erste Bildgebungselement 116a als auch das zweite Bildgebungselement geeignet ist.
  • 11 ist ein Diagramm, das ein Pixelarraybeispiel von Basiseinheiten der Pixeleinheit 120a und der Pixeleinheit 120b veranschaulicht, die von jenen in 10 verschieden sind. Wie in 11 veranschaulicht, beinhaltet die Pixeleinheit 120a 4 × 4 Pixel als eine Basiseinheit und beinhaltet Pixel von Cyan, Magenta und Gelb.
  • Andererseits weist die Pixeleinheit 120b 4 × 4 Pixel als eine Basiseinheit auf und beinhaltet Pixel von Rot, Grün und Blau. Das heißt, dass ein Cyanpixel und ein Rotpixel eine komplementäre Farbbeziehung aufweisen, ein Magentapixel und ein Grünpixel eine komplementäre Farbbeziehung aufweisen und ein Gelbpixel und ein Blaupixel eine komplementäre Farbbeziehung aufweisen.
  • 12 ist ein Diagramm, das ein Pixelarraybeispiel von Basiseinheiten der Pixeleinheit 120a und der Pixeleinheit 120b veranschaulicht, die sich weiter unterscheiden. Wie in 12 veranschaulicht, weist die Pixeleinheit 120a 4 × 4 Pixel als eine Basiseinheit auf und beinhaltet Pixel von Cyan, Magenta, Gelb und Grün.
  • Andererseits weist die Pixeleinheit 120b 4 × 4 Pixel als eine Basiseinheit auf und beinhaltet Pixel von Rot, Grün und Blau. Das heißt, dass ein Cyanpixel und ein Rotpixel eine komplementäre Farbbeziehung aufweisen, ein Magentapixel und ein Grünpixel eine komplementäre Farbbeziehung aufweisen und ein Gelbpixel und ein Blaupixel eine komplementäre Farbbeziehung aufweisen.
  • 13 ist ein Diagramm, das ein Pixelarraybeispiel von Basiseinheiten der Pixeleinheit 120a und der Pixeleinheit 120b veranschaulicht, die sich von jenen in 10 bis 12 unterscheiden. Wie in 13 veranschaulicht, beinhaltet die Pixeleinheit 120a 4 × 4 Pixel als eine Basiseinheit und beinhaltet Pixel von Cyan, Magenta und Gelb.
  • Andererseits weist die Pixeleinheit 120b 4 × 4 Pixel als eine Basiseinheit auf und beinhaltet Pixel von Rot, Grün, Blau und Weiß. Das heißt, dass ein Cyanpixel und ein Rotpixel eine komplementäre Farbbeziehung aufweisen, ein Magentapixel und ein Grünpixel eine komplementäre Farbbeziehung aufweisen und ein Gelbpixel und ein Blaupixel eine komplementäre Farbbeziehung aufweisen.
  • Wie zuvor beschrieben, erzeugt gemäß der vorliegenden Ausführungsform die Spektrumserzeugungsverarbeitungseinheit 126b das Ausgabesignal mit der neuen spektralen Charakteristik für jede Basiseinheit durch Verwenden des ersten Signals, das in jeder Basiseinheit der ersten Bilddaten enthalten ist, die durch das erste Bildgebungselement 116a erzeugt werden, und des zweiten Signals, das in jeder entsprechenden Basiseinheit der zweiten Bilddaten enthalten ist, die durch das zweite Bildgebungselement 116b erzeugt werden. Dementsprechend können Signale in mehr Wellenlängenbändern als beim Verwenden von nur einem des ersten Bildgebungselements 116a und des zweiten Bildgebungselements 116b verwendet werden und kann die Genauigkeit einer Spektrumsverarbeitung weiter verbessert werden.
  • (Fünfte Ausführungsform)
  • 14 ist ein Diagramm, das ein Beispiel für eine Basiskonfiguration der Pixeleinheit 120 gemäß der fünften Ausführungsform veranschaulicht. Wie in 14 veranschaulicht, sind die Pixel der Basiskonfiguration durch 8 × 8 konfiguriert. Des Weiteren beinhalten die Pixel, die aneinander angrenzen, auf der linken und rechten Seite eines der gleichen Farbfilter M, R, Y, G und C. Das heißt, dass Rechtecke, die in links und rechts aufgeteilt sind, der fotoelektrischen Umwandlungseinheit (Fotodiode) entsprechen. Wie zuvor beschrieben, kann das anzuwendende Pixelarray beliebig sein. Des Weiteren ist eine On-Chip-Linse für jede Farbe bereitgestellt. Die Form der On-Chip-Linse kann eine quadratische On-Chip-Linse sein oder kann eine andere Form, wie etwa ein Rechteck, sein. Die Pixeleinheit 120 gemäß der fünften Ausführungsform kann für die Pixeleinheiten 120 gemäß der ersten bis vierten Ausführungsform verwendet werden.
  • 15 ist ein Diagramm, das ein Beispiel für eine andere Basiskonfiguration der Pixeleinheit 120 gemäß der fünften Ausführungsform veranschaulicht. Wie in 15 veranschaulicht, sind die Pixel der Basiskonfiguration durch 4 × 4 konfiguriert. Des Weiteren können 2 × 2 Pixel auf eine analoge Weise addiert und gelesen werden und unterschiedliche Spektren können durch Addition und Lesen erhalten werden (siehe Patentdokument 2). Das heißt, obere linke 2 × 2 Pixel beinhalten Pixel M und R, obere rechte 2 × 2 Pixel beinhalten Pixel Y und G, untere linke 2 × 2 Pixel beinhalten Pixel Y und G und untere rechte 2 × 2 Pixel beinhalten Pixel C und B. Dann werden eine addierte Farbe Cmr der Pixel M und R, eine addierte Farbe Cyg der Pixel Y und G, eine addierte Farbe Cyg der Pixel Y und G und eine addierte Farbe Ccb der Pixel C und B ausgegeben, wie in dem rechten Diagramm veranschaulicht ist.
  • 16 ist ein Diagramm, das ein Beispiel für Pixel veranschaulicht, die auf eine analoge Weise addiert und gelesen werden können, ähnlich zu 15. Wie in 16 veranschaulicht, sind die Pixel der Basiskonfiguration durch 6 × 6 konfiguriert. Des Weiteren können die 3 × 3 Pixel auf eine analoge Weise addiert und gelesen werden und unterschiedliche Spektren können durch Addition und Lesen erhalten werden. Das heißt, obere linke 3 × 3 Pixel beinhalten Pixel M und R, obere rechte 3 × 3 Pixel beinhalten Pixel Y und G, untere linke 3 × 3 Pixel beinhalten Pixel Y und G und untere rechte 3 × 3 Pixel beinhalten Pixel C und B. Dann werden die addierte Farbe Cmr der Pixel M und R, die addierte Farbe Cyg der Pixel Y und G, die addierte Farbe Cyg der Pixel Y und G und die addierte Farbe Ccb der Pixel C und B ausgegeben, ähnlich dem rechten Diagramm aus 15. Die in 15 und 16 veranschaulichten Pixeleinheiten 120 können für die Pixeleinheiten 120 der ersten bis vierten Ausführungsform verwendet werden.
  • (Sechste Ausführungsform)
  • 17 ist ein Diagramm, das einen Teil einer Querschnittsansicht der Pixeleinheit 120 gemäß der sechsten Ausführungsform veranschaulicht. Wie in 17 veranschaulicht, beinhaltet die Pixeleinheit 120 zum Beispiel eine On-Chip-Linse 400, organische fotoelektrische Umwandlungsfilme 402, 404 und 406 und fotoelektrische Umwandlungselemente (Fotodiode) 404, 406 und 408. Der organische fotoelektrische Umwandlungsfilm 402 weist eine Funktion äquivalent zu jener eines Farbfilters auf, das kein Grünlicht transmittiert. Dementsprechend wird von dem durch den organischen fotoelektrischen Umwandlungsfilm 402 transmittierten Licht Magentafarblicht, das das verbleibende Licht ist, durch das fotoelektrische Umwandlungselement 408 fotoelektrisch umgewandelt. Gleichermaßen weist der organische fotoelektrische Umwandlungsfilm 404 eine Funktion äquivalent zu jener eines Farbfilters auf, das kein Rotlicht transmittiert. Dementsprechend wird von dem durch den organischen fotoelektrischen Umwandlungsfilm 404 transmittierten Licht Cyanfarblicht, das das verbleibende Licht ist, durch das fotoelektrische Umwandlungselement 410 fotoelektrisch umgewandelt. Gleichermaßen weist der organische fotoelektrische Umwandlungsfilm 406 eine Funktion äquivalent zu jener eines Farbfilters auf, das kein Blaulicht transmittiert. Dementsprechend wird von dem durch den organischen fotoelektrischen Umwandlungsfilm 404 transmittierten Licht Cyanfarblicht, das das verbleibende Licht ist, durch das fotoelektrische Umwandlungselement 410 fotoelektrisch umgewandelt. Im Fall von 17 wird angenommen, dass 6 Farben als die Filtercharakteristik enthalten sind. Das heißt, dass es durch Implementieren der vorliegenden Erfindung möglich ist, sieben oder mehr Farben von 6 + 1 auszugeben. Die in 17 veranschaulichte Pixeleinheit 120 kann für die Pixeleinheiten 120 der ersten bis fünften Ausführungsform verwendet werden.
  • Wie zuvor beschrieben, verweist das Filter bei dem Pixel gemäß der vorliegenden Ausführungsform auf alle Dinge, die das Spektrum beeinflussen. Zum Beispiel werden die spektralen Charakteristiken der organischen fotoelektrischen Umwandlungsfilme 402, 404 und 406 und der fotoelektrischen Umwandlungselemente (Fotodiode) 404, 406 und 408 auch als Filter bezeichnet. Falls zum Beispiel ein Plasmonenfilter unter Verwendung von Plasmonenresonanz und ein Fabry-Perot unter Verwendung eines Brechungsindexunterschieds für das Spektrum verwendet werden, beinhaltet das Filter ein Plasmonenfilter und ein Fabry-Perot.
  • (Siebte Ausführungsform)
  • 18 ist ein Diagramm, das ein Beispiel veranschaulicht, bei dem die Bildgebungsmodule (Stereokameramodule) 110a und 110b gemäß der vorliegenden Ausführungsform auf ein Smartphone 1000b als eine elektronische Vorrichtung angewandt sind. In einem Smartphone 1000a ist die Kamera 1002a auf der Seite der Anzeige 1006a angeordnet. Dementsprechend ist es erforderlich, die Kamera 1002a in einer Einfassung anzuordnen, und es gibt Gestaltungsbeschränkungen bezüglich der Anordnung der Anzeige 1006a.
  • Das Smartphone 1000b gemäß der vorliegenden Ausführungsform, das in 18 veranschaulicht ist, ist ein Smartphone, das das Bildgebungsmodul (Bilderzeugungsvorrichtung) 110 einbindet, das bei der ersten bis sechsten Ausführungsform der vorliegenden Offenbarung beschrieben ist. Dies ist ein Beispiel für einen Stereotyp einschließlich zwei Bildgebungsmodulen 110. In dem Smartphone 1000b gemäß der vorliegenden Ausführungsform sind die Bildgebungsmodule 110a und 110b zusammen mit der Komponentenschicht 1004b auf der hinteren Oberflächenseite der Anzeige 1006b angeordnet und erfassen Bilder über die Anzeige 1006b. Dementsprechend gibt es keine Beschränkung der Gestaltung der Anzeige 1006b und die Anzeige 1006b kann auf der gesamten Oberfläche des Smartphones 1000b angeordnet werden. Die Anzeige 1006a ist zum Beispiel ein OLED-Panel.
  • Wie zuvor beschrieben, ist es, falls die Bildgebungsmodule 110a und 110b gemäß der vorliegenden Ausführungsform in dem Smartphone 1000a angeordnet ist, möglich, ein Bildsignal mit spektralen Charakteristiken gemäß einem Zweck, wie etwa Objektidentifizierung, zu erzeugen. Dementsprechend kann die Genauigkeit einer Objektidentifizierung zur Zeit einer Bilderfassung durch die Kamera verbessert werden. Dementsprechend wird eine Genauigkeit einer Szenenbestimmung und dergleichen zur Zeit einer Bilderfassung durch die Kamera durch Objektidentifizierung verbessert und eine geeignete Bilderfassung kann durchgeführt werden. Des Weiteren wird, falls die Bildgebungsmodule 110a und 110b gemäß der vorliegenden Ausführungsform auf das Smartphone 1000a angewandt werden, die Dateneffizienz weiter verbessert. Das heißt, dass es, weil die auszugebende Wellenlänge gemäß dem Zweck begrenzt werden kann, einen Effekt des Verbesserns einer Identifizierungsgenauigkeit gibt und, da es möglich ist, eine Wellenlängenerzeugungsverarbeitung in den Bildgebungsmodulen 110a und 110b durchzuführen, der Leistungsverbrauch verringert werden kann.
  • Des Weiteren kann, wie in 18 veranschaulicht, durch Anordnen der Bildgebungsmodule 110a und 110b unterhalb der Anzeige (unterhalb des Berührungsfeldes) der Finger des Benutzers erfasst werden und können eine Blutzirkulation und Sauerstoffsättigung detektiert werden. In diesem Fall kann der Finger auch mit einer Lichtquelle der OLED als eine Lichtquelle bestrahlt werden. Im Fall eines solchen Beispiels können Informationen, wie etwa ein Transmissionsgrad des OLED-Panels, auch zur Zeit des Eingebens der Filtercharakteristiken eingegeben werden. Da die Lichtquelle bekannt ist, können des Weiteren Wellenlängeninformationen der OLED-Lichtquelle und dergleichen ebenfalls enthalten sein. Dementsprechend können die Bildgebungsmodule 110a und 110b Ausgabesignale mit spektralen Charakteristiken erzeugen, die zur Erfassung besser geeignet sind. Des Weiteren kann zusätzlich zu den Informationen bezüglich des zuvor beschriebenen optischen Filters die Eingabe der Filtercharakteristik allgemeine Informationen bezüglich Wellenlängeninformationen sein, die durch die Bildgebungsmodule 110a und 110b empfangen werden, und kann ferner Informationen, wie etwa ein Lichtquellenspektrum und eine Herstellungsvariation, beinhalten.
  • 19 ist ein Diagramm, das ein Beispiel veranschaulicht, bei dem die Bildgebungsmodule (Bilderzeugungsvorrichtungen) 110a und 110b gemäß der vorliegenden Ausführungsform auf eine am Kopf befestigte Anzeige (HMD: Head Mounted Display) für VR/AR/MR als eine elektronische Vorrichtung angewandt sind. Die in 19 veranschaulichte am Kopf befestigte Anzeige ist eine am Kopf befestigte Anzeige, die das Bildgebungsmodul (Bilderzeugungsvorrichtung) 110 einbindet, das bei der ersten bis sechsten Ausführungsform der vorliegenden Offenbarung beschrieben ist. Die in 18 veranschaulichte am Kopf befestigte Anzeige beinhaltet einen Rahmen 10 vom Brillentyp, der an dem Kopf des Beobachters 40 befestigt wird, und zwei Bildgebungsmodule (Bilderzeugungsvorrichtungen) 110a und 110b. Das Verbindungselement 20 ist an einer dem Beobachter zugewandten Seite des zentralen Teils 10C des Rahmens 10 angebracht, der sich zwischen den zwei Pupillen 41 des Beobachters 40 befindet. Der Rahmen 10 beinhaltet einen vorderen Teil 10B, der vor dem Beobachter 40 angeordnet ist, zwei Bügelteile 12, die über Scharniere 11 schwenkbar an beiden Enden des vorderen Teils 10B angeracht sind, und Bügelspitzen 13, die an jeweiligen distalen Endteilen der Bügelteile 12 angebracht sind, und das Verbindungselementen 20 ist an einem zentralen Teil 10C des vorderen Teils 10B angebracht, der zwischen zwei Pupillen 41 des Beobachters 40 positioniert ist. Eine Verdrahtung 17 für einen Kopfhörerteil erstreckt sich von dem distalen Endteil der Bügelspitze 13 über den Bügelteil 12 und das innere der Bügelspitze 13 zu einem Kopfhörerteil 16. Insbesondere erstreckt sich die Verdrahtung 17 für den Kopfhörerteil von dem Spitzenteil der Bügelspitze 13 zu dem Kopfhörerteil 16, so dass sie sich um die Rückseite der Ohrmuschel (Auricula) herumlegt.
  • Wie zuvor beschrieben, ist die elektronische Vorrichtung, die das bei der ersten bis sechsten Ausführungsform der vorliegenden Offenbarung beschriebene Bildgebungsmodul 110 einbindet, nicht auf das Smartphone beschränkt und kann die am Kopf befestigte Anzeige (HMD) für VR/AR/MR sein, wie in 19 veranschaulicht, oder kann eine einäugige Spiegelreflexkamera oder ein Kapselendoskop sein. Des Weiteren ist das Bildgebungsmodul 110 nicht zwingend auf eines zum Erfassen eines Bildes beschränkt und kann Erfassen zum Zweck eines Authentifizierungssensors, einer Hautanalyse, Gesundheitsfürsorge oder dergleichen beinhalten. Alternativ dazu kann das Bildgebungsmodul 110 eine Erfassungsfunktion für andere Zwecke aufweisen.
  • (Achte Ausführungsform)
  • Das Bildgebungsmodul 110 gemäß der vorliegenden Ausführungsform unterscheidet sich von dem Bildgebungsmodul 110 bei der ersten bis siebten Ausführungsform darin, dass die Spektrumserzeugungsverarbeitungseinheit 126 ferner eine Funktion zum Ändern einer Spektrumsverarbeitung für jedes Bildgebungseinzelbild aufweisen kann. Nachfolgend werden Unterschiede von dem Bildgebungsmodul 110 gemäß der ersten bis siebten Ausführungsform beschrieben.
  • Die Spektrumserzeugungsverarbeitungseinheit 126 ändert zum Beispiel die Parameter der Linearmatrix für jedes Bildgebungseinzelbild. Zum Beispiel werden Signale, die drei Wellenlängen (drei Farben) von 400, 450 und 500 nm entsprechen, in dem ersten Einzelbild ausgegeben und werden Signale, die Wellenlängen von 550, 600 und 650 nm entsprechen, in dem nächsten Einzelbild ausgegeben. Da die Berechnungsverarbeitung der Spektrumserzeugungsverarbeitungseinheit 126 in dem Bildgebungsmodul 110 durchgeführt wird, kann die Steuerung in der Zeitachsenrichtung beliebig geändert werden. Dementsprechend ist es möglich, ein Ausgabesignal mit unterschiedlichen spektralen Charakteristiken für jedes Einzelbild in Echtzeit auszugeben. Wie zuvor beschrieben, wird der Anwendungsprozessor, der das Ausgabesignal des Bildgebungsmoduls 110 empfängt, oft unter der Annahme des allgemeinen Empfangens eines Arrays von drei bis vier Farben konstruiert.
  • Zum Beispiel gibt das Bildgebungsmodul 110 gemäß der vorliegenden Ausführungsform Signale, die drei Wellenlängen von 400, 450 und 500 nm entsprechen, in dem ersten Einzelbild aus und gibt Signale, die drei Wellenlängen von 550, 600 und 650 nm entsprechen, in dem zweiten Einzelbild aus. Dementsprechend können zum Beispiel Bilddaten mit einem Array von sechs Farben an einen Anwendungsprozessor übertragen werden, der unter der Annahme des Empfangens eines Arrays von drei Farben konstruiert ist. Wie zuvor beschrieben, ist es, falls es eine Beschränkung der Anzahl an Farbanordnungen gibt, möglich, die Beschränkung bezüglich der Anzahl an Farbanordnungen zu entfernen, indem Signale, die unterschiedlichen Wellenlängenbändern entsprechen, für jedes Einzelbild ausgegeben werden, wie bei der vorliegenden Ausführungsform. Es wird angemerkt, dass die Anzahl an Zeitteilungen und das Wellenlängenband, das dem Ausgabesignal entspricht, beliebig eingestellt werden können.
  • Außerdem kann die Spektrumserzeugungsverarbeitungseinheit 126 bewirken, dass Signale, die dem gleichen Wellenlängenband entsprechen, zwischen Einzelbildern ausgegeben werden. Des Weiteren kann die Spektrumserzeugungsverarbeitungseinheit 126 eine dynamische Korrektur des Subjekts durch Verwenden verarbeiteter Signale mit gemeinsamen spektralen Charakteristiken durchführen. Zum Beispiel können in dem Einzelbild 1 Signale, die drei Wellenlängen von 400 nm, 500 nm und 600 nm entsprechen, ausgegeben werden und können in dem Einzelbild 2 Signale, die drei Wellenlängen von 300 nm, 500 nm und 700 nm entsprechen, ausgegeben werden. Das heißt, dass Signale, die der gleichen Wellenlänge entsprechen, zwischen Einzelbildern ausgegeben werden können. Falls zum Beispiel das Subjekt ein sich bewegendes Objekt (sich bewegendes Subjekt) ist, ist es möglich, die Bewegung desselben Subjekts genauer zu korrigieren, indem Signale, die der gleichen Wellenlänge entsprechen, zwischen Einzelbildern ausgegeben werden.
  • Des Weiteren ist, wie in 2 veranschaulicht, die Empfindlichkeit jedes Pixels gegenüber dem Eingabelicht unterschiedlich. Insbesondere wird die Fotoempfindlichkeit des Infrarot(IR, Schwarz)-Pixels verringert. Um einen solchen Empfindlichkeitsunterschied für jede Farbe zu korrigieren, kann in dem Bildgebungsmodul 110 eine Belichtungssteuerung für jedes Pixel oder für jedes Einzelbild zwischen den Bildgebungsmodulen 110 oder dergleichen geändert werden. Außerdem kann das Farbfilter durch Überlappen mehrerer Farbfilter gebildet werden. Wenn zum Beispiel Blau- und Rotfarbfilter physisch gestapelt werden, wird das Farbfilter ein Schwarzfarbfilter (das nur IR transmittiert).
  • Wie zuvor beschrieben, weist gemäß der vorliegenden Ausführungsform die Spektrumserzeugungsverarbeitungseinheit 126 ferner eine Funktion zum Ändern einer Spektrumsverarbeitung für jedes Bildgebungseinzelbild auf. Dies ermöglicht es, ein Signal an einen Anwendungsprozessor mit einer Begrenzung bezüglich der Anzahl an Farbanordnungen auszugeben, falls mehrere Farben zur gleichen Zeit gehandhabt werden.
  • 20 ist ein Diagramm, das ein Beispiel für spektrale Charakteristiken veranschaulicht. Die horizontale Achse repräsentiert eine Wellenlänge und die vertikale Achse repräsentiert ein Beispiel für einen Signalwert. Signalwerte O1 und 012 geben Variationen des Betrags des Signals mit Bezug auf Eingabelicht in einem vorbestimmten Wellenlängenbereich, zum Beispiel 300 bis 1000 Nanometer, an. Jeder der Signalkraftwerte O1 bis 012 ist in zum Beispiel 12 Wellenlängenbänder von dem Ultraviolettbereich bis zu dem Infrarotbereich unterteilt und weist einen Maximalwert des Signalwertes in jedem Wellenlängenband auf. In 20 sind die Symbole O1 bis 012 der Reihe nach von der kurzen Wellenlängenseite zu der langen Wellenlängenseite durch das Wellenlängenband zugeordnet, das dem Maximalwert des Signalwertes entspricht (der auch als Ausgabe bezeichnet werden kann).
  • Es wird angemerkt, dass die vorliegende Technologie Konfigurationen wie folgt aufweisen kann.
    1. (1) Ein Bildgebungselement, das als ein Halbleiterchip konfiguriert ist, wobei das Bildgebungselement Folgendes beinhaltet:
      • eine Erfassungseinheit, die Informationen bezüglich eines optischen Elements erfasst, wobei das optische Element außerhalb des Halbleiterchips bereitgestellt ist;
      • eine Pixeleinheit einschließlich N (N ist eine ganze Zahl) Arten von Pixeln mit unterschiedlichen spektralen Charakteristiken mit Bezug auf eine Wellenlänge von Eingabelicht, das über das optische Element eingegeben wird;
      • eine Umwandlungseinheit, die ein Ausgabesignal der Pixeleinheit in ein digitales Ausgabesignal umwandelt;
      • eine Verarbeitungseinheit, die eine Umwandlungsverarbeitung in N + 1 oder mehr verarbeitete Signale mit unterschiedlichen spektralen Charakteristiken basierend auf einem Ausgabesignal, das von der Umwandlungseinheit ausgegeben wird, durch Verwenden der Informationen durchführt; und
      • eine Ausgabeeinheit, die ein Signal basierend auf dem verarbeiteten Signal nach außerhalb des Halbleiterchips ausgibt.
    2. (2) Das Bildgebungselement nach (1), wobei die Pixeleinheit mehrere fotoelektrische Umwandlungselemente beinhaltet, die das Eingabelicht in das Ausgabesignal über N Arten von Filtern umwandeln.
    3. (3) Das Bildgebungselement nach (2), wobei N 5 oder größer ist.
    4. (4) Das Bildgebungselement nach (1), wobei das Bildgebungselement in einem Halbleiterchipteil oder in mehreren angrenzenden Halbleiterchipteilen konfiguriert ist.
    5. (5) Das Bildgebungselement nach (1), wobei die Informationen eine optische Charakteristik des optischen Elements zwischen dem Bildgebungselement und dem Subjekt betreffen und einen Transmissionsgrad, einen Reflexionsgrad, einen Brechungsindex, eine Emissionswellenlänge und/oder eine Wellenlängenabhängigkeit betreffen.
    6. (6) Das Bildgebungselement nach (1), wobei das optische Element ein Farbfilter, ein Plasmon und/oder ein organischer fotoelektrischer Umwandlungsfilm ist.
    7. (7) Das Bildgebungselement nach (2), wobei die N Arten von Filtern vier oder mehr Arten von Filtern unter Filtern beinhalten, die beliebiges von Rotfarblicht, Grünfarblicht, Blaufarblicht, Cyanfarblicht, Magentafarblicht und Gelbfarblicht transmittieren.
    8. (8) Das Bildgebungselement nach (1), wobei die Erfassungseinheit ein Speicher (EEPROM) ist, der zum Speichern der Informationen von außerhalb des Halbleiterchips in der Lage ist, und die Informationen von außerhalb des Halbleiterchips, die in dem Speicher gespeichert werden, an die Verarbeitungseinheit geliefert werden.
    9. (9) Das Bildgebungselement nach (1), wobei das optische Element ein Bandpassfilter ist.
    10. (10) Das Bildgebungselement nach (9), wobei das Bandpassfilter Licht in einem vorbestimmten Sichtbares-Licht-Bereich und Licht in einem vorbestimmten Infrarot(IR)-Bereich transmittiert.
    11. (11) Das Bildgebungselement nach (1), wobei die Verarbeitungseinheit zum Durchführen einer Verarbeitung unter Verwendung eines Parameters bezüglich einer Bilderfassungsumgebung in der Lage ist, und die Erfassungseinheit zum Erfassen des Parameters einschließlich wenigstens Informationen bezüglich eines Lichtquellenschätzungsergebnisses in der Lage ist.
    12. (12) Das Bildgebungselement nach (1), wobei das verarbeitete Signal, das durch die Verarbeitungseinheit ausgegeben wird, Bilddaten gemäß vorbestimmten Arrayinformationen ist, und die Erfassungseinheit zum Erfassen von Informationen bezüglich der N + 1 oder mehr spektralen Charakteristiken und/oder Informationen bezüglich der Arrayinformationen in der Lage ist.
    13. (13) Das Bildgebungselement nach (1), wobei jedes der verarbeiteten Signale eine Spitze einer Fotoempfindlichkeit in jedem der N + 1 oder mehr Wellenlängenbänder in Eingabelicht in einem vorbestimmten Wellenlängenbereich aufweist, und die Verarbeitungseinheit zum Ändern eines Bereichs wenigstens eines der N + 1 oder mehr Wellenlängenbänder durch Parametereinstellung von außerhalb des Halbleiterchips in der Lage ist.
    14. (14) Das Bildgebungselement nach (1), wobei das verarbeitete Signal, das durch die Verarbeitungseinheit ausgegeben wird, Bilddaten gemäß vorbestimmten Arrayinformationen ist, und die Verarbeitungseinheit zum Ändern eines Pixelarrays der Bilddaten durch Parametereinstellung von außerhalb des Halbleiterchips in der Lage ist.
    15. (15) Das Bildgebungselement nach (1), wobei das optische Element wenigstens ein Anzeigepanel für eine Anzeige ist, und die Verarbeitungseinheit das verarbeitete Signal durch Verwenden von wenigstens Informationen bezüglich einer optischen Charakteristik des Anzeigepanels erzeugt.
    16. (16) Das Bildgebungselement nach (1), wobei die Verarbeitungseinheit das verarbeitete Signal auch basierend auf Ausgabesignalen erzeugt, die durch unterschiedliche Bildgebungselemente erzeugt werden.
    17. (17) Das Bildgebungselement nach (1), wobei die Pixeleinheit einen von einem organischen fotoelektrischen Umwandlungsfilm und einer unterteilten Fotodiode, die in einer Querschnittsrichtung unterteilt ist, beinhaltet.
    18. (18) Das Bildgebungselement nach (1), wobei in der Verarbeitungseinheit eine Kombination in dem verarbeiteten Signal, das in einem ersten Einzelbild erzeugt wird, von einer Kombination in dem verarbeiteten Signal verschieden ist, das in einem zweiten Einzelbild angrenzend an das erste Einzelbild erzeugt wird.
    19. (19) Das Bildgebungselement nach (18), wobei die Verarbeitungseinheit M (M ist eine ganze Zahl und es gilt M < N + 1) verarbeitete Signale in den N + 1 der verarbeiteten Signale als das erste Einzelbild erzeugt und verbleibende verarbeitete Signale in den N + 1 der verarbeiteten Signale als das zweite Einzelbild erzeugt.
    21. (20) Das Bildgebungselement nach (1), wobei die Pixeleinheit einer unterschiedlichen Belichtungssteuerung zwischen Einzelbildern oder zwischen Pixeln unterzogen wird.
    22. (21) Das Bildgebungselement nach (13), wobei die Pixeleinheit ein Weißpixel und/oder ein Graupixel mit einer Empfindlichkeit in einem breiten Wellenlängenband beinhaltet, das mit einem Wellenlängenband mit einer Empfindlichkeit eines anderen Pixels mit Bezug auf Eingabelicht in dem vorbestimmten Wellenlängenbereich überlappt.
    23. (22) Das Bildgebungselement nach (2), wobei es in spektralen Charakteristiken der N Arten von Filtern eine Überlappung an einer oder mehreren Positionen eines zu transmittierenden Wellenlängenbandes gibt.
    24. (23) Das Bildgebungselement nach (1), wobei die spektrale Charakteristik eine Variation des Betrags eines verarbeiteten Signals mit Bezug auf Eingabelicht in einem vorbestimmten Wellenlängenbereich angibt, und in einem Fall, in dem das optische Element ein Bandpassfilter ist, die Verarbeitungseinheit eine Verarbeitung einer weiteren Verschmälerung einer Halbwertsbreite eines Variationswertes eines verarbeiteten Signals mit Bezug auf eine Wellenlänge in Eingabelicht in wenigstens einem beliebigen der N + 1 oder mehr verarbeiteten Signale durchführt.
    25. (24) Das Bildgebungselement nach (18), wobei die Verarbeitungseinheit wenigstens ein verarbeitetes Signal mit einer gemeinsamen spektralen Charakteristik in dem verarbeiteten Signal in dem ersten Einzelbild bzw. dem verarbeiteten Signal in dem zweiten Einzelbild beinhaltet.
    26. (25) Das Bildgebungselement nach (24), wobei die Verarbeitungseinheit zum Durchführen einer Dynamikkorrektur eines Subjekts durch Verwenden eines verarbeiteten Signals mit der gemeinsamen spektralen Charakteristik in der Lage ist.
    27. (26) Eine elektronische Vorrichtung, die das Bildgebungselement nach (1) beinhaltet.
  • Aspekte der vorliegenden Offenbarung sind nicht auf die zuvor beschriebenen einzelnen Ausführungsformen beschränkt, sondern beinhalten verschiedene Modifikationen, die durch einen Fachmann ersonnen werden können, und die Effekte der vorliegenden Offenbarung sind nicht auf die zuvor beschriebenen Inhalte beschränkt. Das heißt, dass verschiedene Hinzufügungen, Modifikationen und partielle Entfernungen vorgenommen werden können, ohne von der konzeptuellen Idee und dem Wesen der vorliegenden Offenbarung abzuweichen, die aus den in den Ansprüchen und deren Äquivalenten definierten Inhalten abgeleitet werden.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2008136251 [0003]
    • JP 201345917 [0003]

Claims (26)

  1. Bildgebungselement, das als ein Halbleiterchip konfiguriert ist, wobei das Bildgebungselement Folgendes umfasst: eine Erfassungseinheit, die Informationen bezüglich eines optischen Elements erfasst, wobei das optische Element außerhalb des Halbleiterchips bereitgestellt ist; eine Pixeleinheit einschließlich N (N ist eine ganze Zahl) Arten von Pixeln mit unterschiedlichen spektralen Charakteristiken mit Bezug auf eine Wellenlänge von Eingabelicht, das über das optische Element eingegeben wird; eine Umwandlungseinheit, die ein Ausgabesignal der Pixeleinheit in ein digitales Ausgabesignal umwandelt; eine Verarbeitungseinheit, die eine Umwandlungsverarbeitung in N + 1 oder mehr verarbeitete Signale mit unterschiedlichen spektralen Charakteristiken basierend auf einem Ausgabesignal, das von der Umwandlungseinheit ausgegeben wird, durch Verwenden der Informationen durchführt; und eine Ausgabeeinheit, die ein Signal basierend auf dem verarbeiteten Signal nach außerhalb des Halbleiterchips ausgibt.
  2. Bildgebungselement nach Anspruch 1, wobei die Pixeleinheit mehrere fotoelektrische Umwandlungselemente beinhaltet, die das Eingabelicht in das Ausgabesignal über N Arten von Filtern umwandeln.
  3. Bildgebungselement nach Anspruch 2, wobei N 5 oder größer ist.
  4. Bildgebungselement nach Anspruch 1, wobei das Bildgebungselement in einem Halbleiterchipteil oder in mehreren elektrisch verbundenen Halbleiterchipteilen konfiguriert ist.
  5. Bildgebungselement nach Anspruch 1, wobei die Informationen eine optische Charakteristik des optischen Elements zwischen der Pixeleinheit und dem Subjekt betreffen und einen Transmissionsgrad, einen Reflexionsgrad, einen Brechungsindex, eine Emissionswellenlänge und/oder eine Wellenlängenabhängigkeit betreffen.
  6. Bildgebungselement nach Anspruch 1, wobei das optische Element ein Farbfilter, ein Plasmon und/oder ein organischer fotoelektrischer Umwandlungsfilm ist.
  7. Bildgebungselement nach Anspruch 3, wobei die N Arten von Filtern vier oder mehr Arten von Filtern unter Filtern beinhalten, die beliebiges von Rotfarblicht, Grünfarblicht, Blaufarblicht, Cyanfarblicht, Magentafarblicht und Gelbfarblicht transmittieren.
  8. Bildgebungselement nach Anspruch 1, wobei die Erfassungseinheit ein Speicher (EEPROM) ist, der zum Speichern der Informationen von außerhalb des Halbleiterchips in der Lage ist, und die Informationen von außerhalb des Halbleiterchips, die in dem Speicher gespeichert werden, an die Verarbeitungseinheit geliefert werden.
  9. Bildgebungselement nach Anspruch 1, wobei das optische Element ein Bandpassfilter ist.
  10. Bildgebungselement nach Anspruch 9, wobei das Bandpassfilter Licht in einem vorbestimmten Sichtbares-Licht-Bereich und Licht in einem vorbestimmten Infrarot(IR)-Bereich transmittiert.
  11. Bildgebungselement nach Anspruch 1, wobei die Verarbeitungseinheit zum Durchführen einer Verarbeitung unter Verwendung eines Parameters bezüglich einer Bilderfassungsumgebung in der Lage ist, und die Erfassungseinheit zum Erfassen des Parameters einschließlich wenigstens Informationen bezüglich eines Lichtquellenschätzungsergebnisses in der Lage ist.
  12. Bildgebungselement nach Anspruch 1, wobei das verarbeitete Signal, das durch die Verarbeitungseinheit ausgegeben wird, Bilddaten gemäß vorbestimmten Arrayinformationen ist, und die Erfassungseinheit zum Erfassen von Informationen bezüglich der N + 1 oder mehr spektralen Charakteristiken und/oder Informationen bezüglich der Arrayinformationen in der Lage ist.
  13. Bildgebungselement nach Anspruch 1, wobei jedes der verarbeiteten Signale eine Spitze einer Fotoempfindlichkeit in jedem der N + 1 oder mehr Wellenlängenbänder in Eingabelicht in einem vorbestimmten Wellenlängenbereich aufweist, und die Verarbeitungseinheit zum Ändern eines Bereichs wenigstens eines der N + 1 oder mehr Wellenlängenbänder durch Parametereinstellung von außerhalb des Halbleiterchips in der Lage ist.
  14. Bildgebungselement nach Anspruch 1, wobei das verarbeitete Signal, das durch die Verarbeitungseinheit ausgegeben wird, Bilddaten gemäß vorbestimmten Arrayinformationen ist, und die Verarbeitungseinheit zum Ändern eines Pixelarrays der Bilddaten durch Parametereinstellung von außerhalb des Halbleiterchips in der Lage ist.
  15. Bildgebungselement nach Anspruch 1, wobei das optische Element wenigstens ein Anzeigepanel für eine Anzeige ist, und die Verarbeitungseinheit das verarbeitete Signal durch Verwenden von wenigstens Informationen bezüglich einer optischen Charakteristik des Anzeigepanels erzeugt.
  16. Bildgebungselement nach Anspruch 1, wobei die Verarbeitungseinheit das verarbeitete Signal auch basierend auf Ausgabesignalen erzeugt, die durch unterschiedliche Bildgebungselemente erzeugt werden.
  17. Bildgebungselement nach Anspruch 1, wobei die Pixeleinheit einen von einem organischen fotoelektrischen Umwandlungsfilm und einer unterteilten Fotodiode, die in einer Querschnittsrichtung unterteilt ist, beinhaltet.
  18. Bildgebungselement nach Anspruch 1, wobei in der Verarbeitungseinheit eine Kombination in dem verarbeiteten Signal, das in einem ersten Einzelbild erzeugt wird, von einer Kombination in dem verarbeiteten Signal verschieden ist, das in einem zweiten Einzelbild angrenzend an das erste Einzelbild erzeugt wird.
  19. Bildgebungselement nach Anspruch 18, wobei die Verarbeitungseinheit M (M ist eine ganze Zahl und es gilt M < N + 1) verarbeitete Signale in den N + 1 der verarbeiteten Signale als das erste Einzelbild erzeugt und verbleibende verarbeitete Signale in den N + 1 der verarbeiteten Signale als das zweite Einzelbild erzeugt.
  20. Bildgebungselement nach Anspruch 1, wobei die Pixeleinheit einer unterschiedlichen Belichtungssteuerung zwischen Einzelbildern oder zwischen Pixeln unterzogen wird.
  21. Bildgebungselement nach Anspruch 13, wobei die Pixeleinheit ein Weißpixel und/oder ein Graupixel mit einer Empfindlichkeit in einem breiten Wellenlängenband beinhaltet, das mit einem Wellenlängenband mit einer Empfindlichkeit eines anderen Pixels mit Bezug auf Eingabelicht in dem vorbestimmten Wellenlängenbereich überlappt.
  22. Bildgebungselement nach Anspruch 2, wobei es in spektralen Charakteristiken der N Arten von Filtern eine Überlappung an einer oder mehreren Positionen eines zu transmittierenden Wellenlängenbandes gibt.
  23. Bildgebungselement nach Anspruch 1, wobei die spektrale Charakteristik eine Variation des Betrags eines verarbeiteten Signals mit Bezug auf Eingabelicht in einem vorbestimmten Wellenlängenbereich angibt, und in einem Fall, in dem das optische Element ein Bandpassfilter ist, die Verarbeitungseinheit eine Verarbeitung einer weiteren Verschmälerung einer Halbwertsbreite eines Variationswertes eines verarbeiteten Signals mit Bezug auf eine Wellenlänge in Eingabelicht in wenigstens einem beliebigen der N + 1 oder mehr verarbeiteten Signale durchführt.
  24. Bildgebungselement nach Anspruch 18, wobei die Verarbeitungseinheit wenigstens ein verarbeitetes Signal mit einer gemeinsamen spektralen Charakteristik in dem verarbeiteten Signal in dem ersten Einzelbild bzw. dem verarbeiteten Signal in dem zweiten Einzelbild beinhaltet.
  25. Bildgebungselement nach Anspruch 24, wobei die Verarbeitungseinheit zum Durchführen einer Dynamikkorrektur eines Subjekts durch Verwenden eines verarbeiteten Signals mit der gemeinsamen spektralen Charakteristik in der Lage ist.
  26. Elektronische Vorrichtung, die das Bildgebungselement nach Anspruch 1 umfasst.
DE112021005519.4T 2020-10-19 2021-10-04 Bildgebungselement und elektronisches instrument Pending DE112021005519T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063093447P 2020-10-19 2020-10-19
US63/093,447 2020-10-19
PCT/JP2021/036646 WO2022085406A1 (ja) 2020-10-19 2021-10-04 撮像素子、及び電子機器

Publications (1)

Publication Number Publication Date
DE112021005519T5 true DE112021005519T5 (de) 2023-11-02

Family

ID=81289618

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112021005519.4T Pending DE112021005519T5 (de) 2020-10-19 2021-10-04 Bildgebungselement und elektronisches instrument

Country Status (8)

Country Link
US (1) US20230369358A1 (de)
EP (1) EP4231631A4 (de)
JP (1) JPWO2022085406A1 (de)
KR (1) KR20230088886A (de)
CN (1) CN116406508A (de)
DE (1) DE112021005519T5 (de)
TW (1) TW202220431A (de)
WO (1) WO2022085406A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008136251A (ja) 2003-11-11 2008-06-12 Olympus Corp マルチスペクトル画像撮影装置
JP2013045917A (ja) 2011-08-25 2013-03-04 Sony Corp 撮像素子、撮像装置及び生体撮像装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4967440B2 (ja) * 2006-04-03 2012-07-04 ソニー株式会社 撮像装置およびその光源推定装置
US8514201B2 (en) * 2008-10-21 2013-08-20 Japan Display West, Inc. Image pickup device, display-and-image pickup device, and electronic device
JP5760811B2 (ja) * 2011-07-28 2015-08-12 ソニー株式会社 固体撮像素子および撮像システム
US10523874B2 (en) * 2016-02-16 2019-12-31 Sony Corporation Image processing apparatus, image processing method, and program
JP6789792B2 (ja) * 2016-12-13 2020-11-25 ソニーセミコンダクタソリューションズ株式会社 撮像素子、電子機器
TWI832864B (zh) * 2018-08-07 2024-02-21 日商索尼半導體解決方案公司 攝像裝置及攝像系統
JP6746855B2 (ja) * 2018-09-28 2020-08-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 撮像装置、制御方法、及びプログラム
EP3934236A4 (de) * 2019-03-29 2022-04-27 Sony Group Corporation Signalverarbeitungsvorrichtung, abbildungsvorrichtung und signalverarbeitungsverfahren

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008136251A (ja) 2003-11-11 2008-06-12 Olympus Corp マルチスペクトル画像撮影装置
JP2013045917A (ja) 2011-08-25 2013-03-04 Sony Corp 撮像素子、撮像装置及び生体撮像装置

Also Published As

Publication number Publication date
TW202220431A (zh) 2022-05-16
KR20230088886A (ko) 2023-06-20
EP4231631A4 (de) 2023-11-29
CN116406508A (zh) 2023-07-07
EP4231631A1 (de) 2023-08-23
JPWO2022085406A1 (de) 2022-04-28
WO2022085406A1 (ja) 2022-04-28
US20230369358A1 (en) 2023-11-16

Similar Documents

Publication Publication Date Title
EP2432213B1 (de) Verfahren zur optischen Abbildung eines Objektes unter Verwendung eines Mikrolinsenfeldes mit mindestens zwei Mikrolinsen und eines Bildsensors
US20190096049A1 (en) Method and Apparatus for Reconstructing Hyperspectral Image Using Artificial Intelligence
DE60133160T2 (de) Digitalbild-Verarbeitungsverfahren und Vorrichtung zur Helligkeitseinstellung von Digitalbildern
DE112013003422B4 (de) Farbbildaufnahmeelement und Bildaufnahmevorrichtung
DE102012100726B4 (de) Bildlesevorrichtung
WO2023240857A1 (zh) 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质
US10951817B2 (en) Compound-eye imaging device, image processing method, and recording medium
DE112017001458T5 (de) Bildverarbeitungsvorrichtung, Bildgebungsvorrichtung und Steuerverfahren davon
DE102011006272A1 (de) Bildverarbeitungsvorrichtung und Verfahren des Steuerns von dieser
DE102021116512A1 (de) Spektrales sensorsystem mit optischen filter-unterarrays
WO2009040110A1 (de) Bildsensor mit bildkompensation durch pixelanordnung
DE112009004707T5 (de) Räumlich variierende Spektralantwort-Kalibrierungsdaten
DE102021105869A1 (de) Korrektur und kalibrierung eines spektralsensorausgangs
EP3903478A2 (de) Verfahren und verarbeitungseinrichtung zum verarbeiten von messdaten eines bildsensors
US10446600B2 (en) Imaging system and imaging device having a random optical filter array
DE112021005519T5 (de) Bildgebungselement und elektronisches instrument
DE112021000853T5 (de) Elektronisches gerät
DE112020006665T5 (de) Elektronische vorrichtung
DE102021113723A1 (de) Spektrales sensorsystem mit räumlich modifizierten mittenwellenlängen
DE102016212771A1 (de) Verfahren und Vorrichtung zum Abtasten eines Lichtsensors
EP3683558A1 (de) Farbbildsensor
DE102023114979A1 (de) Bildgebendes system mit räumlich getrennten spektralen anordnungen
DE102020215413A1 (de) Verfahren und Vorrichtung zum Erzeugen eines erweiterten Kamerabilds unter Verwendung eines Bildsensors und Bildverarbeitungseinrichtung
US20240027269A1 (en) Reconstruction method and device for spectral image
DE102021125545A1 (de) Bildsensor mit verbesserter farbgenauigkeit