DE112021001249T5 - Festkörperbildgebungsvorrichtung und elektronische vorrichtung - Google Patents

Festkörperbildgebungsvorrichtung und elektronische vorrichtung Download PDF

Info

Publication number
DE112021001249T5
DE112021001249T5 DE112021001249.5T DE112021001249T DE112021001249T5 DE 112021001249 T5 DE112021001249 T5 DE 112021001249T5 DE 112021001249 T DE112021001249 T DE 112021001249T DE 112021001249 T5 DE112021001249 T5 DE 112021001249T5
Authority
DE
Germany
Prior art keywords
filter
pixel
unit
color filter
state imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112021001249.5T
Other languages
English (en)
Inventor
Takayuki Ogasahara
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of DE112021001249T5 publication Critical patent/DE112021001249T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

Bereitgestellt wird eine Festkörperbildgebungsvorrichtung, die ein Bild mit hoher Farbreproduzierbarkeit erhalten kann. Die Festkörperbildgebungsvorrichtung umfasst eine fotoelektrische Umwandlungseinheit und eine Pixelarrayeinheit, in der mehrere Pixeleinheitsgruppen angeordnet sind, wobei die Pixeleinheitsgruppen durch Anordnen in einer 2×2-Matrix von Pixeleinheiten erhalten werden, die durch Anordnen in einer 2×2-Matrix von Pixeln erhalten werden, die ein Farbfilter, das entsprechend der fotoelektrischen Umwandlungseinheit gebildet ist, aufweisen. Darüber hinaus beinhaltet jede Pixeleinheitsgruppe als Farbfilter: ein R-Filter in einer der Pixeleinheiten unter den vier Pixeleinheiten, die die Pixeleinheitsgruppe darstellen, ein G-Filter in zwei der Pixeleinheiten und ein B-Filter in einer der Pixeleinheiten. Weiterhin beinhaltet wenigstens eine der Pixeleinheitsgruppen ein vorbestimmtes Farbfilter mit einer Transmissionsgradspitzenwellenlänge, die von jener des R-Filters, des G-Filters und des B-Filters verschieden ist, als das Farbfilter.

Description

  • [Technisches Gebiet]
  • Die vorliegende Technologie betrifft eine Festkörperbildgebungsvorrichtung und eine elektronische Vorrichtung.
  • [Stand der Technik]
  • Herkömmlicherweise wurde eine Festkörperbildgebungsvorrichtung mit einer Konfiguration vorgeschlagen, bei der ein Pixel einer Bayer-Anordnung in mehrere Pixel aufgeteilt wird (siehe zum Beispiel Patentliteratur 1). Bei dem in Patentdokument 1 beschriebenen Festkörperbildsensor kann ein hochauflösendes erfasstes Bild erhalten werden, indem eine Vollauflösung-Demosaic-Verarbeitung (eine Reihe von Prozessen, bei denen eine Demosaic-Verarbeitung nach einer Remosaic-Verarbeitung durchgeführt wird) durchgeführt wird. Außerdem kann ein erfasstes Bild mit einem exzellenten SN-Verhältnis durch Durchführen einer Binning-Verarbeitung erhalten werden. Des Weiteren kann ein erfasstes Bild mit einem hohen Dynamikumfang (HDR: High Dynamic Range) erhalten werden, indem die Belichtungsbedingungen für jedes mehrerer Pixel geändert wird.
  • [Zitatliste]
  • [Patentliteratur]
  • [PTL 1]
    JP 2019-175912A
  • [Kurzdarstellung]
  • [Technisches Problem]
  • Bei einer solchen Festkörperbildgebungsvorrichtung ist eine weitere Verbesserung der Farbreproduzierbarkeit des erfassten Bildes erforderlich. Ein Ziel der vorliegenden Offenbarung ist das Bereitstellen einer Festkörperbildgebungsvorrichtung und einer elektronischen Vorrichtung, die zum Verbessern der Farbreproduzierbarkeit eines erfassten Bildes in der Lage sind.
  • [Lösung des Problems]
  • Eine Festkörperbildgebungsvorrichtung der vorliegenden Offenbarung beinhaltet Folgendes: (a) eine Pixelarrayeinheit, in der mehrere Pixeleinheitsgruppen angeordnet sind, wobei die Pixeleinheitsgruppe aus Pixeleinheiten besteht, die in einer 2×2-Matrix angeordnet sind, wobei die Pixeleinheit aus Pixeln besteht, die in einer m×n-Matrix (m und n sind natürliche Zahlen von 2 oder mehr) angeordnet sind, wobei das Pixel eine fotoelektrische Umwandlungseinheit und ein Farbfilter, das entsprechend der fotoelektrischen Umwandlungseinheit gebildet ist, aufweist, wobei (b) jede der Pixeleinheitsgruppen ein R-Filter als das Farbfilter in einer der vier Pixeleinheiten, die die Pixeleinheitsgruppe darstellen, beinhaltet, ein G-Filter als das Farbfilter in zwei der vier Pixeleinheiten beinhaltet und ein B-Filter als das Farbfilter in einer der vier Pixeleinheiten beinhaltet, und (c) wenigstens eine der Pixeleinheitsgruppen ein vorbestimmtes Farbfilter mit einer Transmissionsgradspitzenwellenlänge, die von jeder des R-Filters, des G-Filters und des B-Filters verschieden ist, als das Farbfilter beinhaltet.
  • Eine elektronische Vorrichtung der vorliegenden Offenbarung beinhaltet Folgendes: (a) eine Festkörperbildgebungsvorrichtung, die eine Pixelarrayeinheit beinhaltet, in der mehrere Pixeleinheitsgruppen angeordnet sind, wobei die Pixeleinheitsgruppe aus Pixeleinheiten besteht, die in einer 2×2-Matrix angeordnet sind, wobei die Pixeleinheit aus Pixeln besteht, die in einer m×n-Matrix (m und n sind natürliche Zahlen von 2 oder mehr) angeordnet sind, wobei das Pixel eine fotoelektrische Umwandlungseinheit und ein Farbfilter, das entsprechend der fotoelektrischen Umwandlungseinheit gebildet ist, aufweist, wobei jede der Pixeleinheitsgruppen ein R-Filter als das Farbfilter in einer der vier Pixeleinheiten, die die Pixeleinheitsgruppe darstellen, ein G-Filter als das Farbfilter in zwei der vier Pixeleinheiten und ein B-Filter als das Farbfilter in einer der vier Pixeleinheiten beinhaltet, und wobei wenigstens eine der Pixeleinheitsgruppen ein vorbestimmtes Farbfilter mit einer Transmissionsgradspitzenwellenlänge, die von jeder des R-Filters, des G-Filters und des B-Filters verschieden ist, als das Farbfilter beinhaltet; (b) eine optische Linse, die ein Bildlicht von einem Motiv auf einer Bildgebungsoberfläche der Festkörperbildgebungsvorrichtung bildet; und (c) einen Signalverarbeitungsschaltkreis, der eine Signalverarbeitung an einem Signal durchführt, das von der Festkörperbildgebungsvorrichtung ausgegeben wird.
  • Figurenliste
    • [1] 1 ist ein Diagramm, das eine Gesamtkonfiguration einer elektronischen Vorrichtung gemäß einer ersten Ausführungsform der vorliegenden Offenbarung veranschaulicht.
    • [2] 2 ist ein Diagramm, das die Gesamtkonfiguration einer Festkörperbildgebungsvorrichtung gemäß der ersten Ausführungsform der vorliegenden Offenbarung veranschaulicht.
    • [3A] 3A ist ein Diagramm, das eine Querschnittskonfiguration einer Pixelarrayeinheit entlang einer Linie A-A in 2 veranschaulicht.
    • [3B] 3B ist ein Diagramm, das ein Minimaleinheitsarray eines Farbfilters entlang einer Linie B-B in 3A veranschaulicht.
    • [4] 4 ist ein Diagramm, das das Minimaleinheitsarray eines Farbfilters gemäß einem Modifikationsbeispiel veranschaulicht.
    • [5] 5 ist ein Diagramm, das eine Konfiguration des Farbfilterarrays veranschaulicht.
    • [6] 6 ist ein Diagramm, das den Transmissionsgrad jedes Pixels einer Festkörperbildgebungsvorrichtung nach dem Stand der Technik veranschaulicht.
    • [7] 7 ist ein Diagramm, das den Transmissionsgrad jedes Pixels einer Festkörperbildgebungsvorrichtung gemäß einer ersten Ausführungsform veranschaulicht.
    • [8] 8 ist ein Diagramm, das den Transmissionsgrad jedes Pixels der Festkörperbildgebungsvorrichtung gemäß der ersten Ausführungsform veranschaulicht.
    • [9] 9 ist ein Diagramm, das den Transmissionsgrad jedes Pixels der Festkörperbildgebungsvorrichtung gemäß der ersten Ausführungsform veranschaulicht.
    • [10] 10 ist ein Diagramm, das die Anordnung von Mikrolinsen gemäß einem Modifikationsbeispiel veranschaulicht.
    • [11] 11 ist ein Diagramm, das die Anordnung von Mikrolinsen gemäß einem Modifikationsbeispiel veranschaulicht.
    • [12] 12 ist ein Diagramm, das ein erfasstes Bild veranschaulicht, das durch einen Signalverarbeitungsschaltkreis erzeugt wird.
    • [13] 13 ist ein Diagramm, das Pixel veranschaulicht, die zur Schätzung einer Farbtemperatur verwendet werden, wenn die Farbtemperatur niedrig ist.
    • [14] 14 ist ein Diagramm, das Pixel veranschaulicht, die zur Schätzung einer Farbtemperatur verwendet werden, wenn die Farbtemperatur flach ist.
    • [15] 15 ist ein Diagramm, das Pixel veranschaulicht, die zur Schätzung einer Farbtemperatur verwendet werden, wenn die Farbtemperatur hoch ist.
    • [16] 16 ist ein Diagramm, das den Verarbeitungsinhalt der Remosaic-Verarbeitung veranschaulicht.
    • [17] 17 ist ein Diagramm, das den Verarbeitungsinhalt der Binning-Verarbeitung veranschaulicht.
    • [18] 18 ist ein Diagramm, das eine Konfiguration eines Farbfilterarrays des Festkörperbildgebungssensors gemäß der zweiten Ausführungsform der vorliegenden Offenbarung veranschaulicht.
    • [19] 19 ist ein Diagramm, das das Minimaleinheitsarray eines Farbfilters veranschaulicht.
    • [20] 20 ist ein Diagramm, das den Verarbeitungsinhalt der Binning-Verarbeitung veranschaulicht.
    • [21] 21 ist ein Diagramm, das den Verarbeitungsinhalt der Binning-Verarbeitung veranschaulicht.
    • [22] 22 ist ein Diagramm, das eine Konfiguration eines Farbfilterarrays gemäß einem Modifikationsbeispiel veranschaulicht.
    • [23] 23 ist ein Diagramm, das eine Konfiguration eines Farbfilterarrays gemäß einem Modifikationsbeispiel veranschaulicht.
    • [24] 24 ist ein Blockdiagramm, das ein Beispiel für eine schematische Konfiguration eines Fahrzeugsteuersystems veranschaulicht.
    • [25] 25 ist ein erklärendes Diagramm, das ein Beispiel für Installationspositionen einer Außeninformationsdetektionseinheit und einer Bildgebungseinheit veranschaulicht.
    • [26] 26 ist ein Diagramm, das ein Beispiel für eine schematische Konfiguration eines endoskopischen Chirurgiesystems veranschaulicht.
    • [27] 27 ist ein Blockdiagramm, das ein Beispiel für eine funktionale Konfiguration eines Kamerakopfes und einer CCU veranschaulicht.
  • [Beschreibung von Ausführungsformen]
  • Nachfolgend werden Beispiele für eine Festkörperbildgebungsvorrichtung 1 und eine elektronische Vorrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf 1 bis 27 beschrieben. Die Ausführungsform der vorliegenden Offenbarung wird in der folgenden Reihenfolge beschrieben. Es wird jedoch angemerkt, dass die vorliegende Offenbarung nicht auf die folgenden Beispiele beschränkt ist. Außerdem sind die in dieser Schrift beschriebenen Effekte beispielhaft und nicht beschränkend, und andere Effekte können bereitgestellt werden.
    1. 1. Erste Ausführungsform: Elektronische Vorrichtung
      • 1-1 Gesamtkonfiguration der elektronischen Vorrichtung
      • 1-2 Konfigurationen von Hauptteilen
    2. 2. Zweite Ausführungsform: Elektronische Vorrichtung
      • 2-1 Konfigurationen von Hauptteilen
      • 2-2 Modifikationsbeispiel
    3. 3. Anwendungsbeispiel für einen sich bewegenden Körper
    4. 4. Anwendungsbeispiel für ein endoskopisches Chirurgiesystem
  • <1. Erste Ausführungsform: Elektronische Vorrichtung>
  • 1-1 Gesamtkonfigurationsbeispiel der elektronischen Vorrichtung Als Nächstes wird eine elektronische Vorrichtung 100 gemäß einer ersten Ausführungsform der vorliegende Offenbarung beschrieben. Als die elektronische Vorrichtung 100 können verschiedene elektronische Vorrichtungen, zum Beispiel eine Bildgebungsvorrichtung, wie etwa eine digitale Fotokamera und eine digitale Videokamera, ein Mobiltelefon mit einer Bildgebungsfunktion oder eine andere Vorrichtung mit einer Bildgebungsfunktion, genutzt werden. 1 ist ein schematisches Diagramm, das eine Gesamtkonfiguration der elektronischen Vorrichtung 100 gemäß der ersten Ausführungsform der vorliegenden Offenbarung veranschaulicht.
  • Wie in 1 veranschaulicht, beinhaltet die elektronische Vorrichtung 100 eine Festkörperbildgebungsvorrichtung 101 (nachfolgend als eine „Festkörperbildgebungsvorrichtung 1“ bezeichnet), eine optische Linse 102, eine Verschlussvorrichtung 103, einen Ansteuerungsschaltkreis 104 und einen Signalverarbeitungsschaltkreis 105. Bei der elektronischen Vorrichtung 100 bildet die optische Linse 102 Bildlicht (einfallendes Licht 106) von dem Motiv auf der Bildgebungsoberfläche der Festkörperbildgebungsvorrichtung 101. Die Festkörperbildgebungsvorrichtung 101 wandelt die Menge des einfallenden Lichts 106 in Pixeleinheiten in ein elektrisches Signal um und gibt ein Pixelsignal aus. Der Signalverarbeitungsschaltkreis 105 führt eine Signalverarbeitung an dem Pixelsignal durch, das von der Festkörperbildgebungsvorrichtung 101 ausgegeben wird. In diesem Fall steuert die Verschlussvorrichtung 103 eine Lichtabstrahlungsperiode und eine Lichtabschirmungsperiode für die Festkörperbildgebungsvorrichtung 101. Der Ansteuerungsschaltkreis 104 stellt ein Ansteuerungssignal zum Steuern eines Pixelsignaltransfervorgangs und eines Verschlussvorgangs der Verschlussvorrichtung 103 bereit. 2 ist ein schematisches Diagramm, das die Festkörperbildgebungsvorrichtung 1 veranschaulicht. Die Festkörperbildgebungsvorrichtung 1 in 2 ist ein Komplementärer-MetallOxid-Halbleiter(CMOS)-Bildsensor vom Rückseitenbeleuchtungstyp. Wie in 2 veranschaulicht, beinhaltet die Festkörperbildgebungsvorrichtung 1 ein Substrat 2, eine Pixelarrayeinheit 3, einen Vertikalansteuerungsschaltkreis 4, einen Spaltensignalverarbeitungsschaltkreis 5, einen Horizontalansteuerungsschaltkreis 6, einen Ausgabeschaltkreis 7 und einen Steuerschaltkreis 8.
  • Die Pixelarrayeinheit 3 beinhaltet mehrere Pixel 9, die in einer Matrix auf dem Substrat 2 angeordnet sind. Wie in 3A und 3B gezeigt, weist jedes der Pixel 9 die fotoelektrische Umwandlungseinheit 24 und ein Farbfilter 19 und eine Mikrolinse 20, die entsprechend der fotoelektrischen Umwandlungseinheit 24 gebildet ist, auf. Vier Pixel 9, die in einer 2×2-Matrix angeordnet sind, bilden eine Pixeleinheit 10. Ferner bilden vier Pixeleinheiten 10, die in einer 2×2-Matrix angeordnet sind, eine Pixeleinheitsgruppe 11. Das heißt, mehrere Pixeleinheitsgruppen 11, die in einer Matrix angeordnet sind, bilden eine Pixelarrayeinheit 3.
  • Bei der ersten Ausführungsform ist ein Beispiel gezeigt, bei dem eine Pixeleinheit 10 aus Pixeln 9 besteht, die in einer 2×2-Matrix angeordnet sind, aber andere Konfigurationen können ebenfalls genutzt werden. Zum Beispiel können, wie in 4 gezeigt, die Pixel 9 in einer Matrix aus m×n (m und n sind natürliche Zahlen von 2 oder mehr) angeordnet sein. 4 veranschaulicht einen Fall, in dem m und n 5 oder größer sind.
  • Der Vertikalansteuerungsschaltkreis 4, der durch zum Beispiel ein Schieberegister gegeben ist, wählt eine gewünschte Pixelansteuerungsverdrahtung 12 aus, liefert einen Impuls zum Ansteuern der Pixel 9 an die ausgewählte Pixelansteuerungsverdrahtung 12 und steuert die Pixel 9 in Einheiten von Zeilen an. Das heißt, der Vertikalansteuerungsschaltkreis 4 führt sequentiell ein Auswahlscannen an den Pixeln 9 in der Pixelarrayeinheit 3 in der vertikalen Richtung in Einheiten von Zeilen durch und liefert ein Pixelsignal basierend auf Signalladungen, die gemäß der Menge an empfangenem Licht in der fotoelektrischen Umwandlungseinheit 24 jedes der Pixel 9 erzeugt werden, durch Vertikalsignalleitungen 13 an den Spaltensignalverarbeitungsschaltkreis 5.
  • Der Spaltensignalverarbeitungsschaltkreis 5 ist zum Beispiel für jede Spalte des Pixels 9 angeordnet und führt eine Signalverarbeitung, wie etwa Rauschentfernung, für jede Pixelspalte an einem Signal durch, das von den Pixeln 9 ausgegeben wird, die einer Zeile entsprechen. Zum Beispiel führt der Spaltensignalverarbeitungsschaltkreis 5 eine Signalverarbeitung, wie etwa eine korrelierte Doppelabtastung (CDS: Correlated Double Sampling) und Analog-Digital(AD)-Umsetzung ,zum Entfernen von pixelspezifischem Rauschen mit festem Muster durch.
    Der Horizontalansteuerungsschaltkreis 6, der durch zum Beispiel ein Schieberegister gegeben ist, gibt sequentiell einen Horizontalscanimpuls an die Spaltensignalverarbeitungsschaltkreise 5 aus, um jeden der Spaltensignalverarbeitungsschaltkreise 5 der Reihe nach auszuwählen, und gibt ein Pixelsignal (nachfolgend auch als ein „Pixelwert“ bezeichnet), das einer Signalverarbeitung unterzogen wurde, an die Horizontalsignalleitung 14 von jedem der Spaltensignalverarbeitungsschaltkreise 5 aus.
  • Der Ausgabeschaltkreis 7 führt eine Signalverarbeitung an Pixelsignalen (Pixelwerten) durch, die sequentiell bereitgestellt werden und gibt die Pixelsignale durch die Horizontalsignalleitung 14 von jedem der Spaltensignalverarbeitungsschaltkreise 5 aus. Als die Signalverarbeitung können zum Beispiel Puffern, Schwarzpegelanpassung, Spaltenvariationskorrektur und verschiedene Arten von Digitalsignalverarbeitungen genutzt werden. Der Steuerschaltkreis 8 erzeugt ein Taktsignal oder ein Steuersignal als eine Referenz für Operationen des Vertikalansteuerungsschaltkreises 4, des Spaltensignalverarbeitungsschaltkreises 5, des Horizontalansteuerungsschaltkreises 6 und dergleichen basierend auf einem Vertikalsynchronsignal, einem Horizontalsynchronsignal und einem Master-Taktsignal. Außerdem gibt der Steuerschaltkreis 8 das erzeugte Taktsignal oder Steuersignal an den Vertikalansteuerungsschaltkreis 4, den Spaltensignalverarbeitungsschaltkreis 5 und den Horizontalansteuerungsschaltkreis 6 und dergleichen aus.
  • [1-2 Konfigurationen von Hauptteilen]
  • Als Nächstes wird eine ausführliche Konfiguration der Festkörperbildgebungsvorrichtung 1 in 1 beschrieben. 3A ist ein Diagramm, das eine Querschnittskonfiguration der Pixelarrayeinheit 3 der Festkörperbildgebungsvorrichtung 1 veranschaulicht. 3B ist ein Diagramm, das das Minimaleinheitsarray des Farbfilters 19 entlang einer Linie B-B in 3A veranschaulicht. In 3A und 3B wird ein CMOS-Bildsensor vom Rückseitenbeleuchtungstyp als die Festkörperbildgebungsvorrichtung 1 verwendet.
  • Wie in 3A und 3B veranschaulicht, beinhaltet die Festkörperbildgebungsvorrichtung 1 gemäß der ersten Ausführungsform eine Lichtempfangsschicht 18, in der das Substrat 2, ein Isolationsfilm 15, ein Lichtabschirmungsfilm 16 und ein Planarisierungsfilm 17 in dieser Reihenfolge laminiert sind. Außerdem ist eine Lichtsammlungsschicht 21, in der ein Farbfilter 19 und eine Mikroline 20 (eine On-Chip-Linse) in dieser Reihenfolge laminiert sind, auf einer Oberfläche der Lichtempfangsschicht 18 auf der Seite des Isolationsfilms 15 (nachfolgend auch als eine „hintere Oberfläche S1“ bezeichnet) gebildet. Ferner sind eine Verdrahtungsschicht 22 und ein Stützsubstrat 23 in dieser Reihenfolge auf einer Oberfläche der Lichtempfangsschicht 18 auf der Seite des Substrats 2 (nachfolgend auch als eine „Oberfläche S2“ bezeichnet) laminiert. Indessen sind die hintere Oberfläche S1 der Lichtempfangsschicht 18 und die hintere Oberfläche des Planarisierungsfilms 17 dieselbe Oberfläche und dementsprechend wird die hintere Oberfläche des Planarisierungsfilms 17 in der folgenden Beschreibung als eine „hintere Oberfläche S1“ bezeichnet. Außerdem sind die Oberfläche S2 der Lichtempfangsschicht 18 und die Oberfläche des Substrats 2 dieselbe Oberfläche und dementsprechend wird die Oberfläche des Substrats 2 in der folgenden Beschreibung als eine „Oberfläche S2“ bezeichnet.
  • Das Substrat 2 ist durch ein Halbleitersubstrat gegeben, das aus zum Beispiel Silicium (Si) gebildet ist, und bildet die in 1 veranschaulichte Pixelarrayeinheit 3. In der Pixelarrayeinheit 3 sind mehrere fotoelektrische Umwandlungseinheiten 24, die auf dem Substrat 2 gebildet sind, in einer Matrix angeordnet. In der fotoelektrischen Umwandlungseinheit 24 werden Signalladungen, die der Menge an einfallendem Licht 106 entsprechen, erzeugt und akkumuliert. Ferner ist eine Pixelseparationseinheit 25 zwischen angrenzenden fotoelektrischen Umwandlungseinheiten 24 angeordnet, so dass das durch die anderen fotoelektrischen Umwandlungseinheiten 24 transmittierte Licht nicht eintritt.
    Der Isolationsfilm 15 bedeckt das gesamte Substrat 2 kontinuierlich auf der Seite der hinteren Oberfläche S1 (der Gesamtheit auf einer
    Lichtempfangsoberflächenseite). Außerdem ist der Lichtabschirmungsfilm 16 in einer Gitterform in einem Teil des Isolationsfilms 15 auf der Seite der hinteren Oberfläche S3 (einem Teil auf einer Lichtempfangsoberflächenseite) gebildet, so dass eine Lichtempfangsoberfläche jeder der mehreren fotoelektrischen Umwandlungseinheiten 24 offen ist.
  • Das Farbfilter 19 wird so, dass es jeder der fotoelektrischen Umwandlungseinheiten 24 entspricht, auf der Seite der hinteren Oberfläche S1 (Lichtempfangsoberflächenseite) des Isolationsfilms 15 gebildet. Das heißt, ein Farbfilter 19 wird für eine fotoelektrische Umwandlungseinheit 24 (Pixel 9) gebildet. Auf diese Weise bilden die Farbfilter 19 Farbfilterarrays 26, die regelmäßig in einer Matrix angeordnet sind. Jedes der Farbfilter 19 ist zum Transmittieren von Licht einer speziellen Wellenlänge (rotes Licht, grünes Licht, blaues Licht, oranges Licht, smaragdgrünes Licht) des einfallenden Lichts 106 und Bewirken davon konfiguriert, dass das transmittierte Licht auf die fotoelektrische Umwandlungseinheit 24 einfällt. Als das Farbfilter 19 werden ein R-Filter 19R, das rotes Licht transmittiert, ein G-Filter 19G, das grünes Licht transmittiert, ein B-Filter 19B, das blaues Licht transmittiert, ein vorbestimmtes Farbfilter, das oranges Licht transmittiert (nachfolgend auch als „O-Filter 19O“ bezeichnet), und ein vorbestimmtes Farbfilter (nachfolgend auch als „SG-Filter 19SG“ bezeichnet), das smaragdgrünes Licht transmittiert, verwendet. In 3A und 3B gibt ein Bezugszeichen R R-Filter 19R an, gibt ein Bezugszeichen G G-Filter 19G an, gibt ein Bezugszeichen B B-Filter 19B an, gibt ein Bezugszeichen O O-Filter 19O an und gibt ein Bezugszeichen SG SG-Filter 19SG an. Ferner wird in der folgenden Beschreibung das Pixel 9 einschließlich des R-Filters 19R als ein rotes Pixel 9R bezeichnet, wird das Pixel 9 einschließlich des G-Filters 19G als ein grünes Pixel 9G bezeichnet, wird das Pixel 9 einschließlich des B-Filters 19B als ein blaues Pixel 9B bezeichnet, wird das Pixel 9 einschließlich des O-Filters 19O als ein oranges Pixel 9O bezeichnet, und wird das Pixel 9 einschließlich des SG-Filters 19SG als ein smaragdgrünes Pixel 9SG bezeichnet.
  • Als die Transmissionsgradspitzenwellenlänge des O-Filters 19O wird ein numerischer Wert innerhalb eines ersten Bereichs verwendet, der größer als die Transmissionsgradspitzenwellenlänge des B-Filters 19B und kleiner als die Transmissionsgradspitzenwellenlänge des G-Filters 19G ist. Ferner wird als die Transmissionsgradspitzenwellenlänge des SG-Filters 19SG ein numerischer Wert innerhalb eines zweiten Bereichs verwendet, der größer als die Transmissionsgradspitzenwellenlänge des G-Filters 19G und kleiner als die Transmissionsgradspitzenwellenlänge des R-Filters 19R ist. Wenn zum Beispiel die Transmissionsgradspitzenwellenlänge des R-Filters 19R 600 nm ist, die Transmissionsgradspitzenwellenlänge des G-Filters 19G 530 nm ist und die Transmissionsgradspitzenwellenlänge des B-Filters 19B 460 nm ist, wird es bevorzugt, dass der erste Bereich größer als 465 nm und kleiner als 525 nm ist und der zweite Bereich größer als 535 nm und kleiner als 595 nm ist. Auf diese Weise können der erste Bereich und der zweite Bereich um 5 nm oder mehr von den Transmissionsgradspitzenwellenlängen des R-Filters 19R, des G-Filters 19G und des B-Filters 19B separiert werden.
  • Ferner ist das Arraymuster der Farbfilter 19 (das Arraymuster des R-Filters 19R, des G-Filters 19G, des B-Filters 19B, des O-Filters 19O und des SG-Filter 19SG) so konfiguriert, dass das Array der Farbfilter 19, die in einer 4×4-Matrix angeordnet sind, wie in 3B gezeigt, als die Minimaleinheit des Arrays der Farbfilter 19 (nachfolgend auch als „Minimaleinheitsarray“ bezeichnet) verwendet wird, und die Minimaleinheitsarrays sind in allen Pixeleinheitsgruppen 11 der Pixelarrayeinheit 3 wie in 5 gezeigt angeordnet.
    Wie in 3B gezeigt, ist das Minimaleinheitsarray der Farbfilter 19 ein Array, in dem die Bayer-Anordnung mit 4-Unterteilung teilweise modifiziert ist, so dass unter den vier Pixeleinheiten 10, die die Pixeleinheitsgruppe 11 darstellen, das R-Filter 19R auf der oberen rechten Pixeleinheit 10 angeordnet ist, das G-Filter 19G auf der oberen linken und der unteren rechten Pixeleinheit 10 angeordnet ist und das B-Filter 19B auf der unteren linken Pixeleinheit 10 angeordnet ist. Insbesondere ist das R-Filter 19R des oberen linken Pixels 9 unter den 2×2 Pixeln 9, die die obere rechte Pixeleinheit 10 der Bayer-Anordnung mit 4-Unterteilung darstellen, mit dem O-Filter 19O ersetzt und ist das B-Filter 19B des oberen linken Pixels 9 unter den 2×2 Pixeln 9, die die untere linke Pixeleinheit 10 darstellen, mit dem SG-Filter 19SG ersetzt.
  • Hier erreicht zum Beispiel in einer herkömmlichen Festkörperbildgebungsvorrichtung, die nur das R-Filter 19R, das G-Filter 19G und das B-Filter 19B als das Farbfilter 19 beinhaltet, Licht der Wellenlängen (nachfolgend auch als „Außerspitzenwellenlängen“ bezeichnet), die von den Transmissionsgradspitzenwellenlängen des R-Filters 19R, des G-Filters 19G und des B-Filters 19B abweichen, kaum die fotoelektrische Umwandlungseinheit 24 und wird durch das rote Pixel 9R, das grüne Pixel 9G und das blaue Pixel 9B nicht detektiert. Daher kann, wie in 6 gezeigt, wenn es zwei Motive A und B mit unterschiedlichen Reflexionsgraden bei den Außerspitzenwellenlängen gibt, der Unterschied einer Farbe zwischen den Motiven A und B nicht quantifiziert werden. Daher werden bei der herkömmlichen Festkörperbildgebungsvorrichtung die Motive A und B als die gleiche Farbe bestimmt.
  • Wenn andererseits, wie bei der Festkörperbildgebungsvorrichtung 1 gemäß der ersten Ausführungsform, die Farbfilter 19 ein O-Filter 19O und ein SG-Filter 19SG zusätzlich zu dem R-Filter 19R, dem G-Filter 19G und dem B-Filter 19B beinhalten, durchläuft Licht mit einer Wellenlänge zwischen der Transmissionsgradspitzenwellenlänge des R-Filters 19R und der Transmissionsgradspitzenwellenlänge des G-Filters 19G das SG-Filter 19SG und wird durch das smaragdgrüne Pixel 9SG detektiert. Ferner durchläuft Licht mit einer Wellenlänge zwischen der Transmissionsgradspitzenwellenlänge des G-Filters 19G und der Transmissionsgradspitzenwellenlänge des B-Filters 19B das O-Filter 19O und wird durch das orange Pixel 9O detektiert. Das heißt, die Abtastpunkte des einfallenden Lichts 106 können durch die Konfiguration einschließlich des O-Filters 19O und des SG-Filters 19SG erhöht werden. Daher kann, wie in 7 gezeigt, wenn es zwei Motive A und B mit unterschiedlichen Reflexionsgraden der Außerspitzenwellenlängen gibt, ein Unterschied Δ einer Farbe zwischen den Motiven A und B quantifiziert werden. Daher können bei der Festkörperbildgebungsvorrichtung 1 gemäß der ersten Ausführungsform die Motive A und B als unterschiedliche Farben bestimmt werden.
    Wenn die Pixelsignale des orangen Pixels 9O und des smaragdgrünen Pixels 9SG zum Schätzen der Farbtemperatur zusätzlich zu den Pixelsignalen des roten Pixels 9R, des grünen Pixels 9G und des blauen Pixels 9B verwendet werden, kann daher die Farbtemperatur der Lichtquelle mit hoher Genauigkeit geschätzt werden. Daher kann die Farbreproduzierbarkeit des erfassten Bildes durch Anpassen des Weißabgleichs des erfassten Bildes basierend auf der Farbtemperatur verbessert werden. Wenn zum Beispiel die Farbtemperatur der Lichtquelle niedrig ist, enthält das Bildlicht (einfallendes Licht 106) von dem Motiv eine große Menge an Licht mit einer langen Wellenlänge. Da die Anzahl an Abtastpunkten (Punkte, die in 8 durch die gestrichelte Linie eingekreist sind) auf der Seite langer Wellenlängen in dem orangen Pixel 9O zunimmt, kann jedoch, wie in 8 gezeigt, die Farbreproduzierbarkeit des erfassten Bildes verbessert werden. Wenn zum Beispiel die Farbtemperatur hoch ist, wie in 9 gezeigt, enthält ferner das einfallende Licht 106 von dem Motiv eine große Menge an Licht mit einer kurzen Wellenlänge. Da die Anzahl an Abtastpunkten (Punkte, die in 9 durch die gestrichelte Linie eingekreist sind) auf der Seite kurzer Wellenlängen in dem smaragdgrünen Pixel 9SG erhöht ist, kann jedoch die Farbreproduzierbarkeit des erfassten Bildes verbessert werden.
  • Bei der ersten Ausführungsform ist das Beispiel gezeigt, bei dem das G-Filter 19G in der oberen linken und der unteren rechten Pixeleinheit 10 angeordnet ist, aber andere Konfigurationen können ebenfalls genutzt werden. Zum Beispiel können auch eine Konfiguration, bei der das G-Filter 19G in der oberen rechten und der unteren linken Pixeleinheit 10 angeordnet ist, eine Konfiguration, bei der das G-Filter 19G in der oberen linken und der unteren linken Pixeleinheit 10 angeordnet ist, und eine Konfiguration, bei der das G-Filter 19G in der oberen rechten und der unteren rechten Pixeleinheit 10 angeordnet ist, genutzt werden. Ferner kann zum Beispiel auch eine Konfiguration genutzt werden, bei der das R-Filter 19R in der unteren Pixeleinheit 10 angeordnet ist und das B-Filter 19B in der oberen Pixeleinheit 10 angeordnet ist. Das heißt, jede der Pixeleinheitsgruppen 11 kann derart konfiguriert sein, dass unter den vier Pixeleinheiten 10, die die Pixeleinheitsgruppe 11 darstellen, eine Pixeleinheit 10 das R-Filter 19R als das Farbfilter 19 beinhaltet, zwei Pixeleinheiten 10 das G-Filter 19G als das Farbfilter 19 beinhalten, eine Pixeleinheit 10 das B-Filter 19B als das Farbfilter 19 beinhaltet.
  • Ferner ist bei der ersten Ausführungsform ein Beispiel gezeigt, bei dem sämtliche Pixeleinheitsgruppen 11 der Pixelarrayeinheit 3 das O-Filter 19O und das SG-Filter 19SG beinalten, aber andere Konfigurationen können ebenfalls genutzt werden. Zum Beispiel kann wenigstens eine der Pixeleinheitsgruppen 11, die die Pixelarrayeinheit 3 darstellen, so konfiguriert sein, dass sie das O-Filter 19O und das SG-Filter 19SG (vorbestimmtes Farbfilter) beinhaltet.
    Ferner ist bei der ersten Ausführungsform ein Beispiel gezeigt, bei dem das O-Filter 19O und das SG-Filter 19SG als das Farbfilter 19 (vorbestimmtes Farbfilter) verwendet werden, welche zusammen mit dem R-Filter 19R, dem G-Filter 19G und dem B-Filter 19B angeordnet sind, aber andere Konfigurationen können ebenfalls genutzt werden. Zum Beispiel kann als das vorbestimmte Farbfilter ein Farbfilter 19 mit einer Spitzenwellenlänge mit einem Transmissionsgrad verwendet werden, der von jenem des R-Filters 19R, des G-Filters 19G und des B-Filters 19B verschieden ist.
  • Ferner ist bei der ersten Ausführungsform ein Beispiel gezeigt, bei dem das R-Filter 19R des oberen linken Pixels 9 unter den 2×2 Pixeln 9, die die Pixeleinheit 10 darstellen, die das R-Filter 19R beinhaltet, mit dem O-Filter 19O ersetzt ist, aber andere Konfigurationen können ebenfalls genutzt werden. Zum Beispiel kann ein beliebiges der R-Filter 19R des unteren linken Pixels 9, des oberen rechten Pixels 9 und des unteren rechten Pixels 9 unter den 2×2 Pixeln 9 mit dem O-Filter 19O ersetzt werden. Ferner kann zum Beispiel das G-Filter 19G eines beliebigen der 2×2 Pixel 9, die die Pixeleinheit 10 darstellen, die das G-Filter 19G beinhaltet, mit dem O-Filter 19O ersetzt werden. Ferner kann zum Beispiel das B-Filter 19B eines beliebigen der 2×2 Pixel 9, die die Pixeleinheit 10 darstellen, die das B-Filter 19B beinhaltet, mit dem O-Filter 19O ersetzt werden. Insbesondere wird es besonders bevorzugt, dass das O-Filter 19O (vorbestimmtes Farbfilter) in der Pixeleinheit 10 enthalten ist, die das R-Filter 19R oder das B-Filter 19B beinhaltet. Ferner wird es besonders bevorzugt, dass, ähnlich dem O-Filter 19O, das SG-Filter 19SG (vorbestimmtes Farbfilter) in der Pixeleinheit 10 enthalten ist, die das R-Filter 19R oder das B-Filter 19B beinhaltet. Mit einer solchen Konfiguration kann das grüne Pixel 9G als ein Pixel zum Erlangen von Luminanzinformationen und Auflösungsinformationen und ferner als ein Phasenunterschiedspixel verwendet werden.
  • Ferner ist bei der ersten Ausführungsform ein Beispiel gezeigt, bei dem die Anzahl an Arten der Farbfilter 19, die in einer Pixeleinheit 10 enthalten sind, eine der zwei Arten des R-Filters 19R und des O-Filters 19O und der zwei Arten des B-Filters 19B und des SG-Filters 19SG ist, aber andere Konfigurationen können ebenfalls genutzt werden. Zum Beispiel kann eine Pixeleinheit 10 nur eine Art des R-Filters 19R , des G-Filters 19G und des B-Filters 19B beinhalten oder kann die drei Arten beinhalten. Insbesondere ist eine Konfiguration besonders vorteilhaft, bei der die Anzahl an Arten der Farbfilter 19, die in einer Pixeleinheit 10 enthalten sind, 2 oder weniger ist. Mit einer solchen Konfiguration ist es möglich, eine Abnahme der Fläche zu unterdrücken, die durch das rote Pixel 9R, das grüne Pixel 9G und das blaue Pixel 9B belegt wird.
  • Die Mikrolinse 20 wird so, dass sie jeder der fotoelektrischen Umwandlungseinheiten 24 entspricht, auf der Seite der hinteren Oberfläche S4 (Lichtempfangsoberflächenseite) des Farbfilters 19 gebildet. Das heißt, eine Mikrolinse 20 wird für eine fotoelektrische Umwandlungseinheit 24 (Pixel 9) gebildet. Auf diese Weise bilden die Mikrolinsen 20 Mikrolinsenarrays 27, die regelmäßig in einer Matrix angeordnet sind. Jede der Mikrolinsen 20 ist zum Sammeln von Bildlicht (einfallendem Licht 106) von einem Motiv und Leiten des gesammelten einfallenden Lichts 106 durch das Farbfilter 19 in die Nähe der hinteren Oberfläche (Lichtempfangsoberfläche) der fotoelektrischen Umwandlungseinheit 24 konfiguriert.
    Bei der ersten Ausführungsform ist ein Beispiel gezeigt, bei dem eine Mikrolinse 20 für eine fotoelektrische Umwandlungseinheit 24 gebildet ist, aber andere Konfigurationen können ebenfalls genutzt werden. Wenn zum Beispiel das grüne Pixel 9G als das Phasenunterschiedspixel verwendet wird, wie in 10 gezeigt, können zwei grüne Pixel 9G, die in einer 1×2-Matrix angeordnet sind, als die Phasenunterschiedspixel verwendet werden, und eine Mikrolinse 20 kann für die zwei grünen Pixel 9G (Phasenunterschiedspixel) gebildet sein. Gemäß einer solchen Konfiguration kann der Phasenunterschied des erfassten Bildes zwischen den zwei grünen Pixeln 9G (Phasenunterschiedspixel) detektiert werden, die eine Mikrolinse 20 gemeinsam nutzen.
    Ferner kann zum Beispiel eine Mikrolinse 20 für eine Pixeleinheit 10 (Pixel 9, die in einer 2×2-Matrix angeordnet sind) gebildet werden. In diesem Fall werden, wie in 11 gezeigt, wenn zum Beispiel das grüne Pixel 9G als das Phasenunterschiedspixel verwendet wird, die vier grünen Pixel 9G, die in einer 2×2-Matrix angeordnet sind, als die Phasenunterschiedspixel verwendet, und eine Mikrolinse 20 ist für die vier grünen Pixel 9G (Phasenunterschiedspixel) gebildet. Gemäß einer solchen Konfiguration kann der Phasenunterschied des erfassten Bildes zwischen den vier grünen Pixeln 9G (Phasenunterschiedspixel) detektiert werden, die eine Mikrolinse 20 gemeinsam nutzen.
  • Die Verdrahtungsschicht 22 ist auf der Seite der Oberfläche S2 des Substrats 2 gebildet und ist so konfiguriert, dass sie einen Isolationszwischenschichtfilm 28 und Verdrahtungen 29 beinhaltet, die als mehrere Schichten mit dem Isolationszwischenschichtfilm 28 dazwischenliegend laminiert sind. Die Verdrahtungsschicht 22 steuert einen Pixeltransistor, der die Pixel 9 darstellt, durch die mehreren Schichten der Verdrahtungen 29 an.
    Das Stützsubstrat 23 ist auf einer Oberfläche der Verdrahtungsschicht 22 gegenüber einer Seite gebildet, die dem Substrat 2 zugewandt ist. Das Stützsubstrat 23 ist ein Substrat zum Sicherstellen der Festigkeit des Substrats 2 in einer Herstellungsphase der Festkörperbildgebungsvorrichtung 1. Als ein Material des Stützsubstrats 23 kann zum Beispiel Silicium (Si) verwendet werden.
  • Als Nächstes wird die Signalverarbeitung beschrieben, die durch den Signalverarbeitungsschaltkreis 105 aus 1 ausgeführt wird.
    Zuerst führt, wie zum Beispiel in 12 gezeigt, der
    Signalverarbeitungsschaltkreis 105 einen Prozess zum Erzeugen eines Mosaik-Bildes 30, das dem Array der Farbfilter 19 entspricht, basierend auf den Pixelsignalen (Pixelwerten) durch, die von dem roten Pixel 9R, dem grünen Pixel 9G, dem blauen Pixel 9B, dem orangen Pixel 9O und dem smaragdgrünen Pixel 9SG ausgegeben werden. In 12 gibt ein Bezugszeichen R ein Bildpixel 31R mit nur Farbinformationen für Rot (nachfolgend auch als „rotes Bildpixel“ bezeichnet) an, und gleichermaßen gibt ein Bezugszeichen G ein Bildpixel 31G mit nur Farbinformationen für Grün (nachfolgend auch als „grünes Bildpixel“ bezeichnet) an, gibt ein Bezugszeichen B ein Bildpixel 31B mit nur Farbinformationen für Blau (nachfolgend auch als „blaues Bildpixel“ bezeichnet) an, gibt ein Bezugszeichen O ein Bildpixel 31O mit nur Farbinformationen für Orange (nachfolgend auch als „oranges Bildpixel“ bezeichnet) an und gibt ein Bezugszeichen SG ein Bildpixel 31SG mit nur Farbinformationen für Smaragdgrün (nachfolgend auch als „smaragdgrünes Bildpixel“ bezeichnet) an.
  • Anschließend führt der Signalverarbeitungsschaltkreis 105 einen Prozess zum Schätzen der Farbtemperatur der Lichtquelle basierend auf den Pixelwerten (den Pixelwerten des roten, grünen, blauen, orangen und smaragdgrünen Pixels 31R, 31G, 31B, 31O und 31SG) jedes Bildpixels des erzeugten Mosaik-Bildes 30 und Anpassen des Weißabgleichs basierend auf der geschätzten Farbtemperatur durch. Bei der Schätzung der Farbtemperatur nimmt, wenn die Farbtemperatur der Lichtquelle niedrig ist, wie in 13 gezeigt, die Komponente auf der Seite der langen Wellenlänge des Reflexionsgrades des Motivs zu und nimmt die Menge an Licht auf der Seite der langen Wellenlänge, das in dem einfallenden Licht 106 enthalten ist, zu. Daher wird die Farbtemperatur unter Verwendung des Pixelwertes des orangen Bildpixels 31O zusätzlich zu den Pixelwerten des roten, grünen und blauen Bildpixels 31R, 31G und 31B des Mosaik-Bildes 30 geschätzt.
    Andererseits ist, wenn die Farbtemperatur der Lichtquelle flach ist, das heißt, wenn der Reflexionsgrad des Motivs bei allen Wellenlängen von der Seite der kurzen Wellenlänge zu der Seite der langen Wellenlänge etwa gleich ist, wie in 14 gezeigt, die Menge an Licht jeder Wellenlänge, das in dem einfallenden Licht 106 enthalten ist, etwa gleich. Daher wird die Farbtemperatur unter Verwendung nur der Pixelwerte des roten, grünen und blauen Bildpixels 31R, 31G und 31B des Mosaik-Bildes 30 geschätzt. Falls notwendig, können die Pixelwerte des orangen und smaragdgrünen Pixels 31O und 31SG auch zum Schätzen der Farbtemperatur verwendet werden. Andererseits nimmt, wenn die Farbtemperatur der Lichtquelle hoch ist, die Komponente auf der Seite der kurzen Wellenlänge des Reflexionsgrades des Motivs zu und nimmt die Menge an Licht auf der Seite der langen Wellenlänge, das in dem einfallenden Licht 106 enthalten ist, zu. Daher wird, wie in 15 gezeigt, die Farbtemperatur unter Verwendung des Pixelwertes des smaragdgrünen Bildpixels 31SG zusätzlich zu den Pixelwerten des roten, grünen und blauen Bildpixels 31R, 31G und 31B geschätzt.
  • Bei der ersten Ausführungsform ist ein Beispiel gezeigt, bei dem die Farbtemperatur aus dem Pixelwert geschätzt wird und der Weißabgleich basierend auf dem Schätzungsergebnis angepasst wird, aber andere Konfigurationen können ebenfalls genutzt werden. Zum Beispiel kann der Weißabgleich direkt aus den Pixelwerten angepasst werden. Insbesondere werden die Pixelwerte SR'(A), SG'(A), SB'(A), SO'(A) und SSG'(A) nach einer Weißabgleichanpassung basierend auf den Pixelwerten SR(A), SG(A), SB(A), SO(A) und SSG(A) des roten Pixels 9R, des grünen Pixels 9G, des blauen Pixels 9B, des orangen Pixels 9O und des smaragdgrünen Pixels 9SG gemäß Formel (1) unten berechnet.
    SR'(A) = Smax × SR(A)/SR(W)
    SG'(A) = Smax × SG(A)/SG(W)
    SB'(A) = Smax × SB(A)/SB(W)
    SO'(A) = Smax × SO(A)/SO(W)
    SSG'(A) = Smax × SB(A)/SSG(W)
    In Formel (1) ist Smax der maximale Wert des Pixelwertes (zum Beispiel 255 im Fall von 8 Bit und 1023 im Fall von 10 Bit) und sind SR(W), SG(W), SB(W), SO(W) und SSG(W) die Pixelsignale (Pixelwerte) von dem roten Pixel 9R, dem grünen Pixel 9G, dem blauen Pixel 9B, dem orangen Pixel 9O und dem smaragdgrünen Pixel 9SG zur Zeit einer Bildgebung einer weißen Platte (weißen Standardplatte mit einem Reflexionsgrad von 100 %).
  • Anschließend wird ein Prozess zum Bestimmen davon, ob das Motiv hell ist, basierend auf den Pixelwerten jedes Bildpixels 31 des Mosaik-Bildes 30 durchgeführt. Dann wird, wenn bestimmt wird, dass das Motiv hell ist, eine Remosaic-Verarbeitung an dem Mosaik-Bild 30 durchgeführt, dessen Weißabgleich korrigiert wurde. Bei der Remosaic-Verarbeitung wird, wie in 16 gezeigt, ein RGB-Mosaik-Bild 32 der Bayer-Anordnung erzeugt. Wenn die Remosaic-Verarbeitung ausgeführt wird, werden das orange und smaragdgrüne Bildpixel 31O und 31SG als farblose Bildpixel 31farblos betrachtet, und die Pixelwerte der farblosen Bildpixel 31farblos werden unter Verwendung der Pixelwerte der umliegenden Bildpixel 31 ergänzt. 16 zeigt einen Teil des Mosaik-Bildes 30 und des RGB-Mosaik-Bildes 32 in einem vergrößerten Maßstab.
  • Anderseits wird, wenn bestimmt wird, dass das Motiv dunkel ist, eine Binning-Verarbeitung an dem Mosaik-Bild 30 durchgeführt, dessen Weißabgleich korrigiert wurde. Bei der Binning-Verarbeitung, wie in 17 gezeigt, werden die Pixelwerte mehrerer angrenzender Bildpixel 31 der gleichen Farbe addiert, um einen Pixelwert eines Bildpixels 31 zu erhalten. Wenn die Binning-Verarbeitung ausgeführt wird, wie in 17 gezeigt, wird das orange Bildpixel 31O als das farblose Bildpixel 31farblos betrachtet und werden die Pixelwerte der drei roten Bildpixel 31R ausschließlich des farblosen Bildpixels 31farblos addiert. Ferner wird bei der Binning-Verarbeitung das smaragdgrüne Bildpixel 31SG als ein farbloses Bildpixel 31farblos betrachtet und werden die Pixelwerte der drei blauen Bildpixel 31B ausschließlich des farblosen Bildpixels 31farblos addiert. Infolgedessen wird das RGB-Mosaik-Bild 34 erzeugt, das aus den roten, grünen und blauen Bildpixeln 33R, 33G und 33B besteht. Durch Durchführen der Binning-Verarbeitung wird die Anzahl an Pixeln des RGB-Mosaik-Bildes 34 reduziert, aber Rauschen und dergleichen können während einer Bildgebung an einem dunklen Ort reduziert werden.
    Anschließend wird eine Demosaic-Verarbeitung an dem RGB-Mosaik-Bild 32 (siehe 16), das durch die Remosaic-Verarbeitung erhalten wird, oder dem RGB-Mosaik-Bild 34, das durch die Binning-Verarbeitung erhalten wird, durchgeführt. 17 zeigt einen Teil des Mosaik-Bildes 30 und des RGB-Mosaik-Bildes 34 in einem vergrößerten Maßstab.
  • Wie zuvor beschrieben, sind bei der Festkörperbildgebungsvorrichtung 1 gemäß der ersten Ausführungsform der vorliegenden Offenbarung das O-Filter 19O und das SG-Filter 19SG (vorbestimmtes Farbfilter) mit einer Transmissionsgradspitzenwellenlänge, die von jedem des R-Filters 19R, des G-Filters 19G und des B-Filters 19B verschieden ist, in wenigstens einer der Pixeleinheitsgruppen 11 als das Farbfilter 19 enthalten. Daher kann die Farbtemperatur der Lichtquelle mit höherer Genauigkeit bestimmt werden. Daher ist es möglich, die Festkörperbildgebungsvorrichtung 1 bereitzustellen, die zum Verbessern der Farbreproduzierbarkeit des erfassten Bildes in der Lage ist, indem der Weißabgleich des Mosaik-Bildes 30 basierend auf der Farbtemperatur angepasst wird.
  • Ferner sind bei der Festkörperbildgebungsvorrichtung 1 gemäß der ersten Ausführungsform der vorliegenden Offenbarung das O-Filter 19O und das SG-Filter 19SG als das Farbfilter 19 in jeder der Pixeleinheitsgruppen 11 enthalten. Daher können sämtliche Pixeleinheitsgruppen 11, das heißt die Pixeleinheitsgruppen 11 jedes Teils der Pixelarrayeinheit 3, zum Anpassen des Weißabgleichs verwendet werden, und die Farbreproduzierbarkeit kann angemessener verbessert werden.
  • <2. Zweite Ausführungsform: Elektronische Vorrichtung>
  • [2-1 Konfigurationen von Hauptteilen]
  • Als Nächstes wird die elektronische Vorrichtung 100 gemäß einer zweiten Ausführungsform der vorliegende Offenbarung beschrieben. Eine Gesamtkonfiguration der elektronische Vorrichtung 100 gemäß der zweiten Ausführungsform ist nicht gezeigt, weil sie die gleiche wie in 1 ist. 18 ist ein Diagramm, das eine Konfiguration des Farbfilterarrays 26 der Festkörperbildgebungsvorrichtung 1 gemäß der zweiten Ausführungsform veranschaulicht. 19 ist ein Diagramm, das das Minimaleinheitsarray des Farbfilters 19 veranschaulicht. In 18 und 19 sind Teilen, die jenen in 3B entsprechen, die gleichen Bezugszeichen gegeben und redundante Beschreibungen davon werden nicht gegeben.
  • Die Festkörperbildgebungsvorrichtung 1 gemäß der zweiten Ausführungsform unterscheidet sich von der Festkörperbildgebungsvorrichtung 1 gemäß der ersten Ausführungsform bezüglich der Anordnung des O-Filters 19O und des SG-Filters 19SG. Bei der Festkörperbildgebungsvorrichtung 1 gemäß der zweiten Ausführungsform, wie in 18 und 19 gezeigt, ist das O-Filter 19O in dem oberen linken und dem unteren rechten Pixel 9 unter den 2×2 Pixeln 9 angeordnet, die die obere rechte Pixeleinheit 10 in dem Minimaleinheitsarray der Farbfilter 19 darstellen. Ferner ist das SG-filter 19SG in dem oberen linken und dem unteren rechten Pixel 9 unter den 2×2 Pixeln 9 angeordnet, die die untere linke Pixeleinheit 10 darstellen. Das heißt, sowohl die obere rechte Pixeleinheit 10 als auch die untere linke Pixeleinheit 10 beinhalten die gleiche Art von vorbestimmtem Farbfilter in den zwei Pixeln 9 einer Pixeleinheit 10.
  • Wie zuvor beschrieben, beinhaltet bei der Festkörperbildgebungsvorrichtung 1 gemäß der zweiten Ausführungsform der vorliegenden Offenbarung jede der Pixeleinheiten 10 einschließlich des O-Filters 19O und des SG-Filters 19SG die gleiche Art von vorbestimmtem Farbfilter in den zwei Pixeln 9 einer Pixeleinheit 10. Daher ist es, wie in 20 und 21 gezeigt, durch Durchführen einer Binning-Verarbeitung an dem Mosaik-Bild 30, das der Anordnung der Farbfilter 19 entspricht, möglich, ein CMY-Mosaik-Bild 38, das aus den Bildpixeln 37O und 37SG mit nur den Farbinformationen von Orange und Smaragdgrün besteht, zusätzlich zu dem RGB-Mosaik-Bild 36 zu erzeugen, das aus den Bildpixeln 35R, 35G und 35B mit nur den Farbinformationen von Rot, Grün und Blau besteht. Ferner ist es durch Kombinieren des RGB-Mosaik-Bildes 36 und des CMY-Mosaik-Bildes 38 möglich, ein erfasstes Bild mit einer besseren Farbreproduzierbarkeit zu erzeugen. 20 zeigt einen Teil des Mosaik-Bildes 30 und des RGB-Mosaik-Bildes 36 in einem vergrößerten Maßstab. Ferner zeigt 21 einen Teil des Mosaik-Bildes 30 und des CMY-Mosaik-Bildes 38 in einem vergrößerten Maßstab.
  • [2-2 Modifikationsbeispiel]
  • Bei der ersten Ausführungsform und der zweiten Ausführungsform ist ein Beispiel gezeigt, bei dem das O-Filter 19O und das SG-Filter 19SG (vorbestimmte Farbfilter) in jeder sämtlicher Pixeleinheitsgruppen 11 der Pixelarrayeinheit 3 enthalten sind, aber andere Konfigurationen können ebenfalls genutzt werden. Zum Beispiel können, wie in 22 und 23 gezeigt, die vorbestimmten Farbfilter in nur partiellen Pixeleinheitsgruppen 11 unter sämtlichen Pixeleinheitsgruppen 11 der Pixelarrayeinheit 3 enthalten sein. Die Anzahl an „partiellen Pixeleinheitsgruppen 11“ kann zum Beispiel eine Anzahl sein, die das SN(Signal-to-Noise - Signal-Rausch)-Verhältnis sicherstellen kann, das zum Schätzen der Farbtemperatur der Lichtquelle erforderlich ist.
  • 22 und 23 veranschaulichen einen Fall, in dem das O-Filter 19O und das SG-Filter 19SG nur in vier Pixeleinheitsgruppen 11 angeordnet sind. Bei diesem Beispiel ist nur eines des O-Filters 19O und des SG-Filters 19SG in einer Pixeleinheitsgruppe 11 angeordnet. 22 veranschaulicht einen Fall bei Anwendung auf die Festkörperbildgebungsvorrichtung 1 gemäß der ersten Ausführungsform. 23 veranschaulicht einen Fall bei Anwendung auf die Festkörperbildgebungsvorrichtung 1 gemäß der zweiten Ausführungsform. Durch Anordnen des O-Filters 19O und des SG-Filters 19SG nur in einer partiellen Pixeleinheitsgruppe 11 ist es möglich, die Verschlechterung anderer Charakteristiken, wie etwa von Auflösung und HDR, zu unterdrücken, während die Farbreproduzierbarkeit verbessert wird.
  • <3. Anwendungsbeispiel für einen sich bewegenden Körper>
  • Die Technologie (die vorliegende Technologie) gemäß der vorliegenden Offenbarung kann auf verschiedene Produkte angewandt werden. Zum Beispiel kann die Technologie gemäß der vorliegenden Offenbarung als eine Vorrichtung realisiert werden, die in einer beliebigen Art eines sich bewegenden Körpers montiert wird, wie etwa einem Automobil, einem Elektroautomobil, einem Motorrad, einem Hybridelektroautomobil, einem Fahrrad, einer Personal-Mobility-Vorrichtung, einem Flugzeug, einer Drohne, einem Schiff und einem Roboter.
  • 24 ist ein Blockdiagramm, das ein schematisches Konfigurationsbeispiel eines Fahrzeugsteuersystem veranschaulicht, das ein Beispiel für ein Sichbewegender-Körper-Steuersystem ist, auf das die Technologie gemäß der vorliegenden Offenbarung angewandt werden kann.
  • Das Fahrzeugsteuersystem 12000 beinhaltet mehrere elektronische Steuereinheiten, die über ein Kommunikationsnetz 12001 verbunden sind. Bei dem in 24 veranschaulichten Beispiel beinhaltet das Fahrzeugsteuersystem 12000 eine Antriebssystemsteuereinheit 12010, eine Karosseriesystemsteuereinheit 12020, eine Fahrzeugaußenbereichsinformationsdetektionseinheit 12030, eine Fahrzeuginnenbereichsinformationsdetektionseinheit 12040 und eine integrierte Steuereinheit 12050. Außerdem sind als eine funktionale Konfiguration der integrierten Steuereinheit 12050 ein Mikrocomputer 12051, eine Audio-Bild-Ausgabeeinheit 12052 und eine Fahrzeuginternes-Netz-Schnittstelle (SST) 12053 veranschaulicht.
  • Die Antriebssystemsteuereinheit 12010 steuert Operationen von Vorrichtungen bezüglich eines Antriebssystems eines Fahrzeugs gemäß verschiedenen Programmen. Zum Beispiel fungiert die Antriebssystemsteuereinheit 12010 als eine Antriebskrafterzeugungsvorrichtung zum Erzeugen einer Antriebskraft eines Fahrzeugs, wie etwa ein Verbrennungsmotor oder ein Antriebsmotor, ein Antriebskraftübertragungsmechanismus zum Übertragen einer Antriebskraft auf Räder, ein Lenkmechanismus zum Anpassen eines Lenkwinkels eines Fahrzeugs und eine Steuervorrichtung, wie etwa eine Bremsvorrichtung, die eine Bremskraft eines Fahrzeugs erzeugt.
  • Die Karosseriesystemsteuereinheit 12020 steuert Operationen verschiedener Vorrichtungen, die in der Fahrzeugkarosserie montiert sind, gemäß verschiedenen Programmen. Zum Beispiel fungiert die Karosseriesystemsteuereinheit 12020 als eine Steuervorrichtung, wie etwa eines schlüssellosen Zugangssystems, eines intelligenten Schlüsselsystems, einer elektrischen Fensterhebervorrichtung oder verschiedener Leuchten, wie etwa eines Frontscheinwerfers, eines Rückfahrlichts, eines Bremslichts, eines Fahrtrichtungsanzeigers und eines Nebelscheinwerfers. In diesem Fall können Funkwellen, die von einer portablen Vorrichtung übertragen werden, die einen Schlüssel ersetzt, oder Signale verschiedener Schalter in die Karosseriesystemsteuereinheit 12020 eingegeben werden. Die Karosseriesystemsteuereinheit 12020 empfängt Eingaben der Funkwellen oder Signale und steuert eine Türverriegelungsvorrichtung, eine elektrische Fensterhebervorrichtung und eine Leuchte des Fahrzeugs.
  • Die Fahrzeugaußenbereichsinformationsdetektionseinheit 12030 detektiert Informationen außerhalb des Fahrzeugs, in dem das Fahrzeugsteuersystem 12000 montiert ist. Zum Beispiel ist eine Bildgebungseinheit 12031 mit der Fahrzeugaußenbereichsinformationsdetektionseinheit 12030 verbunden. Die Fahrzeugaußenbereichsinformationsdetektionseinheit 12030 bewirkt, dass die Bildgebungseinheit 12031 ein Bild des Außenbereichs des Fahrzeugs erfasst, und empfängt das erfasste Bild. Die Fahrzeugaußenbereichsinformationsdetektionseinheit 12030 kann eine Objektdetektionsverarbeitung oder eine Entfernungsdetektionsverarbeitung für Menschen, Autos, Hindernisse, Schilder und Buchstaben auf der Straßenoberfläche basierend auf dem empfangenen Bild durchführen.
  • Die Bildgebungseinheit 12031 ist ein optischer Sensor, der Licht empfängt und ein elektrisches Signal entsprechend der Menge an empfangenem Licht ausgibt. Die Bildgebungseinheit 12031 kann auch das elektrische Signal als ein Bild und Entfernungsmessungsinformationen ausgeben. Außerdem kann das durch die Bildgebungseinheit 12031 empfangene Licht sichtbares Licht oder nichtsichtbares Licht, wie etwa Infrarotlicht, sein.
  • Die Fahrzeuginnenbereichsinformationsdetektionseinheit 12040 detektiert Informationen über den Innenbereich des Fahrzeugs. Zum Beispiel ist eine Fahrerzustandsdetektionseinheit 12041, die einen Zustand eines Fahrers detektiert, mit der Fahrzeuginnenbereichsinformationsdetektionseinheit 12040 verbunden. Die Fahrerzustandsdetektionseinheit 12041 beinhaltet zum Beispiel eine Kamera, die ein Bild eines Fahrer erfasst, und die Fahrzeuginnenbereichsinformationsdetektionseinheit 12040 kann einen Grad von Müdigkeit oder Konzentration des Fahrers berechnen oder kann basierend auf Detektionsinformationen, die von der Fahrerzustandsdetektionseinheit 12041 eingegeben werden, bestimmen, ob der Fahrer eindöst oder nicht.
  • Der Mikrocomputer 12051 kann einen Steuersollwert der Antriebskrafterzeugungsvorrichtung, des Lenkmechanismus oder der Bremsvorrichtung basierend auf den Informationen über den Innenbereich und den Außenbereich des Fahrzeugs berechnen, die durch die Fahrzeugaußenbereichsinformationsdetektionseinheit 12030 oder die Fahrzeuginnenbereichsinformationsdetektionseinheit 12040 erfasst werden, und einen Steuerbefehl an die Antriebssystemsteuereinheit 12010 ausgeben. Zum Beispiel kann der Mikrocomputer 12051 eine kooperative Steuerung, die auf das Realisieren von Funktionen eines Fahrerassistenzsystems (ADAS) abzielt, durchführen, einschließlich Fahrzeugkollisionsvermeidung oder Aufprallabschwächung, Folgefahrt basierend auf einer Zwischenfahrzeugentfernung, Fahrt mit Fahrzeuggeschwindigkeitsbeibehaltung, Fahrzeugkollisionswarnung, Fahrzeugspurverlassenswarnung und dergleichen.
  • Ferner kann der Mikrocomputer 12051 eine koordinierte Steuerung zum Zweck des automatisierten Fahrens oder dergleichen durchführen, wobei eine autonome Fahrt ohne Abhängigkeit von Bedienungen des Fahrers durch Steuern der Antriebskrafterzeugungsvorrichtung, des Lenkmechanismus, der Bremsvorrichtung oder dergleichen basierend auf Informationen bezüglich der Umgebung des Fahrzeug durchgeführt wird, die durch die Fahrzeugaußenbereichsinformationsdetektionseinheit 12030 oder die Fahrzeuginnenbereichsinformationsdetektionseinheit 12040 erlangt werden.
  • Außerdem kann der Mikrocomputer 12051 einen Steuerbefehl an die Karosseriesystemsteuereinheit 12020 basierend auf den Informationen über den Außenbereich des Fahrzeugs ausgeben, die durch die Fahrzeugaußenbereichsinformationsdetektionseinheit 12030 erlangt werden. Zum Beispiel kann der Mikrocomputer 12051 eine kooperative Steuerung zum Zweck des Verhinderns von Blenden, wie etwa Wechseln von einem Fernlicht zu einem Abblendlicht, durch Steuern des Frontscheinwerfers gemäß der Position eines vorausfahrenden Fahrzeugs oder eines entgegenkommenden Fahrzeugs durchführen, das durch die Fahrzeugaußenbereichsinformationsdetektionseinheit 12030 detektiert wird.
  • Die Audio/Bild-Ausgabeeinheit 12052 überträgt ein Ausgabesignal von Audio und/oder einem Bild an eine Ausgabevorrichtung, die zum visuellen oder akustischen Mitteilen von Informationen an einen Insassen eines Fahrzeugs oder den Außenbereich des Fahrzeugs in der Lage ist. Bei dem in 24 gezeigten Beispiel sind als eine solche Ausgabevorrichtung ein Audiolautsprecher 12061, eine Anzeigeeinheit 12062 und ein Armaturenbrett 12063 veranschaulicht. Die Anzeigeeinheit 12062 kann zum Beispiel eine Onboard-Anzeige und/oder eine Head-Up-Anzeige beinhalten.
  • 25 ist ein Diagramm, das ein Beispiel für eine Installationsposition der Bildgebungseinheit 12031 veranschaulicht.
  • In 25 beinhaltet ein Fahrzeug 12100 Bildgebungseinheiten 12101, 12102, 12103, 12104 und 12105 als die Bildgebungseinheit 12031.
  • Die Bildgebungseinheiten 12101, 12102, 12103, 12104 und 12105 können zum Beispiel an Positionen, wie etwa einer Frontnase, Seitenspiegeln, einer hinteren Stoßstange, einer Hecktüre und einem oberen Teil einer Windschutzscheibe in einem Fahrzeuginnenraum des Fahrzeugs 12100 bereitgestellt sein. Die an einer Frontnase bereitgestellte Bildgebungseinheit 12101 und die in einem oberen Teil der Windschutzscheibe im Fahrzeuginnenraum bereitgestellte Bildgebungseinheit 12105 erlangen hauptsächlich Bilder einer Seite vor dem Fahrzeug 12100. Die an den Seitenspiegeln bereitgestellten Bildgebungseinheiten 12102 und 12103 erlangen hauptsächlich Bilder der Seiten des Fahrzeugs 12100. Die an der hinteren Stoßstange oder der Hecktüre bereitgestellte Bildgebungseinheit 12104 erlangt hauptsächlich Bilder einer Seite hinter dem Fahrzeug 12100. Die Bilder einer vorderen Seite, die durch die Bildgebungseinheiten 12101 und 12105 erlangt werden, werden hauptsächlich zur Detektion vorausfahrender Fahrzeuge, von Fußgängern, Hindernissen, Ampeln, Verkehrsschildern, Fahrspuren und dergleichen verwendet.
  • 25 zeigt ein Beispiel für Bildgebungsbereiche der Bildgebungseinheiten 12101 bis 12104. Ein Bildgebungsbereich 12111 gibt einen Bildgebungsbereich der Bildgebungseinheit 12101 an, die an der Frontnase bereitgestellt ist, die Bildgebungsbereiche 12112 und 12113 geben Bildgebungsbereiche der Bildgebungseinheiten 12102 bzw. 12103 an, die an den Seitenspiegeln bereitgestellt sind, und ein Bildgebungsbereich 12114 gibt den Bildgebungsbereich der Bildgebungseinheit 12104 an, die an der hinteren Stoßstange oder der Hecktüre bereitgestellt ist. Ein Vogelperspektivenbild des Fahrzeugs 12100 wie bei Betrachtung von oberhalb kann zum Beispiel durch Überlagerung von Bilddaten erhalten werden, die durch die Bildgebungseinheiten 12101 bis 12104 erfasst werden.
  • Wenigstens eine der Bildgebungseinheiten 12101 bis 12104 kann eine Funktion zum Erhalten von Entfernungsinformationen haben. Zum Beispiel kann wenigstens eine der Bildgebungseinheiten 12101 bis 12104 eine Stereokamera sein, die durch mehrere Bildgebungselemente gegeben ist, oder kann ein Bildgebungselement sein, das Pixel zur Phasendifferenzdetektion aufweist.
  • Zum Beispiel kann der Mikrocomputer 12051 insbesondere ein nächstes dreidimensionales Objekt auf einem Pfad, den das Fahrzeug 12100 befahren wird, welches ein dreidimensionales Objekt ist, das sich mit einer vorbestimmten Geschwindigkeit (zum Beispiel 0 km/h oder mehr) in der im Wesentlichen gleichen Richtung wie das Fahrzeug 12100 bewegt, als ein vorausfahrendes Fahrzeug detektieren, indem er eine Entfernung zu jedem von dreidimensionalen Objekten in den Bildgebungsbereichen 12111 bis 12114 und eine zeitliche Änderung der Entfernung (eine relative Geschwindigkeit mit Bezug auf das Fahrzeug 12100) basierend auf Entfernungsinformationen erlangt, die von den Bildgebungseinheiten 12101 bis 12104 erhalten werden. Ferner kann der Mikrocomputer 12051 eine Zwischenfahrzeugentfernung, die sichergestellt werden sollte, vor einem vorausfahrenden Fahrzeug im Voraus einstellen und kann eine automatisierte Bremssteuerung (auch einschließlich Folgestoppsteuerung), eine automatisierte Beschleunigungssteuerung (auch einschließlich Folgestartsteuerung) durchführen. Auf diese Weise ist es möglich, eine kooperative Steuerung zum Durchführen von automatisiertem Fahren oder dergleichen durchzuführen, wobei ein Fahrzeug ungeachtet einer Manipulation eines Fahrers autonom fährt.
  • Zum Beispiel kann der Mikrocomputer 12051 Dreidimensionales-Objekt-Daten bezüglich dreidimensionaler Objekte in zweirädrige Fahrzeuge, gewöhnliche Fahrzeuge, große Fahrzeuge, Fußgänger und andere dreidimensionale Objekte, wie etwa Strommasten, basierend auf von den Bildgebungseinheiten 12101 bis 12104 erhaltenen Entfernungsinformationen klassifizieren und extrahieren und die Dreidimensionales-Objekt-Daten zur automatischen Vermeidung von Hindernissen verwenden. Zum Beispiel identifiziert der Mikrocomputer 12051 Hindernisse in der Nähe des Fahrzeugs 12100 als Hindernisse, die visuell durch den Fahrer des Fahrzeugs 12100 erkannt werden können, und Hindernisse, die visuell schwer zu erkennen sind. Dann kann der Mikrocomputer 12051 ein Risiko einer Kollision bestimmen, das den Grad eines Risikos einer Kollision mit jedem Hindernis angibt, und kann eine Fahrtassistenz zur Kollisionsvermeidung durch Ausgeben einer Warnung an einen Fahrer durch den Audiolautsprecher 12061 oder die Anzeigeeinheit 12062 und Durchführen einer erzwungenen Verlangsamung oder Ausweichlenkung durch die Fahrtsystemsteuereinheit 12010 durchführen, wenn das Risiko einer Kollision einen Wert gleich oder größer als ein eingestellter Wert aufweist und die Möglichkeit einer Kollision besteht.
  • Wenigstens eine der Bildgebungseinheiten 12101 bis 12104 kann eine Infrarotkamera sein, die Infrarotstrahlen detektiert. Zum Beispiel kann der Mikrocomputer 12051 einen Fußgänger erkennen, indem er bestimmt, ob es einen Fußgänger in dem erfassten Bild der Bildgebungseinheiten 12101 bis 12104 gibt. Eine solche Fußgängererkennung wird durch zum Beispiel eine Prozedur, bei der Merkmalspunkte in den erfassten Bildern der Bildgebungseinheiten 12101 bis 12104 als Infrarotkameras extrahiert werden, und eine Prozedur, bei der eine Musterabgleichverarbeitung an einer Reihe von Merkmalspunkten durchgeführt wird, die den Umriss des Objekts angeben, durchgeführt und es wird bestimmt, ob das Objekt ein Fußgänger ist. Wenn der Mikrocomputer 12051 bestimmt, dass es einen Fußgänger in den erfassten Bild der Bildgebungseinheiten 12101 bis 12104 gibt, und der Fußgänger erkennt wird, steuert die Audio-Bild-Ausgabeeinheit 12052 die Anzeigeeinheit 12062 derart, dass der erkannte Fußgänger überlagert und mit einer quadratischen Umrisslinie zur Hervorhebung angezeigt wird. Außerdem kann die Audio-Bild-Ausgabeeinheit 12052 die Anzeigeeinheit 12062 so steuern, dass ein Symbol, das einen Fußgänger angibt, oder dergleichen an einer gewünschten Position angezeigt wird.
  • Ein Beispiel für das Fahrzeugsteuersystem, auf das die Technologie gemäß der vorliegenden Offenbarung angewandt wird, wurde zuvor beschrieben. Die Technologie der vorliegenden Offenbarung kann auf die Bildgebungseinheit 12031 und dergleichen bei der zuvor beschriebenen Konfigurationen angewandt werden. Insbesondere können die Festkörperbildgebungsvorrichtungen 101 und 1 in 1 und 2 und der Signalverarbeitungsschaltkreis 105 in 1 auf die Bildgebungseinheit 12031 angewandt werden. Durch Anwenden der Technik gemäß der vorliegenden Offenbarung auf die Bildgebungseinheit 12031 kann ein klareres erfasstes Bild erhalten werden, was es ermöglicht, eine Fahrererschöpfung zu reduzieren.
  • <4. Anwendungsbeispiel für ein endoskopisches Chirurgiesystem>
  • Die Technologie gemäß der vorliegenden Offenbarung (die vorliegende Technologie) kann auf zum Beispiel ein endoskopisches Chirurgiesystem angewandt werden.
  • 26 ist ein Diagramm, das ein Beispiel für eine schematische Konfiguration eines endoskopischen Chirurgiesystems veranschaulicht, auf das die Technologie gemäß der vorliegenden Offenbarung (die vorliegenden Technologie) angewandt werden kann.
  • 26 zeigt einen Zustand, in dem ein Chirurg (Arzt) 11131 eine chirurgische Operation an einem Patienten 11132 auf einem Patientenbett 11133 durch Verwenden des endoskopischen Chirurgiesystems 11000 durchführt. Wie in der Zeichnung veranschaulicht, beinhaltet das endoskopische Chirurgiesystem 11000 ein Endoskop 11100, andere chirurgische Instrumente 11110, wie etwa einen Pneumoperitoneumschlauch 11111 und ein Energiebehandlungswerkzeug 11112, eine Stützarmvorrichtung 11120, die das Endoskop 11100 stützt, und einen Wagen 11200, der mit verschiedenen Vorrichtungen zur endoskopischen Operation ausgestattet ist.
  • Das Endoskop 11100 beinhaltet einen Objektivtubus 11101, wobei ein Gebiet von diesem mit einer vorbestimmten Länge von einem distalen Ende in einen Körperhohlraum des Patienten 11132 eingeführt wird, und einen Kamerakopf 11102, der mit einem proximalen Ende des Objektivtubus 11101 verbunden ist. Obwohl das Endoskop 11100, das als ein sogenannter starrer Spiegel mit dem starren Objektivtubus 11101 konfiguriert ist, bei dem veranschaulichten Beispiel veranschaulicht ist, kann das Endoskop 11100 als ein sogenannter flexibler Spiegel mit einem flexiblen Objektivtubus konfiguriert sein.
  • Eine Öffnung, in die eine Objektivlinse eingepasst ist, ist an dem distalen Ende des Objektivtubus 11101 bereitgestellt. Eine Lichtquellenvorrichtung 11203 ist mit dem Endoskop 11100 verbunden und Licht, das durch die Lichtquellenvorrichtung 11203 erzeugt wird, wird durch einen Lichtleiter, der sich im Inneren des Objektivtubus 11101 erstreckt, zu dem distalen Ende des Objektivtubus geleitet und wird über die Objektivlinse zu dem Beobachtungsziel in dem Körperhohlraum des Patienten 11132 hin abgestrahlt. Das Endoskop 11100 kann ein Direktbetrachtungsendoskop sein oder kann ein perspektivisches Endoskop oder ein Seitenbetrachtungsendoskop sein.
  • Ein optisches System und ein Bildgebungselement sind im Inneren des Kamerakopfes 11102 bereitgestellt und das reflektierte Licht (Beobachtungslicht) von dem Beobachtungsziel wird durch das optische System auf das Bildgebungselement gebündelt. Das Beobachtungslicht wird durch das Bildgebungselement fotoelektrisch umgewandelt und ein elektrisches Signal, das einem Beobachtungslicht entspricht, das heißt ein Bildsignal, das einem Beobachtungsbild entspricht, wird erzeugt. Das Bildsignal wird als RAW-Daten an eine Kamerasteuereinheit (CCU: Camera Control Unit) 11201 übertragen.
  • Die CCU 11201 besteht aus einer Zentralverarbeitungseinheit (CPU), einer Grafikverarbeitungseinheit (GPU) oder dergleichen und steuert die Operation des Endoskops 11100 und einer Anzeigeeinrichtung 11202 umfassend. Außerdem empfängt die CCU 11201 ein Bildsignal von dem Kamerakopf 11102 und führt verschiedene Arten einer Bildverarbeitung zum Anzeigen eines Bildes basierend auf dem Bildsignal, zum Beispiel eine Entwicklungsverarbeitung (Demosaic-Verarbeitung), an dem Bildsignal durch.
  • Die Anzeigevorrichtung 11202 zeigt ein Bild basierend auf einem Bildsignal, das einer Bildverarbeitung durch die CCU 11201 unterzogen wurde, unter der Steuerung der CCU 11201 an.
  • Die Lichtquellenvorrichtung 11203 ist durch zum Beispiel eine Lichtquelle, wie etwa eine Leuchtdiode (LED), gegeben und liefert Bestrahlungslicht zur Zeit einer Bildgebung einer Operationsstelle oder dergleichen an das Endoskop 11100.
  • Die Eingabevorrichtung 11204 ist eine Eingabeschnittstelle für das endoskopische Chirurgiesystem 11000. Der Benutzer kann verschiedene Arten von Informationen oder Anweisungen über die Eingabevorrichtung 11204 in das endoskopische Chirurgiesystem 11000 eingeben. Zum Beispiel gibt der Benutzer eine Anweisung zum Ändern von Bildgebungsbedingungen (einer Art von abgestrahltem Licht, einer Vergrößerung, einer Brennweite oder dergleichen) des Endoskops 11100 ein.
  • Eine Behandlungswerkzeugsteuervorrichtung 11205 steuert die Ansteuerung eines Energiebehandlungswerkzeugs 11112 zur Kauterisation oder Inzision von Gewebe, zum Versiegeln eines Blutgefäßes oder dergleichen. Um ein Sichtfeld des Endoskops 11100 sicherzustellen und einen Operationsraum für den Chirurgen sicherzustellen, sendet eine Pneumoperitoneumvorrichtung 11206 Gas über den Pneumoperitoneumschlauch 11111 in den Körperhohlraum des Patienten 11132, um den Körperhohlraum aufzublasen. Ein Aufzeichnungsgerät 11207 ist eine Vorrichtung, die verschiedene Arten von Informationen bezüglich einer Operation aufzeichnen kann. Ein Drucker 11208 ist eine Vorrichtung, die verschiedene Arten von Informationen bezüglich einer Operation in verschiedenen Formaten, wie etwa Text, Bilder und Graphen, drucken kann.
  • Die Lichtquellenvorrichtung 11203, die das Endoskop 11100 mit dem Bestrahlungslicht zur Bildgebung der Operationsstelle versorgt, kann zum Beispiel durch eine LED, eine Laserlichtquelle oder eine Weißlichtquelle, die aus einer Kombination daraus konfiguriert ist, konfiguriert sein. Wenn eine Weißlichtquelle durch eine Kombination von RGB-Laserlichtquellen gebildet ist, ist es möglich, eine Ausgabeintensität und ein Ausgabetiming jeder Farbe (jeder Wellenlänge) mit hoher Genauigkeit zu steuern, und dementsprechend passt die Lichtquellenvorrichtung 11203 einen Weißabgleich des erfassten Bildes an. Ferner wird in diesem Fall Laserlicht von jeder der jeweiligen RGB-Laserlichtquellen zu dem Beobachtungsziel auf eine zeitlich aufgeteilte Weise abgestrahlt und wird eine Ansteuerung des Bildgebungselements des Kamerakopfes 11102 in Synchronisation mit einem Bestrahlungstiming gesteuert, so dass Bilder, die einem jeweiligen von RGB entsprechen, auf eine zeitlich aufgeteilte Weise erfasst werden können. Gemäß diesem Verfahren ist es möglich, ein Farbbild zu erhalten, ohne ein Farbfilter für das Bildgebungselement bereitzustellen.
  • Ferner kann die Ansteuerung der Lichtquellenvorrichtung 11203 so gesteuert werden, dass die Intensität von Ausgabelicht zu vorbestimmten Zeitintervallen geändert wird. Die Ansteuerung des Bildgebungselements des Kamerakopfes 11102 wird in Synchronisation mit dem Timing des Wechsels der Lichtintensität gesteuert, um ein Bild auf eine zeitlich aufgeteilte Weise zu erlangen, und das Bild wird synthetisiert, wodurch es möglich ist, ein sogenanntes Bild mit hohem Dynamikumfang ohne Unterbelichtung oder Überbelichtung zu erzeugen.
  • Außerdem kann die Lichtquellenvorrichtung 11203 eine Konfiguration aufweisen, bei der Licht in einem vorbestimmten Wellenlängenband, das einer Speziallichtbeobachtung entspricht, bereitgestellt werden kann. Bei der Speziallichtbeobachtung wird zum Beispiel durch Emittieren von Licht in einem Band, das schmaler als jenes von Bestrahlungslicht (das heißt Weißlicht) während einer normalen Beobachtung ist, unter Verwendung einer Wellenlängenabhängigkeit einer Lichtabsorption in einem Körpergewebe eine sogenannte Schmalbandlichtbeobachtung (Schmalbandbildgebung) durchgeführt, in der ein vorbestimmtes Gewebe, wie etwa ein Blutgefäß in der Schleimhautoberflächenschicht, mit hohem Kontrast bildlich erfasst wird. Alternativ dazu kann bei der Speziallichtbeobachtung eine Fluoreszenzbeobachtung durchgeführt werden, bei der ein Bild durch Fluoreszenz erhalten wird, die durch Emission von Anregungslicht erzeugt wird. Die Fluoreszenzbeobachtung kann durch Emittieren von Anregungslicht auf ein Körpergewebe und Beobachten einer Fluoreszenz von dem Körpergewebe (Autofluoreszenzbeobachtung) oder lokales Injizieren eines Reagenzes, wie etwa Indocyaningrün (LCG), in ein Körpergewebe und Emittieren von Anregungslicht, das einer Fluoreszenzlichtwellenlänge des Reagenzes entspricht, auf das Körpergewebe durchgeführt werden, um ein Fluoreszenzlichtbild zu erhalten. Die Lichtquellenvorrichtung 11203 kann Schmalbandlicht und/oder Anregungslicht bereitstellen, das einer solchen Speziallichtbeobachtung entspricht.
  • 27 ist ein Blockdiagramm, das ein Beispiel für eine funktionale Konfiguration des Kamerakopfes 11102 und der CCU 11201, die in 26 veranschaulicht sind, veranschaulicht.
  • Der Kamerakopf 11102 beinhaltet eine Linseneinheit 11401, eine Bildgebungseinheit 11402, eine Antriebseinheit 11403, eine Kommunikationseinheit 11404 und eine Kamerakopfsteuereinheit 11405. Die CCU 11201 beinhaltet eine Kommunikationseinheit 11411, eine Bildverarbeitungseinheit 11412 und eine Steuereinheit 11413. Der Kamerakopf 11102 und die CCU 11201 sind miteinander verbunden, so dass sie über ein Übertragungskabel 11400 miteinander kommunizieren können.
  • Die Linseneinheit 11401 ist ein optisches System, das an einem Teil zum Verbinden mit dem Objektivtubus 11101 bereitgestellt ist. Beobachtungslicht, das von der Spitze des Objektivtubus 11101 entnommen wird, wird zu dem Kamerakopf 11102 geleitet und fällt auf die Linseneinheit 11401 ein. Die Linseneinheit 11401 ist durch eine Kombination aus mehreren Linsen, einschließlich einer Zoomlinse und einer Fokuslinse, gegeben.
  • Die Bildgebungseinheit 11402 ist durch ein Bildgebungselement gegeben. Das Bildgebungselement, das die Bildgebungseinheit 11402 darstellt, kann ein Element (sogenannter Einzelplattentyp) oder mehrere Elemente (sogenannter Mehrfachplattentyp) sein. Wenn die Bildgebungseinheit 11402 zum Beispiel als ein Mehrfachplattentyp konfiguriert ist, werden Bildsignale, die RGB entsprechen, durch die Bildgebungselemente erzeugt und ein Farbbild kann durch Synthetisieren der Bildsignale erhalten werden. Alternativ dazu kann die Bildgebungseinheit 11402 so konfiguriert sein, dass sie ein Paar Bildgebungselemente zum Erlangen von Bildsignalen für das rechte Auge und das linke Auge beinhaltet, die einer dreidimensionalen (3D-) Anzeige entsprechen. Wenn eine 3D-Anzeige durchgeführt wird, kann der Chirurg 11131 die Tiefe von biologischen Geweben an der Operationsstelle genauer ermitteln. Wenn die Bildgebungseinheit 11402 als ein Mehrfachplattentyp konfiguriert ist, können hier mehrere der Linseneinheiten 11401 gemäß den Bildgebungselementen bereitgestellt werden.
  • Ferner ist die Bildgebungseinheit 11402 möglicherweise nicht zwingend in dem Kamerakopf 11102 bereitgestellt. Zum Beispiel kann die Bildgebungseinheit 11402 unmittelbar nach der Objektivlinse innerhalb des Objektivtubus 11101 bereitgestellt sein.
  • Die Antriebseinheit 11403 ist durch einen Aktor gegeben ist und bewegt die Zoomlinse und die Fokuslinse der Linseneinheit 11401 um eine vorbestimmte Entfernung entlang einer optischen Achse unter der Steuerung der Kamerakopfsteuereinheit 11405. Dadurch können die Vergrößerung und der Fokus des Bildes, das durch die Bildgebungseinheit 11402 erfasst wird, angemessen angepasst werden.
  • Die Kommunikationseinheit 11404 ist aus einer Kommunikationsvorrichtung zum Übertragen oder Empfangen verschiedener Informationen an die oder von der CCU 11201 konfiguriert. Die Kommunikationseinheit 11404 überträgt das von der Bildgebungseinheit 11402 erhaltene Bildsignal über das Übertragungskabel 11400 als RAW-Daten an die CCU 11201.
  • Außerdem empfängt die Kommunikationseinheit 11404 ein Steuersignal zum Steuern der Ansteuerung des Kamerakopfes 11102 von der CCU 11201 und liefert das Steuersignal an die Kamerakopfsteuereinheit 11405. Das Steuersignal beinhaltet zum Beispiel Informationen über die Bildgebungsbedingungen, wie etwa Informationen, die angeben, dass die Bildwiederholrate des erfassten Bildes designiert ist, Informationen, die angeben, dass der Belichtungswert zur Zeit der Bildgebung designiert ist, und/oder Informationen, die angeben, dass die Vergrößerung und der Fokus des erfassten Bildes designiert sind.
  • Es wird angemerkt, dass die Bildgebungsbedingungen, wie etwa die Bildwiederholrate, der Belichtungswert, die Vergrößerung und der Fokus durch den Benutzer geeignet designiert werden können oder automatisch durch die Steuereinheit 11413 der CCU 11201 basierend auf dem erlangten Bildsignal eingestellt werden können. In dem letzteren Fall sind eine sogenannte Autobelichtung(AE)-Funktion, eine Autofokus(AF)-Funktion und eine Autoweißabgleich(AWB)-Funktion in dem Endoskop 11100 bereitgestellt.
  • Die Kamerakopfsteuereinheit 11405 steuert den Antrieb des Kamerakopfes 11102 basierend auf dem Steuersignal von der CCU 11201, das über die Kommunikationseinheit 11404 empfangen wird.
  • Die Kommunikationseinheit 11411 ist durch eine Kommunikationsvorrichtung zum Übertragen und Empfangen verschiedener Informationselemente an den und von dem Kamerakopf 11102 gegeben. Die Kommunikationseinheit 11411 empfängt das Bildsignal, das von dem Kamerakopf 11102 übertragen wird, über das Übertragungskabel 11400.
  • Außerdem überträgt die Kommunikationseinheit 11411 ein Steuersignal zum Steuern des Antriebs des Kamerakopfes 11102 an den Kamerakopf 11102. Das Bildsignal oder das Steuersignal können durch elektrische Kommunikation, optische Kommunikation oder dergleichen übertragen werden.
  • Die Bildverarbeitungseinheit 11412 führt verschiedene Bildverarbeitungen an dem Bildsignal durch, das die von dem Kamerakopf 11102 übertragenen RAW-Daten ist.
  • Die Steuereinheit 11413 führt verschiedene Arten einer Steuerung bezüglich der Bildgebung einer Operationsstelle oder dergleichen unter Verwendung des Endoskops 11100 und einer Anzeige eines erfassten Bildes, das durch Bildgebung der Operationsstelle oder dergleichen erhalten wird, durch. Zum Beispiel erzeugt die Steuereinheit 11413 das Steuersignal zum Steuern des Antriebs des Kamerakopfes 11102.
  • Ferner bewirkt die Steuereinheit 11413, dass die Anzeigevorrichtung 11202 das erfasste Bild, das durch Bildgebung der Operationsstelle oder dergleichen erhalten wird, basierend auf dem Bildsignal anzeigt, das einer Bildverarbeitung durch die Bildverarbeitungseinheit 11412 unterzogen wurde. In diesem Fall kann die Steuereinheit 11413 verschiedene Objekte in dem erfassten Bild unter Verwendung verschiedener Bilderkennungstechnologien erkennen. Zum Beispiel kann die Steuereinheit 11413 chirurgische Werkzeuge, wie etwa eine Zange, spezielle biologische Teile, eine Blutung, Nebel, wenn das Energiebehandlungswerkzeug 11112 verwendet wird, und dergleichen durch Detektieren der Kantenform und der Farbe des Objekts erkennen, das in dem erfassten Bild enthalten ist. Wenn die Steuereinheit 11413 bewirkt, dass die Anzeigevorrichtung 11202 das erfasste Bild anzeigt, kann sie bewirken, dass verschiedene Arten von Chirurgiehilfsinformationen unter Verwendung des Erkennungsergebnisses auf das Bild der Operationsstelle überlagert und mit diesem angezeigt werden. Wenn die Chirurgiehilfsinformationen überlagert und angezeigt werden und dem Chirurgen 11131 präsentiert werden, ist es möglich, die Last für den Chirurgen 11131 zu reduzieren, und der Chirurg 11131 kann zuverlässig mit der Operation fortfahren.
  • Das Übertragungskabel 11400, das den Kamerakopf 11102 und die CCU 11201 miteinander verbindet, ist ein elektrisches Signalkabel, das elektrische Signalkommunikation unterstützt, eine optische Faser, die optische Kommunikation unterstützt, oder ein Kompositkabel daraus.
  • Hier wird bei dem in der Zeichnung gezeigten Beispiel eine Kommunikation auf eine drahtgebundene unter Verwendung des Übertragungskabels 11400 durchgeführt, aber eine Kommunikation zwischen dem Kamerakopf 11102 und der CCU 11201 kann auf eine drahtlose Weise durchgeführt werden.
  • Das Beispiel für das endoskopische Chirurgiesystem, auf das die Technologie gemäß der vorliegenden Offenbarung angewandt werden kann, wurde zuvor beschrieben. Die Technologie gemäß der vorliegenden Offenbarung kann auf die Bildgebungseinheit 11402 des Kamerakopfes 11102 und die Bildverarbeitungseinheit 11412 der CCU 11201 und dergleichen unter den zuvor beschriebenen Konfigurationen angewandt werden. Insbesondere können die Festkörperbildgebungsvorrichtungen 101 und 1 in 1 und 2 auf die Bildgebungseinheit 10402 angewandt werden und kann der Signalverarbeitungsschaltkreis 105 in 1 auf die Bildverarbeitungseinheit 11412 angewandt werden. Durch Anwenden der Technologie gemäß der vorliegenden Offenbarung auf die Bildgebungseinheit 10402 und die Bildverarbeitungseinheit 11412 ist es möglich, ein klareres Bild der Operationsstelle zu erhalten und dementsprechend kann der Bediener die Operationsstelle zuverlässig bestätigen.
  • Obwohl das endoskopische Chirurgiesystem hier als ein Beispiel beschrieben wurde, kann die Technologie gemäß der vorliegenden Offenbarung auf anderes, zum Beispiel ein mikroskopisches Operationssystem, angewandt werden kann.
  • Die vorliegende Technologie kann auch die folgenden Konfigurationen annehmen.
    1. (1) Eine Festkörperbildgebungsvorrichtung, die Folgendes beinhaltet: eine Pixelarrayeinheit, in der mehrere Pixeleinheitsgruppen angeordnet sind, wobei die Pixeleinheitsgruppe aus Pixeleinheiten besteht, die in einer 2×2-Matrix angeordnet sind, wobei die Pixeleinheit aus Pixeln besteht, die in einer m×n-Matrix (m und n sind natürliche Zahlen von 2 oder mehr) angeordnet sind, wobei das Pixel eine fotoelektrische Umwandlungseinheit und ein Farbfilter, das entsprechend der fotoelektrischen Umwandlungseinheit gebildet ist, aufweist, wobei jede der Pixeleinheitsgruppen ein R-Filter als das Farbfilter in einer der vier Pixeleinheiten, die die Pixeleinheitsgruppe darstellen, beinhaltet, ein G-Filter als das Farbfilter in zwei der vier Pixeleinheiten beinhaltet und ein B-Filter als das Farbfilter in einer der vier Pixeleinheiten beinhaltet, und wenigstens eine der Pixeleinheitsgruppen ein vorbestimmtes Farbfilter mit einer Transmissionsgradspitzenwellenlänge, die von jeder des R-Filters, des G-Filters und des B-Filters verschieden ist, als das Farbfilter beinhaltet.
    2. (2) Die Festkörperbildgebungsvorrichtung nach (1), wobei die Transmissionsgradspitzenwellenlänge des vorbestimmten Farbfilters entweder in einem ersten Bereich, der größer als eine Transmissionsgradspitzenwellenlänge des B-Filters und kleiner als eine Transmissionsgradspitzenwellenlänge des G-Filters ist, oder in einem zweiten Bereich, der größer als die Transmissionsgradspitzenwellenlänge des G-Filters und kleiner als eine Transmissionsgradspitzenwellenlänge des R-Filters ist, liegt.
    3. (3) Die Festkörperbildgebungsvorrichtung nach (2), wobei der erste Bereich größer als 465 nm und kleiner als 525 nm ist und der zweite Bereich größer als 535 nm und kleiner als 595 nm ist.
    4. (4) Die Festkörperbildgebungsvorrichtung nach (1) oder (2), wobei m und n = 2 gilt und die Anzahl an Arten der Farbfilter, die in einer Pixeleinheit enthalten sind, 2 oder weniger ist.
    5. (5) Die Festkörperbildgebungsvorrichtung nach (4), wobei das vorbestimmte Farbfilter in der Pixeleinheit, die das R-Filter oder das B-Filter enthält, unter den Pixeleinheiten enthalten ist, die die wenigstens eine Pixeleinheitsgruppe darstellen.
    6. (6) Die Festkörperbildgebungsvorrichtung nach (4) oder (5), wobei das vorbestimmte Farbfilter nur in einer partiellen Pixeleinheitsgruppe unter sämtlichen Pixeleinheitsgruppen in der Pixelarrayeinheit enthalten ist.
    7. (7) Die Festkörperbildgebungsvorrichtung nach (4) oder (5), wobei das vorbestimmte Farbfilter in jeder sämtlicher Pixeleinheitsgruppen der Pixelarrayeinheit enthalten ist.
    8. (8) Die Festkörperbildgebungsvorrichtung nach (7), wobei jede der Pixeleinheiten, die das vorbestimmte Farbfilter beinhalten, die gleiche Art des vorbestimmtem Farbfilters in zwei Pixeln einer Pixeleinheit beinhaltet.
    9. (9) Eine elektronische Vorrichtung, die Folgendes beinhaltet: eine Festkörperbildgebungsvorrichtung, die eine Pixelarrayeinheit beinhaltet, in der mehrere Pixeleinheitsgruppen angeordnet sind, wobei die Pixeleinheitsgruppe aus Pixeleinheiten besteht, die in einer 2×2-Matrix angeordnet sind, wobei die Pixeleinheit aus Pixeln besteht, die in einer m×n-Matrix (m und n sind natürliche Zahlen von 2 oder mehr) angeordnet sind, wobei das Pixel eine fotoelektrische Umwandlungseinheit und ein Farbfilter, das entsprechend der fotoelektrischen Umwandlungseinheit gebildet ist, aufweist, wobei jede der Pixeleinheitsgruppen ein R-Filter als das Farbfilter in einer der vier Pixeleinheiten, die die Pixeleinheitsgruppe darstellen, ein G-Filter als das Farbfilter in zwei der vier Pixeleinheiten und ein B-Filter als das Farbfilter in einer der vier Pixeleinheiten beinhaltet, und wobei wenigstens eine der Pixeleinheitsgruppen ein vorbestimmtes Farbfilter mit einer Transmissionsgradspitzenwellenlänge, die von jeder des R-Filters, des G-Filters und des B-Filters verschieden ist, als das Farbfilter beinhaltet; eine optische Linse, die ein Bildlicht von einem Motiv auf einer Bildgebungsoberfläche der Festkörperbildgebungsvorrichtung bildet; und einen Signalverarbeitungsschaltkreis, der eine Signalverarbeitung an einem Signal durchführt, das von der Festkörperbildgebungsvorrichtung ausgegeben wird.
  • Bezugszeichenliste
    • 1
    Festkörperbildgebungsvorrichtung
    2
    Substrat
    3
    Pixelarrayeinheit
    4
    Vertikalansteuerungsschaltkreis
    5
    Spaltensignalverarbeitungsschaltkreis
    6
    Horizontalansteuerungsschaltkreis
    7
    Ausgabeschaltkreis
    8
    Steuerschaltkreis
    9
    Pixel
    10
    Pixeleinheit
    11
    Pixeleinheitsgruppe
    12
    Pixelansteuerungsverdrahtung
    13
    Vertikalsignalleitung
    14
    Horizontalsignalleitung
    15
    Isolationsfilm
    16
    Lichtabschirmungsfilm
    17
    Planarisierungsfilm
    18
    Lichtempfangsschicht
    19
    Farbfilter
    20
    Mikrolinse
    21
    Lichtsammlungsschicht
    22
    Verdrahtungsschicht
    23
    Stützsubstrat
    24
    Fotoelektrische Umwandlungseinheit
    25
    Pixelseparationseinheit
    26
    Farbfilterarray
    27
    Mikrolinsenarray
    28
    Zwischenschichtisolationsfilm
    29
    Verdrahtung
    30
    Mosaik-Bild
    31
    Bildpixel
    32
    RGB-Mosaik-Bild
    33
    Bildpixel
    34
    RGB-Mosaik-Bild
    35
    Bildpixel
    36
    RGB-Mosaik-Bild
    37
    Bildpixel
    38
    CMY-Mosaik-Bild
    100
    Elektronische Vorrichtung
    101
    Festkörperbildgebungsvorrichtung
    102
    Optische Linse
    103
    Verschlussvorrichtung
    104
    Ansteuerungsschaltkreis
    105
    Signalverarbeitungsschaltkreis
    106
    Einfallendes Licht
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2019175912 A [0003]

Claims (9)

  1. Festkörperbildgebungsvorrichtung, die Folgendes umfasst: eine Pixelarrayeinheit, in der mehrere Pixeleinheitsgruppen angeordnet sind, wobei die Pixeleinheitsgruppe aus Pixeleinheiten besteht, die in einer 2×2-Matrix angeordnet sind, wobei die Pixeleinheit aus Pixeln besteht, die in einer m×n-Matrix (m und n sind natürliche Zahlen von 2 oder mehr) angeordnet sind, wobei das Pixel eine fotoelektrische Umwandlungseinheit und ein Farbfilter, das entsprechend der fotoelektrischen Umwandlungseinheit gebildet ist, aufweist, wobei jede der Pixeleinheitsgruppen ein R-Filter als das Farbfilter in einer der vier Pixeleinheiten, die die Pixeleinheitsgruppe darstellen, beinhaltet, ein G-Filter als das Farbfilter in zwei der vier Pixeleinheiten beinhaltet und ein B-Filter als das Farbfilter in einer der vier Pixeleinheiten beinhaltet, und wenigstens eine der Pixeleinheitsgruppen ein vorbestimmtes Farbfilter mit einer Transmissionsgradspitzenwellenlänge, die von jeder des R-Filters, des G-Filters und des B-Filters verschieden ist, als das Farbfilter beinhaltet.
  2. Festkörperbildgebungsvorrichtung nach Anspruch 1, wobei die Transmissionsgradspitzenwellenlänge des vorbestimmten Farbfilters entweder in einem ersten Bereich, der größer als eine Transmissionsgradspitzenwellenlänge des B-Filters und kleiner als eine Transmissionsgradspitzenwellenlänge des G-Filters ist, oder in einem zweiten Bereich, der größer als die Transmissionsgradspitzenwellenlänge des G-Filters und kleiner als eine Transmissionsgradspitzenwellenlänge des R-Filters ist, liegt.
  3. Festkörperbildgebungsvorrichtung nach Anspruch 2, wobei der erste Bereich größer als 465 nm und kleiner als 525 nm ist und der zweite Bereich größer als 535 nm und kleiner als 595 nm ist.
  4. Festkörperbildgebungsvorrichtung nach Anspruch 1, wobei m und n = 2 gilt, und die Anzahl an Arten der Farbfilter, die in einer Pixeleinheit enthalten sind, 2 oder weniger ist.
  5. Festkörperbildgebungsvorrichtung nach Anspruch 4, wobei das vorbestimmte Farbfilter in der Pixeleinheit, die das R-Filter oder das B-Filter enthält, unter den Pixeleinheiten enthalten ist, die die wenigstens eine Pixeleinheitsgruppe darstellen.
  6. Festkörperbildgebungsvorrichtung nach Anspruch 4, wobei das vorbestimmte Farbfilter nur in einer partiellen Pixeleinheitsgruppe unter sämtlichen Pixeleinheitsgruppen in der Pixelarrayeinheit enthalten ist.
  7. Festkörperbildgebungsvorrichtung nach Anspruch 4, wobei das vorbestimmte Farbfilter in jeder sämtlicher Pixeleinheitsgruppen der Pixelarrayeinheit enthalten ist.
  8. Festkörperbildgebungsvorrichtung nach Anspruch 7, wobei jede der Pixeleinheiten, die das vorbestimmte Farbfilter beinhalten, die gleiche Art des vorbestimmtem Farbfilters in zwei Pixeln einer Pixeleinheit beinhaltet.
  9. Elektronische Vorrichtung, die Folgendes umfasst: eine Festkörperbildgebungsvorrichtung, die eine Pixelarrayeinheit beinhaltet, in der mehrere Pixeleinheitsgruppen angeordnet sind, wobei die Pixeleinheitsgruppe aus Pixeleinheiten besteht, die in einer 2×2-Matrix angeordnet sind, wobei die Pixeleinheit aus Pixeln besteht, die in einer m×n-Matrix (m und n sind natürliche Zahlen von 2 oder mehr) angeordnet sind, wobei das Pixel eine fotoelektrische Umwandlungseinheit und ein Farbfilter, das entsprechend der fotoelektrischen Umwandlungseinheit gebildet ist, aufweist, wobei jede der Pixeleinheitsgruppen ein R-Filter als das Farbfilter in einer der vier Pixeleinheiten, die die Pixeleinheitsgruppe darstellen, ein G-Filter als das Farbfilter in zwei der vier Pixeleinheiten und ein B-Filter als das Farbfilter in einer der vier Pixeleinheiten beinhaltet, und wobei wenigstens eine der Pixeleinheitsgruppen ein vorbestimmtes Farbfilter mit einer Transmissionsgradspitzenwellenlänge, die von jeder des R-Filters, des G-Filters und des B-Filters verschieden ist, als das Farbfilter beinhaltet; eine optische Linse, die ein Bildlicht von einem Motiv auf einer Bildgebungsoberfläche der Festkörperbildgebungsvorrichtung bildet; und einen Signalverarbeitungsschaltkreis, der eine Signalverarbeitung an einem Signal durchführt, das von der Festkörperbildgebungsvorrichtung ausgegeben wird.
DE112021001249.5T 2020-02-26 2021-01-07 Festkörperbildgebungsvorrichtung und elektronische vorrichtung Pending DE112021001249T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020030457 2020-02-26
JP2020-030457 2020-02-26
PCT/JP2021/000379 WO2021171796A1 (ja) 2020-02-26 2021-01-07 固体撮像装置及び電子機器

Publications (1)

Publication Number Publication Date
DE112021001249T5 true DE112021001249T5 (de) 2022-12-29

Family

ID=77491374

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112021001249.5T Pending DE112021001249T5 (de) 2020-02-26 2021-01-07 Festkörperbildgebungsvorrichtung und elektronische vorrichtung

Country Status (4)

Country Link
US (1) US20230343802A1 (de)
CN (1) CN115136592A (de)
DE (1) DE112021001249T5 (de)
WO (1) WO2021171796A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019175912A (ja) 2018-03-27 2019-10-10 ソニーセミコンダクタソリューションズ株式会社 撮像装置、及び、画像処理システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8139130B2 (en) * 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
JP4957413B2 (ja) * 2007-07-04 2012-06-20 株式会社ニコン 固体撮像素子及びこれを用いた撮像装置
JP5034936B2 (ja) * 2007-12-27 2012-09-26 株式会社ニコン 固体撮像素子及びこれを用いた撮像装置
JP2013197609A (ja) * 2012-03-15 2013-09-30 Nikon Corp 撮像装置
JP6645394B2 (ja) * 2016-10-03 2020-02-14 株式会社デンソー 画像センサ

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019175912A (ja) 2018-03-27 2019-10-10 ソニーセミコンダクタソリューションズ株式会社 撮像装置、及び、画像処理システム

Also Published As

Publication number Publication date
US20230343802A1 (en) 2023-10-26
WO2021171796A1 (ja) 2021-09-02
CN115136592A (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
DE112019002463T5 (de) Festkörperbildgebungselement und festkörperbildgebungsvorrichtung
DE112018001158T5 (de) Festkörper-bildgebungsvorrichtung und herstellungsverfahren für festkörperbildgebungsvorrichtung
DE112018006695T5 (de) Bildgebungselement
DE112018004884T5 (de) Festkörper-bildgebungsvorrichtung und elektronisches gerät
DE112017001031T5 (de) Festkörper-Bildaufnahmevorrichtung
DE112019003578T5 (de) Festkörperbildaufnahmeelement und elektronisches gerät
DE112018002249T5 (de) Festkörper-bildgebungsvorrichtung und elektronische einrichtung
DE112019006460T5 (de) Bildaufnahmeelement und bildaufnahmegerät
DE112019003845T5 (de) Bildaufnahmevorrichtung und elektronisches gerät
DE112019005424T5 (de) Festkörper-Bildgebungselement und Bildgebungsvorrichtung
DE112017006908T5 (de) Lichtempfangselement, verfahren zum produzieren eines lichtempfangselements, bildgebungselement und elektronische vorrichtung
DE112020002994T5 (de) Fotoelektrisches umwandlungselement, fotodetektor, fotodetektionssystem,elektronische einrichtung und mobiler körper
DE112020005128T5 (de) Abbildungsvorrichtung
DE112018001649T5 (de) Halbleiter-bilderzeugungselement, elektronische vorrichtung und herstellungsverfahren
DE112021001250T5 (de) Festkörperbildgebungsvorrichtung und elektronische ausrüstung
DE112021005005T5 (de) Festkörperbildaufnahmevorrichtung und elektronisches gerät
DE112020003848T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, und informationsverarbeitungsprogramm
DE112018005515T5 (de) Bildaufnahmesteuervorrichtung, bildaufnahmevorrichtung, steuerverfahren für die bildaufnahmesteuervorrichtung und ein nicht flüchtiges computerlesbares medium
DE112020003135T5 (de) Festkörperbildgebungselement und festkörperbildgebungselementherstellungsverfahren
DE112020000625T5 (de) Bildgebungsvorrichtung und elektronische einrichtung
DE112019000735T5 (de) Bildprozessor, bildverarbeitungsverfahren und bildgebungsvorrichtung
DE112022001031T5 (de) Fotoelektrisches umwandlungselement und elektronische vorrichtung
DE112018006764T5 (de) Halbleitervorrichtung
DE112021001249T5 (de) Festkörperbildgebungsvorrichtung und elektronische vorrichtung
WO2021045139A1 (ja) 撮像素子および撮像装置

Legal Events

Date Code Title Description
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: H04N0009070000

Ipc: H04N0023120000