DE112020002459T5

DE112020002459T5 - Lichtempfangende vorrichtung, festkörper-bildgebungseinrichtung, elektronisches gerät und informationsverarbeitungssystem

Info

Publication number: DE112020002459T5
Application number: DE112020002459.8T
Authority: DE
Inventors: Seigo Hanada
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2019-05-22
Filing date: 2020-05-08
Publication date: 2022-03-10
Also published as: WO2020235363A1; US20220222912A1; JP2020191564A; US11928848B2; CN113826375A

Abstract

Eine Bilderkennungsverarbeitung mit höherer Geschwindigkeit kann realisiert werden. Eine lichtempfangende Vorrichtung gemäß einer Ausführungsform enthält: eine Vielzahl erster Filter (130), die jeweils eine Randkomponente in einer vorbestimmten Richtung in einem Eingangsbild durchlassen; eine Vielzahl zweiter Filter (150), die jeweils Licht eines vorbestimmten Wellenlängenbandes in einem einfallenden Licht durchlassen; und eine Vielzahl fotoelektrischer Umwandlungselemente (PD), die jeweils durch einen der Vielzahl von Faltungsfiltern und einen der Vielzahl von Farbfiltern durchgelassenes Licht fotoelektrisch umwandeln.

Description

Gebiet
Die vorliegende Offenbarung bezieht sich auf eine lichtempfangende Vorrichtung, eine Festkörper-Bildgebungseinrichtung, ein elektronisches Gerät und ein Informationsverarbeitungssystem.
Hintergrund
In den letzten Jahren wurde eine Technologie entwickelt, um ein in einem Bild enthaltenes Objekt zu erkennen, indem eine Bildverarbeitung mittels einer Faltungsoperation an durch eine Bildgebungseinrichtung erfassten Bilddaten durchgeführt wird.
Zitatliste
Nicht-Patentliteratur
Nicht-Patentliteratur 1: Huaijin G. Chen, Suren Jayasuriya, Jiyue Yang, Judy Stephen, Sriram Sivaramakrishnan, Ashok Veeraraghavan, Alyosha C. Molnar; ASP Vision: Optically Computing the First Layer of Convolutional Neural Networks Using Angle Sensitive Pixels (CVPR) 2016, S. 903-912.
Zusammenfassung
Technisches Problem
Da eine Bilderkennungsverarbeitung mittels der Faltungsoperation eine große Menge an zu verarbeitenden Daten aufweist und deren Verarbeitung selbst kompliziert ist, besteht jedoch ein Problem, dass es schwierig ist, eine höhere Leistungsfähigkeit in Echtzeit zu erzielen.
Daher schlägt die vorliegende Offenbarung die lichtempfangende Vorrichtung, die Festkörper-Bildgebungseinrichtung, das elektronische Gerät und das Informationsverarbeitungssystem vor, die eine Implementierung bzw. Realisierung einer Bilderkennungsverarbeitung mit höherer Geschwindigkeit ermöglichen.
Lösung für das Problem
Um das oben beschriebene Problem zu lösen, weist die lichtempfangende Vorrichtung gemäß einem Aspekt der vorliegenden Offenbarung auf: eine Vielzahl erster Filter, die jeweils eine Kanten- bzw. Randkomponente in einer vorbestimmten Richtung in einem Eingangsbild (engl.: incident image) durchlassen; eine Vielzahl zweiter Filter, die jeweils Licht eines vorbestimmten Wellenlängenbandes in einem Einfallslicht durchlassen; und eine Vielzahl fotoelektrischer Umwandlungselemente, die jeweils durch einen der Vielzahl erster Filter und einen der Filter zweiter Filter durchgelassenes Licht fotoelektrisch umwandeln.
Figurenliste

1 ist ein Blockdiagramm, das ein schematisches Konfigurationsbeispiel eines Informationsverarbeitungssystems veranschaulicht, das ein elektronisches Gerät gemäß einer Ausführungsform enthält.
2 ist ein Blockdiagramm, das ein schematisches Konfigurationsbeispiel einer Festkörper-Bildgebungseinrichtung gemäß der Ausführungsform veranschaulicht.
3 ist ein Schaltungsdiagramm, das ein Schaltungskonfigurationsbeispiel eines Einheitspixels gemäß der Ausführungsform veranschaulicht.
4 ist eine perspektivische Ansicht, die ein Beispiel einer gestapelten Konfiguration der Festkörper-Bildgebungseinrichtung gemäß der Ausführungsform veranschaulicht.
5 ist eine perspektivische Ansicht, die das Beispiel einer gestapelten Konfiguration der Festkörper-Bildgebungseinrichtung gemäß einer Modifikation der Ausführungsform veranschaulicht.
6 ist ein Diagramm, um ein allgemeines CNN zu erläutern.
7 ist ein Diagramm, um einen Überblick über eine Faltungsschicht, die eine erste Schicht des CNN ist, zu beschreiben.
8 ist ein Diagramm, um einen Fall zu erläutern, in dem die Ausführungsform für die Faltungsschicht, welche die erste Schicht des CNN ist, verwendet wird.
9 ist ein Diagramm, das ein Beispiel eines Faltungsfilters gemäß der Ausführungsform veranschaulicht.
10 ist ein Diagramm, das ein Beispiel eines Faltungsfilter-Arrays gemäß der Ausführungsform veranschaulicht.
11 ist ein Diagramm, das ein Beispiel eines Frequenzspektrums einer Randkomponente veranschaulicht, die durch das Faltungsfilter-Array gemäß der Ausführungsform erfasst wird.
12 ist ein schematisches Diagramm, das ein Beispiel einer Faltungsfiltereinheit veranschaulicht, die das Faltungsfilter-Array bildet, das imstande ist, die Randkomponente des Frequenzspektrums, das in 11 veranschaulicht ist, zu erfassen.
13 ist eine Draufsicht, die ein schematisches Konfigurationsbeispiel eines Kombinationsfilters veranschaulicht, in dem das Faltungsfilter-Array und ein Farbfilter-Array gemäß der Ausführungsform kombiniert sind.
14 ist ein Diagramm, das ein Beispiel von Einzelbild- bzw. Frame-Daten veranschaulicht, die von einem Bildsensor gemäß der Ausführungsform erzeugt werden.
15 ist eine Draufsicht, die das schematische Konfigurationsbeispiel des Kombinationsfilters gemäß der Modifikation der Ausführungsform veranschaulicht.
16 ist ein Diagramm, um einen Überblick über eine optische Faltungsoperation gemäß der Ausführungsform zu erläutern.
17 ist ein Diagramm, um einen Überblick über die optische Faltungsoperation (mit Farbfilter) gemäß der Ausführungsform zu erläutern.
18 ist ein Diagramm, um den Überblick über die Faltungsoperation gemäß der Modifikation der Ausführungsform zu erläutern (Teil 1).
19 ist ein Diagramm, um den Überblick über die Faltungsoperation gemäß der Modifikation der Ausführungsform zu erläutern (Teil 2).
20 ist ein Diagramm, um den Überblick über die Faltungsoperation gemäß der Modifikation der Ausführungsform zu erläutern (Teil 3).
21 ist ein Diagramm, um den Überblick über die Faltungsoperation gemäß der Modifikation der Ausführungsform zu erläutern (Teil 4).
22 ist ein Blockdiagramm, das ein Beispiel einer schematischen Konfiguration eines Fahrzeugsteuerungssystems veranschaulicht.
23 ist ein erläuterndes Diagramm, das ein Beispiel von Installationspositionen einer Einheit zur Detektion von Information von außerhalb des Fahrzeugs und einer Bildgebungseinheit veranschaulicht.

Beschreibung von Ausführungsformen
Im Folgenden wird hierin eine Ausführungsform der vorliegenden Offenbarung mit Verweis auf die Zeichnungen im Detail beschrieben. Man beachte, dass in der folgenden Ausführungsform die gleichen Teile mit den gleichen Bezugsziffern bezeichnet sind und eine redundante Beschreibung weggelassen wird.
Außerdem wird die vorliegende Offenbarung in der folgenden Reihenfolge von Punkten beschrieben.
1. Ausführungsform

1.1 Schematisches Konfigurationsbeispiel eines elektronischen Geräts
1.2 Schematisches Konfigurationsbeispiel einer Festkörper-Bildgebungseinrichtung
1.3 Schaltungskonfigurationsbeispiel eines Einheitspixels
1.4 Beispiel einer Basisfunktion eines Einheitspixels
1.5 Beispiel einer gestapelten Konfiguration eines Bildsensors
- 1.5.1 Modifikation
1.6 Anwendungsbeispiel einer optischen Faltungsoperation
1.7 Überblick über ein CNN
1.8 Anwendung auf die vorliegende Ausführungsform
1.9 Faltungsfilter
1.10 Funktionales Beispiel eines Faltungsfilter-Arrays
1.11 Beziehung zwischen Muster und Frequenzspektrum eines Faltungsfilter-Arrays
1.12 Konfigurationsbeispiel eines Kombinationsfilters
- 1.12.1 Modifikation eines Kombinationsfilters
1.13 Überblick über eine Faltungsoperation (ohne Farbfilter)
1.14 Überblick über eine Faltungsoperation (mit Farbfilter)
- 1.14.1 Modifikation einer Faltungsoperation
1.15 Betrieb und Effekt
2. Anwendung auf einen mobilen Körper

1. Ausführungsform
1.1 Schematisches Konfigurationsbeispiel eines elektronischen Geräts
1 ist ein Blockdiagramm, das ein schematisches Konfigurationsbeispiel eines Informationsverarbeitungssystems veranschaulicht, das ein elektronisches Gerät gemäß der Ausführungsform enthält. Wie in 1 veranschaulicht ist, enthält das elektronische Gerät 1 eine Bildgebungseinrichtung 10 und einen Anwendungsprozessor 20. Die Bildgebungseinrichtung 10 enthält eine Bildgebungseinheit 11, eine Steuerungseinheit 12, eine Signalverarbeitungseinheit 30, einen digitalen Signalprozessor (DSP) 14, einen Speicher 15 und eine Ausgabeeinheit 16.
Die Steuerungseinheit 12 steuert jede Einheit in der Bildgebungseinrichtung 10 gemäß beispielsweise einer Bedienung durch einen Nutzer oder einem eingestellten Betriebsmodus.
Die Bildgebungseinheit 11 enthält beispielsweise ein optisches System 11a, das eine Zoom-Linse, eine Fokus-Linse, eine Blende und dergleichen enthält, und eine Festkörper-Bildgebungseinrichtung 100 mit einer Konfiguration, in der Einheitspixel, die lichtempfangende Elemente wie etwa eine Fotodiode enthalten, in einer zweidimensionalen Matrix angeordnet sind. Von außen einfallendes Licht wird durch das optische System 11a auf eine lichtempfangende Oberfläche abgebildet, auf der die lichtempfangenden Elemente in der Festkörper-Bildgebungseinrichtung 100 angeordnet sind. Jedes Einheitspixel der Festkörper-Bildgebungseinrichtung 100 wandelt auf das lichtempfangende Element einfallendes Licht elektrisch um, wodurch eine einer Menge an einfallendem Licht entsprechende Ladung lesbar gespeichert wird. Die Festkörper-Bildgebungseinrichtung 100 gibt dann basierend auf der in jedem Einheitspixel akkumulierten Ladung ein Pixelsignal als Daten in Einheiten von Einzelbildern bzw. Frames ab. Man beachte, dass Details der Festkörper-Bildgebungseinrichtung 100 später beschrieben werden.
Darüber hinaus sind in der vorliegenden Ausführungsform die in Einheiten von Frames von der Festkörper-Bildgebungseinrichtung 100 gelesenen Daten ein Ergebnis einer Faltungsoperation (einer später beschriebenen optischen Faltungsoperation), die unter Verwendung eines später beschriebenen physikalischen Faltungsfilters durchgeführt wird. Daher sind die aus der Festkörper-Bildgebungseinrichtung 100 gelesenen Daten Binärdaten wie etwa eine Merkmalskarte (engl.: feature map).
Die Signalverarbeitungseinheit 13 führt verschiedene Arten einer Signalverarbeitung an den aus der Festkörper-Bildgebungseinrichtung 100 gelesenen Binärdaten durch. Beispielsweise komprimiert die Signalverarbeitungseinheit 13 einen Übertragungsumfang, indem die Binärdaten mittels einer Lauflängenkompression oder dergleichen komprimiert werden. In einem Fall, in dem die Binärdaten Farbinformationen enthalten, kann außerdem die Signalverarbeitungseinheit 13 die Binärdaten in ein YUV-Format, ein RGB-Format oder dergleichen umwandeln. Überdies kann die Signalverarbeitungseinheit 13 nach Bedarf beispielsweise eine Verarbeitung wie etwa eine Rauschentfernung und eine Weißabgleich-Einstellung an den Binärdaten durchführen.
Man beachte, dass in der vorliegenden Ausführungsform die Signalverarbeitungseinheit 13 keine wesentliche Komponente ist und weggelassen werden kann. In diesem Fall können die von der Festkörper-Bildgebungseinrichtung 100 ausgegebenen Binärdaten direkt in den DSP 14 oder den Speicher 15 eingegeben werden oder können über die Ausgabeeinheit 16 an einen externen Anwendungsprozessor 20 oder dergleichen ausgegeben werden, ohne durch den DSP 14 zu gelangen. Darüber hinaus können die von der Bildgebungseinheit 11 ausgegebenen Binärdaten mittels einer Lauflängenkompression oder dergleichen komprimiert werden.
Der DSP 14 kann beispielsweise verschiedene Arten einer Signalverarbeitung an eingegebenen Binärdaten durchführen. Der DSP 14 kann an den eingegebenen Binärdaten beispielsweise eine Bilderkennungsverarbeitung unter Verwendung eines tiefen neuronalen Netzwerks (DNN) durchführen. In diesem Fall arbeitet der DSP 14 als eine Einheit für maschinelles Lernen, die das DNN nutzt, indem ein im Speicher 15 gespeichertes gelerntes Modell gelesen und ausgeführt wird. Danach führt der als die Einheit für maschinelles Lernen arbeitende DSP 14 die Bilderkennungsverarbeitung unter Verwendung des DNN durch, indem ein im Speicher 15 gespeicherter Verzeichniskoeffizient (engl.: dictionary coefficient) und die Binärdaten multipliziert werden.
Ferner gibt der DSP 14 ein durch die Signalverarbeitung an den Binärdaten erhaltenes Ergebnis (worauf hier im Folgenden als Signalverarbeitungsergebnis verwiesen wird) an den Speicher 15 und/oder die Ausgabeeinheit 16 aus. Man beachte, dass ein Speicher-Controller, der einen Zugriff auf den Speicher 15 steuert, im DSP 14 integriert sein kann.
Man beachte, dass in der vorliegenden Ausführungsform der DSP 14 keine wesentliche Komponente ist und weggelassen werden kann. Alternativ dazu kann der DSP 14 die eingegebenen Binärdaten ausgeben wie sie sind, ohne jegliche Signalverarbeitung an den eingegebenen Binärdaten durchzuführen. In diesen Fällen können die von der Festkörper-Bildgebungseinrichtung 100 oder der Signalverarbeitungseinheit 13 ausgegebenen Binärdaten in den Speicher 15 eingegeben werden oder können über die Ausgabeeinheit 16 an den externen Anwendungsprozessor 20 oder dergleichen ausgegeben werden.
Der Speicher 15 speichert das durch den DSP 14 erhaltene Signalverarbeitungsergebnis nach Bedarf. Außerdem kann der Speicher 15 einen Algorithmus des vom DSP 14 ausgeführten gelernten Modells als Programm und den Verzeichniskoeffizienten speichern. Das Programm und der Verzeichniskoeffizient des gelernten Modells, die zum Beispiel von einem externen Cloud-Server 30 oder dergleichen erzeugt werden, können über ein Netzwerk 40 zum elektronischen Gerät 1 heruntergeladen und im Speicher 15 gespeichert werden oder können vor einem Versand des elektronischen Geräts 1 im Speicher 15 gespeichert werden.
Die Ausgabeeinheit 16 gibt die von der Festkörper-Bildgebungseinrichtung 100, der Signalverarbeitungseinheit 13 oder dem DSP 14 ausgegebenen Binärdaten, das vom DSP 14 ausgegebene Signalverarbeitungsergebnis oder die Binärdaten und das im Speicher 15 gespeicherte Signalverarbeitungsergebnis zum Beispiel gemäß einem Auswahlsteuerungssignal von der Steuerungseinheit 12 aus.
Die Binärdaten oder das Signalverarbeitungsergebnis, die von der Ausgabeeinheit 16 wie oben beschrieben ausgegeben werden, werden oder wird in den Anwendungsprozessor 20 eingegeben, der eine Anzeige, eine Nutzerschnittstelle und dergleichen prozessiert. Der Anwendungsprozessor 20 ist unter Verwendung beispielsweise einer zentralen Verarbeitungseinheit (CPU) und dergleichen konfiguriert und führt ein Betriebssystem, verschiedene Anwendungssoftware und dergleichen aus. Der Anwendungsprozessor 20 kann mit Funktionen wie etwa einer Graphikverarbeitungseinheit (GPU) und einem Basisbandprozessor ausgestattet sein. Der Anwendungsprozessor 20 führt nach Bedarf verschiedene Arten einer Verarbeitung an den eingegebenen Binärdaten oder dem Signalverarbeitungsergebnis durch, führt eine Anzeige für den Nutzer durch oder überträgt die eingegebenen Binärdaten oder das Signalverarbeitungsergebnis über ein vorbestimmtes Netzwerk 40 zum externen Cloud-Server 30.
Man beachte, dass als das vorbestimmte Netzwerk 40 beispielsweise verschiedene Netzwerke wie etwa das Internet, ein drahtgebundenes Lokalbereichsnetz (LAN), ein drahtloses LAN, ein mobiles Kommunikationsnetzwerk und Bluetooth (eingetragenes Warenzeichen) verwendet werden können. Darüber hinaus ist das Übertragungsziel der Binärdaten oder des Signalverarbeitungsergebnisses nicht auf den Cloud-Server 30 beschränkt und kann verschiedene Informationsverarbeitungseinrichtungen (Systeme) mit einer Kommunikationsfunktion wie etwa ein Server, der eigenständig oder in Kooperation mit einem anderen Server arbeitet, ein Datei-Server, der verschiedene Daten speichert, und ein Kommunikationsendgerät wie etwa ein Mobiltelefon sein.
1.2 Schematisches Konfigurationsbeispiel einer Festkörper-Bildgebungseinrichtung
2 ist ein Blockdiagramm, das ein schematisches Konfigurationsbeispiel einer Festkörper-Bildgebungseinrichtung (worauf hier im Folgenden einfach als Bildsensor verwiesen wird) aus einem komplementären Metall-Oxid-Halbleiter (CMOS) gemäß der Ausführungsform veranschaulicht. Der CMOS-Bildsensor ist hier ein durch Anwenden oder teilweises Nutzen eines CMOS-Prozesses geschaffener Bildsensor. Die Festkörper-Bildgebungseinrichtung 100 gemäß der vorliegenden Ausführungsform kann ein sogenannter rückseitig beleuchteter Typ sein, bei dem eine Einfallsoberfläche auf einer einer Elementausbildungsoberfläche entgegengesetzten Seite einer Oberfläche (worauf hier im Folgenden als rückwärtige Oberfläche verwiesen wird) in einem Halbleitersubstrat liegt, oder kann ein sogenannter vorderseitig beleuchteter Typ sein, bei dem die Einfallsoberfläche auf einer Seite der vorderen Oberfläche liegt.
Wie in 2 veranschaulicht ist, enthält der Bildsensor 100 beispielsweise eine Pixel-Arrayeinheit 101, eine vertikale Ansteuerungsschaltung 102, eine Spaltenverarbeitungsschaltung 103, eine horizontale Ansteuerungsschaltung 104, eine System-Steuerungseinheit 105, eine Signalverarbeitungsschaltung 108 und eine Daten-Speichereinheit 109. In der folgenden Beschreibung wird auf die vertikale Ansteuerungsschaltung 102, die Spaltenverarbeitungsschaltung 103, die horizontale Ansteuerungsschaltung 104, die System-Steuerungseinheit 105, die Signalverarbeitungseinheit 108 und die Daten-Speichereinheit 109 auch als periphere Schaltungen verwiesen.
Die Pixel-Arrayeinheit 101 hat eine Konfiguration, in der Einheitspixel (sie können hier im Folgenden einfach als „Pixel“ bezeichnet werden) 110, die jeweils ein fotoelektrisches Umwandlungselement aufweisen, das gemäß einer Menge an empfangenem Licht Ladung erzeugt und akkumuliert, in einer Zeilen- bzw. Reihen-Richtung und einer Spalten-Richtung, das heißt in einem Muster eines zweidimensionalen Gitters (worauf hier im Folgenden als Matrixmuster verwiesen wird), in einer Matrix angeordnet sind. Die Reihen-Richtung bezieht sich hier auf eine Anordnungsrichtung (eine horizontale Richtung in der Zeichnung) der Pixel in einer Pixel-Reihe, und die Spalten-Richtung bezieht sich auf eine Anordnungsrichtung (eine vertikale Richtung in der Zeichnung) der Pixel in einer Pixel-Spalte. Spezifische Schaltungskonfigurationen und Pixel-Strukturen der Einheitspixel werden später im Detail beschrieben.
In der Pixel-Arrayeinheit 101 ist eine Pixel-Ansteuerungsleitung LD in der Reihen-Richtung für jede Pixel-Reihe verdrahtet, und eine vertikale Signalleitung VSL ist in der Spalten-Richtung für jede Pixel-Spalte in Bezug auf ein matrixartiges Pixel-Array verdrahtet. Die Pixel-Ansteuerungsleitung LD überträgt ein Ansteuerungssignal zum Ansteuern, wenn das Signal vom Pixel gelesen wird. In 2 sind die Pixel-Ansteuerungsleitungen LD als Verdrahtungsleitungen einzeln veranschaulicht, sind aber nicht auf die einzelnen Verdrahtungsleitungen beschränkt. Ein Ende der Pixel-Ansteuerungsleitung LD ist mit einem jeder Reihe entsprechenden Ausgangsanschluss der vertikalen Ansteuerungsschaltung 102 verbunden.
Die vertikale Ansteuerungsschaltung 102 enthält ein Schieberegister, einen Adressdecodierer und dergleichen und steuert all die Pixel der Pixel-Arrayeinheit 101 zur gleichen Zeit oder in Einheiten von Reihen bzw. reihenweise an. Das heißt, die vertikale Ansteuerungsschaltung 102 bildet eine Ansteuerungseinheit, die einen Betrieb jedes Pixels der Pixel-Arrayeinheit 101 steuert, zusammen mit der System-Steuerungseinheit 105, die die vertikale Ansteuerungsschaltung 102 steuert. Obgleich eine spezifische Konfiguration der vertikalen Ansteuerungsschaltung 102 nicht veranschaulicht ist, enthält die vertikale Ansteuerungsschaltung im Allgemeinen zwei Scansysteme eines Lese-Scansystems und eines Auskehr-Scansystems (engl.: sweep scanning system).
Das Lese-Scansystem scannt sequentiell selektiv die Einheitspixel der Pixel-Arrayeinheit 101 Reihe um Reihe, um das Signal aus dem Einheitspixel zu lesen. Das aus dem Einheitspixel gelesene Signal ist ein analoges Signal. Das Auskehr-Scansystem führt um eine Belichtungszeit vor dem Lese-Scannen einen Auskehr-Scanvorgang an einer Lese-Reihe durch, auf der ein Lese-Scanvorgang vom Lese-Scansystem durchgeführt wird.
Durch den Auskehr-Scanvorgang mittels des Auskehr-Scansystems werden unnötige Ladungen aus dem fotoelektrischen Umwandlungselement des Einheitspixels der Lese-Reihe ausgekehrt, sodass das fotoelektrische Umwandlungselement zurückgesetzt wird. Indem man unnötige Ladungen mittels des Auskehr-Scansystems auskehrt (zurücksetzt), wird dann eine sogenannte elektronische Blendenoperation durchgeführt. Die elektronische Blendenoperation bezieht sich hier auf eine Operation, bei der die Ladungen des fotoelektrischen Umwandlungselements gelöscht und eine Belichtung neu begonnen (eine Akkumulation der Ladungen begonnen) wird.
Das durch eine Leseoperation mittels des Lese-Scansystems gelesene Signal entspricht einer Menge an Licht, die nach einer unmittelbar vorhergehenden Leseoperation oder der elektronischen Blendenoperation empfangen wurde. Eine Periode von einem Lesezeitpunkt gemäß der unmittelbar vorausgehenden Leseoperation oder einem Auskehrzeitpunkt gemäß der elektronischen Blendenoperation bis zum Lesezeitpunkt gemäß der aktuellen Leseoperation ist eine Ladungsakkumulationsperiode (worauf auch als Belichtungsperiode verwiesen wird) im Einheitspixel.
Ein von jedem Einheitspixel der durch die vertikale Ansteuerungsschaltung 102 selektiv gescannten Pixel-Reihe abgegebenes Signal wird über je eine vertikale Signalleitung VSL für jede Pixel-Spalte in die Spaltenverarbeitungsschaltung 103 eingespeist. Die Spaltenverarbeitungsschaltung 103 führt eine vorbestimmte Signalverarbeitung an dem von jedem Pixel der ausgewählten Reihe über die vertikale Signalleitung VSL für jede Pixel-Spalte der Pixel-Arrayeinheit 101 abgegebenen Signal durch und hält nach der Signalverarbeitung vorübergehend das Pixelsignal.
Konkret führt die Spaltenverarbeitungsschaltung 103 als die Signalverarbeitung zumindest beispielsweise eine Verarbeitung zur Rauschentfernung, eine Verarbeitung einer korrelierten Doppelabtastung (CDS) oder eine Verarbeitung einer Doppeldatenabtastung (DDS) durch. Beispielsweise wird durch die CDS-Verarbeitung Rauschen mit einem festen Muster, das für das Pixel einzigartig ist, wie etwa Rücksetzrauschen und eine Schwellenvariation eines Verstärkungstransistors im Pixel entfernt. Die Spaltenverarbeitungsschaltung 103 enthält auch beispielsweise eine Funktion zur Analog-Digital-(AD-)Umwandlung, wandelt das vom fotoelektrischen Umwandlungselement gelesene und erhaltene analoge Pixelsignal in ein digitales Signal um und gibt das digitale Signal ab.
Die horizontale Ansteuerungsschaltung 104 enthält das Schieberegister, den Adressdecodierer und dergleichen und wählt sequentiell eine Leseschaltung (worauf hier im Folgenden als Pixelschaltung verwiesen wird) entsprechend der Pixel-Spalte der Spaltenverarbeitungsschaltung 103 aus. Durch selektives Scannen mittels der horizontalen Ansteuerungsschaltung 104 werden die der Signalverarbeitung für jede Pixelschaltung in der Spaltenverarbeitungsschaltung 103 unterzogenen Pixelsignale sequentiell abgegeben.
Die System-Steuerungseinheit 105 enthält einen Zeitsteuerungsgenerator, der verschiedene Zeitsteuerungssignale und dergleichen erzeugt, und führt auf der Basis verschiedener, vom Zeitsteuerungsgenerator erzeugter Zeitpunkte eine Steuerung zur Ansteuerung der vertikalen Ansteuerungsschaltung 102, der Spaltenverarbeitungsschaltung 103, der horizontalen Ansteuerungsschaltung 104 und dergleichen durch.
Die Signalverarbeitungsschaltung 108 weist zumindest eine Funktion einer arithmetischen Verarbeitung auf und führt verschiedene Signalverarbeitungen wie etwa eine arithmetische Verarbeitung am von der Spaltenverarbeitungsschaltung 103 abgegebenen Pixelsignal durch. Die Daten-Speichereinheit 109 speichert vorübergehend Daten, die für die Signalverarbeitung in der Signalverarbeitungsschaltung 108 notwendig sind. Man beachte, dass die Signalverarbeitungsschaltung 108 die gleiche Konfiguration wie die oben beschriebene Signalverarbeitungseinheit 13 oder eine davon verschiedene Konfiguration aufweisen kann. Darüber hinaus kann die Signalverarbeitungsschaltung 108 weggelassen werden.
Man beachte, dass die von der Signalverarbeitungsschaltung 108 (oder der Spaltenverarbeitungsschaltung 103) ausgegebenen Binärdaten wie oben beschrieben in die Signalverarbeitungseinheit 13, den DSP 14, den Speicher 15 oder die Ausgabeeinheit 16 eingegeben werden.
1.3 Schaltungskonfigurationsbeispiel eines Einheitspixels
3 ist ein Schaltungsdiagramm, das ein Schaltungskonfigurationsbeispiel des Einheitspixels gemäß der Ausführungsform veranschaulicht. Wie in 3 veranschaulicht ist, enthält das Einheitspixel 110 eine Fotodiode PD, einen Übertragungstransistor 111, einen Rücksetztransistor 112, einen Verstärkungstransistor 113, einen Auswahltransistor 114 und eine Floating-Diffusionsschicht FD.
Eine Auswahltransistor-Ansteuerungsleitung LD114, die in der Pixel-Ansteuerungsleitung LD enthalten ist, ist mit einem Gate des Auswahltransistors 114 verbunden, eine Rücksetztransistor-Ansteuerungsleitung LD112, die in der Pixel-Ansteuerungsleitung LD enthalten ist, ist mit einem Gate des Rücksetztransistors 112 verbunden, und eine Übertragungstransistor-Ansteuerungsleitung LD111, die in der Pixel-Ansteuerungsleitung LD enthalten ist, ist mit einem Gate des Übertragungstransistors 111 verbunden. Darüber hinaus ist die vertikale Signalleitung VSL, die ein mit der Spaltenverarbeitungsschaltung 103 verbundenes Ende aufweist, über den Auswahltransistor 114 mit einem Drain des Verstärkungstransistors 113 verbunden.
In der folgenden Beschreibung wird auf den Rücksetztransistor 112, den Verstärkungstransistor 113 und den Auswahltransistor 114 zusammenfassend auch als die Pixelschaltung verwiesen. Die Pixelschaltung kann die Floating-Diffusionsschicht FD und/oder den Übertragungstransistor 111 einschließen.
Die Fotodiode PD wandelt einfallendes Licht fotoelektrisch um. Der Übertragungstransistor 111 überträgt die in der Fotodiode PD erzeugte Ladung. Die Floating-Diffusionsschicht FD akkumuliert die durch den Übertragungstransistor 111 übertragene Ladung. Der Verstärkungstransistor 113 veranlasst, dass das Pixelsignal, das einen Spannungswert hat, der der in der Floating-Diffusionsschicht FD akkumulierten Ladung entspricht, in der vertikalen Signalleitung VSL erscheint. Der Rücksetztransistor 112 setzt die in der Floating-Diffusionsschicht FD akkumulierte Ladung frei. Der Auswahltransistor 114 wählt das auszulesende Einheitspixel 110 aus.
Eine Anode der Fotodiode PD ist geerdet, und eine Kathode ist mit einer Source des Übertragungstransistors 111 verbunden. Ein Drain des Übertragungstransistors 111 ist mit einer Source des Rücksetztransistors 112 und einem Gate des Verstärkungstransistors 113 verbunden, und ein Knoten, der ein Verbindungspunkt dieser Transistoren ist, bildet die Floating-Diffusionsschicht FD. Man beachte, dass ein Drain des Rücksetztransistors 112 mit einer (nicht veranschaulichten) vertikalen Rücksetzeingangsleitung verbunden ist.
Eine Source des Verstärkungstransistors 113 ist mit einer (nicht veranschaulichten) vertikalen Stromversorgungsleitung verbunden. Der Drain des Verstärkungstransistors 113 ist mit der Source des Auswahltransistors 114 verbunden, und ein Drain des Auswahltransistors 114 ist mit der vertikalen Signalleitung VSL verbunden.
Die Floating-Diffusionsschicht FD wandelt die akkumulierte Ladung in eine Spannung mit dem Spannungswert um, der deren Ladungsmenge entspricht. Man beachte, dass die Floating-Diffusionsschicht FD beispielsweise eine Kapazität zur Erdung sein kann. Jedoch ist sie nicht darauf beschränkt, und die Floating-Diffusionsschicht FD kann eine Kapazität sein, die hinzugefügt wird, indem ein Kondensator oder dergleichen absichtlich mit einem Knoten verbunden wird, an dem der Drain des Übertragungstransistors 111, die Source des Rücksetztransistors 112 und das Gate des Verstärkungstransistors 113 verbunden sind.
1.4 Beispiel einer Basisfunktion eines Einheitspixels
Als Nächstes wird mit Verweis auf 3 eine Basisfunktion des Einheitspixels 110 beschrieben. Der Rücksetztransistor 112 steuert eine Entladung (Rücksetzung) der in der Floating-Diffusionsschicht FD akkumulierten Ladung gemäß einem Rücksetzsignal RST, das über die Rücksetztransistor-Ansteuerungsleitung LD112 von der vertikalen Ansteuerungsschaltung 102 bereitgestellt wird. Man beachte, dass durch Einschalten des Übertragungstransistors 111, wenn der Rücksetztransistor 112 in einem Ein-Zustand ist, es auch möglich ist, zusätzlich zur in der Floating-Diffusionsschicht FD akkumulierten Ladung die in der Fotodiode PD akkumulierte Ladung zu entladen (zurückzusetzen).
Wenn ein Rücksetzsignal RST mit hohem Pegel in das Gate des Rücksetztransistors 112 eingespeist wird, wird die Floating-Diffusionsschicht FD auf eine über die vertikale Rücksetzeingangsleitung angelegte Spannung festgeklemmt. Somit wird die in der Floating-Diffusionsschicht FD akkumulierte Ladung entladen (zurückgesetzt).
Wenn ein Rücksetzsignal RST mit niedrigem Pegel in das Gate des Rücksetztransistors 112 eingespeist wird, wird darüber hinaus die Floating-Diffusionsschicht FD von der vertikalen Rücksetzeingangsleitung elektrisch getrennt und tritt in einen Schwebe- bzw. Floating-Zustand ein.
Die Fotodiode PD wandelt das einfallende Licht fotoelektrisch um und erzeugt eine der Lichtmenge entsprechende Ladung. Die erzeugte Ladung wird auf der Kathodenseite der Fotodiode PD akkumuliert. Der Übertragungstransistor 111 steuert eine Übertragung der Ladung von der Fotodiode PD zur Floating-Diffusionsschicht FD entsprechend einem über die Übertragungstransistor-Ansteuerungsleitung LD111 von der vertikalen Ansteuerungsschaltung 102 bereitgestellten Übertragungs-Steuerungssignal TRG.
Wenn beispielsweise das Übertragungs-Steuerungssignal TRG bei einem hohen Pegel in das Gate des Übertragungstransistors 111 eingespeist wird, wird die in der Fotodiode PD akkumulierte Ladung zur Floating-Diffusionsschicht FD übertragen. Wenn auf der anderen Seite das Übertragungs-Steuerungssignal TRG bei einem niedrigen Pegel dem Gate des Übertragungstransistors 111 bereitgestellt wird, wird die Übertragung der Ladung von der Fotodiode PD gestoppt.
Wie oben beschrieben wurde, hat die Floating-Diffusionsschicht FD eine Funktion zum Umwandeln der über den Übertragungstransistor 111 von der Fotodiode PD übertragenen Ladung in die Spannung mit dem Spannungswert, der der Ladungsmenge entspricht. Daher wird im Floating-Zustand, in dem der Rücksetztransistor 112 ausgeschaltet ist, ein Potential der Floating-Diffusionsschicht FD gemäß der darin akkumulierten Ladungsmenge moduliert.
Der Verstärkungstransistor 113 fungiert als Verstärker, der eine Potentialvariation der Floating-Diffusionsschicht FD, die mit dessen Gate verbunden ist, als Eingangssignal nutzt, und dessen Ausgangsspannungssignal erscheint über den Auswahltransistor 114 in der vertikalen Signalleitung VSL als das Pixelsignal.
Der Auswahltransistor 114 steuert das Auftreten des Pixelsignals durch den Verstärkungstransistor 113 in der vertikalen Signalleitung VSL gemäß einem über die Auswahltransistor-Ansteuerungsleitung LD114 von der vertikalen Ansteuerungsschaltung 102 bereitgestellten Auswahl-Steuerungssignal SEL. Wenn beispielsweise das Auswahl-Steuerungssignal SEL bei einem hohen Pegel in das Gate des Auswahltransistors 114 eingespeist wird, erscheint das Pixelsignal durch den Verstärkungstransistor 113 in der vertikalen Signalleitung VSL. Wenn auf der anderen Seite das Auswahl-Steuerungssignal SEL bei einem niedrigen Pegel in das Gate des Auswahltransistors 114 eingespeist wird, wird das Auftreten des Pixelsignals in der vertikalen Signalleitung VSL gestoppt. Somit ist es möglich, nur eine Ausgabe des ausgewählten Einheitspixels 110 in der vertikalen Signalleitung VSL zu extrahieren, mit der die Vielzahl von Einheitspixeln 110 verbunden ist.
1.5 Beispiel einer gestapelten Konfiguration eines Bildsensors
4 ist eine perspektivische Ansicht, die ein Beispiel einer gestapelten Konfiguration des Bildsensors gemäß der Ausführungsform veranschaulicht. Man beachte, dass in 4 und der folgenden Beschreibung der Einfachheit halber ein Fall beispielhaft veranschaulicht wird, in dem der Bildsensor 100 4×4 Pixel aufweist.
Wie in 4 veranschaulicht ist, enthält der Bildsensor 100 einen Halbleiterchip 121, ein Faltungsfilter-Array 122, ein Farbfilter-Array 123 und ein Mikrolinsen-Array 124. Man beachte, dass in 4 der Halbleiterchip 121, das Faltungsfilter-Array 122, das Farbfilter-Array 123 und das Mikrolinsen-Array 124 in einer Stapelrichtung getrennt veranschaulicht sind, aber tatsächlich der Halbleiterchip 121, das Faltungsfilter-Array 122, das Farbfilter-Array 123 und das Mikrolinsen-Array 124 als ein Chip aufgebaut sind.
Der Halbleiterchip 121 enthält beispielsweise in 2 in der Festkörper-Bildgebungseinrichtung 100 beispielhaft veranschaulichte Komponenten und die in 3 beispielhaft veranschaulichte Pixelschaltung. Der Halbleiterchip 121 kann ein Die aufweisen oder kann ein laminierter Chip sein, in dem eine Vielzahl von Dies gebondet ist. Auf der lichtempfangenden Oberfläche des Halbleiterchips 121 ist eine Vielzahl der die Pixel-Arrayeinheit 101 bildenden Fotodioden PD in einer Matrix angeordnet.
Beispielsweise ist das Faltungsfilter-Array 122 auf der lichtempfangenden Oberfläche des Halbleiterchips 121 vorgesehen. Das Faltungsfilter-Array 122 hat zum Beispiel eine Konfiguration, in der Faltungsfilter (erste Filter) 130, die den jeweiligen Fotodioden PD Eins zu Eins entsprechen, in einer Matrix angeordnet sind.
Beispielsweise ist das Farbfilter-Array 123 auf dem Faltungsfilter-Array 122 vorgesehen. Das Farbfilter-Array 123 hat beispielsweise eine Konfiguration, in der Farbfilter (zweite Filter) 150, die den jeweiligen Fotodioden PD Eins zu Eins entsprechen, in einer Matrix angeordnet sind.
Man beachte, dass ein sich wiederholendes Einheitsmuster (worauf hier im Folgenden als Farbfiltereinheit verwiesen wird) des Farbfilter-Arrays 123 gemäß der vorliegenden Ausführungsform ein Bayer-Array aus 2x2 Pixeln sein kann, das ein rotes (R) Pixel, ein blaues (B) Pixel und zwei grüne (G) Pixel enthält. Jedoch ist es nicht darauf beschränkt, und beispielsweise können verschiedene Farbfilter-Arrays wie etwa ein Farbfilter-Array aus 3×3 Pixeln (worauf hier im Folgenden als Array vom X-Trans-Typ (eingetragenes Warenzeichen) verwiesen wird), das in einem CMOS-Sensor X-Trans (eingetragenes Warenzeichen) übernommen wird, ein Quad-Bayer-Array aus 4×4 Pixeln (worauf auch als Quadratur-Array verwiesen wird) und ein Farbfilter-Array aus 4×4 Pixeln (worauf hier im Folgenden als Weiß-RGB-Array verwiesen wird) übernommen werden, das erhalten wird, indem ein Weiß-RGB-Farbfilter mit dem Bayer-Array kombiniert wird.
Beispielsweise ist das Mikrolinsen-Array 124 auf dem Farbfilter-Array 123 vorgesehen. Das Mikrolinsen-Array 124 hat beispielsweise eine Konfiguration, in der On-Chip-Linsen 160, die den jeweiligen Fotodioden PD Eins zu Eins entsprechen, in einer Matrix angeordnet sind. Jedoch ist es nicht auf solch eine Konfiguration beschränkt, und eine On-Chip-Linse 160 kann zwei oder mehr Fotodioden PD zugeordnet sein. Das heißt, eine On-Chip-Linse 160 können sich zwei oder mehr Einheitspixel 110 teilen.
Gemäß der obigen Konfiguration enthält jedes Einheitspixel 110 die Pixelschaltung, die im Halbleiterchip 121 ausgebildet ist, den Faltungsfilter 130 auf der Fotodiode PD in der Pixelschaltung, den Farbfilter 150 auf dem Faltungsfilter 130 und die On-Chip-Linse 160 auf dem Farbfilter 150.
1.5.1 Modifikation
Man beachte, dass eine Position des Faltungsfilter-Arrays 122 nicht auf eine Position zwischen dem Halbleiterchip 121 und dem Farbfilter-Array 123 wie in 4 veranschaulicht beschränkt ist. Wie in einem in 5 beispielhaft veranschaulichten Bildsensor 100A kann beispielsweise das Faltungsfilter-Array 122 zwischen dem Farbfilter-Array 123 und dem Mikrolinsen-Array 124 angeordnet sein.
1.6 Anwendungsbeispiel einer optischen Faltungsoperation
Das Faltungsfilter-Array 122 gemäß der vorliegenden Ausführungsform hat beispielsweise eine physikalische Konfiguration, die die Faltungsoperation an einem Bild (worauf hier im Folgenden als Eingangsbild verwiesen wird) des Lichts optisch durchführt, das auf das Array (die Pixel-Arrayeinheit 101) des Einheitspixels 110 (konkret die Fotodiode PD) fällt. In der vorliegenden Beschreibung wird auf die unter Verwendung des Faltungsfilter-Arrays 122 durchgeführte Faltungsoperation als optische Faltungsoperation verwiesen.
Hier wird unter Verwendung eines neuronalen Faltungsnetzwerks (engl.: convolution neural network) (CNN), das eines von DNNs ist, ein Beispiel der Faltungsoperation beschrieben.
6 ist ein Diagramm, um ein allgemeines CNN zu erläutern. Wie in 6 veranschaulicht ist, umfasst das CNN eine Eingabeschicht, eine Vielzahl von Faltungsschichten und Bündelungs- bzw. Pooling-Schichten, die sich abwechselnd wiederholen, eine vollständig verbundene Schicht und eine Ausgabeschicht.
Die unter Verwendung des Faltungsfilter-Arrays 122 gemäß der vorliegenden Ausführungsform durchgeführte optische Faltungsoperation kann auf beispielsweise die Faltungsschicht angewendet werden, die einer ersten Schicht in 6 entspricht. In diesem Fall können die in die Eingabeschicht des CNN eingegebenen Daten das Eingangsbild auf dem Bildsensor 100 sein.
Die unter Verwendung des Faltungsfilter-Arrays 122 gemäß der vorliegenden Ausführungsform durchgeführte optische Faltungsoperation ist jedoch nicht auf das CNN beschränkt, in dem die erste Schicht die Faltungsschicht ist, und kann für verschiedene Arten einer Verarbeitung zum Durchführen der Faltungsoperation für eine Eingabe, das heißt für das Eingangsbild des Bildsensors 100, verwendet werden.
1.7 Überblick über ein CNN
Hier wird ein Überblick über die erste Schicht des CNN beschrieben, für das die optische Faltungsoperation gemäß der Ausführungsform verwendet werden kann.
7 ist ein Diagramm, um einen Überblick über die Faltungsschicht zu beschreiben, die die erste Schicht des CNN ist. Man beachte, dass 7 einen Fall beispielhaft veranschaulicht, in dem Einzelbild- bzw. Frame-Daten 1050, bei denen die Anzahl an Kanälen K ist und Frame-Daten jedes Kanals W×W Pixel umfassen, der Eingabeschicht bereitgestellt werden. Man beachte, dass die Anzahl an Kanälen beispielsweise der Anzahl an Farbkomponenten (drei) von drei RGB-Primärfarben entspricht, die später beschrieben werden sollen, und in der vorliegenden Beschreibung K=3 gilt. M entspricht beispielsweise der Anzahl von Typen des Faltungsfilters 130, der später beschrieben werden soll.
Wie in 7 veranschaulicht ist, empfängt die in der ersten Schicht gelegene Faltungsschicht K Kanaldaten z^(1-1) _ijk(k=0,..., K-1) von der unmittelbar vorhergehenden (1-1)-Schicht. In der ersten Faltungsschicht wird an den empfangenen z^(1-1) _ijk die Faltungsoperation unter Verwendung von M Arten von Filtern_hpqkm (m=0, ..., M-1) durchgeführt.
Jeder Filter_hpqk(m=0,..., M-1) hat die gleiche Anzahl an Kanälen K wie die Eingabe, und dessen Größe beträgt beispielsweise H×H×K. In 7 werden Berechnungen an M Filtern_hpqkm(m=0, ... , M-1) von m=0 bis M parallel durchgeführt, und für jeden Kanal wird eine Ausgabe u_ijk erhalten.
Nach Abschluss solch einer Faltungsoperation werden Ergebnisse über alle Kanäle für jede Variable addiert. Diese Addition kann durch die folgende Gleichung (1) ausgedrückt werden. Man beachte, dass in der Gleichung (2) b_ijm eine Vorspannung ist und all den Einheiten für jeden Filter gemeinsam sein kann. $u_{i j m} = \sum_{k = 0}^{K \cdot 1} \sum_{p = 0}^{H \cdot 1} \sum_{q = 0}^{H \cdot 1} Z_{i + p \cdot j + q \cdot k}^{(l - 1)} h_{p q k m} + b_{i j m}$
Danach wird eine Aktivierungsfunktion auf die wie oben beschrieben erhaltene Ausgabe u_ijm angewendet. Folglich ist ein durch die folgende Gleichung (2) repräsentierter Wert eine finale Ausgabe und wird an eine nächste Schicht weitergegeben. Man beachte, dass sich in der nächsten Schicht eine Größe der Eingabe von W×W×K in W×W×M ändert. $z_{i j m} - f (u_{i j m})$
1.8 Anwendung auf die vorliegende Ausführungsform
Als Nächstes wird ein Fall beschrieben, in dem die Ausführungsform für das oben beschriebene CNN verwendet wird. 8 ist ein Diagramm, um einen Fall zu erläutern, in dem die vorliegende Ausführungsform für die Faltungsschicht, welche die erste Schicht des CNN ist, verwendet wird.
Wie in 8 veranschaulicht ist, werden in dem Fall, in dem die vorliegende Ausführungsform für die erste Schicht des CNN verwendet wird, Frame-Daten 50, die Frame-Daten 50R, 50G und 50B für die Farbkomponenten der drei RGB-Primärfarben enthalten, der Eingabeschicht bereitgestellt. In diesem Fall ist die Anzahl der Kanäle K in 7 drei für R, G und B. Ferner entspricht eine Größe der jeweiligen Frame-Daten 50R, 50G und 50B W×W.
In der vorliegenden Ausführungsform können die der Eingabeschicht bereitgestellten Frame-Daten 50 beispielsweise ein Bild eines einfallenden Lichts sein, das auf die Fotodioden PD fällt, die in der Pixel-Arrayeinheit 101 des Bildsensors 100 angeordnet sind. Ferner kann ein dem Filter_hpqkm(m=0,..., M-1) entsprechender Filter 51 beispielsweise das Faltungsfilter-Array 122 sein.
Gemäß solch einer Faltungsoperation wird eine Merkmalskarte 54 für die Anzahl von Typen M des Faltungsfilters 130 als die Ausgabe u_ijm erhalten. Die Merkmalskarte 54 wird in beispielsweise eine externe Datenverarbeitungseinheit oder eine Datenverarbeitungsvorrichtung wie etwa die Signalverarbeitungsschaltung 108, die Signalverarbeitungseinheit 13, den DSP 14, den Anwendungsprozessor 20 oder den Cloud-Server 30 eingegeben, und das CNN wird von der Pooling-Schicht der zweiten Schicht durchgeführt.
Man beachte, dass die in die Eingabeschicht eingegebenen Daten nicht auf die Frame-Daten 50 für eine Seite begrenzt sind und Daten für ein oder mehrere Pixel, eine Zeile oder einen spezifischen Bereich (Bereich von Interesse (ROI)) sein können. In dem Fall kann die optische Faltungsoperation gemäß der vorliegenden Ausführungsform anstelle des CNN auf ein anderes DNN wie etwa ein rekurrierendes neuronales Netzwerk (RNNN) angewendet werden.
1.9 Faltungsfilter
Beispielsweise kann ein Beugungsgitter, das eine Talbot-Beugung nutzt, (worauf auch als Talbot-Beugungsgitter verwiesen wird) für den Faltungsfilter 130 verwendet werden, der das Faltungsfilter-Array 122 bildet, das solch eine optische Faltungsoperation durchführt.
9 ist ein Diagramm, das ein Beispiel des Faltungsfilters gemäß der Ausführungsform veranschaulicht. Man beachte, dass 9 zwei Einheitspixel 110A und 110B, die paarweise genutzt werden, veranschaulicht.
Wie in 9 veranschaulicht ist, enthält ein in einem Einheitspixel 110A vorgesehener Faltungsfilter 130A ein Beugungsgitter 131A, das in einer oberen Stufe (vorgelagerten Seite in einem Weg des einfallenden Lichts) angeordnet ist, und ein Beugungsgitter 132A, das in einer unteren Stufe (nachgelagerten Seite im Weg des einfallenden Lichts) angeordnet ist.
Die Beugungsgitter 131A und 132A weisen beispielsweise die gleiche Phase, den gleichen Abstand von Mitte zu Mitte bzw. Pitch und die gleiche Richtung auf. Man beachte, dass die Richtung beispielsweise eine Richtung einer Neigung in Bezug auf die Reihen-Richtung der in einer Matrix angeordneten Einheitspixel 110 auf einer Anordnungsoberfläche der Einheitspixel 110 (einer lichtempfangenden Oberfläche der Fotodiode PD) in der Pixel-Arrayeinheit 101 sein kann.
Darüber hinaus enthält ein im anderen Einheitspixel 110B vorgesehener Faltungsfilter 130B ähnlich ein Beugungsgitter 131B, das in der oberen Stufe (vorgelagerten Seite im Weg des einfallenden Lichts) angeordnet ist, und ein Beugungsgitter 132B, das in der unteren Stufe (nachgelagerte Seite im Weg des einfallenden Lichts) angeordnet ist.
Die Beugungsgitter 131B und 132B weisen beispielsweise den gleichen Pitch und die gleiche Richtung auf. Außerdem können die Beugungsgitter 131A und 132A und die Beugungsgitter 131B und 132B den gleichen Pitch und die gleiche Richtung aufweisen. Phasen der Beugungsgitter 131B und 132B können jedoch um 180° verschoben sein.
Als Material der Beugungsgitter 131A, 132A, 131B und 132B kann ferner beispielsweise ein lichtabschirmendes Material wie etwa Wolfram (W) verwendet werden. Es ist jedoch nicht darauf beschränkt, und verschiedene reflektierende Materialien und lichtabschirmende Materialien können genutzt werden.
1.10 Funktionales Beispiel des Faltungsfilter-Arrays
Indem man die Faltungsfilter 130A oder 130B anordnet, in denen die Beugungsgitter 131A und 132A oder die Beugungsgitter 131B und 132B mit dem gleichen Pitch und der gleichen Richtung übereinander in vorbestimmten Intervallen auf der lichtempfangenden Oberfläche der Fotodiode PD-A oder PD-B angeordnet sind, ist es auf diese Weise möglich, die Bilder der Beugungsgitter 131A und 132A oder der Beugungsgitter 131B und 132B zur lichtempfangenden Oberfläche der Fotodiode PD-A oder PD-B zu übertragen. Das heißt, durch Verwenden des Talbot-Beugungsgitters ist es möglich, die Faltungsfilter 130A und 130B zu konfigurieren, die eine Randkomponente in einer vorbestimmten Richtung in jedem Eingangsbild selektiv durchlassen.
Zu dieser Zeit wird das von der lichtempfangenden Oberfläche der Fotodiode PD-A oder PD-B erzeugte Bild durch die Lichtintensität des Eingangsbildes beeinflusst. Daher wird auf der lichtempfangenden Oberfläche der Fotodiode PD-A oder PD-B eine Komponente (worauf hier im Folgenden als Randkomponente verwiesen wird), die die gleiche Richtung wie jene der Beugungsgitter 131A und 132A oder der Beugungsgitter 131B und 132B hat und den gleichen Zyklus (worauf hier im Folgenden auch als Frequenz verwiesen wird) wie jenen der Beugungsgitter 131A und 132A oder der Beugungsgitter 131B und 132B aufweist, des Eingangsbildes abgebildet.
Deshalb ist es, wie beispielsweise in 10 veranschaulicht ist, in einem Fall, in dem das Faltungsfilter-Array 122 verwendet wird, in dem sich Einheitsmuster (worauf hier im Folgenden als Faltungsfiltereinheiten verwiesen wird) 133 wiederholen, in denen vier Faltungsfilter 130-0, 130-45, 130-90 und 130-135, die sich in der Richtung um 45° unterscheiden, in einer 2×2-Matrix angeordnet sind, möglich, eine Randkomponente, die bezüglich der Reihen-Richtung um 0° geneigt (das heißt parallel zur Reihen-Richtung) ist, eine Randkomponente, die um 45° geneigt ist, eine Randkomponente, die um 90° geneigt ist, und eine Randkomponente, die um 135° geneigt ist, als die Binärdaten zu erfassen.
Das Faltungsfilter-Array 122, das den Faltungsfilter 130 mit solchen Charakteristiken enthält, kann eine Funktion ähnlich jener eines Gabor-Filters erfüllen. Das heißt, in der vorliegenden Ausführungsform ist der Gabor-Filter unter Verwendung der Faltungsfilter 130A und 130B unter Ausnutzung einer Talbot-Beugung physikalisch realisiert.
Durch Anordnen des Faltungsfilter-Arrays 122, das als der Gabor-Filter in Bezug auf das Eingangsbild fungiert, kann dann beispielsweise ein Ergebnis (die Binärdaten) der optischen Faltungsoperation unter Verwendung des Gabor-Filters direkt erlangt werden. Da beispielsweise der Faltungsfilter der ersten Schicht im CNN weggelassen werden kann und die Verarbeitung von der Pooling-Schicht der zweiten Schicht durchgeführt werden kann, kann somit eine Bilderkennungsverarbeitung mit höherer Geschwindigkeit durchgeführt werden.
Man beachte, dass, indem man die Phase eines Faltungsfilters 130A gleichphasig und die Phase des anderen Faltungsfilters 130B gegenphasig macht und man eine Subtraktion zwischen den von den jeweiligen Einheitspixeln 110A und 110B erhaltenen Pixelwerten durchführt, es möglich ist, eine Gleichstrom-(DC- )Komponente (worauf auch als konstante Komponente verwiesen wird) aus dem als Ergebnis der optischen Faltungsoperation erhaltenen Pixelwert (Binärdaten) zu entfernen. Jedoch ist es nicht wesentlich, die DC-Komponente aus der Randkomponente zu entfernen.
Selbst in einem Fall, in dem die DC-Komponente entfernt wird, sind überdies das mit dem Faltungsfilter 130A versehene Einheitspixel 110A und das mit dem Faltungsfilter 130B versehene Einheitspixel 110B nicht notwendigerweise einander benachbart.
1.11 Beziehung zwischen Muster und Frequenzspektrum eines Faltungsfilter-Arrays
Mit Verweis auf die Zeichnungen wird hier eine Beziehung zwischen einem Muster und einem Frequenzspektrum des Faltungsfilter-Arrays 122 gemäß der vorliegenden Ausführungsform beschrieben.
11 ist ein schematisches Diagramm, das ein Beispiel des Frequenzspektrums der Randkomponente veranschaulicht, das mittels des Faltungsfilter-Arrays gemäß der Ausführungsform erhalten wird. 12 ist ein schematisches Diagramm, das ein Beispiel der Faltungsfiltereinheit veranschaulicht, die das Faltungsfilter-Array bildet, das die Randkomponente des in 11 veranschaulichten Frequenzspektrums erfassen kann.
In 11 repräsentiert eine horizontale Achse eine Frequenz fx in der Reihen-Richtung und repräsentiert eine vertikale Achse eine Frequenz fy in der Spalten-Richtung. In dem in 11 veranschaulichten Beispiel werden insgesamt 25 Typen unterschiedlicher Randkomponenten #1 bis #25 erfasst.
In 11 und 12 entsprechen Bezugsziffern #1 bis #25 einander. Um das in 11 veranschaulichte Frequenzspektrum zu erhalten, enthält daher, wie in 12 veranschaulicht ist, das Faltungsfilter-Array 122 25 verschiedene Faltungsfilter 130 (#1 bis #25).
In 11 kann die Randkomponente #13 beispielsweise die DC-Komponente sein. In diesem Fall enthält die Randkomponente #13 keine Richtungsinformation und keine Frequenzinformation. Wie in 12 veranschaulicht ist, enthält der Faltungsfilter 130 (#13) zum Erfassen solch einer Randkomponente #13 einen leeren Bereich, der das Beugungsgitter nicht aufweist.
In 11 können die Randkomponenten #7, #8, #9, #12, #14, #17, #18 und #19 beispielsweise Niederfrequenz-Randkomponenten sein. In diesem Fall wird der Pitch der Beugungsgitter, die die Faltungsfilter 130 (#7, #8, #9, #12, #14, #17, #18 und #19) zum Erfassen der Randkomponenten #7, #8, #9, #12, #14, #17, #18 und #19 bilden, wie in 12 veranschaulicht weit eingestellt wird. In der vorliegenden Beschreibung wird auf diesen Pitch als erster Pitch verwiesen.
In 11 können die Randkomponenten #1, #3, #5, #11, #15, #21, #23 und #25 beispielsweise Hochfrequenz-Randkomponenten sein, die enger als der erste Pitch sind. In diesem Fall wird der Pitch der Beugungsgitter, die die Faltungsfilter 130 (#1, #3, #5, #11, #15, #21, #23 und #25) zum Erfassen der Randkomponenten ##1, #3, #5, #11, #15, #21, #23 und #25 bilden, wie in 12 veranschaulicht auf einen zweiten Pitch eingestellt, der enger als der erste Pitch ist.
In 11 können die Randkomponenten #2, #4, #6, #10, #16, #20, #22 und #24 zum Beispiel Randkomponenten einer Zwischenfrequenz zwischen dem ersten Pitch und dem zweiten Pitch sein. In diesem Fall wird der Pitch der Beugungsgitter, die die Faltungsfilter 130 (#2, #4, #6, #10, #16, #20, #22 und #24) zum Erfassen der Randkomponenten #2, #4, #6, #10, #16, #20, #22 und #24 bilden, auf einen dritten Pitch eingestellt, der ein zwischen dem ersten Pitch und dem zweiten Pitch liegender Pitch ist, wie in 12 veranschaulicht ist.
In 11 können darüber hinaus die Randkomponenten #3, #8, #18 und #23 die zur Reihen-Richtung (Neigung θ=0°) parallelen Randkomponenten sein. In diesem Fall kann die Neigung θ der Beugungsgitter, die die Faltungsfilter 130 (#3, #8, #18 und #23) zum Erfassen der Randkomponenten #3, #8, #18 und #23 bilden, in Bezug auf die Reihen-Richtung 0° sein, wie in 12 veranschaulicht ist.
In 11 können die Randkomponenten #11, #12, #14 und #15 die zur Reihen-Richtung senkrechten (Neigung θ=90°) Randkomponenten sein. In diesem Fall kann die Neigung θ der Beugungsgitter, die die Faltungsfilter 130 (#11, #12, #14 und #15) zum Erfassen der Randkomponenten #11, #12, #14 und #15 bilden, in Bezug auf die Reihen-Richtung 90° betragen, wie in 12 veranschaulicht ist.
In 11 können die Randkomponenten #5, #9, #17 und #21 bezüglich der Reihen-Richtung um 45° geneigte Randkomponenten sein. In diesem Fall kann die Neigung θ der Beugungsgitter, die die Faltungsfilter 130 (#5, #9, #17 und #21) zum Erfassen der Randkomponenten #5, #9, #17 und #21 bilden, in Bezug auf die Reihen-Richtung 45° betragen, wie in 12 veranschaulicht ist.
In 11 können die Randkomponenten #1, #7, #19 und #25 die bezüglich der Reihen-Richtung um 135° geneigten Randkomponenten sein. In diesem Fall kann die Neigung θ der Beugungsgitter, die die Faltungsfilter 130 (#1, #7, #19 und #25) zum Erfassen der Randkomponenten #1, #7, #19 und #25 bilden, in Bezug auf die Reihen-Richtung 135° betragen, wie in 12 veranschaulicht ist.
In 11 können die Randkomponenten #10 und #16 die bezüglich der Reihen-Richtung um 22,5° geneigten Randkomponenten sein. In diesem Fall kann die Neigung θ der Beugungsgitter, die die Faltungsfilter 130 (#10 und #16) zum Erfassen der Randkomponenten #10 und #16 bilden, in Bezug auf die Reihen-Richtung 22,5° betragen, wie in 12 veranschaulicht ist.
In 11 können die Randkomponenten #4 und #22 die bezüglich der Reihen-Richtung um 67,5° geneigten Randkomponenten sein. In diesem Fall kann die Neigung θ der Beugungsgitter, die die Faltungsfilter 130 (#4 und #22) zum Erfassen der Randkomponenten #4 und #22 bilden, in Bezug auf die Reihen-Richtung 67,5° betragen, wie in 12 veranschaulicht ist.
In 11 können die Randkomponenten #2 und #24 die bezüglich der Reihen-Richtung um 112,5° geneigten Randkomponenten sein. In diesem Fall kann die Neigung θ der Beugungsgitter, die die Faltungsfilter 130 (#2 und #24) zum Erfassen der Randkomponenten #2 und #24 bilden, in Bezug auf die Reihen-Richtung 112,5° betragen, wie in 12 veranschaulicht ist.
In 11 können die Randkomponenten #6 und #20 die bezüglich der Reihen-Richtung um 157,5° geneigten Randkomponenten sein. In diesem Fall kann die Neigung θ der Beugungsgitter, die die Faltungsfilter 130 (#6 und #20) zum Erfassen der Randkomponenten #6 und #20 bilden, in Bezug auf die Reihen-Richtung 157,5° betragen, wie in 12 veranschaulicht ist.
Wie oben beschrieben wurde, ist in der folgenden Ausführungsform das Faltungsfilter-Array 122 unter Verwendung einer Vielzahl von Typen von Faltungsfiltern 130 mit unterschiedlichen Pitches und Richtungen von Beugungsgittern konfiguriert. Dies macht es möglich, die Binärdaten einer Vielzahl von Typen von Randkomponenten mit unterschiedlichen Richtungen und Frequenzen in einer Abbildung zu erfassen.
Man beachte, dass in dem in 11 veranschaulichten Frequenzspektrum die Randkomponenten #14 bis #25 die Randkomponenten #1 bis #12 im Wesentlichen überlappen. Daher ist auch eine Konfiguration möglich, die entweder die Randkomponenten #14 bis #25 oder die Randkomponenten #1 bis #12 nicht erfasst. In diesem Fall können die Faltungsfilter 130 von #14 bis #25 oder #1 bis #12 in dem in 12 veranschaulichten Faltungsfilter-Array 122 weggelassen werden.
Um mehr Typen von Randkomponenten zu erfassen, können/kann sich alternativ dazu der Pitch und/oder die Richtung des Beugungsgitters, das jeden der Faltungsfilter 130 von #14 bis #25 bildet, von dem Pitch und/oder der Richtung des Beugungsgitters unterscheiden, das jeden der Faltungsfilter 130 von #1 bis #12 bildet. Solch ein Faltungsfilter-Array 122 kann implementiert werden, indem es beispielsweise so konfiguriert wird, dass es bezüglich einer Mitte eines leeren Faltungsfilters 130 (#13) zum Erfassen einer zentral gelegenen DC-Komponente nicht punktsymmetrisch ist.
Alternativ dazu kann, indem man das den Faltungsfilter 130 bildende Beugungsgitter mit einem steuerbaren optischen Element wie etwa einem Flüssigkristall konfiguriert, das Faltungsfilter-Array 122 konfiguriert werden, das den Faltungsfilter 130 mit einem Pitch und einer Richtung, die dynamisch änderbar sind, enthält.
1.12 Konfigurationsbeispiel eines Kombinationsfilters
In der vorliegenden Ausführungsform werden, indem man das oben beschriebene Faltungsfilter-Array 122 und das Farbfilter-Array 123 kombiniert, die der Anzahl von Typen der Faltungsfilter 130 entsprechenden Randkomponenten für jede Farbkomponente der drei RGB-Primärfarben erfasst. Man beachte, dass in der folgenden Beschreibung angenommen wird, dass der Faltungsfilter 130 und die Fotodiode PD Eins zu Eins zugeordnet sind.
13 ist eine Draufsicht, die ein schematisches Konfigurationsbeispiel eines Kombinationsfilters veranschaulicht, in dem das Faltungsfilter-Array und das Farbfilter-Array gemäß der Ausführungsform kombiniert sind. 14 ist ein Diagramm, das ein Beispiel der durch den Bildsensor gemäß der Ausführungsform erzeugten Frame-Daten veranschaulicht.
Wie in 13 veranschaulicht ist, weist das Farbfilter-Array 123 beispielsweise eine Konfiguration auf, in der Farbfiltereinheiten 152 im Bayer-Array, das vier Farbfilter 151R, 151G und 151B enthält, in einer Matrix angeordnet sind.
Jeder das Faltungsfilter-Array 122 bildende Faltungsfilter 130 ist bezüglich jeder Farbfiltereinheit 152 des Farbfilter-Arrays 123 Eins zu Eins angeordnet. Daher sind in einem Einheitsmuster (worauf hier im Folgenden als Kombinationsfiltereinheit verwiesen wird) 154 des Kombinationsfilters insgesamt 25 Farbfiltereinheiten 152 mit der insgesamt 25 Faltungsfilter 130 von #1 bis #25 enthaltenden Faltungsfiltereinheit 133 kombiniert.
Gemäß solch einer Konfiguration werden, wie in 14 veranschaulicht ist, im Bildsensor 100 die Frame-Daten 50R, 50G und 50B, die 25 Typen von Randkomponenten enthalten, für jede Farbkomponente der drei RGB-Primärfarben erzeugt.
Man beachte, dass in 14 K die Anzahl an Kanälen ist, und in der vorliegenden Beschreibung K die Anzahl von Farbkomponenten der drei RGB-Primärfarben, das heißt ‚3‘, ist. Darüber hinaus ist W die Anzahl an Pixeln der Frame-Daten 50R, 50G und 50B, die für jede Farbkomponente vom Bildsensor 100 erzeugt werden. Falls beispielsweise das Farbfilter-Array 123 des Bildsensors 100 insgesamt 2500 Farbfiltereinheiten 152 aus 50×50 enthält, ist W ‚50‘. Man beachte, dass in 14 die jeweiligen Bilddaten 50R, 50G und 50B ein (W×W)-Rechteck sind, aber das Rechteck nicht wesentlich ist.
1.12.1 Modifikation eines Kombinationsfilters
Überdies veranschaulicht 13 beispielhaft einen Fall, in dem eine Farbfiltereinheit 152 mit einem Faltungsfilter 130 kombiniert ist; aber eine Konfiguration des Kombinationsfilters ist nicht auf solch eine Konfiguration beschränkt. 15 ist eine Draufsicht, die das schematische Konfigurationsbeispiel des Kombinationsfilters gemäß einer Modifikation der Ausführungsform veranschaulicht.
Wie in 15 veranschaulicht ist, weist der Kombinationsfilter gemäß der vorliegenden Modifikation eine Konfiguration auf, in der eine Faltungsfiltereinheit 133 mit einem Farbfilter 150 kombiniert ist. Man beachte, dass 15 eine vergrößerte Ansicht einer Kombinationsfiltereinheit 155G einer G-Komponente veranschaulicht, die gebildet wird, indem die Faltungsfiltereinheit 133 mit einem Farbfilter 150G der G-Komponente kombiniert wird, jedoch die Faltungsfiltereinheit 133 ähnlich mit einem anderen Farbfilter 150 der R-Komponente und einem Farbfilter 150 der B-Komponente kombiniert wird, um eine Kombinationsfiltereinheit 155R der R-Komponente und eine Kombinationsfiltereinheit 155B der B-Komponente zu bilden.
Selbst bei solch einer Konfiguration können ähnlich dem in 13 beispielhaft veranschaulichten Kombinationsfilter die Frame-Daten 50R, 50G und 50B, die 25 Typen von Randkomponenten enthalten, für jede Farbkomponente der drei RGB-Primärfarben kombiniert werden (siehe 14).
1.13 Überblick über eine Faltungsoperation (ohne Farbfilter)
Als Nächstes wird ein Überblick über die Faltungsoperation beschrieben. 16 ist ein Diagramm, um den Überblick über die optische Faltungsoperation gemäß der Ausführungsform zu erläutern. Man beachte, dass im Folgenden die Faltungsoperation in einem Fall beschrieben wird, in dem der Bildsensor 100 das Farbfilter-Array 123 nicht enthält.
Wie in 16 veranschaulicht ist, wird in einem Fall, in dem der Bildsensor 100 das Farbfilter-Array 123 nicht enthält, die Ladung entsprechend den Randkomponenten gemäß einer Anordnung der Faltungsfilter 130 im Faltungsfilter-Array 122 in jeder Fotodiode PD in der Pixel-Arrayeinheit 101 des Bildsensors 100 akkumuliert. Falls für all die Einheitspixel 110 der Pixel-Arrayeinheit 101 ein Lesevorgang durchgeführt wird, werden deshalb Frame-Daten 950 gelesen, in denen die Randkomponenten gemäß der Anordnung der Faltungsfilter 130 angeordnet sind.
In der vorliegenden Ausführungsform wird deshalb der Lesevorgang für jeden Typ (Richtung und Frequenz) des Faltungsfilters 130 bezüglich der Pixel-Arrayeinheit 101 durchgeführt. Falls es beispielsweise insgesamt 25 Typen an Faltungsfiltern 130 von #1 bis #25 gibt, wird der Lesevorgang von #1 aus insgesamt 25-mal der Reihe nach durchgeführt. Durch solch eine Leseoperation können Merkmalskarten 954-1 bis 954-25 (Binärdaten) für jeden Typ des Faltungsfilters 130 als Ergebnis der optischen Faltungsoperation gelesen werden.
Man beachte, dass die Faltung von den Frame-Daten 950 zu den Merkmalskarten 954-1 bis 954-25 nicht auf die oben beschriebene Lesesteuerung beschränkt ist und durch beispielsweise die externe Datenverarbeitungseinheit oder eine Datenverarbeitungsvorrichtung wie etwa die Signalverarbeitungsschaltung 108, die Signalverarbeitungseinheit 13 oder den DSP 14 durchgeführt werden kann.
1.14 Überblick über eine Faltungsoperation (mit Farbfilter)
Als Nächstes wird ein Überblick über die Faltungsoperation in einem Fall beschrieben, in dem das Farbfilter-Array 123 vorgesehen ist. 17 ist ein Diagramm, um den Überblick über die optische Faltungsoperation (mit Farbfilter) gemäß der Ausführungsform zu erläutern.
Wie in 17 veranschaulicht ist, werden in einem Fall, in dem das Faltungsfilter-Array 122 und das Farbfilter-Array 123 kombiniert sind, Ladungen entsprechend der Zahl von Typen der Randkomponenten der Faltungsfilter 130 für jede Farbkomponente der drei RGB-Primärfarben in jeder Fotodiode PD der Pixel-Arrayeinheit 101 akkumuliert.
Daher wird in der vorliegenden Ausführungsform beispielsweise der Lesevorgang für jeden Typ des Faltungsfilters 130 für jede der drei RGB-Primärfarben in Bezug auf die Pixel-Arrayeinheit 101 durchgeführt. Falls es beispielsweise insgesamt 25 Typen von Faltungsfiltern 130 von #1 bis #25 gibt und es drei Typen von Farbfiltern 150 der drei RGB-Primärfarben gibt, wird zunächst der Lesevorgang insgesamt 25-mal für das Einheitspixel 110, das den Farbfilter 150 enthält, der die R-Komponente selektiv durchlässt, der Reihe nach von dem Einheitspixel 110 einschließlich des Faltungsfilters 130 von #1 durchgeführt, wird dann der Lesevorgang insgesamt 25-mal für das Einheitspixel 110, das den Farbfilter 150 enthält, der die G-Komponente selektiv durchlässt, der Reihe nach von dem Einheitspixel 110 einschließlich des Faltungsfilters 130 von #1 durchgeführt und wird schließlich der Lesevorgang insgesamt 25-mal für das Einheitspixel 110, das den Farbfilter 150 enthält, der die R-Komponente selektiv durchlässt, der Reihe nach von dem Einheitspixel 110 einschließlich des Faltungsfilters 130 von #1 durchgeführt. Man beachte, dass eine Lesereihenfolge für jede der RGB-Komponenten und die Lesereihenfolge für das Einheitspixel 110 einschließlich der Faltungsfilter 130 von #1 bis #25 nur Beispiele sind.
Durch solch eine Leseoperation können die Merkmalskarten 54-1 bis 54-25 (Binärdaten) für jeden Typ des Faltungsfilters 130 als das Ergebnis der optischen Faltungsoperation für jede Farbkomponente der drei RGB-Primärfarben gelesen werden.
1.14.1 Modifikation einer Faltungsoperation
Man beachte, dass die Faltung von den Frame-Daten 50 auf die Merkmalskarten 54-1 bis 54-25 für jede Farbkomponente nicht auf ein Verfahren beschränkt ist, bei dem die Merkmalskarten 54-1 bis 54-25 von der Pixel-Arrayeinheit 101 wie oben beschrieben direkt gelesen werden, und durch beispielsweise die Signalverarbeitungsschaltung 108, die Signalverarbeitungseinheit 13, den DSP 14 oder dergleichen durchgeführt werden kann. Zu dieser Zeit kann die externe Datenverarbeitungseinheit oder die Datenverarbeitungsvorrichtung wie etwa die Signalverarbeitungsschaltung 108, die Signalverarbeitungseinheit 13 oder der DSP 14 eine Demosaicing-Verarbeitung an den von der Pixel-Arrayeinheit 101 gelesenen Frame-Daten 50 durchführen, um die Frame-Daten für jede Farbkomponente zu erzeugen.
18 bis 21 sind Diagramme, um einen Überblick über die Faltungsoperation gemäß der Modifikation der Ausführungsform zu erläutern. Man beachte, dass in der folgenden Beschreibung als ein Beispiel ein Fall beschrieben wird, in dem die Signalverarbeitungsschaltung 108 die Demosaicing-Verarbeitung durchführt.
Wie in 18 veranschaulicht ist, extrahiert zunächst die Signalverarbeitungsschaltung 108 das Pixelsignal, das vom Einheitspixel 110 gelesen wird, das den Farbfilter 150 enthält, der eine Wellenlänge der R-Komponente selektiv durchlässt, aus den Frame-Daten 50, die von der Pixel-Arrayeinheit 101 gelesen werden, wodurch die Frame-Daten 50R erzeugt werden, die das Pixelsignal der R-Komponente enthalten. Man beachte, dass durch diese Demosaicing-Verarbeitung die Auflösung der Frame-Daten 50R auf die Auflösung in jeder der Farbfiltereinheiten 152 reduziert wird.
Wie in 19 veranschaulicht ist, extrahiert anschließend die Signalverarbeitungsschaltung 108 das Pixelsignal, das von dem Einheitspixel 110 gelesen wird, das den Farbfilter 150 enthält, der die Wellenlänge der G-Komponente selektiv durchlässt, aus den Frame-Daten 50, die von der Pixel-Arrayeinheit 101 gelesen werden, wodurch Frame-Daten 50G erzeugt werden, die das Pixelsignal der G-Komponente enthalten. Man beachte, dass durch diese Demosaicing-Verarbeitung die Auflösung der Frame-Daten 50G ebenfalls auf die Auflösung in jeder der Farbfiltereinheiten 152 reduziert wird.
Danach extrahiert, wie in 20 veranschaulicht ist, die Signalverarbeitungsschaltung 108 das Pixelsignal, das von dem Einheitspixel 110 gelesen wird, das den Farbfilter 150 enthält, der die Wellenlänge der B-Komponente selektiv durchlässt, aus den Frame-Daten 50, die von der Pixel-Arrayeinheit 101 gelesen werden, wodurch die Frame-Daten 50B erzeugt werden, die das Pixelsignal der B-Komponente enthalten. Man beachte, dass durch diese Demosaicing-Verarbeitung die Auflösung der Frame-Daten 50B ebenfalls auf die Auflösung in jeder der Farbfiltereinheiten 152 reduziert wird.
Wenn auf diese Weise die Frame-Daten 50R, 50G und 50B für jede Farbkomponente der drei RGB-Primärfarben erzeugt sind, erzeugt dann die Signalverarbeitungsschaltung 108 die Merkmalskarten 54-1 bis 54-25 (Binärdaten) für jeden Typ des Faltungsfilters 130 als das Ergebnis der optischen Faltungsoperation, indem eine Summierung der Pixelsignale, die von den in der gleichen Farbfiltereinheit 152 enthaltenen Einheitspixeln 110 gelesen werden, unter den jeweiligen Frame-Daten 50R, 50G und 50B für jeden Typ des Faltungsfilters 130 durchgeführt wird, wie in 21 veranschaulicht ist.
1.15 Betrieb und Effekt
Wie oben beschrieben wurde, kann gemäß der vorliegenden Ausführungsform die Faltungsoperation unter Verwendung des Faltungsfilter-Arrays 122 durchgeführt werden, das eine physikalische Konfiguration ist. Da beispielsweise die Faltungsschicht der ersten Schicht im CNN weggelassen werden kann und die Verarbeitung von der Pooling-Schicht der zweiten Schicht durchgeführt werden kann, kann somit eine Bilderkennungsverarbeitung mit höherer Geschwindigkeit durchgeführt werden.
Darüber hinaus kann in der vorliegenden Ausführungsform beispielsweise die Faltungsoperation für eine Vielzahl von Kanälen entsprechend den Farbkomponenten der drei RGB-Primärfarben durchgeführt werden. Indem man die Vielzahl von Kanälen als Eingabe nutzt, ist es auf diese Weise möglich, die Bilderkennungsverarbeitung mit höherer Genauigkeit durchzuführen.
2. Anwendung auf einen mobilen Körper
Die Technologie gemäß der vorliegenden Offenbarung (vorliegende Technologie) kann für verschiedene von Produkten verwendet werden. Beispielsweise kann die Technologie gemäß der vorliegenden Offenbarung als eine Vorrichtung realisiert werden, die an jedem beliebigen Typ eines mobilen Körpers wie etwa einem Automobil, einem Elektrofahrzeug, einem Hybrid-Elektrofahrzeug, einem Motorrad, einem Fahrrad, einer Vorrichtung zur persönlichen Mobilität, einem Flugzeug, einer Drohne, einem Schiff und einem Roboter montiert ist.
22 ist ein Blockdiagramm, das ein schematisches Konfigurationsbeispiel eines Fahrzeugsteuerungssystems darstellt, das ein Beispiel eines Systems zur Steuerung mobiler Körper ist, für das die Technologie gemäß der vorliegenden Offenbarung verwendet werden kann.
Ein Fahrzeugsteuerungssystem 12000 umfasst eine Vielzahl elektronischer Steuerungseinheiten, die über ein Kommunikationsnetzwerk 12001 verbunden sind. In dem in 22 dargestellten Beispiel umfasst das Fahrzeugsteuerungssystem 12000 eine Antriebssystem-Steuerungseinheit 12010, eine Karosseriesystem-Steuerungseinheit 12020, eine Einheit 12030 zur Detektion von Information außerhalb des Fahrzeugs, eine Einheit 12040 zur Detektion von Information aus dem Inneren des Fahrzeugs und eine integrierte Steuerungseinheit 12050. Ferner sind als funktionale Konfiguration der integrierten Steuerungseinheit 12050 ein Mikrocomputer 12051, eine Audio-Bild-Ausgabeeinheit 12052 und eine Schnittstelle (I/F) 12053 des bordeigenen Netzwerks veranschaulicht.
Die Antriebssystem-Steuerungseinheit 12010 steuert gemäß verschiedenen Programmen einen Betrieb von Vorrichtungen in Bezug auf ein Antriebssystem eines Fahrzeugs. Beispielsweise dient die Antriebssystem-Steuerungseinheit 12010 als Steuerungsvorrichtung einer Antriebskraft-Erzeugungsvorrichtung zum Erzeugen einer Antriebskraft des Fahrzeugs wie etwa eines Verbrennungsmotors oder eines Antriebsmotors, eines Antriebskraft-Übertragungsmechanismus zum Übertragen der Antriebskraft auf die Räder, eines Lenkmechanismus zum Einstellen eines Lenkwinkels des Fahrzeugs, einer Bremsvorrichtung zum Erzeugen einer Bremskraft des Fahrzeugs und dergleichen.
Die Karosseriesystem-Steuerungseinheit 12020 steuert den Betrieb verschiedener Vorrichtungen, die an der Fahrzeugkarosserie montiert sind, gemäß verschiedenen Programmen. Beispielsweise fungiert die Karosseriesystem-Steuerungseinheit 12020 als eine Steuerungsvorrichtung eines schlüssellosen Zugangssystems, eines Systems für intelligente Schlüssel, einer automatischen Fenstervorrichtung oder verschiedener Leuchten wie etwa eines Frontscheinwerfers, eines Heckscheinwerfers, einer Bremsleuchte, eines Fahrtrichtungsanzeigers oder einer Nebelleuchte. In diesem Fall können in die die Karosseriesystem-Steuerungseinheit 12020 Funkwellen, die von einer tragbaren Vorrichtung, die einen Schlüssel ersetzt, übertragen werden, oder Signale verschiedener Schalter eingespeist werden. Die Karosseriesystem-Steuerungseinheit 12020 empfängt eine Einspeisung dieser Funkwellen oder Signale und steuert eine Türverriegelungsvorrichtung, die automatische Fenstervorrichtung, die Leuchten und dergleichen des Fahrzeugs.
Die Einheit 12030 zur Detektion von Information außerhalb des Fahrzeugs detektiert Information außerhalb des Fahrzeugs, an dem das Fahrzeugsteuerungssystem 12000 montiert ist. Beispielsweise ist eine Bildgebungseinheit 12031 mit der Einheit 12030 zur Detektion von Information außerhalb des Fahrzeugs verbunden. Die Einheit 12030 zur Detektion von Information außerhalb des Fahrzeugs veranlasst die Bildgebungseinheit 12031, ein Bild der äußeren Umgebung des Fahrzeugs aufzunehmen, und empfängt das aufgenommene Bild. Die Einheit 12030 zur Detektion von Information außerhalb des Fahrzeugs kann auf der Basis des empfangenen Bildes eine Verarbeitung zur Detektion eines Objekts oder eine Verarbeitung zur Detektion eines Abstands einer Person, eines Fahrzeugs, eines Hindernisses, eines Verkehrsschilds, eines Zeichens auf einer Straßenoberfläche oder dergleichen ausführen.
Die Bildgebungseinheit 12031 ist ein optischer Sensor, der Licht empfängt und ein einer Menge des empfangenen Lichts entsprechendes elektrisches Signal abgibt. Die Bildgebungseinheit 12031 kann das elektrische Signal als das Bild abgeben und kann ein elektrisches Signal als Information einer Abstandsmessung abgeben. Darüber hinaus kann das mittels der Bildgebungseinheit 12031 empfangene Licht sichtbares Licht sein oder kann unsichtbares Licht wie etwa Infrarotstrahlen sein.
Die Einheit 12040 zur Detektion von Information aus dem Inneren des Fahrzeugs detektiert Information im Innern des Fahrzeugs. Mit der Einheit 12040 zur Detektion von Information aus dem Inneren des Fahrzeugs ist zum Beispiel eine Einheit 12041 zur Detektion des Fahrerzustands verbunden, die einen Zustand des Fahrers detektiert. Die Einheit 12041 zur Detektion des Fahrerzustands umfasst zum Beispiel eine Kamera, die den Fahrer aufnimmt bzw. abbildet, und auf der Basis der von der Einheit 12041 zur Detektion des Fahrerzustands eingegebenen Detektionsinformation kann die Einheit 12040 zur Detektion von Information aus dem Inneren des Fahrzeugs den Ermüdungsgrad oder den Konzentrationsgrad des Fahrers berechnen oder kann bestimmen, ob der Fahrer eindöst.
Auf der Basis der durch die Einheit 12030 zur Detektion von Information außerhalb des Fahrzeugs oder die Einheit 12040 zur Detektion von Information aus dem Inneren des Fahrzeugs erfassten Information aus dem Innern und der der äußeren Umgebung kann der Mikrocomputer 12051 einen Steuerungszielwert der Antriebskraft-Erzeugungsvorrichtung, des Lenkmechanismus oder der Bremsvorrichtung berechnen und kann einen Steuerungsbefehl an die Antriebssystem-Steuerungseinheit 12010 ausgeben. Beispielsweise kann der Mikrocomputer 12051 eine kooperative Steuerung zum Zweck der Realisierung von Funktionen eines fortgeschrittenen Fahrerassistenzsystems (ADAS) ausführen, die eine Kollisionsvermeidung oder Aufprallabschwächung des Fahrzeugs, eine Nachfolgefahrt basierend auf dem Abstand zwischen Fahrzeugen, eine Fahrt mit konstanter Geschwindigkeit des Fahrzeugs, eine Warnung vor einer Fahrzeugkollision, eine Warnung vor einem Verlassen der Spur des Fahrzeugs oder dergleichen einschließen.
Ferner kann der Mikrocomputer 12051 eine kooperative Steuerung zum Zweck eines automatischen Fahrens oder dergleichen ausführen, bei der das Fahrzeug unabhängig von der Bedienung durch den Fahrer autonom fährt, indem die Antriebskraft-Erzeugungsvorrichtung, der Lenkmechanismus, die Bremsvorrichtung oder dergleichen auf der Basis der Information über eine nähere Umgebung des Fahrzeugs gesteuert werden, die durch die Einheit 12030 zur Detektion von Information außerhalb des Fahrzeugs oder die Einheit 12040 zur Detektion von Information aus dem Inneren des Fahrzeugs erlangt wird.
Der Mikrocomputer 12051 kann überdies den Steuerungsbefehl an die Karosseriesystem-Steuerungseinheit 12020 auf der Basis einer Information von außerhalb des Fahrzeugs ausgeben, die durch die Einheit 12030 zur Detektion von Information außerhalb des Fahrzeugs erlangt wird. Beispielsweise kann der Mikrocomputer 12051 eine kooperative Steuerung zu dem Zweck, eine Blendung zu verhindern, durchführen, wie etwa ein Umschalten von Fernlicht auf Abblendlicht, indem eine Position der Frontleuchte entsprechend einer Position eines vorausfahrenden Fahrzeugs oder eines entgegenkommenden Fahrzeugs gesteuert wird, die durch die Einheit 12030 zur Detektion von Information außerhalb des Fahrzeugs detektiert wird.
Die Audio-Bild-Ausgabeeinheit 12052 überträgt ein Ton- und/oder ein Bild-Ausgangssignal zu einer Ausgabevorrichtung, die einem Insassen des Fahrzeugs oder der äußeren Umgebung des Fahrzeugs eine Information optisch oder akustisch mitteilen kann. Im Beispiel in 22 sind als die Ausgabevorrichtung ein Lautsprecher 12061, eine Anzeigeeinheit 12062 und ein Armaturenbrett 12063 beispielhaft veranschaulicht. Die Anzeigeeinheit 12062 kann beispielsweise eine bordeigene Anzeige und/oder ein Head-Up-Display umfassen.
23 ist ein Diagramm, das ein Beispiel einer Installationsposition der Bildgebungseinheit 12031 veranschaulicht.
In 23 sind Bildgebungseinheiten 12101, 12102, 12103, 12104 und 12105 als die Bildgebungseinheit 12031 enthalten.
Die Bildgebungseinheiten 12101, 12102, 12103, 12104 und 12105 sind beispielsweise an Positionen wie etwa einer Frontpartie, einem Seitenspiegel, einer hinteren Stoßstange, einer Hecktür und einem oberen Teil einer Windschutzscheibe im Fahrzeuginnern des Fahrzeugs 12100 vorgesehen. Die an der Frontpartie vorgesehene Bildgebungseinheit 12101 und die am oberen Teil der Windschutzscheibe im Innern des Fahrzeugs vorgesehene Bildgebungseinheit 12105 nehmen vorwiegend Bilder vor dem Fahrzeug 12100 auf. Die an Seitenspiegeln vorgesehenen Bildgebungseinheiten 12102 und 12103 nehmen vorwiegend Bilder seitlich des Fahrzeugs 12100 auf. Die an der hinteren Stoßstange oder der Hecktür vorgesehene Bildgebungseinheit 12104 nimmt vorwiegend Bilder hinter dem Fahrzeug 12100 auf. Die am oberen Teil der Windschutzscheibe im Fahrzeuginnern vorgesehene Bildgebungseinheit 12105 wird vorwiegend genutzt, um ein vorausfahrendes Fahrzeug, einen Fußgänger, ein Hindernis, eine Verkehrsampel, ein Verkehrszeichen, eine Fahrspur oder dergleichen zu detektieren.
Man beachte, dass 23 ein Beispiel von Abbildungsbereichen der Bildgebungseinheiten 12101 bis 12104 veranschaulicht. Ein Abbildungsbereich 12111 gibt einen Abbildungsbereich der an der Frontpartie vorgesehenen Bildgebungseinheit 12101 an, Abbildungsbereiche 12112 und 12113 geben Abbildungsbereiche der an den Seitenspiegeln vorgesehenen Bildgebungseinheiten 12102 bzw. 12103 an, und ein Abbildungsbereich 12114 gibt einen Abbildungsbereich der an der hinteren Stoßstange oder der Hecktür vorgesehenen Bildgebungseinheit 12104 an. Beispielsweise wird ein Bild aus der Vogelperspektive des Fahrzeugs 12100, wie es von oben gesehen wird, erhalten, indem durch die Bildgebungseinheiten 12101 bis 12104 aufgenommene Bilddaten überlagert werden.
Zumindest eine der Bildgebungseinheiten 12101 bis 12104 kann eine Funktion, um eine Abstandsinformation zu erlangen, aufweisen. Beispielsweise kann zumindest eine der Bildgebungseinheiten 12101 bis 12104 eine Stereokamera sein, die eine Vielzahl von Bildgebungselementen enthält, oder kann ein Bildgebungselement mit Pixeln für eine Detektion von Phasendifferenzen sein.
Beispielsweise kann auf der Basis der von den Bildgebungseinheiten 12101 bis 12104 erhaltenen Abstandsinformation der Mikrocomputer 12051 als das vorausfahrende Fahrzeug ein dreidimensionales Objekt extrahieren, das mit einer vorbestimmten Geschwindigkeit (zum Beispiel 0 km/h oder höher) in im Wesentlichen der gleichen Richtung wie das Fahrzeug 12100 fährt, insbesondere das am nächsten befindliche dreidimensionale Objekt auf einem Fahrweg, indem ein Abstand zu jedem dreidimensionalen Objekt in den Abbildungsbereichen 12111 bis 12114 und eine zeitliche Änderung des Abstands (relative Geschwindigkeit in Bezug auf das Fahrzeug 12100) bestimmt werden. Außerdem kann der Mikrocomputer 12051 einen sicherzustellenden Abstand zwischen Fahrzeugen zum vorausfahrenden Fahrzeug vorher festlegen und eine automatische Bremssteuerung (einschließlich einer Nachfolge-Stopp-Steuerung), eine automatische Beschleunigungssteuerung (einschließlich einer Nachfolge-Start-Steuerung) und dergleichen durchführen. Auf diese Weise ist es möglich, eine kooperative Steuerung zum Zweck eines automatischen Fahrens oder dergleichen, durchzuführen, bei dem das Fahrzeug autonom fährt, ohne vom Eingriff des Fahrers abhängig zu sein.
Beispielsweise kann der Mikrocomputer 12051 auf der Basis der von den Bildgebungseinheiten 12101 bis 12104 erhaltenen Abstandsinformation dreidimensionale Objektdaten in Bezug auf dreidimensionale Objekte in zweirädrige Fahrzeuge, gewöhnliche Autos, großer Fahrzeuge, Fußgänger und andere dreidimensionale Objekte wie etwa Strommasten klassifizieren, die dreidimensionalen Daten extrahieren und die dreidimensionalen Objektdaten zum automatischen Vermeiden bzw. Umgehen von Hindernissen nutzen. Beispielsweise identifiziert der Mikrocomputer 12051 die Hindernisse um das Fahrzeug 12100 als die Hindernisse, die vom Fahrer des Fahrzeugs 12100 erkannt werden können, und die Hindernisse, die optisch schwer erkannt werden können. Der Mikrocomputer 12051 bestimmt dann ein Kollisionsrisiko, das ein Risiko einer Kollision mit jedem Hindernis angibt, und, wenn das Kollisionsrisiko ein bestimmter Wert oder größer ist und eine Kollisionsmöglichkeit besteht, kann der Mikrocomputer eine Fahrassistenz zur Kollisionsvermeidung ausführen, indem über den Lautsprecher 12061 oder die Anzeigeeinheit 12062 eine Warnung an den Fahrer ausgegeben wird oder über die Antriebssystem-Steuerungseinheit 12010 eine erzwungene Abbremsung oder Ausweichlenkbewegung durchgeführt wird.
Zumindest eine der Bildgebungseinheiten 12101 bis 12104 kann eine Infrarotkamera sein, die Infrarotstrahlen detektiert. Beispielsweise kann der Mikrocomputer 12051 den Fußgänger erkennen, indem bestimmt wird, ob in den aufgenommenen Bildern der Bildgebungseinheiten 12101 bis 12104 er Fußgänger vorhanden ist oder nicht. Eine solche Erkennung eines Fußgängers wird ausgeführt mittels beispielsweise eines Prozesses zum Extrahieren von Merkmalspunkten in den aufgenommenen Bildern der Bildgebungseinheiten 12101 bis 12104, als die Infrarotkameras und eines Prozesses zum Durchführen einer Verarbeitung für einen Musterabgleich an einer Reihe von Merkmalspunkten, die eine Kontur eines Objekts angeben, um zu bestimmen, ob das Objekt der Fußgänger ist oder nicht. Wenn der Mikrocomputer 12051 bestimmt, dass der Fußgänger in den aufgenommenen Bildern der Bildgebungseinheiten 12101 bis 12104 vorhanden ist, und den Fußgänger erkennt, steuert die Audio-Bild-Ausgabeeinheit 12052 die Anzeigeeinheit 12062, um eine viereckige Konturlinie zur Hervorhebung auf dem erkannten Fußgänger zu überlagern und anzuzeigen. Die Audio-Bild-Ausgabeeinheit 12052 kann darüber hinaus die Anzeigeeinheit 12062 steuern, um ein den Fußgänger repräsentierendes Symbol oder dergleichen an einer gewünschten Position anzuzeigen.
Obgleich die Ausführungsformen der vorliegenden Offenbarung oben beschrieben wurden, ist ein technischer Umfang der vorliegenden Offenbarung nicht auf die oben beschriebenen Ausführungsformen wie sie sind begrenzt und können verschiedene Modifikationen vorgenommen werden, ohne vom Kern der vorliegenden Offenbarung abzuweichen. Außerdem können Komponenten der verschiedenen Ausführungsformen und Modifikationen geeignet kombiniert werden.
Überdies sind Effekte von jeder in der vorliegenden Beschreibung beschriebenen Ausführungsform nur Beispiele und sind nicht eingeschränkt, und andere Effekte können geliefert werden.
Darüber hinaus kann jede der oben beschriebenen Ausführungsformen allein genutzt werden oder kann in Kombination mit einer anderen Ausführungsform genutzt werden.
Man beachte, dass die vorliegende Technologie auch die folgenden Konfigurationen aufweisen kann.

(1) Eine lichtempfangende Vorrichtung, aufweisend:
- eine Vielzahl erster Filter, die jeweils eine Randkomponente in einer vorbestimmten Richtung in einem Eingangsbild durchlassen;
- eine Vielzahl zweiter Filter, die jeweils Licht eines vorbestimmten Wellenlängenbandes in einem Einfallslicht durchlassen; und
- eine Vielzahl fotoelektrischer Umwandlungselemente, die jeweils durch einen der Vielzahl erster Filter und einen der Vielzahl zweiter Filter durchgelassenes Licht fotoelektrisch umwandeln.
(2) Die lichtempfangende Vorrichtung gemäß (1), wobei jeder der ersten Filter ein Beugungsgitter enthält.
(3) Die lichtempfangende Vorrichtung gemäß (1) oder (2), wobei jeder der ersten Filter ein Talbot-Beugungsgitter ist.
(4) Die lichtempfangende Vorrichtung gemäß einem von (1) bis (3), wobei die Vielzahl erster Filter Gabor-Filter sind. (5) Die lichtempfangende Vorrichtung gemäß einem von (1) bis (4), wobei der erste Filter einen dritten Filter, der eine Randkomponente in einer ersten Richtung durchlässt, und einen vierten Filter enthält, der eine Randkomponente in einer von der ersten Richtung verschiedenen zweiten Richtung durchlässt, der zweite Filter zumindest zwei fünfte Filter, die Licht eines ersten Wellenlängenbandes durchlassen, und zumindest zwei sechste Filter enthält, die Licht eines vom ersten Wellenlängenband verschiedenen zweiten Wellenlängenbandes durchlassen, einer der fünften Filter und einer der sechsten Filter mit dem dritten Filter verbunden sind und ein anderer der fünften Filter und ein anderer der sechsten Filter mit dem vierten Filter verbunden sind.
(6) Die lichtempfangende Vorrichtung gemäß einem von (1) bis (4), wobei der erste Filter zumindest zwei dritte Filter, die eine Randkomponente in einer ersten Richtung durchlassen, und zumindest zwei vierte Filter enthält, die eine Randkomponente in einer von der ersten Richtung verschiedenen zweiten Richtung durchlassen, der zweite Filter einen fünften Filter, der Licht eines ersten Wellenlängenbandes durchlässt, und einen sechsten Filter enthält, der Licht eines vom ersten Wellenlängenband verschiedenen zweiten Wellenlängenbandes durchlässt, einer der dritten Filter und einer der vierten Filter mit dem fünften Filter verbunden sind und ein anderer der dritten Filter und ein anderer der vierten Filter mit dem sechsten Filter verbunden sind.
(7) Die lichtempfangende Vorrichtung gemäß einem von (1) bis (6), wobei jeder der ersten Filter auf einer Eins-zu-Eins-Basis mit dem fotoelektrischen Umwandlungselement verbunden ist.
(8) Die lichtempfangende Vorrichtung gemäß einem von (1) bis (7), ferner aufweisend eine On-Chip-Linse, die einen Teil des einfallenden Lichts auf irgendeinem der fotoelektrischen Umwandlungselemente bündelt.
(9) Die lichtempfangende Vorrichtung gemäß (8), wobei der erste Filter zwischen dem fotoelektrischen Umwandlungselement und der On-Chip-Linse gelegen ist.
(10) Die lichtempfangende Vorrichtung gemäß (9), wobei der zweite Filter zwischen dem fotoelektrischen Umwandlungselement und dem ersten Filter oder zwischen dem ersten Filter und der On-Chip-Linse gelegen ist.
(11) Eine Festkörper-Bildgebungseinrichtung, aufweisend:
- die lichtempfangende Vorrichtung gemäß einem von (1) bis (10); und
- eine Pixelschaltung, die ein Pixelsignal eines Spannungswerts entsprechend einer in jedem der fotoelektrischen Umwandlungselemente akkumulierten Ladungsmenge liest.
(12) Elektronisches Gerät, aufweisend:
- die Festkörper-Bildgebungseinrichtung gemäß (11); und
- eine Datenverarbeitungseinheit, die eine vorbestimmte Verarbeitung an von der Festkörper-Bildgebungseinrichtung ausgegebenen Daten durchführt.
(13) Das elektronische Gerät gemäß (12), wobei die Datenverarbeitungseinheit eine Verarbeitung zum maschinellen Lernen unter Verwendung eines gelernten Modells an den von der Festkörper-Bildgebungseinrichtung gelesenen Daten durchführt.
(14) Das elektronische Gerät gemäß (13), wobei die Datenverarbeitungseinheit eine Verarbeitung von einer Pooling-Schicht einer zweiten Schicht in einem neuronalen Faltungsnetzwerk durchführt.
(15) Ein Informationsverarbeitungssystem, aufweisend:
- das elektronische Gerät gemäß einem von (12) bis (14); und
- eine Datenverarbeitungsvorrichtung, die über ein vorbestimmtes Netzwerk mit dem elektronischen Gerät verbunden ist.
(16) Das Informationsverarbeitungssystem gemäß (15), wobei die Datenverarbeitungsvorrichtung eine Verarbeitung von einer Pooling-Schicht einer zweiten Schicht in einem neuronalen Faltungsnetzwerk durchführt.

Bezugszeichenliste

1: ELEKTRONISCHES GERÄT
10: BILDGEBUNGSEINRICHTUNG
11: BILDGEBUNGSEINHEIT
11A: OPTISCHES SYSTEM
12: STEUERUNGSEINHEIT
13: SIGNALVERARBEITUNGSEINHEIT
14: DSP
15: SPEICHER
16: AUSGABEEINHEIT
20: ANWENDUNGSPROZESSOR
30: CLOUD-SERVER
40: NETZWERK
50, 50R, 50G, 50B, 950, 1050: FRAME-DATEN
51: FILTER
54, 54-1 TO 54-25, 954-1 TO 954-25: MERKMALSKARTE
100, 100A: FESTKÖRPER-BILDGEBUNGSEINRICHTUNG (BILDSENSOR)
101: PIXEL-ARRAYEINHEIT
102: VERTIKALE ANSTEUERUNGSSCHALTUNG
103: SPALTENVERARBEITUNGSSCHALTUNG
104: HORIZONTALE ANSTEUERUNGSSCHALTUNG
105: SYSTEM-STEUERUNGSEINHEIT
108: SIGNALVERARBEITUNGSSCHALTUNG
109: DATEN-SPEICHEREINHEIT
110, 110A, 110B: EINHEITSPIXEL
111: ÜBERTRAGUNGSTRANSISTOR
112: RÜCKSETZTRANSISTOR
113: VERSTÄRKUNGSTRANSISTOR
114: AUSWAHLTRANSISTOR
121: HALBLEITERCHIP
122: FALTUNGSFILTER-ARRAY
123: FARBFILTER-ARRAY
124: MIKROLINSEN-ARRAY
130, 130A, 130B, 130-0, 130-45, 130-90, 130-135: FALTUNGSFILTER
131A, 131B, 132A, 132B: BEUGUNGSGITTER
133: FALTUNGSFILTEREINHEIT
150, 151R, 151G, 151B: FARBFILTER
152: FARBFILTEREINHEIT
154: KOMBINATIONSFILTEREINHEIT
155R, 155G, 155B: KOMBINATIONSFILTEREINHEIT
160: ON-CHIP-LINSE
LD: PIXEL-ANSTEUERUNGSLEITUNG
LD111: ÜBERTRAGUNGSTRANSISTOR-ANSTEUERUNGSLEITUNG
LD112: RÜCKSETZTRANSISTOR-ANSTEUERUNGSLEITUNG
LD114: AUSWAHLTRANSISTOR-ANSTEUERUNGSLEITUNG
PD, PD-A, PD-B: FOTODIODE
VSL: VERTIKALE SIGNALLEITUNG

Claims

Lichtempfangende Vorrichtung, aufweisend: eine Vielzahl erster Filter, die jeweils eine Randkomponente in einer vorbestimmten Richtung in einem Eingangsbild durchlassen; eine Vielzahl zweiter Filter, die jeweils Licht eines vorbestimmten Wellenlängenbandes im Einfallslicht durchlassen; und eine Vielzahl fotoelektrischer Umwandlungselemente, die jeweils durch einen der Vielzahl erster Filter und einen der Vielzahl zweiter Filter durchgelassenes Licht fotoelektrisch umwandeln.
Lichtempfangende Vorrichtung nach Anspruch 1, wobei jeder der ersten Filter ein Beugungsgitter enthält.
Lichtempfangende Vorrichtung nach Anspruch 1, wobei jeder der ersten Filter ein Talbot-Beugungsgitter ist.
Lichtempfangende Vorrichtung nach Anspruch 1, wobei die Vielzahl erster Filter Gabor-Filter sind.
Lichtempfangende Vorrichtung nach Anspruch 1, wobei der erste Filter einen dritten Filter, der eine Randkomponente in einer ersten Richtung durchlässt, und einen vierten Filter enthält, der eine Randkomponente in einer von der ersten Richtung verschiedenen zweiten Richtung durchlässt, der zweite Filter zumindest zwei fünfte Filter, die Licht eines ersten Wellenlängenbandes durchlassen, und zumindest zwei sechste Filter enthält, die Licht eines vom ersten Wellenlängenband verschiedenen zweiten Wellenlängenbandes durchlassen, einer der fünften Filter und einer der sechsten Filter mit dem dritten Filter verbunden sind und ein anderer der fünften Filter und ein anderer der sechsten Filter mit dem vierten Filter verbunden sind.
Lichtempfangende Vorrichtung nach Anspruch 1, wobei der erste Filter zumindest zwei dritte Filter, die eine Randkomponente in einer ersten Richtung durchlassen, und zumindest zwei vierte Filter enthält, die eine Randkomponente in einer von der ersten Richtung verschiedenen zweiten Richtung durchlassen, der zweite Filter einen fünften Filter, der Licht eines ersten Wellenlängenbandes durchlässt, und einen sechsten Filter enthält, der Licht eines vom ersten Wellenlängenband verschiedenen zweiten Wellenlängenbandes durchlässt, einer der dritten Filter und einer der vierten Filter mit dem fünften Filter verbunden sind und ein anderer der dritten Filter und ein anderer der vierten Filter mit dem sechsten Filter verbunden sind.
Lichtempfangende Vorrichtung nach Anspruch 1, wobei jeder der ersten Filter auf einer Eins-zu-Eins-Basis mit dem fotoelektrischen Umwandlungselement verbunden ist.
Lichtempfangende Vorrichtung nach Anspruch 1, ferner aufweisend eine On-Chip-Linse, die einen Teil des einfallenden Lichts auf irgendeinem der fotoelektrischen Umwandlungselemente bündelt.
Lichtempfangende Vorrichtung nach Anspruch 8, wobei der erste Filter zwischen dem fotoelektrischen Umwandlungselement und der On-Chip-Linse gelegen ist.
Lichtempfangende Vorrichtung nach Anspruch 9, wobei der zweite Filter zwischen dem fotoelektrischen Umwandlungselement und dem ersten Filter oder zwischen dem ersten Filter und der On-Chip-Linse gelegen ist.
Festkörper-Bildgebungseinrichtung, aufweisend: die lichtempfangende Vorrichtung nach Anspruch 1; und eine Pixelschaltung, die ein Pixelsignal eines Spannungswerts entsprechend einer in jedem der fotoelektrischen Umwandlungselemente akkumulierten Ladungsmenge liest.
Elektronisches Gerät, aufweisend: die Festkörper-Bildgebungseinrichtung nach Anspruch 11; und eine Datenverarbeitungseinheit, die eine vorbestimmte Verarbeitung an von der Festkörper-Bildgebungseinrichtung ausgegebenen Daten durchführt.
Elektronisches Gerät nach Anspruch 12, wobei die Datenverarbeitungseinheit eine Verarbeitung zum maschinellen Lernen unter Verwendung eines gelernten Modells an den von der Festkörper-Bildgebungseinrichtung gelesenen Daten durchführt.
Elektronisches Gerät nach Anspruch 13, wobei die Datenverarbeitungseinheit eine Verarbeitung von einer Pooling-Schicht einer zweiten Schicht in einem neuronalen Faltungsnetzwerk durchführt.
Informationsverarbeitungssystem, aufweisend: das elektronische Gerät nach Anspruch 12; und eine Datenverarbeitungsvorrichtung, die über ein vorbestimmtes Netzwerk mit dem elektronischen Gerät verbunden ist.
Informationsverarbeitungssystem nach Anspruch 15, wobei die Datenverarbeitungsvorrichtung eine Verarbeitung von einer Pooling-Schicht einer zweiten Schicht in einem neuronalen Faltungsnetzwerk durchführt.