DE112020006665T5

DE112020006665T5 - Elektronische vorrichtung

Info

Publication number: DE112020006665T5
Application number: DE112020006665.7T
Authority: DE
Inventors: Masashi Nakata
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2020-02-03
Filing date: 2020-12-23
Publication date: 2022-12-15
Also published as: WO2021157237A1; US20230102607A1; JPWO2021157237A1; CN115023938B; CN115023938A

Abstract

Es wird eine elektronische Vorrichtung bereitgestellt, die in der Lage ist, eine Verringerung der Auflösung eines erfassten Bildes zu unterdrücken, während die Arten von Informationen, die durch eine Bildgebungseinheit erhalten werden, vermehrt werden.Eine elektronische Vorrichtung beinhaltet eine Bildgebungseinheit, die mehrere Pixelgruppen beinhaltet, die jeweils zwei benachbarte Pixel beinhalten, wobei mindestens eine erste Pixelgruppe der mehreren Pixelgruppen eine erste Linse, die einfallendes Licht konzentriert, eine erste fotoelektrische Umwandlungseinheit, die einen Teil des durch die erste Linse konzentrierten einfallenden Lichts fotoelektrisch umwandelt, und eine sich von der ersten fotoelektrischen Umwandlungseinheit unterscheidende zweite fotoelektrische Umwandlungseinheit, die einen Teil des durch die erste Linse konzentrierten einfallenden Lichts fotoelektrisch umwandelt, beinhaltet und mindestens eine zweite Pixelgruppe, die sich von der ersten Pixelgruppe unterscheidet, aus den mehreren Pixelgruppen eine zweite Linse, die einfallendes Licht konzentriert, eine dritte fotoelektrische Umwandlungseinheit, die das durch die zweite Linse konzentrierte einfallende Licht fotoelektrisch umwandelt, und eine sich von der zweiten Linse unterscheidende dritte Linse, die das einfallende Licht konzentriert, eine sich von der dritten fotoelektrischen Umwandlungseinheit unterscheidende vierte fotoelektrische Umwandlungseinheit, die das durch die dritte Linse konzentrierte einfallende Licht fotoelektrisch umwandelt, beinhaltet.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft eine elektronische Vorrichtung.
STAND DER TECHNIK
Neuere elektronische Vorrichtungen wie Smartphones, Mobiltelefone und Personal Computer (PCs) sind mit Kameras ausgestattet, sodass Videotelefone und Erfassung bewegter Bilder leicht durchgeführt werden können. Andererseits können in einer Bildgebungseinheit, die ein Bild erfasst, zusätzlich zu normalen Pixeln, die Bildgebungsinformationen ausgeben, Spezialpixel wie Polarisationspixel und Pixel mit komplementären Farbfiltern angeordnet sein. Die Polarisationspixel werden beispielsweise zur Streulichtkorrektur verwendet, und die Pixel mit komplementären Farbfiltern werden zur Farbkorrektur verwendet.
Wenn jedoch eine große Anzahl spezieller Pixel angeordnet ist, nimmt die Anzahl normaler Pixel ab, und die Auflösung des durch die Bildgebungseinheit erfassten Bildes kann abnehmen.
LISTE BEKANNTER SCHRIFTEN
PATENTDOKUMENT

Patentdokument 1: Japanische Patentanmeldung mit der Offenlegungs-Nr. 2019-106634
Patentdokument 2: Japanische Patentanmeldung mit der Offenlegungs-Nr. 2012-168339

KURZDARSTELLUNG DER ERFINDUNG
DURCH DIE ERFINDUNG ZU LÖSENDE PROBLEME
In einem Aspekt der vorliegenden Offenbarung wird eine elektronische Vorrichtung bereitgestellt, die in der Lage ist, eine Verringerung der Auflösung eines erfassten Bildes zu unterdrücken, während die Arten von Informationen, die durch eine Bildgebungseinheit erhalten werden, vermehrt werden.
LÖSUNGEN DER PROBLEME
Um das obige Problem zu lösen, stellt die vorliegende Offenbarung eine elektronische Vorrichtung bereit, die eine Bildgebungseinheit beinhaltet, die mehrere Pixelgruppen beinhaltet, die jeweils zwei benachbarte Pixel beinhalten, wobei mindestens eine erste Pixelgruppe der mehreren Pixelgruppen Folgendes beinhaltet:

ein erstes Pixel, das einen Teil des durch eine erste Linse konzentrierten einfallenden Lichts fotoelektrisch umwandelt, und
ein sich von dem ersten Pixel unterscheidendes zweites Pixel, das einen Teil des durch die erste Linse konzentrierten einfallenden Lichts fotoelektrisch umwandelt, und
mindestens eine zweite Pixelgruppe, die sich von der ersten Pixelgruppe unterscheidet, unter den mehreren Pixelgruppen Folgendes beinhaltet:
- ein drittes Pixel, das durch eine zweite Linse konzentriertes einfallendes Licht fotoelektrisch umwandelt, und
- ein viertes Pixel, das sich von dem dritten Pixel unterscheidet und durch eine sich von der zweiten Linse unterscheidende dritte Linse konzentriertes einfallendes Licht fotoelektrisch umwandelt.

Die Bildgebungseinheit kann mehrere Pixelbereiche beinhalten, in denen die Pixelgruppen in einer Zwei-mal-Zwei-Matrix angeordnet sind, und die mehreren Pixelbereiche können Folgendes beinhalten:

einen ersten Pixelbereich, der der Pixelbereich ist, in dem vier der ersten Pixelgruppen angeordnet sind, und
einen zweiten Pixelbereich, der der Pixelbereich ist, in dem drei der ersten Pixelgruppen und eine der zweiten Pixelgruppen angeordnet sind.

In dem ersten Pixelbereich kann entweder ein Rotfilter, ein Grünfilter oder ein Blaufilter entsprechend der ersten Pixelgruppe, die rotes Licht, grünes Licht und blaues Licht empfängt, angeordnet sein.
In dem zweiten Pixelbereich können mindestens zwei des Rotfilters, des Grünfilters und des Blaufilters entsprechend der ersten Pixelgruppe, die mindestens zwei Farben aus rotem Licht, grünem Licht und blauem Licht empfängt, angeordnet sein und
mindestens eines der zwei Pixel der zweiten Pixelgruppe kann entweder ein Cyanfilter, ein Magentafilter oder ein Gelbfilter beinhalten.
Mindestens eines der zwei Pixel der zweiten Pixelgruppe kann ein Pixel mit einem blauen Wellenlängenbereich sein.
Ferner kann eine Signalverarbeitungseinheit enthalten sein, die eine Farbkorrektur eines durch mindestens eines der Pixel der ersten Pixelgruppe ausgegebenen Ausgangssignals auf Grundlage eines Ausgangssignals von mindestens einem der zwei Pixel der zweiten Pixelgruppe durchführt.
Mindestens ein Pixel der zweiten Pixelgruppe kann ein Polarisationselement aufweisen.
Das dritte Pixel und das vierte Pixel können das Polarisationselement beinhalten, und das in dem dritten Pixel enthaltene Polarisationselement und das in dem vierten Pixel enthaltene Polarisationselement können unterschiedliche Polarisationsorientierungen aufweisen.
Ferner kann eine Korrektureinheit enthalten sein, die ein Ausgangssignal eines Pixels der ersten Pixelgruppe unter Verwendung von Polarisationsinformationen basierend auf einem Ausgangssignal des Pixels mit dem Polarisationselement korrigiert.
Das einfallende Licht kann über eine Anzeigeeinheit auf das erste Pixel und das zweite Pixel einfallen und
die Korrektureinheit kann eine Polarisationskomponente entfernen, die erfasst wird, wenn reflektiertes Licht und/oder gebeugtes Licht, das beim Durchgang durch die Anzeigeeinheit erzeugt wird, auf das erste Pixel und das zweite Pixel einfällt und erfasst wird.
Die Korrektureinheit kann an durch fotoelektrische Umwandlung durch das erste Pixel und das zweite Pixel und Digitalisierung erhaltenen digitalen Pixeldaten eine Subtraktionsverarbeitung eines Korrekturbetrags basierend auf Polarisationsinformationsdaten durchführen, die durch Digitalisieren einer durch das Pixel mit dem Polarisationselement fotoelektrisch umgewandelten Polarisationskomponente erhalten werden, um die digitalen Pixeldaten zu korrigieren.
Eine Ansteuerungseinheit, die in einem Bildgebungsframe Ladungen mehrfach aus jedem Pixel der mehreren Pixelgruppen liest, und
eine Analog-Digital-Umwandlungseinheit, die basierend auf mehreren Ladungslesevorgängen eine Analog-Digital-Umwandlung parallel an jedem von mehreren Pixelsignalen durchführt,
können ferner enthalten sein.
Die Ansteuerungseinheit kann einen gemeinsamen Schwarzwert lesen, der dem dritten Pixel und dem vierten Pixel entspricht.
Die mehreren Pixel einschließlich der zwei benachbarten Pixel können eine quadratische Form aufweisen.
Eine Phasendifferenzdetektion kann auf Grundlage von Ausgangssignalen von zwei Pixeln der ersten Pixelgruppe möglich sein.
Die Signalverarbeitungseinheit kann nach dem Durchführen einer Farbkorrektur an dem Ausgangssignal eine Weißabgleichverarbeitung durchführen.
Ferner kann eine Interpolationseinheit enthalten sein, die das Ausgangssignal des Pixels mit dem Polarisationselement aus einer Ausgabe eines peripheren Pixels des Pixels interpoliert.
Die erste bis dritte Linse können On-Chip-Linsen sein, die einfallendes Licht auf eine fotoelektrische Umwandlungseinheit eines entsprechenden Pixels konzentrieren.
Eine Anzeigeeinheit kann ferner enthalten sein, und das einfallende Licht kann über die Anzeigeeinheit auf die mehreren Pixelgruppen einfallen.
Figurenliste

1 ist eine schematische Querschnittsansicht einer elektronischen Vorrichtung gemäß einer ersten Ausführungsform.
2(a) ist eine schematische Außenansicht der elektronischen Vorrichtung von 1, und (b) ist eine Querschnittsansicht entlang der Linie A-A von (a).
3 ist eine schematische Draufsicht zur Beschreibung eines Pixelarrays in einer Bildgebungseinheit.
4 ist eine schematische Draufsicht, die eine Beziehung zwischen dem Pixelarray und einem On-Chip-Linsenarray in der Bildgebungseinheit veranschaulicht.
5 ist eine schematische Draufsicht zur Beschreibung eines Arrays von Pixeln in einem ersten Pixelbereich.
6A ist eine schematische Draufsicht zur Beschreibung eines Arrays von Pixeln in einem zweiten Pixelbereich.
6B ist eine schematische Draufsicht zur Beschreibung eines Arrays von Pixeln in dem zweiten Pixelbereich, das sich von dem in 6A unterscheidet.
6C ist eine schematische Draufsicht zur Beschreibung eines Arrays von Pixeln in dem zweiten Pixelbereich, das sich von denen in 6A und 6B unterscheidet.
7A ist eine Ansicht, die ein Pixelarray des zweiten Pixelbereichs bezüglich eines R-Arrays veranschaulicht.
7B ist eine Ansicht, die das Pixelarray des zweiten Pixelbereichs veranschaulicht, das sich von dem in 7A bezüglich des R-Arrays unterscheidet.
7C ist eine Ansicht, die das Pixelarray des zweiten Pixelbereichs veranschaulicht, das sich von denen in 7A und 7B bezüglich des R-Arrays unterscheidet.
8 ist eine Ansicht, die eine Struktur eines AA-Querschnitts von 5 veranschaulicht.
9 ist eine Ansicht, die eine Struktur eines AA-Querschnitts von 6A veranschaulicht.
10 ist ein Diagramm, das ein Systemkonfigurationsbeispiel der elektronischen Vorrichtung veranschaulicht.
11 ist ein Diagramm, das ein Beispiel eines in einer Speichereinheit gespeicherten Datenbereichs veranschaulicht.
12 ist ein Diagramm, das ein Beispiel einer Ladungsleseansteuerung veranschaulicht.
13 ist ein Diagramm, das die relativen Empfindlichkeiten von roten, grünen und blauen Pixeln veranschaulicht.
14 ist ein Diagramm, das die relativen Empfindlichkeiten von cyanfarbenen, gelben und magentafarbenen Pixeln veranschaulicht.
15 ist eine schematische Draufsicht zur Beschreibung eines Pixelarrays in einer Bildgebungseinheit gemäß einer zweiten Ausführungsform.
16 ist eine schematische Draufsicht, die eine Beziehung zwischen einem Pixelarray und einem On-Chip-Linsenarray in der Bildgebungseinheit gemäß der zweiten Ausführungsform veranschaulicht.
17A ist eine schematische Draufsicht zur Beschreibung eines Arrays von Pixeln in einem zweiten Pixelbereich.
17B ist eine schematische Draufsicht zur Beschreibung eines Arrays von Pixeln mit anderen Polarisationselementen als denen in 17A.
17C ist eine schematische Draufsicht zur Beschreibung eines Arrays von Pixeln mit anderen Polarisationselementen als denen in 17A und 17B.
17D ist eine schematische Draufsicht zur Beschreibung eines Arrays der Polarisationselemente bezüglich des B-Arrays.
17E ist eine schematische Draufsicht zur Beschreibung eines Arrays von Pixeln mit anderen Polarisationselementen als denen in 17D.
17F ist eine schematische Draufsicht zur Beschreibung eines Arrays von Pixeln mit anderen Polarisationselementen als denen in 17D und 17E.
18 ist eine Ansicht, die eine AA-Querschnittsstruktur von 17A veranschaulicht.
19 ist eine perspektivische Ansicht, die ein Beispiel einer detaillierten Struktur jedes Polarisationselements veranschaulicht.
20 ist eine Ansicht, die schematisch einen Zustand veranschaulicht, in dem Streulicht auftritt, wenn ein Bild eines Zielobjekts durch eine elektronische Vorrichtung erfasst wird.
21 ist ein Diagramm, das Signalkomponenten veranschaulicht, die in einem erfassten Bild von 20 enthalten sind.
22 ist ein Diagramm, das die Korrekturverarbeitung konzeptionell beschreibt.
23 ist ein weiteres Diagramm, das die Korrekturverarbeitung konzeptionell beschreibt.
24 ist ein Blockdiagramm, das eine interne Konfiguration der elektronischen Vorrichtung 1 veranschaulicht.
25 ist ein Flussdiagramm, das eine Verarbeitungsprozedur eines durch die elektronische Vorrichtung durchgeführten Bilderfassungsprozesses veranschaulicht.
26 ist eine Draufsicht auf die elektronische Vorrichtung bei Anwendung in einem Kapselendoskop.
27 ist eine Rückansicht der elektronischen Vorrichtung bei Anwendung in einer digitalen Spiegelreflexkamera.
28 ist eine Draufsicht, die ein Beispiel veranschaulicht, in dem die elektronische Vorrichtung in einem Head Mounted Display angewendet wird.
29 ist eine Ansicht, die ein aktuelles HMD veranschaulicht.

AUSFÜHRUNGSWEISE DER ERFINDUNG
Nachfolgend wird eine Ausführungsform einer elektronischen Vorrichtung unter Bezugnahme auf die Zeichnungen beschrieben. Obgleich im Folgenden hauptsächlich Hauptkomponenten der elektronischen Vorrichtung beschrieben werden, kann die elektronische Vorrichtung Komponenten und Funktionen aufweisen, die nicht veranschaulicht oder beschrieben sind. Die folgende Beschreibung schließt nicht dargestellte oder beschriebene Komponenten und Funktionen nicht aus.
(Erste Ausführungsform)
1 ist eine schematische Querschnittsansicht einer elektronischen Vorrichtung 1 gemäß einer ersten Ausführungsform. Die elektronische Vorrichtung 1 in 1 ist eine beliebige elektronische Vorrichtung, die sowohl eine Anzeigefunktion als auch eine Bilderfassungsfunktion aufweist, wie etwa ein Smartphone, ein Mobiltelefon, ein Tablet oder ein PC. Die elektronische Vorrichtung 1 in 1 beinhaltet ein Kameramodul (Bildgebungseinheit), das auf einer Seite angeordnet ist, die einer Anzeigefläche einer Anzeigeeinheit 2 gegenüberliegt. Somit ist in der elektronischen Vorrichtung 1 von 1 das Kameramodul 3 auf einer Rückseite der Anzeigeoberfläche der Anzeigeeinheit 2 bereitgestellt. Daher führt das Kameramodul 3 eine Bilderfassung durch die Anzeigeeinheit 2 durch.
2(a) ist eine schematische Außenansicht der elektronischen Vorrichtung 1 von 1, und 2(b) ist eine Querschnittsansicht entlang der Linie A-A von 2(a). In einem Beispiel von 2(a) breitet sich ein Anzeigebildschirm 1a nahe einer Umrissgröße der elektronischen Vorrichtung 1 aus, und eine Breite einer Einfassung 1b um den Anzeigebildschirm 1a herum beträgt mehrere mm oder weniger. In der Regel ist eine Frontkamera oftmals an der Einfassung 1b angebracht, in 2(a) jedoch ist, wie durch eine unterbrochene Linie angegeben, das Kameramodul 3, das als Frontkamera fungiert, auf einer Rückflächenseite eines im Wesentlichen mittleren Abschnitts des Anzeigebildschirms 1a angeordnet. Durch derartiges Bereitstellen der Frontkamera auf der Rückflächenseite des Anzeigebildschirms 1a muss die Frontkamera nicht in der Einfassung 1b angeordnet werden, und die Breite der Einfassung 1b kann schmaler gemacht werden.
Es sei angemerkt, dass in 2(a), obgleich das Kameramodul 3 auf der Rückflächenseite des im Wesentlichen mittleren Abschnitts des Anzeigebildschirms 1a angeordnet ist, es sich nur in der vorliegenden Ausführungsform um die Rückflächenseite des Anzeigebildschirms 1a handeln muss, und das Kameramodul 3 zum Beispiel auf der Rückflächenseite in der Nähe eines Umfangsrandabschnitts des Anzeigebildschirms 1a angeordnet sein kann. Auf diese Weise ist das Kameramodul 3 in der vorliegenden Ausführungsform an einer beliebigen Position auf der Rückflächenseite angeordnet, die den Anzeigebildschirm 1a überlappt.
Wie in 1 veranschaulicht, ist die Anzeigeeinheit 2 eine Struktur, in der ein Anzeigepanel 4, eine Zirkularpolarisationsplatte 5, ein Berührungspanel 6 und ein Deckglas 7 in dieser Reihenfolge gestapelt sind. Das Anzeigepanel 4 kann zum Beispiel eine OLED-Einheit (OLED: Organic Light Emitting Device - Organische lichtemittierende Vorrichtung), eine Flüssigkristallanzeigeeinheit, eine MicroLED oder die Anzeigeeinheit 2 basierend auf anderen Anzeigeprinzipien sein. Das Anzeigepanel 4, wie etwa die OLED-Einheit, beinhaltet mehrere Schichten. Das Anzeigepanel 4 ist häufig mit einem Element mit geringer Transmission, wie etwa einer Farbfilterschicht, versehen. Wie später beschrieben, kann ein Durchgangsloch in einem Element mit geringer Transmission in dem Anzeigepanel 4 gemäß einem Anordnungsort des Kameramoduls 3 gebildet sein. Lässt man durch das Durchgangsloch hindurchtretendes Zielobjektlicht auf das Kameramodul 3 einfallen, so kann die Bildqualität eines durch das Kameramodul 3 erfassten Bildes verbessert werden.
Die Zirkularpolarisationsplatte 5 ist bereitgestellt, um Blendung zu reduzieren und die Sichtbarkeit des Anzeigebildschirms 1a selbst in einer hellen Umgebung zu verbessern. Ein Berührungssensor ist in dem Berührungspanel 6 integriert. Es gibt verschiedene Typen von Berührungssensoren, wie etwa ein kapazitiver Typ und ein Filmwiderstandstyp, aber jeder Typ kann verwendet werden. Außerdem können das Berührungspanel 6 und das Anzeigepanel 4 integriert sein. Das Abdeckglas 7 ist bereitgestellt, um das Anzeigepanel 4 und dergleichen zu schützen.
Das Kameramodul 3 beinhaltet eine Bildgebungseinheit 8 und ein optisches System 9. Das optische System 9 ist auf einer Lichteinfallsflächenseite der Bildgebungseinheit 8 angeordnet, also auf einer Seite nahe der Anzeigeeinheit 2, und konzentriert Licht, das durch die Anzeigeeinheit 2 tritt, auf der Bildgebungseinheit 8. Das optische System 9 beinhaltet in der Regel mehrere Linsen.
Die Bildgebungseinheit 8 beinhaltet mehrere fotoelektrische Umwandlungseinheiten. Die fotoelektrische Umwandlungseinheit wandelt Licht, das durch die Anzeigeeinheit 2 einfällt, fotoelektrisch um. Die fotoelektrische Umwandlungseinheit kann ein CMOS-Sensor (CMOS: Complementary Metal Oxide Semiconductor - Komplementärer Metall-Oxide-Halbleiter) oder ein CCD-Sensor (CCD: Charge Coupled Device - Ladungsgekoppelte Vorrichtung) sein. Außerdem kann die fotoelektrische Umwandlungseinheit eine Fotodiode oder ein organischer fotoelektrischer Umwandlungsfilm sein.
Hier wird ein Beispiel eines Pixelarrays und eines On-Chip-Linsenarrays in der Bildgebungseinheit 8 unter Bezugnahme auf 3 bis 6C beschrieben. Die On-Chip-Linse ist eine Linse, die auf einem Vorderflächenabschnitt auf einer Lichteinfallsseite in jedem Pixel bereitgestellt ist und einfallendes Licht auf die fotoelektrische Umwandlungseinheit des entsprechenden Pixels konzentriert.
3 ist eine schematische Draufsicht zur Beschreibung eines Pixelarrays in der Bildgebungseinheit 8. 4 ist eine schematische Draufsicht, die eine Beziehung zwischen einem Pixelarray und einem On-Chip-Linsenarray in der Bildgebungseinheit 8 veranschaulicht. 5 ist eine schematische Draufsicht zur Beschreibung eines Arrays von Pixeln 80 und 82, die ein Paar in einem ersten Pixelbereich 8a bilden. 6A ist eine schematische Draufsicht zur Beschreibung eines Arrays von Pixeln 80a und 82a, die ein Paar in einem zweiten Pixelbereich 8b bilden. 6B ist eine schematische Draufsicht zur Beschreibung des Arrays der Pixel 80a und 82a in einem zweiten Pixelbereich 8c. 6C ist eine schematische Draufsicht zur Beschreibung des Arrays der Pixel 80a und 82a in einem zweiten Pixelbereich 8d.
Wie in 3 veranschaulicht, beinhaltet die Bildgebungseinheit 8 mehrere Pixelgruppen, die jeweils zwei benachbarte Pixel (80, 82) und (80a, 82a) beinhalten, die ein Paar bilden. Die Pixel 80, 82, 80a und 82a weisen eine rechteckige Form auf, und zwei benachbarte Pixel (80, 82) und (80a, 82a) weisen eine quadratische Form auf.
Das Bezugszeichen R bezeichnet ein Pixel, das rotes Licht empfängt, das Bezugszeichen G bezeichnet ein Pixel, das grünes Licht empfängt, das Bezugszeichen B bezeichnet ein Pixel, das blaues Licht empfängt, das Bezugszeichen C bezeichnet ein Pixel, das cyanfarbenes licht empfängt, das Bezugszeichen Y bezeichnet ein Pixel das gelbes Licht empfängt, und das Bezugszeichen M bezeichnet ein Pixel, das magentafarbenes Licht empfängt. Dasselbe gilt für andere Zeichnungen.
Die Bildgebungseinheit 8 beinhaltet erste Pixelbereiche 8a und zweite Pixelbereiche 8b, 8c und 8d . In 3 ist jeweils eine Gruppe der zweiten Pixelbereiche 8b, 8c und 8d veranschaulicht. Das heißt, die verbleibenden 13 Gruppen sind die ersten Pixelbereiche 8a.
In einem ersten Pixelbereich 8a sind Pixel in einer Form angeordnet, in der ein Pixel in einem normalen Bayer-Array durch zwei in einer Zeile angeordnete Pixel 80 und 82 ersetzt ist. Das heißt, Pixel sind in einer Form angeordnet, in dem R, G und B in dem Bayer-Array jeweils durch zwei Pixel 80 und 82 ersetzt sind.
Andererseits sind in den zweiten Pixelbereichen 8b, 8c und 8d Pixel in einer Form angeordnet, in der R und G in dem Bayer-Array jeweils durch zwei Pixel 80 und 82 ersetzt sind, und Pixel sind in einer Form angeordnet, in der B in dem Bayer-Array durch zwei Pixel 80a und 82a ersetzt ist. Beispielsweise ist die Kombination der beiden Pixel 80a und 82a eine Kombination aus B und C in dem zweiten Pixelbereich 8b, eine Kombination aus B und Y in dem zweiten Pixelbereich 8c und eine Kombination aus B und M in dem zweiten Pixelbereich 8d.
Ferner ist, wie in 4 bis 6C veranschaulicht, für jedes der zwei Pixel 80 und 82 eine kreisförmige On-Chip-Linse 22 bereitgestellt. Somit können die Pixel 80 und 82 in den Pixelgruppen 8a, 8b, 8c und 8d eine Bildebenen-Phasendifferenz detektieren. Außerdem ist die Funktion durch Addieren von Ausgaben der Pixel 80 und 82 äquivalent zu der eines normalen Bildgebungspixels. Das heißt, die Bildgebungsinformationen können durch Addieren der Ausgaben der Pixel 80 und 82 erhalten werden.
Andererseits ist, wie in 4 bis 6C veranschaulicht, eine elliptische On-Chip-Linse 22a in jedem der zwei Pixel 80a und 82a bereitgestellt. Wie in 6A veranschaulicht, unterscheidet sich das Pixel 82a in dem zweiten Pixelbereich 8b von dem B-Pixel in dem ersten Pixelbereich 8a dadurch, dass es ein Pixel ist, das cyanfarbenes Licht empfängt. Somit können die zwei Pixel 80a und 82a unabhängig voneinander das blaue Licht bzw. das cyanfarbene Licht empfangen. Gleichermaßen empfängt, wie in 6B veranschaulicht, das Pixel 82a in dem zweiten Pixelbereich 8c das gelbe Licht. Somit können die zwei Pixel 80a und 82a unabhängig voneinander das blaue Licht bzw. das gelbe Licht empfangen. Gleichermaßen empfängt, wie in 6C veranschaulicht, das Pixel 82a in dem zweiten Pixelbereich 8d das magentafarbene Licht. Somit können die zwei Pixel 80a und 82a unabhängig voneinander das blaue Licht bzw. das magentafarbene Licht empfangen.
In dem ersten Pixelbereich 8a erfassen Pixel in einem B-Array nur Farbinformationen von Blau, wohingegen die Pixel in dem B-Array in dem zweiten Pixelbereich 8b zusätzlich zu den Farbinformationen von Blau ferner Farbinformationen von Cyan erfassen können. Gleichermaßen können die Pixel in dem B-Array in dem zweiten Pixelbereich 8c zusätzlich zu den Farbinformationen von Blau ferner Farbinformationen von Gelb erfassen. Gleichermaßen können die Pixel in dem B-Array in dem zweiten Pixelbereich 8d zusätzlich zu den Farbinformationen von Blau ferner Farbinformationen von Magenta erfassen.
Die durch die Pixel 80a und 82a in den zweiten Pixelbereichen 8b, 8c und 8d erfassten Farbinformationen von Cyan, Gelb und Magenta können zur Farbkorrektur verwendet werden. Die Pixel 80a und 82a in den zweiten Pixelbereichen 8b, 8c und 8d sind also Spezialpixel, die zur Farbkorrektur angeordnet sind. Hier bedeutet das Spezialpixel gemäß der vorliegenden Ausführungsform ein Pixel, das für eine Korrekturverarbeitung wie Farbkorrektur und Polarisationskorrektur verwendet wird. Diese Spezialpixel können auch für andere Anwendungen als die normale Bildgebung verwendet werden.
Die On-Chip-Linsen 22a der Pixel 80a und 82a in den zweiten Pixelbereichen 8b, 8c und 8d sind elliptisch, und die Menge des empfangenen Lichts beträgt auch die Hälfte des Gesamtwerts der Pixel 80 und 82, die dieselbe Farbe empfangen. Eine Lichtempfangsverteilung und eine Lichtmenge, also eine Empfindlichkeit und dergleichen, können durch Signalverarbeitung korrigiert werden.
Andererseits können die Pixel 80a und 82a Farbinformationen von zwei unterschiedlichen Systemen erhalten und werden effektiv zur Farbkorrektur verwendet. Auf diese Weise können in den zweiten Pixelbereichen 8b, 8c und 8d die Arten von zu erhaltenden Informationen vermehrt werden, ohne die Auflösung zu verringern. Es sei angemerkt, dass Details der Farbkorrekturverarbeitung später beschrieben werden.
In der vorliegenden Ausführungsform sind die Pixel des B-Arrays in dem Bayer-Array durch die zwei Pixel 80a und 82a gebildet, wobei die vorliegende Erfindung jedoch nicht darauf beschränkt ist. Wie beispielsweise in 7A bis 7C veranschaulicht, können die Pixel eines R-Arrays in dem Bayer-Array durch zwei Pixel 80a und 82a gebildet sein.
7A ist eine Ansicht, die ein Pixelarray des zweiten Pixelbereichs 8e veranschaulicht. In dem zweiten Pixelbereich 8e unterscheidet sich das Pixel 82a in dem R-Array in dem Bayer-Array von dem Pixelarray in dem ersten Pixelbereich 8a dadurch, dass das Pixel das cyanfarbene Licht empfängt. Somit können die zwei Pixel 80a und 82a unabhängig voneinander das rote Licht bzw. das cyanfarbene Licht empfangen.
7B ist eine Ansicht, die ein Pixelarray des zweiten Pixelbereichs 8f veranschaulicht. In dem zweiten Pixelbereich 8f unterscheidet sich das Pixel 82a in dem R-Array in dem Bayer-Array von dem Pixelarray in dem ersten Pixelbereich 8a dadurch, dass das Pixel das gelbe Licht empfängt. Somit können die zwei Pixel 80a und 82a unabhängig voneinander das rote Licht bzw. das gelbe Licht empfangen.
7C ist eine Ansicht, die ein Pixelarray des zweiten Pixelbereichs 8g veranschaulicht. In dem zweiten Pixelbereich 8g unterscheidet sich das Pixel 82a in dem R-Array in dem Bayer-Array von dem Pixelarray in dem ersten Pixelbereich 8a dadurch, dass das Pixel das magentafarbene Licht empfängt. Somit können die zwei Pixel 80a und 82a unabhängig voneinander das rote Licht bzw. das magentafarbene Licht empfangen.
Es sei angemerkt, dass das Pixelarray in der vorliegenden Ausführungsform durch das Bayer-Array gebildet wird, die vorliegende Erfindung jedoch nicht darauf beschränkt ist. Beispielsweise können ein Interline-Array, ein Schachbrett-Array, ein Streifen-Array oder andere Arrays verwendet werden. Das heißt, das Verhältnis der Anzahl von Pixeln 80a und 82a zu der Anzahl von Pixeln 80 und 82, die Art der empfangenen Lichtfarbe und der Anordnungsort sind willkürlich.
8 ist eine Ansicht, die eine Struktur eines AA-Querschnitts von 5 veranschaulicht. Wie in 8 veranschaulicht, sin mehrere fotoelektrische Umwandlungseinheiten 800a in einem Substrat 11 angeordnet. Mehrere Verdrahtungsschichten 12 sind auf einer Seite der ersten Oberfläche 11a des Substrats 11 angeordnet. Ein Zwischenschicht-Isolierfilm 13 ist um die mehreren Verdrahtungsschichten 12 herum angeordnet. Nicht veranschaulichte Kontakte, die die Verdrahtungsschichten 12 miteinander verbinden, die Verdrahtungsschicht 12 und die fotoelektrischen Umwandlungseinheiten 800a sind bereitgestellt, jedoch in 8 nicht veranschaulicht.
Auf einer Seite der zweiten Oberfläche 11b des Substrats 11 ist eine Lichtabschirmungsschicht 15 in der Nähe einer Grenze von Pixeln über eine Einebnungsschicht 14 angeordnet, und eine darunterliegende Isolierschicht 16 ist um die Lichtabschirmungsschicht 15 herum angeordnet. Auf der darunterliegenden Isolierschicht 16 ist eine Einebnungsschicht 20 angeordnet. Auf der Einebnungsschicht 20 ist eine Farbfilterschicht 21 angeordnet. Die Farbfilterschicht 21 beinhaltet Filterschichten von den drei Farben RGB. Es sei angemerkt, dass die Farbfilterschichten 21 der Pixel 80 und 82 in der vorliegenden Ausführungsform Filterschichten der drei Farben RGB beinhalten, jedoch nicht darauf beschränkt sind. Beispielsweise können Filterschichten in Cyan, Magenta und Gelb, die Komplementärfarben davon sind, enthalten sein. Alternativ kann eine Filterschicht, die andere Farben als sichtbares Licht, wie etwa Infrarotlicht, durchlässt, eine Filterschicht mit multispektralen Charakteristiken enthalten sein, oder es kann eine Entfärbungsfilterschicht wie Weiß enthalten sein. Indem anderes Licht als sichtbares Licht, wie etwa Infrarotlicht, durchgelassen wird, können Erfassungsinformationen, wie etwa Tiefeninformationen, detektiert werden. Die On-Chip-Linse 22 ist auf der Farbfilterschicht 21 angeordnet.
9 ist eine Ansicht, die eine Struktur eines AA-Querschnitts von 6A veranschaulicht. In der Querschnittsstruktur von 8 ist eine kreisförmige On-Chip-Linse 22 in den mehreren Pixeln 80 und 82 angeordnet, wohingegen in 9 eine On-Chip-Linse 22a für jedes der mehreren Pixel 80a und 82a angeordnet ist. Die Farbfilterschicht 21 eines Pixels 80a ist beispielsweise ein Blaufilter. Das andere Pixel 82a ist beispielsweise ein Cyanfilter. In den zweiten Pixelbereichen 8c und d ist das andere Pixel 82a beispielsweise ein Gelbfilter oder ein Magentafilter. Des Weiteren ist in den zweiten Pixelbereichen 8e, f und g die Farbfilterschicht 21 eines Pixels 80a beispielsweise ein Rotfilter. Es sei angemerkt, dass die Position des Filters eines Pixels 80a gegenüber der Position des Filters des anderen Pixels 82a liegen kann. Hier ist das Blaufilter ein Transmissionsfilter, das blaues Licht durchlässt, das Rotfilter ist ein Transmissionsfilter, das rotes Licht durchlässt, und ein Grünfilter ist ein Transmissionsfilter, das grünes Licht durchlässt. Ähnlich sind das Cyanfilter, das Magentafilter und das Gelbfilter jeweils ein Transmissionsfilter, das cyanfarbenes Licht, magentafarbenes Licht und gelbes Licht durchlässt.
Wie daraus ersichtlich ist, sind bei den Pixeln 80 und 82 und den Pixeln 80a und 82a die Formen der On-Chip-Linsen 22 und 22a und die Kombination der Farbfilterschichten 21 unterschiedlich, aber die Komponenten der Einebnungsschichten 20 und darunter weisen äquivalente Strukturen auf. Daher kann das Lesen von Daten aus den Pixeln 80 und 82 und das Lesen von Daten aus den Pixeln 80a und 82a in gleicher Weise durchgeführt werden. Somit können, wie später ausführlich beschrieben wird, die zu erhaltenden Informationsarten durch die Ausgangssignale der Pixel 80a und 82a vermehrt werden, und eine Verringerung der Bildrate kann verhindert werden.
Hier werden ein Systemkonfigurationsbeispiel der elektronischen Vorrichtung 1 und ein Datenleseverfahren unter Bezugnahme auf 10, 11 und 12 beschrieben. 10 ist ein Diagramm, das ein Systemkonfigurationsbeispiel der elektronischen Vorrichtung 1 veranschaulicht. Die elektronische Vorrichtung 1 gemäß der ersten Ausführungsform beinhaltet eine Bildgebungseinheit 8, eine Vertikalansteuerungseinheit 130, Analog-Digital-Umwandlungs(nachfolgend als „A/D-Umwandlung“ bezeichnet)-Einheiten 140 und 150, Spaltenverarbeitungseinheiten 160 und 170, eine Speichereinheit 180, eine Systemsteuereinheit 19, eine Signalverarbeitungseinheit 510 und eine Schnittstelleneinheit 520.
In der Bildgebungseinheit 8 sind Pixelansteuerungsleitungen entlang einer Zeilenrichtung für jede Pixelzeile verlegt, und beispielsweise sind zwei vertikale Signalleitungen 310 und 320 entlang einer Spaltenrichtung für jede Pixelspalte in Bezug auf das Pixelarray in der Matrixform verlegt. Die Pixelansteuerungsleitung überträgt ein Ansteuerungssignal zum Ansteuern, wenn ein Signal aus den Pixeln 80, 82, 80a und 82a gelesen wird. Ein Ende der Pixelansteuerungsleitung ist mit einem Ausgangsanschluss verbunden, der jeder Zeile der Vertikalansteuerungseinheit 130 entspricht.
Die Vertikalansteuerungseinheit 130 beinhaltet ein Schieberegister, einen Adressdecodierer und dergleichen und steuert alle Pixel 80, 82, 80a und 82a der Bildgebungseinheit 8 gleichzeitig in Einheiten von Zeilen oder dergleichen an. Das heißt, die Vertikalansteuerungseinheit 130 bildet eine Ansteuerungseinheit, die jedes der Pixel 80, 82, 80a und 82a der Bildgebungseinheit 8 zusammen mit einer Systemsteuereinheit 190 antreibt, die die Vertikalansteuerungseinheit 130 steuert. Die Vertikalansteuerungseinheit 130 weist im Allgemeinen eine Konfiguration auf, die zwei Scan-Systeme eines Lesescansystems und eines Sweep-Scansystems beinhaltet. Das Lesescansystem scannt selektiv jedes der Pixel 80, 82, 80a und 82a nacheinander in Einheiten von Zeilen. Signale, die aus jedem der Pixel 80, 82, 80a und 82a gelesen werden, sind analoge Signale. Das Sweep-Scansystem führt um eine einer Verschlussgeschwindigkeit entsprechende Zeit früher als das Lesescannen ein Sweep-Scannen an einer Lesezeile durch, an der das Lesescannen durch das Lesescansystem durchgeführt wird.
Durch das Sweep-Scannen durch das Sweep-Scansystem werden überflüssige Ladungen aus jeder der fotoelektrischen Umwandlungseinheiten der Pixel 80, 82, 80a und 82a der Lesezeile beseitigt, und dadurch werden die fotoelektrischen Umwandlungseinheiten zurückgesetzt. Dann wird durch Beseitigen (Rücksetzen) überflüssiger Ladungen durch das Sweep-Scansystem eine sogenannte elektronische Verschlussoperation durchgeführt. Hier bezieht sich die elektronische Verschlussoperation auf eine Operation des Entladens von Fotoladungen der fotoelektrischen Umwandlungseinheiten und des erneuten Beginnens der Belichtung (Beginnen der Akkumulation von Fotoladungen) .
Das durch die Leseoperation durch das LeseScansystem gelesene Signal entspricht der Menge des Lichts, das nach der unmittelbar vorhergehenden Leseoperation oder elektronischen Verschlussoperation empfangen wird. Dann ist ein Zeitraum vom Lesezeitpunkt durch die unmittelbar vorhergehende Leseoperation oder Sweep-Zeitpunkt durch die elektronische Verschlussoperation bis zu dem Lesezeitpunkt durch die aktuelle Leseoperation ein Belichtungszeitraum von Fotoladungen in der Pixeleinheit.
Pixelsignale, die von jedem der Pixel 80, 82, 80a und 82a einer durch die Vertikalansteuerungseinheit 130 ausgewählten Pixelzeile ausgegeben werden, werden über die zwei vertikalen Signalleitungen 310 und 320 in die A/D-Umwandlungseinheiten 140 und 150 eingegeben. Hier beinhaltet die vertikale Signalleitung 310 eines Systems eine Signalleitungsgruppe (erste Signalleitungsgruppe), die das von jedem der Pixel 80, 82, 80a und 82a der ausgewählten Zeile ausgegebene Pixelsignal in einer ersten Richtung (eine Seite in einer Pixelspaltenrichtung/Aufwärtsrichtung der Zeichnung) für jede Pixelspalte überträgt. Die vertikale Signalleitung 320 des anderen Systems beinhaltet eine Signalleitungsgruppe (zweite Signalleitungsgruppe), die das von jedem der Pixel 80, 82, 80a und 82a der ausgewählten Zeile ausgegebene Pixelsignal in einer zweiten Richtung (die andere Seite in Pixelspaltenrichtung/Abwärtsrichtung in der Zeichnung) entgegengesetzt zur ersten Richtung überträgt.
Jede der A/D-Umwandlungseinheiten 140 und 150 beinhaltet einen Satz (A/D-Wandlergruppe) von A/D-Wandlern 141 und 151, die für jede Pixelspalte bereitgestellt sind, ist über der Bildgebungseinheit 8 in der Pixelspaltenrichtung bereitgestellt und führt eine A/D-Umwandlung an den durch die vertikalen Signalleitungen 310 und 320 der zwei Systeme übertragenen Pixelsignalen durch. Das heißt, die A/D-Umwandlungseinheit 140 beinhaltet einen Satz von A/D-Wandlern 141, die eine A/D-Umwandlung an den Pixelsignalen durchführen, die durch die vertikale Signalleitung 31 für jede Pixelspalte in der ersten Richtung übertragen und eingegeben werden. Die A/D-Umwandlungseinheit 150 beinhaltet einen Satz von A/D-Wandlern 151, die eine A/D-Umwandlung eines Pixelsignals durchführen, das durch die vertikale Signalleitung 320 in der zweiten Richtung übertragen und für jede Pixelspalte eingegeben wird.
Das heißt, der A/D-Wandler 141 eines Systems ist mit einem Ende der vertikalen Signalleitung 310 verbunden. Dann wird das Pixelsignal, das von jedem der Pixel 80, 82, 80a und 82a ausgegeben wird, durch die vertikale Signalleitung 310 in der ersten Richtung (Aufwärtsrichtung der Zeichnung) übertragen und in den A/D-Wandler 141 eingegeben. Des Weiteren ist der A/D-Wandler 151 des anderen Systems mit einem Ende der vertikalen Signalleitung 320 verbunden. Dann wird das Pixelsignal, das von jedem der Pixel 80, 82, 80a und 82a ausgegeben wird, durch die vertikale Signalleitung 320 in der zweiten Richtung (Abwärtsrichtung der Zeichnung) übertragen und in den A/D-Wandler 151 eingegeben.
Die Pixeldaten (digitale Daten) nach der A/D-Umwandlung in den A/D-Umwandlungseinheiten 140 und 150 werden über die Spaltenverarbeitungseinheiten 160 und 170 an die Speichereinheit 180 geliefert. Die Speichereinheit 180 speichert die Pixeldaten, die die Spaltenverarbeitungseinheit 160 durchlaufen haben, und die Pixeldaten, die die Spaltenverarbeitungseinheit 170 durchlaufen haben, vorübergehend. Ferner führt die Speichereinheit 180 auch eine Verarbeitung zum Addieren der Pixeldaten, die die Spaltenverarbeitungseinheit 160 durchlaufen haben, und der Pixeldaten, die die Spaltenverarbeitungseinheit 170 durchlaufen haben, durch.
Ferner kann in einem Fall, in dem das Schwarzwertsignal von jedem der Pixel 80, 82, 80a und 82a erfasst wird, der Schwarzwert, der der Referenzpunkt sein soll, gemeinsam für jedes Paar benachbarter zwei Pixel (80, 82) und (80a, 82a) gelesen werden. Somit wird das Lesen des Schwarzwerts gemeinsam durchgeführt, und die Lesegeschwindigkeit, also die Bildrate, kann erhöht werden. Das heißt, nachdem der als Referenzpunkt dienende Schwarzwert gemeinsam gelesen wurde, ist es möglich, eine Ansteuerung zum individuellen Lesen eines normalen Signalpegels durchzuführen.
11 ist ein Diagramm, das ein Beispiel eines in der Speichereinheit 180 gespeicherten Datenbereichs veranschaulicht. Beispielsweise werden Pixeldaten, die aus jedem der Pixel 80, 82 und 80a gelesen werden, mit Pixelkoordinaten assoziiert und in dem ersten Bereich 180a gespeichert, und Pixeldaten, die aus jedem der Pixel 82a gelesen werden, werden mit Pixelkoordinaten assoziiert und in dem zweiten Bereich 180b gespeichert. Somit werden die in dem ersten Bereich 180a gespeicherten Pixeldaten als R-, G- und B-Bilddaten des Bayer-Arrays gespeichert, und die in dem zweiten Bereich 180b gespeicherten Pixeldaten werden als Bilddaten für die Korrekturverarbeitung gespeichert.
Die Systemsteuereinheit 190 beinhaltet einen Timing-Generator, der verschiedene Timing-Signale und dergleichen erzeugt, und führt eine Ansteuerungssteuerung der Vertikalansteuerungseinheit 130, der A/D-Umwandlungseinheiten 140 und 150, der Spaltenverarbeitungseinheiten 160 und 170 und dergleichen auf Grundlage verschiedener durch den Timing-Generator erzeugter Timings durch.
Die aus der Speichereinheit 180 gelesenen Pixeldaten werden einer vorbestimmten Signalverarbeitung in der Signalverarbeitungseinheit 510 unterzogen und dann über die Schnittstelle 520 an das Anzeigepanel 4 ausgegeben. In der Signalverarbeitungseinheit 510 wird beispielsweise eine Verarbeitung zum Erhalten einer Summe oder eines Mittelwerts von Pixeldaten in einem Bildgebungsframe durchgeführt. Details der Signalverarbeitungseinheit 510 werden später beschrieben.
12 ist ein Diagramm, das ein Beispiel einer zweimal durchgeführten Ladungsleseansteuerung veranschaulicht. 12 veranschaulicht schematisch eine Verschlussoperation, eine Leseoperation, einen Ladungsakkumulationszustand und eine Additionsverarbeitung in einem Fall, in dem das Ladungslesen zweimal von der fotoelektrischen Umwandlungseinheit 800a (8 und 9) durchgeführt wird.
In der elektronischen Vorrichtung 1 gemäß der vorliegenden Ausführungsform führt die Vertikalansteuerungseinheit 130 unter der Steuerung der Systemsteuereinheit 190 beispielsweise eine Ladungsleseansteuerung zweimal von der fotoelektrischen Umwandlungseinheit 800a in einem Bildgebungsframe durch. Die der Anzahl der Lesevorgänge entsprechende Ladungsmenge kann aus der fotoelektrischen Umwandlungseinheit 800a gelesen werden, indem das Lesen zweimal mit einer höheren Lesegeschwindigkeit als im Fall des einmaligen Ladungslesens durchgeführt, in der Speichereinheit 180 gespeichert und eine Additionsverarbeitung durchgeführt wird.
Die elektronische Vorrichtung 1 gemäß der vorliegenden Ausführungsform verwendet eine Konfiguration (Zwei-Parallel-Konfiguration), in der zwei Systeme von A/D-Umwandlungseinheiten 140 und 150 parallel für zwei Pixelsignale basierend auf zwei Ladungslesezeitpunkten bereitgestellt sind. Da die zwei A/D-Umwandlungseinheiten parallel für die zwei Pixelsignale bereitgestellt sind, die zeitlich nacheinander aus jedem der jeweiligen Pixel 80, 82, 80a und 82a ausgelesen werden, können die zwei zeitlich nacheinander ausgelesenen Pixelsignale parallel durch die zwei A/D-Umwandlungseinheiten 140 und 150 A/Dumgewandelt werden. Mit anderen Worten, da die A/D-Umwandlungseinheiten 140 und 150 in zwei Systemen parallel bereitgestellt sind, können das zweite Ladungslesen und die A/D-Umwandlung des Pixelsignals basierend auf dem zweiten Ladungslesen parallel während der A/D-Umwandlung des Bildsignals basierend auf dem ersten Ladungslesen durchgeführt werden. Somit können die Bilddaten mit höherer Geschwindigkeit aus der fotoelektrischen Umwandlungseinheit 800a gelesen werden.
Hier wird ein Beispiel einer Farbkorrekturverarbeitung der Signalverarbeitungseinheit 510 unter Bezugnahme auf 13 und 14 näher beschrieben. 13 ist ein Diagramm, das die relativen Empfindlichkeiten von R: roten, G: grünen und B: blauen Pixeln veranschaulicht (3). Die vertikale Achse stellt die relative Empfindlichkeit dar und die horizontale Achse stellt die Wellenlänge dar. Gleichermaßen ist 14 ein Diagramm, das relative Empfindlichkeiten von C: cyanfarbenen, Y: gelben und M: magentafarbenen Pixeln veranschaulicht (3). Die vertikale Achse stellt die relative Empfindlichkeit dar und die horizontale Achse stellt die Wellenlänge dar. Wie oben beschrieben, haben rote (R-)Pixel ein Rotfilter, blaue (B-)Pixel haben ein Blaufilter, grüne (G-)Pixel haben ein Grünfilter, cyanfarbene (C-)Pixel haben ein Cyanfilter, gelbe (Y-)Pixel haben ein Gelbfilter und magentafarbene (M-)Pixel haben ein Magentafilter.
Zunächst wird eine Korrekturverarbeitung zum Erzeugen korrigierter Ausgangssignale BS3 und BS4 des B-Pixels (Blau) unter Verwendung eines Ausgangssignals CS1 des C-Pixels (Cyan) beschrieben. Wie oben beschrieben, werden ein Ausgangssignal RS1 des R-Pixels (Rot), ein Ausgangssignal GS1 des G-Pixels (Grün) und ein Ausgangssignal GB1 des B-Pixels (Blau) in dem ersten Bereich (180a) der Speichereinheit 180 gespeichert. Dagegen werden das Ausgangssignal CS1 des C-Pixels (Cyan), ein Ausgangssignal YS1 des Y-Pixels (Gelb) und ein Ausgangssignal MS1 des M-Pixels (Magenta) in dem zweiten Bereich (180b) der Speichereinheit 180 gespeichert.
Wie in 13 und 14 veranschaulicht, kann durch Vergleichen der Wellenlängencharakteristiken des C-Pixels (Cyan), des B-Pixels (Blau) und des G-Pixels (Grün) das Ausgangssignal CS1 des C-Pixels (Cyan) durch Addieren eines Ausgangssignals BS1 des B-Pixels (Blau) und des Ausgangssignals GS1 des G-Pixels (Grün) approximiert werden.
Dementsprechend berechnet die Signalverarbeitungseinheit 510 in dem zweiten Pixelbereich 8b (3) das Ausgangssignal BS2 des B-Pixels (Blau) beispielsweise durch Ausdruck (1). $BS2 = k1 \times CS1 - k2 \times GS1$
Hier sind k1 und k2 Koeffizienten zum Anpassen der Signalintensität.
Dann berechnet die Signalverarbeitungseinheit 510 ein korrigiertes Ausgangssignal BS3 des B-Pixels (Blau) beispielsweise durch Ausdruck (2). $\begin{array}{l} BS3 = BS1 + k3 \times BS1 \\ = k1 \times CS1 - k2 \times GS1 + k3 \times BS1 \end{array}$
Hier ist k3 ein Koeffizient zum Anpassen der Signalintensität.
Gleichermaßen berechnet die Signalverarbeitungseinheit 510 in dem zweiten Pixelbereich 8e (7A) das Ausgangssignal BS4 des B-Pixels (Blau) beispielsweise durch Ausdruck (3). $\begin{array}{l} BS3 = k1 \times CS1 - k2 \times GS1 + k4 \times BS1 \end{array}$
Hier ist k4 ein Koeffizient zum Anpassen der Signalintensität. Auf diese Weise kann die Signalverarbeitungseinheit 510 die Ausgangssignale BS3 und BS4 des B-Pixels (Blau) erhalten, die unter Verwendung des Ausgangssignals CS1 des C-Pixels (Cyan) und des Ausgangssignals GS1 des G-Pixels (Grün) korrigiert wurden.
Als Nächstes wird eine Korrekturverarbeitung zum Erzeugen korrigierter Ausgangssignale RS3 und RS4 des R-Pixels (Rot) unter Verwendung des Ausgangssignals YS1 des Y-Pixels (Gelb) beschrieben.
Wie in 13 und 14 veranschaulicht, kann durch Vergleichen der Wellenlängencharakteristiken des Y-Pixels (Gelb), des R-Pixels (Rot) und des G-Pixels (Grün) das Ausgangssignal YS1 des Y-Pixels (Gelb) durch Addieren eines Ausgangssignals RS1 des R-Pixels (Rot) und des Ausgangssignals GS1 des G-Pixels (Grün) approximiert werden.
Dementsprechend berechnet die Signalverarbeitungseinheit 510 in dem zweiten Pixelbereich 8c (3) das Ausgangssignal RS2 des R-Pixels (Rot) beispielsweise durch Ausdruck (4). $RS2 = k5 \times YS1 - k6 \times GS1$
Hier sind k5 und k6 Koeffizienten zum Anpassen der Signalintensität.
Dann berechnet die Signalverarbeitungseinheit 510 ein korrigiertes Ausgangssignal RS3 des R-Pixels (Rot) beispielsweise durch Ausdruck (5). $\begin{array}{l} BS3 = k7 \times RS1 + RS2 \\ = k5 \times YS1 - k6 \times GS1 + k7 \times RS1 \end{array}$
Hier ist k7 ein Koeffizient zum Anpassen der Signalintensität.
Gleichermaßen berechnet die Signalverarbeitungseinheit 510 in dem zweiten Pixelbereich 8f (7B) das Ausgangssignal RS4 des R-Pixels (Rot) beispielsweise durch Ausdruck (6). $RS4 = k5 \times YS1 - k6 \times GS1 + k8 \times RS1$
Hier ist k8 ein Koeffizient zum Anpassen der Signalintensität. Auf diese Weise kann die Signalverarbeitungseinheit 510 die Ausgangssignale RS3 und RS4 des R-Pixels (Rot) erhalten, die unter Verwendung des Ausgangssignals YS1 des Y-Pixels (Gelb) und des Ausgangssignals GS1 des G-Pixels (Grün) korrigiert wurden.
Als Nächstes wird eine Korrekturverarbeitung zum Erzeugen korrigierter Ausgangssignale BS6 und BS7 des B-Pixels (Blau) unter Verwendung des Ausgangssignals MS1 des M-Pixels (Magenta) beschrieben.
Wie in 13 und 14 veranschaulicht, kann durch Vergleichen der Wellenlängencharakteristiken des M-Pixels (Magenta), des B-Pixels (Blau) und des R-Pixels (Rot) das Ausgangssignal MS1 des M-Pixels (Magenta) durch Addieren eines Ausgangssignals BS1 des B-Pixels (Blau) und des Ausgangssignals RS1 des R-Pixels (Rot) approximiert werden.
Dementsprechend berechnet die Signalverarbeitungseinheit 510 in dem zweiten Pixelbereich 8d (3) das Ausgangssignal BS5 des B-Pixels (Blau) beispielsweise durch Ausdruck (7). $BS5 = k9 \times MS1 - k10 \times RS1$
Hier sind k9 und k10 Koeffizienten zum Anpassen der Signalintensität.
Dann berechnet die Signalverarbeitungseinheit 510 ein korrigiertes Ausgangssignal BS6 des B-Pixels (Blau) beispielsweise durch Ausdruck (8). $\begin{array}{l} BS6 = BS5 + k11 \times BS1 \\ = k9 \times MS1 - k10 \times RS1 + k11 \times BS1 \end{array}$
Hier ist k11 ein Koeffizient zum Anpassen der Signalintensität.
Gleichermaßen berechnet die Signalverarbeitungseinheit 510 in dem zweiten Pixelbereich 8g (7C) das Ausgangssignal BS7 des B-Pixels (Blau) beispielsweise durch Ausdruck (9). $BS7 = k9 \times MS1 - k10 \times RS1 + k12 \times BS1$
Hier ist k12 ein Koeffizient zum Anpassen der Signalintensität. Auf diese Weise kann die Signalverarbeitungseinheit 510 die Ausgangssignale BS6 und BS7 des B-Pixels (Blau) erhalten, die unter Verwendung des Ausgangssignals MS1 des M-Pixels (Magenta) und des Ausgangssignals RS1 des R-Pixels (Rot) korrigiert wurden.
Als Nächstes wird eine Korrekturverarbeitung zum Erzeugen korrigierter Ausgangssignale RS6 und RS7 des R-Pixels (Rot) unter Verwendung des Ausgangssignals MS1 des M-Pixels (Magenta) beschrieben.
In dem zweiten Pixelbereich 8d (3) berechnet die Signalverarbeitungseinheit 510 das Ausgangssignal RS5 des R-Pixels (Rot) beispielsweise durch Ausdruck (10). $RS5 = k13 \times MS1 - k14 \times BS1$
Hier sind k13 und k14 Koeffizienten zum Anpassen der Signalintensität.
Dann berechnet die Signalverarbeitungseinheit 510 ein korrigiertes Ausgangssignal RS6 des R-Pixels (Rot) beispielsweise durch Ausdruck (11). $\begin{array}{l} BS6 = RS5 + k15 \times RS1 \\ = k13 \times MS1 - k14 \times BS1 + k16 \times RS1 \end{array}$
Hier ist k16 ein Koeffizient zum Anpassen der Signalintensität.
Gleichermaßen berechnet die Signalverarbeitungseinheit 510 in dem zweiten Pixelbereich 8g (7C) das Ausgangssignal BS7 des R-Pixels (Rot) beispielsweise durch Ausdruck (12). $RS7 = k13 \times MS1 - k14 \times BS1 + k17 \times RS1$
Hier ist k17 ein Koeffizient zum Anpassen der Signalintensität. Auf diese Weise kann die Signalverarbeitungseinheit 510 die Ausgangssignale RS6 und RS7 des R-Pixels (Rot) erhalten, die unter Verwendung des Ausgangssignals MS1 des M-Pixels (Magenta) und des Ausgangssignals BS1 des B-Pixels (Blau) korrigiert wurden.
Darüber hinaus führt die Signalverarbeitungseinheit 510 verschiedene Arten von Verarbeitung durch, wie etwa Weißabgleich, Gammakorrektur und Konturhervorhebung, und gibt ein Farbbild aus. So lässt sich, da der Weißabgleich nach der Farbkorrektur auf Grundlage des Ausgangssignals jedes der Pixel 80a und 82a durchgeführt wird, ein erfasstes Bild mit einem natürlicheren Farbton erhalten.
Wie oben beschrieben, beinhaltet die Bildgebungseinheit 8 gemäß der vorliegenden Ausführungsform mehrere Pixelgruppen, die jeweils zwei benachbarte Pixel beinhalten, und die erste Pixelgruppe 80 und 82, die eine On-Chip-Linse 22 beinhaltet, und die zweite Pixelgruppe 80a und 82a, die jeweils die On-Chip-Linse 22a beinhalten, sind angeordnet. Somit kann die erste Pixelgruppe 80 und 82 eine Phasendifferenz detektieren und als normale Bildgebungspixel fungieren, und die zweite Pixelgruppe 80a und 82a kann als Spezialpixel fungieren, die jeweils in der Lage sind, unabhängige Bildgebungsinformationen zu erfassen. Außerdem beträgt eine Pixelbereichsfläche der Pixelgruppe 80a und 82a, die als Spezialpixel fungieren können, 1/2 der Pixelgruppe 80 und 82, die als normale Bildgebungspixel fungieren können, und eine Behinderung der Anordnung der ersten Pixelgruppe 80 und 82, die zur normalen Bildgebung in der Lage ist, kann vermieden werden.
In den zweiten Pixelbereichen 8b bis 8k, die Pixelbereiche sind, in denen die drei ersten Pixelgruppen 80 und 82 und die eine zweite Pixelgruppe 80a und 82a angeordnet sind, sind mindestens zwei eines Rotfilters, eines Grünfilters und eines Blaufilters entsprechend den ersten Pixelgruppen 80 und 82 angeordnet, die mindestens zwei Farben aus rotem Licht, grünem Licht und blauem Licht empfangen, und ein beliebiges eines Cyanfilters, eines Magentafilters und eines Gelbfilters ist in mindestens einem der zwei Pixel 80a und 82a der zweiten Pixelgruppe angeordnet. Somit kann das Ausgangssignal, das einem des R-Pixels (Rot), des G-Pixels (Grün) und des B-Pixels (Blau) entspricht, einer Farbkorrektur unter Verwendung des Ausgangssignals unterzogen werden, das einem des C-Pixels (Cyan), des M-Pixels (Magenta) und des Y-Pixels (Gelb) entspricht. Insbesondere ist es durch Durchführen einer Farbkorrektur an dem Ausgangssignal, das einem des R-Pixels (Rot), des G-Pixels (Grün) und des B-Pixels (Blau) entspricht, unter Verwendung des Ausgangssignals, das einem des C-Pixels (Cyan) und des M-Pixels (Magenta) entspricht, möglich, blaue Informationen zu vermehren, ohne die Auflösung zu verringern. Auf diese Weise ist es möglich, eine Verringerung der Auflösung des erfassten Bildes zu unterdrücken, während die Arten von Informationen, die durch die Bildgebungseinheit 8 erhalten werden, vermehrt werden.
(Zweite Ausführungsform)
Eine elektronische Vorrichtung 1 gemäß einer zweiten Ausführungsform unterscheidet sich darin von der elektronischen Vorrichtung 1 gemäß der ersten Ausführungsform, dass die zwei Pixel 80b und 82b in dem zweiten Pixelbereich durch Pixel mit einem Polarisationselement gebildet sind. Unterschiede zu der elektronischen Vorrichtung 1 gemäß der ersten Ausführungsform werden im Folgenden beschrieben.
Hier wird ein Beispiel eines Pixelarrays und eines On-Chip-Linsenarrays in der Bildgebungseinheit 8 gemäß der zweiten Ausführungsform unter Bezugnahme auf 15 bis 17C beschrieben. 15 ist eine schematische Draufsicht zur Beschreibung eines Pixelarrays in der Bildgebungseinheit 8 gemäß der zweiten Ausführungsform. 16 ist eine schematische Draufsicht, die eine Beziehung zwischen einem Pixelarray und einem On-Chip-Linsenarray in der Bildgebungseinheit 8 gemäß der zweiten Ausführungsform veranschaulicht. 17A ist eine schematische Draufsicht zur Beschreibung eines Arrays der Pixel 80b und 82b in dem zweiten Pixelbereich 8h. 17B ist eine schematische Draufsicht zur Beschreibung eines Arrays der Pixel 80b und 82b in dem zweiten Pixelbereich 8i. 17C ist eine schematische Draufsicht zur Beschreibung eines Arrays der Pixel 80b und 82b in dem zweiten Pixelbereich 8j.
Wie in 15 veranschaulicht, beinhaltet die Bildgebungseinheit 8 gemäß der zweiten Ausführungsform einen ersten Pixelbereich 8a und zweite Pixelbereiche 8h, 8i und 8j. In den zweiten Pixelbereichen 8h, 8i und 8j sind die G-Pixel 80 und 82 in dem Bayer-Array jeweils durch zwei Spezialpixel 80b und 82b ersetzt. Es sei angemerkt, dass in der vorliegenden Ausführungsform die G-Pixel 80 und 82 in dem Bayer-Array durch die Spezialpixel 80b und 82b ersetzt sind, die vorliegende Erfindung jedoch nicht darauf beschränkt ist. Beispielsweise können, wie später beschrieben, die B-Pixel 80 und 82 in dem Bayer-Array durch die Spezialpixel 80b und 82b ersetzt sein.
Wie in 16 bis 17C veranschaulicht ist ähnlich zur ersten Ausführungsform für jedes der zwei Pixel 80b und 82b eine kreisförmige On-Chip-Linse 22 bereitgestellt. Dahingegen sind die Polarisationselemente S in den zwei Pixeln 80b und 82b angeordnet. 17A bis 17C sind Draufsichten, die Kombinationen der in den Pixeln 80b und 82b angeordneten Polarisationselemente S schematisch veranschaulichen. 17A ist eine Ansicht, die eine Kombination eines 45-Grad-Polarisationselements und eines 0-Grad-Polarisationselements veranschaulicht. 17B ist eine Ansicht, die eine Kombination des 45-Grad-Polarisationselements und eines 135-Grad-Polarisationselements veranschaulicht. 17C ist eine Ansicht, die eine Kombination des 45-Grad-Polarisationselements und des 90-Grad-Polarisationselements veranschaulicht. Auf diese Weise ist beispielsweise in den zwei Pixeln 80b und 82b eine Kombination von Polarisationselementen wie 0 Grad, 45 Grad, 90 Grad und 135 Grad möglich. Darüber hinaus sind, wie in 17D und 17F veranschaulicht, die B-Pixel 80 und 82 in dem Bayer-Array durch die zwei Pixel 80b bzw. 82b ersetzt. Auf diese Weise sind die Pixel nicht auf die G-Pixel 80 und 82 in dem Bayer-Array beschränkt, und die Pixel können in einer Form angeordnet sein, in der die Bund R-Pixel 80 und 82 in dem Bayer-Array durch zwei Pixel 80b bzw. 82b ersetzt sind. In einem Fall, in dem die G-Pixel 80 und 82 in dem Bayer-Array durch die Spezialpixel 80b und 82b ersetzt sind, ist es auch möglich, die R-, G- und B-Informationen nur durch die Pixelausgaben in den zweiten Pixelbereichen 8h, 8i und 8j zu erhalten. Andererseits kann in einem Fall, in dem die B-Pixel 80 und 82 in dem Bayer-Array durch die Spezialpixel 80b und 82b ersetzt sind, dies zur Phasendetektion ohne Beeinträchtigung der Ausgabe des G-Pixels mit höherer Phasendetektionsgenauigkeit verwendet werden. Auf diese Weise kann jedes der Pixel 80b und 82b in den zweiten Pixelbereichen 8h, 8i und 8j die Polarisationskomponenten extrahieren.
18 ist eine Ansicht, die eine AA-Querschnittsstruktur von 17A veranschaulicht. Wie in 18 veranschaulicht, sind mehrere Polarisationselemente 9b auf der darunterliegenden Isolierschicht 16 beabstandet angeordnet. Jedes Polarisationselement 9b in 18 ist ein Drahtgitter-Polarisationselement mit einer Leitung- und-Zwischenraum-Struktur, die in einem Teil der Isolierschicht 17 angeordnet ist.
19 ist eine perspektivische Ansicht, die ein Beispiel einer detaillierten Struktur jedes Polarisationselements 9b veranschaulicht. Wie in 19 veranschaulicht, beinhaltet jedes der mehreren Polarisationselemente 9b mehrere Leitungsabschnitte 9d mit einer vorstehenden Form, die sich in eine Richtung erstreckt, und Zwischenraumabschnitte 9e zwischen den Leitungsabschnitten 9d. Es gibt mehrere Arten von Polarisationselementen 9b, bei denen sich die Erstreckungsrichtungen der Leitungsabschnitte 9d voneinander unterscheiden. Genauer gesagt gibt es drei oder mehr Arten von Polarisationselementen 9b, und beispielsweise kann der Winkel zwischen einer Array-Richtung der fotoelektrischen Umwandlungseinheiten 800a und den Erstreckungsrichtungen der Leitungsabschnitte 9d drei Arten von 0 Grad, 60 Grad, und 120 Grad sein. Alternativ kann der Winkel zwischen der Array-Richtung der fotoelektrischen Umwandlungseinheiten 800a und den Erstreckungsrichtungen der Linienabschnitte 9d vier Arten von Winkeln von 0 Grad, 45 Grad, 90 Grad und 135 Grad oder andere Winkel sein. Alternativ können die mehreren Polarisationselemente 9b nur in einer einzigen Richtung polarisieren. Ein Material für die mehreren Polarisationselemente 9b kann ein Metallmaterial wie Aluminium oder Wolfram oder ein organischer fotoelektrischer Umwandlungsfilm sein.
Auf diese Weise hat jedes Polarisationselement 9b eine Struktur, in der mehrere Leitungsabschnitte 9d, die sich in einer Richtung erstrecken, so angeordnet sind, dass sie in einer Richtung beabstandet sind, die die eine Richtung schneidet. Es gibt mehrere Arten von Polarisationselementen 9b mit unterschiedlichen Erstreckungsrichtungen des Leitungsabschnitts 9d.
Der Leitungsabschnitt 9d hat eine gestapelte Struktur, in der eine lichtreflektierende Schicht 9f, eine Isolierschicht 9g und eine lichtabsorbierende Schicht 9h gestapelt sind. Die lichtreflektierende Schicht 9f beinhaltet beispielsweise ein Metallmaterial wie Aluminium. Die Isolierschicht 9g beinhaltet beispielsweise SiO2 oder dergleichen. Die lichtabsorbierende Schicht 9h ist beispielsweise ein Metallmaterial wie Wolfram.
Als Nächstes wird ein charakteristischer Betrieb der elektronischen Vorrichtung 1 gemäß der vorliegenden Ausführungsform beschrieben. 20 ist eine Ansicht, die schematisch einen Zustand veranschaulicht, in dem Streulicht auftritt, wenn ein Zielobjekt durch die elektronische Vorrichtung 1 von 1 bildlich erfasst wird. Das Streulicht wird dadurch verursacht, dass ein Teil des auf die Anzeigeeinheit 2 der elektronischen Vorrichtung 1 einfallenden Lichts wiederholt von einem Element in der Anzeigeeinheit 2 reflektiert wird und dann auf die Bildgebungseinheit 8 einfällt und in dem erfassten Bild erfasst wird. Tritt das Streulicht in dem erfassten Bild auf, so kommt es zu einer Luminanzdifferenz oder einer Farbtonänderung, wie in 20 veranschaulicht, und die Bildqualität wird verschlechtert.
21 ist ein Diagramm, das Signalkomponenten veranschaulicht, die in dem erfassten Bild von 20 enthalten sind. Wie in 21 veranschaulicht, beinhaltet das erfasste Bild ein Zielobjektsignal und eine Streulichtkomponente.
22 und 23 sind Diagramme, die konzeptionell eine Korrekturverarbeitung gemäß der vorliegenden Ausführungsform beschreiben. Wie in 15 veranschaulicht, beinhaltet die Bildgebungseinheit 8 gemäß der vorliegenden Ausführungsform mehrere Polarisationspixel 80b und 82b und mehrere Nicht-Polarisationspixel 80 und 82. Pixelinformationen, die durch die mehreren in 15 veranschaulichten Nicht-Polarisationspixel 80 und 82 fotoelektrisch umgewandelt werden, beinhalten das Zielobjektsignal und die Streulichtkomponente, wie in 21 veranschaulicht. Dagegen handelt es sich bei Polarisationsinformationen, die durch die mehreren in 15 veranschaulichten Polarisationspixel 80b und 82b fotoelektrisch umgewandelt werden, um Streulichtkomponenteninformationen. Somit wird durch Subtrahieren der durch die mehreren Polarisationspixel 80b und 82b fotoelektrisch umgewandelten Polarisationsinformationen von den durch die mehreren Nicht-Polarisationspixel 80 und 82 fotoelektrisch umgewandelten Pixelinformationen, wie in 23 veranschaulicht, die Streulichtkomponente entfernt und das Zielobjektsignal erhalten. Wird ein auf dem Zielobjektsignal basierendes Bild auf der Anzeigeeinheit 2 angezeigt, wie in 23 veranschaulicht, so wird ein Zielobjektbild angezeigt, aus dem das in 21 vorhandene Streulicht entfernt wurde.
Auf die Anzeigeeinheit 2 einfallendes externes Licht kann durch ein Verdrahtungsmuster oder dergleichen in der Anzeigeeinheit 2 gebeugt werden, und gebeugtes Licht kann auf die Bildgebungseinheit 8 einfallen. Auf diese Weise kann das Streulicht und/oder das gebeugte Licht in dem erfassten Bild erfasst werden.
24 ist ein Blockdiagramm, das eine interne Konfiguration der elektronischen Vorrichtung 1 gemäß der vorliegenden Ausführungsform veranschaulicht. Die elektronische Vorrichtung 1 von 8 beinhaltet ein optisches System 9, eine Bildgebungseinheit 8, eine Speichereinheit 180, eine Klemmeinheit 32, eine Farbausgabeeinheit 33, eine Polarisationsausgabeeinheit 34, eine Streulichtextraktionseinheit 35, eine Streulichtkorrektursignalerzeugungseinheit 36, eine Fehlerkorrektureinheit 37, eine Linearmatrixeinheit 38 , eine Gammakorrektureinheit 39 , eine Luminanz-Chroma-Signalerzeugungseinheit 40, eine Fokusanpassungseinheit 41, eine Belichtungsanpassungseinheit 42, eine Rauschreduzierungseinheit 43, eine Kantenhervorhebungseinheit 44 und eine Ausgabeeinheit 45. Die Vertikalansteuerungseinheit 130, die Analog-Digital-Umwandlungseinheiten 140 und 150, die Spaltenverarbeitungseinheiten 160 und 170 und die Systemsteuereinheit 19, die in 10 veranschaulicht sind, sind in 24 zur Vereinfachung der Beschreibung weggelassen.
Das optische System 9 beinhaltet eine oder mehrere Linsen 9a und ein Infrarotstrahlen(IR)-Sperrfilter 9b. Das IR-Sperrfilter 9b kann weggelassen werden. Wie oben beschrieben, beinhaltet die Bildgebungseinheit 8 die mehreren Nicht-Polarisationspixel 80 und 82 und die mehreren Polarisationspixel 80b und 82b.
Die Ausgabewerte der mehreren Polarisationspixel 80b und 82b und die Ausgabewerte der mehreren Nicht-Polarisationspixel 80 und 82 werden durch die Analog-Digital-Umwandlungseinheiten 140 und 150 (nicht veranschaulicht) umgewandelt, Polarisationsinformationsdaten, die durch Digitalisieren von Ausgabewerten der mehreren Polarisationspixel 80b und 82b erhalten werden, werden im zweiten Bereich 180b ( 11) gespeichert, und digitale Pixeldaten, die durch Digitalisieren von Ausgabewerten der mehreren Nicht-Polarisationspixel 80 und 82 erhalten werden, werden im ersten Bereich 180a (11) gespeichert.
Die Klemmeinheit 32 führt eine Verarbeitung zum Definieren eines Schwarzwerts durch und subtrahiert Schwarzwertdaten von sowohl den im ersten Bereich 180a (11) der Speichereinheit 180 gespeicherten digitalen Pixeldaten als auch den im zweiten Bereich 180b (11) gespeicherten Polarisationsinformationsdaten. Ausgabedaten der Klemmeinheit 32 werden verzweigt, digitale RGB-Pixeldaten werden von der Farbausgabeeinheit 33 ausgegeben und Polarisationsinformationsdaten werden von der Polarisationsausgabeeinheit 34 ausgegeben. Die Streulichtextraktionseinheit 35 extrahiert die Streulichtkomponente und/oder eine gebeugte Lichtkomponente aus den Polarisationsinformationsdaten. In der vorliegenden Beschreibung kann die Streulichtkomponente und/oder die gebeugte Lichtkomponente, die durch die Streulichtextraktionseinheit 35 extrahiert wird, als ein Korrekturbetrag bezeichnet werden.
Die Streulichtkorrektursignalerzeugungseinheit 36 korrigiert die digitalen Pixeldaten durch Durchführen einer Subtraktionsverarbeitung des durch die Streulichtextraktionseinheit 35 extrahierten Korrekturbetrags an den von der Farbausgabeeinheit 33 ausgegebenen digitalen Pixeldaten. Ausgabedaten der Streulichtkorrektursignalerzeugungseinheit 36 sind digitale Pixeldaten, aus denen die Streulichtkomponente und/oder die gebeugte Lichtkomponente entfernt wurde. Auf diese Weise fungiert die Streulichtkorrektursignalerzeugungseinheit 36 als eine Korrektureinheit, die ein durch die mehreren Nicht-Polarisationspixel 80 und 82 fotoelektrisch umgewandeltes erfasstes Bild auf Grundlage der Polarisationsinformationen korrigiert.
Die digitalen Pixeldaten an Pixelpositionen der Polarisationspixel 80b und 82b weisen einen niedrigen Signalpegel auf, da sie das Polarisationselement 9b durchlaufen. Daher betrachtet die Fehlerkorrektureinheit 37 die Polarisationspixel 80b und 82b als Fehler und führt eine vorbestimmte Fehlerkorrekturverarbeitung durch. Die Fehlerkorrekturverarbeitung kann in diesem Fall eine Verarbeitung zum Durchführen einer Interpolation unter Verwendung digitaler Pixeldaten von umgebenden Pixelpositionen sein.
Die Linearmatrixeinheit 38 führt eine Matrixoperation an Farbinformationen wie RGB durch, um eine korrektere Farbwiedergabe durchzuführen. Die Linearmatrixeinheit 38 wird auch als Farbmatrixabschnitt bezeichnet.
Die Gammakorrektureinheit 39 führt eine Gammakorrektur durch, um eine Anzeige mit ausgezeichneter Sichtbarkeit gemäß Anzeigecharakteristiken der Anzeigeeinheit 2 zu ermöglichen. Beispielsweise wandelt die Gammakorrektureinheit 39 10 Bit in 8 Bit um, während sie den Gradienten ändert.
Die Luminanz-Chroma-Signalerzeugungseinheit 40 erzeugt ein auf der Anzeigeeinheit 2 anzuzeigendes Luminanz-Chroma-Signal auf Grundlage von Ausgabedaten der Gammakorrektureinheit 39.
Die Fokusanpassungseinheit 41 führt eine Autofokusverarbeitung auf Grundlage des Luminanz-Chroma-Signals durch, nachdem die Fehlerkorrekturverarbeitung durchgeführt wurde. Die Belichtungsanpassungseinheit 42 führt eine Belichtungsanpassung auf Grundlage des Luminanz-Chroma-Signals durch, nachdem die Fehlerkorrekturverarbeitung durchgeführt wurde. Bei Durchführung der Belichtungsanpassung kann die Belichtungsanpassung durchgeführt werden, indem ein Obergrenzen-Clipping bereitgestellt wird, sodass es nicht zur Sättigung des Pixelwerts jedes Nicht-Polarisationspixels 82 kommt. Ferner kann in einem Fall, in dem der Pixelwert jedes Nicht-Polarisationspixels 82 gesättigt ist, selbst wenn die Belichtungsanpassung durchgeführt wird, der Pixelwert des gesättigten Nicht-Polarisationspixels 82 auf Grundlage des Pixelwerts des Polarisationspixels 81 um das Nicht-Polarisationspixel 82 herum geschätzt werden.
Die Rauschreduzierungseinheit 43 führt eine Verarbeitung zum Reduzieren von Rauschen durch, das in dem Luminanz-Chroma-Signal enthalten ist. Die Kantenhervorhebungseinheit 44 führt eine Verarbeitung zum Hervorheben einer Kante des Zielobjektbildes auf der Grundlage des Luminanz-Chroma-Signals durch. Die Rauschreduzierungsverarbeitung durch die Rauschreduzierungseinheit 43 und die Kantenhervorhebungsverarbeitung durch die Kantenhervorhebungseinheit 44 können nur in einem Fall durchgeführt werden, in dem eine vorbestimmte Bedingung erfüllt ist. Die vorbestimmte Bedingung ist beispielsweise ein Fall, in dem der Korrekturbetrag der Streulichtkomponente oder der gebeugten Lichtkomponente, die durch die Streulichtextraktionseinheit 35 extrahiert wird, einen vorbestimmten Schwellenwert überschreitet. Je größer die in dem erfassten Bild enthaltene Streulichtkomponente oder gebeugte Lichtkomponente ist, desto mehr Rauschen oder Unschärfe der Kante tritt in dem Bild auf, wenn die Streulichtkomponente und die gebeugte Lichtkomponente entfernt werden. Daher kann durch Durchführen der Rauschreduzierungsverarbeitung und der Kantenhervorhebungsverarbeitung nur in einem Fall, in dem der Korrekturbetrag den Schwellenwert überschreitet, die Häufigkeit der Durchführung der Rauschreduzierungsverarbeitung und der Kantenhervorhebungsverarbeitung reduziert werden.
Die Signalverarbeitung zumindest eines Teils der Fehlerkorrektureinheit 37, der Linearmatrixeinheit 38, der Gammakorrektureinheit 39, der Luminanz-Chroma-Signalerzeugungseinheit 40, der Fokusanpassungseinheit 41, der Belichtungsanpassungseinheit 42, der Rauschreduzierungseinheit 43 und der Kantenhervorhebungseinheit 44 in 24 kann durch eine Logikschaltung in einem Bildgebungssensor, der die Bildgebungseinheit 8 enthält, ausgeführt werden oder können durch eine Signalverarbeitungsschaltung in der elektronischen Vorrichtung 1, auf der der Bildgebungssensor montiert ist, ausgeführt werden. Alternativ kann die Signalverarbeitung zumindest eines Teils von 24 durch einen Server oder dergleichen in einer Cloud ausgeführt werden, der Informationen über ein Netzwerk an die elektronische Vorrichtung 1 überträgt und von dieser empfängt. Wie in dem Blockdiagramm von 24 veranschaulicht, führt die Streulichtkorrektursignalerzeugungseinheit 36 in der elektronischen Vorrichtung 1 gemäß der vorliegenden Ausführungsform verschiedene Arten von Signalverarbeitung an den digitalen Pixeldaten durch, aus denen die Streulichtkomponente und/oder die gebeugte Lichtkomponente entfernt wurde. Dies liegt insbesondere daran, dass bei einigen Signalverarbeitungen wie Belichtungsverarbeitung, Fokusanpassungsverarbeitung und Weißabgleichverarbeitung selbst dann, wenn die Signalverarbeitung in einem Zustand durchgeführt wird, in dem eine Streulichtkomponente oder eine gebeugte Lichtkomponente enthalten ist, kein hervorragendes Signalverarbeitungsergebnis erhalten werden kann.
25 ist ein Flussdiagramm, das eine Verarbeitungsprozedur eines durch die elektronische Vorrichtung 1 gemäß der vorliegenden Ausführungsform durchgeführten Bilderfassungsprozesses veranschaulicht. Zuerst wird das Kameramodul 3 aktiviert (Schritt S1). Somit wird der Bildgebungseinheit 8 eine Versorgungsspannung zugeführt, und die Bildgebungseinheit 8 beginnt mit der bildlichen Verarbeitung des einfallenden Lichts. Genauer gesagt wandeln die mehreren Nicht-Polarisationspixel 80 und 82 das einfallende Licht fotoelektrisch um, und die mehreren Polarisationspixel 80b und 82b erfassen Polarisationsinformationen des einfallenden Lichts (Schritt S2). Die Analog-Digital-Umwandlungseinheiten 140 und 150 (10) geben Polarisationsinformationsdaten, die durch Digitalisieren von Ausgabewerten der mehreren Polarisationspixel 81 erhalten werden, und digitale Pixeldaten, die durch Digitalisieren von Ausgabewerten der mehreren Nicht-Polarisationspixel 82 erhalten werden, aus und speichern die Daten in der Speichereinheit 180 (Schritt S3).
Als Nächstes bestimmt die Streulichtextraktionseinheit 35 auf Grundlage der in der Speichereinheit 180 gespeicherten Polarisationsinformationsdaten, ob Streulicht oder Beugung aufgetreten ist oder nicht (Schritt S4). Hier wird beispielsweise, wenn die Polarisationsinformationsdaten einen vorbestimmten Schwellenwert überschreiten, bestimmt, dass Streulicht oder Beugung aufgetreten ist. Wird bestimmt, dass Streulicht oder Beugung aufgetreten ist, so extrahiert die Streulichtextraktionseinheit 35 den Korrekturbetrag der Streulichtkomponente oder der gebeugten Lichtkomponente auf Grundlage der Polarisationsinformationsdaten (Schritt S5). Die Streulichtkorrektursignalerzeugungseinheit 36 subtrahiert den Korrekturbetrag von den digitalen Pixeldaten, die in der Speichereinheit 180 gespeichert sind, um digitale Pixeldaten zu erzeugen, aus denen die Streulichtkomponente und die gebeugte Lichtkomponente entfernt wurden (Schritt S6).
Als Nächstes werden verschiedene Arten von Signalverarbeitung an den in Schritt S6 korrigierten digitalen Pixeldaten oder an den digitalen Pixeldaten, von denen in Schritt S4 bestimmt wurde, dass sie kein Streulicht oder keine Beugung aufweisen, durchgeführt (Schritt S7). Genauer gesagt wird in Schritt S7, wie in 8 veranschaulicht, eine Verarbeitung wie Fehlerkorrekturverarbeitung, Linearmatrixverarbeitung, Gammakorrekturverarbeitung, Luminanz-Chroma-Signalerzeugungsverarbeitung, Belichtungsverarbeitung, Fokusanpassungsverarbeitung, Weißabgleichverarbeitung, Rauschreduzierungsverarbeitung und Kantenhervorhebungsverarbeitung durchgeführt. Es sei angemerkt, dass die Art und die Ausführungsreihenfolge der Signalverarbeitung willkürlich sind und die Signalverarbeitung einiger in 24 veranschaulichter Blöcke weggelassen werden kann oder eine andere Signalverarbeitung als die in 24 veranschaulichten Blöcke durchgeführt werden kann.
Die in Schritt S7 der Signalverarbeitung unterzogenen digitalen Pixeldaten können von der Ausgabeeinheit 45 ausgegeben und in einem nicht veranschaulichten Speicher gespeichert oder auf der Anzeigeeinheit 2 als Live-Bild angezeigt werden (Schritt S8) .
Wie oben beschrieben, sind in den zweiten Pixelbereichen 8h bis 8k, die Pixelbereiche sind, in denen die oben beschriebenen drei ersten Pixelgruppen und eine zweite Pixelgruppe angeordnet sind, der Rotfilter, der Grünfilter und der Blaufilter entsprechend der ersten Pixelgruppen angeordnet, die rotes Licht, grünes Licht und blaues Licht empfangen, und die Pixel 80b und 82b mit den Polarisationselementen sind in mindestens einem der zwei Pixel der zweiten Pixelgruppe angeordnet. Die Ausgaben der Pixel 80b und 82b mit den Polarisationselementen können als normale Pixel durch Interpolation unter Verwendung digitaler Pixeldaten von umgebenden Pixelpositionen korrigiert werden. Dadurch wird eine Vermehrung der Polarisationsinformationen ohne Verringerung der Auflösung möglich.
Auf diese Weise ist in der zweiten Ausführungsform das Kameramodul 3 auf der gegenüberliegenden Seite der Anzeigeoberfläche der Anzeigeeinheit 2 angeordnet, und die Polarisationsinformationen des Lichts, das die Anzeigeeinheit 2 durchläuft, werden durch die mehreren Polarisationspixel 80b und 82b erfasst. Ein Teil des die Anzeigeeinheit 2 durchlaufenden Lichts wird wiederholt in der Anzeigeeinheit 2 reflektiert und trifft dann auf die mehreren Nicht-Polarisationspixel 80 und 82 in dem Kameramodul 3 auf. Gemäß der vorliegenden Ausführungsform ist es durch Erfassen der oben beschriebenen Polarisationsinformationen möglich, ein erfasstes Bild in einem Zustand zu erzeugen, in dem die Streulichtkomponente und die gebeugte Lichtkomponente, die in Licht enthalten sind, das nach mehrfacher Reflexion in der Anzeigeeinheit 2 auf die mehreren Nicht-Polarisationspixel 80 und 82 einfällt, einfach und zuverlässig entfernt werden.
(Dritte Ausführungsform)
Verschiedene Kandidaten können als spezifische Kandidaten der elektronischen Vorrichtung 1 mit der in den ersten und zweiten Ausführungsformen beschriebenen Konfiguration betrachtet werden. Beispielsweise ist 26 eine Draufsicht der elektronischen Vorrichtung 1 gemäß der ersten und zweiten Ausführungsform bei Anwendung in einem Kapselendoskop 50. Das Kapselendoskop 50 von 26 beinhaltet beispielsweise eine Kamera (ultrakleine Kamera) 52 zur Erfassung eines Bildes in einer Körperhöhle, einen Speicher 53 zum Aufzeichnen von Bilddaten, die durch die Kamera 52 erfasst werden, und einen Drahtlossender 55 zum Übertragen aufgezeichneter Bilddaten nach außen über eine Antenne 54, nachdem das Kapselendoskop 50 in einem Gehäuse 51 mit zwei jeweils halbkugelförmigen Endflächen und einem zylindrischen Mittelabschnitt nach außerhalb des Probanden ausgeschieden wurde.
Des Weiteren sind in dem Gehäuse 51 eine zentrale Verarbeitungseinheit (CPU) 56 und eine Spule (Magnetkraft/Strom-Umwandlungsspule) 57 bereitgestellt. Die CPU 56 steuert die Bilderfassung durch die Kamera 52 und den Datenakkumulationsbetrieb in dem Speicher 53 und steuert die Datenübertragung von dem Speicher 53 an eine Datenempfangsvorrichtung (nicht veranschaulicht) außerhalb des Gehäuses 51 durch den Drahtlossender 55. Die Spule 57 liefert Strom an die Kamera 52, den Speicher 53, den Drahtlossender 55, die Antenne 54 und eine Lichtquelle 52b, wie später beschrieben wird.
Zudem ist das Gehäuse 51 mit einem magnetischen (Lese-)Schalter 58 zum Detektieren des Einstellens des Kapselendoskops 50 in der Datenempfangsvorrichtung, wenn es eingestellt wird, versehen. Die CPU 56 liefert Strom von der Spule 57 an den Drahtlossender 55 zu einer Zeit, wenn der Leseschalter 58 ein Einstellen an der Datenempfangsvorrichtung detektiert und eine Datenübertragung möglich wird.
Die Kamera 52 beinhaltet beispielsweise ein Bildgebungselement 52a mit einem optischen Objektivsystem 9 zum Erfassen eines Bildes in einer Körperhöhle und mehrere Lichtquellen 52b zum Beleuchten der Körperhöhle. Insbesondere beinhaltet die Kamera 52 als die Lichtquelle 52b beispielsweise einen Komplementär-Metall-Oxid-Halbleiter(CMOS-)Sensor, der eine Leuchtdiode (LED), eine ladungsgekoppelte Vorrichtung (CCD) oder dergleichen beinhaltet.
Die Anzeigeeinheit 2 in der elektronischen Vorrichtung 1 gemäß den ersten und zweiten Ausführungsformen ist ein Konzept, das einen Lichtemitter, wie etwa die Lichtquelle 52b in 26, beinhaltet. Das Kapselendoskop 50 in 26 beinhaltet beispielsweise zwei Lichtquellen 52b, wobei diese Lichtquellen 52b jedoch durch ein Anzeigepanel 4 mit mehreren Lichtquelleneinheiten oder ein LED-Modul mit mehreren LEDs konfiguriert werden kann. In diesem Fall werden durch Anordnen der Bildgebungseinheit 8 der Kamera 52 unterhalb des Anzeigepanels 4 oder des LED-Moduls Beschränkungen hinsichtlich der Layoutanordnung der Kamera 52 reduziert und das Kapselendoskop 50 mit einer kleineren Größe kann erreicht werden.
Ferner ist 27 eine Rückansicht der elektronischen Vorrichtung 1 gemäß der ersten und zweiten Ausführungsform bei Anwendung in einer digitalen Spiegelreflexkamera 60. Die digitale Spiegelreflexkamera 60 und die Kompaktkamera beinhalten eine Anzeigeeinheit 2, die einen Vorschaubildschirm auf einer der Linse gegenüberliegenden Rückfläche anzeigt. Das Kameramodul 3 kann auf der der Anzeigefläche der Anzeigeeinheit 2 gegenüberliegenden Seite angeordnet sein, sodass ein Gesichtsbild der fotografierenden Person auf dem Anzeigebildschirm 1a der Anzeigeeinheit 2 angezeigt werden kann. Da das Kameramodul 3 in dem Bereich angeordnet werden kann, der die Anzeigeeinheit 2 überlappt, muss das Kameramodul 3 in der elektronischen Vorrichtung 1 gemäß der ersten bis vierten Ausführungsform nicht in dem Rahmenabschnitt der Anzeigeeinheit 2 bereitgestellt werden, und die Anzeigeeinheit 2 kann im höchstmöglichen Ausmaß vergrößert werden.
28 ist eine Draufsicht, die ein Beispiel veranschaulicht, in dem die elektronischen Vorrichtungen 1 gemäß der ersten und der zweiten Ausführungsform in einem Head Mounted Display (HMD) 61 angewendet werden. Das HMD 61 in 28 wird für virtuelle Realität (VR), erweiterte Realität (AR), gemischte Realität (MR), Ersatzrealität (SR) oder dergleichen verwendet. Wie in 29 veranschaulicht, ist die Kamera 62 in einem gegenwärtigen HMD an einer Außenfläche angebracht, und es besteht ein Problem, dass, während ein Träger des HMD ein Umgebungsbild visuell wahrnehmen kann, eine Person in der Umgebung einen Ausdruck der Augen oder des Gesichts des Trägers des HMD nicht erkennen kann.
Dementsprechend ist in 28 die Anzeigefläche der Anzeigeeinheit 2 auf der äußeren Oberfläche des HMD 61 bereitgestellt, und das Kameramodul 3 ist auf der gegenüberliegenden Seite der Anzeigefläche der Anzeigeeinheit 2 bereitgestellt. Somit kann der durch das Kameramodul 3 erfasste Gesichtsausdruck des Trägers auf der Anzeigefläche der Anzeigeeinheit 2 angezeigt werden, und die Person in der Umgebung des Trägers kann den Gesichtsausdruck und die Bewegung der Augen des Trägers in Echtzeit erkennen.
Im Fall von 28 gibt es, da das Kameramodul 3 auf der Rückflächenseite der Anzeigeeinheit 2 bereitgestellt ist, keine Beschränkung bezüglich des Installationsortes des Kameramoduls 3, und der Freiheitsgrad bei der Gestaltung des HMD 61 kann erhöht werden. Ferner ist es, da die Kamera an einer optimalen Position angeordnet werden kann, möglich, Probleme wie eine Fehlausrichtung der Augen des Trägers, die auf der Anzeigefläche angezeigt werden, zu verhindern.
Auf diese Weise kann in der dritten Ausführungsform die elektronische Vorrichtung 1 gemäß der ersten und zweiten Ausführungsform für verschiedene Anwendungen verwendet werden, und der Nutzwert kann erhöht werden.
Es sei angemerkt, dass die vorliegende Technologie die folgenden Konfigurationen aufweisen kann.
(1) Eine elektronische Vorrichtung, die eine Bildgebungseinheit beinhaltet, die mehrere Pixelgruppen beinhaltet, die jeweils zwei benachbarte Pixel beinhalten, wobei
mindestens eine erste Pixelgruppe der mehreren Pixelgruppen Folgendes beinhaltet:

(2) Die elektronische Vorrichtung nach (1), wobei die Bildgebungseinheit mehrere Pixelbereiche beinhaltet, in denen die Pixelgruppen in einer Zwei-mal-Zwei-Matrix angeordnet sind, und
die mehreren Pixelbereiche Folgendes beinhalten:

(3) Die elektronische Vorrichtung nach (2), wobei in dem ersten Pixelbereich entweder ein Rotfilter, ein Grünfilter oder ein Blaufilter entsprechend der ersten Pixelgruppe, die rotes Licht, grünes Licht und blaues Licht empfängt, angeordnet ist.
(4) Die elektronische Vorrichtung nach (3), wobei in dem zweiten Pixelbereich mindestens zwei des Rotfilters, des Grünfilters und des Blaufilters entsprechend der ersten Pixelgruppe, die mindestens zwei Farben aus rotem Licht, grünem Licht und blauem Licht empfängt, angeordnet sein und mindestens eines der zwei Pixel der zweiten Pixelgruppe entweder ein Cyanfilter, ein Magentafilter oder ein Gelbfilter beinhaltet.
(5) Die elektronische Vorrichtung nach (4), wobei mindestens eines der zwei Pixel der zweiten Pixelgruppe ein Pixel mit einem blauen Wellenlängenbereich ist.
(6) Die elektronische Vorrichtung nach (4), die ferner eine Signalverarbeitungseinheit beinhaltet, die eine Farbkorrektur eines durch mindestens eines der Pixel der ersten Pixelgruppe ausgegebenen Ausgangssignals auf Grundlage eines Ausgangssignals von mindestens einem der zwei Pixel der zweiten Pixelgruppe durchführt.
(7) Die elektronische Vorrichtung nach (2), wobei mindestens ein Pixel der zweiten Pixelgruppe ein Polarisationselement aufweist.
(8) Die elektronische Vorrichtung nach (7), wobei das dritte Pixel und das vierte Pixel das Polarisationselement beinhalten, und das in dem dritten Pixel enthaltene Polarisationselement und das in dem vierten Pixel enthaltene Polarisationselement unterschiedliche Polarisationsorientierungen aufweisen.
(9) Die elektronische Vorrichtung nach (7), die ferner eine Korrektureinheit beinhaltet, die ein Ausgangssignal eines Pixels der ersten Pixelgruppe unter Verwendung von Polarisationsinformationen basierend auf einem Ausgangssignal des Pixels mit dem Polarisationselement korrigiert.
(10) Die elektronische Vorrichtung nach (9), wobei das einfallende Licht über eine Anzeigeeinheit auf das erste Pixel und das zweite Pixel einfällt und
die Korrektureinheit eine Polarisationskomponente entfernt, die erfasst wird, wenn reflektiertes Licht und/oder gebeugtes Licht, das beim Durchgang durch die Anzeigeeinheit erzeugt wird, auf das erste Pixel und das zweite Pixel einfällt und erfasst wird.
(11) Die elektronische Vorrichtung nach (10), wobei die Korrektureinheit an durch fotoelektrische Umwandlung durch das erste Pixel und das zweite Pixel und Digitalisierung erhaltenen digitalen Pixeldaten eine Subtraktionsverarbeitung eines Korrekturbetrags basierend auf Polarisationsinformationsdaten durchführt, die durch Digitalisieren einer durch das Pixel mit dem Polarisationselement fotoelektrisch umgewandelten Polarisationskomponente erhalten werden, um die digitalen Pixeldaten zu korrigieren.
(12) Die elektronische Vorrichtung nach einem von (1) bis (11), die ferner Folgendes beinhaltet:

eine Ansteuerungseinheit, die in einem Bildgebungsframe Ladungen mehrfach aus jedem Pixel der mehreren Pixelgruppen liest, und
eine Analog-Digital-Umwandlungseinheit, die basierend auf mehreren Ladungslesevorgängen eine Analog-Digital-Umwandlung parallel an jedem von mehreren Pixelsignalen durchführt.

(13) Die elektronische Vorrichtung nach (12), wobei die Ansteuerungseinheit einen gemeinsamen Schwarzwert liest, der dem dritten Pixel und dem vierten Pixel entspricht.
(14) Die elektronische Vorrichtung nach einem von (1) bis (13), wobei die mehreren Pixel einschließlich der zwei benachbarten Pixel eine quadratische Form aufweisen.
(15) Die elektronische Vorrichtung nach einem von (1) bis (14), wobei eine Phasendifferenzdetektion auf Grundlage von Ausgangssignalen von zwei Pixeln der ersten Pixelgruppe möglich ist.
(16) Die elektronische Vorrichtung nach (6), wobei die Signalverarbeitungseinheit eine Weißabgleichverarbeitung durchführt, nachdem sie eine Farbkorrektur an dem Ausgangssignal durchgeführt hat.
(17) Die elektronische Vorrichtung nach (7), die ferner eine Interpolationseinheit beinhaltet, die das Ausgangssignal des Pixels mit dem Polarisationselement aus einer Ausgabe eines peripheren Pixels des Pixels interpoliert.
(18) Die elektronische Vorrichtung nach einem von (1) bis (17), wobei die erste bis dritte Linse On-Chip-Linsen sind, die einfallendes Licht auf eine fotoelektrische Umwandlungseinheit eines entsprechenden Pixels konzentrieren.
(19) Das elektronische Vorrichtung nach einem von (1) bis (18), die ferner eine Anzeigeeinheit beinhaltet, wobei
das einfallende Licht über die Anzeigeeinheit auf die mehreren Pixelgruppen einfällt.
Aspekte der vorliegenden Offenbarung sind nicht auf die oben beschriebenen einzelnen Ausführungsformen beschränkt, sondern umfassen verschiedene Modifikationen, die Fachleuten ersichtlich sind, und die Wirkungen der vorliegenden Offenbarung sind nicht auf die oben beschriebenen Inhalte beschränkt. Das heißt, es können verschiedene Hinzufügungen, Modifikationen und teilweise Streichungen vorgenommen werden, ohne von der konzeptionellen Idee und dem Wesen der vorliegenden Offenbarung, abgeleitet von den in den Ansprüchen und Äquivalenten davon definierten Inhalten, abzuweichen.
Bezugszeichenliste

1: Elektronische Vorrichtung
2: Anzeigeeinheit
8: Bildgebungseinheit
8a: Erster Pixelbereich
8b bis 8k: Zweiter Pixelbereich
22: On-Chip-Linse
22a: On-Chip-Linse
36: Streulichtkorrektursignalerzeugungseinheit
80: Pixel
80a: Pixel
82: Pixel
82a: Pixel
130: Vertikalansteuerungseinheit
140, 150: Analog-Digital-Umwandlungseinheit
510: Signalverarbeitungseinheit
800a: Fotoelektrische Umwandlungseinheit

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2019106634 [0003]
JP 2012168339 [0003]

Claims

Elektronische Vorrichtung, die eine Bildgebungseinheit umfasst, die mehrere Pixelgruppen beinhaltet, die jeweils zwei benachbarte Pixel beinhalten, wobei mindestens eine erste Pixelgruppe der mehreren Pixelgruppen Folgendes beinhaltet: ein erstes Pixel, das einen Teil des durch eine erste Linse konzentrierten einfallenden Lichts fotoelektrisch umwandelt, und ein sich von dem ersten Pixel unterscheidendes zweites Pixel, das einen Teil des durch die erste Linse konzentrierten einfallenden Lichts fotoelektrisch umwandelt, und mindestens eine zweite Pixelgruppe, die sich von der ersten Pixelgruppe unterscheidet, unter den mehreren Pixelgruppen Folgendes beinhaltet: ein drittes Pixel, das durch eine zweite Linse konzentriertes einfallendes Licht fotoelektrisch umwandelt, und ein viertes Pixel, das sich von dem dritten Pixel unterscheidet und durch eine sich von der zweiten Linse unterscheidende dritte Linse konzentriertes einfallendes Licht fotoelektrisch umwandelt.
Elektronische Vorrichtung nach Anspruch 1, wobei die Bildgebungseinheit mehrere Pixelbereiche beinhaltet, in denen die Pixelgruppen in einer Zwei-mal-Zwei-Matrix angeordnet sind, und die mehreren Pixelbereiche Folgendes beinhalten: einen ersten Pixelbereich, der der Pixelbereich ist, in dem vier der ersten Pixelgruppen angeordnet sind, und einen zweiten Pixelbereich, der der Pixelbereich ist, in dem drei der ersten Pixelgruppen und eine der zweiten Pixelgruppen angeordnet sind.
Elektronische Vorrichtung nach Anspruch 2, wobei in dem ersten Pixelbereich entweder ein Rotfilter, ein Grünfilter oder ein Blaufilter entsprechend der ersten Pixelgruppe, die rotes Licht, grünes Licht und blaues Licht empfängt, angeordnet ist.
Elektronische Vorrichtung nach Anspruch 3, wobei in dem zweiten Pixelbereich mindestens zwei des Rotfilters, des Grünfilters und des Blaufilters entsprechend der ersten Pixelgruppe, die mindestens zwei Farben aus rotem Licht, grünem Licht und blauem Licht empfängt, angeordnet sind und mindestens eines der zwei Pixel der zweiten Pixelgruppe entweder ein Cyanfilter, ein Magentafilter oder ein Gelbfilter beinhaltet.
Elektronische Vorrichtung nach Anspruch 4, wobei mindestens eines der zwei Pixel der zweiten Pixelgruppe ein Pixel mit einem blauen Wellenlängenbereich ist.
Elektronische Vorrichtung nach Anspruch 4, die ferner eine Signalverarbeitungseinheit umfasst, die eine Farbkorrektur eines durch mindestens eines der Pixel der ersten Pixelgruppe ausgegebenen Ausgangssignals auf Grundlage eines Ausgangssignals von mindestens einem der zwei Pixel der zweiten Pixelgruppe durchführt.
Elektronische Vorrichtung nach Anspruch 2, wobei mindestens ein Pixel der zweiten Pixelgruppe ein Polarisationselement aufweist.
Elektronische Vorrichtung nach Anspruch 7, wobei das dritte Pixel und das vierte Pixel das Polarisationselement beinhalten, und das in dem dritten Pixel enthaltene Polarisationselement und das in dem vierten Pixel enthaltene Polarisationselement unterschiedliche Polarisationsorientierungen aufweisen.
Elektronische Vorrichtung nach Anspruch 7, die ferner eine Korrektureinheit umfasst, die ein Ausgangssignal eines Pixels der ersten Pixelgruppe unter Verwendung von Polarisationsinformationen basierend auf einem Ausgangssignal des Pixels mit dem Polarisationselement korrigiert.
Elektronische Vorrichtung nach Anspruch 9, wobei das einfallende Licht über eine Anzeigeeinheit auf das erste Pixel und das zweite Pixel einfällt und die Korrektureinheit eine Polarisationskomponente entfernt, die erfasst wird, wenn reflektiertes Licht und/oder gebeugtes Licht, das beim Durchgang durch die Anzeigeeinheit erzeugt wird, auf das erste Pixel und das zweite Pixel einfällt und erfasst wird.
Elektronische Vorrichtung nach Anspruch 10, wobei die Korrektureinheit an durch fotoelektrische Umwandlung durch das erste Pixel und das zweite Pixel und Digitalisierung erhaltenen digitalen Pixeldaten eine Subtraktionsverarbeitung eines Korrekturbetrags basierend auf Polarisationsinformationsdaten durchführt, die durch Digitalisieren einer durch das Pixel mit dem Polarisationselement fotoelektrisch umgewandelten Polarisationskomponente erhalten werden, um die digitalen Pixeldaten zu korrigieren.
Elektronische Vorrichtung nach Anspruch 1, die ferner Folgendes umfasst: eine Ansteuerungseinheit, die in einem Bildgebungsframe Ladungen mehrfach aus jedem Pixel der mehreren Pixelgruppen liest, und eine Analog-Digital-Umwandlungseinheit, die basierend auf mehreren Ladungslesevorgängen eine Analog-Digital-Umwandlung parallel an jedem von mehreren Pixelsignalen durchführt.
Elektronische Vorrichtung nach Anspruch 12, wobei die Ansteuerungseinheit einen gemeinsamen Schwarzwert liest, der dem dritten Pixel und dem vierten Pixel entspricht.
Elektronische Vorrichtung nach Anspruch 1, wobei die mehreren Pixel einschließlich der zwei benachbarten Pixel eine quadratische Form aufweisen.
Elektronische Vorrichtung nach Anspruch 1, wobei eine Phasendifferenzdetektion auf Grundlage von Ausgangssignalen von zwei Pixeln der ersten Pixelgruppe möglich ist.
Elektronische Vorrichtung nach Anspruch 6, wobei die Signalverarbeitungseinheit eine Weißabgleichverarbeitung durchführt, nachdem sie eine Farbkorrektur an dem Ausgangssignal durchgeführt hat.
Elektronische Vorrichtung nach Anspruch 7, die ferner Folgendes umfasst: eine Interpolationseinheit, die ein Ausgangssignal des Pixels mit dem Polarisationselement unter Verwendung digitaler Pixeldaten einer Pixelposition um das Pixel herum interpoliert.
Elektronische Vorrichtung nach Anspruch 1, wobei die erste bis dritte Linse On-Chip-Linsen sind, die einfallendes Licht auf eine fotoelektrische Umwandlungseinheit eines entsprechenden Pixels konzentrieren.
Elektronische Vorrichtung nach Anspruch 1, die ferner eine Anzeigeeinheit umfasst, wobei das einfallende Licht über die Anzeigeeinheit auf die mehreren Pixelgruppen einfällt.