DE112021000853T5

DE112021000853T5 - Elektronisches gerät

Info

Publication number: DE112021000853T5
Application number: DE112021000853.6T
Authority: DE
Inventors: Masashi Nakata
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2020-02-03
Filing date: 2021-01-15
Publication date: 2022-12-08
Also published as: CN214381044U; US20230030068A1; CN113286058A; EP4102816A4; EP4102816A1; WO2021157324A1; JPWO2021157324A1; TW202143213A; KR20220135235A

Abstract

Um eine Verschlechterung der Bildqualität aufgrund von Artefakten zu unterdrücken, enthält ein elektronisches Gerät eine Anzeigeeinheit, eine auf einer einer Anzeigeoberfläche der Anzeigeeinheit entgegengesetzten Seite angeordnete Bildgebungseinheit und eine Signalverarbeitungseinheit. Die Bildgebungseinheit enthält eine Vielzahl von On-Chip-Linsen und eine Vielzahl von Pixeln, worin die On-Chip-Linse eine erste On-Chip-Linse umfasst, die Vielzahl von Pixeln ein erstes Pixel umfasst, das erste Pixel so angeordnet ist, dass es die erste On-Chip-Linse überlappt, und das erste Pixel eine Vielzahl fotoelektrischer Umwandlungseinheiten enthält. Die Signalverarbeitungseinheit verarbeitet von der Vielzahl von Pixeln abgegebene Signale.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung bezieht sich auf elektronische Geräte.
HINTERGRUNDTECHNIK
In neueren elektronischen Geräten wie etwa einem Smartphone, einem Mobiltelefon und einem Personal Computer (PC) ist eine Kamera in einem Rahmen (einer Lünette bzw. Einfassung) einer Anzeigeeinheit montiert, sodass Videotelefonie und Bewegtbildaufnahmen einfach durchgeführt werden können. Da Smartphones und Mobiltelefone oft in Taschen oder Beuteln mitgeführt werden, ist es notwendig, die Außengröße so kompakt wie möglich zu gestalten. Wenn auf der anderen Seite die Größe des Anzeigeschirms klein ist, wird mit höherer Anzeigeauflösung die Größe der angezeigten Zeichen kleiner und ist es schwierig, das Zeichen visuell zu erkennen. Aus diesem Grund wurden Untersuchungen durchgeführt, um die Größe des Anzeigeschirms so weit wie möglich zu vergrößern, ohne die Außengröße des elektronischen Geräts zu erhöhen, indem die Breite der Einfassung um den Anzeigeschirm reduziert wird.
Da jedoch eine Kamera oder dergleichen oft auf der Einfassung des elektronischen Geräts montiert ist, kann die Einfassungsbreite nicht kleiner als die Größe des Außendurchmessers der Kamera eingerichtet werden. Darüber hinaus liegt, falls die Kamera in der Einfassung angeordnet ist, wenn beispielsweise ein Gespräch bei einer Videotelefonie geführt wird, die Augen- bzw. Blicklinie oft in der Nähe der Mitte des Anzeigeschirms und weicht somit die Blicklinie von der optischen Achse der Kamera ab und wird ein aufgenommenes Bild mit dem unangenehmen Gefühl, dass sich die Blicklinien nicht treffen, erhalten. Um das oben beschriebene Problem zu lösen, wurde vorgeschlagen, dass ein Kameramodul auf einer einer Anzeigeoberfläche einer Anzeigeeinheit entgegengesetzten Seite angeordnet wird und Licht vom Objekt bzw. Gegenstand, das durch die Anzeigeeinheit gelangt ist, mit einer Kamera abgebildet wird.
ZITATLISTE
PATENTDOKUMENT
Patentdokument 1: Offengelegte japanische Patentanmeldung Nr. 2013-211413
ZUSAMMENFASSUNG DER ERFINDUNG
DURCH DIE ERFINDUNG ZU LÖSENDE PROBLEME
Da ein Teil des durch die Anzeigeeinheit gelangenden Lichts durch Reflexion oder Beugung auf die Kamera fällt, besteht jedoch das Problem, dass die Bildqualität des abgebildeten Bildes aufgrund von Artefakten wegen des Einflusses von Streulicht infolge einer Reflexion oder Beugung oder des Einflusses einer Verdrahtung oder dergleichen, die in einem oberen Bereich (Anzeigeoberflächenseite der Anzeige) der Kamera angeordnet ist, verschlechtert wird.
Ein Aspekt der vorliegenden Offenbarung stellt ein elektronisches Gerät bereit, das imstande ist, eine Verschlechterung der Bildqualität aufgrund von Artefakten zu unterdrücken.
LÖSUNG FÜR DIE PROBLEME
Gemäß einem Modus enthält ein elektronisches Gerät eine Anzeigeeinheit, eine Bildgebungseinheit, die auf einer einer Anzeigeoberfläche der Anzeigeeinheit entgegengesetzten Seite angeordnet ist, und eine Signalverarbeitungseinheit. Die Bildgebungseinheit enthält eine Vielzahl von On-Chip-Linsen und eine Vielzahl von Pixeln, worin die On-Chip-Linse eine erste On-Chip-Linse umfasst, die Vielzahl von Pixeln ein erstes Pixel umfasst, das erste Pixel so angeordnet ist, dass es die erste On-Chip-Linse überlappt, und das erste Pixel eine Vielzahl fotoelektrischer Umwandlungseinheiten enthält. Die Signalverarbeitungseinheit verarbeitet von der Vielzahl von Pixeln abgegebene Signale.
Das erste Pixel kann Informationen über eine vorbestimmte Farbe erfassen. Beispielsweise erfasst jedes Pixel vorbestimmte Farbinformationen auf der Basis einer Farbanordnung in einem Bayer-Array oder dergleichen.
Das erste Pixel kann einen Farbfilter enthalten.
Das erste Pixel kann einen organischen fotoelektrischen Umwandlungsfilm enthalten, in dem jede fotoelektrische Umwandlungseinheit, die zu demselben ersten Pixel gehört, Licht derselben Farbe empfängt. Wie oben beschrieben wurde, können spezifische Farbinformationen unter Verwendung des Filters oder des organischen fotoelektrischen Umwandlungsfilms extrahiert werden.
Das Pixel kann m × n (m und n sind jeweils eine ganze Zahl 2 oder höher) fotoelektrische Umwandlungseinheiten enthalten. Beispielsweise kann jedes Pixel 2 × 2 fotoelektrische Umwandlungseinheiten, 3 × 3 fotoelektrische Umwandlungseinheiten, 4 × 4 fotoelektrische Umwandlungseinheit oder 2 × 3 fotoelektrische Umwandlungseinheiten oder dergleichen enthalten.
Die fotoelektrische Umwandlungseinheit enthält ein fotoelektrisches Umwandlungselement.
Das fotoelektrische Umwandlungselement kann eine Fotodiode sein.
Die Bildgebungseinheit kann eine Vielzahl erster Pixel aufweisen, die nach einem Bayer-Array gefärbt sind.
Die Linse kann eine On-Chip-Linse sein. Darüber hinaus kann eine On-Chip-Mikrolinse vorgesehen werden.
Ein von der Linse verschiedenes optisches System kann zwischen der Anzeigeeinheit und der Bildgebungseinheit vorgesehen sein.
Bei dem optischen System kann es sich um ein Mikrolinsen-Array handeln.
Die Signalverarbeitungseinheit kann Ausgabewerte der fotoelektrischen Umwandlungseinheiten, die zu demselben ersten Pixel gehören, addieren, um den Ausgabewert des Pixels zu erhalten.
Die Signalverarbeitungseinheit kann den Ausgabewert des ersten Pixels korrigieren, falls die Ausgabewerte von den jeweiligen fotoelektrischen Umwandlungseinheiten eine vorbestimmte Differenz oder ein vorbestimmtes Verhältnis in den in demselben ersten Pixel ausgebildeten fotoelektrischen Umwandlungseinheiten überschreiten.
Die vorbestimmte Differenz oder das vorbestimmte Verhältnis kann auf der Basis von zumindest einer individuellen Differenz der fotoelektrischen Umwandlungseinheiten, einer Phasendifferenz in Abhängigkeit von Positionen der fotoelektrischen Umwandlungseinheiten oder von in den fotoelektrischen Umwandlungseinheiten erzeugtem Rauschen bestimmt bzw. entschieden werden.
Die Signalverarbeitungseinheit kann den Ausgabewert des ersten Pixels unter Verwendung eines Pixels mit einem niedrigen Ausgabewert der fotoelektrischen Umwandlungseinheiten im ersten Pixel berechnen.
Die Signalverarbeitungseinheit kann den Ausgabewert des ersten Pixels korrigieren, indem der Ausgabewert des ersten Pixels, das den Ausgabewert derselben Farbe um das erste Pixel herum erfasst, verwendet wird.
Die Signalverarbeitungseinheit kann eine Korrektur im ersten Pixel durchführen, falls ein Objekt bzw. Gegenstand mit einer vorbestimmten Helligkeit oder höher enthalten ist.
Die Signalverarbeitungseinheit kann streulichtkorrigierte Bilddaten aus dem erfassten Signal gewinnen bzw. erfassen.
Die Signalverarbeitungseinheit kann bestimmen, dass im abgebildeten Bild Streulicht auftritt.
Eine Vielzahl von Bildgebungseinheiten kann an verschiedenen Positionen auf der Anzeigeoberfläche vorhanden sein, und die Signalverarbeitungseinheit kann eine Korrektur für Pixel, die zu dem Gebiet gehören, von dem bestimmt wird, dass es Streulicht aufweist, auf der Basis von Ausgaben entsprechender Pixel-Gebiete der Bildgebungseinheiten durchführen, die an den verschiedenen Positionen vorhanden sind.
Die Signalverarbeitungseinheit kann eine Korrektur für Pixel, die zu dem Gebiet gehören, von dem bestimmt wird, dass es Streulicht aufweist, auf der Basis eines gelernten Modells durchführen.
Für das erfasste erste Pixel kann die Signalverarbeitungseinheit eine Korrektur auf der Basis von zumindest einem Durchschnittswert von Ausgaben der Vielzahl fotoelektrischer Umwandlungseinheiten, die zum ersten Pixel gehören, einem Wert mit einer niedrigen Empfindlichkeit unter Ausgaben der fotoelektrischen Umwandlungseinheiten, die zum ersten Pixel gehören, oder einem Wert durchführen, der erhalten wird, indem Ausgaben der Vielzahl fotoelektrischer Umwandlungseinheiten, die zum ersten Pixel gehören, in ein gelerntes Modell eingegeben werden.
Die Signalverarbeitungseinheit kann eine Korrektur unter Verwendung der fotoelektrischen Umwandlungseinheiten für das erste Pixel auf der Basis einer Schaltung der Anzeigeeinheit oder eines optischen Systems durchführen.
Falls die Korrektur auf der Basis der Schaltung der Anzeigeeinheit oder des optischen Systems für das erste Pixel durchgeführt wird, kann die Signalverarbeitungseinheit eine Rauschentfernung durchführen, die sich von jener eines anderen ersten Pixels unterscheidet.
Die Anzeigeeinheit kann auf beiden Oberflächen einer Vorrichtung vorgesehen sein.
Figurenliste

1 ist eine schematische Querschnittsdarstellung eines elektronischen Geräts gemäß einer Ausführungsform.
2 ist eine schematische Außendarstellung und eine Querschnittsdarstellung eines elektronischen Geräts gemäß einer Ausführungsform.
3A ist eine schematische Querschnittsdarstellung eines elektronischen Geräts gemäß einer Ausführungsform.
3B ist eine schematische Querschnittsdarstellung eines elektronischen Geräts gemäß einer Ausführungsform.
4 ist eine Blockdarstellung, die ein elektronisches Gerät gemäß einer Ausführungsform schematisch veranschaulicht.
5 ist eine Darstellung, die eine Bildgebungseinheit gemäß einer Ausführungsform veranschaulicht.
6 ist eine Darstellung, die Bildgebungspixel gemäß einer Ausführungsform schematisch veranschaulicht.
7 ist eine Darstellung, die Bildgebungspixel gemäß einer Ausführungsform schematisch darstellt.
8 ist eine Darstellung, die einen Einfall von Licht von einem hellen Objekt bzw. Gegenstand durch eine Bildgebungseinheit gemäß einer Ausführungsform veranschaulicht.
9 ist eine Darstellung, die ein Bildgebungspixel veranschaulicht, auf das Licht von einem hellen Gegenstand gemäß einer Ausführungsform fällt.
10 ist ein Flussdiagramm, das eine Korrekturverarbeitung gemäß einer Ausführungsform veranschaulicht.
11 ist eine Darstellung, die eine Rauschkorrektur gemäß einer Ausführungsform veranschaulicht.
12 ist ein Flussdiagramm, das eine Korrekturverarbeitung gemäß einer Ausführungsform veranschaulicht.
13 ist ein Flussdiagramm, das eine Korrekturverarbeitung gemäß einer Ausführungsform veranschaulicht.
14 ist eine Querschnittsdarstellung, die ein Anordnungsbeispiel von Bildgebungseinheiten gemäß einer Ausführungsform veranschaulicht.
15 ist eine Darstellung, die einen Zustand einer Bildverschlechterung einer Bildgebungseinheit aufgrund einer Verdrahtung einer Anzeigeeinheit veranschaulicht.
16 ist eine Darstellung, die einen Zustand einer Bildverschlechterung einer Bildgebungseinheit aufgrund einer Verdrahtung einer Anzeigeeinheit veranschaulicht.
17 ist eine Querschnittsdarstellung, die ein Kameramodul gemäß einer Ausführungsform schematisch veranschaulicht.
18 ist eine Draufsicht in einem Fall, in dem ein elektronisches Gerät einer Ausführungsform für ein Kapselendoskop verwendet wird.
19 ist eine rückseitige Darstellung eines elektronischen Geräts gemäß einer Ausführungsform, das für eine digitale Spiegelreflexkamera verwendet wird.
20 ist eine rückseitige Darstellung eines elektronischen Geräts einer Ausführungsform, das für eine am Kopf montierte Anzeige bzw. ein Head-Mounted-Display verwendet wird.
21 ist eine rückseitige Darstellung eines elektronischen Geräts einer Ausführungsform, das für ein Head-Mounted-Display verwendet wird.

MODUS ZUM AUSFÜHREN DER ERFINDUNG
Ausführungsformen eines elektronischen Geräts werden mit Verweis auf die Zeichnungen unten beschrieben. Obgleich unten vorwiegend Hauptkomponenten des elektronischen Geräts beschrieben werden, kann das elektronische Gerät Komponenten und Funktionen aufweisen, die nicht veranschaulicht oder beschrieben werden. Die unten dargelegte Beschreibung schließt Komponenten oder Funktionen nicht aus, die nicht veranschaulicht oder beschrieben werden. Darüber hinaus gibt es Fälle, in denen die Größe, Form, das Aspektverhältnis und dergleichen aus Gründen der Beschreibung verändert sind, aber diese bei einer Montage eine geeignete Größe, Form, ein geeignetes Aspektverhältnis und dergleichen aufweisen. Man beachte, dass in der unten dargelegten Beschreibung ein zu erfassendes Signal als Bildinformation oder Bildgebungsinformation beschrieben wird, aber die Bildinformation und die Bildgebungsinformation Konzepte in einem weiten Sinne sind und Konzepte sind, die ein Bild eines Einzelbildes bzw. Frames in einem Standbild, einem Bewegtbild oder einem Video einschließen. Darüber hinaus können „größer“ und „kleiner“ als „gleich oder größer“ bzw. „gleich oder geringer als“ gelesen werden.
(Erste Ausführungsform)
1 ist eine schematische Querschnittsdarstellung eines elektronischen Geräts gemäß der ersten Ausführungsform. Das elektronische Gerät 1 in 1 ist eine beliebige Vorrichtung mit einer Anzeigefunktion und einer Bildgebungsfunktion, zum Beispiel ein Smartphone, ein Mobiltelefon, ein Tablet, ein Personal Computer oder dergleichen. Das elektronische Gerät 1 enthält eine Anzeigeeinheit 2 und ein Kameramodul 3. Das Kameramodul 3 ist auf der Rückseite der Anzeigeoberfläche der Anzeigeeinheit 2 angeordnet. Das heißt, das Kameramodul 3 führt eine Abbildung bzw. Bildgebung durch die Anzeigeeinheit 2 durch. In der Beschreibung der Ausführungsform kann hier im Folgenden das Kameramodul 3 als unter der Anzeige befindlich beschrieben werden.
2 ist eine schematische Außendarstellung und eine Querschnittsdarstellung des elektronischen Geräts 1 von 1. Im Beispiel von 2 dehnt sich ein Anzeigeschirm 1a bis nahe an die Außengröße des elektronischen Geräts 1 aus und kann die Breite einer Lünette bzw. Einfassung 1b um den Anzeigeschirm 1a auf zum Beispiel einige Millimeter oder weniger festgelegt sein. Normalerweise ist eine Frontkamera oft in der Einfassung 1b montiert; aber wie durch die gestrichelte Linie in 2 angegeben ist, ist das als die Frontkamera fungierende Kameramodul 3 auf der Seite der rückseitigen Oberfläche im Anzeigeschirm 1a angeordnet. Wie oben beschrieben wurde, ist es, indem man die Frontkamera auf der Seite der rückseitigen Oberfläche des Anzeigeschirms 1a vorsieht, nicht notwendig, die Frontkamera in der Einfassung 1b anzuordnen, und kann die Breite der Einfassung 1b verringert werden.
Man beachte, dass in 2 das Kameramodul 3 auf der Seite der rückseitigen Oberfläche von im Wesentlichen der Mitte des Anzeigeschirms 1a angeordnet ist, es aber ausreicht, falls das Kameramodul 3 auf der Seite der rückseitigen Oberfläche des Anzeigeschirms 1a angeordnet wird. Beispielsweise kann das Kameramodul 3 auf der Seite der rückseitigen Oberfläche in der Nähe eines peripheren Randbereichs des Anzeigeschirms 1a angeordnet werden oder auf der Seite der rückseitigen Oberfläche unterhalb der Mitte des Anzeigeschirms 1a in 2 angeordnet werden, falls es zur Authentifizierung mittels Fingerabdruck oder dergleichen verwendet wird. Wie oben beschrieben wurde, kann in der vorliegenden Ausführungsform das Kameramodul 3 an einer den Anzeigeschirm 1a überlappenden beliebigen Position angeordnet werden. Man beachte, dass, sofern nicht anders konkret angegeben, „überlappend“ in der vorliegenden Offenbarung bedeutet, zum Beispiel ein gemeinsames Gebiet in der horizontalen Richtung in 1 oder ein gemeinsames Existenzgebiet in der horizontalen Richtung aufzuweisen und an einer in der vertikalen Richtung verschobenen Position angeordnet zu sein. In einem Fall, in dem sich die Anzeigeoberfläche der Anzeigeeinheit 2 oben und eine Bildgebungseinheit 8 unten befindet, meint dies beispielsweise einen Zustand, in dem sie in einer Aufwärts-Abwärts-Richtung verschoben sind und nicht in einer Links-Rechts-Richtung verschoben sind.
In 2 sind die Anzeigeeinheit 2 und das Kameramodul 3 auf einer Oberfläche der Vorrichtung vorgesehen; aber man ist nicht darauf beschränkt. Beispielsweise können die Anzeigeeinheit 2 und das Kameramodul 3 auf beiden Oberflächen der Vorrichtung vorgesehen sein.
Wie in 1 veranschaulicht ist, ist die Anzeigeeinheit 2 ein struktureller Körper, in dem ein Anzeigefeld 4, eine zirkular polarisierende Platte 5, ein Berührungsfeld 6 und ein Deckglas 7 in dieser Reihenfolge als ein optisches Anzeigesystem gestapelt sind. Man beachte, dass deren Anordnung nicht auf die Obige beschränkt ist und sie in geeigneter Weise ausgetauscht werden können oder zwei oder mehr mit der gleichen Konfiguration vorhanden sein können.
Das Anzeigefeld 4 kann zum Beispiel eine organische lichtemittierende Diode (OLED), einen Flüssigkristall, eine Mikro-LED oder ein auf einem anderen Anzeigeprinzip basierendes Element enthalten. Das Anzeigefeld 4 wie etwa eine OLED enthält eine Vielzahl von Schichten. Ein Element bzw. Bauteil mit einer geringen Durchlässigkeit wie etwa eine Farbfilterschicht oder dergleichen ist oft im Anzeigefeld 4 angeordnet. Wie später beschrieben wird, kann ein Durchgangsloch im Bauteil mit einer geringen Durchlässigkeit im Anzeigefeld 4 entsprechend dem Ort einer Anordnung des Kameramoduls 3 ausgebildet sein. Wenn man das durch das Durchgangsloch gelangende Objekt- bzw. Gegenstandslicht auf das Kameramodul 3 fallen lässt, kann die Bildqualität des mittels des Kameramoduls 3 aufgenommenen bzw. abgebildeten Bildes verbessert werden.
Die zirkular polarisierende Platte 5 ist, um eine Blendung zu reduzieren, die Sichtbarkeit des Anzeigeschirms 1a auch in einer hellen Umgebung zu verbessern oder dergleichen, vorgesehen. Ein Berührungssensor ist im Berührungsfeld 6 integriert. Es gibt verschiedene Arten von Berührungssensoren wie etwa einen kapazitiven Typ, einen Typ mit Widerstandsfilm und einen druckempfindlichen Typ; aber jeder beliebige Typ kann verwendet werden. Darüber hinaus können das Berührungsfeld 6 und das Anzeigefeld 4 integriert sein. Das Deckglas 7 ist vorgesehen, um das Anzeigefeld 4 und dergleichen zu schützen.
Das Kameramodul 3 enthält die Bildgebungseinheit 8 und ein optisches System 9. Das optische System 9 ist auf der Seite der Lichteinfallsoberfläche der Bildgebungseinheit 8, das heißt, auf der Seite nahe der Anzeigeeinheit 2, angeordnet und bündelt das durch die Anzeigeeinheit 2 hindurchgehende Licht auf der Bildgebungseinheit 8. Das optische System 9 kann eine oder eine Vielzahl von Linsen enthalten.
Die Bildgebungseinheit 8 enthält eine Vielzahl fotoelektrischer Umwandlungseinheiten. In jeder fotoelektrischen Umwandlungseinheit ist eine Linse angeordnet. Diese Linse bewirkt, dass die jedes Pixel bildende fotoelektrische Umwandlungseinheit Licht empfängt, das durch das optische System 9 geeignet zur Bildgebungseinheit 8 ausgesandt bzw. emittiert wird. Die fotoelektrische Umwandlungseinheit wandelt das durch die Anzeigeeinheit 2 einfallende Licht fotoelektrisch um. Die fotoelektrische Umwandlungseinheit kann ein Sensor aus einem komplementären Metalloxid-Halbleiter (CMOS) oder ein Sensor einer ladungsgekoppelten Vorrichtung (CCD) sein. Darüber hinaus kann die fotoelektrische Umwandlungseinheit eine Fotodiode oder einen organischen fotoelektrischen Umwandlungsfilm enthalten. Die Vielzahl fotoelektrischer Umwandlungseinheiten kann in beliebiger Art und Weise in einem Array angeordnet sein. Das Verfahren zum Anordnen der Vielzahl fotoelektrischer Umwandlungseinheiten in einem Array kann beispielsweise ein Bayer-Array, ein Zwischenzeilen-Array, ein Schachbrett-Array, ein Streifen-Array oder ein anderes Array sein.
In der vorliegenden Offenbarung wird auf einen Ausgabewert der fotoelektrischen Umwandlungseinheit oder einen einer vorbestimmten Umwandlung auf der Basis des Ausgabewerts unterzogenen Wert als Pixel-Wert verwiesen.
3A ist eine Darstellung, die eine Beziehung zwischen dem Kameramodul 3 und dem Anzeigefeld 4 in 1 detaillierter beschreibt. Sie ist eine Darstellung, die ein Beispiel des Kameramoduls 3 veranschaulicht. Das Kameramodul 3 enthält beispielsweise die Bildgebungseinheit 8 und das optische System 9. Das optische System 9 ist auf der Seite der Lichteinfallsoberfläche der Bildgebungseinheit 8, das heißt auf der Seite nahe der Anzeigeeinheit 2, angeordnet. Das durch die Anzeigeoberfläche der Anzeigeeinheit 2 durchgelassene Licht breitet sich durch das optische System 9 zur Bildgebungseinheit 8 aus.
Die Bildgebungseinheit 8 enthält beispielsweise ein lichtempfangendes Element und ein fotoelektrisches Umwandlungselement wie etwa eine Fotodiode oder dergleichen. Das Licht, das durch das optische System 9 gebündelt, gebrochen, zerstreut oder dergleichen und weitergeleitet wird, wird von den fotoelektrischen Umwandlungseinheiten empfangen, die in der Bildgebungseinheit 8 enthalten sind und ein analoges Signal abgeben. Die fotoelektrische Umwandlungseinheit kann beispielsweise auf der Seite der Einfallsoberfläche jedes Bildgebungselements einen Farbfilter wie etwa ein Bayer-Array enthalten oder kann einen gestapelten Farbfilter enthalten. Darüber hinaus kann anstelle des Farbfilters ein organischer fotoelektrischer Umwandlungsfilm vorgesehen werden. Außerdem können jene, die für einen Filter substituiert werden können, um ein Farbbild zu erfassen, vorgesehen werden. Obgleich nicht veranschaulicht, sind darüber hinaus ein Element, eine Schaltung und dergleichen, die zum Empfangen von Licht und Abgeben eines analogen Signals notwendig sind, vorgesehen. Darüber hinaus kann ein polarisierendes Element oder dergleichen vorgesehen werden.
Das optische System 9 kann ein Konzept aufweisen, das eine im Anzeigefeld 4 vorgesehene Blende bzw. Apertur einschließt, welche das Durchgangsloch im oben beschriebenen Bauteil mit einer geringen Durchlässigkeit ist. Als das optische System 9 sind beispielsweise die im Anzeigefeld 4 vorgesehene Apertur und die Linse an einer näher zur Bildgebungseinheit 8 als die Apertur gelegenen Position angeordnet. Beispielsweise kann die Apertur in einem Substrat 4a mit einer geringen Durchlässigkeit vorgesehen sein, und eine Linse, die das durch den Aperturbereich zur Bildgebungseinheit 8 durchgelassene Licht weiterleitet, kann vorgesehen sein. Optische Eigenschaften wie etwa eine numerische Apertur (Na) und eine f-Zahl bzw. Blendenzahl in jedem Kameramodul 3 sind beispielsweise durch die Linse die Apertur definiert. Darüber hinaus kann das optische System 9 außerdem bewirken, dass das Kameramodul 3 andere optische Eigenschaften wie etwa unterschiedliche Abbe-Zahlen aufweist.
Man beachte, dass die Apertur und die Linse als ein Beispiel veranschaulicht sind und die Konfiguration des optischen Systems 9 nicht notwendigerweise auf solch eine Kombination beschränkt ist. Darüber hinaus ist in der Zeichnung eine oder eine Vielzahl von Linsen für eine Apertur vorgesehen; man ist aber nicht darauf beschränkt. Wie in 3B veranschaulicht ist, kann im optischen System 9 beispielsweise eine Vielzahl von Aperturen für eine Linse vorgesehen werden. In dem Gebiet, in dem die Apertur nicht vorhanden ist, können beispielsweise lichtemittierende Elemente des Anzeigefeldes 4 vorgesehen werden, und die Apertur kann zwischen den lichtemittierenden Elementen vorgesehen werden. Mit dieser Anordnung kann das Kameramodul 3 ohne Schrägstellung bzw. Versatz der Anzeige vorgesehen werden.
Wie oben beschrieben wurde, kann die Vielzahl von Kameramodulen 3 mit unterschiedlichen optischen Eigenschaften je nach der Form der Apertur, der Leistungsfähigkeit der Linse und dergleichen ausgebildet werden. Falls es zwei oder mehr Kameramodule 3 gibt, können die den zwei oder mehr Kameramodulen 3 entsprechenden optischen Systeme 9 unterschiedliche optische Eigenschaften aufweisen. Als ein weiteres Beispiel kann das Kameramodul 3 in eine Vielzahl von Gruppen unterteilt werden und kann jede Gruppe unterschiedliche optische Eigenschaften aufweisen. Beispielsweise kann das optische System 9 vorgesehen werden, indem die Form und Richtung der Apertur, das Material der Linse oder dergleichen verändert werden, sodass zwei Kameramodule 3 mit gemeinsamen optischen Eigenschaften und ein Kameramodul 3 mit sich unterscheidenden optischen Eigenschaften vorgesehen werden.
Wie durch die Pfeile in 3A angegeben ist, wird das von der Seite der Anzeigeoberfläche der Anzeigeeinheit 2 aus einfallende Licht durch das optische System 9 gebrochen oder dergleichen und von der Bildgebungseinheit 8 empfangen. In einem Bereich, in dem das optische System 9 nicht vorgesehen ist, können eine Reflexion und dergleichen geeignet unterdrückt werden und kann eine Anzeige auf der Anzeigeeinheit 2 so eingestellt werden, dass sie ähnlich einer normalen Anzeige leicht zu erkennen ist. Beispielsweise ist die Apertur zwischen lichtemittierenden Pixeln des Anzeigefeldes 4 vorgesehen, ist eine Linse auf einer der Anzeigeoberfläche entgegengesetzten Seite in der Apertur vorgesehen und wird das von der Seite der Anzeigeoberfläche aus einfallende Licht zur Bildgebungseinheit 8 emittiert. Darüber hinaus kann die Apertur zwischen jedem aufeinander folgender lichtemittierende Pixel vorgesehen werden. Mit anderen Worten können die lichtemittierenden Pixel so konfiguriert sein, dass sie zwischen Apertur und Apertur vorgesehen sind.
Ein Beispiel einer Abbildungs- bzw. Bildgebungsfunktion des elektronischen Geräts 1 wird hier beschrieben.
4 veranschaulicht ein Beispiel einer Blockdarstellung, die eine Konfiguration angibt, die sich auf einen Bildgebungsbetrieb des elektronischen Geräts 1 gemäß der vorliegenden Ausführungsform bezieht. Das elektronische Gerät 1 enthält die Anzeigeeinheit 2, die Vielzahl von Kameramodulen 3, eine Signalerfassungseinheit 10, eine Signalverarbeitungseinheit 12, eine Nachverarbeitungseinheit 14, eine Ausgabeeinheit 16, eine Steuerungseinheit 18 und eine Speichereinheit 20.
Ähnlich den oben beschriebenen Zeichnungen sind die Kameramodule 3 auf der der Anzeigeoberfläche der Anzeigeeinheit 2 entgegengesetzten Seite vorgesehen. Die Vielzahl von Kameramodulen 3 kann auf der Anzeigeoberfläche einer Anzeigeeinheit 2 vorgesehen sein. Jedes Kameramodul 3 enthält die Bildgebungseinheit 8 und das optische System 9.
Die Signalerfassungseinheit 10 ist eine Schaltung, die ein von der Bildgebungseinheit 8 abgegebenes analoges Signal verarbeitet. Die Signalerfassungseinheit 10 enthält zum Beispiel einen Analog-Digital-Wandler (ADC) und wandelt ein eingespeistes analoges Signal in digitale Bilddaten um.
Die Signalverarbeitungseinheit 12 erfasst ein abgebildetes Bild aus den digitalen Bilddaten, die durch Umwandlung mittels der Signalerfassungseinheit 10 erhalten wurden. Ein Abbildungs- bzw. Bildgebungsergebnis wird auf der Basis der vom Kameramodul 3 gewonnenen digitalen Bilddaten erfasst. Konkret erfasst beispielsweise die Signalverarbeitungseinheit 12 ein Bildgebungsergebnis, in dem Artefakte wie etwa im Kameramodul 3 auftretendes Streulicht unter Verwendung der erhaltenen Bilddaten mittels einer Signalverarbeitung unterdrückt werden.
Die Nachverarbeitungseinheit 14 führt eine geeignete Verarbeitung an dem von der Signalverarbeitungseinheit 12 ausgegebenen Bildgebungsergebnis durch und gibt das verarbeitete Bildgebungsergebnis aus. Bei der geeigneten Verarbeitung kann es sich beispielsweise um eine Bildverarbeitung oder Signalverarbeitung wie etwa eine Pixel-Defektkorrektur, eine Randverbesserung, eine Rauschentfernung, eine Helligkeitseinstellung, eine Farbkorrektur, eine Weißabgleich-Einstellung, eine Verzerrungskorrektur, eine Autofokus-Verarbeitung und dergleichen handeln. Darüber hinaus kann diese geeignete Verarbeitung eine vom Nutzer bestimmte Verarbeitung sein. Darüber hinaus muss die Nachverarbeitungseinheit 14 nicht unabhängig vorgesehen werden, und beispielsweise kann die Signalverarbeitungseinheit 12 die Verarbeitung bis zur oben beschriebenen Nachverarbeitung ausführen.
Die Ausgabeeinheit 16 gibt Informationen an die äußere Umgebung des elektronischen Geräts 1 aus. Die Ausgabeeinheit 16 enthält zum Beispiel eine Ausgabeschnittstelle. Die Ausgabeschnittstelle kann beispielsweise eine Schnittstelle, die ein digitales Signal abgibt, wie etwa ein universeller serieller Bus (USB) oder dergleichen, oder eine Nutzerschnittstelle wie etwa eine Anzeige oder dergleichen sein. Darüber hinaus kann die in der Ausgabeeinheit 16 vorgesehene Ausgabeschnittstelle auch als Eingabeschnittstelle dienen. Überdies kann die Ausgabeeinheit 16 Daten in der im Inneren vorgesehenen Speichereinheit 20 speichern und kann, wie oben beschrieben wurde, die Ausgabe eine umfassende Bedeutung einschließen.
Die Steuerungseinheit 18 steuert die Verarbeitung des elektronischen Geräts 1. Die Steuerungseinheit 18 kann zum Beispiel eine zentrale Verarbeitungseinheit (CPU) enthalten und kann die Verarbeitung der Signalerfassungseinheit 10, der Signalverarbeitungseinheit 12, der Nachverarbeitungseinheit 14 und der Ausgabeeinheit 16 steuern. Darüber hinaus kann auch eine Steuerung, um eine Bildgebung mittels des Kameramoduls 3 durchzuführen, auf der Basis einer von der Nutzerschnittstelle instruierten Bildgebungszeitsteuerung ausgeführt werden.
Die Speichereinheit 20 speichert Daten des elektronischen Geräts 1. Die Speichereinheit 20 kann beispielsweise ein Speicher wie etwa ein dynamischer Direktzugriffsspeicher (DRAM) oder ein Speicher wie etwa ein Festkörper- bzw. Solid-State-Laufwerk (SSD) sein. Die Speichereinheit 20 kann ein eingebauter Speicher oder ein Speicher wie etwa eine entnehmbare Speicherkarte sein. Darüber hinaus ist die Speichereinheit 20 nicht notwendigerweise im Inneren des elektronischen Geräts 1 vorgesehen, sondern kann ein über eine Eingabe-/Ausgabe-Schnittstelle verbundener externer Speicher oder dergleichen sein. Informationen werden zu einem für das elektronische Gerät 1 geeigneten Zeitpunkt in geeigneter Weise in die Speichereinheit 20 eingegeben und von ihr ausgegeben.
Einige oder alle der oben beschriebenen Elemente können auf demselben Substrat ausgebildet sein. Beispielsweise können das Kameramodul 3, die Signalerfassungseinheit, die Signalverarbeitungseinheit 12, die Nachverarbeitungseinheit 14, die Ausgabeeinheit 16, die Steuerungseinheit 18 und die Speichereinheit 20 auf einem Chip ausgebildet sein, oder einige von ihnen können gegebenenfalls auf einem weiteren Chip ausgebildet sein. Darüber hinaus können ein Teil der Konfiguration, der auf demselben Substrat eines Chips ausgebildet ist, und ein Teil der Konfiguration, der auf einem anderen Substrat ausgebildet ist, so ausgebildet werden, dass sie im Herstellungsprozess mittels Technologien wie etwa Chip-auf-Chip (CoC), Chip-auf-Wafer (CoW), Wafer-auf-Wafer (WoW) und dergleichen gestapelt werden.
Als Nächstes wird eine Konfiguration der Bildgebungseinheit 8 beschrieben. Als ein Beispiel wird das Bayer-Array beschrieben; aber, wie oben beschrieben wurde, ist die Farbanordnung nicht auf das Bayer-Array beschränkt, sondern kann ein anderes Array sein, solange die Farbinformationen geeignet erfasst werden können. Beispielsweise kann es sich um ein Bayer-Array, das auf einer RGB-Reihe basiert, oder ein Bayer-Array, das auf einem Komplementärfarbsystem CMY basiert, handeln. Der Zustand, in dem RGB und CMY gemischt sind, ist ebenfalls möglich. Darüber hinaus wird die Beschreibung unter der Annahme vorgenommen, dass die Form des Pixels ein Quadrat ist, sie aber nicht darauf beschränkt ist. Beispielsweise kann die Form ein anderes Viereck als ein Quadrat sein oder kann eine Bienenwabenstruktur mit hexagonaler Form sein.
5 ist eine Darstellung, die von jedem Bildgebungselement der Bildgebungseinheit 8 erfasste Farbinformationen schematisch veranschaulicht. 5 veranschaulicht als ein Beispiel einen Zustand mit 8 × 8 Bildgebungselementen, die in der Bildgebungseinheit 8 enthalten sind. Natürlich ist die Anzahl an Bildgebungselementen nicht 8 × 8, sondern ist eine geeignete Anzahl auf der Basis der Anzahl an Pixeln, die man erfassen möchte, der Fläche bzw. des Bereichs, worin die Bildgebungselemente angeordnet werden können, und dergleichen vorgesehen.
Die Bildgebungseinheit 8 enthält Bildgebungspixel 80. Wie in der Zeichnung veranschaulicht ist, sind die Bildgebungspixel 80 in einem Array in der Bildgebungseinheit 8 vorgesehen. Das Bildgebungspixel 80 enthält ein fotoelektrisches Umwandlungselement auf einer der Anzeigeoberfläche der Anzeigeeinheit 2 entgegengesetzten Seite und enthält darüber eine Linse. Die in den Bildgebungspixeln 80 beschriebenen RGB repräsentieren Farben, die R: Rot, G: Grün bzw. B: Blau bezeichnen. Wie oben beschrieben wurde, kann das Farbcodierungsverfahren ein Farbfilter sein, der auf der Seite der Anzeigeoberfläche des fotoelektrischen Umwandlungselements vorgesehen ist, oder kann ein fotoelektrisches Umwandlungselement sein, das einen organischen fotoelektrischen Umwandlungsfilm enthält.
Jedes der Bildgebungspixel 80 enthält eine Linse 81. Die Linse 81 ist beispielsweise eine On-Chip-Linse und kann insbesondere eine On-Chip-Mikrolinse sein. Wie oben beschrieben wurde, können durch Verwenden der Linse für jedes Pixel die Genauigkeit der empfangenen Lichtintensität, die Farbreproduzierbarkeit und dergleichen verbessert werden. Die Linse 81 kann beispielsweise Si enthalten, kann aber ein anderes geeignetes Material enthalten.
Ein Bildgebungspixel 80 enthält eine Vielzahl geteilter Pixel 82. Beispielsweise enthält jedes Bildgebungspixel 80 in 5 2 × 2 geteilte Pixel 82. Wie oben beschrieben wurde, ist es, indem man eine Vielzahl geteilter Pixel in einem Pixel vorsieht, als ein Beispiel eines Effekts möglich, einen Dynamikbereich zwischen Pixeln zu erweitern. In der vorliegenden Offenbarung werden außerdem diese geteilten Pixel 82 auch genutzt, um Artefakte zu entfernen. Wie in der Zeichnung als Beispiel veranschaulicht ist, enthält das Bildgebungspixel 80 eine Vielzahl geteilter Pixel 82, und jedes Bildgebungspixel 80 und die Linse 81 sind so angeordnet, dass sie in einer Eins-zu-Eins-Entsprechung einander überlappen.
6 ist eine Darstellung, in der ein Satz von Bildgebungspixeln 80 in einem Bayer-Array extrahiert ist. Wie in 6 veranschaulicht ist, enthält beispielsweise das Bildgebungspixel 80 2 × 2, vier geteilte Pixel 82. Jedes geteilte Pixel 82 ist so ausgebildet, dass es ein fotoelektrisches Umwandlungselement enthält. Dieses fotoelektrische Umwandlungselement kann eine Fotodiode sein. Die Signalerfassungseinheit 10 von 1 erfasst analoge Signale, die von diesen geteilten Pixeln 82, die die fotoelektrischen Umwandlungselemente enthalten, abgegeben werden. Die Signalverarbeitungseinheit 12 führt dann eine Signalverarbeitung an der Ausgabe von der Signalerfassungseinheit 10 aus.
Beispielsweise werden die Pixel-Werte der Bildgebungspixel 80 berechnet, indem die von der Signalerfassungseinheit 10 erfassten Ausgabewerte von den in den jeweiligen Bildgebungspixeln 80 enthaltenen geteilten Pixeln 82 addiert werden. Diese Addition kann im Zustand eines analogen Signals ausgeführt werden oder kann nach Umwandlung in ein digitales Signal ausgeführt werden.
Als ein Beispiel erfasst die Signalverarbeitungseinheit 10 analoge Signale von den jeweiligen geteilten Pixeln 82 und wandelt die analogen Signale in digitale Signale um. Die Signalverarbeitungseinheit 12 korrigiert das digitale Signal für jedes der geteilten Pixel 82, das von der Signalerfassungseinheit 10 abgegeben wurde, nach Bedarf und addiert dann die digitalen Signale, um einen Pixel-Wert des Bildgebungspixels 80 zu gewinnen.
Eine derartige Pixel-Unterteilung wird in einer allgemeinen Digitalkamera oder dergleichen genutzt, um einen Dynamikbereich eines Pixels, das heißt jede Farbe, zu erweitern und die Farbreproduzierbarkeit zu verbessern, wie oben beschrieben wurde. Ferner kann die Signalverarbeitungseinheit eine Phasendifferenz im Pixel durch die geteilten Pixel erfassen. Eine Bildgebungseinrichtung kann dieses Ergebnis für den Autofokus oder dergleichen nutzen. In der vorliegenden Offenbarung wird, indem die geteilten Pixel 82 im Kameramodul 3 unter der Anzeige übernommen werden, eine Entfernung von Artefakten, die durch die Anzeigeeinheit 2 und dergleichen verursacht werden, ebenfalls realisiert.
7 ist eine Darstellung, die ein anderes Beispiel für die geteilten Pixel 82 in den Bildgebungspixeln 80 veranschaulicht.
Wie oben veranschaulicht ist, kann das Bildgebungspixel 80 beispielsweise 3 × 3 geteilte Pixel 82 umfassen und kann darüber die Linse 81 enthalten.
Wie in der zweiten Abbildung von oben veranschaulicht ist, kann das Bildgebungspixel 80 beispielsweise 4 × 4 geteilte Pixel 82 umfassen und kann darüber die Linse 81 enthalten.
Überdies kann, wie unten veranschaulicht ist, das Bildgebungspixel 80 beispielsweise 3 × 4 geteilte Pixel 82 umfassen und kann die Linse 81 darüber enthalten.
Auf diese Weise können m × n geteilte Pixel 82 in einem Array mit ganzen Zahlen m und n von zwei oder höher vorgesehen werden. Diese Einstellungen werden gemäß der Größe und Anzahl der Bildgebungspixel 80 oder der Größe der Ausbildungsfläche und des Volumens, die auf dem Chip zugelassen sind, und der weiteren Nutzung festgelegt. In der Beschreibung unten umfasst das Bildgebungspixel 80 2 × 2 geteilte Pixel 82; aber es ist als Beispiel veranschaulicht, und eine Unterteilung mittels anderer numerischer Werte ist wie oben beschrieben nicht ausgeschlossen.
Im Folgenden wird hierin ein Fall beschrieben, in dem ein heller Gegenstand als Abbildungsziel vorliegt und Streulicht aufgrund eines Einflusses vom Gegenstand entfernt wird.
Wie in 8 veranschaulicht ist, wird ein Fall betrachtet, in dem Licht von einem hellen Objekt bzw. Gegenstand auf die Bildgebungseinheit 8 fällt. In solch einem Fall besteht die Möglichkeit, dass in einigen der Pixel der Bildgebungspixel 80 oder allen, die in der Bildgebungseinheit 8 enthalten sind, Streulicht auftritt. In der vorliegenden Ausführungsform wird das Auftreten von Streulicht durch die Verwendung der geteilten Pixel 82 unterdrückt.
9 ist eine Darstellung, die ein Bildgebungspixel 80 veranschaulicht, auf das Licht von einem hellen Objekt bzw. Gegenstand in 8 fällt. Man beachte, dass, obgleich ein Bildgebungspixel 80 veranschaulicht ist, man nicht darauf beschränkt ist und eine ähnliche Verarbeitung für eine Vielzahl von Bildgebungspixeln 80, in denen Streulicht auftreten kann, ausgeführt wird. Man beachte, dass der helle Gegenstand beispielsweise eine Lichtquelle mit hoher Leuchtdichte und Illuminanz bzw. Beleuchtungsstärke, ein Objekt, das mit starkem Licht bestrahlt wird und starkes reflektiertes Licht aufweist, oder dergleichen ist. Außerdem ist der helle Gegenstand beispielsweise ein Konzept, das ein Objekt einschließt, das eine höhere Leuchtdichte, Beleuchtungsstärke und dergleichen als die Umgebungshelligkeit aufweist und Streulicht hervorrufen kann.
Das Bildgebungspixel 80 umfasst geteilte Pixel 82A, 82B, 82C und 82D, die jeweils ein fotoelektrisches Umwandlungselement enthalten, und die Linse 81, die so ausgebildet ist, dass die fotoelektrischen Umwandlungselementen sie sich teilen. Es wird in der Zeichnung angenommen, dass Licht von einem hellen Gegenstand von rechts oben einfällt.
In solch einem Fall wird Licht von der Linse 81 nicht gleichmäßig zu all den geteilten Pixeln 82 emittiert, sondern wird Licht mit starker Intensität in einer in Bezug auf die Lichtrichtung verlaufenden Richtung emittiert. Dies ist auf die Eigenschaften der Linse 81 und den Einfallswinkel des Lichts zurückzuführen. In der Situation von 9 fällt beispielsweise auf das geteilte Pixel 82C Licht, das stärker als jedes der anderen geteilten Pixel 82 ist. Infolgedessen ist der Pixel-Wert jedes geteilten Pixels 82, der von der Signalerfassungseinheit 10 erfasst wird, im geteilten Pixel 82C höher als in den anderen geteilten Pixeln 82A, 82B und 82D.
Auf der Basis dieses Phänomens unterdrückt die Signalverarbeitungseinheit 12 den Einfluss von Streulicht, das im Bildgebungspixel 80 auftreten kann.
Wie oben beschrieben wurde, ist es möglich, eine Phasendifferenz im Bildgebungspixel 80 zu erfassen, indem die geteilten Pixel 82 genutzt werden. Die Erfassung der Phasendifferenz wird beispielsweise dadurch bestimmt, ob es eine Intensitätsdifferenz, die gleich einem vorbestimmten Schwellenwert oder größer ist, in der Vielzahl geteilter Pixel 82 gibt, die in einem Bildgebungspixel 80 enthalten sind. Falls beispielsweise im geteilten Pixel 82C ein Pixel-Wert, der höher als jener anderer Pixel ist, erfasst wird und eine Differenz im Pixel-Wert zwischen dem geteilten Pixel 82C und den anderen geteilten Pixeln 82A, 82B und 82D ein vorbestimmter Wert oder größer ist, wird bestimmt, dass es eine Phasendifferenz gibt.
Selbst in einem Fall, in dem beispielsweise Streulicht auftritt, wird eine ähnliche Bestimmung in einem Fall vorgenommen, in dem der Pixel-Wert des geteilten Pixels 82C höher als die Pixel-Werte der anderen geteilten Pixel 82A, 82B und 82D ist. Jedoch weisen ein auf eine Phasendifferenz bezogener Schwellenwert thp und ein auf Streulicht bezogener Schwellenwert thf eine Beziehung thp < thf auf. Der auf Streulicht bezogene Schwellenwert ist signifikant höher als der auf eine Phasendifferenz bezogene Schwellenwert, und diese Schwellenwerte können klar unterschieden werden und können vorher festgelegt werden. Beispielsweise kann vorher die Breite der Empfindlichkeitsdifferenz in einem Fall, in dem kein Fokus bzw. keine Schärfe erreicht wird, erfasst werden. Indem man diese Breite auf thp bis thf einstellt, kann ein vorbestimmter Schwellenwert entschieden werden. Falls das Streulicht korrigiert wird, kann somit die Signalverarbeitungseinheit 12 unter Verwendung des Schwellenwerts thf eine Bestimmung vornehmen.
Pixel-Werte der geteilten Pixel 82A, 82B, 82C und 82D sind xA, xB, xC bzw. xD. Als ein Beispiel wird angenommen, dass zwischen ihnen eine Beziehung xC > xD > xA > xB besteht. Diese sind nur als Beispiele angegeben, und die Technologie der vorliegenden Offenbarung ist nicht darauf beschränkt.
[Math. 1] $x C - min {x A, x B, x D} = x C - x B > t h_{ƒ}$
[Math. 2] $\frac{x C}{min {x A, x B, x D}} = \frac{x C}{x B} > t h_{ƒ}$
Wie in Formel (1) wird beispielsweise eine Differenz zwischen dem Pixel-Wert des geteilten Pixels 82C mit dem höchsten Pixel-Wert und dem niedrigsten Pixel-Wert mit einem Schwellenwert verglichen, und, wenn die Differenz größer als der Schwellenwert ist, kann bestimmt werden, dass Streulicht auftreten kann. In einigen Fällen kann er mit dem maximalen Wert max{xA, xB, xC} anstelle des minimalen Werts min{xA, xB, xD} verglichen werden. Darüber hinaus kann die Bestimmung mittels eines Verhältnisses wie in der Formel (2) vorgenommen werden.
Als ein weiteres Beispiel kann ein Durchschnitt betrachtet werden.
[Math. 3] $x C - avg {x A, x B, x D} > t h_{ƒ}$
[Math. 4] $\frac{x C}{avg (x A, x B, x D)} > t h_{ƒ}$
Hier ist avg () eine Funktion zum Berechnen des Durchschnitts der Argumente. Auch im Fall der Betrachtung des Durchschnitts kann dieser eine Bestimmung mittels entweder der Differenz oder des Verhältnisses vorgenommen werden. Falls ein Durchschnitt genommen wird, kann darüber hinaus unter Berücksichtigung eines Falls, in dem Licht senkrecht auf die Seite des Bildgebungspixels 80 fällt, ein Durchschnitt (xA + xB)/2 von zwei Pixel-Werten von zweien mit niedrigen Pixel-Werten, zum Beispiel den geteilten Pixeln 82A und 82B unter den geteilten Pixeln 82A, 82B und 82D, genommen werden.
Ob eine Möglichkeit für das Auftreten von Streulicht im Bildgebungspixel 80 besteht oder nicht, kann auf diese Weise bestimmt werden, indem der vorbestimmte Schwellenwert als die vorbestimmte Differenz und das vorbestimmte Verhältnis verwendet wird und die Formeln (1) bis (4) oder eine dazu ähnliche arithmetische Operation an dem geteilten Pixel 82 mit dem größten Pixel-Wert im Bildgebungspixel 80 ausgeführt werden.
In der obigen Beschreibung wird der Schwellenwert (vorbestimmte Differenz, vorbestimmtes Verhältnis), bei dem Streulicht auftritt, auf der Basis des Schwellenwerts in Bezug auf die Phasendifferenz entschieden; man ist aber nicht darauf beschränkt. Beispielsweise kann ein Schwellenwert für eine individuelle Differenz der geteilten Pixel 82 und den Einfluss von in den geteilten Pixeln 82 erzeugtem Rauschen eingestellt werden. Falls die individuelle Differenz betrachtet wird, kann beispielsweise ein Gegenstand, in dem kein Streulicht in Bezug auf die Bildgebungseinheit 8 auftritt, abgebildet werden, und die Signalverarbeitungseinheit 12 kann eine Grundverarbeitung auf der Basis eines durch Abbilden des Gegenstands erhaltenen Bilds durchführen. Das heißt, die Signalverarbeitungseinheit 12 kann den Schwellenwert für jedes geteilte Pixel 82 in jedem Bildgebungspixel 80 vorher messen. Es ist auch möglich, ähnlich den Schwellenwert in Bezug auf Rauschen zu messen, und es ist ebenfalls möglich, den Schwellenwert zu messen, in dem der Einfluss verschiedener Rauschkomponenten reduziert wird, indem die Messung eine Vielzahl von Malen durchgeführt wird.
Falls wie oben beschrieben Streulicht auftreten kann, kann die Signalverarbeitungseinheit 12 den Pixel-Wert des Bildgebungspixels 80 unter Verwendung der geteilten Pixel 82A, 82B und 82D mit Ausnahme des geteilten Pixels 82C mit einem hohen Pixel-Wert berechnen und streulichtkorrigierte Bilddaten erfassen bzw. gewinnen. Beispielsweise kann die Signalverarbeitungseinheit 12 den Pixel-Wert des Bildgebungspixels 80 auf 4 × xB unter Verwendung eines Pixel-Werts xB des geteilten Pixels 82B mit dem kleinsten Pixel-Wert einstellen. Als weiteres Beispiel kann die Signalverarbeitungseinheit 12 2 × (xA + xB) unter Verwendung der Pixel-Werte der zwei geteilten Pixel 82A und 82B mit niedrigen Pixel-Werten einstellen. Überdies kann die Signalverarbeitungseinheit 12 Pixel-Werte mit Ausnahme des größten Pixel-Werts xC verwenden, um (4/3) × (xA + xB + xD) zu erhalten. Wie oben beschrieben wurde, berechnet die Signalverarbeitungseinheit 12 den Pixel-Wert des Bildgebungspixels 80 unter Verwendung des Pixel-Werts, der die Ausgabe des geteilten Pixels 82 mit einem niedrigen Ausgabewert im Bildgebungspixel 80 ist.
Überdies kann die Signalverarbeitungseinheit 12 eine Streulichtkorrektur unter Verwendung eines trainierten Modells durchführen. Beispielsweise kann die Signalverarbeitungseinheit 12 eine Korrektur unter Verwendung eines gelernten Modells ausführen, das mittels maschinellen Lernens auf der Basis des Auftretens von Streulicht in verschiedenen Situationen und des Zustands seiner Korrektur trainiert wurde. In diesem Fall kann die Signalverarbeitungseinheit 12 den Wert jedes der geteilten Pixel 82 in das gelernte Modell eingeben und den Pixel-Wert des Bildgebungspixels 80 erfassen. Als noch ein weiteres Beispiel kann die Signalverarbeitungseinheit 12 ein trainiertes Modell nutzen, in das ferner Pixel-Werte peripherer Bildgebungspixel 80 derselben Farbe eingegeben werden.
Das Modell kann beispielsweise ein statistisches Modell sein. Ein Modell kann erzeugt werden, indem statistisch berechnet wird, welche Art von arithmetischer Operation genutzt werden sollte, um eine Synthese in Bezug auf verschiedene Kameramodule 3 durchzuführen, und die Signalverarbeitungseinheit 12 kann ein Bild mit einem geringen Einfluss von Streulicht erfassen, indem von der Vielzahl von Kameramodulen 3 erfasste Informationen in dieses Modell eingegeben werden.
Das Modell kann beispielsweise ein Modell eines neuronalen Netzwerks sein, das mittels Deep-Learning trainiert wurde. Das Modell eines neuronalen Netzwerks kann von einem Mehrschicht-Perzeptron (MLP), einem faltenden neuronalen Netzwerk (CNN) oder dergleichen gebildet werden. In diesem Fall kann ein mittels einer Vielzahl von Lehrerdaten vorher trainierter Parameter in der Speichereinheit 20 oder der Signalverarbeitungseinheit 12 gespeichert werden, und die Signalverarbeitungseinheit 12 kann ein Modell eines neuronalen Netzwerks basierend auf dem gespeicherten Parameter bilden. Unter Verwendung des gebildeten trainierten Modells kann die Signalverarbeitungseinheit 12 ein Bild erfassen, in dem Streulicht unter Verwendung von von der Vielzahl von Kameramodulen 3 ausgegebenen Daten unterdrückt ist.
Falls das trainierte Modell verwendet wird, kann außerdem das elektronische Gerät 1 ferner die Trainingsgenauigkeit unter Verwendung eines abgebildeten bzw. aufgenommenen Bildes verbessern. Beispielsweise kann das Training in der Steuerungseinheit 18 oder dergleichen des elektronischen Geräts 1 ausgeführt werden. Als ein weiteres Beispiel kann eine Vielzahl von Teilen eines elektronischen Geräts 1 Daten zu einem Speicher oder dergleichen übertragen, der in einer Cloud oder dergleichen vorhanden ist, ein Training in einem Server oder dergleichen ausführen und den neu trainierten Parameter an das elektronische Gerät 1 zurückgeben. In diesem Fall können nur Streulichtinformationen übertragen werden, sodass private bzw. Datenschutzinformationen einschließlich Gesichtsinformationen eines Nutzers nicht enthalten sind. Überdies können die Übertragung und der Empfang von Daten vom elektronischen Gerät 1 in einem Zustand erfolgen, der vom Nutzer durch beispielsweise Opt-in oder Optout auswählbar ist.
Wie oben beschrieben wurde, kann die Signalverarbeitungseinheit 12 das streulichtkorrigierte Bild durch nicht nur eine lineare Verarbeitung, sondern auch eine nichtlineare Verarbeitung, insbesondere eine arithmetische Operation unter Verwendung verschiedener Modelle einschließlich des trainierten Modells oder dergleichen erfassen.
10 ist ein Flussdiagramm, das einen Ablauf einer Verarbeitung gemäß der vorliegenden Ausführungsform veranschaulicht. In dem vorliegenden Flussdiagramm wird eine Verarbeitung zur Streulichtkorrektur beschrieben, und eine Verarbeitung wie etwa eine Abbildung bzw. Bildgebung, Datenausgabe und dergleichen wird weggelassen.
Zunächst erfasst die Signalverarbeitungseinheit 12 über die Signalerfassungseinheit 10 die Ausgabewerte der geteilten Pixel 82 in jedem Bildgebungspixel 80 (S100).
Als Nächstes bestimmt die Signalverarbeitungseinheit 12, ob die Empfindlichkeitsdifferenz größer als die Empfindlichkeitsdifferenz der Phasendifferenz in den Ausgabewerten der zu demselben Bildgebungspixel 80 gehörenden geteilten Pixel 82 ist oder nicht (S102). Das heißt, es wird mittels des Schwellenwerts thf auf der Basis der Formeln (1), (3) und dergleichen bestimmt, ob die Differenz in der Empfindlichkeit zwischen dem geteilten Pixel mit der größten Empfindlichkeit unter den geteilten Pixeln 82 und den anderen geteilten Pixeln innerhalb eines Bereichs, der nicht die Phasendifferenz ist, liegt oder nicht. Man beachte, dass diese Verarbeitung nicht mittels einer Differenz, sondern mittels eines Verhältnisses wie in den Formeln (2), (4) und dergleichen, wie oben beschrieben wurde, ausgeführt werden kann.
Falls die Empfindlichkeitsdifferenz größer als thf ist (S102: JA), führt die Signalverarbeitungseinheit 12 eine Streulichtkorrektur unter Verwendung der geteilten Pixel 82 aus. Danach erfasst die Signalverarbeitungseinheit 12 einen streulichtkorrigierten Wert als den Pixel-Wert des Bildgebungspixels 80 (S106).
Falls die Empfindlichkeitsdifferenz gleich oder geringer als thf ist (S102: NEIN), führt die Signalverarbeitungseinheit 12 eine normale Verarbeitung zur Erfassung eines Pixel-Werts durch und erfasst beispielsweise einen Additionswert der Ausgabewerte der jeweiligen geteilten Pixel 82 als den Pixel-Wert des Bildgebungspixels 80 (S106).
Wie oben beschrieben wurde, ist es gemäß der vorliegenden Ausführungsform möglich, das Auftreten von Streulicht als ein Pixel infolge des Einfalls von starkem Licht zu unterdrücken, indem das Pixel in Bezug auf den Einfall des starken Lichts, das Streulicht hervorruft, unterteilt wird. Das heißt, es ist möglich, den Einfall von starkem Licht, das Streulicht hervorruft, auf einige geteilte Pixel zu konzentrieren, und, indem man den Pixel-Wert unter Verwendung anderer geteilter Pixel korrigiert, ist es möglich, den Pixel-Wert, in dem der Einfluss von Streulicht unterdrückt ist, zu erfassen bzw. zu gewinnen.
(Zweite Ausführungsform)
In der oben beschriebenen ersten Ausführungsform wurde als ein Beispiel ein Fall beschrieben, in dem ein geteiltes Pixel 82 mit dem kleinsten Pixel-Wert im Bildgebungspixel 80 verwendet wird, aber in einem Fall, in dem ein geteiltes Pixel 82 auf diese Weise verwendet wird, die Möglichkeit besteht, dass der Einfluss von Rauschen in starkem Maße empfangen wird. In der vorliegenden Ausführungsform wird eine Reduzierung des Einflusses dieses Rauschens beschrieben.
11 ist eine Darstellung, um ein Rauschkorrekturverfahren gemäß der vorliegenden Ausführungsform zu beschreiben. Beispielsweise wird in einem Bildgebungspixel 80, das die Intensität von Grün in der Mitte erfasst, ein Fall beschrieben, in dem eine Streulichtkorrektur unter Verwendung eines geteilten Pixels 82B (eines mit diagonalen Linien nach rechts oben gestrichelten geteilten Pixels) oben rechts durchgeführt wird.
Falls beispielsweise Pixel-Werte geteilter Pixel unter Verwendung der Formeln (1), (2) und dergleichen verglichen werden, gibt es, wenn Rauschen im geteilten Pixel 82B auftritt, einen Fall, in dem der Einfluss des Rauschens diese Formeln erfüllt. Falls beispielsweise Rauschen nahe an Schwarz zu dem geteilten Pixel 82B addiert wird, kann xC - xB ein großer Wert sein, und es kann bestimmt werden, dass Streulicht aufgetreten ist, obgleich in der Praxis kein Streulicht aufgetreten ist.
Um solch einen Einfluss von Rauschen zu unterdrücken, kann eine Rauschbestimmung auf der Basis der unten beschriebenen Formel durchgeführt werden.
[Math. 5] $avg (x A, x C, x D) - x B > t h_{n}$
Hier ist thn ein Schwellenwert zum Bestimmen von Rauschen. Eine Signalverarbeitungseinheit 12 bestimmt, ob eine Differenz zwischen dem Durchschnitt der Pixel-Werte der geteilten Pixel 82A, 82C und 82D und dem Pixel-Wert des geteilten Pixels 82B, die für eine Streulichtkorrektur genutzt wird, größer ist als dieser vorbestimmte Schwellenwert oder nicht. Der Schwellenwert thn zum Bestimmen von Rauschen ist beispielsweise ein Schwellenwert, der thf > thn > thp erfüllt. Man beachte, dass die Rauschbestimmung nicht auf die Formel (5) beschränkt ist, sondern jegliche Rauschbestimmung genutzt werden kann, solange das Rauschen geeignet detektiert werden kann. Beispielsweise kann eine Detektion mittels eines Verhältnisses wie in der Formel (2) durchgeführt werden.
Falls Formel (5) zutrifft, kann bestimmt werden, dass Rauschen im geteilten Pixel 82B aufgetreten ist, und kann die Verarbeitung zur Rauschkorrektur ausgeführt werden.
Beispielsweise kann die Signalverarbeitungseinheit 12 eine Rauschkorrektur am streulichtkorrigierten Pixel-Wert auf der Basis des Pixel-Werts eines peripheren Bildgebungspixels 80, das dieselbe Farbe erfasst, durchführen. Beispielsweise kann die Signalverarbeitungseinheit 12 die Korrektur mittels eines Verfahrens wie etwa einer bilinearen Interpolation oder einer bikubischen Interpolation unter Verwendung von Pixel-Werten ausführen, die mittels diagonaler Linien nach oben links in 11 angegeben sind. Beispielsweise wird die Korrektur unter Verwendung eines Pixel-Werts derselben Farbe vorne bzw. oben, hinten bzw. unten, links oder rechts ausgeführt, ist aber nicht darauf beschränkt, und können Informationen über ein Bildgebungspixel 80 in einer schrägen Richtung genutzt werden oder können Informationen über zwei oder mehr Bildgebungspixel 80 in derselben Richtung genutzt werden.
Darüber hinaus wird in der Formel (5) die Information eines anderen geteilten Pixels 82 verwendet; man ist aber nicht darauf beschränkt. Beispielsweise kann xB_t ein Ausgabewert des geteilten Pixels 82B des aktuellen Frames sein und kann auf einer Zeitachse betrachtet werden.
[Math. 6] $avg (x B_{t - 2}, x B_{t - 1}, x B_{t + 1}, x B_{_{t + 2}}) - x B_{t} > t h_{n}$
Wie in der Formel (6) kann die Rauschdetektion mittels einer Differenz von einem Durchschnittswert zwischen Frames ausgeführt werden. Falls ein Standbild abgebildet wird, kann insbesondere das mittels der Formel (6) angegebene Verfahren effektiv verwendet werden. Statt der Formel (6) kann die Bestimmung unter Verwendung eines Verhältnisses vorgenommen werden.
Wenn Informationen zwischen Frames bzw. Zwischen-Frame-Informationen verwendet werden, kann die Rauschkorrektur unter Verwendung der Zwischen-Frame-Informationen ausgeführt werden. Beispielsweise kann der Pixel-Wert des Bildgebungspixels 80 mittels der unten beschriebenen Formel korrigiert werden.
[Math. 7] $x B_{t} = avg (x B_{t - 2}, x B_{t - 1}, x B_{t + 1}, x B_{_{t + 2}})$
In der obigen Beschreibung werden Informationen von zwei vorhergehenden und nachfolgenden Frames sowohl bei der Rauschbestimmung als auch -detektion verwendet; man ist aber nicht darauf beschränkt, und Informationen eines vorhergehenden und nachfolgenden Frames oder von drei oder mehr vorhergehenden und nachfolgenden Frames können verwendet werden.
Darüber hinaus kann die Signalverarbeitungseinheit 12 auch die Rauschkorrektur unter Verwendung des oben beschriebenen trainierten Modells ausführen.
12 ist ein Flussdiagramm, das eine Verarbeitung gemäß der vorliegenden Ausführungsform veranschaulicht.
Da die Verarbeitung von S200 bis S204 der Verarbeitung von S100 bis S104 in 10 äquivalent ist, wird die Beschreibung weggelassen.
Nachdem die Streulichtkorrektur ausgeführt ist oder in einem Fall, in dem die Streulichtkorrektur nicht ausgeführt wird, wird als Nächstes bestimmt, ob der Streulichtkorrekturbetrag größer als ein Schwellenwert ist oder nicht (S206). Das heißt, es wird mittels des Schwellenwerts thn auf der Basis der Formeln (5), (6) und dergleichen bestimmt, ob die Differenz in der Empfindlichkeit zwischen dem geteilten Pixel, das für die Streulichtkorrektur unter den geteilten Pixeln 82 verwendet wird, und den anderen geteilten Pixeln Rauschen ist oder nicht.
Falls der Streulichtkorrekturbetrag größer als der Schwellenwert ist (S206: JA), wird die Rauschkorrektur ausgeführt (S208). Die Signalverarbeitungseinheit 12 führt die Rauschkorrektur unter Verwendung beispielsweise der Informationen über die räumliche Richtung oder die Zeitrichtung, die oben beschrieben wurden, aus. Man beachte, dass das Korrekturverfahren nicht auf die oben beschriebenen beschränkt ist, sondern ein geeignetes Verfahren verwendet werden kann.
Nach der Rauschkorrektur oder in einem Fall, in dem der Rauschkorrekturbetrag gleich oder geringer als thn ist (S206: NEIN), erfasst bzw. gewinnt die Signalverarbeitungseinheit 12 Bilddaten (S210).
Wie oben beschrieben wurde, wird gemäß der vorliegenden Ausführungsform zusammen mit der Streulichtkorrektur bestimmt, ob der Ausgabewert des geteilten Pixels, das für die Streulichtkorrektur verwendet wurde, Rauschen darstellt oder nicht, und in einem Fall, in dem bestimmt wird, dass es sich um Rauschen handelt, kann das Rauschen korrigiert und räumlich und zeitlich erfasst werden. Insbesondere ist dieses Verfahren in einem Fall effektiv, in dem die Rauschkorrektur unter Verwendung eines der geteilten Pixel ausgeführt wird, kann aber ähnlich für andere Fälle verwendet werden. Beispielsweise kann xB in den Formeln (6) und (7), die oben beschrieben wurden, als der streulichtkorrigierte Pixel-Wert verwendet werden.
Man beachte, dass sich der Schwellenwert thn für Rauschen in Abhängigkeit von der Lichtmenge des gesamten Gegenstands oder dem Erfassungsbetrag und dem Abtastbetrag des Signals der gesamten Bildgebungseinheit 8 ändert und sich somit adaptiv ändern kann. Das heißt, die Signalverarbeitungseinheit 12 kann den Schwellenwert thn auf der Basis der Umgebungssituation geeignet ändern und die oben beschriebene Verarbeitung zur Rauschdetektion ausführen.
(Dritte Ausführungsform)
In der ersten Ausführungsform oder der zweiten Ausführungsform wird die Streulichtkorrektur für alle Objekte bzw. Gegenstände ausgeführt; man ist aber nicht darauf beschränkt. Beispielsweise kann die Signalverarbeitungseinheit 12 das Auftreten von Streulicht detektieren und die Streulichtkorrektur ausführen.
Beispielsweise kann die Signalverarbeitungseinheit 12 detektieren, dass ein Gegenstand mit einer vorbestimmten Helligkeit oder höher enthalten ist, und die oben beschriebene Streulichtkorrektur ausführen. Überdies kann als ein weiteres Beispiel die Signalverarbeitungseinheit 12 das Auftreten von Streulicht auf der Basis des erfassten Pixel-Werts detektieren und die oben beschriebene Streulichtkorrektur ausführen.
13 ist ein Flussdiagramm, das eine Verarbeitung einer Streulichtkorrektur gemäß der vorliegenden Ausführungsform veranschaulicht.
Zunächst erfasst die Signalverarbeitungseinheit 12 Informationen in Bezug auf die Umgebung und den Zustand oder Bilddaten, an denen eine Korrektur wie etwa die Streulichtkorrektur nicht durchgeführt ist (S300).
Als Nächstes bestimmt die Signalverarbeitungseinheit 12 auf der Basis der Informationen, ob die Möglichkeit, dass Streulicht auftritt, besteht oder nicht oder ob Streulicht gerade auftritt oder nicht (S302). Falls beispielsweise ein Objekt mit einer Leuchtdichte und Beleuchtungsstärke, die höher als vorbestimmte Schwellenwerte sind, als der Gegenstand vorhanden ist, bestimmt die Signalverarbeitungseinheit 12, dass die Möglichkeit für das Auftreten von Streulicht besteht. Darüber hinaus wird, ob Streulicht gerade auftritt oder nicht, auf der Basis davon bestimmt, ob es ein Gebiet eines Pixels mit einer Leerstelle im erfassten Pixel-Wert gibt oder nicht. Diese werden als Beispiele beschrieben, und die Bestimmung kann auf der Basis der Möglichkeit für das Auftreten von Streulicht oder eines Kriteriums ausgeführt werden, auf dessen Basis es möglich ist, das Auftreten von Streulicht gegebenenfalls zu bestimmen.
Falls bestimmt wird, dass eine Möglichkeit für das Auftreten von Streulicht besteht oder Streulicht gerade auftritt (S302: JA), führt die Signalverarbeitungseinheit 12 die Streulichtkorrektur und die Rauschkorrektur aus (S304). Diese Subroutine ist beispielsweise eine Verarbeitung, die der Verarbeitung von S100 bis S104, die in 10 veranschaulicht sind, oder der Verarbeitung von S200 bis S208, die in 12 veranschaulicht sind, äquivalent ist.
Nach Durchführung der Streulichtkorrektur und der Rauschkorrektur oder in einem Fall, in dem kein Streulicht auftritt oder gerade kein Streulicht auftritt (S302: NEIN), erfasst die Signalverarbeitungseinheit 12 einen Pixel-Wert (S306).
Wie oben beschrieben wurde, wird gemäß der vorliegenden Ausführungsform die Streulichtkorrektur nicht immer ausgeführt und ist es nach Bedarf möglich, die Streulichtkorrektur nicht auszuführen. In einem Fall, indem es nicht notwendig ist, die Streulichtkorrektur durchzuführen, besteht die Möglichkeit, dass der Pixel-Wert durch die Korrekturverarbeitung mehr als der ursprüngliche Pixel-Wert verschlechtert wird, aber in einem Fall, in dem keine Möglichkeit für solch ein Auftreten von Streulicht besteht oder es keinen Beleg für das Auftreten von Streulicht gibt, ist es möglich, ein Bild mit hoher Reproduzierbarkeit zu gewinnen bzw. zu erfassen, indem die Verarbeitung vermieden wird. Darüber hinaus kann der Betrieb der Signalverarbeitungseinheit 12 reduziert werden.
(Vierte Ausführungsform)
In einem elektronischen Gerät 1 gemäß der vorliegenden Ausführungsform ist selbst in einem Fall, in dem Streulicht auftritt, jedes beliebige der Kameramodule 3 so angeordnet, dass das Auftreten von Streulicht abgeschwächt wird.
14 ist eine Darstellung, die eine Querschnittsdarstellung des elektronischen Geräts 1 gemäß der vorliegenden Ausführungsform veranschaulicht. Wie in 14 veranschaulicht ist, enthält das elektronische Gerät 1 eine Vielzahl von Kameramodulen 3, das heißt eine Vielzahl optischer Systeme 9 und eine Vielzahl von Bildgebungseinheiten 8 in einem Anzeigefeld 4. Falls beispielsweise Streulicht in einem bestimmten Bildgebungspixel 80 im Kameramodul 3 auftritt, das ein Bild aufnimmt, wird die Aufmerksamkeit auf das Bildgebungspixel 80 des Kameramoduls 3 gelenkt, das an einer anderen Position angeordnet ist und das die Position desselben Gegenstands erfasst. Wenn die Position geändert wird, wird auch die Position des Streulichts im abgebildeten Bild geändert, und daher besteht eine hohe Wahrscheinlichkeit, dass das Streulicht in einem Bildgebungspixel 80 nicht auftritt, selbst wenn das Streulicht in einem anderen Bildgebungspixel 80, das die Position desselben Gegenstands angibt, gerade auftritt.
Auf dieser Basis kann die Streulichtkorrektur an dem Bildgebungspixel 80, von dem bestimmt wurde, dass es Streulicht aufweist, in Bezug auf das Bildgebungspixel 80 einer anderen Bildgebungseinheit 8 durchgeführt werden, das dieselbe Position des Gegenstands erfasst hat. Konkreter kann die Streulichtkorrektur eines Bildgebungspixels 80 unter Verwendung von Daten geteilter Pixel 82 eines anderen Bildgebungspixels 80, die den geteilten Pixeln 82 des einen Bildgebungspixels 80 entsprechen, ausgeführt werden.
Wie oben beschrieben wurde, ist es gemäß der vorliegenden Ausführungsform möglich, die Genauigkeit der Streulichtkorrektur zu verbessern, indem eine Vielzahl von Bildgebungseinheiten 8 vorgesehen wird und die Daten entsprechender geteilter Pixel 82 eines entsprechenden Bildgebungspixels 80 verwendet werden.
Man beachte, dass eine lichtabschirmende Einheit 30 zwischen den Kameramodulen 3 vorgesehen werden kann, sodass kein Streulicht durch das Anzeigefeld 4 oder dergleichen durchgelassen wird. Die lichtabschirmende Einheit 30 kann beispielsweise ein lichtabschirmender Film sein, der ein Material mit einer hohen lichtabschirmenden Eigenschaft enthält, oder kann ein Absorptionsfilm sein, der Material mit einer hohen Lichtabsorptionsrate enthält.
(Fünfte Ausführungsform)
In jeder der oben beschriebenen Ausführungsformen wurde die Anwendung auf eine Streulichtkorrektur beschrieben; die Technologie der vorliegenden Offenbarung ist aber nicht auf diese Anwendung beschränkt. Wie in 1 und dergleichen veranschaulicht ist, sind verschiedene Module wie etwa die Anzeige, das Berührungsfeld und dergleichen oberhalb des Kameramoduls 3 montiert. Daher kann ein Teil des auf die Bildgebungseinheit 8 einfallenden Lichts durch ihre Verdrahtungen und dergleichen blockiert werden. Ein elektronisches Gerät gemäß der vorliegenden Ausführungsform soll einen Pixel-Wert korrigieren, indem geteilte Pixel und eine Signalverarbeitung in einem Fall genutzt werden, in dem wie oben beschrieben Licht teilweise blockiert wird.
15 ist eine Darstellung, die die Schatten von in der Bildgebungseinheit 8 ausgebildeten Verdrahtungen veranschaulicht, wenn Licht auf die Anzeigeeinheit 2 fällt.
Die obere Darstellung ist eine Darstellung, die die Anzeigeeinheit 2 schematisch veranschaulicht. Beispielsweise enthält die Anzeigeeinheit 2 eine Vielzahl von Anzeige-Pixeln 40 und eine Vielzahl von Verdrahtungen 41 zum Ansteuern der AnzeigePixel 40. Die Verdrahtung ist beispielsweise eine Steuerungsleitung, eine Signalleitung oder dergleichen, die die Anzeige kreuzt oder durchquert. In einem unter der Anzeige vorgesehenen Kameramodul 3 können die Schatten der Verdrahtungen 41 ein Problem darstellen.
Die untere Darstellung ist eine Darstellung, die die Bildgebungseinheit 8 schematisch veranschaulicht. Die durchgezogenen Linien geben die Grenzen von Bildgebungspixeln 80 an, und die gestrichelten Linien geben die Grenzen geteilter Pixel 82 an. Falls Licht einfällt, werden beispielsweise Schatten 83 der Verdrahtungen 41 auf die Bildgebungspixel 80 geworfen, wie in der unteren Darstellung veranschaulicht ist. Wenn solche Schatten 83 vorhanden sind, nimmt in einem Fall, in dem jedes der Bildgebungspixel 80 ein fotoelektrisches Element ohne Verwendung geteilter Pixel 82 enthält, die Menge an einfallendem Licht in den Schattengebieten ab, und somit gibt es einen Fall, in dem die Leuchtdichte, die insgesamt erfasst werden kann, abnimmt.
Indem man die geteilten Pixel 82 nutzt, kann daher diese Abnahme der Leuchtdichte unterdrückt werden. Selbst in einem Fall, in dem die geteilten Pixel 82 verwendet werden, gibt es, wenn es Schatten 83 gibt, einen Fall, in dem die Leuchtdichte abnimmt, da der Additionswert der geteilten Pixel 82 als der Pixel-Wert des Bildgebungspixels 80 verwendet wird. In dem oberen linken Bildgebungspixel 80 in der unteren Darstellung nimmt beispielsweise der Ausgabewert von dem unteren rechten geteilten Pixel 82 ab und nimmt die Leuchtdichte des Bildgebungspixels 80 insgesamt ab. Darüber hinaus nehmen in dem Bildgebungspixel 80 rechts davon die Ausgabewerte von den geteilten Pixeln 82 in der unteren Hälfte ab und nimmt die Leuchtdichte des Bildgebungspixels 80 insgesamt ab.
16 ist eine Darstellung, die die geteilten Pixel 82 veranschaulicht, in denen die Leuchtdichte, das heißt die Intensität von einfallendem Licht, aufgrund der Schatten 83 abnimmt. Die durch gestrichelte Linien angegebenen geteilten Pixel 82 sind geteilte Pixel, die dem Einfluss der Schatten 83 unterworfen sind, und die Werte der Signale, die von diesen geteilten Pixeln 82 ausgegeben werden, nehmen ab, was eine Abnahme der Leuchtdichte der Bildgebungspixel 80 bewirkt. Um diesen Einfluss zu vermeiden, wird eine Abnahme im Pixel-Wert der Bildgebungspixel 80 aufgrund der Ausgabewerte von den mittels der gestrichelten Linien angegebenen geteilten Pixeln 82 unter Verwendung eines anderen geteilten Pixels 82 berechnet.
Beispielsweise berechnet in den zum Bildgebungspixel 80A gehörenden geteilten Pixeln 82 eine Signalverarbeitungseinheit 12 einen Luminanzwert x als x = (4/3) × (xA + xB + xC) ohne Berücksichtigung eines unteren rechten geteilten Pixels 82D.
In den zu einem Bildgebungspixel 80B gehörenden geteilten Pixeln 82 berechnet beispielsweise die Signalverarbeitungseinheit 12 einen Luminanzwert x als x = 2 × (xA + xB) ohne Berücksichtigung der geteilten Pixel 82C und 82D in der unteren Hälfte.
In den zu einem Bildgebungspixel 80C gehörenden geteilten Pixeln 82 berechnet beispielsweise die Signalverarbeitungseinheit 12 einen Leuchtdichtewert x als x = 4 × xD unter Verwendung eines unteren rechten geteilten Pixels 82D.
Zusammengefasst berechnet die Signalverarbeitungseinheit 12 den Leuchtdichtewert x, indem die für jedes Bildgebungspixel 80 eingestellte bzw. festgelegte Verstärkung mit der Summe der Ausgabewerte von den zur Verfügung stehenden geteilten Pixeln 82 integriert wird. Die Verstärkung wird durch beispielsweise die Anzahl zur Verfügung stehender geteilter Pixel in den Bildgebungspixeln 80 bestimmt. Indem man die Berechnung auf diese Weise durchführt, kann die Signalverarbeitungseinheit 12 die Pixel-Werte der Bildgebungspixel 80 erfassen, in denen der Einfluss der Schatten 83 unterdrückt ist.
Man beachte, dass in diesem Fall die Möglichkeit besteht, dass der Einfluss von Rauschen zunimmt. Um dies zu vermeiden, kann eine Rauschkorrektur ähnlich jener in der zweiten Ausführungsform, die oben beschrieben wurde, ausgeführt werden. Außerdem kann eine Rauschkorrektur ausgeführt werden, die sich von jener der zweiten Ausführungsform unterscheidet. Beispielsweise kann im Bildgebungspixel 80C, da ein Pixel-Wert, der auf der Ausgabe von einem geteilten Pixel 82D basiert, nicht immer ausgegeben wird, der Ausgabewert nicht stabil sein. Daher kann beispielsweise in dem Bildgebungspixel 80C die Signalverarbeitungseinheit 12 die Interpolationsverarbeitung unter Verwendung eines peripheren Bildgebungspixels 80 derselben Farbe ausführen, sofern nicht anders angegeben, um den Einfluss von Rauschen zu reduzieren.
Wie oben beschrieben wurde, kann gemäß der vorliegenden Ausführungsform der Einfluss von Artefakten, die in der Bildgebungseinheit 8 durch die Verdrahtungen und dergleichen gebildet werden, die in der Anzeigeeinheit 2 enthalten sind, reduziert werden, indem das Gebiet, in dem die Artefakte auftreten, die Ausgabewerte der zur Verfügung stehenden geteilten Pixel 82 von jedem der Bildgebungspixel 80 und die Verstärkung genutzt werden.
Außerdem können zusätzlich zu dieser Verarbeitung die Streulichtkorrektur und die Rauschkorrektur in den oben beschriebenen Ausführungsformen ausgeführt werden.
Wie oben beschrieben wurde, ist es in dem unter der Anzeige vorgesehenen Kameramodul 3, indem man die geteilten Pixel 82 für die Bildgebungspixel 80 in der Bildgebungseinheit 8 ausbildet, möglich, eine Korrektur von durch Streulicht, den Schatten der Anzeige oder dergleichen hervorgerufenen Artefakten zu realisieren.
(Sechste Ausführungsform)
In der vorliegenden Ausführungsform enthält das elektronische Gerät 1 ein Mikrolinsen-Array als optisches System 9 eines Kameramoduls 3.
17 ist eine Darstellung, die das Kameramodul 3 gemäß der vorliegenden Ausführungsform veranschaulicht. Das optische System 9 des Kameramoduls 3 enthält ein Mikrolinsen-Array 90. Das Licht, das durch das Mikrolinsen-Array 90 gelangt ist, fällt in geeigneter Weise auf eine Bildgebungseinheit 8, wird in der Bildgebungseinheit 8 in ein Signal umgewandelt und abgegeben.
Eine Signalerfassungseinheit 10 kann ein Bild auf der Basis des von der Bildgebungseinheit 8 abgegebenen Signals rekonstruieren. Eine Signalverarbeitungseinheit 12 erfasst einen Pixel-Wert, in dem der Einfluss von Artefakten gemäß jeder der oben beschriebenen Ausführungsformen auf der Basis des rekonstruierten Bildes unterdrückt ist.
Wie oben beschrieben wurde, kann das optische System 9 des Kameramoduls 3 zusätzlich zu der Konfiguration, die eine den gesamten Bereich abdeckende Linse enthält, ein Mikrolinsen-Array enthalten. Außerdem kann auch eine Fresnel-Linse, eine Zonenplatte und dergleichen verwendet werden.
Im Folgenden werden hierin einige Anwendungsbeispiele beschrieben.
(Siebte Ausführungsform)
Verschiedene spezifische Kandidaten sind für das elektronische Gerät 1 mit der Konfiguration denkbar, die in den oben beschriebenen Ausführungsformen beschrieben wurde. Beispielsweise ist 18 eine Draufsicht in einem Fall, in dem das elektronische Gerät 1 jeder Ausführungsform für ein Kapselendoskop 50 verwendet wird. Das Kapselendoskop 50 von 18 enthält beispielsweise eine Kamera (eine ultrakleine Kamera) 52, um ein Bild in einem Körperhohlraum aufzunehmen, einen Speicher 53, um von der Kamera 52 abgebildete Bilddaten aufzuzeichnen, und einen drahtlosen Sender 55, um die aufgezeichneten Bilddaten, nachdem das Kapselendoskop 50 von einem Testobjekt bzw. einer Testperson freigegeben bzw. ausgestoßen ist, über eine Antenne 54 nach außen zu übertragen, in einem Gehäuse 51, das eine halbkugelförmige Form an beiden Endflächen und eine zylindrische Form in einem mittleren Bereich aufweist.
Darüber hinaus sind im Gehäuse 51 eine CPU 56 und eine Spule (Magnetkraft-/Stromumwandlungsspule) 57 vorgesehen. Die CPU 56 steuert die Bildgebung durch die Kamera 52 und einen Datenakkumulationsbetrieb im Speicher 53 und steuert eine Datenübertragung vom Speicher 53 zu einer (nicht veranschaulichten) Datenempfangseinrichtung außerhalb des Gehäuses 51 über den drahtlosen Sender 55. Die Spule 57 stellt der Kamera 52, dem Speicher 53, dem drahtlosen Sender 55, der Antenne 54 und den Lichtquellen 52b, die später beschrieben werden sollen, Leistung bereit.
Außerdem ist das Gehäuse 51 mit einem magnetischen (Reed-)Schalter 58 versehen, um zu detektieren, wenn das Kapselendoskop 50 in die Datenempfangseinrichtung eingesetzt wird. Die CPU 56 stellt dem drahtlosen Sender 55 elektrische Leistung von der Spule 57 zu einem Zeitpunkt bereit, zu dem der Reed-Schalter 58 ein Einsetzen in die Datenempfangseinrichtung detektiert und eine Datenübertragung möglich wird.
Die Kamera 52 enthält beispielsweise eine Bildgebungseinheit 52a, das ein optisches System 9 enthält, um ein Bild in einem Körperhohlraum aufzunehmen, und eine Vielzahl von Lichtquellen 52b, um den Körperhohlraum zu beleuchten. Konkret enthält die Kamera 52 als die Lichtquellen 52b beispielsweise einen CMOS-Sensor, eine CCD oder dergleichen, die eine LED enthalten.
Die Anzeigeeinheit 2 in dem elektronischen Gerät 1 gemäß den oben beschriebenen Ausführungsformen ist ein Konzept, das einen Lichtemitter wie etwa die Lichtquellen 52b in 18 einschließt. Das Kapselendoskop 50 von 18 enthält beispielsweise zwei Lichtquellen 52b; aber diese Lichtquellen 52b können ein Anzeigefeld 4 mit einer Vielzahl von Lichtquelleneinheiten oder ein LED-Modul mit einer Vielzahl von LEDs einschließen. In diesem Fall werden, indem man eine Bildgebungseinheit 8 der Kamera 52 unter dem Anzeigefeld 4 oder dem LED-Modul anordnet, Einschränkungen in Bezug auf die Layout-Anordnung reduziert und kann das Kapselendoskop 50 mit einer geringeren Größe realisiert werden.
(Achte Ausführungsform)
Darüber hinaus ist 19 eine rückseitige Darstellung des elektronischen Geräts 1 gemäß den oben beschriebenen Ausführungsformen, das für eine digitale Spiegelreflexkamera 60 verwendet wird. Die digitale Spiegelreflexkamera 60 oder eine Kompaktkamera enthält eine Anzeigeeinheit 2, die einen Vorschaubildschirm auf einer der Linse entgegengesetzten rückseitigen Oberfläche anzeigt. Ein Kameramodul 3 kann auf der der Anzeigeoberfläche der Anzeigeeinheit 2 entgegengesetzten Seite angeordnet sein, sodass das Gesichtsbild eines Fotografen auf einem Anzeigeschirm 1a der Anzeigeeinheit 2 angezeigt werden kann. In dem elektronischen Gerät 1 gemäß jeder der oben beschriebenen Ausführungsformen ist es, da das Kameramodul 3 in dem die Anzeigeeinheit 2 überlappenden Bereich angeordnet werden kann, nicht notwendig, das Kameramodul 3 im Rahmenbereich der Anzeigeeinheit 2 vorzusehen, und kann die Größe der Anzeigeeinheit 2 so weit wie möglich vergrößert werden.
(Neunte Ausführungsform).
20 ist eine Draufsicht, die ein Beispiel veranschaulicht, in dem das elektronische Gerät 1 gemäß den oben beschriebenen Ausführungsformen für eine am Kopf montierte Anzeige bzw. ein Head-Mounted-Display (HMD) 61 verwendet wird. Das HMD 61 von 20 wird für virtuelle Realität (VR), erweiterte Realität (AR), gemischte Realität (MR), Ersatzrealität (SR) oder dergleichen verwendet. Wie in 21 veranschaulicht ist, ist im aktuellen HMD eine Kamera 62 auf der äußeren Oberfläche montiert und besteht das Problem, dass ein Träger des HMD ein Umgebungsbild visuell erkennen kann, aber eine Person in der Umgebung den Ausdruck der Augen oder des Gesichts des Trägers des HMD nicht erkennen kann.
Daher ist in 20 auf der äußeren Oberfläche des HMD 61 die Anzeigeoberfläche einer Anzeigeeinheit 2 vorgesehen und ist auf der der Anzeigeoberfläche der Anzeigeeinheit 2 entgegengesetzten Seite ein Kameramodul 3 vorgesehen. Daher kann der Gesichtsausdruck des Trägers, der durch das Kameramodul 3 abgebildet wird, auf der Anzeigeoberfläche der Anzeigeeinheit 2 angezeigt werden und kann die Person in der Umgebung des Trägers den Gesichtsausdruck und die Bewegung der Augen des Trägers in Echtzeit erfassen.
Im Fall von 20 gibt es, da das Kameramodul 3 auf der Seite der rückseitigen Oberfläche der Anzeigeeinheit 2 vorgesehen ist, keine Einschränkung für die Installationsstelle des Kameramoduls 3 und kann der Freiheitsgrad im Design des HMD 61 erhöht werden. Da die Kamera an einer optimalen Position angeordnet werden kann, ist es darüber hinaus möglich, Probleme, wie etwa dass die Blicklinie des Trägers, die auf der Anzeigeoberfläche angezeigt wird, nicht eingehalten werden kann, zu verhindern.
Wie oben beschrieben wurde, kann in der vorliegenden Ausführungsform das elektronische Gerät 1 gemäß den oben beschriebenen Ausführungsformen für verschiedene Nutzungszwecke verwendet werden und kann der Gebrauchswert erhöht werden.
Man beachte, dass die vorliegende Technologie die unten beschriebene Konfiguration übernehmen kann.

(1) Elektronisches Gerät, aufweisend:
- eine Anzeigeeinheit;
- eine Bildgebungseinheit, die auf einer einer Anzeigeoberfläche der Anzeigeeinheit entgegengesetzten Seite angeordnet ist; und
- eine Signalverarbeitungseinheit,
- worin
- die Bildgebungseinheit enthält:
  - eine Vielzahl von On-Chip-Linsen und
  - eine Vielzahl von Pixeln, und
  - die On-Chip-Linse eine erste On-Chip-Linse umfasst,
  - die Vielzahl von Pixeln ein erstes Pixel umfasst,
  - das erste Pixel so angeordnet ist, dass es die erste On-Chip-Linse überlappt,
  - das erste Pixel eine Vielzahl fotoelektrischer Umwandlungseinheiten enthält und
  - die Signalverarbeitungseinheit von der Vielzahl von Pixeln abgegebene Signale verarbeitet.
(2) Das elektronische Gerät gemäß (1), worin das erste Pixel Informationen über eine vorbestimmte Farbe erfasst.
(3) Das elektronische Gerät gemäß (2), worin das erste Pixel einen Farbfilter enthält.
(4) Das elektronische Gerät gemäß (2), worin das erste Pixel einen organischen fotoelektrischen Umwandlungsfilm enthält, in dem die fotoelektrischen Umwandlungseinheiten, die jeweils zu demselben ersten Pixel gehören, Licht derselben Farbe empfangen.
(5) Das elektronische Gerät gemäß einem von (1) bis (4), worin das erste Pixel m x n (m und n sind jeweils eine ganze Zahl zwei oder höher) fotoelektrische Umwandlungseinheiten enthält.
(6) Das elektronische Gerät gemäß einem von (1) bis (5), worin die fotoelektrische Umwandlungseinheit ein fotoelektrisches Umwandlungselement enthält.
(7) Das elektronische Gerät gemäß (6), worin das fotoelektrische Umwandlungselement eine Fotodiode enthält.
(8) Das elektronische Gerät gemäß (2) oder (3), worin die Bildgebungseinheit eine Vielzahl der ersten Pixel enthält, die nach einem Bayer-Array gefärbt sind.
(9) Das elektronische Gerät gemäß einem von (1) bis (8), worin die Linse eine On-Chip-Linse ist.
(10) Das elektronische Gerät gemäß einem von (1) bis (9), aufweisend ein sich von der Linse unterscheidendes optisches System zwischen der Anzeigeeinheit und der Bildgebungseinheit.
(11) Das elektronische Gerät gemäß (10), worin das optische System ein Mikrolinsen-Array ist.
(12) Das elektronische Gerät gemäß einem von (1) bis (11), worin die Signalverarbeitungseinheit Ausgabewerte der fotoelektrischen Umwandlungseinheiten, die zu demselben ersten Pixel gehören, addiert, um einen Ausgabewert des ersten Pixels zu erhalten.
(13) Das elektronische Gerät gemäß einem von (1) bis (12), worin die Signalverarbeitungseinheit einen Ausgabewert des ersten Pixels korrigiert, falls Ausgabewerte von den jeweiligen fotoelektrischen Umwandlungseinheiten eine vorbestimmte Differenz oder ein vorbestimmtes Verhältnis in den fotoelektrischen Umwandlungseinheiten überschreiten, die in demselben ersten Pixel ausgebildet sind.
(14) Das elektronische Gerät gemäß (13), worin die vorbestimmte Differenz oder das vorbestimmte Verhältnis auf der Basis von zumindest einer individuellen Differenz der fotoelektrischen Umwandlungseinheiten, einer Phasendifferenz in Abhängigkeit von Positionen der fotoelektrischen Umwandlungseinheiten oder von in den fotoelektrischen Einheiten erzeugtem Rauschen entschieden wird.
(15) Das elektronische Gerät gemäß (13) oder (14), worin die Signalverarbeitungseinheit den Ausgabewert des ersten Pixels unter Verwendung eines Pixels mit einem niedrigen Ausgabewert der fotoelektrischen Umwandlungseinheiten im ersten Pixel berechnet.
(16) Das elektronische Gerät gemäß einem von (13) bis (15), worin die Signalverarbeitungseinheit den Ausgabewert des ersten Pixels korrigiert, indem der Ausgabewert des ersten Pixels, das einen Ausgabewert derselben Farbe um das erste Pixel herum erfasst, verwendet wird.
(17) Das elektronische Gerät gemäß einem von (13) bis (16), worin die Signalverarbeitungseinheit eine Korrektur in dem ersten Pixel durchführt, falls ein Gegenstand mit einer vorbestimmten Helligkeit oder höher enthalten ist.
(18) Das elektronische Gerät gemäß einem von (13) bis (17), worin die Signalverarbeitungseinheit streulichtkorrigierte Bilddaten aus dem erfassten Signal gewinnt.
(19) Das elektronische Gerät gemäß einem von (13) bis (18), worin die Signalverarbeitungseinheit bestimmt, dass Streulicht in einem abgebildeten Bild auftritt.
(20) Das elektronische Gerät gemäß (19), worin eine Vielzahl der Bildgebungseinheiten an verschiedenen Positionen auf der Anzeigeoberfläche vorhanden ist und die Signalverarbeitungseinheit eine Korrektur für Pixel, die zu dem Gebiet gehören, von dem bestimmt wird, dass es Streulicht aufweist, auf der Basis von Ausgaben entsprechender Pixel-Gebiete der Bildgebungseinheiten durchführt, die an den verschiedenen Positionen vorhanden sind.
(21) Das elektronische Gerät gemäß (19) oder (20), worin die Signalverarbeitungseinheit eine Korrektur für Pixel, die zu dem Gebiet gehören, von dem bestimmt wird, dass es Streulicht aufweist, auf der Basis eines gelernten Modells durchführt.
(22) Das elektronische Gerät gemäß einem von (13) bis (21), worin für das erfasste erste Pixel die Signalverarbeitungseinheit eine Korrektur auf der Basis von zumindest einem Durchschnittswert von Ausgaben der Vielzahl fotoelektrischer Umwandlungseinheiten, die zum ersten Pixel gehören, einem Wert mit niedriger Empfindlichkeit unter Ausgaben der fotoelektrischen Umwandlungseinheiten, die zum ersten Pixel gehören, oder einem Wert durchführt, der erhalten wird, indem Ausgaben der Vielzahl fotoelektrischer Umwandlungseinheiten, die zum ersten Pixel gehören, in ein gelerntes Modell eingegeben werden.
(23) Das elektronische Gerät gemäß (10), worin die Signalverarbeitungseinheit eine Korrektur unter Verwendung der fotoelektrischen Umwandlungseinheiten für das erste Pixel auf der Basis einer Schaltung der Anzeigeeinheit oder des optischen Systems durchführt.
(24) Das elektronische Gerät gemäß (23), worin in einem Fall, in dem die Korrektur auf der Basis der Schaltung der Anzeigeeinheit oder des optischen Systems für das erste Pixel durchgeführt wird, die Signalverarbeitungseinheit eine Rauschentfernung durchführt, die sich von einer Rauschentfernung eines anderen ersten Pixels unterscheidet.
(25) Das elektronische Gerät gemäß einem von (1) bis (24), worin die Anzeigeeinheit auf beiden Oberflächen einer Vorrichtung vorgesehen ist.

Aspekte der vorliegenden Offenbarung sind nicht auf die oben beschriebenen einzelnen Ausführungsformen beschränkt, sondern schließen verschiedene Modifikationen ein, die vom Fachmann erdacht werden können, und die Effekte der vorliegenden Offenbarung sind nicht auf die oben beschriebenen Inhalte beschränkt. Das heißt, verschiedene Hinzufügungen, Änderungen und partielle Weglassungen können vorgenommen werden, ohne von dem Konzeptgedanken und dem Geist der vorliegenden Offenbarung abzuweichen, die aus den in den Ansprüchen und deren Äquivalenten spezifizierten Inhalten abgeleitet werden.
Bezugszeichenliste

1: Elektronisches Gerät
1a: Anzeigeschirm
1b: Lünette bzw. Einfassung
2: Anzeigeeinheit
3: Kameramodul
4: Anzeigefeld
4a: Substrat
40: Anzeigepixel
41: Verdrahtung
5: zirkular polarisierende Platte
6: Berührungsfeld
7: Deckglas
8: Bildgebungseinheit
80: Bildgebungspixel
81: Linse
82: geteiltes Pixel
83: Schatten
9: optisches System
10: Signalerfassungseinheit
12: Signalverarbeitungseinheit
14: Nachverarbeitungseinheit
16: Ausgabeeinheit
18: Steuerungseinheit
20: Speichereinheit

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2013211413 [0004]

Claims

Elektronisches Gerät, aufweisend: eine Anzeigeeinheit; eine Bildgebungseinheit, die auf einer einer Anzeigeoberfläche der Anzeigeeinheit entgegengesetzten Seite angeordnet ist; und eine Signalverarbeitungseinheit, wobei die Bildgebungseinheit enthält: eine Vielzahl von On-Chip-Linsen und eine Vielzahl von Pixeln, und die On-Chip-Linse eine erste On-Chip-Linse umfasst, die Vielzahl von Pixeln ein erstes Pixel umfasst, das erste Pixel so angeordnet ist, dass es die erste On-Chip-Linse überlappt, das erste Pixel eine Vielzahl fotoelektrischer Umwandlungseinheiten enthält und die Signalverarbeitungseinheit von der Vielzahl von Pixeln abgegebene Signale verarbeitet.
Elektronisches Gerät nach Anspruch 1, wobei das erste Pixel Informationen über eine vorbestimmte Farbe erfasst.
Elektronisches Gerät nach Anspruch 2, wobei das erste Pixel einen Farbfilter oder einen organischen fotoelektrischen Umwandlungsfilm enthält, in dem die fotoelektrischen Umwandlungseinheiten, die jeweils zu demselben ersten Pixel gehören, Licht derselben Farbe empfangen.
Elektronisches Gerät nach Anspruch 1, wobei das erste Pixel m x n (m und n sind jeweils eine ganze Zahl zwei oder höher) fotoelektrische Umwandlungseinheiten enthält.
Elektronisches Gerät nach Anspruch 1, wobei die fotoelektrische Umwandlungseinheit eine Fotodiode enthält.
Elektronisches Gerät nach Anspruch 2, wobei die Bildgebungseinheit eine Vielzahl der ersten Pixel enthält, die nach einem Bayer-Array gefärbt sind.
Elektronisches Gerät nach Anspruch 1, wobei die Signalverarbeitungseinheit Ausgabewerte der fotoelektrischen Umwandlungseinheiten, die zu demselben ersten Pixel gehören, addiert, um einen Ausgabewert des ersten Pixels zu erhalten.
Elektronisches Gerät nach Anspruch 1, wobei die Signalverarbeitungseinheit einen Ausgabewert des ersten Pixels korrigiert, falls Ausgabewerte von den jeweiligen fotoelektrischen Umwandlungseinheiten eine vorbestimmte Differenz oder ein vorbestimmtes Verhältnis in den fotoelektrischen Umwandlungseinheiten überschreiten, die in demselben ersten Pixel ausgebildet sind.
Elektronisches Gerät nach Anspruch 8, wobei die vorbestimmte Differenz oder das vorbestimmte Verhältnis auf Basis von zumindest einer individuellen Differenz der fotoelektrischen Umwandlungseinheiten, einer Phasendifferenz in Abhängigkeit von Positionen der fotoelektrischen Umwandlungseinheiten oder von in den fotoelektrischen Einheiten erzeugtem Rauschen entschieden wird.
Elektronisches Gerät nach Anspruch 8, wobei die Signalverarbeitungseinheit den Ausgabewert des ersten Pixels unter Verwendung eines Pixels mit einem niedrigen Ausgabewert der fotoelektrischen Umwandlungseinheiten im ersten Pixel berechnet.
Elektronisches Gerät nach Anspruch 8, wobei die Signalverarbeitungseinheit den Ausgabewert des ersten Pixels korrigiert, indem der Ausgabewert des ersten Pixels, das einen Ausgabewert derselben Farbe um das erste Pixel herum erfasst, verwendet wird.
Elektronisches Gerät nach Anspruch 8, wobei die Signalverarbeitungseinheit eine Korrektur in dem ersten Pixel durchführt, falls ein Gegenstand mit einer vorbestimmten Helligkeit oder höher enthalten ist.
Elektronisches Gerät nach Anspruch 8, wobei die Signalverarbeitungseinheit streulichtkorrigierte Bilddaten aus dem erfassten Signal gewinnt.
Elektronisches Gerät nach Anspruch 8, wobei die Signalverarbeitungseinheit bestimmt, dass Streulicht in einem abgebildeten Bild gerade auftritt, und eine Streulichtkorrektur durchführt, falls bestimmt wird, dass Streulicht gerade auftritt.
Elektronisches Gerät nach Anspruch 8, wobei für das erfasste erste Pixel die Signalverarbeitungseinheit eine Korrektur auf Basis von zumindest einem Durchschnittswert von Ausgaben der Vielzahl fotoelektrischer Umwandlungseinheiten, die zum ersten Pixel gehören, einem Wert mit niedriger Empfindlichkeit unter Ausgaben der fotoelektrischen Umwandlungseinheiten, die zum ersten Pixel gehören, oder einem Wert durchführt, der erhalten wird, indem Ausgaben der Vielzahl fotoelektrischer Umwandlungseinheiten, die zum ersten Pixel gehören, in ein gelerntes Modell eingegeben werden.
Elektronisches Gerät nach Anspruch 8, wobei die Signalverarbeitungseinheit eine Korrektur unter Verwendung der fotoelektrischen Umwandlungseinheiten für das erste Pixel auf Basis einer Schaltung der Anzeigeeinheit oder eines optischen Systems durchführt, das zwischen der Anzeigeeinheit und der Bildgebungseinheit vorgesehen ist.
Elektronisches Gerät nach Anspruch 16, wobei in einem Fall, in dem die Korrektur auf Basis der Schaltung der Anzeigeeinheit oder des optischen Systems für das erste Pixel durchgeführt wird, die Signalverarbeitungseinheit eine Rauschentfernung durchführt, die sich von einer Rauschentfernung eines anderen der ersten Pixel unterscheidet.
Elektronisches Gerät nach Anspruch 1, wobei die Anzeigeeinheit auf beiden Oberflächen einer Vorrichtung vorgesehen ist.