DE112014000874T5

DE112014000874T5 - Elektronische Vorrichtung, Verfahren zum Erzeugen eines Bildes und Filteranordnung

Info

Publication number: DE112014000874T5
Application number: DE112014000874.5T
Authority: DE
Inventors: Markus Kamm; Alexander Gatto
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2013-02-18
Filing date: 2014-02-10
Publication date: 2015-11-26
Also published as: WO2014124743A1; US20150365594A1; US9584722B2

Abstract

Eine elektronische Vorrichtung wird bereitgestellt mit einem Bildsensor, der eine Mehrzahl von Pixelsensoren aufweist, die in Gruppen aufgeteilt sind; einem Multilinsenarray mit einer Mehrzahl von Linsen, wobei jede der Linsen geeignet ist, ein Bild einer Szene auf einer bestimmten Gruppe der Gruppen von Pixelsensoren abzubilden; und einer Filteranordnung, wobei die Filteranordnung eine Mehrzahl von Farbfilterelementen aufweist, die in Zeilen und Spalten einer Matrix angeordnet sind, und wobei jedes Farbfilterelement einer der Linsen und der entsprechenden bestimmten Gruppe zugeordnet ist und jedes Farbfilterelement geeignet ist, ein Bild der Szene in einen aus einer Mehrzahl von Farbkanälen zu filtern, wobei eine erste Gruppe der Gruppen von Pixelsensoren geeignet ist, eine Perspektive der Szene zur Bildrekonstruktion zu definieren, und wobei die Farbfilterelemente in der Zeile des Farbfilterelements, das besagter ersten Gruppe entspricht, und die Farbfilterelemente in der Spalte des Farbfilterelements, das der besagten ersten Gruppe entspricht, geeignet sind, das Bild der Szene in jeden aus der Mehrzahl von Farbkanälen zu filtern.

Description

EINLEITUNG
Technisches Gebiet
Die vorliegende Offenbarung bezieht sich auf eine elektronische Vorrichtung mit einem Bildsensor mit einer Mehrzahl von Pixelsensoren, die in Gruppen aufgeteilt sind, einem Multilinsenarray mit einer Mehrzahl von Linsen, wobei die Linsen jeweils geeignet sind, ein Bild einer Szene auf eine bestimmte Gruppe der Gruppen von Pixelsensoren abzubilden, und einer Filteranordnung, auf ein Verfahren zum Erzeugen eines Bildes und auf eine Filteranordnung.
Beschreibung des Stands der Technik
Die hier wiedergegebene Einleitung dient dem Zweck, den Kontext der Offenbarung allgemein darzustellen. Sowohl Arbeiten der vorliegend genannten Erfinder, in dem Ausmaß, in dem sie in diesem einleitenden Teil beschrieben werden, als auch Aspekte der Beschreibung, die zum Zeitpunkt der Einreichung anderweitig nicht als Stand der Technik angesehen worden wären, werden weder ausdrücklich noch implizit als Stand der Technik gegenüber der vorliegenden Erfindung anerkannt.
Tragbare elektronische Vorrichtungen wie etwa Mobiltelefone sind heutzutage oft mit Bildsensoren ausgestattet, um Fotos und/oder Videos von interessanten Szenen aufzunehmen. Um die Abmessungen von solchen elektronischen Vorrichtungen weiter zu reduzieren, werden Multilinsenarrays (MLA) benutzt, um ein Bild einer Szene auf einem elektronischen Bildsensor abzubilden, der eine Mehrzahl von Pixelsensoren aufweist, da diese MLA Systeme eine geringere Höhe aufweisen als Systeme mit nur einer einzigen Linse oder einem einzigen Objektiv.
Es besteht das Bedürfnis, das Erzeugen von Farbbildern mittels MLA Systemen weiter zu verbessern.
ZUSAMMENFASSUNG
Eine elektronische Vorrichtung wird bereitgestellt mit einem Bildsensor, der eine Mehrzahl von Pixelsensoren aufweist, die in Gruppen aufgeteilt sind; einen Multilinsenarray mit einer Mehrzahl von Linsen, wobei jede der Linsen geeignet ist, ein Bild einer Szene auf einer bestimmten Gruppe der Gruppen von Pixelsensoren abzubilden; und einer Filteranordnung, wobei die Filteranordnung eine Mehrzahl von Farbfilterelementen aufweist, die in Zeilen und Spalten einer Matrix angeordnet sind, und wobei jedes Farbfilterelement einer der Linsen und der entsprechenden bestimmten Gruppe zugeordnet ist und jedes Farbfilterelement geeignet ist, ein Bild der Szene in einen aus einer Mehrzahl von Farbkanälen zu filtern, wobei eine erste Gruppe der Gruppen von Pixelsensoren geeignet ist, eine Perspektive der Szene zur Bildrekonstruktion zu definieren und wobei die Farbfilterelemente in der Zeile des Farbfilterelements, das besagter ersten Gruppe entspricht, und die Farbfilterelemente in der Spalte des Farbfilterelements, das der besagten ersten Gruppe entspricht, geeignet sind, das Bild der Szene in jeden aus der Mehrzahl von Farbkanälen zu filtern.
Des Weiteren wird ein Verfahren zum Erzeugen von Bildern bereitgestellt, welches aufweist: Erzeugen einer Mehrzahl von Bildern einer Szene mit einer elektronischen Vorrichtung, wobei die elektronische Vorrichtung aufweist: einen Bildsensor, der eine Mehrzahl von Pixelsensoren aufweist, die in Gruppen aufgeteilt sind; ein Multilinsenarray mit einer Mehrzahl von Linsen, wobei jede der Linsen geeignet ist, ein Bild einer Szene auf einer bestimmten Gruppe der Gruppen von Pixelsensoren abzubilden; und eine Filteranordnung, wobei die Filteranordnung eine Mehrzahl von Farbfilterelementen aufweist, die in Zeilen und Spalten einer Matrix angeordnet sind und wobei jedes Farbfilterelement einer der Linsen und der entsprechenden bestimmten Gruppe zugeordnet ist und jedes Farbfilterelement geeignet ist, ein Bild der Szene in einen aus einer Mehrzahl von Farbkanälen zu filtern, wobei eine erste Gruppe der Gruppen von Pixelsensoren geeignet ist, eine Perspektive der Szene zur Bildrekonstruktion zu definieren, und wobei die Farbfilterelemente in der Zeile des Farbfilterelements, das besagter ersten Gruppe entspricht, und die Farbfilterelemente in der Spalte des Farbfilterelements, das der besagten ersten Gruppe entspricht, geeignet sind, das Bild der Szene in jeden aus der Mehrzahl von Farbkanälen zu filtern; und Erzeugen eines kombinierten Bildes der Szene mit der Perspektive der ersten Gruppe von Pixeln, das auf den Bildern in den Gruppen von Pixeln basiert.
Zudem wird eine Filteranordnung bereitgestellt mit einer Mehrzahl von Farbfilterelementen, die in Zeilen und Spalten einer Matrix angeordnet sind, wobei jedes Farbfilterelement einer aus einer Mehrzahl von Linsen eines Multilinsenarrays und einer aus einer Mehrzahl von Gruppen von Pixeln eines Bildsensors zugeordnet ist und wobei jedes Farbfilterelement geeignet ist, ein Bild einer Szene in einen aus einer Mehrzahl von Farbkanälen zu filtern, wobei die Farbfilterelemente in der Zeile des Farbfilterelements, das einer ersten Gruppe von Pixeln zugeordnet ist, und die Farbfilterelemente in der Spalte des Farbfilterelements, das der ersten Gruppe von Pixeln zugeordnet ist, geeignet sind, das Bild der Szene in jeden aus der Mehrzahl der Farbkanäle zu filtern.
Die vorangegangenen Absätze dienen nur der allgemeinen Einleitung und es ist nicht beabsichtigt, durch sie den Umfang der folgenden Ansprüche einzuschränken. Die beschriebenen Ausführungsformen und weitere Vorteile können am besten unter Bezug auf die folgende Beschreibung zusammen mit den abgebildeten Zeichnungen verstanden werden. Elemente der Zeichnungen sind nicht notwendigerweise maßstabsgetreu in Bezug auf einander.
Beschreibung der Zeichnungen
Eine komplette Würdigung der Offenbarung und vieler der sie begleitenden Vorteile kann leicht durch Bezugnahme auf die folgende ausführliche Beschreibung erreicht werden, wenn sie zusammen mit den dargestellten Zeichnungen betrachtet wird, wobei:
1 eine schematische Darstellung einer elektronischen Vorrichtung gemäß einer Ausführungsform der Erfindung zeigt.
2 schematisch Schritte zum Erzeugen eines hochauflösenden Bildes aus einem Eingangs MLA Bild zeigt.
3A und 3B schematisch Filteranordnungen gemäß Ausführungsformen der Erfindung mit drei Farbkanälen zeigen.
4A und 4B schematisch Filteranordnungen gemäß weiterer Ausführungsformen der Erfindung mit vier Farbkanälen darstellen.
5A und 5B schematisch eine Filteranordnung gemäß weiteren Ausführungsformen zeigen, die einen weißen Farbkanal aufweisen.
6 schematisch ein Flussdiagram eines Verfahrens gemäß einer Ausführungsform der Erfindung zeigt.
Beschreibung der Ausführungsformen
Mit Bezug auf die Zeichnungen, wobei gleiche Bezugszeichen gleiche oder entsprechende Teile in den verschiedenen Darstellungen angeben, zeigt die 1 eine schematische Darstellung einer elektronischen Vorrichtung 100 mit einer Aufnahmefunktion. Die elektronische Vorrichtung 100 kann als Mobiltelefon, Smartphone, Tablet PC, persönlicher digitaler Assistent („personal digital assistant“, PDA), Webkamera, digitale Fotokamera, digitale Videokamera oder jede andere ähnliche elektronische Vorrichtung, die von einem Benutzer zum Aufnehmen von Fotos und/oder Videos eines Objekts 105 benutzt werden kann, ausgestaltet sein. Im Folgenden wird der Ausdruck „Bild“ sowohl für „Fotos“ als auch für „Videos“ benutzt.
Die elektronische Vorrichtung 100 weist einen Bildsensor 110 mit einer Mehrzahl von Pixelsensoren 111 auf, die in einer Matrix angeordnet sind. In heutigen Bildsensoren 110 kann die Anzahl der Pixelsensoren 111 etwa 16,1 Millionen (16,1 Megapixel) oder sogar bis zu 41 Millionen betragen. Technische Verbesserungen in der Zukunft könnten sogar zu einer noch größeren Anzahl von Pixelsensoren 111 pro Bildsensor 110 führen.
Die elektronische Vorrichtung 100 weist des Weiteren ein Multilinsenarray (MLA) 120 mit einer Mehrzahl von Linsen 121 auf, von denen jede geeignet ist, ein Bild 122 auf eine Gruppe 123 aus der Mehrzahl der Pixelsensoren 111 zu erzeugen. Die Linsen 121 sind in dem Multilinsenarray (MLA) 120 matrixförmig angeordnet, was zu einer entsprechenden Matrixform einer Mehrzahl von unterschiedlichen Gruppen 123 der Pixelsensoren 111 in dem Bildsensor 110 führt. Deshalb werden anstatt eines einzigen Bildes, das durch eine einzelne Linse erzeugt würde, eine Mehrzahl von Bildern 122 erzeugt, die gleich der Anzahl der Linsen 121 in dem MLA 120 ist, die jedoch eine niedrigere Auflösung aufweisen, als ein mit einer einzigen Linse erzeugtes Bild. Des Weiteren weist das MLA 120 eine geringere Höhe als eine einzelne Linse auf. Es ist deshalb einfacher, es in die elektronische Vorrichtung 100 zu integrieren.
Eine Filteranordnung 130 ist in der elektronischen Vorrichtung 100 angeordnet. Die Filteranordnung 130 weist eine Mehrzahl von Farbfilterelementen 131 auf, die in Zeilen und Spalten einer Matrix angeordnet sind, wobei jedes Farbfilterelement 131 einer der Linsen 121 und der entsprechenden bestimmten Gruppe 123 zugeordnet ist und wobei jedes Farbfilterelement 131 geeignet ist, ein Bild der Szene oder des Objekts 105 in einen aus einer Mehrzahl von Farbkanälen zu filtern.
Da die Farbfilterelemente 131 den entsprechenden bestimmten Gruppen von Pixelsensoren derart zugeordnet sind, dass alle Pixelsensoren der bestimmten Gruppe Bildinformationen der gleichen Farbe detektieren, gibt es keine fehlenden Details, wie etwa, wenn eine Filteranordnung für jeden Pixel benutzt wird, wie etwa eine Bayer-Matrix Filteranordnung (zwei grüne Filter, ein blauer Filter und ein roter Filter in einer 2×2 Pixelmatrix), wobei verschiedene Farbinformationen für angrenzende Pixelsensoren verwendet werden. Mit der pixelbezogenen Filteranordnung kann es passieren, dass für bestimmte Teile der Szene nur einige der Farbkanäle verfügbar sind, da die Anordnung der Filter möglicherweise verhindert, dass andere Farbkanäle für diese Teile detektiert werden. Zum Beispiel kann ein bestimmter Teil der Szene in allen Bildern der Linsen immer auf einen Pixelsensor abgebildet werden, der einen roten Filter aufweist. Dann fehlen die Informationen bezüglich Grün und Blau für diesen Teil der Szene.
Die Farbfilterelemente 131 können den Linsen 121 in einem Verhältnis von 1:1 zugeordnet sein.
Alternativ weist die elektronische Vorrichtung 100 einen Prozessor 140 auf, der geeignet ist, ein kombiniertes Bild aus den Bildern 122 der Gruppen 123 von Pixelsensoren 111 zu erzeugen. Es ist jedoch möglich, dass der Prozessor 140 nicht in der elektronischen Vorrichtung 100 enthalten ist, sondern stattdessen extern angeordnet ist. In diesem Fall müssen Pixelrohdaten von dem Bildsensor 110 zu dem externen Prozessor übertragen werden, um das kombinierte Bild zu erzeugen.
Wenn der Prozessor 140 innerhalb der elektronischen Vorrichtung 100 angeordnet ist, kann das kombinierte Bild 141 auf einem optionalen Bildschirm 150 angezeigt werden oder in einem Speicher 151 gespeichert werden. Der Speicher 151 kann eine Speicherkarte, ein Speicherstick, ein Festplattenspeicher, eine Diskette, ein Halbleiterspeicher oder jeder andere Speicher sein, der elektrisch mit dem Prozessor 140 verbunden werden kann.
In der 2 ist ein schematisches Blockdiagramm für das Erzeugen eines kombinierten Bildes 210 aus einem Eingangs-MLA-Bilds 220 dargestellt. In diesem Beispiel enthält das MLA-Bild 210 neun Bilder 122, die in einer Matrix angeordnet sind. Um Farbinformationen der aufgenommenen Szene zu erhalten, weist jedes der neuen Bilder 122 Daten eines Farbkanals auf, der auf die Farbfilterelemente 131 der Filteranordnung 130 zurückzuführen ist. Aufgrund der unterschiedlichen Platzierung der einzelnen Linsen 121 des Multilinsenarrays 120 sind die Bilder 122 mit Bezug aufeinander versetzt und zeigen das Objekt 105 unter leicht unterschiedlichen Blickwinkeln.
Nachdem das MLA Bild 210 bei S230 eingegeben wurde, wird ein Unterschied der Bilder 122 geschätzt, der auf der Versetzung und den unterschiedlichen Blickwinkeln beruht, und die Unterschiede werden berücksichtigt, wenn ein kombinierten Bild 210 erzeugt oder mit einem Bildrekonstruktionsalgorithmus, z.B. einem Super-Resolution-Algorithmus SR (Superauflösungsalgorithmus), bei S232 rekonstruiert werden. Daraufhin wird das kombinierte Bild 210 bei S233 z.B. auf dem Bildschirm 150 ausgegeben oder in dem Speicher 151 gespeichert. SR-Algorithmen sind z.B. in dem Fachbusch „Iterativ-Interpolation Super-Resolution Image Reconstruction“ von Vivek Bannore, Springer-Verlag 2010, ISBN 978-3-642-10145-8 offenbart.
Basierend auf der Versetzung und den unterschiedlichen Blickwinkeln des Bildes wird eine erste Gruppe aus den Gruppen 132 der Pixelsensoren 111 ausgewählt, die eine Perspektive der Szene oder des Objekts für die Bildrekonstruktion definiert.
In der 3A ist eine Filteranordnung 300 gemäß einer Ausführungsform der Erfindung dargestellt. Die Filteranordnung 300 weist Farbfilterelemente 131 auf, die in einer Matrix mit drei Spalten und drei Zeilen angeordnet sind, die in einer Ausführungsform mit drei Farbkanälen benutzt wird. Die in den Farbfilterelementen 131 angegebenen Zahlen symbolisieren die drei verschiedenen Farben der Farbkanäle, in dieser Ausführungsform z.B. 1 = Rot, 2 = Grün, 3 = Blau. Der Kreis 310 gibt das Farbfilterelement 305 an, das der ersten Gruppe von Pixelsensoren zugeordnet ist, die zur Definition der Perspektive des kombinierten Bildes benutzt wird.
Gemäß der in der 3A dargestellten Ausführungsform sind die Farbfilterelemente in der Zeile 320, die das der ersten Gruppe entsprechende Farbfilterelement 305 enthält, und die Farbfilterelemente in der Spalte 321, die das der ersten Gruppe entsprechende Farbfilterelement 305 enthält, geeignet, das Bild der Szene in jeden aus der Mehrzahl der Farbkanäle zu filtern. Da in der dargestellten Ausführungsform das Farbfilterelement 305 ein rotes Farbfilterelement ist, sind in der dargestellten Ausführungsform die Farbfilterelemente 306, 307 der Zeile 320 grüne und blaue Farbfilterelement und die Farbfilterelemente 308, 309 der Spalte 321 sind ebenfalls grüne und blaue Farbfilterelemente. Die weiteren vier Farbfilterelemente in der 3×3 Matrix können beliebig sein (d.h. in dieser Ausführungsform rot, grün oder blau), was beispielhaft durch den Buchstaben „A“ dargestellt ist.
Wenn die Filteranordnung 300 gemäß der dargestellten Ausführungsform benutzt wird, ist es möglich, Farbartefakte aufgrund von Verdeckung von Objekten in der aufgenommenen Szene zu vermeiden. Wenn ein Objekt durch ein weiteres Objekt verdeckt wird, das näher an dem Multilinsenarray liegt, sichert die Anordnung der Farbfilterelemente gemäß der Ausführungsformen der Erfindung, dass beim Erzeugen des kombinierten Bildes die Farbinformationen aller Farbfilter für alle Pixel des kombinierten Bildes verwendet werden.
Eine weitere Ausführungsform eines Systems mit drei Farbkanälen ist in der 3B dargestellt. In dieser Ausführungsform ist das Farbfilterelement 305, das der ersten Gruppe von Pixelsensoren 111 zugeordnet ist, die für die Perspektive des kombinierten Bildes verwendet wird, grün (= 2). Deshalb sind die anderen beiden Farbfilterelemente in der gleichen Zeile und der gleichen Spalte rot (= 1) und blau (= 3).
Deshalb sind, um Farbartefakte aufgrund von Verdeckung während der Bildrekonstruktion zu unterdrücken, innerhalb der Zeile und der Spalte des Farbfilterelements, das der ersten Gruppe von Pixelsensoren zugeordnet ist, die als Perspektive zum Erzeugen des kombinierten Bildes verwendet wird, alle verschiedenen Farbfilterelemente für die Mehrzahl von Farbkanälen vorhanden.
In den 4A und 4B sind weitere Ausführungsformen 400, 401 dargestellt. In diesem Fall wird ein System mit vier Farbkanälen benutzt, das eine vierte Farbe, z.B. Infrarot (= 4) aufweist. Auch in diesen Ausführungsformen sind in der Zeile und in der Spalte mit dem Farbfilterelement 305, das der ersten Gruppe von Pixelsensoren zugeordnet ist, die zur Definition der Perspektive des kombinierten Bildes benutzt wird, die anderen Farbfilterelemente vorhanden, um jeden der vier Farbkanäle abzudecken.
Es ist jedoch zu beachten, dass es in Matrizen mit einer größeren Anzahl von Spalten und/oder Zeilen möglich ist, sicherzustellen, dass alle unterschiedlichen Farbfilterelemente in der Spalte und der Zeile des Farbfilterelements 305 vorhanden sind, das der ersten Gruppe von Pixelsensoren zugeordnet ist, und dass des weiteren verbleibende Farbfilterelemente beliebig ausgewählt werden können.
Gemäß weiterer Ausführungsformen der Filteranordnung 500, 510, die in den 5A und 5B dargestellt sind, ist es auch möglich, ein „weißes“ Farbfilterelement (= w) oder einen Helligkeitsfilter zu verwenden. Die gefilterten Signale des weißen Farbfilters (= w) sind mit den Signalen eines roten (= r), grünen (= g) und blauen (= b) Farbfilters zum Beispiel durch Gleichung (1) verknüpft: W = γ(R + G + B) (1) wobei γ ein Faktor ist, der von einer gleichförmigen spektralen Dämpfung durch das weiße Farbfilterelement abhängt und der während der Charakterisierung des weißen Farbfilterelements bestimmt werden kann, d.h. bevor die komplette Filteranordnung mit dem weißen Farbfilterelement hergestellt wird. Dadurch kann der bestimmte Wert γ z.B. durch den Prozessor 140 genutzt werden, um die Gleichung (1) zur Bestimmung eines fehlenden Farbsignals auszuwerten.
Wenn das weiße Farbfilterelement W wie in den 5A und 5B dargestellt benutzt wird, kann das zur Kenntnis aller Farbkanäle fehlende Farbsignal durch Gleichung (1) bestimmt werden.
Da das weiße Farbfilterelement W die Detektion von allen Farben in der zugeordneten Gruppe von Pixelsensoren 111 erlaubt, wird mehr Licht aufgenommen als wenn ein blauer, roter, grüner oder infraroter Farbfilter verwendet wird. Dies ergibt einen höheren Dynamic Range (dynamischen Bereich) und ein besseres Signal zu Rauschverhältnis (SNR) und – aufgrund des benutzten Super Resolution SR Algorithmus – auch eine höhere Auflösung des kombinierten Bildes 210.
Die Filteranordnung 130 kann – wie in der 1 dargestellt – auf eine optischen Achse 135 zwischen dem Bildsensor 110 und dem MLA 120 angeordnet sein. Es kann aber genauso möglich sein, dass die Filteranordnung 130 zwischen der Szene und dem MLA 120 angeordnet ist.
Des Weiteren ist es möglich, dass die Filteranordnung in direktem mechanischem Kontakt mit z.B. dem Bildsensor 110 oder dem Multilinsenarray 120 angeordnet ist. Falls sie in direktem mechanischen Kontakt mit dem Multilinsenarray 120 steht, kann sie auf der Seite des Multilinsenarray 120 angeordnet sein, die zu dem Bildsensor 110 hingewandt ist, oder auf der Seite des Multilinsenarray, die zu der Szene hingewandt ist. Der direkte mechanische Kontakt erleichtert eine optische Ausrichtung der Filteranordnung mit dem MLA 120 und/oder dem Bildsensor 110 und kann durch Laminieren oder Auftragen der Farbfilterelemente auf dem Material (z.B. Glas oder Plastik) der Linsen 121 erreicht werden.
In einer weiteren Ausführungsform kann die Filteranordnung durch Einschluss von entsprechenden Filterfarbstoffen in das Material der Linsen 121 (z.B. Glas oder Plastik) derart realisiert werden, dass das Multilinsenarray 120 gleichzeitig als Filteranordnung und als Fokussierelement zum Abbilden der Bilder auf dem Bildsensor 110 fungiert.
Die 6 zeigt ein Flussdiagramm eines Verfahrens gemäß einer Ausführungsform de Erfindung. Bei S610 wird mit einer elektronischen Vorrichtung eine Mehrzahl von Bildern erzeugt. Die elektronische Vorrichtung weist auf: einen Bildsensor, der eine Mehrzahl von Pixelsensoren aufweist, die in Gruppen aufgeteilt sind; ein Multilinsenarray mit einer Mehrzahl von Linsen, wobei jede der Linsen geeignet ist, ein Bild einer Szene auf einer bestimmten Gruppe der Gruppen von Pixelsensoren abzubilden; und eine Filteranordnung, wobei die Filteranordnung eine Mehrzahl von Farbfilterelementen aufweist, die in Zeilen und Spalten einer Matrix angeordnet sind und wobei jedes Farbfilterelement einer der Linsen und der entsprechenden bestimmten Gruppe zugeordnet ist und jedes Farbfilterelement geeignet ist, ein Bild der Szene in einen aus einer Mehrzahl von Farbkanälen zu filtern, wobei eine erste Gruppe der Gruppen von Pixelsensoren geeignet ist, eine Perspektive der Szene zur Bildrekonstruktion zu definieren, und wobei die Farbfilterelemente in der Zeile des Farbfilterelements, das besagter ersten Gruppe entspricht, und die Farbfilterelemente in der Spalte des Farbfilterelements, das der besagten ersten Gruppe entspricht, geeignet sind, das Bild der Szene in jeden aus der Mehrzahl von Farbkanälen zu filtern.
Daraufhin wird bei S620 ein kombiniertes Bild basierend auf der Mehrzahl von Bildern erzeugt.
Mit der vorgeschlagenen elektronischen Vorrichtung, dem Verfahren und der Filteranordnung ist es möglich Farbartefakte in rekonstruierten Bildern zu vermeiden, die auf verdeckten Objekten basieren, wenn Multilinsenarray verwendet werden.
Naturgemäß sind eine Vielzahl von Modifikationen und Abänderungen der vorliegenden Offenbarung im Lichte der obigen Lehre möglich. Es ist klar, dass innerhalb des Umfangs der beigefügten Ansprüche die Erfindung anders als oben im Detail beschrieben ausgeführt werden kann.
Die vorliegende Technologie ist auch in den folgenden Konstruktionen enthalten:

(1) Elektronische Vorrichtung mit: einem Bildsensor mit einer Mehrzahl von Pixelsensoren, die in Gruppen aufgeteilt sind; einem Multilinsenarray mit einer Mehrzahl von Linsen, wobei die Linsen jeweils geeignet sind, ein Bild einer Szene auf eine bestimmte Gruppe der Gruppen von Pixelsensoren abzubilden; und einer Filteranordnung, wobei die Filteranordnung eine Mehrzahl von Farbfilterelementen aufweist, die in Zeilen und Spalten einer Matrix angeordnet sind, wobei jedes Farbfilterelement einer der Linsen und der entsprechenden bestimmten Gruppe zugeordnet ist und jedes Farbfilterelement geeignet ist, ein Bild der Szene in einen aus einer Mehrzahl von Farbkanälen zu filtern, wobei eine erste Gruppe der Gruppe von Pixelsensoren geeignet ist, eine Perspektive der Szene für eine Bildrekonstruktion zu definieren, und wobei die Farbfilterelemente in der Zeile des Farbfilterelements, das besagter ersten Gruppe entspricht, und die Farbfilterelemente in der Spalte des Farbfilterelements, das besagter ersten Gruppe entspricht, geeignet sind, die Bilder der Szene in jeden aus der Mehrzahl der Farbkanäle zu filtern.
(2) Elektronische Vorrichtung gemäß (1) des Weiteren mit: einem Prozessor, der mit dem Bildsensor verbunden ist und der geeignet ist, ein kombiniertes Bild der Szene mit einer auf der ersten Gruppe basierenden Perspektive zu erzeugen.
(3) Elektronische Vorrichtung gemäß einem aus (1) oder (2), wobei die Mehrzahl von Farbkanälen Weiß beinhaltet.
(4) Elektronische Vorrichtung gemäß einem aus (1) bis (3), wobei die Mehrzahl von Farbkanälen Rot, Grün und/oder Blau aufweist.
(5) Elektronische Vorrichtung gemäß einem aus (1) bis (4), wobei die Mehrzahl von Farbkanälen Infrarot aufweist.
(6) Elektronische Vorrichtung gemäß einem aus (1) bis (5), wobei die Filteranordnung sich auf einer optischen Achse zwischen dem Bildsensor und dem Multilinsenarray oder zwischen dem Multilinsenarray und der Szene befindet.
(7) Elektronische Vorrichtung gemäß einem aus (1) bis (6), wobei die Filteranordnung in direktem mechanischem Kontakt mit dem Multilinsenarray steht.
(8) Elektronische Vorrichtung gemäß einem aus (1) bis (5), wobei die Filteranordnung durch Einbringen von Farbstoffen in die Linsen des Multilinsenarrays realisiert ist.
(9) Elektronische Vorrichtung gemäß einem aus (1) bis (6), wobei die Filteranordnung in direktem mechanischem Kontakt mit dem Bildsensor steht.
(10) Verfahren zum Erzeugen eines Bildes, aufweisend: Erzeugen einer Mehrzahl von Bildern einer Szene mit einer elektronischen Vorrichtung, wobei die elektronische Vorrichtung aufweist: einen Bildsensor mit einer Mehrzahl von Pixelsensoren, die in Gruppen aufgeteilt sind; ein Multilinsenarray mit einer Mehrzahl von Linsen, wobei die Linsen jeweils geeignet sind, ein Bild einer Szene auf eine bestimmte Gruppe der Gruppen von Pixelsensoren abzubilden; und eine Filteranordnung, wobei die Filteranordnung eine Mehrzahl von Farbfilterelementen aufweist, die in Zeilen und Spalten einer Matrix angeordnet sind, wobei jedes Farbfilterelement einer der Linsen und der entsprechenden bestimmten Gruppe zugeordnet ist und jedes Farbfilterelement geeignet ist, ein Bild der Szene in einen aus einer Mehrzahl von Farbkanälen zu filtern, wobei eine erste Gruppe der Gruppe von Pixelsensoren geeignet ist, eine Perspektive der Szene für eine Bildrekonstruktion zu definieren, und wobei die Farbfilterelemente in der Zeile des Farbfilterelements, das besagter ersten Gruppe entspricht, und die Farbfilterelemente in der Spalte des Farbfilterelements, das besagter ersten Gruppe entspricht, geeignet sind, die Bilder der Szene in jeden aus der Mehrzahl der Farbkanäle zu filtern; und Erzeugen eines kombinierten Bildes der Szene mit der Perspektive der ersten Gruppe von Pixeln, basierend auf den Bildern in den Gruppen von Pixeln.
(11) Verfahren gemäß (10), wobei die Mehrzahl von Farbkanälen Weiß aufweist.
(12) Verfahren gemäß einem aus (10) oder (11), wobei die Mehrzahl von Farbkanälen Rot, Grün und/oder Blau aufweist.
(13) Verfahren gemäß einem aus (10) bis (12), wobei die Mehrzahl von Farbkanälen Infrarot aufweist.
(14) Filteranordnung mit einer Mehrzahl von Farbfilterelementen, die in Zeilen und Spalten einer Matrix angeordnet sind, wobei jedes Farbfilterelement einer aus einer Mehrzahl von Linsen eines Multilinsenarrays und einer aus einer Mehrzahl von Gruppen von Pixeln eines Bildsensors zugeordnet ist und jedes Farbfilterelement geeignet ist, ein Bild der Szene in einen aus einer Mehrzahl von Farbkanälen zu filtern, wobei die Farbfilterelemente in der Zeile des Farbfilterelements, das einer erster Gruppe von Pixeln zugeordnet ist, und die Farbfilterelement in der Spalte des Farbfilterelements, das der ersten Gruppe von Pixeln zugeordnet ist, geeignet sind, die Bilder der Szene in jeden aus der Mehrzahl von Farbkanälen zu filtern.

Claims

Elektronische Vorrichtung mit: einem Bildsensor mit einer Mehrzahl von Pixelsensoren, die in Gruppen aufgeteilt sind; einem Multilinsenarray mit einer Mehrzahl von Linsen, wobei die Linsen jeweils geeignet sind, ein Bild einer Szene auf eine bestimmte Gruppe der Gruppen von Pixelsensoren abzubilden; und einer Filteranordnung, wobei die Filteranordnung eine Mehrzahl von Farbfilterelementen aufweist, die in Zeilen und Spalten einer Matrix angeordnet sind, wobei jedes Farbfilterelement einer der Linsen und der entsprechenden bestimmten Gruppe zugeordnet ist und jedes Farbfilterelement geeignet ist, ein Bild der Szene in einen aus einer Mehrzahl von Farbkanälen zu filtern, wobei eine erste Gruppe der Gruppe von Pixelsensoren geeignet ist, eine Perspektive der Szene für eine Bildrekonstruktion zu definieren, und wobei die Farbfilterelemente in der Zeile des Farbfilterelements, das besagter ersten Gruppe entspricht, und die Farbfilterelemente in der Spalte des Farbfilterelements, das besagter ersten Gruppe entspricht, geeignet sind, die Bilder der Szene in jeden aus der Mehrzahl der Farbkanäle zu filtern.
Elektronische Vorrichtung gemäß Anspruch 1, des Weiteren mit: einem Prozessor, der mit dem Bildsensor verbunden ist und der geeignet ist, ein kombiniertes Bild der Szene mit einer auf der ersten Gruppe basierenden Perspektive zu erzeugen.
Elektronische Vorrichtung gemäß Anspruch 1, wobei die Mehrzahl von Farbkanälen Weiß beinhaltet.
Elektronische Vorrichtung gemäß Anspruch 1, wobei die Mehrzahl von Farbkanälen Rot, Grün und/oder Blau aufweist.
Elektronische Vorrichtung gemäß Anspruch 1, wobei die Mehrzahl von Farbkanälen Infrarot aufweist.
Elektronische Vorrichtung gemäß Anspruch 1, wobei die Filteranordnung sich auf einer optischen Achse zwischen dem Bildsensor und dem Multilinsenarray oder zwischen dem Multilinsenarray und der Szene befindet.
Elektronische Vorrichtung gemäß Anspruch 1, wobei die Filteranordnung in direktem mechanischem Kontakt mit dem Multilinsenarray steht.
Elektronische Vorrichtung gemäß Anspruch 1, wobei die Filteranordnung durch Einbringen von Farbstoffen in die Linsen des Multilinsenarrays realisiert ist.
Elektronische Vorrichtung gemäß Anspruch 1, wobei die Filteranordnung in direktem mechanischem Kontakt mit dem Bildsensor steht.
Verfahren zum Erzeugen eines Bildes, aufweisend: Erzeugen einer Mehrzahl von Bildern einer Szene mit einer elektronischen Vorrichtung, wobei die elektronische Vorrichtung aufweist: einen Bildsensor mit einer Mehrzahl von Pixelsensoren, die in Gruppen aufgeteilt sind; ein Multilinsenarray mit einer Mehrzahl von Linsen, wobei die Linsen jeweils geeignet sind, ein Bild einer Szene auf eine bestimmte Gruppe der Gruppen von Pixelsensoren abzubilden; und eine Filteranordnung, wobei die Filteranordnung eine Mehrzahl von Farbfilterelementen aufweist, die in Zeilen und Spalten einer Matrix angeordnet sind, wobei jedes Farbfilterelement einer der Linsen und der entsprechenden bestimmten Gruppe zugeordnet ist und jedes Farbfilterelement geeignet ist, ein Bild der Szene in einen aus einer Mehrzahl von Farbkanälen zu filtern, wobei eine erste Gruppe der Gruppe von Pixelsensoren geeignet ist, eine Perspektive der Szene für eine Bildrekonstruktion zu definieren, und wobei die Farbfilterelemente in der Zeile des Farbfilterelements, das besagter ersten Gruppe entspricht, und die Farbfilterelemente in der Spalte des Farbfilterelements, das besagter ersten Gruppe entspricht, geeignet sind, die Bilder der Szene in jeden aus der Mehrzahl der Farbkanäle zu filtern; und Erzeugen eines kombinierten Bildes der Szene mit der Perspektive der ersten Gruppe von Pixeln, basierend auf den Bildern in den Gruppen von Pixeln.
Verfahren gemäß Anspruch 10, wobei die Mehrzahl von Farbkanälen Weiß aufweist.
Verfahren gemäß Anspruch 10, wobei die Mehrzahl von Farbkanälen Rot, Grün und/oder Blau aufweist.
Verfahren gemäß Anspruch 10, wobei die Mehrzahl von Farbkanälen Infrarot aufweist.
Filteranordnung mit einer Mehrzahl von Farbfilterelementen, die in Zeilen und Spalten einer Matrix angeordnet sind, wobei jedes Farbfilterelement einer aus einer Mehrzahl von Linsen eines Multilinsenarrays und einer aus einer Mehrzahl von Gruppen von Pixeln eines Bildsensors zugeordnet ist und jedes Farbfilterelement geeignet ist, ein Bild der Szene in einen aus einer Mehrzahl von Farbkanälen zu filtern, wobei die Farbfilterelemente in der Zeile des Farbfilterelements, das einer erster Gruppe von Pixeln zugeordnet ist, und die Farbfilterelement in der Spalte des Farbfilterelements, das der ersten Gruppe von Pixeln zugeordnet ist, geeignet sind, die Bilder der Szene in jeden aus der Mehrzahl von Farbkanälen zu filtern.