DE102021114098A1 - Pixelarray zur reduzierung des bildinformationsverlustes und bildsensor mit demselben - Google Patents

Pixelarray zur reduzierung des bildinformationsverlustes und bildsensor mit demselben Download PDF

Info

Publication number
DE102021114098A1
DE102021114098A1 DE102021114098.6A DE102021114098A DE102021114098A1 DE 102021114098 A1 DE102021114098 A1 DE 102021114098A1 DE 102021114098 A DE102021114098 A DE 102021114098A DE 102021114098 A1 DE102021114098 A1 DE 102021114098A1
Authority
DE
Germany
Prior art keywords
cfa
block
pixels
color
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021114098.6A
Other languages
English (en)
Inventor
SoYoun Park
Byungwook JUNG
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210042232A external-priority patent/KR20210155344A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of DE102021114098A1 publication Critical patent/DE102021114098A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

Pixelarray zur Verringerung des Bildinformationsverlustes und ein Bildsensor, der dieses enthält, sind vorgesehen. Das Pixelarray enthält eine Mehrzahl von Farbfilterarray-(CFA)-Zellen, die eine bestimmte Größe aufweisen und jeweils eine Mehrzahl von CFA-Blöcken in Breiten- und Längenrichtung der CFA-Zelle enthalten, wobei jeder der CFA-Blöcke einen Unterblock, der sich in einem zentralen Bereich jedes der CFA-Blöcke befindet und m∗n Farbpixel enthält, und einen von dem Unterblock verschiedenen äußeren Bereich enthält und Farbpixel enthält, wobei die m*n Farbpixel des Unterblocks Farbpixel enthalten, die eine erste bis dritte Farbe abtasten, und der äußere Bereich eine relativ hohe Anzahl von ersten Pixeln, die die erste Farbe abtasten, und eine relativ niedrige Anzahl von zweiten Pixeln enthält, die mindestens eine aus der zweiten Farbe und der dritten Farbe ausgewählte Farbe abtasten.

Description

  • QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
  • Diese Anmeldung basiert auf der koreanischen Patentanmeldung Nr. 10-2020-0072618 , eingereicht am 15. Juni 2020, und der koreanischen Patentanmeldung Nr. 10-2021-0042232 , eingereicht am 31. März 2021, beim koreanischen Amt für geistiges Eigentum und beansprucht deren Priorität nach 35 U.S.C. §119, deren Offenbarungen hierin durch Verweis hierauf in vollem Umfang aufgenommen sind.
  • HINTERGRUND
  • Die erfindungsgemäßen Konzepte beziehen sich auf Bildsensoren, insbesondere auf Pixelarrays zur Reduzierung von Bildinformationsverlusten und auf Bildsensoren, die diese enthalten.
  • Bildsensoren nehmen ein zweidimensionales (2D) oder dreidimensionales (3D) Bild eines Objekts auf. Bildsensoren erzeugen ein Bild eines Objekts mithilfe eines photoelektrischen Wandlerelements, das auf die Intensität des vom Objekt reflektierten Lichts reagiert. Mit der jüngsten Entwicklung der komplementären Metall-Oxid-Halbleiter-(CMOS)- Technologie wurde ein CMOS-Bildsensor (CIS) das CMOS verwendet, weit verbreitet.
  • Bildsensoren können ein Pixelarray enthalten. Wenn Bildsensoren eine höhere Pixelanzahl aufweisen, kann das Pixelarray mehr Farbpixel enthalten. Um ein von einem Bildsensor ausgegebenes Rohbild in ein bestimmtes Muster, z. B. ein RGB-Bild, umzuwandeln, kann ein auf Interpolation und/oder Extrapolation basierender Remosaick-Prozess durchgeführt werden. Wenn sich der Abstand zu einem benachbarten Farbpixel, auf den bei diesem Prozess Bezug genommen werden kann, vergrößert, kann es zu einem Verlust von Bildinformationen kommen.
  • ZUSAMMENFASSUNG
  • Die erfindungsgemäßen Konzepte sehen ein Pixelarray vor, um einen zunehmenden Bildverlust bei der Verarbeitung eines von einem Bildsensor aufgenommenen Bildes zu verhindern oder zu reduzieren.
  • Nach einem Aspekt der erfindungsgemäßen Konzepte ist ein Pixelarray eines Bildsensors vorgesehen. Das Pixelarray enthält eine Mehrzahl von Farbfilterarray-(CFA)-Zellen, die eine bestimmte Größe aufweisen, wobei jede der Mehrzahl von CFA-Zellen eine Mehrzahl von CFA-Blöcken in einer Breitenrichtung der CFA-Zelle und einer Längenrichtung der CFA-Zelle enthält, wobei jeder der Mehrzahl von CFA-Blöcken einen Unterblock und einen von dem Unterblock verschiedenen äußeren Bereich enthält, wobei der Unterblock sich in einem zentralen Bereich jedes der Mehrzahl von CFA-Blöcke befindet und m*n Farbpixel enthält, und der äußere Bereich andere Farbpixel enthält, wobei die m*n Farbpixel des Unterblocks Farbpixel enthalten, die eine erste, eine zweite und eine dritte Farbe abtasten, und der äußere Bereich eine Anzahl von ersten Pixeln, die die erste Farbe abtasten, und eine Anzahl von zweiten Pixeln, die mindestens eine aus der zweiten Farbe und der dritten Farbe ausgewählte Farbe abtasten, wobei die Anzahl der ersten Pixel größer als die Anzahl der zweiten Pixel ist, enthält.
  • Nach einem Aspekt der erfindungsgemäßen Konzepte wird ein Pixelarray eines Bildsensors vorgesehen. Das Pixelarray enthält eine Mehrzahl von Farbfilterarray-(CFA)-Zellen, die eine bestimmte Größe aufweisen, wobei jede der Mehrzahl von CFA-Zellen 2*2 CFA-Blöcke in einer Breitenrichtung der CFA-Zelle und einer Längenrichtung der CFA-Zelle enthält, wobei jeder der 2*2 CFA-Blöcke 4*4 Farbpixel enthält, wobei jeder der 2*2 CFA-Blöcke einen Unterblock und einen äußeren Bereich enthält, wobei der Unterblock sich in einem zentralen Bereich jedes der 2*2 CFA-Blöcke befindet und 2*2 Farbpixel enthält, und sich der äußere Bereich an einer äußeren Seite jedes der 2*2 CFA-Blöcke befindet und zwölf Farbpixel enthält; die 2*2 CFA-Blöcke einen roten CFA-Block, einen grünen CFA-Block und einen blauen CFA-Block enthalten; und der Unterblock ein rotes Pixel, ein blaues Pixel und zwei grüne Pixel enthält, wobei zwölf Farbpixel im äußeren Bereich des roten CFA-Blocks ein blaues Pixel und elf rote Pixel enthalten.
  • Nach einem Aspekt der erfindungsgemäßen Konzepte ist ein Bildsensor vorhanden. Der Bildsensor enthält ein Pixelarray, das eine Mehrzahl von Farbfilterarray-(CFA)-Zellen enthält, die jeweils eine Mehrzahl von CFA-Blöcken in einer Breitenrichtung der CFA-Zelle und einer Längenrichtung der CFA-Zelle enthalten, wobei jeder der Mehrzahl von CFA-Blöcken einen Unterblock und einen von dem Unterblock verschiedenen äußeren Bereich enthält, wobei der Unterblock sich in einem zentralen Bereich jedes der Mehrzahl von CFA-Blöcken befindet und n*n Farbpixel enthält, und der äußere Bereich andere Farbpixel enthält, wobei „n“ eine ganze Zahl von mindestens 2 ist. Das Pixelarray enthält ferner eine Leseschaltung, die zum Lesen von Pixelwerten aus Farbpixeln des Pixelarrays eingerichtet ist. Die n*n Farbpixel des Unterblocks enthalten Farbpixel, die eine erste, zweite und dritte Farbe abtasten, und der äußere Bereich eine Anzahl von ersten Pixeln, die eine von der ersten, zweiten und dritten Farbe abtasten, und eine Anzahl von zweiten Pixeln, die eine andere von der ersten, zweiten und dritten Farbe abtasten, enthält, wobei die Anzahl der ersten Pixel größer als die Anzahl der zweiten Pixel ist.
  • Figurenliste
  • Ausführungsformen der erfindungsgemäßen Konzepte werden aus der folgenden detaillierten Beschreibung in Verbindung mit den beigefügten Zeichnungen deutlicher zu verstehen, in denen:
    • 1 ist ein Blockdiagramm eines Bildsensors, der ein Pixelarray nach einigen beispielhaften Ausführungsformen enthält;
    • 2 und 3 sind Diagramme einiger beispielhafter Ausführungsformen eines Pixelarrays nach beispielhaften Ausführungsformen;
    • 4 veranschaulicht Pixelarrays und ein remosaickiertes Farbmuster nach einigen beispielhaften Ausführungsformen;
    • 5 veranschaulicht einige beispielhafte Ausführungsformen von Farbfilterarray-(CFA)-Zellen nach einigen beispielhaften Ausführungsformen;
    • 6 veranschaulicht ein Beispiel für einen Interpolationsabstand jedes der Farbpixel, die in den CFA-Zellen in 4 enthalten sind;
    • 7 bis 9 veranschaulichen einige beispielhafte Ausführungsformen von Pixelarrays nach einigen beispielhaften Ausführungsformen;
    • 10 ist ein Blockdiagramm einer Bildverarbeitungseinheit nach einigen beispielhaften Ausführungsformen;
    • 11A bis 11C sind Diagramme einiger beispielhafter Ausführungsformen eines Pixelarrays nach einigen beispielhaften Ausführungsformen;
    • 12 veranschaulicht Beispiele für Binning-Prozesse unter Verwendung eines Inter-Block-Verfahrens und Binning-Prozesse unter Verwendung eines Intra-Block-Verfahrens, nach einigen beispielhaften Ausführungsformen;
    • 13 bis 15 veranschaulichen einige beispielhafte Ausführungsformen von CFA-Blöcken nach einigen beispielhaften Ausführungsformen;
    • 16 veranschaulicht einige beispielhafte Ausführungsformen eines Farbpixels nach einigen beispielhaften Ausführungsformen; und
    • 17 und 18 sind Blockdiagramme einer elektronischen Vorrichtung, die ein Multikameramodul enthält, das einen Bildsensor nach einigen beispielhaften Ausführungsformen verwendet.
  • DETAILLIERTE BESCHREIBUNG EINIGER BEISPIELAUSFÜHRUNGSFORMEN
  • Im Folgenden werden beispielhafte Ausführungsformen unter Bezugnahme auf die beigefügten Zeichnungen detailliert beschrieben.
  • 1 ist ein Blockdiagramm eines Bildsensors, der ein Pixelarray nach einigen beispielhaften Ausführungsformen enthält.
  • Bezugnehmend auf 1 kann ein Bildsensor 100 ein Pixelarray 110, einen Zeilentreiber 120, eine Leseschaltung 130 und eine Steuerung 140 enthalten. Der Bildsensor 100 kann einen komplementären Metall-Oxid-Halbleiter (CMOS)-Bildsensor (CIS) enthalten.
  • Die Steuerung 140 kann den Zeilentreiber 120 und die Leseschaltung 130 steuern. Das Pixelarray 110 kann eine Mehrzahl von Pixeln (z. B. Farbpixel) enthalten. Jedes der Pixel kann mindestens ein (nicht dargestelltes) lichtempfindliches Element enthalten. Das lichtempfindliche Element kann Licht in jedem Pixel abtasten und ein elektrisches Signal in Abhängigkeit von der Intensität des abgetasteten Lichts erzeugen. Das lichtempfindliche Element kann eine Fotodiode, ein Fotogate, einen Fototransistor oder ähnliches enthalten. Das Pixelarray 110 kann nach beispielhaften Ausführungsformen Farbpixel in verschiedenen Mustern enthalten. Jedes der Farbpixel kann als Pixelsignal ein elektrisches Signal erzeugen, das sich auf mindestens eine Farbe bezieht. Obwohl in 1 nicht gezeigt, kann eine Verarbeitung, wie z. B. ein Remosaicking, an den Pixelsignalen des Pixelarrays 110 durchgeführt werden, und ein Farbmuster des Pixelarrays 110 kann durch diese Verarbeitung in ein bestimmtes Muster, wie z.B. ein Bayer-Muster, umgewandelt werden.
  • Das Pixelarray 110 kann ein elektrisches Signal, das dem vom lichtempfindlichen Element absorbierten Licht entspricht, an die Leseschaltung 130 ausgeben. Der Zeilentreiber 120 kann ein Signal ausgeben, das jedes der Farbpixel des Pixelarrays 110 steuert. Beispielsweise kann der Zeilentreiber 120 ein Signal ausgeben, das ein lichtempfindliches Element jedes Farbpixels zurücksetzt oder das lichtempfindliche Element steuert, um ein elektrisches Signal auszugeben, das der darin angesammelten Fotoladung entspricht.
  • Die Leseschaltung 130 kann ein elektrisches Signal von der Pixelmatrix 110 empfangen und einen Pixelwert (oder Pixeldaten) ausgeben. Die Leseschaltung 130 kann z. B. einen Analog-Digital-Wandler (ADC) enthalten und als Pixeldaten ein digitales Signal ausgeben, das einem von der Pixelmatrix 110 empfangenen analogen Signal entspricht.
  • Obwohl in 1 nicht gezeigt, können Pixeldaten des Bildsensors 100 einer (nicht dargestellten) Bildverarbeitungseinheit zugeführt werden und ein Verarbeitungsvorgang wie das Remosaicking kann von der Bildverarbeitungseinheit basierend auf digitaler Signalverarbeitung durchgeführt werden. Nach beispielhaften Ausführungsformen kann festgelegt werden, dass ein Verarbeitungsvorgang wie das Remosaicking von einem Element (z. B. einem Prozessor) des Bildsensors 100 oder von einer separaten Verarbeitungseinheit außerhalb des Bildsensors 100 durchgeführt wird.
  • Nachfolgend werden einige beispielhafte Ausführungsformen von Farbpixeln des Pixelarrays 110 gezeigt, die beispielhaft sind.
  • 2 und 3 sind Diagramme einiger beispielhafter Ausführungsformen eines Pixelarrays nach beispielhaften Ausführungsformen.
  • Unter Bezugnahme auf die 1 bis 3 kann der Bildsensor 100 das Pixelarray 110 enthalten, und ein Farbfilterarray (CFA) kann im Pixelarray 110 vorgesehen sein, um die Erfassung einer bestimmten Farbe durch jedes Pixel zu ermöglichen. In der nachfolgenden Beschreibung von beispielhaften Ausführungsformen können die Begriffe „Farbfilter“, „Farbpixel“, „Filterarray“ und „Pixelarray“ unterschiedlich definiert sein. Zum Beispiel kann ein CFA als separates Element, das auf einem Pixelarray, das ein lichtempfindliches Element enthält, vorgesehen ist, oder als in einem Pixelarray enthalten definiert werden. Mit anderen Worten, ein Farbpixel kann so definiert werden, dass es einen entsprechenden Farbfilter enthält. In der Beschreibung der folgenden beispielhaften Ausführungsformen kann jede CFA-Zelle, jeder CFA-Block und jeder Unterblock als ein Farbpixel enthaltend definiert werden.
  • Das Pixelarray 110 kann eine Mehrzahl von CFA-Zellen 111 enthalten, die in einer bestimmten Einheit definiert sind. Zum Beispiel kann das Pixelarray 110 eine Mehrzahl von CFA-Zellen 111 in Längen- und Breitenrichtung enthalten. Jede der CFA-Zellen 111 kann Farbpixel, die eine bestimmte Größe aufweisen, enthalten.
  • Jede der CFA-Zellen 111 kann mit einer Mehrzahl von CFA-Blöcken definiert werden und kann sich auf eine Mindeststruktur der gleichen CFA-Blöcke beziehen. 2 zeigt, wie in einigen beispielhaften Ausführungsformen, in denen eine CFA-Zelle 111 M*N CFA-Blöcke enthält, so dass die CFA-Zelle 111 M CFA-Blöcke in der Breitenrichtung und N CFA-Blöcke in der Längenrichtung enthält (M und N sind positive ganze Zahlen). Die Anzahl der Farbpixel kann in einem hochauflösenden Bildsensor wie z. B. einem CIS zunehmen, und dementsprechend kann die Größe der CFA-Zelle 111 und die Größe eines CFA-Blocks zunehmen.
  • In einigen beispielhaften Ausführungsformen, in denen jeder CFA-Block die gleiche Art von Farbpixeln (oder Pixel, die die gleiche Farbe abtasten) enthält, vergrößert sich dabei bei der Umwandlung eines von einem Bildsensor ausgegebenen Rohbildes in ein RGB-Bild der Abstand zwischen einem Farbpixel (z. B. einem zentralen Farbpixel) und einem benachbarten Farbpixel, auf das während der Bildverarbeitung, z. B. durch Interpolation oder Extrapolation, Bezug genommen werden kann, was zu einem Verlust von Bildinformationen führt. Konkreter, je größer die Größe eines CFA-Blocks ist, desto größer ist der Abstand zu einem benachbarten Farbpixel, auf den Bezug genommen werden muss, und dementsprechend kann auch die Bildverlustrate steigen.
  • In beispielhaften Ausführungsformen können die Farbpixel (oder Farbfilter) der CFA-Zelle 111 und des CFA-Blocks des Pixelarrays 110 ein Muster aufweisen, das eine Bildverlustrate während der Bildverarbeitung reduzieren kann. In einigen beispielhaften Ausführungsformen, in denen die CFA-Zelle 111 vier (oder 2*2) CFA-Blöcke enthält und jeder CFA-Block mindestens zwei Farben abtastet oder ein CFA-Block alle Farben abtastet, die auf das Pixelarray 110 angewendet werden, und in einigen beispielhaften Ausführungsformen, die den Verlust von Bildinformationen durch die Reduzierung eines Interpolationsabstands reduzieren können.
  • Nach einigen beispielhaften Ausführungsformen kann ein CFA-Block, wie in 3 gezeigt, eine Mehrzahl von Farbpixeln enthalten. Zum Beispiel sind „c“ Farbpixel in der Breitenrichtung und „d“ Farbpixel in der Längenrichtung angeordnet, so dass der CFA-Block c∗d Farbpixel enthält (c und d sind positive ganze Zahlen). In einigen beispielhaften Ausführungsformen, in denen das Pixelarray 110 ein rotes Farbpixel, ein blaues Farbpixel und ein grünes Farbpixel (jeweils als rotes Pixel, blaues Pixel und grünes Pixel bezeichnet) enthält, kann der CFA-Block alle roten, blauen und grünen Pixel enthalten.
  • In einigen beispielhaften Ausführungsformen kann eine Einheit, die eine bestimmte Anzahl von Pixeln im Inneren (z. B. in einem zentralen Bereich oder an einer anderen Stelle) des CFA-Blocks enthält, als Unterblock bezeichnet werden. Der Unterblock kann a*b Farbpixel enthalten (a und b sind positive ganze Zahlen). Wie in 3 gezeigt, sind beispielsweise ein rotes Pixel R, ein blaues Pixel B und ein grünes Pixel G alle zusammen im Unterblock angeordnet.
  • Darüber hinaus kann eine Mehrzahl von Farbpixeln im verbleibenden Bereich (z. B. einem Rand oder einem äußeren Bereich des CFA-Blocks) mit Ausnahme des Unterblocks im CFA-Block angeordnet sein. Beispielsweise kann eine Mehrheit von Pixeln, die eine bestimmte Farbe abtasten, und eine Minderheit von Pixeln (z. B. ein oder zwei Pixel), die andere Farben abtasten, zusammen im äußeren Bereich angeordnet werden. Mit anderen Worten, der äußere Bereich des CFA-Blocks kann eine Mehrzahl von ersten Pixeln P1, die eine bestimmte Farbe abtasten, und mindestens ein zweites Pixel P2, das eine andere Farbe abtastet, enthalten.
  • Nach einigen beispielhaften Ausführungsformen kann je nach Art der darin enthaltenen Farbpixel ein CFA-Block als roter CFA-Block, als blauer CFA-Block oder als grüner CFA-Block bezeichnet werden. Wenn z. B. die Anzahl der roten Pixel in einem CFA-Block am höchsten ist, kann der CFA-Block als roter CFA-Block bezeichnet werden. Wenn ein erstes Pixel P1 im äußeren Bereich eines CFA-Blocks ein rotes Pixel ist, kann der CFA-Block als roter CFA-Block bezeichnet werden.
  • In einigen beispielhaften Ausführungsformen können die ersten Pixel P1 (oder rote Pixel) hauptsächlich im äußeren Bereich eines roten CFA-Blocks angeordnet sein, und mindestens ein zweites Pixel P2 (z. B. ein blaues Pixel) kann weiter im äußeren Bereich des roten CFA-Blocks angeordnet sein. Beispielsweise können die meisten roten Pixel im äußeren Bereich des roten CFA-Blocks angeordnet sein, und ein blaues Pixel kann in mindestens einer Ecke des äußeren Bereichs des roten CFA-Blocks angeordnet sein. In ähnlicher Weise können überwiegend blaue Pixel im äußeren Bereich eines blauen CFA-Blocks angeordnet sein, und ein rotes Pixel kann in mindestens einer Ecke des äußeren Bereichs des blauen CFA-Blocks angeordnet sein. Nach einigen beispielhaften Ausführungsformen können nur grüne Pixel im äußeren Bereich eines grünen CFA-Blocks angeordnet sein, oder mindestens ein Pixel, das eine andere Farbe als Grün abtastet, kann ebenfalls im äußeren Bereich des grünen CFA-Blocks angeordnet sein.
  • Die roten, blauen und grünen Pixel, die auf das Pixelarray 110 in einigen vorstehend beschriebenen beispielhaften Ausführungsformen angewendet werden, sind nur Beispiele, und die Ausführungsformen sind nicht darauf beschränkt. Zum Beispiel können Farbpixel, die an verschiedenen Filtern wie einem Cyan-Filter und einem RGBW-Filter beteiligt sind, auf einige beispielhafte Ausführungsformen angewendet werden, und einige beispielhafte Ausführungsformen sind nicht auf Muster beschränkt, die bestimmte Farben abtasten.
  • Einige spezifischen beispielhaften Ausführungsformen eines Pixelarrays eines Bildsensors nach beispielhaften Ausführungsformen werden im Folgenden beschrieben. Obwohl das zweite Pixel P2 in den folgenden beispielhaften Ausführungsformen in einer Ecke des äußeren Bereichs eines CFA-Blocks angeordnet ist, sind einige beispielhafte Ausführungsformen nicht darauf beschränkt. Mit anderen Worten, es können, wie vorstehend beschrieben, mindestens zwei zweite Pixel P2 im äußeren Bereich eines CFA-Blocks angeordnet sein. Die Ausführungsformen können auf verschiedene Weise modifiziert werden. Zum Beispiel kann ein zweites Pixel P2 an einer anderen Stelle als den Ecken des äußeren Bereichs angeordnet sein.
  • 4 zeigt Pixelarrays und ein remosaickiertes Farbmuster nach einigen beispielhaften Ausführungsformen. Im Folgenden werden CFA-Zellen mit 8*8 Pixeln beschrieben, aber die Größe einer CFA-Zelle kann in einigen beispielhaften Ausführungsformen unterschiedlich festgelegt werden.
  • Nach einigen beispielhaften Ausführungsformen enthält eine CFA-Zelle vier CFA-Blöcke, und dementsprechend kann jeder CFA-Block 4*4 Farbpixel enthalten. Wenn das vorstehend beschriebene Pixelarray beispielsweise rote, grüne und blaue Pixel enthält, kann jeder CFA-Block alle roten, grünen und blauen Pixel enthalten. Eine in (e) von 4 dargestellte CFA-Zelle kann einen in (a) von 4 dargestellten roten CFA-Block, einen in (b) von 4 dargestellten grünen CFA-Block und einen in (c) von 4 dargestellten blauen CFA-Block enthalten. Die CFA-Zelle mit einer Größe von 8*8 kann durch ein Remosaick-Verfahren in ein Bayer-Muster umgewandelt werden, das in (f) von 4 gezeigt ist. Die vorstehend beschriebene CFA-Zelle und das aus der Umwandlung resultierende Bayer-Muster können als Muster-CFA-Paar oder als CFA-Musterpaar bezeichnet werden.
  • Jeder von dem roten CFA-Block, dem grünen CFA-Block und dem blauen CFA-Block kann, wie in (d) von 4 gezeigt, einen Unterblock, der eine bestimmte Größe aufweist, enthalten. Der Unterblock kann z. B. 2*2 Farbpixel enthalten. Nach einigen beispielhaften Ausführungsformen enthält der Unterblock alle roten, grünen und blauen Pixel, und dementsprechend können rote, grüne und blaue Farben alle zusammen von dem Unterblock erfasst werden. Die Anordnung der Pixel im Unterblock kann variieren. Zum Beispiel sind, wie in (d) von 4 gezeigt, ein grünes Pixel, ein blaues Pixel, ein rotes Pixel und ein grünes Pixel (oder GBRG) nacheinander an der linken Oberseite, rechten Oberseiten, linken Unterseite und rechten Unterseite im Unterblock angeordnet.
  • Basierend auf der Anordnung von vier CFA-Blöcken können verschiedene Typen von CFA-Zellen implementiert werden. Die in (e) von 4 gezeigte CFA-Zelle zeigt zum Beispiel ein Beispiel, bei dem sich grüne, rote, blaue und grüne CFA-Blöcke nacheinander auf der linken Oberseite, der rechten Oberseite, der linken Unterseite und der rechten Unterseite der CFA-Zelle befinden. Zur Vereinfachung der Beschreibung kann die in (e) von 4 gezeigte 8*8 CFA-Zelle als GR-GB-Musterzelle bezeichnet werden, indem die ersten beiden Buchstaben der GRBG-CFA-Blöcke und die ersten beiden Buchstaben der GBRG-Pixel des Unterblocks verwendet werden.
  • Die Interpolation roter, grüner und blauer Farben kann erforderlich sein, um die 8*8 CFA-Zelle unter Verwendung des in (e) und (f) von 4 gezeigten Musterpaars wieder in das Bayer-Muster einzubauen. Wenn eine Interpolation einer grünen Farbe durchgeführt wird, können relativ viele benachbarte grüne Pixel ausgewählt werden, da die grüne Farbe mehr Kanteninformationen eines Bildes enthält als eine rote oder blaue Farbe. Beispielsweise kann in jeder der vier Richtungen (z. B. einer Schrägstrichrichtung, einer Umkehrschrägstrichrichtung, einer horizontalen Richtung und einer vertikalen Richtung) ein für die Interpolation erforderliches benachbartes grünes Pixel ausgewählt werden, und der Durchschnitt der Abstände von einem Pixel (z. B. einem zentralen Pixel), für das die Interpolation berechnet wird, zu benachbarten grünen Pixeln kann als Interpolationsabstand des zentralen Pixels berechnet werden. Im Gegensatz dazu kann bei der Interpolation einer blauen oder roten Farbe mindestens ein Nachbarpixel unabhängig von einer Richtung von einem Pixel, für das die Interpolation berechnet wird, ausgewählt werden.
  • Nach einigen beispielhaften Ausführungsformen kann mindestens ein CFA-Block in seinem äußeren Bereich Pixel aufweisen, die mindestens zwei Farben abtasten. Wie in (a) von 4 gezeigt, kann der äußere Bereich des roten CFA-Blocks beispielsweise hauptsächlich rote Pixel und ein zweites Pixel P2 (z. B. ein blaues Pixel in der linken unteren Ecke) enthalten. Wie in (c) von 4 gezeigt, kann der äußere Bereich des blauen CFA-Blocks hauptsächlich blaue Pixel und ein zweites Pixel P2 (z. B. ein rotes Pixel in der rechten oberen Ecke) enthalten. Obwohl in 4 dargestellt ist, dass alle Pixel im äußeren Bereich des grünen CFA-Blocks grüne Pixel sind, kann mindestens ein zweites Pixel P2 im äußeren Bereich des grünen CFA-Blocks angeordnet sein.
  • Unter Bezugnahme auf (e) und (f) in 4 kann die Anordnung der Farbpixel im Unterblock jedes CFA-Blocks die gleiche sein wie die der Farbpixel an den entsprechenden Positionen im Bayer-Muster. Dementsprechend kann der Interpolationsabstand jedes Farbpixels von vier Unterblöcken einer CFA-Zelle als 0 berechnet werden, wodurch eine Reduzierung des Interpolationsabstands erreicht werden kann.
  • In Bezug auf vier CFA-Blöcke einer CFA-Zelle kann ein erster Bereich DR definiert werden, der ein Farbpixel jedes der vier CFA-Blöcke enthält. Der erste Bereich DR kann das zweite Pixel P2 des blauen CFA-Blocks, das zweite Pixel P2 des roten CFA-Blocks und zwei grüne Pixel der jeweiligen zwei grünen CFA-Blöcke enthalten. Die Anordnung der Farbpixel im ersten Bereich DR kann die gleiche sein wie die der Farbpixel an entsprechenden Positionen im Bayer-Muster. Dementsprechend kann die Anzahl der Farbpixel, die einen Interpolationsabstand von 0 aufweisen, in einer CFA-Zelle zunehmen, und dementsprechend kann der Interpolationsabstand der CFA-Zelle weiter reduziert werden.
  • Mit anderen Worten, nach einigen beispielhaften Ausführungsformen gibt es Farbpixel, die einen Interpolationsabstand von 0 entsprechend der Pixelanordnung einer CFA-Zelle aufweisen, und viele Farbpixel, wie die Farbpixel des vorstehend beschriebenen Unterblocks und die Farbpixel des ersten Bereichs DR, die einen Interpolationsabstand von 0 aufweisen, können gesichert werden. Dementsprechend kann die Anzahl der Farbpixel mit einem Interpolationsabstand von 0 in einer CFA-Zelle erhöht werden, und daher kann der Verlust von Bildinformationen reduziert oder verhindert werden.
  • 5 veranschaulicht einige beispielhafte Ausführungsformen von CFA-Zellen nach einigen beispielhaften Ausführungsformen. In einigen beispielhaften Ausführungsformen enthält eine CFA-Zelle, wie in 5 gezeigt, 2*2 CFA-Blöcke, und ein roter CFA-Block, ein grüner CFA-Block, ein blauer CFA-Block und ein Unterblock, die jeweils in (a) bis (d) von 5 gezeigt sind, sind die gleichen wie die in 4 gezeigten. Die in 5 dargestellten CFA-Zellen können durch einen Remosaick-Prozess in das in (h) von 5 dargestellte Bayer-Muster umgewandelt werden.
  • Eine in (e) von 5 dargestellte CFA-Zelle kann einen grünen CFA-Block an der linken Oberseite, einen blauen CFA-Block an der rechten Oberseite, einen roten CFA-Block an der linken Unterseite und einen weiteren grünen CFA-Block an der rechten Unterseite enthalten. Jeder der grünen CFA-Blöcke, der rote CFA-Block und der blaue CFA-Block kann einen Unterblock enthalten. Der Unterblock kann ein grünes Pixel, ein blaues Pixel, ein rotes Pixel und ein grünes Pixel nacheinander auf der linken Oberseite, der rechten Oberseite, der linken Unterseite und der rechten Unterseite enthalten.
  • Eine CFA-Zelle kann je nach Anordnung der CFA-Blöcke unterschiedlich realisiert werden. Eine in (f) von 5 gezeigte CFA-Zelle kann beispielsweise einen roten CFA-Block an der linken Oberseite, einen grünen CFA-Block an der rechten Oberseite, einen weiteren grünen CFA-Block an der linken Unterseite und einen blauen CFA-Block an der rechten Unterseite enthalten. Eine in (g) von 5 dargestellte CFA-Zelle kann einen blauen CFA-Block an der linken Oberseite, einen grünen CFA-Block an der rechten Oberseite, einen weiteren grünen CFA-Block an der linken Unterseite und einen roten CFA-Block an der rechten Unterseite enthalten.
  • Nach einigen vorstehend beschriebenen beispielhaften Ausführungsformen kann der Interpolationsabstand der Farbpixel des Unterblocks jedes der CFA-Blöcke 0 sein. Der erste Bereich DR kann so definiert werden, dass er aus Farbpixeln gebildet wird, die jeweils in den äußeren Bereichen der jeweiligen vier CFA-Blöcke positioniert sind. Der erste Bereich DR kann ein zweites Pixel (z. B. ein rotes Pixel) im äußeren Bereich des blauen CFA-Blocks, ein zweites Pixel (z. B. ein blaues Pixel) im äußeren Bereich des roten CFA-Blocks und ein grünes Pixel im äußeren Bereich j edes der beiden grünen CFA-Blöcke enthalten. Der Interpolationsabstand der Farbpixel des ersten Bereichs DR kann einen Wert von 0 aufweisen.
  • Nach einigen beispielhaften Ausführungsformen von CFA-Zellen in 5 können vier Farbpixel in den jeweiligen vier Ecken der CFA-Zelle den ersten Bereich DR in einigen beispielhaften Ausführungsformen wie in (e) von 5, zwei Farbpixel in der Mitte jeder der linken und rechten Seiten der CFA-Zelle können den ersten Bereich DR in einigen beispielhaften Ausführungsformen wie in (f) von 5 bilden, und zwei Farbpixel in der Mitte jeder der oberen und unteren Seiten der CFA-Zelle können in einigen beispielhaften Ausführungsformen wie in (g) von 5 den ersten Bereich DR bilden.
  • 6 zeigt ein Beispiel für einen Interpolationsabstand jedes der Farbpixel, die in den CFA-Zellen in 4 enthalten sind.
  • Nach einigen beispielhaften Ausführungsformen können die in 6 gezeigten Werte erhalten werden, wenn ein Interpolationsabstand für jedes der zu remosaickierenden Farbpixel mit dem vorstehend beschriebenen Verfahren berechnet wird. In einigen beispielhaften Ausführungsformen für die Interpolation einer grünen Farbe können beispielsweise zwei benachbarte grüne Pixel ausgewählt werden, die in jeder der vier Richtungen (z. B. der Schrägstrichrichtung, der umgekehrten Schrägstrichrichtung, der horizontalen Richtung und der vertikalen Richtung) am nächsten beieinander liegen. In einigen beispielhaften Ausführungsformen für die Interpolation einer roten oder blauen Farbe können zwei benachbarte rote oder blaue Pixel ausgewählt werden, die unabhängig von den Richtungen am nächsten beieinander liegen.
  • Wie in 6 gezeigt, kann der Interpolationsabstand jedes der Farbpixel des Unterblocks jeder CFA-Zelle und der Farbpixel des ersten Bereichs DR als 0 berechnet werden. In einigen beispielhaften Ausführungsformen der anderen Farbpixel können die Abstände zu benachbarten Farbpixeln, auf die für die Interpolation Bezug genommen wird, durch Verwendung des Musterpaars von (e) und (f) von 4 reduziert werden. Dementsprechend kann der Gesamtdurchschnitt der Interpolationsabstände, die in einer CFA-Zelle berechnet werden, minimiert werden, und daher kann auch der Verlust von Bildinformationen minimiert werden.
  • Im Folgenden werden Beispiele für verschiedene Arten von Farbfilteranordnungen beschrieben, die nach beispielhaften Ausführungsformen implementiert werden können. Die Ausführungsformen sind nicht auf die im Folgenden beschriebenen spezifischen Beispiele von Farbfilteranordnungen beschränkt, und die spezifische Anordnung von Pixeln einer Farbfilteranordnung kann teilweise modifiziert werden, solange die Effekte einiger beispielhaften Ausführungsformen erreicht werden.
  • 7 bis 9 veranschaulichen einige beispielhafte Ausführungsformen von Pixelarrays nach einigen beispielhaften Ausführungsformen. Die 7 bis 9 veranschaulichen verschiedene Beispiele für die Anordnung von Farbpixeln eines Unterblocks und verschiedene Beispiele für die Anordnung von Farbpixeln in einem äußeren Bereich eines CFA-Blocks.
  • Ein roter CFA-Block, ein grüner CFA-Block und ein blauer CFA-Block können jeweils, wie in (a) bis (c) von 7 dargestellt, implementiert werden, und jeder CFA-Block kann einen in (d) von 7 dargestellten Unterblock enthalten. Darüber hinaus kann jede in 7 gezeigte CFA-Zelle durch einen Remosaick-Prozess in ein in (i) von 7 gezeigtes Bayer-Muster umgewandelt werden.
  • In einigen beispielhaften Ausführungsformen von 7 kann der Unterblock jedes CFA-Blocks ein grünes Pixel, ein rotes Pixel, ein blaues Pixel und ein grünes Pixel nacheinander auf seiner linken Oberseite, seiner rechten Oberseite, seiner linken Unterseite und seiner rechten Unterseite enthalten. Wie in (a) von 7 gezeigt, können rote Pixel hauptsächlich im äußeren Bereich des roten CFA-Blocks angeordnet sein, und ein blaues Pixel kann als zweites Pixel im äußeren Bereich des roten CFA-Blocks angeordnet sein. Das blaue Pixel kann in der rechten oberen Ecke des äußeren Bereichs des roten CFA-Blocks angeordnet sein. Wie in (b) von 7 gezeigt, können grüne Pixel im äußeren Bereich des grünen CFA-Blocks angeordnet werden. Beispielsweise kann ein Pixel, das andere Farben als Grün abtastet, nicht im äußeren Bereich des grünen CFA-Blocks angeordnet werden. Wie in (c) von 7 gezeigt, können blaue Pixel hauptsächlich im äußeren Bereich des blauen CFA-Blocks angeordnet sein, und ein rotes Pixel kann als zweites Pixel im äußeren Bereich des blauen CFA-Blocks angeordnet sein. Das rote Pixel kann in der linken unteren Ecke des äußeren Bereichs des blauen CFA-Blocks angeordnet sein.
  • Die Farbpixel jedes der roten und blauen CFA-Blöcke können ein bestimmtes Muster nach einigen vorstehend beschriebenen beispielhaften Ausführungsformen des CFA-Blocks aufweisen. So können z. B. blaue, rote, blaue und rote Pixel von der rechten oberen Ecke jedes der roten und blauen CFA-Blöcke zur linken unteren Ecke davon sequentiell angeordnet sein.
  • Basierend auf der Anordnung der CFA-Blöcke können verschiedene Typen von CFA-Zellen implementiert werden. Zum Beispiel kann eine CFA-Zelle nach (e) in 7 einen grünen CFA-Block an ihrer linken Oberseite, einen roten CFA-Block an ihrer rechten Oberseite, einen blauen CFA-Block an ihrer linken Unterseite und einen weiteren grünen CFA-Block an ihrer rechten Unterseite enthalten. Bezugnehmend auf (f) in 7 kann eine CFA-Zelle einen grünen CFA-Block an ihrer linken Oberseite, einen blauen CFA-Block an ihrer rechten Oberseite, einen roten CFA-Block an ihrer linken Unterseite und einen weiteren grünen CFA-Block an ihrer rechten Unterseite enthalten. Bezugnehmend auf (g) in 7 kann eine CFA-Zelle einen roten CFA-Block an ihrer linken Oberseite, einen grünen CFA-Block an ihrer rechten Oberseite, einen weiteren grünen CFA-Block an ihrer linken Unterseite und einen blauen CFA-Block an ihrer rechten Unterseite enthalten. Bezugnehmend auf (h) in 7 kann eine CFA-Zelle einen blauen CFA-Block an ihrer linken Oberseite, einen grünen CFA-Block an ihrer rechten Oberseite, einen weiteren grünen CFA-Block an ihrer linken Unterseite und einen roten CFA-Block an ihrer rechten Unterseite enthalten.
  • Ähnlich wie bei einigen der vorstehend beschriebenen beispielhaften Ausführungsformen kann der Interpolationsabstand der Farbpixel im Unterblock jedes CFA-Blocks einen Wert von 0 aufweisen, und erste Bereiche DR, die Farbpixel mit einem Interpolationsabstand von 0 enthalten, können besser gesichert sein. Nach einigen beispielhaften Ausführungsformen von CFA-Zellen in 7 können vier Farbpixel in den jeweiligen vier Ecken der CFA-Zelle den ersten Bereich DR in einigen beispielhaften Ausführungsformen wie in (e) von 7 bilden, vier Farbpixel in der Mitte der CFA-Zelle können den ersten Bereich DR in einigen beispielhaften Ausführungsformen wie in (f) von 7 bilden, zwei Farbpixel in der Mitte jeder der oberen und unteren Seiten der CFA-Zelle können den ersten Bereich DR in einigen beispielhaften Ausführungsformen wie in (g) von 7 bilden, und zwei Farbpixel in der Mitte jeder von der linken und rechten Seite der CFA-Zelle können den ersten Bereich DR in einigen beispielhaften Ausführungsformen wie in (h) von 7 bilden.
  • 8 veranschaulicht einige weitere beispielhafte Ausführungsformen von CFA-Zellen. Ein roter CFA-Block, ein grüner CFA-Block und ein blauer CFA-Block können jeweils, wie in (a) bis (c) von 8 dargestellt, implementiert werden, und jeder CFA-Block kann einen in (d) von 8 dargestellten Unterblock enthalten. Darüber hinaus kann jede in 8 gezeigte CFA-Zelle durch einen Remosaick-Prozess in ein in (i) von 8 gezeigtes Bayer-Muster umgewandelt werden.
  • In einigen beispielhaften Ausführungsformen von 8 kann der Unterblock jedes CFA-Blocks ein blaues Pixel, ein grünes Pixel, ein grünes Pixel und ein rotes Pixel enthalten, die sich nacheinander an seiner linken Oberseite, rechten Oberseite, linken Unterseite und rechten Unterseite befinden. Wie in (a) von 8 gezeigt, können rote Pixel hauptsächlich im äußeren Bereich des roten CFA-Blocks angeordnet sein, und ein blaues Pixel kann außerdem als zweites Pixel im äußeren Bereich des roten CFA-Blocks angeordnet sein. Das blaue Pixel kann in der rechten unteren Ecke des äußeren Bereichs des roten CFA-Blocks angeordnet sein. Wie in (b) von 8 gezeigt, können grüne Pixel im äußeren Bereich des grünen CFA-Blocks angeordnet werden. Ein Pixel, das andere Farben als Grün abtastet, kann nicht im äußeren Bereich des grünen CFA-Blocks angeordnet werden. Wie in (c) von 8 gezeigt, können blaue Pixel hauptsächlich im äußeren Bereich des blauen CFA-Blocks angeordnet sein, und ein rotes Pixel kann als zweites Pixel im äußeren Bereich des blauen CFA-Blocks angeordnet sein. Das rote Pixel kann in der linken oberen Ecke des äußeren Bereichs des blauen CFA-Blocks angeordnet sein.
  • Ähnlich wie bei den vorstehend beschriebenen beispielhaften Ausführungsformen können verschiedene Arten von CFA-Zellen implementiert werden. Beispielsweise kann eine CFA-Zelle nach (e) in 8 einen grünen CFA-Block an ihrer linken Oberseite, einen roten CFA-Block an ihrer rechten Oberseite, einen blauen CFA-Block an ihrer linken Unterseite und einen weiteren grünen CFA-Block an ihrer rechten Unterseite enthalten. Bezugnehmend auf (f) in 8 kann eine CFA-Zelle einen grünen CFA-Block an ihrer linken Oberseite, einen blauen CFA-Block an ihrer rechten Oberseite, einen roten CFA-Block an ihrer linken Unterseite und einen weiteren grünen CFA-Block an ihrer rechten Unterseite enthalten. Bezugnehmend auf (g) in 8 kann eine CFA-Zelle einen roten CFA-Block an ihrer linken Oberseite, einen grünen CFA-Block an ihrer rechten Oberseite, einen weiteren grünen CFA-Block an ihrer linken Unterseite und einen blauen CFA-Block an ihrer rechten Unterseite enthalten. Bezugnehmend auf (h) in 8 kann eine CFA-Zelle einen blauen CFA-Block an ihrer linken Oberseite, einen grünen CFA-Block an ihrer rechten Oberseite, einen weiteren grünen CFA-Block an ihrer linken Unterseite und einen roten CFA-Block an ihrer rechten Unterseite enthalten.
  • Nach einigen beispielhaften Ausführungsformen von CFA-Zellen in 8 können zwei Farbpixel in der Mitte jeder von der linken und rechten Seite der CFA-Zelle den ersten Bereich DR in einigen beispielhaften Ausführungsformen wie in (e) von 8 bilden, zwei Farbpixel in der Mitte jeder von der oberen und unteren Seite der CFA-Zelle können den ersten Bereich DR in einigen beispielhaften Ausführungsformen wie in (f) von 8 bilden, vier Farbpixel in der Mitte der CFA-Zelle können den ersten Bereich DR in einigen beispielhaften Ausführungsformen wie in (g) von 8 bilden, und vier Farbpixel in den jeweiligen vier Ecken der CFA-Zelle können den ersten Bereich DR in einigen beispielhaften Ausführungsformen wie in (h) von 8 bilden.
  • 9 veranschaulicht einige weitere beispielhafte Ausführungsformen von CFA-Zellen. Ein roter CFA-Block, ein grüner CFA-Block und ein blauer CFA-Block können jeweils, wie in (a) bis (c) von 9 gezeigt, implementiert werden, und jeder CFA-Block kann einen in (d) von 9 gezeigten Unterblock enthalten. Darüber hinaus kann jede in 9 gezeigte CFA-Zelle durch einen Remosaick-Prozess in ein in (i) von 9 gezeigtes Bayer-Muster umgewandelt werden.
  • In einigen beispielhaften Ausführungsformen von 9 kann der Unterblock jedes CFA-Blocks ein rotes Pixel, ein grünes Pixel, ein grünes Pixel und ein blaues Pixel enthalten, die nacheinander an der linken Oberseite, rechten Oberseite, linken Unterseite und rechten Unterseite angeordnet sind. Wie in (a) von 9 gezeigt, können rote Pixel hauptsächlich im äußeren Bereich des roten CFA-Blocks angeordnet sein, und ein blaues Pixel kann außerdem als zweites Pixel im äußeren Bereich des roten CFA-Blocks angeordnet sein. Das blaue Pixel kann in der linken oberen Ecke des äußeren Bereichs des roten CFA-Blocks angeordnet sein. Wie in (b) von 9 gezeigt, können grüne Pixel im äußeren Bereich des grünen CFA-Blocks angeordnet werden. Ein Pixel, das andere Farben als Grün abtastet, kann nicht im äußeren Bereich des grünen CFA-Blocks angeordnet werden. Wie in (c) von 9 gezeigt, können blaue Pixel hauptsächlich im äußeren Bereich des blauen CFA-Blocks angeordnet sein, und ein rotes Pixel kann als zweites Pixel im äußeren Bereich des blauen CFA-Blocks angeordnet sein. Das rote Pixel kann in der rechten unteren Ecke des äußeren Bereichs des blauen CFA-Blocks angeordnet sein.
  • Ähnlich wie bei einigen der vorstehend beschriebenen beispielhaften Ausführungsformen können verschiedene Arten von CFA-Zellen implementiert werden. Beispielsweise kann eine CFA-Zelle nach (e) in 9 einen grünen CFA-Block an ihrer linken Oberseite, einen roten CFA-Block an ihrer rechten Oberseite, einen blauen CFA-Block an ihrer linken Unterseite und einen weiteren grünen CFA-Block an ihrer rechten Unterseite enthalten. Bezugnehmend auf (f) in 8 kann eine CFA-Zelle einen grünen CFA-Block an ihrer linken Oberseite, einen blauen CFA-Block an ihrer rechten Oberseite, einen roten CFA-Block an ihrer linken Unterseite und einen weiteren grünen CFA-Block an ihrer rechten Unterseite enthalten. Bezugnehmend auf (g) in 9 kann eine CFA-Zelle einen roten CFA-Block an ihrer linken Oberseite, einen grünen CFA-Block an ihrer rechten Oberseite, einen weiteren grünen CFA-Block an ihrer linken Unterseite und einen blauen CFA-Block an ihrer rechten Unterseite enthalten. Bezugnehmend auf (h) in 9 kann eine CFA-Zelle einen blauen CFA-Block an ihrer linken Oberseite, einen grünen CFA-Block an ihrer rechten Oberseite, einen weiteren grünen CFA-Block an ihrer linken Unterseite und einen roten CFA-Block an ihrer rechten Unterseite enthalten.
  • Nach einigen beispielhaften Ausführungsformen von CFA-Zellen in 9 können zwei Farbpixel in der Mitte jeder der oberen und unteren Seiten der CFA-Zelle den ersten Bereich DR in einigen beispielhaften Ausführungsformen wie in (e) von 9 bilden, zwei Farbpixel in der Mitte jeder der linken und rechten Seiten der CFA-Zelle können den ersten Bereich DR in einigen beispielhaften Ausführungsformen wie in (f) von 9 bilden, vier Farbpixel in den jeweiligen vier Ecken der CFA-Zelle können den ersten Bereich DR in einigen beispielhaften Ausführungsformen wie in (g) von 9 bilden, und vier Farbpixel in der Mitte der CFA-Zelle können den ersten Bereich DR in einigen beispielhaften Ausführungsformen wie in (h) von 9 bilden.
  • Nach einigen vorstehend beschriebenen beispielhaften Ausführungsformen kann das Farbmuster eines Pixelarrays unterschiedlich geformt sein, und eine Mehrzahl von Farben (z. B. rote (R), grüne (G) und blaue (B) Farbe) können alle zusammen von einem CFA-Block, der eine bestimmte Größe aufweist, abgetastet werden. Dementsprechend können die Abstände zu benachbarten Farbpixeln, die für die Interpolation und/oder Extrapolation verwendet werden, verringert werden, und der Bildverlust kann ebenfalls reduziert werden. Wenn Farbpixel in einem äußeren Bereich eines CFA-Blocks nach einigen vorstehend beschriebenen beispielhaften Ausführungsformen angeordnet sind, kann die Anzahl der Farbpixel, die einen Interpolationsabstand von 0 aufweisen, in einer CFA-Zelle erhöht werden, und dementsprechend kann der Gesamtinterpolationsabstand der CFA-Zelle reduziert werden. Dadurch kann der Bildverlust während der Farbkonvertierung reduziert werden. Obwohl in den vorstehenden beispielhaften Ausführungsformen beschrieben wurde, dass der äußere Bereich eines CFA-Blocks ein Pixel mit einer anderen Farbe enthält, können verschiedene Modifikationen an dem äußeren Bereich des CFA-Blocks vorgenommen werden, um die Effekte einiger Ausführungsbeispiele zu erreichen. Obwohl in den vorstehenden beispielhaften Ausführungsformen beschrieben wurde, dass ein zweites Pixel, das eine andere Farbe als Grün abtastet, nicht im äußeren Bereich eines grünen CFA-Blocks angeordnet ist, kann das zweite Pixel, das eine andere Farbe abtastet, nach einigen beispielhaften Ausführungsformen auch im äußeren Bereich des grünen CFA-Blocks angeordnet sein.
  • 10 ist ein Blockdiagramm eines Beispiels einer Bildverarbeitungseinheit, die einen Bildsensor nach einigen beispielhaften Ausführungsformen enthält.
  • Bezugnehmend auf 10 kann eine Bildverarbeitungseinheit (oder eine Bildverarbeitungsvorrichtung 200) ein Pixelarray 210, das eine CFA-Zelle 211 enthält, und einen Bildprozessor 220 enthalten, der eine Bildverarbeitung unter Verwendung von Pixelwerten aus dem Pixelarray 210 durchführt. Nach einigen beispielhaften Ausführungsformen kann der vorstehend beschriebene Bildsensor so definiert werden, dass er das Pixelarray 210 und zumindest einige der Konfigurationen des Bildprozessors 220 enthält. Zum Beispiel kann der Bildsensor so definiert werden, dass er eine Konfiguration für einen Binning-Prozess und/oder eine Konfiguration für einen Remosaick-Prozess enthält.
  • Das Pixelarray 210 kann CFA-Zellen 211, die verschiedene Muster nach einigen vorstehend beschriebenen beispielhaften Ausführungsformen aufweisen, enthalten, und Pixelwerte von Farbpixeln, die im Pixelarray 210 angeordnet sind, können dem Bildprozessor 220 zugeführt werden. Der Bildprozessor 220 kann verschiedene Arten von Logikeinheiten enthalten, die Pixelwerte verarbeiten, um Bilddaten zu erzeugen. Zum Beispiel kann der Bildprozessor 220 einen Binning-Prozessor 221 und einen Remosaick-Prozessor 222 enthalten. Unter der Steuerung des Binning-Prozessors 221 kann die Bildverarbeitung unter Verwendung von Pixelwerten mit relativ hoher Auflösung durchgeführt werden, wenn ein hochauflösender Modus ausgewählt ist, oder unter Verwendung von Pixelwerten mit relativ niedriger Auflösung, wenn ein niedrigauflösender Modus ausgewählt ist. Der Remosaick-Prozessor 222 kann eine Interpolation eines Pixels in Verbindung mit einem Remosaick-Prozess durchführen. Pixelwerte, die einem Bayer-Muster entsprechen, können unter Verwendung von Pixelwerten von CFA-Zellen nach einigen vorstehend beschriebenen beispielhaften Ausführungsformen erzeugt werden.
  • Nach einigen beispielhaften Ausführungsformen kann das Pixelarray 210 die CFA-Zellen (oder die CFA-Blöcke) enthalten, die in den vorstehenden beispielhaften Ausführungsformen beschrieben wurden, und es kann ein Binning-Prozess basierend auf der Anordnung der Farbpixel durchgeführt werden, der in einigen beispielhaften Ausführungsformen beschrieben wurde. Als Ergebnis der Durchführung des Binning-Prozesses kann die Größe der vom Bildprozessor 220 verarbeiteten Bilddaten reduziert werden, und die Größe der Daten pro Frame kann ebenfalls reduziert werden, so dass eine hohe Framerate in einem Videomodus beibehalten werden kann.
  • Nach einigen beispielhaften Ausführungsformen kann der Binning-Prozess auf der Grundlage verschiedener Verfahren durchgeführt werden. Beispielsweise kann der Binning-Prozess auf der Grundlage eines Verfahrens durchgeführt werden, bei dem der Bildprozessor 220 eine digitale Addition von Pixelwerten von Farbpixeln des Pixelarrays 210 durchführt. Alternativ oder zusätzlich kann der Binning-Prozess auf der Grundlage eines Verfahrens durchgeführt werden, bei dem elektrische Signale von mindestens zwei Farbpixeln des Pixelarrays 210 analog aufaddiert werden.
  • Nach einigen beispielhaften Ausführungsformen können die Farbpixel, deren Signale im Binning-Prozess aufaddiert werden, auf verschiedene Weise ausgewählt werden. Beispielsweise können nach einem Intra-Block-Verfahren Farbpixel ausgewählt werden, die in einem CFA-Block die gleiche Farbe abtasten, und die Signale der Farbpixel können auf analoge oder digitale Weise aufaddiert werden. Beispielsweise können alle oder einige der Farbpixel, die in einem CFA-Block die gleiche Farbe abtasten, ausgewählt werden.
  • Bei einem Interblock-Verfahren können Farbpixel ausgewählt werden, die in mindestens zwei CFA-Blöcken die gleiche Farbe abtasten, und die Signale der Farbpixel können auf analoge oder digitale Weise aufaddiert werden. Beispielsweise können die Signale von Farbpixeln, die in einem CFA-Block und in mindestens einer Zeile oder Spalte eines benachbarten CFA-Blocks dieselbe Farbe abtasten, aufaddiert werden.
  • Ein Beispiel für die Durchführung eines Binning-Prozesses durch Hinzufügen von Analogsignalen nach einigen beispielhaften Ausführungsformen wird im Folgenden beschrieben. 11A bis 11C sind Diagramme einiger beispielhafter Ausführungsformen eines Pixelarrays nach einigen beispielhaften Ausführungsformen.
  • 11A zeigt ein Beispiel, in dem ein Pixelarray eine Mehrzahl von Farbpixeln enthält und „n“ Farbpixel CP1 bis CPn sich einen Floating-Diffusionsbereich FD miteinander teilen (wobei n eine positive ganze Zahl ist). Zum Beispiel können zumindest einige der Farbpixel, die in einem CFA-Block die gleiche Farbe abtasten, den Floating-Diffusionsbereich FD miteinander teilen. Nach einigen beispielhaften Ausführungsformen können alle oder einige der Farbpixel, die in einem CFA-Block die gleiche Farbe abtasten, den Floating-Diffusionsbereich FD gemeinsam nutzen.
  • Jedes Farbpixel kann eine Fotodiode PD und ein Transfergate TG enthalten. Wenn z. B. die Transfergates TG der jeweiligen „n“ Farbpixel CP1 bis CPn alle eingeschaltet sind, kann die Fotoladung der „n“ Farbpixel CP1 bis CPn gleichzeitig dem Floating-Diffusionsbereich FD zugeführt werden. Wenn die Transfergates TG der jeweiligen „n“-Farbpixel CP1 bis CPn einzeln angesteuert werden, kann die Fotoladung der „n“-Farbpixel CP1 bis CPn dem Floating-Diffusionsbereich FD zu unterschiedlichen Zeitpunkten zugeführt werden. Wenn z. B. ein Binning-Modus nicht ausgeführt wird, wird die Fotoladung der „n“ Farbpixel CP1 bis CPn dem Floating-Diffusionsbereich FD zu unterschiedlichen Zeitpunkten zugeführt. Wenn der Binning-Modus ausgeführt wird, wird die Fotoladung der „n“ Farbpixel CP1 bis CPn gleichzeitig dem Floating-Diffusionsbereich FD zugeführt, so dass die Signale der „n“ Farbpixel CP1 bis CPn im Floating-Diffusionsbereich FD aufaddiert werden können.
  • 11B und 11C zeigen einen Beispielbetrieb in einem Binning-Modus, nach einigen beispielhaften Ausführungsformen. 11B und 11C veranschaulichen eine Mehrzahl von Farbpixeln einer CFA-Zelle. Ein Beispiel für die Durchführung eines Binning-Prozesses an der CFA-Zelle in 4 ist in 11B und 11C dargestellt. Zusätzlich wird in dem Beispiel von 11B und 11C ein Intra-Block-Verfahren auf den Binning-Prozess angewendet, und dementsprechend werden die Signale von Pixeln, die die gleiche Farbe in einem CFA-Block abtasten, aufaddiert. 11B zeigt ein Beispiel für die Durchführung eines Binning-Prozesses an den oberen beiden CFA-Blöcken der CFA-Zelle, und 11C zeigt ein Beispiel für die Durchführung eines Binning-Prozesses an den unteren beiden CFA-Blöcken der CFA-Zelle.
  • Bezugnehmend auf 11B und 11C kann jeder der CFA-Blöcke basierend auf einem Verfahren zur gemeinsamen Nutzung des Floating-Diffusionsbereichs FD in eine Mehrzahl von Gruppen unterteilt werden. Zum Beispiel kann der grüne CFA-Block auf der linken Oberseite der CFA-Zelle in die Gruppen G00, G01, G10 und G11 unterteilt werden, die sich jeweils auf der linken Oberseite, der rechten Oberseite, der linken Unterseite und der rechten Unterseite des grünen CFA-Blocks befinden und jeweils 2*2 Farbpixel enthalten. Vier Farbpixel in jeder der Gruppen G00 bis G11 können sich einen Floating-Diffusionsbereich FD miteinander teilen. Bei der Durchführung des Binning-Prozesses kann die Fotoladung der Farbpixel, die die gleiche Farbe in jeder Gruppe abtasten, dem Floating-Diffusionsbereich FD zugeführt werden. Zum Beispiel kann in einigen beispielhaften Ausführungsformen des grünen CFA-Blocks die Fotoladung von vier grünen Pixeln in der Gruppe G00 einem Floating-Diffusionsbereich FD zugeführt werden, die Fotoladung von drei grünen Pixeln in der Gruppe G01 kann einem Floating-Diffusionsbereich FD zugeführt werden, die Fotoladung von drei grünen Pixeln in der Gruppe G10 kann dem Floating-Diffusionsbereich FD zugeführt werden, und die Fotoladung von vier grünen Pixeln in der Gruppe G11 kann dem Floating-Diffusionsbereich FD zugeführt werden. In ähnlicher Weise kann die Fotoladung von drei Pixeln jeder Gruppe im roten CFA-Block für einen Floating-Diffusionsbereich FD vorgesehen werden.
  • Ein Signal (z. B. ein Summensignal), das von jeder der Gruppen G00 bis G11 vorgesehen wird, kann einer Leseschaltung RC zugeführt werden, und ein dem Summensignal entsprechender Pixelwert kann von der Leseschaltung RC ausgegeben werden. Die Pixelwerte der Gruppen G00 bis G11 können durch einen analogen oder digitalen Berechnungsprozess aufaddiert werden, und ein grüner Pixelwert, der dem grünen CFA-Block entspricht, kann durch die Addition berechnet werden.
  • Wenn kein Binning-Prozess durchgeführt wird, ist jedes der 4*4 Farbpixel des grünen CFA-Blocks einzeln mit einem Floating-Diffusionsbereich FD verbunden und überträgt Fotoladung an diesen.
  • 11C veranschaulicht den blauen CFA-Block auf der linken Unterseite der CFA-Zelle und den grünen CFA-Block auf der rechten Unterseite der CFA-Zelle. Wenn ein Binning-Prozess durchgeführt wird, kann die Fotoladung von drei blauen Pixeln in jeder Gruppe im blauen CFA-Block einem Floating-Diffusionsbereich FD zugeführt und aufaddiert werden. Zum Beispiel kann der blaue CFA-Block auf der linken Unterseite der CFA-Zelle in die Gruppen B00, B01, B10 und B11 unterteilt werden, die sich jeweils auf der linken Oberseite, der rechten Oberseite, der linken Unterseite und der rechten Unterseite des blauen CFA-Blocks befinden und jeweils 2*2 Farbpixel enthalten. Vier Farbpixel in jeder der Gruppen B00 bis B11 können sich einen Floating-Diffusionsbereich FD miteinander teilen. Bei der Durchführung des Binning-Prozesses kann eine Fotoladung von Farbpixeln, die dieselbe Farbe in jeder Gruppe abtasten, dem Floating-Diffusionsbereich FD zugeführt werden. In einigen beispielhaften Ausführungsformen des blauen CFA-Blocks kann beispielsweise die Fotoladung von vier blauen Pixeln in der Gruppe G00 einem Floating-Diffusionsbereich FD zugeführt werden, die Fotoladung von drei blauen Pixeln in der Gruppe G01 kann einem Floating-Diffusionsbereich FD zugeführt werden, die Fotoladung von drei blauen Pixeln in der Gruppe G10 kann dem Floating-Diffusionsbereich FD zugeführt werden, und die Fotoladung von vier blauen Pixeln in der Gruppe G11 kann dem Floating-Diffusionsbereich FD zugeführt werden.
  • In einigen beispielhaften Ausführungsformen des grünen CFA-Blocks enthält jede Gruppe vier grüne Pixel, und die Fotoladung von vier grünen Pixeln kann einem Floating-Diffusionsbereich FD zugeführt und aufaddiert werden. Jede der anderen Gruppen enthält drei grüne Pixel, und die Fotoladung von drei grünen Pixeln kann einem Floating-Diffusionsbereich FD zugeführt und aufaddiert werden.
  • 12 veranschaulicht Beispiele für Binning-Prozesse nach einigen beispielhaften Ausführungsformen, die ein Inter-Block-Verfahren verwenden, und Binning-Prozesse, die ein Intra-Block-Verfahren verwenden. 12 zeigt ein Beispiel für einen Binning-Prozess jedes von dem roten, grünen und blauen CFA-Block.
  • Im roten CFA-Block tasten drei Farbpixel im Unterblock und ein Farbpixel im äußeren Bereich andere Farben als Rot ab. Da der Binning-Prozess basierend auf dem Intra-Block-Verfahren durchgeführt wird, können zwölf rote Pixel des roten CFA-Blocks aufaddiert werden. In ähnlicher Weise können vierzehn grüne Pixel des grünen CFA-Blocks und zwölf blaue Pixel des blauen CFA-Blocks aufaddiert werden.
  • In einigen beispielhaften Ausführungsformen des Inter-Block-Verfahrens können ferner bei der Berechnung eines einem CFA-Block entsprechenden Pixelwerts Farbpixel von mindestens einem benachbarten CFA-Block verwendet werden. In den in 12 dargestellten Beispielen kann beispielsweise ein Farbpixel in einer Zeile eines benachbarten CFA-Blocks oder ein Farbpixel in zwei Zeilen eines benachbarten CFA-Blocks weiterverwendet werden.
  • Wie beim roten CFA-Block kann beispielsweise ein Signal, das zwölf roten Pixeln des roten CFA-Blocks entspricht, und ein Signal eines roten Pixels in einer Zeile eines an den roten CFA-Block angrenzenden CFA-Blocks aufaddiert werden. Alternativ oder zusätzlich kann ein Signal, das zwölf roten Pixeln des roten CFA-Blocks entspricht, und ein Signal eines roten Pixels in zwei Zeilen eines CFA-Blocks, der an den roten CFA-Block angrenzt, aufaddiert werden. Ähnlich wie beim blauen CFA-Block kann ein Signal, das zwölf blauen Pixeln des blauen CFA-Blocks entspricht, und ein Signal eines blauen Pixels in einer oder zwei Zeilen eines CFA-Blocks neben dem roten CFA-Block aufaddiert werden.
  • Nach einigen beispielhaften Ausführungsformen enthält der grüne CFA-Block relativ viele grüne Pixel, wenn ein Binning-Prozess auf dem grünen CFA-Block basierend auf dem Inter-Block-Verfahren durchgeführt wird, und daher zeigt 12 ein Beispiel, in dem ein Signal eines grünen Pixels in einer Reihe eines CFA-Blocks, der an den grünen CFA-Block angrenzt, im Binning-Prozess verwendet wird. Die Ausführungsbeispiele sind jedoch nicht darauf beschränkt. Ferner können grüne Pixel in mindestens zwei Zeilen eines CFA-Blocks, der an den grünen CFA-Block angrenzt, bei der Signaladdition verwendet werden.
  • In 13 bis 15 sind einige beispielhafte Ausführungsformen von CFA-Blöcken nach einigen beispielhaften Ausführungsformen dargestellt. 13 veranschaulicht einen roten CFA-Block, 14 veranschaulicht einen blauen CFA-Block und 15 veranschaulicht einen grünen CFA-Block. 13 bis 15 veranschaulichen Beispiele für die weitere Reduzierung eines Interpolationsabstands durch die Anordnung von Farbpixeln im äußeren Bereich jedes CFA-Blocks. Obwohl die 13 bis 15 die in 4 dargestellten CFA-Blöcke zeigen, können die Ausführungsbeispiele auch auf andere, vorstehend beschriebene Arten von CFA-Blöcken angewendet werden.
  • Bezugnehmend auf 13 kann der rote CFA-Block, wie vorstehend beschrieben, einen Unterblock mit 2*2 Farbpixeln enthalten. Während rote Pixel hauptsächlich im äußeren Bereich des roten CFA-Blocks angeordnet sind, kann ein blaues Pixel in einer Ecke (z. B. der linken unteren Ecke) des äußeren Bereichs angeordnet sein. Dementsprechend können rote, blaue, rote und blaue Pixel sequentiell in einer bestimmten Richtung (z. B. von rechts oben nach links unten) des roten CFA-Blocks angeordnet sein.
  • Darüber hinaus kann ein Pixel, das mindestens eine andere Farbe als Rot abtastet, in einer anderen Ecke des äußeren Bereichs des roten CFA-Blocks angeordnet sein. In (a) von 13 ist dargestellt, dass ein grüner Pixel in der rechten unteren Ecke angeordnet ist. In (b) von 13 ist dargestellt, dass zwei grüne Pixel jeweils in der rechten unteren und linken oberen Ecke angeordnet sind. Die grünen Pixel in den äußeren Bereichen, die in (a) und (b) von 13 dargestellt sind, tasten die gleiche Farbe (d. h. Grün) ab wie grüne Pixel an entsprechenden Positionen in einem Bayer-Muster, und dementsprechend kann der Interpolationsabstand der Pixel des roten CFA-Blocks weiter reduziert werden.
  • Bezugnehmend auf 14, während blaue Pixel hauptsächlich im äußeren Bereich des blauen CFA-Blocks angeordnet sind, kann ein rotes Pixel in einer Ecke (z. B. der rechten oberen Ecke) des äußeren Bereichs angeordnet sein. Dementsprechend können rote, blaue, rote und blaue Pixel sequentiell in einer bestimmten Richtung (z. B. von rechts oben nach links unten) des blauen CFA-Blocks angeordnet sein. Darüber hinaus kann, ähnlich wie in einigen der Ausführungsbeispiele in 13, ein Pixel, das mindestens eine andere Farbe als Blau abtastet, in einer anderen Ecke des äußeren Bereichs des blauen CFA-Blocks angeordnet sein. In (a) von 14 ist dargestellt, dass ein grünes Pixel in der rechten unteren Ecke angeordnet ist. In (b) von 14 ist dargestellt, dass zwei grüne Pixel jeweils in der rechten unteren und linken oberen Ecke angeordnet sind. Nach der in (a) und (b) von 14 gezeigten Ausführungsform kann der Interpolationsabstand der Pixel des blauen CFA-Blocks weiter reduziert werden.
  • Bezugnehmend auf 15 können Pixel (z. B. ein rotes Pixel und/oder ein blaues Pixel), die mindestens eine andere Farbe als Grün abtasten, im äußeren Bereich des grünen CFA-Blocks angeordnet sein. In (a) von 15 ist dargestellt, dass ein blaues Pixel in einer Ecke (z. B. der linken unteren Ecke) des äußeren Bereichs des grünen CFA-Blocks angeordnet ist. In (b) von 15 ist dargestellt, dass ein blaues Pixel in der linken unteren Ecke des äußeren Bereichs des grünen CFA-Blocks und ein rotes Pixel in der rechten oberen Ecke des äußeren Bereichs des grünen CFA-Blocks angeordnet ist. Farbpixel (z. B. ein blaues Pixel und/oder ein rotes Pixel) in den in (a) und (b) von 15 gezeigten äußeren Bereichen tasten dieselbe Farbe ab wie Farbpixel an entsprechenden Positionen in einem Bayer-Muster, und dementsprechend kann der Interpolationsabstand der Pixel des grünen CFA-Blocks weiter reduziert werden.
  • 16 zeigt einige beispielhaften Ausführungsformen eines Farbpixels nach einigen beispielhaften Ausführungsformen.
  • Nach einigen vorstehend beschriebenen beispielhaften Ausführungsformen kann ein Farbpixel einen entsprechenden Farbfilter und ein lichtempfindliches Element (z. B. eine Fotodiode) enthalten, das Licht (oder Farbe) erfasst.
  • Nach einigen beispielhaften Ausführungsformen kann ein Farbpixel eine Mehrzahl von Unterpixeln enthalten. 16 veranschaulicht ein Beispiel, bei dem ein Farbpixel 2*2 Unterpixel enthält, ein Farbpixel kann aber auch mehr Unterpixel enthalten. Das lichtempfindliche Element ist für jedes Unterpixel vorgesehen, und dementsprechend können mehrere lichtempfindliche Elemente für ein Farbpixel vorgesehen sein. Obwohl in 16 nicht dargestellt, kann ein Bildsensor eine Mehrzahl von Mikrolinsen (jetzt gezeigt) enthalten, und für jedes Pixel oder jedes Unterpixel kann eine Mikrolinse vorgesehen sein.
  • Wenn ein Pixelsignal, das einem Farbpixel entspricht, berechnet wird, können zumindest einige der Signale verwendet werden, die von einer Mehrzahl von Unterpixeln erzeugt werden. Wenn man z. B. annimmt, dass ein Farbpixel oben links in 16 ein rotes Pixel ist und eine Mehrzahl von Unterpixeln eine rote Farbe abtastet, kann ein Pixelsignal des roten Pixels durch einen Prozess erzeugt werden, der mindestens einige der von den Unterpixeln erzeugten Signale verwendet.
  • Die Ausführungsformen können auf verschiedene Weise realisiert werden. Zum Beispiel kann ein Farbpixel Signale liefern, die aus der Erfassung von mindestens zwei Farben resultieren. Beispielsweise können Farbfilter, die verschiedene Farben abtasten, für eine Mehrzahl von Unterpixeln eines Farbpixels angeordnet werden, und das Farbpixel kann auf verschiedene Weise implementiert werden, solange ein Interpolationsabstand nach einigen vorstehend beschriebenen beispielhaften Ausführungsformen reduziert werden kann.
  • 17 ist ein Blockdiagramm einer elektronischen Vorrichtung, die ein Multikameramodul enthält, das einen Bildsensor nach einigen beispielhaften Ausführungsformen verwendet. 18 ist ein detailliertes Blockdiagramm eines Kameramoduls in 17.
  • Bezugnehmend auf 17 kann eine elektronische Vorrichtung 1000 eine Kameramodulgruppe 1100, einen Anwendungsprozessor 1200, eine integrierte Schaltung zur Energieverwaltung (PMIC) 1300 und einen externen Speicher 1400 enthalten.
  • Die Kameramodulgruppe 1100 kann eine Mehrzahl von Kameramodulen 1100a, 1100b und 1100c enthalten. Obwohl in 17 drei Kameramodule 1100a, 1100b und 1100c dargestellt sind, sind die Ausführungsbeispiele nicht darauf beschränkt. In einigen beispielhaften Ausführungsformen kann die Kameramodulgruppe 1100 so modifiziert werden, dass sie nur zwei Kameramodule enthält. In einigen beispielhaften Ausführungsformen kann die Kameramodulgruppe 1100 so modifiziert werden, dass sie „n“ Kameramodule enthält, wobei „n“ eine natürliche Zahl von mindestens 4 ist.
  • Der detaillierte Aufbau des Kameramoduls 1100b wird im Folgenden unter Bezugnahme auf 18 beschrieben. Die nachfolgenden Beschreibungen können auch auf die anderen Kameramodule 1100a und 1100c angewendet werden.
  • Bezugnehmend auf 18 kann das Kameramodul 1100b ein Prisma 1105, ein optisches Weg-Faltelement (OPFE) 1110, einen Aktuator 1130, eine Bildabtastvorrichtung 1140 und einen Speicher 1150 enthalten.
  • Das Prisma 1105 kann eine reflektierende Oberfläche 1107 aus einem lichtreflektierenden Material enthalten und kann den Weg des von außen einfallenden Lichts L ändern.
  • In einigen beispielhaften Ausführungsformen kann das Prisma 1105 den Weg des Lichts L, das in einer ersten Richtung X einfällt, in eine zweite Richtung Y senkrecht zur ersten Richtung X ändern. Das Prisma 1105 kann die reflektierende Oberfläche 1107 des lichtreflektierenden Materials in einer Richtung A um eine zentrale Welle 1106 drehen oder die zentrale Welle 1106 in einer Richtung B drehen, so dass der Weg des in der ersten Richtung X einfallenden Lichts in die zweite Richtung Y senkrecht zur ersten Richtung X geändert wird. Zu diesem Zeitpunkt kann sich das OPFE 1110 in einer dritten Richtung Z bewegen, die senkrecht zur ersten und zweiten Richtung X und Y ist.
  • In einigen beispielhaften Ausführungsformen kann ein maximaler Drehwinkel des Prismas 1105 in A-Richtung kleiner oder gleich 15 Grad in einer Plus- (+) A-Richtung und größer als 15 Grad in einer Minus- (-) A-Richtung sein, aber Ausführungsformen sind darauf nicht beschränkt.
  • In einigen beispielhaften Ausführungsformen kann sich das Prisma 1105 um einen Winkel von etwa 20 Grad oder in einem Bereich von etwa 10 Grad bis etwa 20 Grad oder von etwa 15 Grad bis etwa 20 Grad in eine Plus- oder Minus-B-Richtung bewegen. Zu diesem Zeitpunkt kann ein Winkel, um den sich das Prisma 1105 in die Plus-B-Richtung bewegt, innerhalb einer Differenz von etwa 1 Grad gleich oder ähnlich sein wie ein Winkel, um den sich das Prisma 1105 in die Minus-B-Richtung bewegt.
  • In einigen beispielhaften Ausführungsformen kann das Prisma 1105 die reflektierende Oberfläche 1107 des lichtreflektierenden Materials in der dritten Richtung Z parallel zu einer Erstreckungsrichtung der zentralen Welle 1106 bewegen.
  • Das OPFE 1110 kann z. B. „m“ optische Linsen enthalten, wobei „m“ eine natürliche Zahl ist. Die „m“ Linsen können sich in der zweiten Richtung Y bewegen und einen optischen Zoomfaktor des Kameramoduls 1100b ändern. Wenn z. B. das optische Standard-Zoomverhältnis des Kameramoduls 1100b Z ist, kann das optische Zoomverhältnis des Kameramoduls 1100b auf 3Z, 5Z oder größer geändert werden, indem die im OPFE 1110 enthaltenen „m“ optischen Linsen bewegt werden.
  • Der Aktuator 1130 kann das OPFE 1110 oder eine optische Linse in eine bestimmte Position bewegen. Zum Beispiel kann der Aktuator 1130 die Position der optischen Linse so einstellen, dass ein Bildsensor 1142 bei einer Brennweite der optischen Linse für eine genaue Abtastung positioniert ist.
  • Die Bildabtastvorrichtung 1140 kann den Bildsensor 1142, eine Steuerlogik 1144 und einen Speicher 1146 enthalten. Der Bildsensor 1142 kann ein Bild eines Objekts unter Verwendung des durch die optische Linse gelieferten Lichts abtasten. Nach einigen vorstehend beschriebenen beispielhaften Ausführungsformen kann der Bildsensor 1142 ein Pixelarray enthalten, und ein Farbmuster einer Mehrzahl von Farbpixeln des Pixelarrays kann den Mustern einer CFA-Zelle, eines CFA-Blocks und eines Unterblocks in einigen vorstehend beschriebenen beispielhaften Ausführungsformen folgen.
  • Die Steuerlogik 1144 kann allgemein den Betrieb des Kameramoduls 1100b steuern. Zum Beispiel kann die Steuerlogik 1144 den Betrieb des Kameramoduls 1100b entsprechend einem Steuersignal steuern, das über eine Steuersignalleitung CSLb zugeführt wird.
  • Der Speicher 1146 kann Informationen, wie z. B. Kalibrierdaten 1147, speichern, die für den Betrieb des Kameramoduls 1100b notwendig sind. Die Kalibrierdaten 1147 können Informationen enthalten, die für das Kameramodul 1100b notwendig sind, um mit dem von außen zugeführten Licht L Bilddaten zu erzeugen. Beispielsweise können die Kalibrierdaten 1147 Informationen über den vorstehend beschriebenen Drehwinkel, Informationen über eine Brennweite, Informationen über eine optische Achse oder ähnliches enthalten. Wenn das Kameramodul 1100b als Mehrzustandskamera implementiert ist, deren Brennweite mit der Position der optischen Linse variiert, können die Kalibrierdaten 1147 einen Wert einer Brennweite für jede Position (oder Zustand) der optischen Linse und Informationen über die Autofokussierung enthalten.
  • Der Speicher 1150 kann die vom Bildsensor 1142 abgetasteten Bilddaten speichern. Der Speicher 1150 kann außerhalb der Bildabtastvorrichtung 1140 vorgesehen sein und einen Stapel mit einem Sensorchip der Bildabtastvorrichtung 1140 bilden. In einigen Ausführungsformen kann der Speicher 1150 einen elektrisch löschbaren programmierbaren Festwertspeicher (EEPROM) enthalten, aber Ausführungsformen sind darauf nicht beschränkt.
  • In einigen beispielhaften Ausführungsformen kann jedes der Kameramodule 1100a, 1100b und 1100c den Aktuator 1130 enthalten. Dementsprechend können die Kameramodule 1100a, 1100b und 1100c die Kalibrierdaten 1147 enthalten, die bei den Kameramodulen 1100a, 1100b und 1100c, je nach Betrieb des Aktuators 1130, der in jedem der Kameramodule 1100a, 1100b und 1100c enthalten ist, gleich oder unterschiedlich sind.
  • In einigen beispielhaften Ausführungsformen kann eines (z.B. das Kameramodul 1100b) der Kameramodule 1100a, 1100b und 1100c von einem Typ mit gefalteten Linsen sein, der das Prisma 1105 und das OPFE 1110 enthält, während die anderen Kameramodule (z.B. die Kameramodule 1100a und 1100c) von einem vertikalen Typ sein können, der das Prisma 1105 und das OPFE 1110 nicht enthält. Die Ausführungsbeispiele sind jedoch nicht darauf beschränkt.
  • In einigen beispielhaften Ausführungsformen kann eines der Kameramodule 1100a, 1100b und 1100c (z. B. das Kameramodul 1100c) eine vertikale Tiefenkamera enthalten, die mithilfe eines Infrarotstrahls (IR) Tiefeninformationen extrahiert. In diesem Fall kann der Anwendungsprozessor 1200 ein dreidimensionales (3D) Tiefenbild erzeugen, indem er die von der Tiefenkamera gelieferten Bilddaten mit den von einem anderen Kameramodul (z. B. dem Kameramodul 1100a oder 1100b) gelieferten Bilddaten zusammenführt.
  • In einigen beispielhaften Ausführungsformen können mindestens zwei Kameramodule (z. B. 1100a und 1100b) der Kameramodule 1100a, 1100b und 1100c unterschiedliche Sichtfelder aufweisen. In diesem Fall können die beiden Kameramodule (z. B. 1100a und 1100b) unter den Kameramodulen 1100a, 1100b und 1100c jeweils unterschiedliche optische Linsen aufweisen, aber Ausführungsbeispiele sind darauf nicht beschränkt.
  • In einigen beispielhaften Ausführungsformen können die Kameramodule 1100a, 1100b und 1100c zueinander unterschiedliche Sichtfelder aufweisen. In diesem Fall können die Kameramodule 1 100a, 1100b und 1100c jeweils unterschiedliche optische Linsen aufweisen, aber Ausführungsbeispiele sind darauf nicht beschränkt.
  • In einigen beispielhaften Ausführungsformen können die Kameramodule 1100a, 1100b und 1100c räumlich voneinander getrennt sein. Mit anderen Worten, der Erfassungsbereich des Bildsensors 1142 wird nicht geteilt und von den Kameramodulen 1100a, 1100b und 1100c genutzt, sondern der Bildsensor 1142 kann unabhängig in jedem der Kameramodule 1100a, 1100b und 1100c enthalten sein.
  • Unter erneuter Bezugnahme auf 17: Der Anwendungsprozessor 1200 kann eine Bildverarbeitungseinheit 1210, einen Speichercontroller 1220 und einen internen Speicher 1230 enthalten. Der Anwendungsprozessor 1200 kann getrennt von den Kameramodulen 1100a, 1100b und 1100c implementiert sein. Zum Beispiel können der Anwendungsprozessor 1200 und die Kameramodule 1100a, 1100b und 1100c in verschiedenen Halbleiterchips implementiert sein.
  • Die Bildverarbeitungseinheit 1210 kann eine Mehrzahl von Unterprozessoren 1212a, 1212b und 1212c, einen Bildgenerator 1214 und eine Kameramodul-Steuerung 1216 enthalten.
  • Die Bildverarbeitungseinheit 1210 kann so viele Unterprozessoren 1212a, 1212b und 1212c enthalten wie die Kameramodule 1100a, 1100b und 1100c.
  • Bilddaten, die von jedem Kameramodul 1100a, 1100b oder 1100c erzeugt werden, können einem entsprechenden der Unterprozessoren 1212a, 1212b und 1212c über eine entsprechende der separaten Bildsignalleitungen ISLa, ISLb und ISLc vorgesehen werden. Beispielsweise können vom Kameramodul 1100a erzeugte Bilddaten über die Bildsignalleitung ISLa dem Unterprozessor 1212a zugeführt werden, vom Kameramodul 1100b erzeugte Bilddaten können über die Bildsignalleitung ISLb dem Unterprozessor 1212b zugeführt werden, und vom Kameramodul 1100c erzeugte Bilddaten können über die Bildsignalleitung ISLc dem Unterprozessor 1212c zugeführt werden. Eine solche Bilddatenübertragung kann z. B. über eine MIPI-basierte (MIPI=Mobile Industry Processor Interface) Kamera-Serien-Schnittstelle (CSI) erfolgen, aber Ausführungsformen sind darauf nicht beschränkt.
  • In einigen beispielhaften Ausführungsformen kann ein einziger Unterprozessor für eine Mehrzahl von Kameramodulen vorgesehen sein. Beispielsweise können, im Unterschied zu 13, die Unterprozessoren 1212a und 1212c nicht getrennt, sondern in einen einzigen Unterprozessor integriert sein, und die von dem Kameramodul 1100a oder dem Kameramodul 1100c vorgesehenen Bilddaten können durch ein Auswahlelement (z. B. einen Multiplexer) ausgewählt und dann dem integrierten Unterprozessor zugeführt werden.
  • Die Bilddaten, die jedem der Unterprozessoren 1212a, 1212b und 1212c zugeführt werden, können dem Bildgenerator 1214 zugeführt werden. Der Bildgenerator 1214 kann ein Ausgangsbild unter Verwendung der von jedem der Unterprozessoren 1212a, 1212b und 1212c vorgesehenen Bilddaten entsprechend der Bilderzeugungsinformation oder einem Modussignal erzeugen.
  • Im Detail kann der Bildgenerator 1214 das Ausgangsbild erzeugen, indem er zumindest Teile der jeweiligen Bilddaten, die von den Kameramodulen 1100a, 1100b und 1100c mit unterschiedlichen Sichtfeldern erzeugt werden, entsprechend den Bilderzeugungsinformationen oder dem Modussignal zusammenfügt. Alternativ oder zusätzlich kann der Bildgenerator 1214 das Ausgangsbild erzeugen, indem er eines der Bilddatenstücke auswählt, die jeweils von den Kameramodulen 1100a, 1100b und 1100c mit unterschiedlichen Sichtfeldern gemäß den Bilderzeugungsinformationen oder dem Modussignal erzeugt werden.
  • In einigen beispielhaften Ausführungsformen können die Bilderzeugungsinformationen ein Zoom-Signal oder einen Zoom-Faktor enthalten. In einigen beispielhaften Ausführungsformen kann das Modussignal auf einem von einem Benutzer ausgewählten Modus basieren.
  • Wenn die Bilderzeugungsinformationen ein Zoom-Signal oder einen Zoom-Faktor enthalten und die Kameramodule 1100a, 1100b und 1100c unterschiedliche Sichtfelder aufweisen, kann der Bildgenerator 1214 verschiedene Operationen entsprechend den unterschiedlichen Arten von Zoom-Signalen durchführen. Wenn das Zoomsignal beispielsweise ein erstes Signal ist, kann der Bildgenerator 1214 die vom Kameramodul 1100a ausgegebenen Bilddaten mit den vom Kameramodul 1100c ausgegebenen Bilddaten zusammenführen und dann ein Ausgangsbild unter Verwendung eines zusammengeführten Bildsignals und der vom Kameramodul 1100b ausgegebenen Bilddaten, die bei der Zusammenführung nicht verwendet wurden, erzeugen. Wenn das Zoomsignal ein zweites Signal ist, das sich vom ersten Signal unterscheidet, kann der Bildgenerator 1214 diese Bilddatenzusammenführung nicht durchführen, sondern eines der Bilddatenstücke auswählen, die jeweils von den Kameramodulen 1100a bis 1100c ausgegeben werden, um ein Ausgangsbild zu erzeugen. Die Ausführungsbeispiele sind jedoch nicht darauf beschränkt, und ein Verfahren zur Verarbeitung von Bilddaten kann bei Bedarf geändert werden.
  • In einigen beispielhaften Ausführungsformen kann der Bildgenerator 1214 eine Mehrzahl von Bilddaten mit unterschiedlichen Belichtungszeiten von mindestens einem der Unterprozessoren 1212a, 1212b und 1212c empfangen und eine HDR-Verarbeitung (HDR=High Dynamic Range) an den Bilddaten durchführen, wodurch zusammengeführte Bilddaten mit einem erhöhten Dynamikbereich erzeugt werden.
  • Die Kameramodul-Steuerung 1216 kann ein Steuersignal jedem der Kameramodule 1100a, 1100b und 1100c zuführen. Ein von der Kameramodul-Steuerung 1216 erzeugtes Steuersignal kann einem entsprechenden der Kameramodule 1100a, 1100b und 1100c über eine entsprechende der voneinander getrennten Steuersignalleitungen CSLa, CSLb und CSLc zugeführt werden.
  • Eines (z. B. das Kameramodul 1100b) der Kameramodule 1100a, 1100b und 1100c kann gemäß dem Modussignal oder dem Bilderzeugungssignal einschließlich eines Zoomsignals als Master-Kamera bezeichnet werden, und die anderen Kameramodule (z. B. 1100a und 1100c) können als Slave-Kameras bezeichnet werden. Solche Bezeichnungsinformationen können in einem Steuersignal enthalten sein und jedem der Kameramodule 1100a, 1100b und 1100c über eine entsprechende der voneinander getrennten Steuersignalleitungen CSLa, CSLb und CSLc zugeführt werden.
  • Ein Kameramodul, das als Master oder Slave arbeitet, kann in Abhängigkeit von einem Zoomfaktor oder einem Betriebsmodussignal umgeschaltet werden. Wenn z. B. das Sichtfeld des Kameramoduls 1100a größer als das des Kameramoduls 1100b ist und der Zoomfaktor einen niedrigen Zoomfaktor angibt, kann das Kameramodul 1100b als Master und das Kameramodul 1100a als Slave arbeiten. Im Gegensatz dazu kann das Kameramodul 1100a als Master und das Kameramodul 1100b als Slave arbeiten, wenn der Zoomfaktor einen hohen Zoomfaktor angibt.
  • In einigen beispielhaften Ausführungsformen kann ein Steuersignal, das von der Kameramodul-Steuerung 1216 an jedes der Kameramodule 1100a, 1100b und 1100c gesendet wird, ein Sync-Freigabesignal enthalten. Wenn beispielsweise das Kameramodul 1100b eine Master-Kamera ist und die Kameramodule 1100a und 1100c Slave-Kameras sind, kann die Kameramodul-Steuerung 1216 das Sync-Freigabesignal an das Kameramodul 1100b senden. Das dem Kameramodul 1100b zugeführte Sync-Freigabesignal kann ein Sync-Signal basierend auf dem Sync-Freigabesignal erzeugen und das Sync-Signal über eine Sync-Signalleitung SSL den Kameramodulen 1100a und 1100c zuführen. Die Kameramodule 1100a, 1100b und 1100c können mit dem Sync-Signal synchronisiert werden und können Bilddaten an den Anwendungsprozessor 1200 übertragen.
  • In einigen beispielhaften Ausführungsformen kann ein Steuersignal, das von der Kameramodulsteuerung 1216 jedem der Kameramodule 1100a, 1100b und 1100c zugeführt wird, Modusinformationen entsprechend dem Modussignal enthalten. Die Kameramodule 1100a, 1100b und 1100c können basierend auf den Modusinformationen in einem ersten Betriebsmodus oder einem zweiten Betriebsmodus in Bezug auf eine Abtastgeschwindigkeit arbeiten.
  • Im ersten Betriebsmodus können die Kameramodule 1100a, 1100b und 1100c ein Bildsignal mit einer ersten Geschwindigkeit (z. B. mit einer ersten Framerate) erzeugen, das Bildsignal mit einer zweiten Geschwindigkeit, die höher als die erste Geschwindigkeit ist (z. B. mit einer zweiten Framerate, die höher als die erste Framerate ist), kodieren und ein kodiertes Bildsignal an den Anwendungsprozessor 1200 übertragen. Zu diesem Zeitpunkt kann die zweite Geschwindigkeit höchstens das 30-fache der ersten Geschwindigkeit betragen.
  • Der Anwendungsprozessor 1200 kann das empfangene Bildsignal, z. B. das kodierte Bildsignal, im internen Speicher 1230 darin oder im externen Speicher 1400 außerhalb des Anwendungsprozessors 1200 speichern. Danach kann der Anwendungsprozessor 1200 das kodierte Bildsignal aus dem internen Speicher 1230 oder dem externen Speicher 1400 lesen, das kodierte Bildsignal dekodieren und die auf der Grundlage eines dekodierten Bildsignals erzeugten Bilddaten anzeigen. Zum Beispiel kann ein entsprechender der Unterprozessoren 1212a, 1212b und 1212c der Bildverarbeitungseinheit 1210 die Dekodierung und auch die Bildverarbeitung des dekodierten Bildsignals durchführen.
  • Im zweiten Betriebsmodus können die Kameramodule 1100a, 1100b und 1100c ein Bildsignal mit einer dritten Geschwindigkeit erzeugen, die niedriger als die erste Geschwindigkeit ist (z. B. mit einer dritten Framerate, die niedriger als die erste Framerate ist), und das Bildsignal an den Anwendungsprozessor 1200 übertragen. Das dem Anwendungsprozessor 1200 zugeführte Bildsignal kann nicht kodiert worden sein. Der Anwendungsprozessor 1200 kann eine Bildverarbeitung an dem Bildsignal durchführen oder das Bildsignal im internen Speicher 1230 oder im externen Speicher 1400 speichern.
  • Der PMIC 1300 kann jedes der Kameramodule 1100a, 1100b und 1100c mit Leistung, z. B. mit einer Versorgungsspannung, versorgen. Beispielsweise kann der PMIC 1300 unter der Steuerung des Anwendungsprozessors 1200 dem Kameramodul 1100a über eine Leistungssignalleitung PSLa eine erste Leistung, dem Kameramodul 1100b über eine Leistungssignalleitung PSLb eine zweite Leistung und dem Kameramodul 1100c über eine Leistungssignalleitung PSLc eine dritte Leistung zuführen.
  • Der PMIC 1300 kann eine Leistung erzeugen, die jedem der Kameramodule 1100a, 1100b und 1100c entspricht, und den Leistungspegel in Reaktion auf ein Leistungssteuersignal PCON vom Anwendungsprozessor 1200 einstellen. Das Leistungssteuersignal PCON kann ein Leistungsanpassungssignal für jeden Betriebsmodus der Kameramodule 1100a, 1100b und 1100c enthalten. Zum Beispiel kann der Betriebsmodus einen Niedrigleistungsmodus enthalten. Zu diesem Zeitpunkt kann das Leistungssteuersignal PCON Informationen über ein Kameramodul, das im Niedrigleistungsmodus betrieben werden soll, sowie einen einzustellenden Leistungspegel enthalten. Den Kameramodulen 1100a, 1100b und 1100c können jeweils die gleichen oder unterschiedliche Leistungspegel zugeführt werden. Der Leistungspegel kann dynamisch geändert werden.
  • Es versteht sich, dass einige oder alle der Vorrichtungen, Steuerungen, Generatoren, Decoder, Einheiten, Module, Schaltungen, Prozessoren oder dergleichen nach einer der hier beschriebenen beispielhaften Ausführungsformen, einschließlich einiger oder aller Elemente der in 1 gezeigten Steuerung 140 und Leseschaltung 130, des in 10 gezeigten Bildprozessors 220, des Binning-Prozessors 221 und des Remosaick-Prozessors 222, des in 17 gezeigten Anwendungsprozessors 1200 und seinen Unterelementen, der in 18 dargestellten Bildabtastvorrichtung 1140 und ihren Unterelementen oder einer beliebigen Kombination davon enthalten sein, enthalten und/oder durch eine oder mehrere Instanzen von Verarbeitungsschaltungen, wie z. B. Hardware einschließlich Logikschaltungen, einer Hardware/Software-Kombination, wie z. B. einem Prozessor, der Software ausführt, oder einer Kombination davon implementiert sein können. In einigen beispielhaften Ausführungsformen kann die eine oder die mehreren Instanz(en) von Verarbeitungsschaltungen eine zentrale Verarbeitungseinheit (CPU), einen Anwendungsprozessor (AP), eine arithmetische Logikeinheit (ALU), eine Grafikverarbeitungseinheit (GPU), einen digitalen Signalprozessor, einen Mikrocomputer, ein Field Programmable Gate Array (FPGA), ein System-on-Chip (SoC), eine programmierbare Logikeinheit, einen Mikroprozessor oder eine anwendungsspezifische integrierte Schaltung (ASIC) usw. enthalten, ist aber nicht darauf beschränkt. In einigen beispielhaften Ausführungsformen kann jeder der hier beschriebenen Speicher, Speichereinheiten oder dergleichen eine nicht transitorische, computerlesbare Speichervorrichtung, z. B. ein Festkörperlaufwerk (SSD), enthalten, die ein Befehlsprogramm speichert, und die eine oder mehrere Instanzen der Verarbeitungsschaltung können eingerichtet sein, um das Befehlsprogramm auszuführen, um die Funktionalität einiger oder aller der Vorrichtungen, Steuerungen, Dekodierer, Einheiten, Module oder dergleichen nach jeder der hier beschriebenen beispielhaften Ausführungsformen, einschließlich aller hier beschriebenen Verfahren zum Betrieb derselben, zu implementieren.
  • Obwohl jedes der Elemente der Steuerung 140 und der Leseschaltung 130, die in 1 gezeigt sind, des Bildprozessors 220, des Binning-Prozessors 221 und des Remosaick-Prozessors 222, die in 10 gezeigt sind, des Anwendungsprozessors 1200 und seiner Unterelemente, die in 17 gezeigt sind, der Bildabtastvorrichtung 1140 und seiner Unterelemente, die in 18 gezeigt sind, als unterschiedlich dargestellt sind, sind die beispielhaften Ausführungsformen nicht darauf beschränkt, und einige der Funktionen eines der vorstehend genannten Elemente können von anderen der Merkmale der relevanten Figuren ausgeführt werden. Dies kann auch für zusätzliche Elemente innerhalb der vorstehend genannten gelten, wie in den beispielhaften Ausführungsformen hierin beschrieben.
  • Während die erfindungsgemäßen Konzepte insbesondere unter Bezugnahme auf Ausführungsformen gezeigt und beschrieben wurden, versteht es sich, dass verschiedene Änderungen in Form und Details darin vorgenommen werden können, ohne von der Idee und dem Umfang der folgenden Ansprüche abzuweichen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • KR 1020200072618 [0001]
    • KR 1020210042232 [0001]

Claims (20)

  1. Pixelarray eines Bildsensors, wobei das Pixelarray enthält: eine Mehrzahl von Farbfilterarray-(CFA)-Zellen, die eine bestimmte Größe aufweisen, wobei jede der Mehrzahl von CFA-Zellen eine Mehrzahl von CFA-Blöcken in einer Breitenrichtung der CFA-Zelle und einer Längenrichtung der CFA-Zelle enthält, wobei jeder der Mehrzahl von CFA-Blöcken einen Unterblock und einen von dem Unterblock verschiedenen äußeren Bereich enthält, wobei der Unterblock sich in einem zentralen Bereich jedes der Mehrzahl von CFA-Blöcken befindet und m*n Farbpixel enthält, und der äußere Bereich andere Farbpixel enthält, wobei „m“ und „n“ ganze Zahlen von mindestens 2 sind, wobei die m*n Farbpixel des Unterblocks Farbpixel enthalten, die eine erste, eine zweite und eine dritte Farbe abtasten, und der äußere Bereich eine Anzahl von ersten Pixeln enthält, die die erste Farbe abtasten, und eine Anzahl von zweiten Pixeln, die mindestens eine aus der zweiten Farbe und der dritten Farbe ausgewählte Farbe abtasten, wobei die Anzahl der ersten Pixel größer als die Anzahl der zweiten Pixel ist.
  2. Pixelarray nach Anspruch 1, wobei die erste, zweite und dritte Farbe eine rote Farbe, eine grüne Farbe und eine blaue Farbe enthalten; und jede der Mehrzahl von CFA-Zellen 2*2 CFA-Blöcke in der Breiten- und Längenrichtung der CFA-Zelle enthält, wobei die 2*2 CFA-Blöcke zwei grüne CFA-Blöcke, einen roten CFA-Block und einen blauen CFA-Block enthalten, und jeder der 2*2 CFA-Blöcke 4*4 Farbpixel enthält, und der Unterblock jedes der 2*2 CFA-Blöcke 2*2 Farbpixel enthält.
  3. Pixelarray nach Anspruch 2, wobei der äußere Bereich des roten CFA-Blocks als das zweite Pixel ein blaues Pixel in mindestens einer Ecke des roten CFA-Blocks und als die ersten Pixel eine Mehrzahl von roten Pixeln enthält.
  4. Pixelarray nach Anspruch 3, wobei ein rotes Pixel, ein blaues Pixel, ein rotes Pixel und ein blaues Pixel nacheinander in einer diagonalen Richtung von einer Ecke des roten CFA-Blocks angeordnet sind.
  5. Pixelarray nach Anspruch 2, wobei der äußere Bereich des blauen CFA-Blocks als das zweite Pixel ein rotes Pixel in mindestens einer Ecke des blauen CFA-Blocks und als die ersten Pixel eine Mehrzahl von blauen Pixeln enthält.
  6. Pixelarray nach Anspruch 2, wobei der äußere Bereich jedes der beiden grünen CFA-Blöcke nur grüne Pixel enthält.
  7. Pixelarray nach Anspruch 2, wobei vier Farbpixel einschließlich eines Farbpixels in äußeren Bereichen der jeweiligen 2*2 CFA-Blöcke einen ersten Bereich in jeder der Mehrzahl von CFA-Zellen bilden, wobei der erste Bereich das zweite Pixel des roten CFA-Blocks, das zweite Pixel des blauen CFA-Blocks und ein grünes Pixel des äußeren Bereichs von jedem der beiden grünen CFA-Blöcke enthält; und ein Interpolationsabstand jedes der vier Farbpixel des ersten Bereichs einen Wert von 0 aufweist, wenn jede der Mehrzahl von CFA-Zellen durch einen Remosaick-Prozess in ein Bayer-Muster umgewandelt wird.
  8. Pixelarray nach Anspruch 1, wobei ein Binning-Prozess an Farbpixeln des Pixelarrays durchgeführt wird, und Signale von Farbpixeln, die eine gleiche Farbe in einem der Mehrzahl von CFA-Blöcke abtasten, während des Binning-Prozesses selektiv aufaddiert werden.
  9. Pixelarray nach Anspruch 1, wobei ein Binning-Prozess an Farbpixeln des Pixelarrays durchgeführt wird, und Signale von Farbpixeln, die eine gleiche Farbe in einem der Mehrzahl von CFA-Blöcken und in mindestens einer Zeile eines benachbarten CFA-Blocks abtasten, während des Binning-Prozesses aufaddiert werden.
  10. Pixelarray eines Bildsensors, wobei das Pixelarray umfasst: eine Mehrzahl von Farbfilterarray-(CFA)-Zellen, die eine bestimmte Größe aufweisen, wobei jede der Mehrzahl von CFA-Zellen 2*2 CFA-Blöcke in einer Breitenrichtung der CFA-Zelle und einer Längenrichtung der CFA-Zelle enthält, wobei jeder der 2*2 CFA-Blöcke 4*4 Farbpixel enthält, wobei jeder der 2*2 CFA-Blöcke einen Unterblock und einen äußeren Bereich enthält, wobei sich der Unterblock in einem zentralen Bereich jedes der 2*2 CFA-Blöcke befindet und 2*2 Farbpixel enthält, und sich der äußere Bereich an einer äußeren Seite jedes der 2*2 CFA-Blöcke befindet und zwölf Farbpixel enthält; die 2*2 CFA-Blöcke einen roten CFA-Block, einen grünen CFA-Block und einen blauen CFA-Block enthalten; und der Unterblock ein rotes Pixel, ein blaues Pixel und zwei grüne Pixel enthält, wobei zwölf Farbpixel im äußeren Bereich des roten CFA-Blocks ein blaues Pixel und elf rote Pixel enthalten.
  11. Pixelarray nach Anspruch 10, wobei sich das eine blaue Pixel im äußeren Bereich des roten CFA-Blocks in einer Ecke des roten CFA-Blocks befindet.
  12. Pixelarray nach Anspruch 11, wobei ein blaues Pixel, ein rotes Pixel, ein blaues Pixel und ein rotes Pixel in einer diagonalen Richtung von der einen Ecke des roten CFA-Blocks, in dem das eine blaue Pixel angeordnet ist, nacheinander angeordnet sind.
  13. Pixelarray nach Anspruch 10, wobei zwölf Farbpixel im äußeren Bereich des blauen CFA-Blocks ein rotes Pixel und elf blaue Pixel enthalten.
  14. Pixelarray nach Anspruch 13, wobei jede der Mehrzahl von CFA-Zellen einen roten CFA-Block, zwei grüne CFA-Blöcke und einen blauen CFA-Block enthält, wobei das eine blaue Pixel im äußeren Bereich des roten CFA-Blocks, das eine rote Pixel im äußeren Bereich des blauen CFA-Blocks und zwei grüne Pixel in den jeweiligen äußeren Bereichen der beiden grünen CFA-Blöcke einen ersten Bereich bilden, wobei ein Interpolationsabstand jedes der Farbpixel in dem ersten Bereich einen Wert von 0 aufweist, wenn jede der Mehrzahl von CFA-Zellen durch einen Remosaick-Prozess in ein Bayer-Muster umgewandelt wird.
  15. Pixelarray nach Anspruch 10, wobei zwölf Farbpixel im äußeren Bereich des grünen CFA-Blocks höchstens zwei Farbpixel und verbleibende grüne Pixel enthalten, wobei die höchstens zwei Farbpixel mindestens eine aus einer roten Farbe und einer blauen Farbe ausgewählte Farbe abtasten.
  16. Bildsensor, umfassend: ein Pixelarray, das eine Mehrzahl von Farbfilterarray-(CFA)-Zellen enthält, die jeweils eine Mehrzahl von CFA-Blöcken in einer Breitenrichtung der CFA-Zelle und in einer Längenrichtung der CFA-Zelle enthalten, wobei jeder der Mehrzahl von CFA-Blöcken einen Unterblock und einen von dem Unterblock verschiedenen äußeren Bereich enthält, wobei der Unterblock sich in einem zentralen Bereich jedes der Mehrzahl von CFA-Blöcken befindet und n*n Farbpixel enthält, und der äußere Bereich andere Farbpixel enthält, wobei „n“ eine ganze Zahl von mindestens 2 ist; und eine Leseschaltung, die zum Lesen von Pixelwerten aus Farbpixeln des Pixelarrays eingerichtet ist, wobei die n*n Farbpixel des Unterblocks Farbpixel enthalten, die eine erste, zweite und dritte Farbe abtasten, und der äußere Bereich eine Anzahl von ersten Pixeln, die eine von der ersten, zweiten und dritten Farbe abtasten, und eine Anzahl von zweiten Pixeln enthält, die eine andere von der ersten, zweiten und dritten Farbe abtasten, wobei die Anzahl der ersten Pixel größer als die Anzahl der zweiten Pixel ist.
  17. Bildsensor nach Anspruch 16, wobei die erste, zweite und dritte Farbe eine rote Farbe, eine grüne Farbe und eine blaue Farbe enthalten; jede der Mehrzahl von CFA-Zellen 2*2 CFA-Blöcke in der Breiten- und Längenrichtung enthält, wobei die 2*2 CFA-Blöcke zwei grüne CFA-Blöcke, einen roten CFA-Block und einen blauen CFA-Block enthalten; und jeder der 2*2 CFA-Blöcke 4*4 Farbpixel enthält, und der Unterblock jedes der 2*2 CFA-Blöcke 2*2 Farbpixel enthält.
  18. Bildsensor nach Anspruch 17, wobei der äußere Bereich des roten CFA-Blocks ein blaues Pixel in einer Ecke des roten CFA-Blocks und elf rote Pixel enthält; und der äußere Bereich des blauen CFA-Blocks ein rotes Pixel in einer Ecke des blauen CFA-Blocks und elf blaue Pixel enthält.
  19. Bildsensor nach Anspruch 16, ferner einen Binning-Prozessor umfassend, der eingerichtet ist, um einen Binning-Prozess basierend auf Pixelwerten aus dem Pixelarray durchzuführen, wobei Signale von Farbpixeln, die eine gleiche Farbe in einem der Mehrzahl von CFA-Blöcken abtasten, während des Binning-Prozesses selektiv aufaddiert werden.
  20. Bildsensor nach Anspruch 16, ferner einen Binning-Prozessor umfassend, der eingerichtet ist, um einen Binning-Prozess basierend auf Pixelwerten aus dem Pixelarray durchzuführen, wobei Signale von Farbpixeln, die eine gleiche Farbe in einem der Mehrzahl von CFA-Blöcken und in mindestens einer Zeile eines benachbarten CFA-Blocks abtasten, während des Binning-Prozesses aufaddiert werden.
DE102021114098.6A 2020-06-15 2021-06-01 Pixelarray zur reduzierung des bildinformationsverlustes und bildsensor mit demselben Pending DE102021114098A1 (de)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2020-0072618 2020-06-15
KR20200072618 2020-06-15
KR1020210042232A KR20210155344A (ko) 2020-06-15 2021-03-31 영상 정보 손실을 감소하는 픽셀 어레이 및 이를 포함하는 이미지 센서
KR10-2021-0042232 2021-03-31

Publications (1)

Publication Number Publication Date
DE102021114098A1 true DE102021114098A1 (de) 2021-12-16

Family

ID=78718974

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021114098.6A Pending DE102021114098A1 (de) 2020-06-15 2021-06-01 Pixelarray zur reduzierung des bildinformationsverlustes und bildsensor mit demselben

Country Status (5)

Country Link
US (1) US11394935B2 (de)
JP (1) JP2021197740A (de)
CN (1) CN113810637A (de)
DE (1) DE102021114098A1 (de)
TW (1) TW202205845A (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230047839A (ko) 2021-10-01 2023-04-10 삼성전자주식회사 영상 정보 손실을 감소하는 픽셀 어레이 및 이를 포함하는 이미지 센서
JP2024024906A (ja) * 2022-08-10 2024-02-26 コニカミノルタ株式会社 画像読取装置、画像読取方法、画像読取プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200072618A (ko) 2018-12-12 2020-06-23 (주)삼기오토모티브 강도와 내마모성이 우수한 알루미늄 합금
KR20210042232A (ko) 2019-10-09 2021-04-19 박창식 스쿼트운동기구

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6714243B1 (en) * 1999-03-22 2004-03-30 Biomorphic Vlsi, Inc. Color filter pattern
US7633538B2 (en) * 2006-09-11 2009-12-15 Aptina Imaging Corporation Color filter device and method for eliminating or reducing non-uniform color error caused by asymmetric color cross-talk in image sensor devices
US7769230B2 (en) * 2006-11-30 2010-08-03 Eastman Kodak Company Producing low resolution images
KR20110040402A (ko) 2009-10-14 2011-04-20 삼성전자주식회사 필터 어레이, 이를 포함하는 이미지 센서, 및 신호 보간 방법
JP2011097541A (ja) * 2009-11-02 2011-05-12 Sony Corp 固体撮像素子、カメラシステム、固体撮像素子の読み出し方法、およびプログラム
KR101613973B1 (ko) * 2009-12-24 2016-04-21 삼성전자주식회사 컬러 필터 어레이
JP5621058B2 (ja) * 2011-12-27 2014-11-05 富士フイルム株式会社 カラー撮像素子
WO2014006930A1 (ja) 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子および撮像装置
WO2014007280A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子および撮像装置
JP5778873B2 (ja) 2012-12-07 2015-09-16 富士フイルム株式会社 画像処理装置、画像処理方法及びプログラム、並びに記録媒体
KR102178335B1 (ko) * 2014-01-02 2020-11-12 삼성전자주식회사 이미지 센서의 비닝 방법 및 이미지 센서
JP2015201724A (ja) 2014-04-07 2015-11-12 キヤノン株式会社 画像処理装置および画像処理方法
US9985063B2 (en) 2014-04-22 2018-05-29 Optiz, Inc. Imaging device with photo detectors and color filters arranged by color transmission characteristics and absorption coefficients
US9369681B1 (en) 2014-11-25 2016-06-14 Omnivision Technologies, Inc. RGBC color filter array patterns to minimize color aliasing
US9467665B1 (en) * 2015-06-29 2016-10-11 Omnivision Technologies, Inc. Color filter array patterns for reduction of color aliasing
US10666881B2 (en) * 2015-09-24 2020-05-26 Sony Semiconductor Solutions Corporation Solid-state image sensor and electronic device
US11463677B2 (en) 2017-07-13 2022-10-04 Samsung Electronics Co., Ltd. Image signal processor, image processing system and method of binning pixels in an image sensor
JP2019161577A (ja) 2018-03-16 2019-09-19 ソニーセミコンダクタソリューションズ株式会社 撮像装置、画素補正処理回路、及び、画素補正処理方法
GB2572571B (en) 2018-04-03 2021-09-01 Apical Ltd Image processing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200072618A (ko) 2018-12-12 2020-06-23 (주)삼기오토모티브 강도와 내마모성이 우수한 알루미늄 합금
KR20210042232A (ko) 2019-10-09 2021-04-19 박창식 스쿼트운동기구

Also Published As

Publication number Publication date
US11394935B2 (en) 2022-07-19
CN113810637A (zh) 2021-12-17
JP2021197740A (ja) 2021-12-27
US20210392303A1 (en) 2021-12-16
TW202205845A (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
DE10153378B4 (de) Photosensoranordnung
DE3615342C2 (de)
DE60031590T2 (de) Bildsensor
DE102021114098A1 (de) Pixelarray zur reduzierung des bildinformationsverlustes und bildsensor mit demselben
DE60312297T2 (de) Festkörper-Bildaufnahmevorrichtung mit breitem optischem Dynamikbereich
DE69729648T2 (de) Aktivpixelsensormatrix mit mehrfachauflösungsausgabe
DE112016004235T5 (de) Pixel mit hohem Dynamikbereich unter Verwendung von Lichttrennung
DE102010037436A1 (de) Bildsensor zum Abgeben eines RGB Bayer-Signals durch eine interne Umwandlungs- und Bildverarbeitungsvorrichtung mit demselben
DE112013003464B4 (de) Farbbildgebungselement und Bildgebungsvorrichtung
DE102017206442B4 (de) Vorrichtung zur Abbildung von Teilgesichtsfeldern, Multiaperturabbildungsvorrichtung und Verfahren zum Bereitstellen derselben
DE112010004288T5 (de) Optimierte Lichtleiteranordnung für einen Bildsensor
DE102005009622A1 (de) Bildsensor und zugehöriges Treiberverfahren
DE102010061350A1 (de) Komplementärer Metall-Oxid-Halbleiter-Bildsensor, Datenausleseverfahren davon und elektronisches System mit demselben
DE102013111712A1 (de) Bildverarbeitungs-Vorrichtung und Bildverarbeitungs-Verfahren
US11616934B2 (en) Image sensor
DE3304241A1 (de) Verfahren zum photoelektrischen abtasten eines originalbildes
DE102021117548A1 (de) Bildsensormodul, bildverarbeitungssystem, und bildkomprimierungsverfahren
DE102021117397A1 (de) Bildsensormodul, bildverarbeitungssystem und bildkomprimierverfahren
EP1013076B1 (de) Bildsensorelemente
DE102006014632A1 (de) Bildabtastvorrichtung
DE69830137T2 (de) Farbbildaufnahmegerät
WO2012084531A1 (de) Kamera mit einem farbbildsensor sowie aufnahmeverfahren mit einer solchen kamera
KR20230163951A (ko) 이미지 센서의 픽셀 어레이 및 이를 포함하는 이미지 처리 시스템
DE102021113883A1 (de) Bildsensor, elektronische vorrichtung, und betriebsverfahren eines bildsensors
EP1010332B1 (de) Lichtempfindliche sensoreinheit für eine elektronische kamera, mit einer flächigen anordnung von bildpunkten sowie verfahren zum auslesen der bildpunkte zur farbsignalverarbeitung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: H04N0005335000

Ipc: H04N0025000000