DE102021114150A1

DE102021114150A1 - Bildsensor und binning-verfahren dafür

Info

Publication number: DE102021114150A1
Application number: DE102021114150.8A
Authority: DE
Inventors: Chanyoung Jang; Hee Kang; Wooseok Choi
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2020-06-26
Filing date: 2021-06-01
Publication date: 2021-12-30
Also published as: US20210409623A1; JP2022008235A; CN113852769A; KR20220000761A; US11588988B2

Abstract

Das Binning-Verfahren eines Bildsensors enthält Auslesen einer Mehrzahl von Pixelsignalen aus mindestens zwei Zeilen jedes einer Mehrzahl von Bereichen eines Pixelarrays zu einer Zeit, wobei jeder der Mehrzahl von Bereichen eine Mehrzahl von Pixeln enthält, die in einer 2n×2n-Matrix angeordnet sind, wobei n eine ganze Zahl gleich oder größer als 2 ist; Erzeugen erster Bilddaten durch Durchführen einer Analog-Digital-Wandlung an der Mehrzahl von Pixelsignalen; Erzeugen, basierend auf den ersten Bilddaten, eines ersten Summationswertes von jedem einer Mehrzahl von Binning-Bereichen, basierend auf zwei Pixelwerten, die einer gleichen Farbe in jedem der Mehrzahl von Binning-Bereichen entsprechen, wobei die Mehrzahl von Binning-Bereichen der Mehrzahl von Bereichen des Pixelarrays entspricht; und Erzeugen eines zweiten Summationswertes von jedem von zwei Binning-Bereichen, basierend auf zwei ersten Summationswerten, die einer gleichen Farbe in den zwei Binning-Bereichen entsprechen, wobei die zwei Binning-Bereiche in einer Spaltenrichtung unter der Mehrzahl von Binning-Bereichen einander benachbart sind.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNG
Diese Anmeldung basiert auf und beansprucht die koreanische Patentanmeldung Nr. 10-2020-0078813 , die am 26. Juni 2020 beim koreanischen Amt für geistiges Eigentum eingereicht wurde und deren Offenbarung durch Verweis hierin in vollem Umfang enthalten ist.
HINTERGRUND
Beispielhafte Ausführungsformen der vorliegenden Offenbarung beziehen sich auf einen Bildsensor und insbesondere auf ein Binning-Verfahren eines Bildsensors und einen Bildsensor zur Durchführung des Verfahrens.
Mit der Erhöhung der Auflösung eines Bildsensors nimmt auch die Größe der vom Bildsensor erzeugten Bilddaten zu. Mit zunehmender Größe der von einem Bildsensor erzeugten Bilddaten ist es jedoch schwierig, eine hohe Framerate in einem Videomodus beizubehalten, und die Leistungsaufnahme steigt. Zum Beispiel kann die Framerate eine erreichbare Framerate sein, die auf der Bandbreite der Schaltungsschnittstelle und der Berechnungsbandbreite basiert, die mit der Vermeidung von Artefakten wie Zickzack-Artefakten oder Falschfarben bei der Änderung der Abtastrate zusammenhängt. Wenn die Anzahl der erforderlichen Berechnungen zur Vermeidung von Artefakten hoch ist und/oder die Bandbreite der Schaltungsschnittstelle nicht hoch ist, ist die erreichbare Framerate begrenzt und dies stellt ein Problem dar. Um die Framerate zu erhöhen und die Bildqualität beizubehalten, wird eine Binning-Technik verwendet.
KURZFASSUNG
Beispielhafte Ausführungsformen sehen ein Binning-Verfahren eines Bildsensors, durch das eine Framerate erhöht, eine Datengröße verringert und die Bildqualität beibehalten wird, sowie einen Bildsensor zur Durchführung des Verfahrens, vor.
Nach einem Aspekt einer Beispielausführungsform ist ein Binning-Verfahren eines Bildsensors vorgesehen. Das Binning-Verfahren enthält: Auslesen einer Mehrzahl von Pixelsignalen aus mindestens zwei Zeilen jedes einer Mehrzahl von Bereichen eines Pixelarrays zu einer Zeit, wobei jeder der Mehrzahl von Bereichen eine Mehrzahl von Pixeln enthält, die in einer 2n×2n-Matrix angeordnet sind, wobei n eine ganze Zahl gleich oder größer als 2 ist; Erzeugen erster Bilddaten durch Durchführen einer Analog-Digital-Wandlung an der Mehrzahl von Pixelsignalen; Erzeugen, basierend auf den ersten Bilddaten, eines ersten Summationswertes von jedem einer Mehrzahl von Binning-Bereichen, basierend auf zwei Pixelwerten, die einer gleichen Farbe in jedem der Mehrzahl von Binning-Bereichen entsprechen, wobei die Mehrzahl von Binning-Bereichen der Mehrzahl von Bereichen des Pixelarrays entspricht; und Erzeugen eines zweiten Summationswertes von jedem von zwei Binning-Bereichen, basierend auf zwei ersten Summationswerten, die einer gleichen Farbe in den zwei Binning-Bereichen entsprechen, wobei die zwei Binning-Bereiche in einer Spaltenrichtung unter der Mehrzahl von Binning-Bereichen einander benachbart sind.
Nach einem Aspekt einer Beispielsausführungsform ist ein Bildsensor vorgesehen, enthaltend ein Pixelarray, das in eine Mehrzahl von Bereichen, die eine viereckige Form aufweisen, unterteilt ist, wobei jeder Bereich der Mehrzahl von Bereichen Pixel enthält, die in einer 2n×2n-Matrix angeordnet sind, wobei n eine ganze Zahl gleich oder größer als 2 ist; eine Analog-Digital-Wandlerschaltung, die eingerichtet ist, um: eine Mehrzahl von Pixelsignalen auszulesen, und die Mehrzahl von Pixelsignalen in erste Bilddaten umzuwandeln, wobei die ersten Bilddaten eine Mehrzahl von Pixelwerten umfassen und die Mehrzahl von Pixelsignalen von dem Pixelarray über eine Mehrzahl von Spaltenleitungen empfangen werden; einen Zeilentreiber, der eingerichtet ist, um Steuersignale über eine Mehrzahl von Zeilenleitungen zuzuführen, die mit dem Pixelarray verbunden sind, wobei die Steuersignale eingerichtet sind, um Pixelsignale von mindestens zwei Zeilen des Pixelarrays zu steuern, die gleichzeitig ausgegeben werden sollen; einen Zeilenpuffer, der zum Speichern der ersten Bilddaten in bestimmten Zeileneinheiten eingerichtet ist; und einen Prozessor, der eingerichtet ist, um ein Binning an den im Zeilenpuffer gespeicherten ersten Bilddaten durchzuführen.
Nach einem Aspekt einer Beispielsausführungsform ist ein Bildverarbeitungssystem vorgesehen, enthaltend einen Bildsensor, der eingerichtet ist, um ein optisches Signal abzutasten und Bilddaten zu erzeugen; und einen ersten Prozessor, der eingerichtet ist, um die Bilddaten vom Bildsensor zu empfangen und zu verarbeiten, wobei der Bildsensor enthält: ein Pixelarray, das in eine Mehrzahl von Bereichen, die eine viereckige Form aufweisen, unterteilt ist, wobei jeder Bereich der Mehrzahl von Bereichen Pixel enthält, die in einer 4x4-Matrix angeordnet sind; eine Analog-Digital-Wandlerschaltung, die eingerichtet ist, um: eine Mehrzahl von Pixelsignalen auszulesen, und die Mehrzahl von Pixelsignalen in erste Bilddaten umzuwandeln, wobei die ersten Bilddaten eine Mehrzahl von Pixelwerten umfassen, wobei die Mehrzahl von Pixelsignalen von dem Pixelarray durch eine Mehrzahl von Spaltenleitungen empfangen wird; einen Zeilentreiber, der eingerichtet ist, um Steuersignale über eine Mehrzahl von Zeilenleitungen zuzuführen, die mit dem Pixelarray verbunden sind, wobei die Steuersignale eingerichtet sind, um Pixelsignale von mindestens zwei Zeilen des Pixelarrays zu steuern, die gleichzeitig ausgegeben werden sollen; einen Zeilenpuffer, der eingerichtet ist, um erste Bilddaten in bestimmten Zeileneinheiten zu speichern; und einen zweiten Prozessor, der eingerichtet ist, um ein Binning an den im Zeilenpuffer gespeicherten ersten Bilddaten durchzuführen.
Figurenliste
Ausführungsformen werden aus der folgenden detaillierten Beschreibung in Verbindung mit den beigefügten Zeichnungen deutlicher verstanden, in denen:

1 ist ein schematisches Blockdiagramm eines Bildsensors nach einer Beispielausführungsform;
2 veranschaulicht ein Beispiel für das Muster eines Pixelarrays in 1;
3A ist ein Ablaufdiagramm zur Veranschaulichung der vertikalen analogen Summierung und auch der Interpolation eines Bildsensors, nach einer Beispielsausführungsform;
3B ist ein Ablaufdiagramm eines Binning-Verfahrens eines Bildsensors, nach einer Beispielsausführungsform;
4A und 4B sind Diagramme zur Beschreibung eines Ausleseverfahrens nach einer Beispielsausführungsform;
5A, 5B und 5C sind schematische Darstellungen von ersten Bilddaten, die durch ein Ausleseverfahren erzeugt werden, nach einer Beispielsausführungsform;
6 veranschaulicht das erste Binning, das an jedem einer Mehrzahl von Binning-Bereichen der ersten Bilddaten auf der Grundlage von Pixelwerten in jedem Binning-Bereich in einem Binning-Verfahren nach einer Beispielausführungsform durchgeführt wird;
7 veranschaulicht eine Interpolation, die auf der Grundlage von Pixelwerten zweier benachbarter Binning-Bereiche in einem Binning-Verfahren durchgeführt wird, nach einer Beispielsausführungsform;
8 ist ein Ablaufdiagramm eines Binning-Verfahrens eines Bildsensors, nach einer Beispielsausführungsform;
9 ist ein Diagramm zur Beschreibung des zweiten Binnings, das in einem Binning-Verfahren auf ein grünes Pixel angewendet wird, nach einer Beispielausführungsform;
10 veranschaulicht ein Beispiel eines Pixels nach einer Beispielausführungsform;
11A veranschaulicht ein Pixelarray, das ein Tetramuster aufweist; 11B veranschaulicht ein Beispiel für die Anwendung eines Pixelarrays, das ein Tetramuster aufweist, auf einen Bildsensor nach einer Beispielsausführungsform;
12 zeigt ein Beispiel eines Pixels nach einer Beispielausführungsform;
13 ist ein Blockdiagramm einer elektronischen Vorrichtung, das ein Multikameramodul enthält, das einen Bildsensor verwendet, nach einer Beispielsausführungsform; und
14 ist ein detailliertes Blockdiagramm eines Kameramoduls aus 13.

DETAILLIERTE BESCHREIBUNG
Nachfolgend werden Ausführungsformen unter Bezugnahme auf die beigefügten Zeichnungen detailliert beschrieben.
1 ist ein schematisches Blockdiagramm eines Bildsensors nach einer Beispielausführungsform.
Ein Bildsensor 100 kann an einer elektronischen Vorrichtung, die eine Bild- oder optische Abtastfunktion aufweist, angebracht werden. Der Bildsensor 100 kann beispielsweise auf einer elektronischen Vorrichtung, wie z. B. einer Kamera, einem Smartphone, einer am Körper tragbaren Vorrichtung, einer Internet-of-Things (IoT)-Vorrichtung, einem Gerät, einem Tablet-PC, einem Personal Digital Assistant (PDA), einem tragbaren Multimedia-Player (PMP), einer Navigationsvorrichtung, einer Drohne oder einem fortschrittlichen Fahrerassistenzsystem (ADAS=Advanced Driver Assistance System) angebracht werden. Der Bildsensor 100 kann auch auf elektronischen Vorrichtungen montiert werden, die als Komponenten von Fahrzeugen, Möbeln, Fertigungsanlagen, Türen oder verschiedenen Arten von Messvorrichtungen verwendet werden.
Bezugnehmend auf 1 kann der Bildsensor 100 ein Pixelarray 110, einen Zeilentreiber 120, eine Analog-Digital-Wandler(ADC)-Schaltung 130, einen Rampensignalgenerator 140, einen Timing-Controller 150, einen Zeilenpuffer 160 und einen Prozessor 170 enthalten.
Das Pixelarray 110 kann eine Mehrzahl von Pixeln PX in einer Matrix und eine Mehrzahl von Zeilenleitungen RL und Spaltenleitungen CL enthalten, die mit den Pixeln PX verbunden sind.
Jedes der Pixel PX kann mindestens ein fotoelektrisches Wandlerelement (oder eine fotoempfindliche Vorrichtung) enthalten. Das fotoelektrische Wandlerelement kann Licht abtasten und das Licht in Fotoladung umwandeln. Beispielsweise kann das fotoelektrische Wandlerelement eine lichtempfindliche Vorrichtung enthalten, wie eine anorganische Fotodiode, eine organische Fotodiode, eine Perovskit-Fotodiode, einen Fototransistor, ein Fotogate oder eine gepinnte Fotodiode, die ein organisches oder anorganisches Material enthält. In einer Ausführungsform kann jedes der Pixel PX eine Mehrzahl von fotoelektrischen Wandlerelementen enthalten. Eine Mehrzahl von lichtempfindlichen Vorrichtungen kann in der gleichen Schicht angeordnet oder in vertikaler Richtung übereinandergestapelt sein.
Eine Mikrolinse zur Lichtsammlung kann über jedem der Pixel PX oder über einer Pixelgruppe mit benachbarten Pixeln PX vorgesehen sein. Jedes der Pixel PX kann Licht in einem bestimmten Spektrum von Licht abtasten, das durch die Mikrolinse empfangen wird. Beispielsweise kann die Pixelanordnung 110 ein rotes Pixel enthalten, das Licht in einem roten Spektrum in ein elektrisches Signal umwandelt, ein grünes Pixel, das Licht in einem grünen Spektrum in ein elektrisches Signal umwandelt, und ein blaues Pixel, das Licht in einem blauen Spektrum in ein elektrisches Signal umwandelt. Ein Farbfilter, der Licht in einem bestimmten Spektrum durchlässt, kann über jedem der Pixel PX vorgesehen sein. Die Ausführungsformen sind jedoch nicht darauf beschränkt, und die Pixelanordnung 110 kann Pixel enthalten, die Licht in anderen Spektren als dem roten, grünen und blauen Spektrum umwandeln.
In einer Ausführungsform können die Pixel PX eine mehrschichtige Struktur aufweisen. Jedes der Pixel PX, das eine Mehrschichtstruktur aufweist, kann gestapelte lichtempfindliche Vorrichtungen enthalten, die jeweils Licht in einem anderen Spektrum in ein elektrisches Signal umwandeln, so dass elektrische Signale, die verschiedenen Farben entsprechen, von den lichtempfindlichen Vorrichtungen erzeugt werden können. Mit anderen Worten, elektrische Signale, die verschiedenen Farben entsprechen, können von einem einzigen Pixel PX ausgegeben werden.
Das Pixelarray 110 kann ein Bayer-Muster aufweisen, bei dem ein erstes Pixel, ein zweites Pixel und ein drittes Pixel Signale unterschiedlicher Farben abtasten und wiederholt in Spalten- und Zeilenrichtung angeordnet sind.
2 zeigt ein Beispiel für das Muster des Pixelarrays 110 in 1.
Unter Bezugnahme auf 2 kann das Pixelarray 110 eine Mehrzahl von Pixeln PX enthalten, die in einer Zeilenrichtung (z. B. einer X-Achsenrichtung) und einer Spaltenrichtung (z. B. einer Y-Achsenrichtung) angeordnet sind, und die Mehrzahl von Pixeln PX kann rote Pixel PX_R, grüne Pixel PX_Gr und PX_Gb und blaue Pixel PX_B enthalten. In dem Pixelarray 110 wechseln sich Reihen, die ein rotes Pixel PX_R und ein grünes Pixel, z. B. ein erstes grünes Pixel PX_Gr, enthalten, mit Reihen ab, die ein anderes grünes Pixel, z. B. ein zweites grünes Pixel PX_Gb, und ein blaues Pixel PX_B enthalten; und grüne Pixel, z. B. das erste grüne Pixel PX_Gr und das zweite grüne Pixel PX_Gb, können in einer diagonalen Linie liegen. Ein grünes Pixel, z. B. das erste grüne Pixel PX_Gr oder das zweite grüne Pixel PX_Gb, ist eng auf die Luminanz bezogen und daher in jeder Zeile angeordnet; und das rote Pixel PX_R und das blaue Pixel PX_B sind abwechselnd in verschiedenen Zeilen angeordnet.
Dieses Muster kann als RGB-Bayer-Muster bezeichnet werden. Im Folgenden wird davon ausgegangen, dass das Pixelarray 110 das RGB-Bayer-Muster aufweist. Die Ausführungsformen sind jedoch nicht darauf beschränkt. Verschiedene Muster, die eine Struktur aufweisen, in der mindestens drei Farben von Pixeln wiederholt angeordnet sind und ein zweites Pixel, z. B. ein auf die Luminanz bezogenes Pixel, in jeder Reihe angeordnet ist und eine diagonale Linie mit einem anderen zweiten Pixel einer benachbarten Reihe bildet, können auf das Pixelarray 110 angewendet werden. Zum Beispiel kann ein RYYB-Muster mit einem roten Pixel, zwei gelben Pixeln und einem blauen Pixel auf das Pixelarray 110 angewendet werden.
Das Pixelarray 110 kann in eine Mehrzahl von Bereichen AR unterteilt sein. Jeder der Bereiche AR kann Pixel PX in einer 2n×2n-Matrix enthalten, wobei „n“ eine ganze Zahl von mindestens 2 ist. Zum Beispiel kann jeder der Bereiche AR Pixel PX in einer 4×4-Matrix enthalten. Zu diesem Zeitpunkt ist jeder der Bereiche AR eine Basiseinheit, auf die ein Ausleseverfahren angewendet wird, wenn der Bildsensor 100 in einem ersten Modus arbeitet, der nach einer Ausführungsform ein Binning durchführt. Die Bereiche AR können jeweils einer Mehrzahl von Binning-Bereichen von Bilddaten entsprechen, die auf der Grundlage von Auslesesignalen erzeugt werden. Entsprechend einem Ausleseverfahren einer Beispielausführungsform kann eine Mehrzahl von Pixelsignalen von mindestens zwei Zeilen in jedem der Bereiche AR gleichzeitig ausgelesen werden. Zum Beispiel kann eine Mehrzahl von Pixelsignalen von Pixeln von mindestens zwei Zeilen in einer einzigen horizontalen Zeitdauer ausgelesen werden. Ein Ausleseverfahren einer Beispielausführungsform wird unter Bezugnahme auf 4A bis 5B beschrieben.
Wenn der Bildsensor 100 in einem zweiten Modus arbeitet, z. B. in einem normalen Modus, in dem kein Binning durchgeführt wird, kann das Pixelarray 110 Pixelsignale sequentiell Zeile für Zeile auslesen.
Zurück zu 1 kann jede der Zeilenleitungen RL sich in einer Zeilenrichtung erstrecken und kann mit den Pixeln PX einer Zeile verbunden sein. Zum Beispiel kann jede der Zeilenleitungen RL Steuersignale vom Zeilentreiber 120 an eine Mehrzahl von Elementen, z. B. Transistoren, übertragen, die in jedem Pixel PX enthalten sind.
Jede der Spaltenleitungen CL kann sich in einer Spaltenrichtung erstrecken und kann mit Pixeln PX einer Spalte verbunden sein. Jede der Spaltenleitungen CL kann Pixelsignale, z.B. ein Rücksetzsignal und ein Abtastsignal, von den Pixeln PX jeder Zeile des Pixelarrays 110 an die ADC-Schaltung 130 übertragen. Wenn der Bildsensor 100, wie vorstehend beschrieben, im ersten Modus arbeitet, können einige der Spaltenleitungen CL Pixelsignale von mindestens zwei Zeilen gleichzeitig übertragen.
Der Timing-Controller 150 kann die Timings anderer Elemente, z. B. des Zeilentreibers 120, der ADC-Schaltung 130, des Rampensignalgenerators 140, des Zeilenpuffers 160 und des Prozessors 170, des Bildsensors 100 steuern. Der Timing-Controller 150 kann ein Timing-Signal vorsehen, das ein Betriebs-Timing für jeden der Zeilentreiber 120, die ADC-Schaltung 130, den Rampensignalgenerator 140, den Zeilenpuffer 160 und den Prozessor 170 angibt.
Unter der Steuerung des Timing-Controllers 150 kann der Zeilentreiber 120 Steuersignale zur Ansteuerung des Pixelarrays 110 erzeugen und die Steuersignale über die Zeilenleitungen RL an die Pixel PX des Pixelarrays 110 liefern. Der Zeilentreiber 120 kann eine Mehrzahl von Pixeln des Pixelarrays 110 steuern, um einfallendes Licht gleichzeitig oder zeilenweise abzutasten. Der Zeilentreiber 120 kann Pixel PX einer Zeile oder mindestens zweier Zeilen auswählen und die ausgewählten Pixel PX steuern, um Pixelsignale über die Spaltenleitungen CL auszugeben.
Der Rampensignalgenerator 140 kann ein Rampensignal RAMP erzeugen, das mit einer bestimmten Steigung ansteigt oder abfällt, und das Rampensignal RAMP der ADC-Schaltung 130 zuführen.
Die ADC-Schaltung 130 kann Pixelsignale empfangen, die aus Pixeln PX einer vom Zeilentreiber 120 aus einer Mehrzahl von Pixeln PX des Pixelarrays 110 ausgewählten Zeile ausgelesen werden, und die Pixelsignale in Pixelwerte umwandeln, die digitalen Daten entsprechen.
Die ADC-Schaltung 130 kann erste Bilddaten IDT1, z. B. Rohbilddaten, in Zeileneinheiten erzeugen und ausgeben, indem sie basierend auf dem Rampensignal RAMP von dem Rampensignalgenerator 140 Pixelsignale, die von dem Pixelarray 110 über die Spaltenleitungen CL empfangen werden, in digitale Daten umwandelt.
Die ADC-Schaltung 130 kann eine Mehrzahl von ADCs enthalten, die jeweils den Spaltenleitungen CL entsprechen. Jeder der ADCs kann ein Pixelsignal, das über eine entsprechende der Spaltenleitungen CL empfangen wird, mit dem Rampensignal RAMP vergleichen und einen Pixelwert basierend auf einem Vergleichsergebnis erzeugen. Beispielsweise kann ein ADC ein Rücksetzsignal aus einem Abtastsignal unter Verwendung von korrelierter Doppelabtastung (CDS) entfernen und einen Pixelwert erzeugen, der die von einem Pixel PX abgetastete Lichtmenge angibt.
Der Zeilenpuffer 160 kann eine Mehrzahl von Zeilenpuffern enthalten und eine Mehrzahl von Pixelwerten, die von der ADC-Schaltung 130 ausgegeben werden, in bestimmten Zeileneinheiten speichern. Mit anderen Worten, der Zeilenpuffer 160 kann die ersten Bilddaten IDT1, die von der ADC-Schaltung 130 ausgegeben werden, in bestimmten Zeileneinheiten speichern. Beispielsweise kann der Zeilenpuffer 160 drei Zeilenpuffer enthalten, die jeweils drei Zeilen des Pixelarrays 110 entsprechen, und eine Mehrzahl von Pixelwerten, die drei Zeilen der von der ADC-Schaltung 130 ausgegebenen ersten Bilddaten IDT1 entsprechen, in den drei Zeilenpuffern speichern.
Der Prozessor 170 kann eine Mehrzahl von Pixelwerten verarbeiten, die einer Mehrzahl von Zeilen der im Zeilenpuffer 160 gespeicherten ersten Bilddaten IDT1 entsprechen. Der Prozessor 170 kann an den ersten Bilddaten IDT1 in bestimmten Zeileneinheiten, die im Zeilenpuffer 160 gespeichert sind, eine Bildqualitätskompensation, ein Binning, eine Verkleinerung oder Ähnliches durchführen. Dementsprechend können die aus der Bildverarbeitung resultierenden Ausgabebilddaten OIDT erzeugt und in bestimmten Zeileneinheiten ausgegeben werden.
In einer Ausführungsform kann der Prozessor 170 die ersten Bilddaten IDT1 nach Farben verarbeiten. Wenn die ersten Bilddaten IDT1 zum Beispiel rote, grüne und blaue Pixelwerte enthalten, kann der Prozessor 170 die roten, grünen und blauen Pixelwerte parallel oder in Reihe verarbeiten. In einer Ausführungsform kann der Prozessor 170 eine Mehrzahl von Verarbeitungsschaltungen enthalten, um verschiedene Farben parallel zu verarbeiten. Die Ausführungsformen sind jedoch nicht darauf beschränkt, und ein einzelner Verarbeitungsschaltkreis kann wiederholt verwendet werden.
Der Prozessor 170 kann die Ausgabebilddaten OIDT, die eine reduzierte Datengröße aufweisen, erzeugen, indem er ein Binning-Verfahren nach einer nachstehend beschriebenen Beispielsausführungsform durchführt.
Die Ausgabebilddaten OIDT können an einen externen Prozessor, z. B. einen Anwendungsprozessor, ausgegeben werden. Der Anwendungsprozessor kann die Ausgabebilddaten OIDT speichern, eine Bildverarbeitung durchführen oder anzeigen. Siehe 13 und 14, die nachstehend beschrieben werden.
Nach einer Beispielausführungsform kann, wenn der Bildsensor 100 in einem ersten Betriebsmodus arbeitet, eine Mehrzahl von Pixelsignalen von mindestens zwei Zeilen gleichzeitig ausgelesen werden und einer analogen Summierung in einer vertikalen Richtung (z. B. der Spaltenrichtung) unterzogen werden. Entsprechend der analogen vertikalen Summierung werden mindestens zwei Zeilen gleichzeitig während einer einzigen horizontalen Zeitdauer ausgelesen, so dass eine Framerate um mindestens das Doppelte erhöht werden kann.
Die ersten Bilddaten IDT 1 können entsprechend der analogen vertikalen Summierung erzeugt werden, und der Prozessor 170 kann ein Binning durchführen, um die Ausgabebilddaten OIDT zu erzeugen. Dementsprechend kann die Größe der Ausgabebilddaten OIDT reduziert werden, und das Auftreten von Zickzack-Rauschen und Falschfarben, die durch eine Abtastfrequenzdifferenz verursacht werden, kann abnehmen, wodurch eine gute Bildqualität und eine hohe Framerate erreicht werden.
3A ist ein Ablaufdiagramm zur Veranschaulichung der vertikalen analogen Summierung und auch der Interpolation eines Bildsensors, nach einer Beispielsausführungsform. Das Binning-Verfahren von 3A kann durch den Bildsensor 100 von 1 durchgeführt werden.
In der Operation S010 erzeugen die Pixel eine Fotoladung. Für weitere Details siehe die nachstehende Diskussion von 12.
In der Operation S020 werden die Fotoladungen auf den Spaltenleitungen auf analoge Weise summiert. Zum Beispiel können Fotoladungen auf den Spaltenleitungen CL von 1 summiert werden. Das Ergebnis ist in 3A als IDT0 gekennzeichnet. Siehe auch 12.
In der Operation S030 werden die aus der Ladungssummierung resultierenden Spannungen durch Analog-Digital-Wandlung („ADC“) in digitale Werte umgewandelt. Diese digitalen Werte, die z. B. von der ADC-Schaltung 130 von 1 erzeugt werden, bilden das Bild IDT1 von 1. Siehe z. B. 4B und die nachstehende Diskussion.
In der Operation S040 werden Pixel aus IDT1 mit Hilfe von Gewichtungen interpoliert. Siehe z. B. 6 und die nachstehende Diskussion.
In der Operation S050 werden die resultierenden interpolierten digitalen Werte z. B. als Ausgabebilddaten OIDT von 1 ausgegeben.
3B ist ein Ablaufdiagramm eines Binning-Verfahrens eines Bildsensors, nach einer Beispielsausführungsform. Das Binning-Verfahren von 3B kann von dem Bildsensor 100 von 1 durchgeführt werden.
Unter Bezugnahme auf 1 bis 3B kann der Bildsensor 100 im Betrieb S110 gleichzeitig eine Mehrzahl von Pixelsignalen von mindestens zwei Zeilen in jedem der Bereiche AR des Pixelarrays 110 auslesen. Dementsprechend können, wie vorstehend beschrieben, mindestens zwei Pixelsignale, die von mindestens zwei Pixeln in mindestens zwei Zeilen und in einer Spalte ausgegeben werden, einer analogen Summierung unterzogen werden.
Der Bildsensor 100 kann die ersten Bilddaten IDT1 erzeugen, indem er eine Analog-Digital-Wandlung an den ausgelesenen Pixelsignalen in der Operation S120 durchführt. Zum Beispiel kann die ADC-Schaltung 130 die ersten Bilddaten IDT1 erzeugen, indem sie eine Analog-Digital-Wandlung an den über die Spaltenleitungen CL empfangenen Pixelsignalen durchführt. Danach kann ein digitales Binning durchgeführt werden.
Die ersten Bilddaten IDT1 können in eine Mehrzahl von Binning-Bereichen unterteilt sein. Der Bildsensor 100 kann ein erstes Binning an jedem der Binning-Bereiche der ersten Bilddaten IDT1 basierend auf den Pixelwerten jedes Binning-Bereichs in der Operation S130 durchführen. Der Bildsensor 100 kann eine gewichtete Summierung von Pixelwerten mit der gleichen Farbe in jedem Binning-Bereich durchführen. In der vorliegenden Offenlegung bedeutet gewichtete Summierung, dass auf jeden der Pixelwerte eine bestimmte Gewichtung angewendet werden kann und die gewichteten Werte summiert (oder summiert und gemittelt) werden können.
Der Bildsensor 100 kann in der Operation S140 eine Interpolation auf der Basis von Pixelwerten von zwei in Spaltenrichtung benachbarten Binning-Bereichen durchführen. Der Bildsensor 100 kann eine gewichtete Summierung der Pixelwerte durchführen, die in den beiden Binning-Bereichen die gleiche Farbe aufweisen.
Dementsprechend können in der Operation S150 zweite Bilddaten. Die eine kleinere Größe als die ersten Bilddaten IDT1 aufweisen, ausgegeben werden. Wenn zum Beispiel jeder Binning-Bereich Pixelwerte in einer 4x4-Matrix enthält, kann die Größe der zweiten Bilddaten 1/4 der Auflösung des Pixelarrays 110 entsprechen.
Ein Binning-Verfahren nach einer Beispielausführungsform wird nachfolgend unter Bezugnahme auf 4A bis 9 detailliert beschrieben.
4A und 4B sind Diagramme zur Beschreibung eines Ausleseverfahrens nach einer Beispielsausführungsform. 5A bis 5C sind schematische Darstellungen erster Bilddaten, die durch ein Ausleseverfahren nach einer Beispielausführungsform erzeugt werden.
4A und 4B zeigen eine Auslesung eines Bereichs AR des Pixelarrays 110. Der Bereich AR kann eine Mehrzahl von Pixeln PX in einer 4×4-Matrix enthalten.
Bezugnehmend auf 4A können eine erste Zeile Row1 und eine dritte Zeile Row3 während einer ersten horizontalen Zeitdauer gleichzeitig ausgelesen werden. Pixelsignale der ersten grünen Pixel Gr1 und Gr3 in einer ersten Spalte C1 können über eine erste Spaltenleitung CL1 ausgegeben werden, und Pixelsignale der roten Pixel R2 und R4 in einer vierten Spalte C4 können über eine vierte Spaltenleitung CL4 ausgegeben werden.
Wenn die Pixelsignale von zwei Pixeln, z. B. den ersten grünen Pixel Gr1 und Gr3, über die erste Spaltenleitung CL1 ausgegeben werden, können die Pixelsignale summiert werden. Wenn jedoch ein Pixelsignal von einem Pixel PX ausgegeben wird, kann das Pixel PX als Source-Folger arbeiten. Aufgrund des parasitären Widerstands des Pixels PX kann das Pixelsignal, das einen höheren Wert zwischen den Pixelsignalen der ersten grünen Pixel Gr1 und Gr3 aufweist, als Summationssignal, das den ersten grünen Pixeln Gr1 und Gr3 entspricht, über die erste Spaltenleitung CL1 der ADC-Schaltung 130 zugeführt werden.
Von den roten Pixeln R1 und R3 in einer zweiten Spalte C2 kann ein Pixelsignal des roten Pixels R1 in einem äußeren Bereich der Fläche AR über eine zweite Spaltenleitung CL2 ausgegeben werden. Unter den ersten grünen Pixeln Gr2 und Gr4 in einer dritten Spalte C3 kann ein Pixelsignal des ersten grünen Pixels Gr2 in einem äußeren Bereich des Bereichs AR über eine dritte Spaltenleitung CL3 ausgegeben werden. Mit anderen Worten, in jeder der zweiten und dritten Spalten C2 und C3 kann ein Pixelsignal eines Pixels in einem relativ äußeren Bereich unter Pixeln mit der gleichen Farbe in der ersten und dritten Zeile Row1 und Row3 ausgelesen werden. Pixelsignale von Pixeln in einem relativ inneren Bereich können nicht ausgelesen werden.
Die ADC-Schaltung 130 kann die Pixelsignale in digitale Werte, z. B. in die Pixelwerte PGr13, PR1, PGr2 und PR24, umwandeln. In einer Ausführungsform können die während der ersten horizontalen Zeitdauer erzeugten Pixelwerte PGr13, PR1, PGr2 und PR24 in einem Zeilenpuffer, z. B. einem ersten Zeilenspeicher LM1 des Zeilenpuffers 160, gespeichert werden und einen Teil der ersten Bilddaten IDT1 bilden. Die Pixelwerte PGr13, PR1, PGr2 und PR24 entsprechen jedoch möglicherweise nicht der gleichen Zeile der ersten Bilddaten IDT1.
Bezugnehmend auf 4B können eine zweite Zeile Row2 und eine vierte Zeile Row4 während einer zweiten horizontalen Zeitdauer, die auf die erste horizontale Zeitdauer folgt, gleichzeitig ausgelesen werden. Die Pixelsignale der blauen Pixel B1 und B3 in der ersten Spalte C1 können über die erste Spaltenleitung CL1 ausgegeben werden, und die Pixelsignale der zweiten grünen Pixel Gb2 und Gb4 in der vierten Spalte C4 können über die vierte Spaltenleitung CL4 ausgegeben werden. Zu diesem Zeitpunkt können, wie vorstehend unter Bezugnahme auf 4A beschrieben, zwei Pixelsignale, die über dieselbe Spaltenleitung ausgegeben werden, summiert werden, und ein Summationssignal kann der ADC-Schaltung 130 zugeführt werden.
Von den zweiten grünen Pixeln Gb1 und Gb3 in der zweiten Spalte C2 kann ein Pixelsignal des zweiten grünen Pixels Gb3 in einem äußeren Bereich des Bereichs AR über die zweite Spaltenleitung CL2 ausgegeben werden. Unter den blauen Pixeln B2 und B4 in der dritten Spalte C3 kann ein Pixelsignal des blauen Pixels B4 in einem äußeren Bereich des Bereichs AR über die dritte Spaltenleitung CL3 ausgegeben werden.
Die ADC-Schaltung 130 kann die Pixelsignale in digitale Werte, z. B. in die Pixelwerte PB13, PGb3, PB4 und PGb24, umwandeln. In einer Ausführungsform können die während der zweiten horizontalen Zeitdauer erzeugten Pixelwerte PB13, PGb3, PB4 und PGb24 in einem Zeilenspeicher, z. B. einem zweiten Zeilenspeicher LM2 des Zeilenpuffers 160, gespeichert werden und einen Teil der ersten Bilddaten IDT1 bilden. In einer Ausführungsform können die Pixelwerte PGr13, PR1, PGr2 und PR24, die während der ersten horizontalen Zeitdauer erzeugt wurden, von dem ersten Zeilenspeicher LM1 zu dem zweiten Zeilenspeicher LM2 wandern, und die Pixelwerte PB13, PGb3, PB4 und PGb24, die während der zweiten horizontalen Zeitdauer erzeugt wurden, können in dem ersten Zeilenspeicher LM1 gespeichert werden. Der Zeilenpuffer 160 kann auch einen dritten Zeilenpuffer, LM3, enthalten, der in ähnlicher Weise wie LM2 und LM1 verwendet wird, wie es vorstehend für LM1 und LM2 beschrieben wurde.
Bezugnehmend auf 5A können die im ersten Zeilenspeicher LM1 gespeicherten Pixelwerte PGr13, PR1, PGr2 und PR24 die erste Zeile Row1 und die zweite Zeile Row2 in einem Binning-Bereich BA der ersten Bilddaten IDT1 bilden. Jeder der Pixelwerte PGr13 und PR24 ist die Summe (oder der Mittelwert) der Pixelsignale von zwei Pixeln (z.B. den ersten grünen Pixeln Gr1 und Gr3 oder den roten Pixeln R2 und R4 in 4A) in der ersten bzw. dritten Reihe Row1 und Row3 des Bereichs AR des Pixelarrays 110 und kann somit einen Pixelwert einer Abtastposition darstellen, die einem Mittelpunkt zwischen den beiden Pixeln entspricht. Die Pixelwerte PR1 und PGr2 können jeweils Pixelwerte an den Positionen der entsprechenden Pixel, d. h. des roten Pixels R1 und des ersten grünen Pixels Gr2 in 4A, darstellen.
Bezugnehmend auf 5B können die im zweiten Zeilenspeicher LM2 gespeicherten Pixelwerte PB13, PGb3, PB4 und PGb24 die dritte Zeile Row3 und die vierte Zeile Row4 im Binning-Bereich BA der ersten Bilddaten IDT1 bilden. Jeder der Pixelwerte PB13 und PGb24 ist die Summe (oder der Mittelwert) der Pixelsignale von zwei Pixeln (z.B. die blauen Pixel B1 und B3 oder die zweiten grünen Pixel Gb2 und Gb4 in 4B) in der zweiten bzw. vierten Reihe Row2 und Row4 des Bereichs AR des Pixelarrays 110 und kann somit einen Pixelwert einer Abtastposition darstellen, die einem Mittelpunkt zwischen den beiden Pixeln entspricht. Die Pixelwerte PGb3 und PB4 können jeweils Pixelwerte an den Positionen der entsprechenden Pixel darstellen, d. h. des zweiten grünen Pixels Gb3 und des blauen Pixels B4 in 4B.
Wenn das Auslesen des Bereichs AR des Pixelarrays 110 nach einer Beispielausführungsform durchgeführt wird, können die Pixelwerte des Binning-Bereichs BA der ersten Bilddaten IDT1 bestimmt werden, wie in 5C gezeigt.
6 veranschaulicht das erste Binning, das an jedem einer Mehrzahl von Binning-Bereichen der ersten Bilddaten auf der Grundlage von Pixelwerten in jedem Binning-Bereich in einem Binning-Verfahren nach einer Beispielausführungsform durchgeführt wird.
Bezugnehmend auf 6 kann das erste Binning durch Summieren von Pixelwerten durchgeführt werden, die der gleichen Farbe im Binning-Bereich BA entsprechen.
Zum Beispiel kann ein Pixelwert, der einer Abtastposition S11 entspricht, durch Summieren der Pixelwerte PGr13 und PGr2, die einer ersten grünen Farbe entsprechen, berechnet werden. Zu diesem Zeitpunkt kann eine voreingestellte Gewichtung auf jeden der Pixelwerte PGr13 und PGr2 angewendet werden, und die gewichteten Werte können summiert werden. Die Gewichtungen können unter Berücksichtigung der Abtastpositionen voreingestellt werden. Mit anderen Worten, die Gewichtungen können so eingestellt werden, dass sich die Summe der gewichteten Werte an der Abtastposition S11 befindet. Wenn z. B. der Abstand zwischen den Mittelpunkten der Pixel, die durch die Pixelwerte PGr13 und PGr2 repräsentiert werden, 10 beträgt und die Abtastposition S11 sich in einem Abstand von 3 vom Pixelwert PGr13 befindet, kann das Verhältnis der Gewichtungen, die jeweils auf die Pixelwerte PGr13 und PGr2 angewendet werden, 7:3 betragen. Mit anderen Worten kann dem Pixelwert PGr13 eine höhere Gewichtung zugewiesen werden.
Auf die gleiche Weise können Gewichtungen auf Pixelwerte angewendet werden, die der gleichen Farbe entsprechen, so dass sich die Farbe an einer Abtastposition S12, S13 oder S14 befindet, und die gewichteten Werte können summiert werden. Folglich können die Pixelwerte PGr_b, PR_b, PB_b und PGb b, die jeweils den Abtastpositionen S11, S12, S13 und S14 entsprechen, berechnet werden.
7 veranschaulicht eine Interpolation, die auf der Grundlage von Pixelwerten zweier benachbarter Binning-Bereiche in einem Binning-Verfahren nach einer Beispielsausführungsform durchgeführt wird.
Bezugnehmend auf 7 können die ersten Bilddaten IDT1 eine Mehrzahl von Binning-Bereichen BAn-1, BAn und BAn+1 enthalten. An den Binning-Bereichen BAn-1, BAn und BAn+1 kann eine Interpolation durchgeführt werden, so dass Pixelwerte PGr_t, PR_t, PB_t und PGb_t erzeugt werden können, die jeweils den Zielabtastpositionen TS1, TS2, TS3 und TS4 entsprechen.
Die Erzeugung von Pixelwerten, die den Zielabtastpositionen im Binning-Bereich BAn entsprechen, wird beispielhaft beschrieben. Wie in 6 beschrieben, werden die Pixelwerte PGr_b, PR_b, PB_b und PGb_b, die den Abtastpositionen S11, S12, S13 und S14 entsprechen, im Binning-Bereich BAn berechnet, und jeder der Pixelwerte PGr_b, PR_b, PB_b und PGb b kann zu einem Pixelwert addiert werden, der einem nächstgelegenen Pixel unter den Pixelwerten der gleichen Farbe in den benachbarten Binning-Bereichen BAn-1 und BAn+1 entspricht. Auf jeden der Pixelwerte kann eine Gewichtung angewendet werden. Die Gewichtung kann unter Berücksichtigung einer Position jedes Pixelwerts und einer Zielabtastposition festgelegt werden. Je geringer der Abstand zwischen einer Position, die einem Pixelwert entspricht, und einer Zielabtastposition ist, desto größer kann eine Gewichtung sein. Wie vorstehend beschrieben, können die Pixelwerte PGr_t, PR_t, PB_t und PGb t, die jeweils den Zielabtastpositionen TS1, TS2, TS3 und TS4 im Binning-Bereich BAn entsprechen, durch Interpolation berechnet werden.
Durch analoge vertikale Summierung und Binning von Auslesungen aus einer Mehrzahl von Pixeln PX in einer 4×4-Matrix, können zweite Bilddaten IDT2 mit Pixelwerten in einer 2×2-Matrix generiert werden. Siehe den rechten Teil von 7.
8 ist ein Ablaufdiagramm eines Binning-Verfahrens eines Bildsensors, nach einer Beispielsausführungsform. Das Binning-Verfahren von 8 kann von dem Bildsensor 100 von 1 durchgeführt werden. Die Operationen S210, S220, S230 und S240 sind die gleichen wie die Operationen S110, S120, S130 und S140 in 3B. Redundante Beschreibungen werden daher weggelassen.
Nachdem die ersten Bilddaten IDT1 in der Operation S220 erzeugt wurden, kann der Bildsensor 100 in der Operation S250 ein zweites Binning für grüne Pixel durchführen. Der Bildsensor 100 kann mindestens zwei grüne Pixelwerte in jedem einer Mehrzahl von Binning-Bereichen der ersten Bilddaten IDT1 und einen grünen Pixelwert in einem benachbarten Binning-Bereich summieren. Beispielsweise kann der benachbarte Binning-Bereich jedem Binning-Bereich in Spaltenrichtung benachbart sein. Auf jeden Pixelwert kann unter Berücksichtigung einer Abtastposition eine Gewichtung angewendet werden, und die gewichteten Werte können summiert werden. Das zweite Binning wird unter Bezugnahme auf 9 im Detail beschrieben.
9 ist ein Diagramm zur Beschreibung des zweiten Binnings, das in einem Binning-Verfahren auf ein grünes Pixel angewendet wird, nach einer Beispielausführungsform.
Bezugnehmend auf 9 können der Binning-Bereich BAn und der Binning-Bereich BAn-1 in Spaltenrichtung am nächsten zueinander liegen.
Die Pixelwerte PGr13 und PGr2, die ersten grünen Pixeln im Binning-Bereich BAn entsprechen, und der Pixelwert PGb3, der einem zweiten grünen Pixel im Binning-Bereich BAn-1 entspricht, das den ersten grünen Pixeln im Binning-Bereich BAn am nächsten liegt, können summiert werden. Zu diesem Zeitpunkt kann auf jeden der Pixelwerte PGr13, PGr2 und PGb3 eine Gewichtung angewendet werden, so dass sich ein Summationswert an der ersten Zielabtastposition TS1 befindet, und die gewichteten Werte können summiert werden. Dementsprechend kann ein Pixelwert PGr_t' eines grünen Pixels, der der ersten Zielabtastposition TS 1 entspricht, erzeugt werden. In ähnlicher Weise kann ein Pixelwert PGb_t' eines grünen Pixels erzeugt werden, der der zweiten Zielabtastposition TS2 entspricht. Auf diese Weise werden Pixelwerte von grünen Pixeln an Zielabtastpositionen, die grünen Pixeln des Binning-Bereichs BAn entsprechen, bestimmt, und dementsprechend können dritte Bilddaten IDT3, die die Pixelwerte grüner Pixel enthalten, erzeugt werden.
Während der in der Operation S240 durchgeführten Interpolation sind die zu summierenden Pixelwerte weit voneinander entfernt, wie in 7 gezeigt. Nach dem zweiten Binning können jedoch ein Pixelwert eines grünen Pixels, das dem Binning-Bereich BAn am nächsten ist, und Pixelwerte grüner Pixel im Binning-Bereich BAn summiert werden. Daher kann das Binning auf Basis von Pixelwerten durchgeführt werden, den benachbarten Pixeln entsprechen.
Zurück zu 8 können die zweiten Bilddaten und die dritten Bilddaten basierend auf einer Pixelwertdifferenz zwischen einem ersten grünen Pixel und einem zweiten grünen Pixel in der Operation S270 miteinander verschmolzen werden. Wie vorstehend beschrieben, können die dritten Bilddaten Pixelwerte von grünen Pixeln enthalten. Dementsprechend können die Pixelwerte der grünen Pixel der zweiten Bilddaten mit den Pixelwerten der grünen Pixel der dritten Bilddaten zusammengeführt werden. Bei Vorgang S280 werden die zusammengeführten Bilddaten ausgegeben.
Zu diesem Zeitpunkt können die zweiten Bilddaten und die dritten Bilddaten miteinander verschmolzen werden, basierend auf einer Differenz zwischen den Pixelwerten, die den zwei am meisten benachbarten Pixeln unter den Pixelwerten der ersten und zweiten grünen Pixel entsprechen, die während des zweiten Binnings verwendet wurden.
Wenn beispielsweise die Differenz zwischen den Pixelwerten kleiner als ein erster Referenzwert ist, d. h. wenn die Differenz zwischen den Pixelwerten sehr klein ist, können die Pixelwerte der grünen Pixel der dritten Bilddaten in die Ausgabebilddaten übernommen werden. Mit anderen Worten, die Pixelwerte der roten und blauen Pixel der zweiten Bilddaten und die Pixelwerte der grünen Pixel der dritten Bilddaten können in die Ausgabebilddaten übernommen werden. Wenn die Differenz zwischen den Pixelwerten einen zweiten Referenzwert überschreitet, d. h. wenn die Differenz zwischen den Pixelwerten sehr groß ist, können die zweiten Bilddaten als Ausgabebilddaten ausgewählt werden. Mit anderen Worten, die grünen Pixelwerte der dritten Bilddaten können nicht in den Ausgabebilddaten enthalten sein.
Der Vergleich von Differenzen mit Schwellenwerten liefert einen nichtlinearen Schritt, der nützlich ist, um Artefakte wie Zickzack-Artefakte und Falschfarben-Artefakte zu reduzieren.
Andernfalls, wenn die Differenz zwischen Pixelwerten größer oder gleich dem ersten Referenzwert und kleiner als der zweite Referenzwert ist, kann die Differenz basierend auf dem ersten Referenzwert und dem zweiten Referenzwert in einen Wert kleiner oder gleich 1 umgewandelt werden, eine Gewichtung kann auf jede der zweiten Bilddaten und der dritten Bilddaten basierend auf dem Wert, der sich aus der Umwandlung ergibt, angewendet werden, und gewichtete Werte können summiert werden. Wenn beispielsweise die Differenz zwischen den Pixelwerten in einen Wert von 0,6 umgewandelt wird, kann eine Gewichtung von 0,4 auf die Pixelwerte der grünen Pixel der zweiten Bilddaten und eine Gewichtung von 0,6 auf die Pixelwerte der grünen Pixel der dritten Bilddaten angewendet werden, und die gewichteten Werte können summiert werden. Basierend auf der Summierung der Pixelwerte für grüne Pixel und der Pixelwerte für rote und blaue Pixel der zweiten Bilddaten können die Ausgabebilddaten erzeugt werden.
10 veranschaulicht ein Beispiel eines Pixels nach einer Beispielausführungsform.
Bezugnehmend auf 10 kann ein Pixel PX ein fotoelektrisches Wandlerelement 11 und eine Pixelschaltung 12 enthalten. Die Pixelschaltung 12 kann eine Mehrzahl von Transistoren enthalten, z. B. einen von einem Signal TS gesteuerten Übertragungstransistor TX, einen Rücksetztransistor RX, einen Ansteuertransistor DX und einen Auswahltransistor SX
Das fotoelektrische Wandlerelement 11 kann eine Fotodiode enthalten. Die Fotodiode kann eine Fotoladung erzeugen, die mit der Intensität des einfallenden Lichts variiert. Der Transfertransistor TX kann die Fotoladung zu einem schwebenden Diffusionsknoten (Floating-Diffusionsknoten) FD entsprechend einem Transfersteuersignal TS übertragen, das von dem Zeilentreiber 120 (in 1) zugeführt wird. Der Treibertransistor DX kann eine Spannung verstärken, die der im schwebenden Diffusionsknoten FD akkumulierten Fotoladung entspricht. Der Treibertransistor DX kann als Source-Folger arbeiten. Wenn ein Drainknoten des Auswahltransistors SX mit einem Sourceknoten des Treibertransistors DX verbunden ist und der Auswahltransistor SX als Reaktion auf ein vom Zeilentreiber 120 ausgegebenes Auswahlsignal SEL eingeschaltet wird, kann ein Pixelsignal APS, das einem Spannungspegel des schwebenden Diffusionsknotens FD entspricht, an eine mit dem Pixel PX verbundene Spaltenleitung CL ausgegeben werden. Der Rücksetztransistor RX kann als Reaktion auf ein vom Zeilentreiber 120 zugeführtes Rücksetzsignal RS den schwebenden Diffusionsknoten FD basierend auf einer Versorgungsspannung VDD zurücksetzen.
Wie vorstehend unter Bezugnahme auf 4A und 4B beschrieben, können mindestens zwei Zeilen des Pixelarrays 110 ausgelesen werden. Zu diesem Zeitpunkt werden die Pixel in einem zentralen Abschnitt eines Bereichs AR des Pixelarrays 110 nicht ausgelesen. Dementsprechend können beim gleichzeitigen Auslesen von zwei Zeilen die Pixel im mittleren Bereich nicht ausgewählt werden. Die auszulesenden Pixel können als Reaktion auf ein erstes Auswahlsignal SEL1 mit einem aktiven Pegel mit der Spaltenleitung CL verbunden werden, und die nicht auszulesenden Pixel können als Reaktion auf ein zweites Auswahlsignal SEL2 mit einem inaktiven Pegel von der Spaltenleitung CL getrennt werden. Dementsprechend kann ein Pixelsignal jedes Pixels selektiv ausgegeben oder nicht ausgegeben werden, obwohl sich die Pixel in der gleichen Zeile befinden.
11A veranschaulicht ein Pixelarray, das ein Tetramuster aufweist. 11B zeigt ein Beispiel für die Anwendung eines Pixelarrays mit einem Tetra-Muster auf einem Bildsensor nach einer Beispielausführungsform.
Bezugnehmend auf 11A weist ein Pixelarray 110a ein Tetra-Muster auf. Rote Pixel PX_R können in einer 2x2-Matrix angeordnet sein, erste grüne Pixel PX_Gr können in einer 2x2-Matrix angeordnet sein, zweite grüne Pixel PX_Gb können in einer 2×2-Matrix angeordnet sein, und blaue Pixel PX_B können in einer 2x2-Matrix angeordnet sein. Dieses Muster kann in einer Matrix wiederholt werden. Ein solches Muster kann als Quad-Bayer-Muster bezeichnet werden.
In einem Beispiel können die Pixel in einer 2×2-Matrix, wie in 12 gezeigt, jeweils ein fotoelektrisches Wandlerelement enthalten und sich einen schwebenden Diffusionsknoten und eine Pixelschaltung miteinander teilen. Dementsprechend können, wie in 11B gezeigt, die Pixel in einer 2×2-Matrix als ein einziges großes Pixel arbeiten, z. B. PX_R1, PX_Gr1, PX_Gb1 oder PX_B1. Große Pixel können ein Bayer-Muster bilden. Dementsprechend kann das Binning-Verfahren nach dem Ausführungsbeispiel, wie vorstehend beschrieben, angewendet werden. Die erste Reihe Row1 und die dritte Reihe Row3 können gleichzeitig während der ersten horizontalen Zeitdauer ausgelesen werden, und die zweite Reihe Row2 und die vierte Reihe Row4 können gleichzeitig während der zweiten horizontalen Zeitdauer ausgelesen werden.
12 veranschaulicht ein Beispiel eines Pixels nach einer Beispielausführungsform.
Bezugnehmend auf 12 kann ein Pixel PXa eine Mehrzahl von fotoelektrischen Wandlerelementen 22a, 22b, 22c und 22d und eine Pixelschaltung 12 enthalten. Beispielsweise kann das Pixel PXa vier fotoelektrische Wandlerelemente 22a, 22b, 22c und 22d enthalten. In einigen Ausführungsformen können die fotoelektrischen Wandlerelemente 22a, 22b, 22c und 22d jeweils Fotodioden PD1A, PD1B, PD1C und PD1D enthalten. Über jedem der fotoelektrischen Wandlerelemente 22a, 22b, 22c und 22d kann eine Mikrolinse angeordnet sein. Dementsprechend kann eine Kombination aus einer Mikrolinse und einem fotoelektrischen Wandlerelement als ein einzelnes Pixel bezeichnet werden, und daher kann das Pixel PXa von 12 als vier Pixel betrachtet werden.
Die Pixelschaltung 12 kann vier Transfertransistoren TX1 bis TX4 enthalten, die jeweils mit den fotoelektrischen Wandlerelementen 22a, 22b, 22c und 22d verbunden sind, einen Rücksetztransistor RX1, einen Treibertransistor DX1 und einen Auswahltransistor SX1.
Ein potentialfreier Diffusionsknoten FD 1 kann von den vier fotoelektrischen Wandlerelementen 22a, 22b, 22c und 22d und den vier Transfertransistoren TX1 bis TX4 gemeinsam genutzt werden. Der Rücksetztransistor RX1 kann in Reaktion auf das Rücksetzsignal RS1 eingeschaltet werden, um den potentialfreien Diffusionsknoten FD1 mit der Versorgungsspannung VDD zurückzusetzen. Jeder der Transfertransistoren TX1 bis TX4 kann eine entsprechende der Fotodioden PD1A, PD1B, PD1C und PD1D mit dem potentialfreien Diffusionsknoten FD1 entsprechend einer Spannung eines entsprechenden der Transfergates TG1, TG2, TG3 und TG4 verbinden oder von diesem trennen.
Licht, das auf jede der Fotodioden PD1A, PD1B, PD1C und PD1D einfällt, kann darin durch fotoelektrische Umwandlung als Ladungen akkumuliert werden. Wenn die in jeder der Fotodioden PD1A, PD1B, PD1C und PD1D akkumulierten Ladungen an den potentialfreien Diffusionsknoten FD1 übertragen werden, können die Ladungen als eine erste analoge Spannung V1 out über den Treibertransistor DX1 und den Auswahltransistor SX1 ausgegeben werden. Die erste Analogspannung V1out, die einer Spannungsänderung im erdfreien Diffusionsknoten FD1 entspricht, kann an eine externe Ausleseschaltung (nicht dargestellt) übertragen werden.
Das Pixel PXa kann auf das Pixelarray 110a von 11A angewendet werden. Beispielsweise können die vier fotoelektrischen Wandlerelemente 22a, 22b, 22c und 22d des Pixels PXa jeweils Pixeln in einer 2x2-Matrix entsprechen. Mit anderen Worten, die Pixel in einer 2x2-Matrix können sich den potentialfreien Diffusionsknoten FD1 teilen, wie das Pixel PXa in 12. Wenn die Transfertransistoren TX1 bis TX4 gleichzeitig ein- oder ausgeschaltet sind, können die Pixel in einer 2x2-Matrix als ein einziges großes Pixel arbeiten, wie in 11B gezeigt. In einer Ausführungsform können, wenn das Pixel PXa als großes Pixel arbeitet, nur einige der Transfertransistoren TX1 bis TX4 ein- oder ausgeschaltet werden, während die anderen der Transfertransistoren TX1 bis TX4 ausgeschaltet bleiben.
13 ist ein Blockdiagramm einer elektronischen Vorrichtung mit einem Multikameramodul, das einen Bildsensor verwendet, nach einer Beispielsausführungsform. 14 ist ein detailliertes Blockdiagramm eines Kameramoduls in 13.
Bezugnehmend auf 13 kann eine elektronische Vorrichtung 1000 eine Kameramodulgruppe 1100, einen Anwendungsprozessor 1200, eine integrierte Schaltung zur Energieverwaltung (PMIC) 1300 und einen externen Speicher 1400 enthalten.
Die Kameramodulgruppe 1100 kann eine Mehrzahl von Kameramodulen 1100a, 1100b und 1100c enthalten. Obwohl in 13 drei Kameramodule 1100a, 1100b und 1100c dargestellt sind, sind die Ausführungsformen nicht darauf beschränkt. In einigen Ausführungsformen kann die Kameramodulgruppe 1100 so modifiziert werden, dass sie nur zwei Kameramodule enthält. In einigen Ausführungsformen kann die Kameramodulgruppe 1100 so modifiziert werden, dass sie „n“ Kameramodule enthält, wobei „n“ eine natürliche Zahl von mindestens 4 ist.
Der detaillierte Aufbau des Kameramoduls 1100b wird im Folgenden unter Bezugnahme auf 14 beschrieben. Die nachfolgenden Beschreibungen können auch auf die anderen Kameramodule 1100a und 1100c angewendet werden.
Bezugnehmend auf 14 kann das Kameramodul 1100b ein Prisma 1105, ein optisches Pfadfaltelement (OPFE) 1110, einen Aktuator 1130, eine Bildabtastvorrichtung 1140 und einen Speicher 1150 enthalten.
Das Prisma 1105 kann eine reflektierende Oberfläche 1107 aus einem lichtreflektierenden Material enthalten und kann den Weg des von außen einfallenden Lichts L ändern.
In einigen Ausführungsformen kann das Prisma 1105 den Weg des Lichts L, das in einer ersten Richtung X einfällt, in eine zweite Richtung Y senkrecht zur ersten Richtung X ändern. Das Prisma 1105 kann die reflektierende Oberfläche 1107 des lichtreflektierenden Materials in einer Richtung A um eine zentrale Welle 1106 drehen oder die zentrale Welle 1106 in einer Richtung B drehen, so dass der Weg des in der ersten Richtung X einfallenden Lichts in die zweite Richtung Y senkrecht zur ersten Richtung X geändert wird. Zu diesem Zeitpunkt kann sich das OPFE 1110 in einer dritten Richtung Z bewegen, die senkrecht zur ersten und zweiten Richtung X und Y ist.
In einigen Ausführungsformen kann ein maximaler Drehwinkel des Prismas 1105 in A-Richtung kleiner oder gleich 15 Grad in einer Plus- (+) A-Richtung und größer als 15 Grad in einer Minus- (-) A-Richtung sein, aber Ausführungsformen sind darauf nicht beschränkt.
In einigen Ausführungsformen kann sich das Prisma 1105 um einen Winkel von etwa 20 Grad oder in einem Bereich von etwa 10 Grad bis etwa 20 Grad oder von etwa 15 Grad bis etwa 20 Grad in eine Plus- oder Minus-B-Richtung bewegen. Zu diesem Zeitpunkt kann ein Winkel, um den sich das Prisma 1105 in die Plus-B-Richtung bewegt, innerhalb einer Differenz von etwa 1 Grad gleich oder ähnlich wie ein Winkel sein, um den sich das Prisma 1105 in die Minus-B-Richtung bewegt.
In einigen Ausführungsformen kann das Prisma 1105 die reflektierende Oberfläche 1107 des lichtreflektierenden Materials in der dritten Richtung Z parallel zu einer Erstreckungsrichtung der Mittelwelle 1106 bewegen.
Das OPFE 1110 kann z. B. „m“ optische Linsen enthalten, wobei „m“ eine natürliche Zahl ist. Die „m“ Linsen können sich in der zweiten Richtung Y bewegen und einen optischen Zoomfaktor des Kameramoduls 1100b ändern. Wenn z. B. das optische Standard-Zoomverhältnis des Kameramoduls 1100b Z ist, kann das optische Zoomverhältnis des Kameramoduls 1100b auf 3Z, 5Z oder größer geändert werden, indem die im OPFE 1110 enthaltenen „m“ optischen Linsen bewegt werden.
Der Aktor 1130 kann das OPFE 1110 oder eine optische Linse in eine bestimmte Position bewegen. Zum Beispiel kann der Aktor 1130 die Position der optischen Linse so einstellen, dass ein Bildsensor 1142 bei einer Brennweite der optischen Linse für eine genaue Abtastung positioniert ist.
Die Bildabtastvorrichtung 1140 kann den Bildsensor 1142, eine Steuerlogik 1144 und einen Speicher 1146 enthalten. Der Bildsensor 1142 kann ein Bild eines Objekts unter Verwendung des durch die optische Linse zugeführten Lichts abtasten. Als Bildsensor 1142 kann der Bildsensor 100 aus 1 verwendet werden, der ein Binning-Verfahren nach einem Ausführungsbeispiel durchführt. Dementsprechend können, wenn die Bildabtastvorrichtung 1140 im ersten Modus arbeitet, eine Framerate und eine Bildqualität zunehmen und die Größe der von der Bildabtastvorrichtung 1140 erzeugten Bilddaten kann abnehmen. Beispielsweise kann die Framerate eine erreichbare Framerate sein, die auf der Bandbreite der Schaltungsschnittstelle und der Berechnungsbandbreite basiert. Der Bildsensor 100 (mit beispielhaften Angaben zum Bildsensor 1142) ermöglicht eine hohe Framerate.
Die Steuerlogik 1144 kann allgemein den Betrieb des Kameramoduls 1100b steuern. Zum Beispiel kann die Steuerlogik 1144 den Betrieb des Kameramoduls 1100b nach einem Steuersignal steuern, das über eine Steuersignalleitung CSLb zugeführt wird.
Der Speicher 1146 kann Informationen, wie z. B. Kalibrierdaten 1147, speichern, die für den Betrieb des Kameramoduls 1100b notwendig sind. Die Kalibrierdaten 1147 können Informationen enthalten, die für das Kameramodul 1100b notwendig sind, um mit dem von außen zugeführten Licht L Bilddaten zu erzeugen. Beispielsweise können die Kalibrierdaten 1147 Informationen über den vorstehend beschriebenen Drehwinkel, Informationen über eine Brennweite, Informationen über eine optische Achse oder ähnliches enthalten. Wenn das Kameramodul 1100b als Mehrzustandskamera implementiert ist, deren Brennweite mit der Position der optischen Linse variiert, können die Kalibrierdaten 1147 einen Wert einer Brennweite für jede Position (oder Zustand) der optischen Linse und Informationen über die Autofokussierung enthalten.
Der Speicher 1150 kann die vom Bildsensor 1142 abgetasteten Bilddaten speichern. Der Speicher 1150 kann außerhalb der Bildabtastvorrichtung 1140 vorgesehen sein und einen Stapel mit einem Sensorchip der Bildabtastvorrichtung 1140 bilden. In einigen Ausführungsformen kann der Speicher 1150 einen elektrisch löschbaren programmierbaren Festwertspeicher (EEPROM) enthalten, aber Ausführungsformen sind darauf nicht beschränkt.
Bezugnehmend auf 13 und 14 kann in einigen Ausführungsformen jedes der Kameramodule 1100a, 1100b und 1100c den Aktor 1130 enthalten. Dementsprechend können die Kameramodule 1100a, 1100b und 1100c die Kalibrierdaten 1147 enthalten, die bei den Kameramodulen 1100a, 1100b und 1100c gleich oder unterschiedlich sind, je nach dem Betrieb des Aktuators 1130, der in jedem der Kameramodule 1100a, 1100b und 1100c enthalten ist.
In einigen Ausführungsformen kann eines (z.B. das Kameramodul 1100b) der Kameramodule 1100a, 1100b und 1100c von einem Typ mit gefalteten Linsen sein, der das Prisma 1105 und das OPFE 1110 enthält, während die anderen Kameramodule (z.B. die Kameramodule 1100a und 1100c) von einem vertikalen Typ sein können, der das Prisma 1105 und das OPFE 1110 nicht enthält. Die Ausführungsformen sind jedoch nicht darauf beschränkt.
In einigen Ausführungsformen kann eines der Kameramodule 1100a, 1100b und 1100c (z. B. das Kameramodul 1100c) eine vertikale Tiefenkamera enthalten, die unter Verwendung eines Infrarotstrahls (IR) Tiefeninformationen extrahiert. In diesem Fall kann der Anwendungsprozessor 1200 ein dreidimensionales (3D)-Tiefenbild erzeugen, indem er die von der Tiefenkamera zugeführten Bilddaten mit den von einem anderen Kameramodul (z. B. dem Kameramodul 1100a oder 1100b) zugeführten Bilddaten zusammenführt.
In einigen Ausführungsformen können mindestens zwei Kameramodule (z. B. 1100a und 1100b) der Kameramodule 1100a, 1100b und 1100c unterschiedliche Sichtfelder aufweisen. In diesem Fall können die beiden Kameramodule (z. B. 1100a und 1100b) der Kameramodule 1100a, 1100b und 1100c j eweils unterschiedliche optische Linsen aufweisen, aber Ausführungsformen sind darauf nicht beschränkt.
In einigen Ausführungsformen können die Kameramodule 1100a, 1100b und 1100c unterschiedliche Sichtfelder voneinander aufweisen. In diesem Fall können die Kameramodule 1100a, 1100b und 1100c jeweils unterschiedliche optische Linsen aufweisen, aber Ausführungsformen sind darauf nicht beschränkt.
In einigen Ausführungsformen können die Kameramodule 1100a, 1100b und 1100c räumlich voneinander getrennt sein. Mit anderen Worten, der Erfassungsbereich des Bildsensors 1142 wird nicht geteilt und von den Kameramodulen 1100a, 1100b und 1100c genutzt, sondern der Bildsensor 1142 kann unabhängig in jedem der Kameramodule 1100a, 1100b und 1100c enthalten sein.
Zurück zu 13 kann der Anwendungsprozessor 1200 eine Bildverarbeitungseinheit 1210, einen Speichercontroller 1220 und einen internen Speicher 1230 enthalten. Der Anwendungsprozessor 1200 kann getrennt von den Kameramodulen 1100a, 1100b und 1100c implementiert sein. Zum Beispiel können der Anwendungsprozessor 1200 und die Kameramodule 1100a, 1100b und 1100c in verschiedenen Halbleiterchips implementiert sein.
Die Bildverarbeitungseinheit 1210 kann eine Mehrzahl von Teilbild-Prozessoren 1212a, 1212b und 1212c, einen Bildgenerator 1214 und einen Kameramodul-Controller 1216 enthalten.
Die Bildverarbeitungseinheit 1210 kann so viele Teilbild-Prozessoren 1212a, 1212b und 1212c enthalten wie die Kameramodule 1100a, 1100b und 1100c.
Von jedem der Kameramodule 1100a, 1100b und 1100c erzeugte Bilddaten können über eine entsprechende der voneinander getrennten Bildsignalleitungen ISLa, ISLb und ISLc einem entsprechenden der Teilbild-Prozessoren 1212a, 1212b und 1212c zugeführt werden. Beispielsweise können vom Kameramodul 1100a erzeugte Bilddaten über die Bildsignalleitung ISLa dem Teilbild-Prozessor 1212a zugeführt werden, vom Kameramodul 1100b erzeugte Bilddaten können über die Bildsignalleitung ISLb dem Teilbild-Prozessor 1212b zugeführt werden, und vom Kameramodul 1100c erzeugte Bilddaten können über die Bildsignalleitung ISLc dem Teilbild-Prozessor 1212c zugeführt werden. Eine solche Bilddatenübertragung kann z. B. über eine auf der MIPI-Schnittstelle (MIPI=Mobile Industry Processor Interface) basierende serielle Kamera-Schnittstelle (CSI) erfolgen, die Ausführungsformen sind jedoch nicht darauf beschränkt.
In einigen Ausführungsformen kann ein einziger Teilbild-Prozessor für eine Mehrzahl von Kameramodulen vorgesehen sein. Beispielsweise können, anders als in 13, die Teilbild-Prozessoren 1212a und 1212c nicht getrennt, sondern in einen einzigen Teilbild-Prozessor integriert sein, und die vom Kameramodul 1100a oder vom Kameramodul 1100c zugeführten Bilddaten können durch ein Auswahlelement (z. B. einen Multiplexer) ausgewählt und dann dem integrierten Teilbild-Prozessor zugeführt werden.
Die Bilddaten, die jedem der Teilbild-Prozessoren 1212a, 1212b und 1212c zugeführt werden, können dem Bildgenerator 1214 zugeführt werden. Der Bildgenerator 1214 kann ein Ausgabebild unter Verwendung der von jedem der Teilbild-Prozessoren 1212a, 1212b und 1212c zugeführten Bilddaten entsprechend den Bilderzeugungsinformationen oder einem Modussignal erzeugen.
Im Detail kann der Bildgenerator 1214 das Ausgabebild erzeugen, indem er zumindest Teile der j eweiligen Bilddaten, die von den Kameramodulen 1100a, 1100b und 1100c mit unterschiedlichen Sichtfeldern erzeugt wurden, entsprechend den Bilderzeugungsinformationen oder dem Modussignal zusammenfügt. Alternativ kann der Bildgenerator 1214 das Ausgabebild erzeugen, indem er einen der Bilddatenteile auswählt, die jeweils von den Kameramodulen 1100a, 1100b und 1100c mit unterschiedlichen Sichtfeldern entsprechend den Bilderzeugungsinformationen oder dem Modussignal erzeugt werden.
In einigen Ausführungsformen können die Bilderzeugungsinformationen ein Zoom-Signal oder einen Zoom-Faktor enthalten. In einigen Ausführungsformen kann das Modussignal auf einem von einem Benutzer ausgewählten Modus basieren.
Wenn die Bilderzeugungsinformationen ein Zoom-Signal oder einen Zoom-Faktor enthalten und die Kameramodule 1100a, 1100b und 1100c unterschiedliche Sichtfelder aufweisen, kann der Bildgenerator 1214 verschiedene Operationen entsprechend den unterschiedlichen Arten von Zoom-Signalen durchführen. Wenn das Zoomsignal beispielsweise ein erstes Signal ist, kann der Bildgenerator 1214 die von dem Kameramodul 1100a ausgegebenen Bilddaten mit den von dem Kameramodul 1100c ausgegebenen Bilddaten zusammenführen und ein Ausgabebild unter Verwendung eines zusammengeführten Bildsignals und der von dem Kameramodul 1100b ausgegebenen Bilddaten, die während der Zusammenführung nicht verwendet wurden, erzeugen. Wenn das Zoomsignal ein zweites Signal ist, das sich von dem ersten Signal unterscheidet, kann der Bildgenerator 1214 ein Ausgabebild erzeugen, indem er eines der Bilddatenteile auswählt, die jeweils von den Kameramodulen 1100a, 1100b und 1100c ausgegeben werden, anstatt die Zusammenführung durchzuführen. Die Ausführungsformen sind jedoch nicht darauf beschränkt, und ein Verfahren zur Verarbeitung von Bilddaten kann bei Bedarf geändert werden.
In einigen Ausführungsformen kann der Bildgenerator 1214 eine Mehrzahl von Bilddaten mit unterschiedlichen Belichtungszeiten von mindestens einem der Teilbild-Prozessoren 1212a, 1212b und 1212c empfangen und eine HDR-Verarbeitung (High Dynamic Range) an den Bilddaten durchführen, wodurch zusammengeführte Bilddaten mit einem erhöhten Dynamikbereich erzeugt werden.
Der Kameramodul-Controller 1216 kann ein Steuersignal jedem der Kameramodule 1100a, 1100b und 1100c zuführen. Ein vom Kameramodul-Controller 1216 erzeugtes Steuersignal kann einem entsprechenden der Kameramodule 1100a, 1100b und 1100c über eine entsprechende der voneinander getrennten Steuersignalleitungen CSLa, CSLb und CSLc zugeführt werden.
Eines der Kameramodule 1100a, 1100b und 1100c (z. B. das Kameramodul 1100b) kann entsprechend dem Modussignal oder dem Bilderzeugungssignal einschließlich eines Zoomsignals als Master-Kamera bezeichnet werden, und die anderen Kameramodule (z. B. 1100a und 1100c) können als Slave-Kameras bezeichnet werden. Solche Bezeichnungsinformationen können in einem Steuersignal enthalten sein und jedem der Kameramodule 1100a, 1100b und 1100c über eine entsprechende der voneinander getrennten Steuersignalleitungen CSLa, CSLb und CSLc zugeführt werden.
Ein Kameramodul, das als Master oder Slave arbeitet, kann in Abhängigkeit von einem Zoomfaktor oder einem Betriebsmodussignal umgeschaltet werden. Wenn z. B. das Sichtfeld des Kameramoduls 1100a größer als das des Kameramoduls 1100b und der Zoomfaktor einen niedrigen Zoomfaktor angibt, kann das Kameramodul 1100b als Master und das Kameramodul 1100a als Slave arbeiten. Im Gegensatz dazu kann das Kameramodul 1100a als Master und das Kameramodul 1100b als Slave arbeiten, wenn der Zoomfaktor einen hohen Zoomfaktor angibt.
In einigen Ausführungsformen kann ein Steuersignal, das vom Kameramodul-Controller 1216 an jedes der Kameramodule 1100a, 1100b und 1100c gesendet wird, ein Synchronisierungsfreigabesignal enthalten. Wenn beispielsweise das Kameramodul 1100b eine Master-Kamera und das Kameramodul 1100a eine Slave-Kamera ist, kann der Kameramodul-Controller 1216 das Synchronisierungsfreigabesignal an das Kameramodul 1100b übertragen. Das mit dem Synchronisierungsfreigabesignal versehene Kameramodul 1100b kann ein Synchronisierungssignal basierend auf dem Synchronisierungsfreigabesignal erzeugen und das Synchronisierungssignal über eine Synchronisierungssignalleitung SSL den Kameramodulen 1100a und 1100c zuführen. Die Kameramodule 1100a, 1100b und 1100c können mit dem Synchronisierungssignal synchronisiert werden und können Bilddaten an den Anwendungsprozessor 1200 übertragen.
In einigen Ausführungsformen kann ein Steuersignal, das von der Kameramodulsteuerung 1216 jedem der Kameramodule 1100a, 1100b und 1100c zugeführt wird, Modusinformationen entsprechend dem Modussignal enthalten. Die Kameramodule 1100a, 1100b und 1100c können in einem ersten Betriebsmodus oder einem zweiten Betriebsmodus in Bezug auf eine Abtastgeschwindigkeit basierend auf den Modusinformationen arbeiten.
In dem ersten Betriebsmodus können die Kameramodule 1100a, 1100b und 1100c ein Bildsignal mit einer ersten Geschwindigkeit (z. B. mit einer ersten Framerate) erzeugen, das Bildsignal mit einer zweiten Geschwindigkeit, die höher als die erste Geschwindigkeit ist (z. B. mit einer zweiten Framerate, die höher als die erste Framerate ist), kodieren und ein kodiertes Bildsignal an den Anwendungsprozessor 1200 übertragen. Zu diesem Zeitpunkt kann die zweite Geschwindigkeit höchstens das 30-fache der ersten Geschwindigkeit betragen.
Der Anwendungsprozessor 1200 kann das empfangene Bildsignal, d. h. das kodierte Bildsignal, in dem internen Speicher 1230 oder dem externen Speicher 1400 außerhalb des Anwendungsprozessors 1200 speichern. Danach kann der Anwendungsprozessor 1200 das kodierte Bildsignal aus dem internen Speicher 1230 oder dem externen Speicher 1400 lesen, das kodierte Bildsignal dekodieren und die auf der Grundlage eines dekodierten Bildsignals erzeugten Bilddaten anzeigen. Beispielsweise kann ein entsprechender der Teilbild-Prozessoren 1212a, 1212b und 1212c der Bildverarbeitungseinheit 1210 die Dekodierung durchführen und auch eine Bildverarbeitung des dekodierten Bildsignals vornehmen.
In dem zweiten Betriebsmodus können die Kameramodule 1100a, 1100b und 1100c ein Bildsignal mit einer dritten Geschwindigkeit erzeugen, die niedriger als die erste Geschwindigkeit ist (z. B. mit einer dritten Framerate, die niedriger als die erste Framerate ist), und das Bildsignal an den Anwendungsprozessor 1200 übertragen. Das dem Anwendungsprozessor 1200 zugeführte Bildsignal kann nicht kodiert worden sein. Der Anwendungsprozessor 1200 kann eine Bildverarbeitung an dem Bildsignal durchführen oder das Bildsignal im internen Speicher 1230 oder im externen Speicher 1400 speichern.
Der PMIC 1300 kann jedes der Kameramodule 1100a, 1100b und 1100c mit Leistung, z. B. einer Versorgungsspannung, versorgen. Beispielsweise kann der PMIC 1300 unter der Steuerung des Anwendungsprozessors 1200 dem Kameramodul 1100a über eine Leistungssignalleitung PSLa eine erste Leistung, dem Kameramodul 1100b über eine Leistungssignalleitung PSLb eine zweite Leistung und dem Kameramodul 1100c über eine Leistungssignalleitung PSLc eine dritte Leistung zuführen.
Der PMIC 1300 kann eine Leistung erzeugen, die jedem der Kameramodule 1100a, 1100b und 1100c entspricht, und den Pegel der Leistung in Reaktion auf ein Leistungssteuersignal PCON vom Anwendungsprozessor 1200 einstellen. Das Leistungssteuersignal PCON kann ein Leistungsanpassungssignal für jeden Betriebsmodus der Kameramodule 1100a, 1100b und 1100c enthalten. Zum Beispiel kann der Betriebsmodus einen Niederleistungsmodus enthalten. Zu diesem Zeitpunkt kann das Leistungssteuersignal PCON Informationen über ein Kameramodul, das im Niederleistungsmodus betrieben werden soll, sowie einen einzustellenden Leistungspegel enthalten. Den Kameramodulen 1100a, 1100b und 1100c können jeweils die gleichen oder unterschiedliche Leistungspegel zugeführt werden. Der Leistungspegel kann dynamisch geändert werden.
Während beispielhafte Ausführungsformen insbesondere gezeigt und beschrieben wurden, versteht es sich, dass verschiedene Änderungen in Form und Details darin vorgenommen werden können, ohne von der Idee und dem Umfang der folgenden Ansprüche abzuweichen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

KR 1020200078813 [0001]

Claims

Binning-Verfahren eines Bildsensors, wobei das Binning-Verfahren umfasst: Auslesen einer Mehrzahl von Pixelsignalen aus mindestens zwei Zeilen jedes einer Mehrzahl von Bereichen eines Pixelarrays zu einer Zeit, wobei jeder der Mehrzahl von Bereichen eine Mehrzahl von Pixeln enthält, die in einer 2n×2n-Matrix angeordnet sind, wobei n eine ganze Zahl gleich oder größer als 2 ist; Erzeugen erster Bilddaten durch Durchführen einer Analog-Digital-Wandlung an der Mehrzahl von Pixelsignalen; Erzeugen, basierend auf den ersten Bilddaten, eines ersten Summationswertes von jedem einer Mehrzahl von Binning-Bereichen, basierend auf zwei Pixelwerten, die einer gleichen Farbe in jedem der Mehrzahl von Binning-Bereichen entsprechen, wobei die Mehrzahl von Binning-Bereichen der Mehrzahl von Bereichen des Pixelarrays entspricht; und Erzeugen eines zweiten Summationswertes von jedem von zwei Binning-Bereichen, basierend auf zwei ersten Summationswerten, die einer gleichen Farbe in den zwei Binning-Bereichen entsprechen, wobei die zwei Binning-Bereiche in einer Spaltenrichtung unter der Mehrzahl von Binning-Bereichen einander benachbart sind.
Binning-Verfahren nach Anspruch 1, wobei das Auslesen der Mehrzahl von Pixelsignalen gleichzeitiges Auslesen von Pixelsignalen aus mindestens zwei ersten Pixeln, die eine erste Farbe aufweisen, wobei sich die mindestens zwei ersten Pixel in einer ersten Spalte des Pixelarrays befinden, und Auslesen eines Pixelsignals aus einem zweiten Pixel von mindestens zwei zweiten Pixeln enthält, die eine zweite Farbe aufweisen, wobei sich die mindestens zwei zweiten Pixel in einer zweiten Spalte des Pixelarrays befinden.
Binning-Verfahren nach Anspruch 2, wobei sich das eine zweite Pixel in einem äußeren Bereich jedes der Mehrzahl von Bereichen unter den mindestens zwei zweiten Pixeln befindet.
Binning-Verfahren nach Anspruch 2, wobei das Erzeugen der ersten Bilddaten enthält: Empfangen eines Summationssignals durch eine Analog-Digital-Wandlerschaltung über eine erste Spaltenleitung, wobei das Summationssignal einer Summe der Pixelsignale der mindestens zwei ersten Pixel entspricht; und Erzeugen, durch die Analog-Digital-Wandlerschaltung, eines Pixelwertes für eine erste Abtastposition durch Durchführen der Analog-Digital-Wandlung an dem Summationssignal, wobei die erste Abtastposition einem Mittelpunkt zwischen den mindestens zwei ersten Pixeln entspricht.
Binning-Verfahren nach Anspruch 1, wobei das Erzeugen des ersten Summationswertes das Anwenden einer Gewichtung auf jeden der beiden Pixelwerte und das Summieren der gewichteten Werte umfasst.
Binning-Verfahren nach Anspruch 5, wobei die auf jeden der beiden Pixelwerte angewendete Gewichtung auf der Grundlage einer zweiten Abtastposition eingestellt wird, an der sich der erste Summationswert befindet.
Binning-Verfahren nach Anspruch 1, wobei das Erzeugen des zweiten Summationswertes enthält: Anwenden einer Gewichtung auf jeden der beiden ersten Summationswerte und Summieren der gewichteten Werte; und Erzeugen des zweiten Summationswertes als Pixelwert für eine dritte Abtastposition.
Binning-Verfahren nach Anspruch 1, ferner umfassend: Erzeugen eines dritten Summationswerts auf der Grundlage von mindestens zwei ersten Pixelwerten jedes der mehreren Binning-Bereiche der ersten Bilddaten und eines ersten Pixelwerts eines benachbarten Binning-Bereichs, der zu jedem der mehreren Binning-Bereiche benachbart ist; und Zusammenführen des zweiten Summationswertes mit dem dritten Summationswert für mindestens zwei erste Pixel.
Binning-Verfahren nach Anspruch 8, wobei das Zusammenführen auf der Grundlage einer Differenz zwischen einem ersten Pixelwert jedes der mehreren Binning-Bereiche und dem ersten Pixelwert des benachbarten Binning-Bereichs durchgeführt wird, wobei der dritte Summationswert in den Ausgabebilddaten enthalten ist, wenn die Differenz kleiner als ein erster Schwellenwert ist, der zweite Summationswert in den Ausgabebilddaten enthalten ist, wenn die Differenz einen zweiten Schwellenwert überschreitet, und wenn die Differenz größer als oder gleich dem ersten Schwellenwert und kleiner als oder gleich dem zweiten Schwellenwert ist: eine auf der Differenz basierende Gewichtung auf jeden von dem zweiten Summationswert und dem dritten Summationswert angewendet wird, und eine Summe der gewichteten Werte in die Ausgabebilddaten aufgenommen wird.
Bildsensor, umfassend: ein Pixelarray, das in eine Mehrzahl von Bereichen, die eine viereckige Form aufweisen, unterteilt ist, wobei jeder Bereich der Mehrzahl von Bereichen Pixel enthält, die in einer 2n×2n-Matrix angeordnet sind, wobei n eine ganze Zahl gleich oder größer als 2 ist; eine Analog-Digital-Wandlerschaltung, die eingerichtet ist, um: eine Mehrzahl von Pixelsignalen auszulesen, und die Mehrzahl von Pixelsignalen in erste Bilddaten umzuwandeln, wobei die ersten Bilddaten eine Mehrzahl von Pixelwerten umfassen und die Mehrzahl von Pixelsignalen von dem Pixelarray über eine Mehrzahl von Spaltenleitungen empfangen werden; einen Zeilentreiber, der eingerichtet ist, um Steuersignale über eine Mehrzahl von Zeilenleitungen zuzuführen, die mit dem Pixelarray verbunden sind, wobei die Steuersignale eingerichtet sind, um Pixelsignale von mindestens zwei Zeilen des Pixelarrays zu steuern, die gleichzeitig ausgegeben werden sollen; einen Zeilenpuffer, der zum Speichern der ersten Bilddaten in bestimmten Zeileneinheiten eingerichtet ist; und einen Prozessor, der eingerichtet ist, um ein Binning an den im Zeilenpuffer gespeicherten ersten Bilddaten durchzuführen.
Bildsensor nach Anspruch 10, wobei der Zeilentreiber ferner eingerichtet ist, um mindestens zwei erste Pixel zu steuern, gleichzeitig Pixelsignale auszugeben, und ein zweites Pixel von mindestens zwei zweiten Pixeln zu steuern, um ein Pixelsignal auszugeben, wobei die mindestens zwei ersten Pixel in einer ersten Spalte der mindestens zwei Zeilen des Pixelarrays liegen und die mindestens zwei zweiten Pixel in einer zweiten Spalte der mindestens zwei Zeilen des Pixelarrays liegen.
Bildsensor nach Anspruch 11, wobei die Analog-Digital-Wandlerschaltung ferner eingerichtet ist, um: ein Summationssignal über eine erste Spaltenleitung zu empfangen und einen Pixelwert für eine erste Abtastposition durch Durchführen einer Analog-Digital-Wandlung an dem Summationssignal zu erzeugen, wobei das Summationssignal einer Summe der Pixelsignale der mindestens zwei ersten Pixel entspricht und die erste Abtastposition einem Mittelpunkt zwischen den mindestens zwei ersten Pixeln entspricht.
Bildsensor nach Anspruch 10, wobei der Prozessor ferner eingerichtet ist, um einen ersten Summationswert für jeden einer Mehrzahl von Binning-Bereichen auf der Grundlage von zwei Pixelwerten zu erzeugen, die einer gleichen Farbe in jedem der Mehrzahl von Binning-Bereichen entsprechen, wobei die Mehrzahl von Binning-Bereichen in den ersten Bilddaten enthalten ist.
Bildsensor nach Anspruch 13, wobei der Prozessor ferner eingerichtet ist, um: eine Gewichtung auf jeden der beiden Pixelwerte anzuwenden, und gewichtete Werte aufzusummieren, wobei die Gewichtung auf Basis einer zweiten Abtastposition eingestellt wird, an der sich der erste Summationswert befindet.
Bildsensor nach Anspruch 13, wobei der Prozessor ferner eingerichtet ist, um einen zweiten Summationswert für jeden von zwei Binning-Bereichen auf der Grundlage von zwei ersten Summationswerten zu erzeugen, die der gleichen Farbe in den beiden Binning-Bereichen entsprechen, wobei die beiden Binning-Bereiche in einer Spaltenrichtung unter der Mehrzahl von Binning-Bereichen einander benachbart sind.
Bildsensor nach Anspruch 15, wobei der Prozessor ferner eingerichtet ist, um einen dritten Summationswert auf der Grundlage von mindestens zwei ersten Pixelwerten jedes der mehreren Binning-Bereiche der ersten Bilddaten und einem ersten Pixelwert eines benachbarten Binning-Bereichs, der zu jedem der mehreren Binning-Bereiche benachbart ist, zu berechnen und den zweiten Summationswert mit dem dritten Summationswert für mindestens zwei erste Pixel zusammenzuführen.
Bildsensor nach Anspruch 10, wobei jeder der mehreren Bereiche ein Bayer-Muster enthält, das einen roten Pixel, zwei grüne Pixel und einen blauen Pixel aufweist, die wiederholt angeordnet sind.
Bildverarbeitungssystem, umfassend: einen Bildsensor, der eingerichtet ist, um ein optisches Signal abzutasten und Bilddaten zu erzeugen; und einen ersten Prozessor, der eingerichtet ist, um die Bilddaten vom Bildsensor zu empfangen und zu verarbeiten, wobei der Bildsensor enthält: ein Pixelarray, das in eine Mehrzahl von Bereichen, die eine viereckige Form aufweisen, unterteilt ist, wobei jeder Bereich der Mehrzahl von Bereichen Pixel enthält, die in einer 4x4-Matrix angeordnet sind; eine Analog-Digital-Wandlerschaltung, die eingerichtet ist, um: eine Mehrzahl von Pixelsignalen auszulesen, und die Mehrzahl von Pixelsignalen in erste Bilddaten umzuwandeln, wobei die ersten Bilddaten eine Mehrzahl von Pixelwerten umfassen, wobei die Mehrzahl von Pixelsignalen von dem Pixelarray durch eine Mehrzahl von Spaltenleitungen empfangen wird; einen Zeilentreiber, der eingerichtet ist, um Steuersignale über eine Mehrzahl von Zeilenleitungen zuzuführen, die mit dem Pixelarray verbunden sind, wobei die Steuersignale eingerichtet sind, um Pixelsignale von mindestens zwei Zeilen des Pixelarrays zu steuern, die gleichzeitig ausgegeben werden sollen; einen Zeilenpuffer, der eingerichtet ist, um erste Bilddaten in bestimmten Zeileneinheiten zu speichern; und einen zweiten Prozessor, der eingerichtet ist, um ein Binning an den im Zeilenpuffer gespeicherten ersten Bilddaten durchzuführen.
Bildverarbeitungssystem nach Anspruch 18, wobei der zweite Prozessor ferner eingerichtet ist, um: einen ersten Summationswert für jeden einer Mehrzahl von Binning-Bereichen auf der Grundlage von zwei Pixelwerten zu erzeugen, die einer gleichen Farbe in jedem der Mehrzahl von Binning-Bereichen entsprechen, wobei die Mehrzahl von Binning-Bereichen in den ersten Bilddaten enthalten ist, und einen zweiten Summationswert für jeden von zwei Binning-Bereichen auf der Grundlage von zwei ersten Summationswerten zu erzeugen, die der gleichen Farbe in den beiden Binning-Bereichen entsprechen, wobei die beiden Binning-Bereiche in einer Spaltenrichtung unter der Mehrzahl von Binning-Bereichen aneinander angrenzen.
Bildverarbeitungssystem nach Anspruch 19, wobei der zweite Prozessor ferner eingerichtet ist, um: einen dritten Summationswert auf der Grundlage von mindestens zwei ersten Pixelwerten jedes der mehreren Binning-Bereiche der ersten Bilddaten und eines ersten Pixelwertes eines anderen Binning-Bereichs, der an jeden der mehreren Binning-Bereiche angrenzt, zu berechnen und den zweiten Summationswert mit dem dritten Summationswert für mindestens zwei erste Pixel zusammenzuführen.