DE102021117427A1

DE102021117427A1 - Bildkompressionsverfahren unter Verwendung eines gesättigten Pixels, Kodierer und elektronische Vorrichtung

Info

Publication number: DE102021117427A1
Application number: DE102021117427.9A
Authority: DE
Inventors: Wonseok Lee; Suhyun JO; YunSeok Choi
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2020-07-16
Filing date: 2021-07-06
Publication date: 2022-01-20
Also published as: TW202209887A; JP2022019646A; CN113949878A; US20220020180A1

Abstract

Es wird ein Bildkomprimierungsverfahren zum Komprimieren von Bilddaten vorgesehen, die von einem Bildsensor erzeugt werden, wobei das Bildkomprimierungsverfahren das Erfassen eines gesättigten Pixels unter einer Mehrzahl von Pixeln, die in einer in den Bilddaten enthaltenen Pixelgruppe enthalten sind, wobei das gesättigte Pixel einen Pixelwert aufweist, der einen Schwellenwert übersteigt, und wobei die Mehrzahl von Pixeln aneinander angrenzen und eine gleiche Farbe haben, Erzeugen eines Sättigungs-Flags, das eine Position des gesättigten Pixels anzeigt, Komprimieren der Bilddaten durch Vergleichen eines Referenzpixels mit mindestens einem nicht gesättigten Pixel unter der Mehrzahl der in der Pixelgruppe enthaltenen Pixel und Ausgeben eines Bitstroms enthält, der das Sättigungs-Flag, ein Komprimierungsergebnis und ein Komprimierungsverfahren enthält.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Diese Anmeldung basiert auf der koreanischen Patentanmeldung Nr. 10-2020-0088453 , die am 16. Juli 2020 eingereicht wurde, und der koreanischen Patentanmeldung Nr. 10-2021-0008910 , die am 21. Januar 2021 beim koreanischen Amt für geistiges Eigentum eingereicht wurde, und beansprucht deren Priorität, wobei die Offenbarungen dieser Anmeldungen durch Verweis hierin in vollem Umfang aufgenommen sind.
HINTERGRUND
1. Gebiet
Beispielhafte Ausführungsformen der vorliegenden Offenbarung beziehen sich auf ein Bildkomprimierungsverfahren und insbesondere auf ein Bildkomprimierungsverfahren unter Verwendung eines gesättigten Pixels, einen Kodierer und eine elektronische Vorrichtung.
2. Beschreibung des Standes der Technik
Mit der steigenden Nachfrage nach hochauflösenden Bildern nimmt die Größe der von Bildsensoren erzeugten Bilddaten zu. Da die Größe der Bilddaten mit einer Datenübertragungsrate zusammenhängt, ist ein Verfahren zur effizienten Komprimierung der Bilddaten erforderlich.
Um die Größe von Bilddaten zu verringern, wird ein Verfahren zur Komprimierung von Daten basierend auf einer Differenz zwischen einem zu komprimierenden Zielpixel und einem Referenzpixel für die Komprimierung verwendet. Die Sättigung eines Pixels, das an übermäßigem Lichtempfang beteiligt ist, erzeugt jedoch einen großen Pixelwert und bewirkt somit eine Verringerung der Komprimierungsrate des Komprimierungsverfahrens basierend auf der Differenz zwischen dem Zielpixel und dem Referenzpixel.
KURZFASSUNG
Eine oder mehrere beispielhafte Ausführungsformen bieten ein Verfahren zur effizienten Komprimierung eines gesättigten Pixels.
Nach einem Aspekt einer beispielhaften Ausführungsform wird ein Bildkomprimierungsverfahren zum Komprimieren von Bilddaten vorgesehen, die von einem Bildsensor erzeugt werden, wobei das Bildkomprimierungsverfahren das Erfassen eines gesättigten Pixels unter einer Mehrzahl von Pixeln, die in einer in den Bilddaten enthaltenen Pixelgruppe enthalten sind, wobei das gesättigte Pixel einen Pixelwert aufweist, der einen Schwellenwert überschreitet und die Mehrzahl von Pixeln einander benachbart sind und eine gleiche Farbe aufweisen, Erzeugen eines Sättigungs-Flags, das eine Position des gesättigten Pixels anzeigt, Komprimieren der Bilddaten durch Vergleichen eines Referenzpixels mit mindestens einem nicht gesättigten Pixel unter der Mehrzahl der in der Pixelgruppe enthaltenen Pixel und Ausgeben eines Bitstroms, der das Sättigungs-Flag, ein Komprimierungsergebnis und ein Komprimierungsverfahren enthält.
Nach einem anderen Aspekt einer beispielhaften Ausführungsform wird ein Kodierer zum Verarbeiten von Bilddaten vorgesehen, die von einem Bildsensor erzeugt werden, wobei der Kodierer konfiguriert ist, um: ein gesättigtes Pixel unter einer Mehrzahl von Pixeln, die in einer Pixelgruppe enthalten sind, zu erfassen, wobei das gesättigte Pixel einen Pixelwert aufweist, der einen Schwellenwert übersteigt, und die Mehrzahl von Pixeln aneinander angrenzt und eine gleiche Farbe aufweist wie die anderen, ein Sättigungs-Flag erzeugen, das eine Position des gesättigten Pixels anzeigt, und Bilddaten durch Vergleichen eines Referenzpixels mit mindestens einem nicht gesättigten Pixel aus der Mehrzahl der in der Pixelgruppe enthaltenen Pixel zu komprimieren.
Nach einem anderen Aspekt einer beispielhaften Ausführungsform wird eine elektronische Vorrichtung vorgesehen, die ein Bild erfasst, wobei die elektronische Vorrichtung einen Bildsensor, der ein Pixelarray enthält und zur Ausgabe von Bilddaten konfiguriert ist, einen Bildsignalprozessor, der einen Kodierer enthält, wobei der Kodierer konfiguriert ist, um: ein gesättigtes Pixels unter einer Mehrzahl von Pixeln zu erfassen, die in einer Pixelgruppe enthalten sind, wobei das gesättigte Pixel einen Pixelwert aufweist, der einen Schwellenwert übersteigt, und die Mehrzahl von Pixeln aneinander angrenzt und eine gleiche Farbe aufweist wie die anderen, ein Sättigungs-Flag zu erzeugen, das eine Position des gesättigten Pixels anzeigt, die Bilddaten durch Vergleichen eines Referenzpixels mit mindestens einem nicht gesättigten Pixel aus der Mehrzahl der in der Pixelgruppe enthaltenen Pixel zu komprimieren und einen Bitstrom auszugeben, der ein Komprimierungsergebnis, das Sättigungs-Flag und ein Komprimierungsverfahren enthält, und einen Anwendungsprozessor, der einen Dekodierer enthält, wobei der Dekodierer konfiguriert ist, um die Bilddaten durch Dekodieren des Bitstroms zu rekonstruieren.
Figurenliste
Die vorstehenden und/oder andere Aspekte, Merkmale und Vorteile von beispielhaften Ausführungsformen werden aus der folgenden detaillierten Beschreibung in Verbindung mit den beigefügten Zeichnungen deutlicher verstanden, in denen:

1 ein Blockdiagramm einer elektronischen Vorrichtung nach einer beispielhaften Ausführungsform ist;
2 ein Blockdiagramm eines Kodierers nach einer beispielhaften Ausführungsform ist;
3 ein Blockdiagramm eines Dekodierers nach einer beispielhaften Ausführungsform ist;
4 ein Ablaufdiagramm eines Bildkomprimierungsverfahrens nach einer beispielhaften Ausführungsform ist;
5A und 5B konzeptionelle Diagramme sind, die die Strukturen von Pixeln nach beispielhaften Ausführungsformen veranschaulichen;
6 ein konzeptionelles Diagramm ist, das die Struktur eines Bitstroms bei der differentiellen Puls-Code-Modulation (DPCM) veranschaulicht;
7, 8 und 9 konzeptionelle Diagramme sind, die die Strukturen von Bitströmen mit unterschiedlicher Bitzuweisung entsprechend der Anzahl der gesättigten Pixel nach einer beispielhaften Ausführungsform veranschaulichen;
10 ein konzeptionelles Diagramm ist, das die Struktur von Pixeln nach einer beispielhaften Ausführungsform zeigt;
11 ein konzeptionelles Diagramm ist, das die Struktur eines Bitstroms in DPCM veranschaulicht;
12 ein konzeptionelles Diagramm ist, das die Struktur eines Bitstroms veranschaulicht, der entsprechend dem Auftreten eines gesättigten Pixels nach einer beispielhaften Ausführungsform erzeugt wird;
13A und 13B Tabellen mit Komprimierungsinformationen nach beispielhaften Ausführungsformen sind;
14A und 14B Blockdiagramme von elektronischen Vorrichtungen sind, die jeweils einen Bildsignalprozessor nach beispielhaften Ausführungsformen enthalten;
15 ein Blockdiagramm einer elektronischen Vorrichtung nach einer beispielhaften Ausführungsform ist; und
16 ein detailliertes Blockdiagramm eines Kameramoduls aus 15 ist.

DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Nachfolgend werden Ausführungsformen unter Bezugnahme auf die beigefügten Zeichnungen detailliert beschrieben.
Der Begriff „Pixel“, „Pixelgruppe“, „Farbpixel“ oder „Subpixel“ kann sich auf einen physischen Bereich beziehen, in dem sich eine lichtempfindliche Vorrichtung befindet, die ein Objekt erfasst, oder auf einen Datenwert, der einem elektrischen Signal entspricht, das von einer lichtempfindlichen Vorrichtung erzeugt wird, die einen Teil eines Objekts erfasst. Der Begriff „Farbpixel“ kann als ein Datenwert betrachtet werden, der einem elektrischen Signal entspricht, das von einer lichtempfindlichen Vorrichtung erzeugt wird, außer bei der Beschreibung eines Bildsensors. Der Begriff „Pixel“ wird als umfassender Begriff verwendet, der einen Farbpixel und einen Subpixel einschließt.
Da die Integrationsdichte und die Verarbeitungsgeschwindigkeit von Halbleitervorrichtungen zunehmen, steigt auch die Anzahl der Bilder, die pro Sekunde erfasst werden können, und dementsprechend nimmt die Größe der Bilddaten, die von einer elektronischen Vorrichtung gespeichert und verarbeitet werden, allmählich zu. Daher wird eine Technik zur Komprimierung von Bilddaten für eine effiziente Bilddatenverarbeitung gewünscht.
Mit zunehmender Anzahl lichtempfindlicher Vorrichtungen, die ein Lichtsignal in ein elektrisches Signal umwandeln, ist es einfacher, hochauflösende Bilder zu erzeugen. Mit zunehmender Integrationsdichte der lichtempfindlichen Vorrichtungen kann sich der physikalische Abstand zwischen den lichtempfindlichen Vorrichtungen verringern, und dementsprechend kann Rauschen wie Übersprechen auftreten und eine Verschlechterung der Bildqualität verursachen.
Bei einem niedrigen Lichtpegel ist es schwieriger, ein signifikantes Lichtsignal in eine lichtempfindliche Vorrichtung einzugeben, was ein Hindernis für die Erzeugung hochauflösender Bilder darstellen kann. Um ein hochauflösendes Bild bei einem niedrigen Lichtpegel zu erzeugen, kann eine Mehrzahl von Subpixeln verwendet werden, um ein einzelnes Farbpixel auszudrücken, indem jedes der Farbpixel, die sich einen einzelnen Farbfilter teilen, in eine Mehrzahl von Subpixeln unterteilt wird. Wenn die von den Subpixeln erzeugten elektrischen Signale addiert werden, kann eine signifikante Menge an Licht gesichert werden. Nach einer beispielhaften Ausführungsform kann ein einzelnes Farbpixel in vier oder neun Subpixel unterteilt werden. Die Anzahl der Subpixel ist jedoch nur ein Beispiel. Ein Farbpixel kann in eine quadratische Zahl wie 16 oder 25 oder in eine Matrixform wie mxn unterteilt werden, wobei „m“ und „n“ ganze Zahlen von mindestens 2 sind.
Um Bilddaten effektiver zu komprimieren, sind eine zufriedenstellende Komprimierungseffizienz und ein geringer Datenverlust erforderlich. Bei einem Verfahren zur Bildkomprimierung kann ein zu komprimierendes Zielpixel bestimmt werden, ein Referenzpixel kann aus Kandidatenpixeln ausgewählt werden, die an das Zielpixel angrenzen, und die Bilddaten können basierend auf einem Differenzwert zwischen dem Zielpixel und dem Referenzpixel komprimiert werden. Das Komprimierungsverfahren, das auf dem Pixeldifferenzwert basiert, kann als differentielle Pulscodemodulation (DPCM) bezeichnet werden.
Das Komprimierungsverfahren kann auch verwendet werden, wenn ein Bayer-Bild komprimiert wird, in dem Farbpixel, die jeweils eine Mehrzahl von Subpixeln enthalten, die sich einen Farbfilter teilen, in einem bestimmten Farbmuster angeordnet sind. In einer beispielhaften Ausführungsform kann ein Bayer-Muster ein bekanntes Muster enthalten, in dem Grün, Rot, Blau und Grün in einer Matrix aufeinanderfolgend angeordnet sind.
1 ist ein Blockdiagramm einer elektronischen Vorrichtung 10 nach einer beispielhaften Ausführungsform.
Die elektronische Vorrichtung 10 kann ein Bild eines Objekts unter Verwendung eines festen Bildsensors, wie z. B. eines CCD-Bildsensors (CCD=Charge-Coupled Device) oder eines CMOS-Bildsensors (CMOS=Complementary Metal Oxide Semiconductor), erfassen, das erfasste Bild verarbeiten oder das erfasste Bild in einem Speicher speichern und das verarbeitete Bild im Speicher speichern. Nach einer beispielhaften Ausführungsform kann die elektronische Vorrichtung 10 beispielsweise eine Digitalkamera, einen digitalen Camcorder, ein Mobiltelefon, einen Tischcomputer oder eine tragbare elektronische Vorrichtung enthalten. Die tragbare elektronische Vorrichtung kann einen Laptop-Computer, ein Mobiltelefon, ein Smartphone, einen Tablet-Personal-Computer (PC), einen persönlichen digitalen Assistenten (PDA), einen digitalen Assistenten für Unternehmen (EDA), eine digitale Standbildkamera, eine digitale Videokamera, ein Audiovorrichtung, einen tragbaren Multimedia-Player (PMP), eine persönliche Navigationsvorrichtung (PND), einen MP3-Player, eine Handheld-Spielkonsole, ein E-Book oder eine tragbare Vorrichtung enthalten. Die elektronische Vorrichtung 10 kann auch als Komponente an elektronischen Vorrichtungen, wie z. B. einer Drohne und einem fortschrittlichen Fahrerassistenzsystem (ADAS), Fahrzeugen, Möbeln, Fertigungsanlagen, Türen und/oder verschiedenen Arten von Messvorrichtungen angebracht werden. Die Ausführungsformen sind jedoch nicht darauf beschränkt.
Bezugnehmend auf 1 kann die elektronische Vorrichtung 10 einen Bildsensor 100, einen Bildsignalprozessor (ISP) 200, einen Anwendungsprozessor (AP) 300 und ein Speicher-Subsystem 400 enthalten. Der ISP 200 und der AP 300 können eine anwendungsspezifische integrierte Schaltung (ASIC), ein feldprogrammierbares Gate-Array (FPGA), einen dedizierten Mikroprozessor, einen Mikroprozessor, einen Allzweckprozessor oder Ähnliches enthalten.
Der Bildsensor 100 kann optische Signale eines Objekts, die durch eine optische Linse empfangen werden, in elektrische Signale umwandeln und basierend auf den elektrischen Signalen Bilddaten IDTA erzeugen und ausgeben. Der Bildsensor 100 kann auf einer elektronischen Vorrichtung montiert werden, das eine Bilderfassungsfunktion oder eine Lichterfassungsfunktion aufweist. Der Bildsensor 100 kann beispielsweise an elektronischen Vorrichtungen wie einer Kamera, einem Smartphone, einer am Körper tragbaren Vorrichtung, einer Intemet-of-Things (IoT)-Vorrichtung, einem Tablet-PC, einem PDA, einem PMP, einer Navigationsvorrichtung, einer Drohne und einem ADAS angebracht werden. Der Bildsensor 100 kann auch an elektronischen Vorrichtungen angebracht werden, die als Komponenten von Fahrzeugen, Möbeln, Fertigungsanlagen, Türen und/oder verschiedenen Arten von Messvorrichtungen verwendet werden. Der Bildsensor 100 kann durch den ISP 200 oder den AP 300 gesteuert werden, um ein Objekt zu erfassen, das durch eine Linse aufgenommen wurde.
Der Bildsensor 100 kann ein Pixelarray 110 enthalten.
Das Pixelarray 110 kann eine Mehrzahl von Zeilenleitungen, eine Mehrzahl von Spaltenleitungen, eine Mehrzahl von matrixförmig angeordneten Pixeln und eine Mehrzahl von Farbfiltern enthalten, die entsprechend den jeweiligen Pixeln angeordnet sind. Jedes der Pixel kann mit einer Zeilenleitung und einer Spaltenleitung verbunden sein.
Jedes der Pixel kann eine lichtempfindliche Vorrichtung enthalten. Die lichtempfindliche Vorrichtung kann Licht erfassen und das Licht in ein Pixelsignal umwandeln, das ein elektrisches Signal ist. Die lichtempfindliche Vorrichtung kann z. B. eine Fotodiode, einen Fototransistor, ein Fotogate, eine gepinnte Fotodiode (PPD) oder eine Kombination davon enthalten. Die lichtempfindliche Vorrichtung kann eine Vier-Transistor-Struktur aufweisen, die eine Fotodiode, einen Übertragungstransistor, einen Rückstelltransistor, einen Verstärkertransistor und einen Auswahltransistor enthält. Nach einer beispielhaften Ausführungsform kann die lichtempfindliche Vorrichtung beispielsweise eine Ein-Transistor-Struktur, eine Drei-Transistor-Struktur, eine Vier-Transistor-Struktur oder eine Fünf-Transistor-Struktur aufweisen oder eine Struktur aufweisen, bei der einige Transistoren von einer Mehrzahl von Pixeln gemeinsam genutzt werden.
Ein Farbfilter kann so angeordnet sein, dass er einem der im Pixelarray 110 enthaltenen Pixel entspricht und nur eine bestimmte Wellenlänge des auf eine lichtempfindliche Vorrichtung einfallenden Lichts durchlässt. In einer beispielhaften Ausführungsform kann der Farbfilter einen Bayer-Farbfilter enthalten. Ein Bayer-Muster basiert auf der Annahme, dass das menschliche Auge den größten Teil der Luminanzdaten von einer grünen Komponente eines Objekts ableitet. Die Hälfte der in einem Bayer-Farbfilter enthaltenen Pixel kann ein grünes Signal erfassen, ein Viertel der Pixel kann ein rotes Signal erfassen und das verbleibende Viertel der Pixel kann ein blaues Signal erfassen. Nach einer beispielhaften Ausführungsform kann der Bayer-Farbfilter eine Konfiguration aufweisen, in der 2x2 Farbpixel einschließlich eines roten Pixels, eines blauen Pixels und zweier grüner Pixel wiederholt angeordnet sind. Nach einer beispielhaften Ausführungsform kann der Bayer-Farbfilter eine Konfiguration aufweisen, in der 2x2 Farbpixel, einschließlich eines roten Pixels, eines blauen Pixels und zwei breiter grüner Pixel, wiederholt angeordnet sind. In einer beispielhaften Ausführungsform kann ein RGB-Farbfilter verwendet werden, bei dem ein Grünfilter für zwei von vier Pixeln und ein Blaufilter bzw. ein Rotfilter für die anderen beiden Pixel angeordnet sind. Die Ausführungsformen sind jedoch nicht darauf beschränkt. Beispielsweise kann ein CYGM-Farbfilter verwendet werden, bei dem Cyan-, Gelb-, Grün- und Magenta-Farbfilter jeweils für vier Pixel angeordnet sind. Darüber hinaus kann auch ein Cyan-, Gelb-, Grün- und Key-Farbfilter (CYMK) verwendet werden. Eine Mehrzahl von Farbfiltern kann eine einzige Farbfilterschicht bilden. Ein Bayer-Muster wird als Beispiel verwendet, aber die Ausführungsformen sind nicht auf das Bayer-Muster beschränkt. Es können verschiedene Muster verwendet werden, in denen Weiß oder Gelb enthalten ist oder mindestens zwei Farbbereiche zusammengeführt werden.
Der Bildsensor 100 kann ferner eine Mehrzahl von Modulen enthalten, die von der Pixelmatrix 110 erzeugte Pixelsignale verarbeiten. Nach einer beispielhaften Ausführungsform können die Module zusätzliche Komponenten enthalten, wie z. B. einen Zeilentreiber, einen Rampensignalgenerator, einen Timing-Generator, einen Analog-Digital-Wandler und eine Ausleseschaltung, um ein optisches Signal zu verarbeiten oder die Fähigkeit zur Bildabtastung zu verbessern. Beispielsweise kann die Ausleseschaltung Rohdaten auf der Grundlage eines elektrischen Signals des Pixelarrays 110 erzeugen und als Bilddaten IDTA die Rohdaten, wie sie sind, oder Rohdaten, die einer Vorverarbeitung unterzogen wurden, wie z. B. der Entfernung schlechter Pixel, ausgeben. Der Bildsensor 100 kann in einem Halbleiterchip oder -Package implementiert sein, das das Pixelarray 110 und die Ausleseschaltung enthält.
Der Bildsensor 100 kann die Bilddaten IDTA ausgeben, indem er ein Pixelsignal, das von der Pixelmatrix 110 erzeugt wird, mit einer Mehrzahl von Modulen verarbeitet.
Die Bilddaten IDTA sind das Ergebnis der Verarbeitung eines Pixelsignals unter Verwendung mehrerer Module, z. B. eines Rampensignalgenerators und einer Ausleseschaltung. In einer beispielhaften Ausführungsform können die Bilddaten IDTA einen Binärcode enthalten. In einer beispielhaften Ausführungsform können die Bilddaten IDTA Pixelinformationen eines Objekts und einen Pixelwert enthalten. Beispielsweise können die Bilddaten IDTA Pixelinformationen wie eine Position einer lichtempfindlichen Vorrichtung, die einen bestimmten Teil eines Objekts erfasst, in dem Pixelarray 110, eine Farbe eines Pixels, die der Typ eines Farbfilters ist, usw. enthalten. In einer beispielhaften Ausführungsform können die Bilddaten IDTA einen Pixelwert enthalten, der zu einem dynamischen Bereich von Daten gehört, die vom Bildsensor 100 verarbeitet werden können. Da der dynamische Bereich für ein einzelnes Pixel beispielsweise zehn Bits beträgt, können die Bilddaten IDTA einen erfassten Pixelwert unter Pixelwerten von 0 bis 1023 als Daten über das einzelne Pixel enthalten.
In einer beispielhaften Ausführungsform kann ein Satz von Pixelwerten als Bayer-Bild bezeichnet werden. Zu diesem Zeitpunkt kann das Bayer-Bild von einem Farbfilter unterschieden werden, der physikalisch eine bestimmte Wellenlänge des Lichts durchlässt. In einer beispielhaften Ausführungsform kann das Bayer-Bild einer abstrakten Form entsprechen, als die ein vom Bildsensor 100 erfasstes Bild vom ISP 200, dem AP 300 oder einer Benutzeroberfläche erfasst wird. Bei dem Bayer-Bild kann es sich um Bilddaten handeln, die Pixelinformationen eines kompletten Bildes enthalten, das in der elektronischen Vorrichtung 10 als eine einzelne Verarbeitungseinheit behandelt wird. Die Bilddaten können in dieser Spezifikation mit dem Begriff „Bayer-Bild“ beschrieben werden, aber es wird berücksichtigt, dass Ausführungsformen Farbfilter mit verschiedenen Mustern verwenden können, ohne auf einen Farbfilter mit einem Bayer-Muster beschränkt zu sein.
Der ISP 200 kann eine zentrale Verarbeitungseinheit (CPU), einen Mikroprozessor oder eine Mikrocontrollereinheit (MCU) enthalten. Die vom ISP 200 durchgeführte Verarbeitung kann sich auf die Anwendung eines Bildverbesserungsalgorithmus auf Bildartefakte beziehen. Beispielsweise kann der ISP 200 einen Weißabgleich, eine Entrauschung, eine Entmosaikung, eine Linsentönung, eine Gammakorrektur und/oder Ähnliches an einem empfangenen Bild durchführen, ist aber nicht darauf beschränkt. Der ISP 200 kann verschiedene Arten der Bildnachbearbeitung durchführen.
Der ISP 200 kann eine Bildverarbeitung an den Bilddaten IDTA durchführen. Beispielsweise kann der ISP 200 eine Bildverarbeitung an den Bilddaten IDTA durchführen, um ein Datenformat zu ändern, z. B. um ein Bayer-Muster in ein YUV-Format oder ein RGB-Format zu ändern, oder eine Bildverarbeitung, wie z. B. eine Enttäuschung, eine Helligkeitsanpassung und/oder eine Schärfeanpassung, um die Bildqualität zu verbessern. Der ISP 200 kann die Hardware der elektronischen Vorrichtung 10 bilden. Obwohl der ISP 200 in 1 vom Bildsensor 100 getrennt ist, sind die Ausführungsformen nicht darauf beschränkt. Der ISP 200 kann einstückig mit dem Bildsensor 100 oder dem AP 300 vorgesehen sein.
Nach einer beispielhaften Ausführungsform kann der ISP 200 die Bilddaten IDTA, die ein Ausgangssignal des Bildsensors 100 sind, empfangen und kodierte Daten ED erzeugen, die ein Ergebnis der Verarbeitung der Bilddaten IDTA sind. Die kodierten Daten ED können über eine erste Schnittstelle 250 nach außen gegeben werden.
Der ISP 200 kann einen Kodierer 210, einen Moduswähler 230 und die erste Schnittstelle 250 enthalten. Nach einer beispielhaften Ausführungsform kann der ISP 200 die Bilddaten IDTA empfangen und die codierten Daten ED ausgeben.
Der Kodierer 210 kann eine Datengröße durch Komprimieren der Bilddaten IDTA reduzieren und die Bilddaten IDTA nach einem Bildstandard kodieren, so dass die Bilddaten IDTA von einem Prozessor, z. B. dem AP 300, verarbeitet werden können. Nach einer beispielhaften Ausführungsform kann der Kodierer 210 komprimierte Daten CD durch Komprimieren der Bilddaten IDTA erzeugen und die komprimierten Daten CD an den Moduswähler 230 ausgeben. Nach einer beispielhaften Ausführungsform kann der Kodierer 210 ein Modussignal MODE vom Moduswähler 230 empfangen und die kodierten Daten ED durch Ausführen einer Kodierung entsprechend einem Komprimierungsmodus erzeugen.
Nach einer beispielhaften Ausführungsform kann der Kodierer 210, wenn er die Bilddaten IDTA komprimiert, alle Pixel der Bilddaten IDTA, die Pixelwerte enthalten, die durch Abtasten eines Objekts erhalten wurden, mit Ausnahme eines gesättigten Pixels SP, das übermäßig viel Licht empfängt, mit einem Referenzpixel vergleichen, das die gleichen Farbinformationen wie das gesättigte Pixel SP aufweist und dem gesättigten Pixel SP benachbart ist.
Nach einer beispielhaften Ausführungsform kann das gesättigte Pixel SP Daten entsprechen, die einen Pixelwert aufweisen, der durch den Empfang von übermäßigem Licht erzeugt wird. Nach einer beispielhaften Ausführungsform enthält das gesättigte Pixel SP Daten eines Pixels, das helles Licht repräsentiert, so dass das menschliche Auge keinen deutlichen Unterschied zu einer größten Helligkeit erfassen kann. Das gesättigte Pixel SP kann einen Pixelwert aufweisen, der sich geringfügig von einem maximalen Pixelwert unterscheidet, der von einem Pixel dargestellt werden kann, aber wenig Einfluss auf die Auflösung eines Bildes aufweist.
Nach einer beispielhaften Ausführungsform kann das gesättigte Pixel SP einen Pixelwert aufweisen, der größer als ein Schwellenwert in einem dynamischen Bereich ist, der eine Datengröße ist, die ein einzelnes Pixel aufweisen kann. Nach einer beispielhaften Ausführungsform kann der Schwellenwert einem Pixelwert entsprechen, der nahe an einer oberen Grenze des dynamischen Bereichs eines einzelnen Pixels liegt. Wenn beispielsweise der dynamische Bereich eines einzelnen Pixels zehn Bits beträgt, d. h. wenn ein Pixel zehn Bits an Informationen enthält, kann das einzelne Pixel einen Pixelwert von 0 bis 1023 aufweisen, und der Schwellenwert kann 1000 sein. Zu diesem Zeitpunkt kann ein Pixel mit einem Pixelwert, der größer oder gleich 1000 ist, als das gesättigte Pixel SP klassifiziert werden. Der Schwellenwert kann z. B. 95 % der oberen Grenze des dynamischen Bereichs eines einzelnen Pixels entsprechen, ist aber nicht darauf beschränkt.
Ein Schwellenwert, anhand dessen ein Pixel als gesättigtes Pixel SP klassifiziert wird, kann mit dem dynamischen Bereich eines einzelnen Pixels, einer Bildaufnahmeumgebung oder einer erforderlichen Auflösung variieren.
Nach einer beispielhaften Ausführungsform kann sich der Schwellenwert bei abnehmendem dynamischen Bereich eines einzelnen Pixels proportional zur Abnahme der Obergrenze eines Pixelwerts ändern. Wenn der dynamische Bereich beispielsweise acht Bits beträgt, kann der dynamische Bereich eines einzelnen Pixels 0 bis 255 betragen, und der Schwellenwert kann 230 sein. Wenn der dynamische Bereich z. B. zwölf Bits beträgt, kann der dynamische Bereich eines einzelnen Pixels 0 bis 4191 betragen und der Schwellenwert kann 4000 sein.
Nach einer beispielhaften Ausführungsform kann der Schwellenwert erhöht werden, wenn die Bildaufnahmeumgebung viele gesättigte Pixel erzeugt. Wenn sich die Bildaufnahmeumgebung beispielsweise im Freien oder in einer Situation mit viel Gegenlicht befindet, kann der Schwellenwert 1020 betragen. Wenn sich die Bildaufnahmeumgebung beispielsweise in Innenräumen oder in einer Situation mit wenig Gegenlicht befindet, kann der Schwellenwert 950 sein.
Nach einer beispielhaften Ausführungsform kann der Schwellenwert, wenn eine hohe Auflösung erforderlich ist, so eingestellt werden, dass er näher an der oberen Grenze des dynamischen Bereichs eines einzelnen Pixels liegt. Wenn z. B. eine hohe Auflösung erforderlich ist, kann der Schwellenwert eines 10-Bit-Pixels 1020 betragen. Wenn eine niedrige Auflösung erforderlich ist, kann der Schwellenwert eines 10-Bit-Pixels z. B. 980 sein.
Der Schwellenwert ist nicht auf die vorstehend genannten Zahlen beschränkt und kann variabel verändert werden, um eine optimale Komprimierungsrate zu erreichen.
In einer beispielhaften Ausführungsform kann ein Referenzpixel eines aus einer Mehrzahl von Pixeln sein. Das Referenzpixel kann die gleiche Farbe wie ein zu komprimierendes Zielpixel aufweisen. Das Referenzpixel kann vor dem Zielpixel komprimiert werden. Das Referenzpixel kann vor dem Zielpixel rekonstruiert werden und somit bei der Dekodierung des Zielpixels herangezogen werden. Das Referenzpixel kann sich in einer vorbestimmten Richtung und Entfernung vom Zielpixel befinden.
In einer beispielhaften Ausführungsform kann sich der Referenzpixel auf ein virtuelles Pixel beziehen, das einen bestimmten Wert aufweist. Beispielsweise kann sich das Referenzpixel auf ein virtuelles Pixel beziehen, das einen durchschnittlichen Pixelwert einer Mehrzahl von Pixeln oder einen mittleren Pixelwert der jeweiligen Pixelwerte der Pixel aufweist, wobei die jeweiligen Pixelwerte in aufsteigender (oder absteigender) Reihenfolge sortiert sind. Die Beziehung zwischen dem Referenzpixel und dem Zielpixel wird unter Bezugnahme auf 5A und 5B im Detail beschrieben.
Der Kodierer 210 kann die kodierten Daten ED durch Kodierung der Bilddaten IDTA erzeugen. Die kodierten Daten ED können als Bitstrom ausgegeben werden. Der ISP 200 kann das Lesen und Schreiben von im Speicher-Subsystem 400 gespeicherten Daten durchführen, während er die Bilddaten IDTA kodiert.
Der Kodierer 210 kann die Größe eines Bayer-Bildes reduzieren, indem er die Bilddaten IDTA komprimiert, die den ursprünglichen Pixeldaten entsprechen, die durch einen Bayer-Farbfilter erhalten wurden. Das Bayer-Bild kann sich auf Bayer-Muster-Pixeldaten beziehen, die durch das Pixelarray 110 erhalten werden.
Nach einer beispielhaften Ausführungsform kann der Kodierer 210 ein Pixel, dessen Pixelwert größer als ein Schwellenwert in den Bilddaten IDTA ist, als das gesättigte Pixel SP klassifizieren. Nach einer beispielhaften Ausführungsform kann der Kodierer 210 ein Referenzpixel bestimmen, das unter den Kandidatenpixeln, die die gleichen Farbinformationen wie das gesättigte Pixel SP enthalten, physisch an das gesättigte Pixel SP angrenzt. Nach einer beispielhaften Ausführungsform kann der Kodierer 210 den Pixelwert eines zu komprimierenden Zielpixels mit dem Pixelwert des Referenzpixels vergleichen, um die Datenmenge zu reduzieren.
Wenn ein Bild eines Objekts aufgenommen wird, kann es einen großen Pixelwertunterschied zwischen einem zu komprimierenden Zielpixel und einem Kandidatenpixel oder einem Referenzpixel geben, das sich in der Nähe des Zielpixels befindet. Der große Pixelwertunterschied kann durch ein Spotpixel verursacht werden, das auftritt, wenn ein vom Bildsensor 100 erfasstes Bild im Vergleich zu anderen umgebenden Objekten relativ klein ist und einen großen Helligkeits- oder Farbkontrast aufweist, ein schlechtes Pixel, das auftritt, wenn ein Erfassungsfehler des Bildsensors 100 vorliegt, ein Kantenpixel in einer Ecke eines Bayer-Bildes, eine Situation, in der viel Gegenlicht in einer Bildaufnahmeumgebung vorhanden ist, oder eine Außenbildaufnahmeumgebung. In diesen Fällen kann die Komprimierungsrate aufgrund des großen Unterschieds zwischen einem Kandidatenpixel, das für die Komprimierung herangezogen wird, und einem benachbarten Pixel stark abnehmen oder die Bildqualität kann sich verschlechtern. Dementsprechend ist es notwendig, die Komprimierung unter Berücksichtigung von Fällen eines großen Pixelwertunterschieds zwischen dem Zielpixel und jedem der anderen benachbarten Pixel durchzuführen. Wenn ein Flag bei der Komprimierung berücksichtigt wird, kann eine Verschlechterung der Bildqualität verhindert werden. Ein Verfahren zur Komprimierung von Daten auf der Grundlage eines Vergleichs, z. B. einer Subtraktion zwischen dem Zielpixel und dem Referenzpixel, kann als DPCM ausgeführt werden.
Da die Bilddaten IDTA zeilenweise von links nach rechts kodiert bzw. dekodiert werden, ist es notwendig, das Referenzpixel, das mit dem Zielpixel verglichen werden soll, im Voraus zu kodieren bzw. zu dekodieren. Daher kann sich nach einer beispielhaften Ausführungsform das Referenzpixel auf der linken oder oberen Seite des Zielpixels befinden. Die beispielhaften Ausführungsformen sind jedoch nicht darauf beschränkt. Eines der Pixel, die einem gesättigten Pixel benachbart sind und sich in einem Bereich befinden, der nach einer Kodier- oder Dekodierreihenfolge kodiert oder dekodiert wurde, kann als Referenzpixel bestimmt werden. Zum Beispiel kann unter den Pixeln, die die gleichen Farbinformationen wie das gesättigte Pixel SP aufweisen, ein Pixel, das dem gesättigten Pixel SP am nächsten ist und sich auf der linken Seite befindet, als Referenzpixel bestimmt werden. Zu diesem Zeitpunkt kann die relative Position zwischen dem gesättigten Pixel SP und dem Referenzpixel oder die relative Position zwischen dem Zielpixel und dem Referenzpixel bestimmt werden. Wenn das Referenzpixel bestimmt wird, wird die relative Position des Referenzpixels in Bezug auf das Zielpixel auch von einem Dekodierer 310 mitgeteilt. Die Position des Referenzpixels kann auf die Position des gesättigten Pixels SP bezogen werden.
Nach einer beispielhaften Ausführungsform kann der Kodierer 210 Daten in Einheiten von Pixelgruppen komprimieren, wobei jede Pixelgruppe einen Satz von Pixeln enthält. Nach einer beispielhaften Ausführungsform kann der Kodierer 210, wenn eine Pixelgruppe ein gesättigtes Pixel enthält, nur Positionsinformationen des gesättigten Pixels erzeugen, ohne das gesättigte Pixel zu komprimieren. Nach einer beispielhaften Ausführungsform kann der Kodierer 210, wenn er nur die Positionsinformationen des gesättigten Pixels speichert, ohne das gesättigte Pixel zu komprimieren, was zu einer Verringerung der Komprimierungsrate führt, einen Raum, in dem das gesättigte Pixel gespeichert ist, für ein anderes Pixel neu zuweisen.
Nach einer beispielhaften Ausführungsform kann der Kodierer 210 einen Bitstrom durch Komprimierung einer Pixelgruppe erzeugen. Nach einer beispielhaften Ausführungsform kann der Bitstrom einen Header enthalten, der ein Komprimierungsverfahren, einen Komprimierungsmodus, eine Komprimierungsrate, Verlustinformationen oder Ähnliches angibt, ein Sättigungspositionsflag, das Positionsinformationen eines gesättigten Pixels enthält, und Restinformationen, die eine Pixelwertdifferenz zwischen einem zu komprimierenden Zielpixel und einem Referenzpixel angeben. Nach einer beispielhaften Ausführungsform kann, wenn eine Pixelwertdifferenz zwischen dem gesättigten Pixel und dem Referenzpixel nicht im Bitstrom gespeichert wird, der begrenzte Platz des Bitstroms für ein nicht gesättigtes Pixel zugewiesen werden, und dementsprechend kann eine Datenverlustrate des nicht gesättigten Pixels reduziert werden. Die Strukturen eines Bitstroms werden unter Bezugnahme auf die 6 bis 11 beschrieben.
Ein Prozess zur Kodierung der Bilddaten IDTA unter Verwendung des Kodierers 210 wird unter Bezugnahme auf die 2 und 6 bis 12 im Detail beschrieben.
Der Moduswähler 230 kann die komprimierten Daten CD empfangen und einen Komprimierungsmodus, in dem die Bilddaten IDTA kodiert sind, aus einer Mehrzahl von Komprimierungsmodi bestimmen. Nach einer beispielhaften Ausführungsform kann der ISP 200 verschiedene Komprimierungsmodi nach einem zu komprimierenden Ziel, einer Komprimierungsrate, einer Fehlerrate und/oder Verlustinformationen aufweisen. Nach einer beispielhaften Ausführungsform kann der Moduswähler 230 die Komprimierungsrate, die Fehlerrate und die Verlustinformationen der komprimierten Daten CD in einem aktuellen Komprimierungsmodus mit denen in anderen Komprimierungsmodi prüfen und vergleichen.
Nach einer beispielhaften Ausführungsform, wenn die komprimierten Daten CD eine bessere Leistung als die Ergebnisse anderer Komprimierungsmodi zeigen, kann der Moduswähler 230 das Modussignal MODE, das anweist, die Bilddaten IDTA in einem Komprimierungsmodus zu kodieren, in dem die komprimierten Daten CD erzeugt wurden, an den Kodierer 210 ausgeben. In einer beispielhaften Ausführungsform, wenn die komprimierten Daten CD keine bessere Leistung als die Ergebnisse anderer Komprimierungsmodi zeigen, kann der Moduswähler 230 das Modussignal MODE ausgeben, das anweist, die Bilddaten IDTA in einem besseren Komprimierungsmodus als dem Komprimierungsmodus zu kodieren, in dem die komprimierten Daten CD erzeugt wurden. Als Komprimierungsmodus kann ein Sättigungsmodus, bei dem ein gesättigtes Pixel in einer Pixelgruppe nicht komprimiert wird, oder ein Bad-Pixel-Modus, bei dem ein schlechtes Pixel erfasst wird, verwendet werden. Verschiedene Komprimierungsmodi werden unter Bezugnahme auf die 13A und 13B im Detail beschrieben.
Die erste Schnittstelle 250 kann eine Kopplung zwischen Vorrichtungen unterstützen, so dass die kodierten Daten ED nach einem für eine andere Vorrichtung oder Modul geeigneten Standard übertragen werden. Eine Schnittstelle ist ein physikalisches Protokoll oder ein Standard, der die reibungslose Übertragung von Daten und/oder Signalen zwischen Vorrichtungen mit voneinander unterschiedlichen Standards und Konfigurationen ermöglicht.
In einer beispielhaften Ausführungsform kann die erste Schnittstelle 250 zur Übertragung der kodierten Daten ED an den AP 300 dieselbe Schnittstelle verwenden, die auch der AP 300 unterstützt. In einer beispielhaften Ausführungsform kann die erste Schnittstelle 250 zum Speichern der kodierten Daten ED im Speicher-Subsystem 400 Daten über die gleiche Schnittstelle übertragen, die das Speicher-Subsystem 400 unterstützt.
Ein Kameramodul 50 kann den Bildsensor 100 und den ISP 200 enthalten. Die vom Kameramodul 50 erzeugten kodierten Daten ED können als Bitstrom ausgegeben werden. Die kodierten Daten ED können von einer Vorrichtung, z. B. dem Dekodierer 310, dekodiert werden, das das gleiche Protokoll wie das Kameramodul 50 verwendet. Ein Protokoll enthält Regeln eines Komprimierungsalgorithmus, die ein Komprimierungsverfahren, eine Komprimierungsreihenfolge, ein Komprimierungsbit, die Position eines Referenzpixels oder Ähnliches beinhalten, und kann sich auf eine gegenseitige Vereinbarung beziehen, die es ermöglicht, die Dekodierung nach demselben Prinzip wie die Kodierung durchzuführen. Nach einer beispielhaften Ausführungsform können die vom Kameramodul 50 erzeugten kodierten Daten ED unter Verwendung eines Protokolls dekodiert werden, was genau das gleiche ist wie ein Protokoll, das auf den Kodierer 210 des Kameramoduls 50 angewendet wird, und dementsprechend muss der Dekodierer 310 nicht auf dem gleichen Halbleiterchip wie der Kodierer 210 montiert sein. Nach einer beispielhaften Ausführungsform kann der Hersteller des Kameramoduls 50 ein anderer sein als der Hersteller des AP 300.
Obwohl das Kameramodul 50 in 1 keinen Speicher enthält, sind die beispielhaften Ausführungsformen nicht darauf beschränkt. Nach einer beispielhaften Ausführungsform kann das Kameramodul 50 einen Teil des Speichers des Speicher-Subsystems 400 enthalten. Zum Beispiel kann das Kameramodul 50 einen dynamischen Direktzugriffsspeicher (DRAM) als Teil des Speichers des Speicher-Subsystems 400 enthalten. Die Ausführungsformen sind jedoch nicht darauf beschränkt. Beispielsweise kann das Kameramodul 50 verschiedene Arten von Speichern enthalten, wie statisches RAM (SRAM), das Hochgeschwindigkeitsdatenzugriff unterstützt. Wenn ein Speicher im Kameramodul 50 enthalten ist, kann das Kameramodul 50 eine 3-Stapel-Struktur aufweisen.
Der AP 300 kann eine CPU, einen Mikroprozessor oder eine MCU enthalten. Der AP 300 kann eine Nachbearbeitung eines vom Dekodierer 310 ausgegebenen dekodierten Bitstroms durchführen. Die Nachbearbeitung kann sich auf die Anwendung eines Bildverbesserungsalgorithmus auf Bildartefakte beziehen. Beispielsweise kann der AP 300 einen Weißabgleich, eine Entrauschung, eine Entmosaikung, eine Linsenschattierung, eine Gammakorrektur und Ähnliches auf den dekodierten Bitstrom anwenden, ist aber nicht darauf beschränkt. Der AP 300 kann verschiedene Funktionen ausführen, um die Bildqualität zu verbessern.
Der AP 300 kann den Dekodierer 310 und eine zweite Schnittstelle 330 enthalten.
Die zweite Schnittstelle 330 kann die kodierten Daten ED als einen vom Kodierer 210 erzeugten Bitstrom empfangen. Die zweite Schnittstelle 330 kann Daten nach dem gleichen Protokoll wie die erste Schnittstelle 250 empfangen. In einer beispielhaften Ausführungsform kann eine MIPI-Allianz (Mobile Industry Processor Interface) von der ersten Schnittstelle 250 und der zweiten Schnittstelle 330 verwendet werden. MIPI ist ein von der MIPI-Allianz vereinbartes Protokoll und ist ein von den Herstellern mobiler Vorrichtungen gemeinsam definiertes Kommunikationsprotokoll in Bezug auf ein Schnittstellenverfahren und eine Schnittstellenspezifikation. Das Schnittstellenverfahren ist jedoch nicht darauf beschränkt, und es können verschiedene Datenkommunikations- und Signaleingabe-/ausgabeprotokolle verwendet werden.
Die zweite Schnittstelle 330 kann die kodierten Daten ED in einem für den AP 300 geeigneten Datenkommunikationsformat verarbeiten und die kodierten Daten ED an den Dekodierer 310 weitergeben.
Der Dekodierer 310 kann die kodierten Daten ED dekodieren. In einer beispielhaften Ausführungsform kann der Dekodierer 310 den ursprünglichen Pixelwert eines komprimierten Zielpixels rekonstruieren, indem er eine Zeile von Prozessen der Kodierung der Bilddaten IDTA, die vom Kodierer 210 durchgeführt wurden, in umgekehrter Reihenfolge ausführt. Zum Beispiel kann der Dekodierer 310 die Bilddaten IDTA rekonstruieren, die vom Kodierer 210 komprimiert wurden.
In einer beispielhaften Ausführungsform kann der Dekodierer 310 das gleiche Protokoll wie der Kodierer 210 verwenden. Der Dekodierer 310 kann ein Dekodierverfahren verwenden, das auf einem Algorithmus basiert, der einem vom Kodierer 210 verwendeten Kodierverfahren entspricht. Nach einer beispielhaften Ausführungsform kann die relative Position eines Referenzpixels in Bezug auf ein Zielpixel im Dekodierer 310 voreingestellt sein, wobei die relative Position durch den Kodierer 210 bestimmt wird. Wenn beispielsweise ein Pixel, das sich am nächsten links von dem gesättigten Pixel SP befindet, unter den Pixeln, die die gleichen Farbinformationen wie das gesättigte Pixel SP enthalten, als Referenzpixel bestimmt wird, kann der Dekodierer 310 das zu dekodierende Zielpixel auf der Grundlage des Pixelwerts des Referenzpixels dekodieren, das die gleichen Farbinformationen wie das Zielpixel aufweist und sich links von dem Zielpixel befindet. Nach einer beispielhaften Ausführungsform kann der Dekodierer 310 das Zielpixel unter Verwendung einer relativ kleinen Datenmenge rekonstruieren, indem er die Bilddaten IDTA basierend auf relativen Positionsinformationen zwischen dem Zielpixel und dem Referenzpixel dekodiert. Der Dekodiervorgang des Dekodierers 310 wird unter Bezugnahme auf 3 im Detail beschrieben.
Das Speicher-Subsystem 400 kann die Bilddaten IDTA, die komprimierten Daten CD und/oder die kodierten Daten ED speichern, die vom Bildsensor 100 oder dem ISP 200 vorgesehen werden. Das Speicher-Subsystem 400 kann rekonstruierte Daten speichem, die durch Dekodierung der kodierten Daten ED erzeugt werden. Das Speicher-Subsystem 400 kann gespeicherte Daten an andere Elemente der elektronischen Vorrichtung 10 weitergeben. Das Speicher-Subsystem 400 kann auch verschiedene Arten von System- oder Benutzerdaten speichern, die zur Steuerung der elektronischen Vorrichtung 10 erforderlich sind.
Das Speicher-Subsystem 400 kann einen flüchtigen oder nichtflüchtigen Speicher enthalten. Das Speicher-Subsystem 400 kann beispielsweise einen nichtflüchtigen Speicher, der verschiedene Arten von Informationen nichtflüchtig speichert, und einen flüchtigen Speicher, in den Informationen, wie z. B. Firmware geladen werden, die sich auf den Betrieb der elektronischen Vorrichtung 10 bezieht, enthalten. Der flüchtige Speicher kann DRAM, SRAM oder ähnliches enthalten. Der nichtflüchtige Speicher kann einen Festwertspeicher (ROM), programmierbares ROM (PROM), elektrisch programmierbares ROM (EPROM), elektrisch löschbares und programmierbares ROM (EEPROM), einen Flash-Speicher, ein Phase-Change-RAM (PRAM), ein magnetisches RAM (MRAM), ein resistives RAM (RRAM), ein ferroelektrisches RAM (FRAM) oder ähnliches enthalten.
In einer beispielhaften Ausführungsform kann ein Teil des Speicher-Subsystems 400 Daten des ISP 200 speichern, und der andere Teil des Speicher-Subsystems 400 kann Daten des AP 300 speichern und eine Cache-Speicherfunktion vorsehen. Obwohl in 1 dargestellt ist, dass das Speicher-Subsystem 400 sowohl den ISP 200 als auch den AP 300 unterstützt, dient dies nur zur konzeptionellen und funktionellen Beschreibung, dass das Speicher-Subsystem 400 Speicher- oder Cache-Speicherfunktionen unterstützt. Der ISP 200, der AP 300 und das Speicher-Subsystem 400 sind nicht unbedingt auf einem Halbleiterchip montiert.
In einer beispielhaften Ausführungsform kann ein Teil des Speicher-Subsystems 400 als Speichervorrichtung für Daten des ISP 200 verwendet werden und als Puffer fungieren, der zumindest einen Teil der Bilddaten IDTA vorübergehend speichert.
Nach einer beispielhaften Ausführungsform kann das Speicher-Subsystem 400 Daten puffern, die der ersten Zeile der Bilddaten IDTA entsprechen. Subpixel können in einer Matrix angeordnet sein, und der Kodierer 210 kann Daten erst nach dem Empfang aller Pixelinformationen eines Pixels komprimieren. Dementsprechend müssen die Daten, die der ersten Zeile der Bilddaten IDTA entsprechen, nicht sofort verarbeitet werden.
Wenn Daten, die der zweiten Zeile der Bilddaten IDTA entsprechen, dem Kodierer 210 zugeführt werden, kann der ISP 200 die Daten, die der ersten Zeile der Bilddaten IDTA entsprechen, in das Speicher-Subsystem 400 laden. Der Kodierer 210 kann die Daten des Pixels basierend auf den Daten, die der ersten Zeile der Bilddaten IDTA entsprechen, und den Daten, die der zweiten Zeile der Bilddaten IDTA entsprechen, komprimieren. Die komprimierten Daten können im Speicher-Subsystem 400 gespeichert werden.
Der ISP 200 und der AP 300 können als Verarbeitungsschaltkreis implementiert sein, z. B. als Hardwarekomponente mit einer Logikschaltung, oder durch eine Kombination aus Hardware und Software implementiert sein, z. B. durch einen Prozessor, der Software zur Durchführung der Komprimierung ausführt. Insbesondere kann die Verarbeitungsschaltung eine CPU, eine arithmetische Logikeinheit, die arithmetische und logische Operationen, Bitverschiebung oder Ähnliches durchführt, einen digitalen Signalprozessor (DSP), einen Mikroprozessor, eine anwendungsspezifische integrierte Schaltung (ASIC) oder Ähnliches umfassen, ist aber nicht darauf beschränkt.
Nach beispielhaften Ausführungsformen kann ein Bildkomprimierungsverfahren die Anzahl der einem nicht gesättigten Pixel zugewiesenen Bits erhöhen, indem ein gesättigtes Pixel nicht komprimiert wird, was zu einer Verringerung der Komprimierungsrate führt. Wenn die Anzahl der Bits, die einem nicht gesättigten Pixel zugewiesen werden, erhöht wird, kann die Verschlechterung der Bildqualität verringert und die Komprimierungsrate erhöht werden.
2 ist ein Blockdiagramm des Kodierers 210 nach einer beispielhaften Ausführungsform. Es wird auch auf 1 Bezug genommen.
Bezugnehmend auf 2 kann der Kodierer 210 einen E_Detektor 211, einen Sättigungs-Flag-Generator 213, einen Komprimierer 215, einen E_Rekonstruktor 217 und einen E_Referenzpuffer 219 enthalten. Der Kodierer 210 kann auch einen zentralen Prozessor enthalten, der im Allgemeinen den EDetektor 211, den E Referenzpuffer 219, den Sättigungs-Flag-Generator 213, den Komprimierer 215 und den E_Rekonstruktor 217 steuert. Jeder von dem E_Detektor 211, dem E_Referenzpuffer 219, dem Sättigungs-Flag-Generator 213, dem Komprimierer 215 und dem E_Rekonstruktor 217 kann von einem seiner Prozessoren betätigt werden, die gegenseitig und organisch betätigen können, so dass der Kodierer 210 als Ganzes arbeiten kann. Der E Detektor 211, das E_Referenzpuffer 219, der Sättigungs-Flag-Generator 213, der Komprimierer 215 und der E_Rekonstruktor 217 können von einem Prozessor außerhalb des Kodierers 210 gesteuert werden. Der mit Bezug auf 1 beschriebene Kodierer 210 kann auf den Kodierer 210 von 2 angewendet werden. Redundante Beschreibungen werden weggelassen, sofern sie sich nicht von denen unterscheiden, die unter Bezugnahme auf 1 gegeben wurden.
Der Kodierer 210 kann die Menge der Dateninformationen durch Komprimieren der Bilddaten IDTA vom Bildsensor 100 reduzieren. Nach einer beispielhaften Ausführungsform kann der Kodierer 210 die Bilddaten IDTA komprimieren, indem er ein zu komprimierendes Zielpixel in einem Bayer-Bild mit einer Mehrzahl von Kandidatenpixeln vergleicht, die sich in der Nähe des Zielpixels befinden.
Der E Detektor 211 kann die vom Bildsensor 100 erzeugten Bilddaten IDTA empfangen. Der E Detektor 211 kann die Pixel der Bilddaten IDTA in Gruppen unterteilen, die jeweils eine bestimmte Anordnung und eine bestimmte Anzahl von Pixeln aufweisen. Eine Gruppe von Pixeln kann als Pixelgruppe bezeichnet werden, und der Kodierer 210 kann Daten in Einheiten von Pixelgruppen verarbeiten. Zum Beispiel kann der E_Detektor 211 die Bilddaten IDTA Pixelgruppe für Pixelgruppe komprimieren. Jede Pixelgruppe kann ein zweidimensionales Array aufweisen, wie z. B. ein 3x3-Array oder ein 5x5-Array, oder ein 1x8-Array, in dem acht Pixel in einer Zeile angeordnet sind. Das 3x3-Array, das 5x5-Array und/oder das 1x8-Array, in denen 3, 5 und 1 die Anzahl der Spalten und 3, 5 und 8 die Anzahl der Zeilen sind, sind nur Beispiele. Die Ausführungsformen sind nicht auf die vorstehend genannten Anordnungen und Zahlen beschränkt.
Nach einer beispielhaften Ausführungsform kann der E_Detektor 211 ein zu komprimierendes Zielpixel und eine Mehrzahl von Kandidatenpixeln erfassen, die sich in der Nähe des Zielpixels befinden. Die Anzahl der gleichzeitig erfassten Pixel kann mit der Konfiguration und Größe einer Pixelgruppe variieren. Die Kandidatenpixel können sich auf der linken oder oberen Seite des Zielpixels befinden, aber die Positionen der Kandidatenpixel können entsprechend einer Kodierreihenfolge geändert werden.
Nach einer beispielhaften Ausführungsform kann der E_Detektor 211 das Vorhandensein eines gesättigten Pixels in einer Pixelgruppe erfassen. Nach einer beispielhaften Ausführungsform kann der E_Detektor 211 als gesättigtes Pixel SP in 1 ein Pixel bestimmen, dessen Pixelwert einen Schwellenwert unter den Pixeln in einer Pixelgruppe überschreitet. Wenn z. B. jedem Pixel zehn Bits zugewiesen werden und der dynamische Bereich des Pixels 0 bis 1023 beträgt, kann der Schwellenwert auf 1000 festgelegt werden. In diesem Fall kann der E_Detektor 211 ein Pixel, das einen Pixelwert von mehr als 1000 aufweist, als das gesättigte Pixel SP bestimmen. Der E_Detektor 211 kann das Pixel, das als gesättigtes Pixel SP bestimmt wurde, mit einer Attributinformation, z. B. einem Flag, versehen, die das gesättigte Pixel SP anzeigt.
Nach einer beispielhaften Ausführungsform kann der E_Detektor 211 das Vorhandensein von mindestens zwei gesättigten Pixeln in einer Pixelgruppe erfassen, und der Kodierer 210 kann Bilddaten in einem Sättigungsmodus komprimieren. Wenn beispielsweise mindestens zwei gesättigte Pixel in einer Pixelgruppe erfasst werden, kann der E Detektor 211 ein Signal an den Kodierer 210 übertragen, so dass der Kodierer 210 unabhängig vom Modussignal MODE im Sättigungsmodus arbeitet. Nach einer beispielhaften Ausführungsform kann der E Detektor 211 Informationen über ein Kandidatenpixel verwenden, die vom E _Rekonstruktor 217 rekonstruiert und im E_Referenzpuffer 219 gespeichert wurden, wenn ein neues Zielpixel kodiert wird, das auf ein altes Zielpixel folgt, das einer Kodierung unterzogen wurde. Nach einer beispielhaften Ausführungsform können alte Zielpixel, die kodiert wurden, als Kandidatenpixel verwendet werden, wenn ein neues Zielpixel komprimiert oder kodiert wird.
Der Sättigungs-Flag-Generator 213 kann Positionsinformationen eines gesättigten Pixels in einer Pixelgruppe in Form eines Flags erzeugen. Nach einer beispielhaften Ausführungsform kann der Sättigungs-Flag-Generator 213, wenn ein gesättigtes Pixel in einer Pixelgruppe enthalten ist, die eine Verarbeitungseinheit ist, ein Flag erzeugen, das eine Position des gesättigten Pixels in der Pixelgruppe mit einem Bit darstellt. Das Flag kann einen Wert enthalten, der durch Nummerierung von Richtungsinformationen eines Zielpixels und eines Referenzpixels oder durch Zuordnung der Richtungsinformationen zu einem bestimmten Bitwert erhalten wird.
Nach einer beispielhaften Ausführungsform kann der Sättigungs-Flag-Generator 213 ein nicht gesättigtes Pixel aus einer Mehrzahl von Pixeln, die in einer Pixelgruppe enthalten sind, als Bit 0 und ein gesättigtes Pixel als Bit 1 verarbeiten. Wenn beispielsweise eine Pixelgruppe vier Pixel enthält und das zweite Pixel in der Pixelgruppe ein gesättigtes Pixel ist, kann der Sättigungs-Flag-Generator 213 ein Flag von 0100 erzeugen. Die Verarbeitung eines nicht gesättigten Pixels als Bit 0 und eines gesättigten Pixels als Bit 1 ist jedoch nur ein Beispiel. Der Sättigungs-Flag-Generator 213 kann es ermöglichen, ein nicht gesättigtes Pixel von einem gesättigten Pixel mit verschiedenen Verfahren zu unterscheiden. Zum Beispiel kann der Sättigungs-Flag-Generator 213 ein nicht gesättigtes Pixel unter einer Mehrzahl von Pixeln, die in einer Pixelgruppe enthalten sind, als Bit 1 und ein gesättigtes Pixel als Bit 0 verarbeiten. Im Folgenden wird die vorstehende Beschreibung auf die Bit-Zuordnung angewendet, die bei der Unterscheidung zwischen einem nicht gesättigten Pixel und einem gesättigten Pixel zum Tragen kommt.
Der Komprimierer 215 kann einen Header, der ein Komprimierungsverfahren, einen Komprimierungsmodus, eine Komprimierungsrate, Verlustinformationen oder Ähnliches angibt, ein Sättigungspositionsflag, das Positionsinformationen eines gesättigten Pixels enthält, und Restinformationen, die eine Pixelwertdifferenz zwischen einem zu komprimierenden Zielpixel und einem Referenzpixel angeben, kodieren und kann ein Kodierergebnis in einem Bitstrom enthalten. Der Bitstrom kann eine Folge von kodierten Bits sein. In einer beispielhaften Ausführungsform kann ein Bitstrom ein Header-Feld enthalten, das Header-Informationen speichert, ein Sättigungs-Flag-Feld, das ein Sättigungs-Flag speichert, und ein Restfeld, das Restinformationen speichert, die eine Differenz zwischen einem Referenzpixel und einem Zielpixel anzeigen.
Da die Bilddaten IDTA zeilenweise von links nach rechts kodiert bzw. dekodiert werden, ist es notwendig, ein Referenzpixel, das mit einem Zielpixel verglichen werden soll, im Voraus zu kodieren bzw. zu dekodieren. Nach einer beispielhaften Ausführungsform kann der Kodierer 210 ein Pixel, das die gleichen Farbinformationen wie das Zielpixel enthält und dem Zielpixel links am nächsten ist, als Referenzpixel bestimmen. In einer beispielhaften Ausführungsform kann der Dekodierer 310, der die kodierten Daten ED mit einem Flag empfängt, beim Dekodieren des Zielpixels sofort das Referenzpixel bestimmen. Die beispielhaften Ausführungsformen sind jedoch nicht auf die vorstehend beschriebene Positionsbeziehung beschränkt. Es versteht sich, dass eines der Pixel, die einem gesättigten Pixel benachbart sind und sich in einem Bereich befinden, der nach einer Kodier- oder Dekodierreihenfolge kodiert oder dekodiert wurde, als Referenzpixel bestimmt werden kann.
In einer beispielhaften Ausführungsform kann der Komprimierer 215 das Zielpixel basierend auf den vorbestimmten relativen Positionsinformationen zwischen dem Zielpixel und dem Referenzpixel komprimieren. In einer beispielhaften Ausführungsform kann der Komprimierer 215 ein zu komprimierendes Zielpixel mit einem Referenzpixel vergleichen, das einen Referenzwert für die Komprimierung vorsieht, basierend auf relativen Positionsinformationen, die vorbestimmt oder als Attribut an Pixelinformationen angehängt sind. In einer beispielhaften Ausführungsform kann der Komprimierer 215 das Referenzpixel an einer Position lokalisieren, die von einer Position des Zielpixels aus vorbestimmt ist, und einen Pixelwert des Zielpixels mit einem Pixelwert des Referenzpixels vergleichen. Zum Beispiel kann der Komprimierer 215 eine Differenzoperation an dem Pixelwert des Zielpixels und dem Pixelwert des Referenzpixels durchführen, das sich direkt über dem Zielpixel befindet und die gleichen Farbinformationen wie das Zielpixel enthält. Als Ergebnis der Durchführung der Differenzoperation können Restinformationen erzeugt werden. Obwohl die Differenzoperation als Beispiel für eine Vergleichsoperation angegeben ist, sind die Ausführungsformen nicht darauf beschränkt, und es können verschiedene Operationen verwendet werden. Ein Verfahren zum Vergleich eines Zielpixels mit einem Kandidatenpixel ist nicht darauf beschränkt. Es können verschiedene Vergleichsverfahren verwendet werden, die einen Durchschnitt der Pixelwerte einer Mehrzahl von Kandidatenpixeln oder Ähnliches verwenden.
Nach einer beispielhaften Ausführungsform kann der Komprimierer 215 keine Differenzoperation an dem gesättigten Pixel SP in den Bilddaten IDTA durchführen. Nach einer beispielhaften Ausführungsform kann der Komprimierer 215 Restinformationen als Ergebnis der Durchführung einer Differenzoperation an einem Referenzpixel und einem nicht gesättigten Pixel aus einer Mehrzahl von Pixeln, die in einer Pixelgruppe enthalten sind, erzeugen. Wenn die Pixelgruppe jedoch das gesättigte Pixel SP enthält, kann der Komprimierer 215 nur ein Sättigungs-Flag, das durch den Sättigungs-Flag-Generator 213 erzeugt wird, in einem Bitstrom enthalten, ohne die Differenzoperation an dem Referenzpixel und dem gesättigten Pixel SP durchzuführen. Nach einer beispielhaften Ausführungsform kann, da das gesättigte Pixel SP nicht in dem Bitstrom enthalten ist, ein Speicherplatz für das Ergebnis der Durchführung der Differenzoperation an dem gesättigten Pixel SP und dem Referenzpixel für ein nicht gesättigtes Pixel in dem Bitstrom zugewiesen werden. Dementsprechend kann im Vergleich zu dem Fall, in dem Restinformationen des gesättigten Pixels SP im Bitstrom enthalten sind, die Restinformationen eines nicht gesättigten Pixels unter Verwendung von mehr Platz dargestellt werden, und daher kann eine Verlustrate bei der Komprimierung des nicht gesättigten Pixels reduziert werden.
Der Komprimierer 215 kann die Bilddaten IDTA basierend auf dem Modussignal MODE komprimieren. Nach einer beispielhaften Ausführungsform kann das Modussignal MODE den Komprimierer 215 anweisen, die Bilddaten IDTA entsprechend einem Komprimierungsmodus, einem Komprimierungsverfahren, einer Komprimierungsrate und/oder Verlustinformationen unterschiedlich zu komprimieren.
In einer beispielhaften Ausführungsform kann das Modussignal MODE vom Moduswähler 230 als Ergebnis der Auswertung der Komprimierungsrate, der Fehlerrate und der Verlustinformationen der komprimierten Daten CD erzeugt werden und einen aus einer Mehrzahl von Komprimierungsmodi anzeigen.
Nach einer beispielhaften Ausführungsform können die Komprimierungsverfahren DPCM, bei dem die Kodierung auf der Grundlage einer Differenzoperation eines Pixelwerts eines Zielpixels und eines von einem Referenzpixel bestimmten Referenzwerts durchgeführt wird, und ein Mittelungsverfahren, bei dem die Kodierung auf der Grundlage eines Mittelwerts von Pixelwerten von Originalpixeln durchgeführt wird, umfassen. Ein altes Zielpixel, das einer Kodierung unterzogen wurde, kann als Kandidatenpixel in einem DPCM-Modus verwendet werden, und Informationen über das Kandidatenpixel als das kodierte Zielpixel, das im DPCM-Modus verwendet wird, können im E_Referenzpuffer 219 gespeichert werden. Verschiedene Komprimierungsverfahren werden unter Bezugnahme auf die 13A und 13B im Detail beschrieben.
In einer beispielhaften Ausführungsform kann der Komprimierer 215 Restinformationen in einem Komprimierungsfeld eines Bitstroms enthalten. Zu diesem Zeitpunkt ist die Datengröße der Restinformationen größer als die Größe des dem Komprimierungsfeld zugewiesenen Speichers. Es kann zu Datenverlust oder einer Verschlechterung der Bildqualität kommen, wenn die Bilddaten IDTA komprimiert werden. Um eine Verschlechterung der Bildqualität zu verhindern, kann der Komprimierer 215 die Datengröße an die Größe des zugewiesenen Speichers anpassen, indem er eine Bitverschiebung an den im Komprimierungsfeld enthaltenen Restinformationen vornimmt.
Der Komprimierer 215 kann die kodierten Daten ED als Bitstrom ausgeben. Der Komprimierer 215 kann die kodierten Daten ED auch dem E_Rekonstruktor 217 zuführen, damit ein kodiertes Zielpixel dekodiert wird.
Der E _Rekonstruktor 217 kann Kandidatenpixel erzeugen, indem er die vom Komprimierer 215 ausgegebenen kodierten Daten ED rekonstruiert. In einer beispielhaften Ausführungsform kann der E _Rekonstruktor 217 eine ähnliche Konfiguration wie bei der vom Dekodierer 310 in 1 durchgeführten Dekodierung einstellen, indem er das kodierte Zielpixel dekodiert. Während der Kodierer 210 über alle ursprünglichen Pixelinformationen eines alten Zielpixels und dessen kodierte und dekodierte Pixelinformationen verfügt, verfügt der Dekodierer 310 nicht über die ursprünglichen Pixelinformationen des alten Zielpixels. Wenn der Kodierer 210 beispielsweise ein altes Originalpixel als Kandidatenpixel verwendet und der Dekodierer 310 keine Informationen über das alte Originalpixel aufweist, auf das sich der Kodierer 210 bezieht, kann ein Fehler in einem Rekonstruktionsergebnis auftreten, und dementsprechend kann es eine Diskordanz zwischen dem Kodierer 210 und dem Dekodierer 310 geben. Daher kann ein Pixel, das durch die Rekonstruktion eines alten Zielpixels, das einer Kodierung unterzogen wurde, erhalten wurde, als Kandidatenpixel verwendet werden. Der E _Rekonstruktor 217 kann ein rekonstruiertes Pixel im Speicher-Subsystem 400 speichern. Der E Rekonstruktor 217 kann das rekonstruierte Pixel direkt im E_Referenzpuffer 219 speichern.
Der E_Referenzpuffer 219 kann dem E Detektor 211 Informationen über ein Kandidatenpixel als Daten zur Codierung eines Zielpixels zuführen. Das Kandidatenpixel ist ein Nachbarpixel, das an das Zielpixel angrenzt und die gleichen Farbinformationen wie das Zielpixel aufweisen kann. Nach einer beispielhaften Ausführungsform kann der E_Referenzpuffer 219 Zeilenspeicher enthalten, die Pixelwerte von Nachbarpixeln eines Zielpixels speichern, die zur Kodierung des Zielpixels erforderlich sind. Nach einer beispielhaften Ausführungsform kann der E_Referenzpuffer 219 einen flüchtigen Speicher wie DRAM oder SRAM enthalten, ist aber nicht darauf beschränkt.
Nach beispielhaften Ausführungsformen kann ein Bildkomprimierungsverfahren die Anzahl der einem nicht gesättigten Pixel zugewiesenen Bits erhöhen, indem ein gesättigtes Pixel nicht komprimiert wird, was zu einer Verringerung der Komprimierungsrate führt. Wenn die Anzahl der Bits, die einem nicht gesättigten Pixel zugewiesen werden, erhöht wird, kann die Verschlechterung der Bildqualität verringert und die Komprimierungsrate erhöht werden. Darüber hinaus kann ein Bildkomprimierungsverfahren nach beispielhaften Ausführungsformen eine verlustfreie Komprimierung erreichen, wenn es viele gesättigte Pixel gibt.
3 ist ein Blockdiagramm des Dekodierers 310 nach einer beispielhaften Ausführungsform. Die 1 und 2 werden auch zusammen mit 3 betrachtet.
Der Dekodierer 310 kann die kodierten Daten ED dekodieren. In einer beispielhaften Ausführungsform kann der Dekodierer 310 den ursprünglichen Pixelwert eines komprimierten Zielpixels rekonstruieren oder dekodieren, indem er eine Zeile von Prozessen zur Kodierung der Bilddaten IDTA, die von dem Kodierer 210 von 2 durchgeführt wurden, in umgekehrter Reihenfolge ausführt. Folglich kann der Dekodierer 310 die Bilddaten IDTA rekonstruieren, die durch den Kodierer 210 komprimiert wurden.
In einer beispielhaften Ausführungsform kann der Dekodierer 310 das gleiche Protokoll wie der Kodierer 210 verwenden. Der Dekodierer 310 kann ein Dekodierverfahren verwenden, das auf einem Algorithmus basiert, der einem vom Kodierer 210 verwendeten Kodierverfahren entspricht. Nach einer beispielhaften Ausführungsform kann die relative Position eines Referenzpixels in Bezug auf ein Zielpixel im Dekodierer 310 voreingestellt sein, wobei die relative Position durch den Kodierer 210 bestimmt wird. Zum Beispiel kann der Dekodierer 310 ein zu rekonstruierendes Zielpixel unter Bezugnahme auf Daten dekodieren, die aus einer vorgegebenen Position eines Referenzpixels rekonstruiert wurden.
In einer beispielhaften Ausführungsform kann der Dekodierer die Bilddaten IDTA rekonstruieren, die in Pixelgruppeneinheiten komprimiert wurden. Eine Pixelgruppe ist eine Verarbeitungseinheit, die vom Kodierer 210 verwendet wird. Wenn z. B. eine Pixelgruppe mit einem 1x8-Array, das acht in einer Zeile angeordnete Pixel enthält, vom Kodierer 210 verwendet wird, kann der Dekodierer 310 ebenfalls eine Pixelgruppe mit dem 1x8-Array verwenden.
Der Dekodierer 310 kann einen D_Detektor 311, einen Modusbestimmer 313, einen Dekomprimierer 315, einen D_Rekonstruktor 317 und einen D_Referenzpuffer 319 enthalten. Der Dekodierer 310 kann auch einen zentralen Prozessor enthalten, der im Allgemeinen den D Detektor 311, den Modusbestimmer 313, den Dekomprimierer 315, den D_Rekonstruktor 317 und den D Referenzpuffer 319 steuert. Jeder von dem D Detektor 311, dem Modusbestimmer 313, dem Dekomprimierer 315, dem D_Rekonstruktor 317 und dem D Referenzpuffer 319 kann von einem Prozessor betrieben werden, und die Prozessoren können gegenseitig und organisch arbeiten, so dass der Dekodierer 310 als Ganzes arbeiten kann. Der D_Detektor 311, der Modusbestimmer 313, der Dekomprimierer 315, der D_Rekonstruktor 317 und der DReferenzpuffer 319 können von einem Prozessor außerhalb des Dekodierers 310 gesteuert werden. Da der D-Detektor 311, der D-Rekonstruktor 317 und der D-Referenzpuffer 319 des Dekodierers 310 in 3 konfiguriert sind, um eine ähnliche Funktion wie der E_Detektor 211, der E_Rekonstruktor 217 und der E_Referenzpuffer 219 des Kodierers 210 in 2 auszuführen oder eine umgekehrte Operation eines Algorithmus durchzuführen, der von dem entsprechenden E_Detektor 211, dem E _Rekonstruktor 217 und dem E_Referenzpuffer 219 ausgeführt wird, werden redundante Beschreibungen weggelassen.
Der D_Detektor 311 kann eine Pixelgruppe, die als Kodiereinheit verwendet wurde, in den kodierten Daten ED erfassen. In einer beispielhaften Ausführungsform kann der D_Detektor 311 eine Pixelgruppe, die eine Dekodiereinheit ist, in den kodierten Daten ED erfassen, die die Form eines Bitstroms eines Binärcodes aufweisen.
Der Modusbestimmer 313 kann den Header eines Bitstroms dekodieren und einen Komprimierungsmodus, ein Komprimierungsverfahren, eine Komprimierungsrate und Verlustinformationen identifizieren. Nach einer beispielhaften Ausführungsform kann der Modusbestimmer 313 als Ergebnis der Dekodierung des Headers identifizieren, dass DPCM als Komprimierungsverfahren verwendet wurde und dass ein Sättigungsmodus, bei dem das gesättigte Pixel SP in 1 nicht komprimiert wird, als Komprimierungsmodus verwendet wurde. In einer beispielhaften Ausführungsform kann der Modusbestimmer 313 erfassen, dass der Sättigungsmodus als Komprimierungsmodus verwendet wurde, indem er ein Sättigungs-Flag überprüft. In einer beispielhaften Ausführungsform kann der Modusbestimmer 313 die Anzahl der Bitverschiebungsoperationen und ein Vorzeichen des Vergleichsergebnisses aus dem Header bestimmen und ein Verfahren zum Vergleichen eines Zielpixels mit einem Referenzpixel zur Erzeugung eines rekonstruierten Pixels bestimmen.
Der Dekomprimierer 315 kann ein Zielpixel basierend auf dem bestimmten Komprimierungsmodus, dem Komprimierungsverfahren, der Komprimierungsrate und den Verlustinformationen rekonstruieren. Nach einer beispielhaften Ausführungsform kann der Dekomprimierer 315 ein Zielpixel rekonstruieren, indem er die Position eines Referenzpixels basierend auf vorbestimmten relativen Positionsinformationen zwischen dem Zielpixel und dem Referenzpixel identifiziert und Restinformationen zum Pixelwert des Referenzpixels addiert. Nach einer beispielhaften Ausführungsform können die Restinformationen relativ signifikante Daten enthalten, und dementsprechend kann die Rekonstruktionsrate des Zielpixels erhöht werden.
Nach einer beispielhaften Ausführungsform kann der Dekomprimierer 315 ein Sättigungs-Flag in den kodierten Daten ED prüfen und die Position eines gesättigten Pixels identifizieren.
Nach einer beispielhaften Ausführungsform kann der Dekomprimierer 315 in einer Pixelgruppe ein Pixel, das als nicht in der Position eines gesättigten Pixels befindlich bestimmt wurde, dekomprimieren. Nach einer beispielhaften Ausführungsform kann der Dekomprimierer 315 ein Zielpixel rekonstruieren, indem er eine Addition an einem nicht gesättigten Pixel und einem Referenzpixel durchführt. Wenn z. B. ein erstes Pixel einem Bit 0 in einem Sättigungs-Flag entspricht, kann ein Pixelwert des Referenzpixels zu den dem ersten Pixel entsprechenden Restinformationen addiert werden, um das Zielpixel zu rekonstruieren. Ein Rekonstruktionsergebnis kann als rekonstruierte Daten RIDTA ausgegeben werden.
Nach einer beispielhaften Ausführungsform kann der Dekomprimierer 315 die Rekonstruktion eines Zielpixels durch Addition des Pixelwerts und eines Referenzpixelwerts überspringen, wenn bestimmt wird, dass sich ein Pixel in der Position eines gesättigten Pixels in einer Pixelgruppe befindet. Wenn z. B. ein zweites Pixel einem Bit 1 in einem Sättigungs-Flag entspricht, kann das Zielpixel so rekonstruiert werden, dass es einen vorbestimmten Sättigungswert aufweist. Zum Beispiel kann das zweite Pixel als ein Pixel mit einem Sättigungswert von 1000 als Pixelwert rekonstruiert werden.
Nach einer beispielhaften Ausführungsform kann der Dekomprimierer 315 ein gesättigtes Pixel so rekonstruieren, dass es einen vorgegebenen Rekonstruktionswert als Pixelwert aufweist. Nach einer beispielhaften Ausführungsform kann ein von dem Dekodierer 310 verwendeter Schwellenwert derselbe sein wie der Schwellenwert, der von dem Kodierer 210 verwendet wird, um ein gesättigtes Pixel in einer Pixelgruppe zu bestimmen. Nach einer beispielhaften Ausführungsform kann ein vom Dekodierer 310 verwendeter Schwellenwert der Durchschnitt aus einem Schwellenwert, der vom Kodierer 210 zur Bestimmung eines gesättigten Pixels verwendet wird, und dem Maximalwert des dynamischen Bereichs eines einzelnen Pixels sein. Neben den vorstehend beschriebenen Werten können verschiedene Rekonstruktionswerte verwendet werden, um eine Rekonstruktionsrate zu erhöhen.
Der D_Rekonstruktor 317 kann ein Zielpixel rekonstruieren, das anschließend rekonstruiert werden soll, indem die rekonstruierten Daten RIDTA neu angeordnet werden. In einer beispielhaften Ausführungsform kann der D _Rekonstruktor 317 eine (N+1)-te Zeile basierend auf den rekonstruierten Daten RIDTA einer N-ten Zeile rekonstruieren, wobei N eine natürliche Zahl ist.
Der D_Rekonstruktor 317 kann Daten, die einem Referenzpixel entsprechen, früher rekonstruieren als ein zu rekonstruierendes Zielpixel. Da der Dekodierer 310 die Daten sequentiell zeilenweise rekonstruiert, müssen die dem Referenzpixel entsprechenden Daten vor den zu rekonstruierenden Zieldaten rekonstruiert werden.
Der D_Referenzpuffer 319 kann Daten puffern, die der ersten Zeile der Kodierdaten ED entsprechen. Während die Daten, die der ersten Zeile der Kodierdaten ED entsprechen, gepuffert werden, kann der D_Detektor 311 Daten erfassen, die der zweiten Zeile der Kodierdaten ED entsprechen. Wenn der D Detektor 311 die Daten verarbeitet, die der zweiten Zeile der Kodierdaten ED entsprechen, können die Daten, die der ersten Zeile der Kodierdaten ED entsprechen, aus dem D_Referenzpuffer 319 in den D_Detektor 311 geladen werden, und dementsprechend können die jeweiligen Bilder der ersten und zweiten Zeile der Kodierdaten ED gleichzeitig bestimmt werden. Der Dekodierer 310 kann Bilddaten der ersten Zeile puffern, ohne die Kodierdaten ED sofort zu dekodieren, und gleichzeitig Kodierdaten ED dekodieren, die der ersten und zweiten Zeile entsprechen, wenn er Kodierdaten ED der zweiten Zeile dekodiert, und dementsprechend kann der Energieverbrauch für die Dekodierung reduziert werden.
4 ist ein Ablaufdiagramm eines Bildkomprimierungsverfahrens nach einer beispielhaften Ausführungsform. Es wird auch auf 1 Bezug genommen.
Der Kodierer 210 in 1 kann ein gesättigtes Pixel in einer in den Bilddaten IDTA enthaltenen Pixelgruppe in der Operation S110 erfassen. In einer beispielhaften Ausführungsform kann der Kodierer 210 ein gesättigtes Pixel, dessen Pixelwert einen Schwellenwert überschreitet, in einer Pixelgruppe aus einer Mehrzahl von Pixeln erfassen, die einander benachbart sind und die gleiche Farbe aufweisen wie jeder andere. Der Schwellenwert kann 95 % der oberen Grenze des dynamischen Bereichs eines Pixelwerts sein, den jedes der Pixel aufweisen kann, ist aber nicht darauf beschränkt. Wenn beispielsweise zehn Bits für einen Pixelwert zugewiesen werden, kann der Schwellenwert 1000 betragen, ist aber nicht darauf beschränkt.
Der Kodierer 210 kann in der Operation S120 ein Sättigungs-Flag erzeugen, das die Position des gesättigten Pixels anzeigt. Der Kodierer 210 kann eine Position eines gesättigten Pixels auf ein Bit 1 und eine Position eines nicht gesättigten Pixels auf ein Bit 0 setzen oder eine Position eines gesättigten Pixels auf ein Bit 0 und eine Position eines nicht gesättigten Pixels auf ein Bit 1 setzen. Dem Sättigungs-Flag können vier Bits zugewiesen werden, aber die Ausführungsformen sind nicht darauf beschränkt.
Der Kodierer 210 kann die Bilddaten IDTA komprimieren, indem er jedes aller Pixel außer dem gesättigten Pixel mit einem Referenzpixel in der Operation S130 vergleicht. Das Referenzpixel kann vorbestimmt sein. Das Referenzpixel kann vor einem Zielpixel komprimiert werden. Das Referenzpixel kann sich vor dem Zielpixel befinden. Beispielsweise kann sich das Referenzpixel in einer Zeile befinden, die dem Zielpixel vorausgeht. Das Referenzpixel kann sich z. B. links vom Zielpixel befinden. Das Referenzpixel kann z. B. einem Pixelwert entsprechen, der früher als das Zielpixel komprimiert und rekonstruiert wurde. Die vorstehend beschriebene Position des Referenzpixels gilt jedoch für den Fall, dass die Komprimierung sequentiell zeilenweise von links nach rechts durchgeführt wird, und kann je nach Komprimierungsreihenfolge und -richtung geändert werden. Als Komprimierungsverfahren kann ein Differenzverfahren verwendet werden, die Ausführungsformen sind jedoch nicht darauf beschränkt. Es können verschiedene Komprimierungsverfahren verwendet werden.
Als Komprimierungsverfahren kann ein Differenzverfahren verwendet werden. Das Differenzverfahren komprimiert Daten durch Berechnung einer Differenz zwischen einem Pixelwert eines Referenzpixels und einem Pixelwert eines Zielpixels. Die beispielhafte Ausführungsform geht davon aus, dass einer aus einer Mehrzahl von Pixeln als Referenzpixel ausgewählt wird, aber die beispielhaften Ausführungsformen sind nicht darauf beschränkt. Beispielsweise kann sich das Referenzpixel auf ein virtuelles Pixel beziehen, das einen durchschnittlichen Pixelwert einer Mehrzahl von Pixeln oder einen mittleren Pixelwert der jeweiligen Pixelwerte der Pixel aufweist, wobei die jeweiligen Pixelwerte in aufsteigender oder absteigender Reihenfolge sortiert sind.
Der Kodierer 210 kann in der Operation S140 einen Bitstrom ausgeben, der das Sättigungs-Flag, ein Komprimierungsergebnis und Komprimierungsinformationen enthält. Nach einer beispielhaften Ausführungsform können die Komprimierungsinformationen in einem Header-Feld des Bitstroms enthalten sein, das Sättigungs-Flag kann in einem Flag-Feld des Bitstroms enthalten sein, und das Komprimierungsergebnis kann in einem Restfeld des Bitstroms enthalten sein.
Nach einer beispielhaften Ausführungsform kann der Bitstrom auf der Grundlage des Modussignals MODE zur Ausgabe bestimmt werden oder nicht. Beispielsweise kann der Kodierer 210 den Bitstrom, der das Sättigungs-Flag, das Komprimierungsergebnis und die Komprimierungsinformationen, die einen Sättigungsmodus anzeigen, enthält, entsprechend dem Modussignal MODE, das den Sättigungsmodus anzeigt, ausgeben. Beispielsweise kann der Kodierer 210 einen Bitstrom mit einer anderen Struktur nach dem Modussignal MODE ausgeben, das einen anderen Komprimierungsmodus als den Sättigungsmodus anzeigt.
Nach einer beispielhaften Ausführungsform kann der Kodierer 210 zwei oder mehr gesättigte Pixel erfassen. Wenn mindestens zwei gesättigte Pixel vorhanden sind, kann der Kodierer 210 unabhängig vom Modussignal MODE einen Bitstrom ausgeben, der dem Sättigungsmodus entspricht.
5A und 5B sind konzeptionelle Diagramme, die die Strukturen von Pixeln nach beispielhaften Ausführungsformen veranschaulichen. Es wird auch auf 1 verwiesen.
Unter Bezugnahme auf 5A können die vom Bildsensor 100 in 1 erzeugten Bilddaten IDTA den Pixelinformationen eines Objekts in einem Bayer-Muster entsprechen. Bilddaten in einem Bayer-Muster können als Bayer-Bild bezeichnet werden.
Die Bilddaten IDTA können ein Bayer-Pixel 111 enthalten. Das Bayer-Pixel 111 kann eine Gruppe von Pixeln enthalten, die alle roten, grünen und blauen Farbinformationen enthalten. Das Bayer-Pixel 111 kann Pixel enthalten, die in einem Bayer-Muster angeordnet sind. Das Bayer-Pixel 111 kann eine Grundeinheit sein, in der die Farbinformationen eines Teils eines Objekts angezeigt werden.
Das Bayer-Pixel 111 kann eine Pixelgruppe 113 enthalten. In einer beispielhaften Ausführungsform kann das Bayer-Pixel 111 eine rote Pixelgruppe, zwei grüne Pixelgruppen und eine blaue Pixelgruppe enthalten. Das Bayer-Pixel 111 kann Farbinformationen eines Teils eines erfassten Objekts enthalten und kann einem Teil des Pixelarrays 110 in 1 entsprechen.
Die Pixelgruppe 113 kann eine Mehrzahl von Subpixeln 115 enthalten. Eine Mehrzahl von Subpixeln 115, die in einer Pixelgruppe 113 enthalten sind, werden durch Durchlaufen desselben Farbfilters erzeugt und können daher die gleichen Farbinformationen wie jedes andere aufweisen.
Die Subpixel 115 können in einer Matrix angeordnet sein. Obwohl die Subpixel 115 in 5A in einer 2x2-Matrix angeordnet sind, sind die Ausführungsformen nicht darauf beschränkt. Die Subpixel 115 können in einer MxN-Matrix, z. B. einer 3x3-Matrix, angeordnet sein, wobei M und N natürliche Zahlen sind.
In einer beispielhaften Ausführungsform kann eine grüne Pixelgruppe vier grüne Subpixel Gr1, Gr2, Gr3 und Gr4 enthalten. In ähnlicher Weise kann in einer beispielhaften Ausführungsform eine blaue Pixelgruppe vier blaue Subpixel B1, B2, B3 und B4 enthalten, und eine rote Pixelgruppe kann vier rote Subpixel R1, R2, R3 und R4 enthalten. Da das Bayer-Pixel 111 dem Bayer-Muster entspricht, kann das Bayer-Pixel 111 zwei grüne Pixelgruppen enthalten. Dementsprechend kann eine weitere grüne Pixelgruppe vier grüne Subpixel Gb1, Gb2, Gb3 und Gb4 enthalten, die sich von den grünen Subpixeln Gr1, Gr2, Gr3 und Gr4 unterscheiden.
Zwei grüne Pixel, die im Bayer-Pixel 111 enthalten sind, weisen die gleichen Farbinformationen auf, sind aber physikalisch so angeordnet, dass sie unterschiedliche Merkmale verarbeiten und sich somit wesentlich unterscheiden können. In einer beispielhaften Ausführungsform können die grünen Subpixel Gr1 bis Gr4 in der ersten und zweiten Zeile des Bayer-Pixels 111 auf ein Merkmal eines roten Pixels bezogen sein, und die grünen Subpixel Gb1 bis Gb4 in der dritten und vierten Zeile des Bayer-Pixels 111 können auf ein Merkmal eines blauen Pixels bezogen sein.
Da eine Mehrzahl von Subpixeln 115 Subpixelsignale der gleichen Farbe erzeugen, kann die elektronische Vorrichtung 10 von 1 durch Aufsummieren der Subpixelsignale ein elektrisches Signal ausreichend erzeugen, das einem Ergebnis der Lichterfassung selbst bei einem geringen Lichtpegel entspricht.
Bezugnehmend auf 5B können die grünen Subpixel Gr1 bis Gr4 in der ersten und zweiten Zeile des Bayer-Pixels 111 einem Referenzpixel RP entsprechen, und die grünen Subpixel Gb1 bis Gb4 in der dritten und vierten Zeile des Bayer-Pixels 111 können einem zu komprimierenden Zielpixel TP entsprechen.
In einer beispielhaften Ausführungsform kann die Position des Referenzpixels RP vorgegeben sein. Die Position des Referenzpixels RP, die im Kodierer 210 in 1 vorgegeben ist, kann die gleiche sein wie die Position des Referenzpixels RP, die im Dekodierer 310 in 1 vorgegeben ist. Der Dekodierer 310 kann das Zielpixel TP rekonstruieren, indem er sich auf Daten bezieht, die der Position des Referenzpixels RP entsprechen.
Das Referenzpixel RP kann vor dem Zielpixel TP komprimiert werden, und die Position des Referenzpixels RP kann logisch und zeitlich vor der Position des Zielpixels TP liegen. Beispielsweise kann sich das Referenzpixel RP links vom Zielpixel TP befinden. Das Referenzpixel RP kann z. B. einem Pixelwert entsprechen, der vor dem Zielpixel TP komprimiert und rekonstruiert wurde. Das Referenzpixel RP kann sich z. B. in einer Zeile befinden, die dem Zielpixel TP vorausgeht. Die vorstehend beschriebene Position des Referenzpixels gilt jedoch für den Fall, dass die Komprimierung sequentiell zeilenweise von links nach rechts durchgeführt wird, und kann je nach Reihenfolge und Richtung der Komprimierung geändert werden, und die Ausführungsformen sind nicht darauf beschränkt.
Obwohl davon ausgegangen wird, dass eines aus einer Mehrzahl von Pixeln, z. B. die Pixelgruppe 113 (5A), als Referenzpixel RP in 5B ausgewählt wird, sind die Ausführungsformen nicht darauf beschränkt. Zum Beispiel kann das Referenzpixel RP ein virtuelles Pixel sein, das einen durchschnittlichen Pixelwert von Subpixeln aufweist, die eine Pixelgruppe bilden. Beispielsweise kann das Referenzpixel RP ein virtuelles Pixel sein, das einen mittleren Pixelwert der jeweiligen Pixelwerte von Subpixeln aufweist, die eine Pixelgruppe bilden, wobei die jeweiligen Pixelwerte in aufsteigender oder absteigender Reihenfolge sortiert sind.
Nach einer beispielhaften Ausführungsform kann das Zielpixel TP das gesättigte Pixel SP enthalten. Das gesättigte Pixel SP weist einen Pixelwert auf, der einen Schwellenwert in einem dynamischen Bereich überschreitet, der einer Datengröße entspricht, die jedes Subpixel aufweisen kann. Zum Beispiel kann jedes der Subpixel Gb2 und Gb3 des Zielpixels TP einen Pixelwert aufweisen, der den Schwellenwert überschreitet.
Nach einer beispielhaften Ausführungsform kann jeder der jeweiligen Pixelwerte der Subpixel Gb2 und Gb3 basierend auf einem Ergebnis des Vergleichs jedes der jeweiligen Pixelwerte der Subpixel Gb2 und Gb3 mit einem Pixelwert des Referenzpixels RP komprimiert werden. Beispielsweise kann der Kodierer 210 einen Differenzwert zwischen dem Pixelwert des Subpixels Gb2 und dem Pixelwert des Referenzpixels RP und einen Differenzwert zwischen dem Pixelwert des Subpixels Gb3 und dem Pixelwert des Referenzpixels RP berechnen und einen Bitstrom als Ergebnis der Komprimierung der Differenzwerte ausgeben.
6 ist ein konzeptionelles Diagramm, das die Struktur eines Bitstroms bei DPCM zeigt. 6 kann den Bitstrom zeigen, der in das Komprimierungsverfahren von 4 einbezogen ist. In 6 wird davon ausgegangen, dass der Bitstrom ein Ergebnis der Komprimierung von vier Pixeln ist, die jeweils Daten in zehn Bit ausdrücken.
Wie in 1, 4 und 6 gezeigt, enthält der Bitstrom ein Header-Feld, ein Referenzfeld und ein Restfeld. Nach einer beispielhaften Ausführungsform können dem Header-Feld vier Bits zugewiesen werden, um die Header-Informationen H auszudrücken. Die Header-Informationen H beziehen sich auf einen kodierten Bitsatz, der ein Komprimierungsverfahren angibt, z. B. Informationen über einen Komprimierungsalgorithmus wie DPCM oder PCM. Durch die Zuweisung von vier Bits für die Header-Information H können 2⁴ (=16) Komprimierungsinformationen über die Header-Information übertragen werden. Nach einer beispielhaften Ausführungsform kann der Dekodierer 310 die Header-Informationen H für ein Verfahren zur Komprimierung von Subpixeln heranziehen und den Bitstrom mit demselben Verfahren dekodieren.
Nach einer beispielhaften Ausführungsform kann der Kodierer 210 in 1 eine Pixelgruppe oder ein Subpixel an einer vorbestimmten Position als Referenzpixel RP festlegen. Das Referenzpixel RP kann sich auf einen Pixelwert eines entsprechenden Pixels, einen durchschnittlichen Pixelwert von Subpixeln, die eine Pixelgruppe bilden, oder einen Median-Pixelwert der Pixelwerte der Subpixel beziehen. Das Referenzpixel RP kann eine Vergleichsreferenz für die Datenkomprimierung sein.
Nach einer beispielhaften Ausführungsform können dem Referenzpixel RP vier Bits zugewiesen werden. Da einem Datenraum für das Referenzpixel RP vier Bits zugewiesen werden, während das Referenzpixel RP einen 10-Bit-Pixelwert aufweisen kann, kann der Datenraum R unzureichend sein. Daher kann der Kodierer 210 einen Teil der Daten des Referenzpixels RP entfernen. Nach einer beispielhaften Ausführungsform kann der Kodierer 210 die unteren sechs Bits von zehn Bits des Referenzpixels RP entfernen und nur die oberen vier Bits des Referenzpixels RP in das Referenzfeld des Bitstroms aufnehmen. Eine beliebige Anzahl unterer Bits kann aus den Bits des Referenzpixels RP entsprechend der erforderlichen Leistung, z. B. der Komprimierungsrate, der Datenverlustrate oder des Energieverbrauchs, des Kodierers 210 entfernt werden.
Nach einer beispielhaften Ausführungsform können drei Bits einem einzelnen Restfeld RESIDUAL1-4 zugeordnet werden. Eine Pixelgruppe, z. B. die Pixelgruppe 113 in 5A, kann vier Subpixel enthalten, z. B. Subpixel 115 in 5A, und insgesamt zwölf Bits 3 BIT_1, 3 BIT_2, 3 BIT_3 und 3 BIT_4 können einem Feld für insgesamt vier Subpixel 115 in dem Bitstrom zugewiesen werden, der die Daten der Pixelgruppe 113 überträgt. Die in einem Restfeld enthaltenen Daten können einem Differenzwert zwischen dem Pixelwert des Referenzpixels RP und dem Pixelwert des Zielpixels TP entsprechen.
Dadurch können insgesamt 40 Bit der Daten der vier Subpixel 115 in 16 Bit komprimiert werden. Wenn zu den 16 Bits vier Bits für den Header mit Komprimierungsinformationen hinzugefügt werden, können 40 Bits Daten in 20 Bits komprimiert werden, und es kann eine Komprimierungsrate von 50 % erreicht werden. Die Ausführungsformen sind jedoch nicht darauf beschränkt. Die komprimierten Daten können je nach der erforderlichen Leistung, z. B. einer Komprimierungsrate, einer Datenverlustrate oder dem Energieverbrauch, verschiedene Größen aufweisen, z. B. 10 Bit (entsprechend einer Komprimierungsrate von 75 %) und 30 Bit (entsprechend einer Komprimierungsrate von 25 %).
7 bis 9 sind konzeptionelle Diagramme, die die Strukturen von Bitströmen mit unterschiedlicher Bitzuweisung entsprechend der Anzahl der gesättigten Pixel SP nach einer beispielhaften Ausführungsform darstellen. In 7 bis 9 wird davon ausgegangen, dass ein Bitstrom aus der Komprimierung von vier Pixeln resultiert, von denen jedes die Daten in zehn Bits ausdrückt. Jedes der vier Pixel, z. B. das erste bis vierte Pixel P1, P2, P3 und P4, kann sich auf ein Subpixel oder einen durchschnittlichen Pixelwert oder einen mittleren Pixelwert einer Pixelgruppe beziehen.
Unter Bezugnahme auf 1, 5B und 7 kann der Kodierer 210 in 1 das erste bis vierte Pixel P1, P2, P3 und P4 kodieren. Der Kodierer 210 kann eine Komprimierungsrate von 50 % anstreben, und die Gesamtdatenmenge eines Bitstroms, die als Ergebnis der Komprimierung erreicht wird, kann 20 Bit betragen.
Der Kodierer 210 kann das vierte Pixel P4 als ein gesättigtes Pixel SP in 1 bestimmen. Das gesättigte Pixel SP weist einen Pixelwert auf, der aufgrund eines übermäßigen Lichtempfangs einen Schwellenwert überschreitet.
Der Kodierer 210 kann das Zielpixel TP in 5B mit dem Referenzpixel RP in 5B vergleichen und die Bilddaten IDTA in 1 komprimieren. Nach einer beispielhaften Ausführungsform kann der Kodierer 210 das Referenzpixel RP mit jedem der nicht gesättigten Pixel, z. B. dem ersten bis dritten Pixel P1, P2 und P3, mit Ausnahme des gesättigten Pixels SP, z. B. dem vierten Pixel P4, in der Pixelgruppe vergleichen. Beispielsweise kann der Kodierer 210 einen Differenzwert zwischen dem Pixelwert jedes der nicht gesättigten Pixel, z. B. des ersten bis dritten Pixels P1, P2 und P3, und dem Pixelwert des Referenzpixels RP berechnen.
Der Kodierer 210 kann ein Komprimierungsverfahren in einem Header enthalten, dem vier Bits zugeordnet sind. Der Header kann z. B. als Bits 0111 ausgedrückt werden.
Der Kodierer 210 kann eine Position des gesättigten Pixels SP, z. B. das vierte Pixel P4, in ein Sättigungs-Flag-Feld aufnehmen, dem vier Bits zugeordnet sind. Da zum Beispiel nur das vierte Pixel P4 das gesättigte Pixel SP ist, kann ein Sättigungs-Flag als Bits 0001 ausgedrückt werden.
Der Kodierer 210 kann ein Komprimierungsergebnis, z. B. den Differenzwert, in einen Restraum aufnehmen, dem vier Bits zugeordnet sind. Beispielsweise kann ein Ergebnis der Komprimierung des ersten Pixels P1 in einem 4-Bit-Restraum P1_1 enthalten sein, ein Ergebnis der Komprimierung des zweiten Pixels P2 kann in einem 4-Bit-Restraum P2_1 enthalten sein, und ein Ergebnis der Komprimierung des dritten Pixels P3 kann in einem 4-Bit-Restraum P3_1 enthalten sein.
Nach einer beispielhaften Ausführungsform kann der Kodierer 210 das gesättigte Pixel SP, z. B. das vierte Pixel P4, nicht mit dem Referenzpixel RP vergleichen und kann ein Ergebnis der Komprimierung jedes einzelnen nicht gesättigten Pixels, z. B. des ersten bis dritten Pixels P1, P2 und P3, in der Pixelgruppe 113 in ein Restfeld aufnehmen. Dementsprechend kann der Kodierer 210 im Vergleich zu dem Fall, in dem Daten von vier Pixeln in einem Restfeld in 6 enthalten sind, die Datenmenge, die ein nicht gesättigtes Pixel ausdrückt, z. B. das erste, zweite oder dritte Pixel P1, P2 oder P3, von drei Bits auf vier Bits erhöhen, was eine Erhöhung des dynamischen Bereichs anzeigt. Dementsprechend kann die Verschlechterung der Bildqualität, die durch den Datenverlust während der Komprimierung verursacht wird, reduziert werden. Außerdem kann im Vergleich zu einem Komprimierungsverfahren mit der gleichen Komprimierungsrate ein Bild mit einer höheren Auflösung erhalten werden.
Unter Bezugnahme auf 1, 5B und 8 kann der Kodierer 210 das erste bis vierte Pixel P1, P2, P3 und P4 kodieren. Wie vorstehend unter Bezugnahme auf 7 beschrieben, kann der Kodierer 210 eine Komprimierungsrate von 50 % anstreben, und die Gesamtdatenmenge eines Bitstroms, die als Ergebnis der Komprimierung erreicht werden soll, kann 20 Bit betragen. Redundante Beschreibungen, die mit Bezug auf 7 gegeben wurden, werden weggelassen.
Der Kodierer 210 kann das dritte und vierte Pixel P3 und P4 als gesättigte Pixel SP bestimmen. Der Kodierer 210 kann das Zielpixel TP mit dem Referenzpixel RP vergleichen und die Bilddaten IDTA komprimieren.
Nach einer beispielhaften Ausführungsform kann der Kodierer 210 das Referenzpixel RP mit jedem der nicht gesättigten Pixel, z. B. dem ersten und zweiten Pixel P1 und P2, mit Ausnahme der gesättigten Pixel SP, z. B. dem dritten und vierten Pixel P3 und P4, in der Pixelgruppe vergleichen. Zum Beispiel kann der Kodierer 210 einen Differenzwert zwischen dem Pixelwert jedes der nicht gesättigten Pixel, z. B. des ersten und zweiten Pixels P1 und P2, und dem Pixelwert des Referenzpixels RP berechnen.
Der Kodierer 210 kann eine Position jedes der gesättigten Pixel SP, z. B. des dritten und vierten Pixels P3 und P4, in ein Sättigungs-Flag-Feld aufnehmen, dem vier Bits zugeordnet sind. Da zum Beispiel das dritte und vierte Pixel P3 und P4 die gesättigten Pixel SP sind, kann ein Sättigungs-Flag als Bits 0011 ausgedrückt werden.
Der Kodierer 210 kann ein Komprimierungsergebnis, z. B. den Differenzwert, in einen Restraum aufnehmen, dem sechs Bits zugeordnet sind. Beispielsweise kann ein Ergebnis der Komprimierung des ersten Pixels P1 in einem 6-Bit-Restraum P1_2 enthalten sein, und ein Ergebnis der Komprimierung des zweiten Pixels P2 kann in einem 6-Bit-Restraum P2_2 enthalten sein.
Nach einer beispielhaften Ausführungsform kann der Kodierer 210 die gesättigten Pixel SP, z. B. das dritte und vierte Pixel P3 und P4, nicht mit dem Referenzpixel RP vergleichen und kann ein Ergebnis der Komprimierung jedes einzelnen nicht gesättigten Pixels, z. B. des ersten und zweiten Pixels P1 und P2, in der Pixelgruppe 113 in ein Restfeld aufnehmen. Dementsprechend kann der Kodierer 210 im Vergleich zu dem Fall, in dem Daten von drei Pixeln in einem Restfeld in 7 enthalten sind, die Datenmenge, die ein nicht gesättigtes Pixel, z. B. das erste oder zweite Pixel P1 oder P2, ausdrückt, von vier Bits auf sechs Bits erhöhen, was eine Erhöhung des dynamischen Bereichs bedeutet. Dementsprechend kann die Verschlechterung der Bildqualität, die durch den Datenverlust während der Komprimierung verursacht wird, reduziert werden. Außerdem kann im Vergleich zu einem Komprimierungsverfahren mit der gleichen Komprimierungsrate ein Bild mit einer höheren Auflösung erhalten werden.
Nach einer beispielhaften Ausführungsform kann die Komprimierungsrate erhöht werden, je mehr gesättigte Pixel SP erfasst werden, und die Verschlechterung der Bildqualität kann verringert werden.
Unter Bezugnahme auf 1, 5B und 9 kann der Kodierer 210 das erste bis vierte Pixel P1, P2, P3 und P4 kodieren. Wie vorstehend unter Bezugnahme auf 7 beschrieben, kann der Kodierer 210 eine Komprimierungsrate von 50 % anstreben, und die Gesamtdatenmenge eines Bitstroms, die als Ergebnis der Komprimierung erreicht werden soll, kann 20 Bit betragen. Redundante Beschreibungen, die mit Bezug auf 7 gegeben wurden, werden weggelassen.
Der Kodierer 210 kann das zweite, dritte und vierte Pixel P2, P3 und P4 als gesättigte Pixel SP bestimmen. Der Kodierer 210 kann das Zielpixel TP mit dem Referenzpixel RP vergleichen und die Bilddaten IDTA komprimieren.
Nach einer beispielhaften Ausführungsform kann der Kodierer 210 das Referenzpixel RP mit einem nicht gesättigten Pixel, z. B. dem ersten Pixel P1, unter Ausschluss der gesättigten Pixel SP, z. B. dem zweiten, dritten und vierten Pixel P2, P3 und P4, in der Pixelgruppe vergleichen. Der Kodierer 210 kann beispielsweise einen Differenzwert zwischen dem Pixelwert des nicht gesättigten Pixels, z. B. des ersten Pixels P1, und dem Pixelwert des Referenzpixels RP berechnen.
Der Kodierer 210 kann eine Position jedes der gesättigten Pixel SP, z. B. des zweiten, dritten und vierten Pixels P2, P3 und P4, in ein Sättigungs-Flag-Feld aufnehmen, dem vier Bits zugeordnet sind. Da zum Beispiel das zweite, dritte und vierte Pixel P2, P3 und P4 die gesättigten Pixel SP sind, kann ein Sättigungs-Flag als Bits 0011 ausgedrückt werden.
Der Kodierer 210 kann ein Komprimierungsergebnis (z. B. den Differenzwert) in einen Restraum aufnehmen, dem zwölf Bits zugewiesen sind. Zum Beispiel kann ein Ergebnis der Komprimierung des ersten Pixels P1 in einem 10-Bit-Restraum P1_3 des 12-Bit-Restraums enthalten sein. Ein Datenfeld, das zwei weitere Bits speichern kann, ist ein Dummy-Feld, das nicht für die Komprimierung verwendet wird.
Nach einer beispielhaften Ausführungsform kann der Kodierer 210 die gesättigten Pixel SP, z. B. das zweite, dritte und vierte Pixel P2, P3 und P4, nicht mit dem Referenzpixel RP vergleichen und kann ein Ergebnis der Komprimierung nur des nicht gesättigten Pixels, z. B. des ersten Pixels P1, in der Pixelgruppe 113 in einem Restfeld enthalten. Dementsprechend kann der Kodierer 210 im Vergleich zu dem Fall, in dem Daten von zwei Pixeln in einem Restfeld in 8 enthalten sind, die Datenmenge, die ein nicht gesättigtes Pixel, z. B. das erste Pixel P1, ausdrückt, von sechs Bits auf zwölf Bits erhöhen, was eine Erhöhung des dynamischen Bereichs bedeutet. Dementsprechend kann eine verlustfreie Komprimierung ohne Datenverlust während der Komprimierung erreicht werden. Nach einer beispielhaften Ausführungsform kann die Komprimierungsrate erhöht werden, je mehr gesättigte Pixel SP erfasst werden, und die Verschlechterung der Bildqualität kann verringert werden.
10 ist ein konzeptionelles Diagramm, das die Struktur von Pixeln nach einer beispielhaften Ausführungsform zeigt.
Unter Bezugnahme auf 10 können die Bilddaten IDTA in 1 ein Bayer-Pixel 112 enthalten, das eine Gruppe von Pixeln ist, die alle roten, grünen und blauen Farbinformationen enthalten. Das Bayer-Pixel 112 kann eine Grundeinheit sein, in der die Farbinformationen eines Teils eines Objekts angezeigt werden.
Das Bayer-Pixel 112 kann eine Pixelgruppe 114 enthalten. In einer beispielhaften Ausführungsform kann das Bayer-Pixel 112 eine rote Pixelgruppe, zwei grüne Pixelgruppen und eine blaue Pixelgruppe enthalten. Das Bayer-Pixel 112 kann Farbinformationen eines Teils eines erfassten Objekts enthalten und kann einem Teil des Pixelarrays 110 in 1 entsprechen.
Die Pixelgruppe 114 kann eine Mehrzahl von Subpixeln 116 enthalten. Eine Mehrzahl von Subpixeln 116, die in einer Pixelgruppe 114 enthalten sind, werden durch Durchlaufen desselben Farbfilters erzeugt und können daher die gleichen Farbinformationen wie jedes andere aufweisen.
Die Subpixel 116 können in einer Matrix angeordnet sein. Im Gegensatz zu den Subpixeln 115 in 5A sind die Subpixel 116 in 10 in einer 3x3-Matrix angeordnet, aber die Ausführungsformen sind nicht darauf beschränkt. Es versteht sich, dass die Subpixel 116 in einer MxN-Matrix angeordnet sein können, wobei M und N natürliche Zahlen sind.
In einer beispielhaften Ausführungsform kann eine grüne Pixelgruppe neun grüne Subpixel Gr1, Gr2, Gr3, Gr4, Gr5, Gr6, Gr7, Gr8 und Gr9 enthalten. In ähnlicher Weise kann in einer beispielhaften Ausführungsform eine blaue Pixelgruppe neun blaue Subpixel B1, B2, B3, B4, B5, B6, B7, B8 und B9 enthalten, und eine rote Pixelgruppe kann neun rote Subpixel R1, R2, R3, R4, R5, R6, R7, R8 und R9 enthalten. Da das Bayer-Pixel 112 dem Bayer-Muster entspricht, kann das Bayer-Pixel 112 zwei grüne Pixelgruppen enthalten. Entsprechend kann die andere grüne Pixelgruppe neun grüne Subpixel Gb1, Gb2, Gb3, Gb4, Gb5, Gb6, Gb7, Gb8 und Gb9 enthalten, die sich von den grünen Subpixeln Gr1, Gr2, Gr3, Gr4, Gr5, Gr6, Gr7, Gr8 und Gr9 unterscheiden.
Im Folgenden wird angenommen, dass eine erste grüne Pixelgruppe, die die grünen Subpixel Gr1, Gr2, Gr3, Gr4, Gr5, Gr6, Gr7, Gr8 und Gr9 enthält, ein Referenzpixel RP' ist, und eine zweite grüne Pixelgruppe, die die grünen Subpixel Gb1, Gb2, Gb3, Gb4, Gb5, Gb6, Gb7, Gb8 und Gb9 enthält, ein Zielpixel TP' ist.
11 ist ein konzeptionelles Diagramm, das die Struktur eines Bitstroms bei DPCM veranschaulicht. 11 beschreibt einen Bitstrom, der der Pixelstruktur von 10 entspricht. In 11 wird davon ausgegangen, dass der Bitstrom ein Ergebnis der Komprimierung von neun Pixeln ist, die jeweils Daten in zehn Bits ausdrücken. Es wird z. B. angenommen, dass ein einzelnes Subpixel 10-Bit-Daten enthält, aber die Ausführungsformen sind nicht darauf beschränkt. Ein einzelnes Subpixel kann eine andere Anzahl von Bits an Daten enthalten, z. B. 8-Bit-Daten, 11-Bit-Daten oder 12-Bit-Daten.
Der Kodierer 210 kann den Datenraum eines Bitstroms so zuweisen, dass 90-Bit-Daten von neun Pixeln in 45-Bit-Daten komprimiert werden. Wenn 90-Bit-Daten in 45-Bit-Daten komprimiert werden, beträgt eine Komprimierungsrate 50 %.
Bezugnehmend auf 1, 10 und 11 enthält der Bitstrom ein Header-Feld, ein Referenzfeld und ein Restfeld.
Nach einer beispielhaften Ausführungsform können einem Header vier Bits zugewiesen werden. Wie vorstehend beschrieben, beziehen sich Header-Informationen auf einen kodierten Bitsatz, der ein Komprimierungsverfahren angibt, z. B. Informationen über einen Komprimierungsalgorithmus wie DPCM oder PCM, und als Ergebnis der Zuweisung von vier Bits zu den Header-Informationen können 2⁴ (=16) Stück Komprimierungsinformationen über die Header-Informationen übertragen werden.
Ein virtuelles Pixel, das auf einem Pixelwert eines einer Mehrzahl von Subpixeln der Pixelgruppe 114 oder auf Pixelwerten der Subpixel basiert, kann als Referenzpixel bestimmt werden. Zum Beispiel kann der Kodierer 210 ein Subpixel 116, das einen durchschnittlichen Pixelwert oder einen mittleren Pixelwert aufweist, oder ein Subpixel 116, das unter einer Mehrzahl von Subpixeln 116 vorbestimmt ist, als Referenzpixel RP' in 10 bestimmen.
Nach einer beispielhaften Ausführungsform können dem Referenzfeld für das Referenzpixel RP' fünf Bits zugewiesen werden. Da dem Datenbereich für das Referenzpixel RP' fünf Bits zugewiesen werden, während das Referenzpixel RP' einen 10-Bit-Pixelwert aufweisen kann, kann der Datenbereich unzureichend sein. Daher kann der Kodierer 210 einen Teil der Daten des Referenzpixels RP' entfernen. Nach einer beispielhaften Ausführungsform kann der Kodierer 210 die unteren fünf Bits von zehn Bits des Referenzpixels RP' entfernen und nur die oberen fünf Bits des Referenzpixels RP' in den Bitstrom aufnehmen. Wie vorstehend beschrieben, sind die aus einem Subpixel entfernten Daten nicht darauf beschränkt.
Nach einer beispielhaften Ausführungsform kann ein Ergebnis der Komprimierung des Zielpixels TP' in 10, das unter einer Mehrzahl von Pixelgruppen 114 komprimiert werden soll, im Restfeld enthalten sein. Das Zielpixel TP' kann neun grüne Subpixel Gb1, Gb2, Gb3, Gb4, Gb5, Gb6, Gb7, Gb8 und Gb9 enthalten. Der Bitstrom darf 45 Bit lang sein. Wenn vier Bits für den Header und fünf Bits für das Referenzpixel RP' im Bitstrom zugewiesen werden, können 36 Bits für das Restfeld zugewiesen werden.
Nach einer beispielhaften Ausführungsform können, da das Zielpixel TP' neun grüne Subpixel Gb1, Gb2, Gb3, Gb4, Gb5, Gb6, Gb7, Gb8 und Gb9 enthält, vier Bits 4BIT_1, 4BIT_2, ... oder 4BIT 9 für jedes der neun grünen Subpixel Gb1, Gb2, Gb3, Gb4, Gb5, Gb6, Gb7, Gb8 und Gb9 zugewiesen werden. Beispielsweise kann ein Ergebnis der Komprimierung des grünen Subpixels Gb1 in einem ersten Restfeld RESIDUAL1 enthalten sein, ein Ergebnis der Komprimierung des grünen Subpixels Gb2 kann in einem zweiten Restfeld RESIDUAL2 enthalten sein, und ein Ergebnis der Komprimierung des grünen Subpixels Gb9 kann in einem neunten Restfeld RESIDUAL9 enthalten sein.
Folglich können insgesamt 90 Bits der Daten von neun Subpixeln 116 in 41 Bits komprimiert werden. Wenn vier Bits, die dem Header mit den Komprimierungsinformationen zugeordnet sind, zu den 41 Bits hinzugefügt werden, können 90 Bits auf 45 Bits komprimiert werden, und es kann eine Komprimierungsrate von 45 % erreicht werden. Obwohl angenommen wird, dass die Größe der komprimierten Daten 45 Bit beträgt, sind die Ausführungsformen nicht darauf beschränkt. Die komprimierten Daten können je nach erforderlicher Leistung, z. B. einer Komprimierungsrate, einer Datenverlustrate oder dem Energieverbrauch, verschiedene Größen aufweisen.
12 ist ein konzeptionelles Diagramm, das die Struktur eines Bitstroms veranschaulicht, der nach einer beispielhaften Ausführungsform entsprechend dem Auftreten eines gesättigten Pixels erzeugt wird.
Unter Bezugnahme auf die 10 bis 12 kann der Kodierer 210 in 1 das erste bis neunte Pixel G1 bis G9 kodieren. Der Kodierer 210 kann eine Komprimierungsrate von 50 % anstreben, und die Gesamtdatenmenge eines Bitstroms, die als Ergebnis der Komprimierung erreicht wird, kann 45 Bit betragen.
Der Kodierer 210 kann das zweite bis achte Pixel G2 bis G8 als gesättigte Pixel SP in 1 bestimmen. Ein gesättigtes Pixel SP weist einen Pixelwert auf, der aufgrund eines übermäßigen Lichtempfangs einen Schwellenwert überschreitet.
Der Kodierer 210 kann das Zielpixel TP' in 10 mit dem Referenzpixel RP' in 10 vergleichen und die Bilddaten IDTA in 1 komprimieren. Nach einer beispielhaften Ausführungsform kann der Kodierer 210 das Referenzpixel RP' mit jedem der nicht gesättigten Pixel, z. B. dem zweiten bis achten Pixel G2 bis G8, mit Ausnahme der gesättigten Pixel SP, z. B. dem ersten und neunten Pixel G1 und G9, in einer Pixelgruppe vergleichen. Beispielsweise kann der Kodierer 210 einen Differenzwert zwischen dem Pixelwert jedes der nicht gesättigten Pixel, z. B. dem ersten und neunten Pixel G1 und G9, und dem Pixelwert des Referenzpixels RP' berechnen.
Der Kodierer 210 kann ein Komprimierungsverfahren in einem Header enthalten, dem vier Bits zugeordnet sind. Der Header kann z. B. als Bits 0111 ausgedrückt werden.
Der Kodierer 210 kann eine Position jedes der gesättigten Pixel SP, z. B. des zweiten bis achten Pixels G2 bis G8, in ein Sättigungs-Flag-Feld aufnehmen, dem neun Bits zugeordnet sind. Ein Sättigungs-Flag kann zum Beispiel als Bits 011111110 ausgedrückt werden.
Der Kodierer 210 kann ein Komprimierungsergebnis, z. B. den Differenzwert, in einen Restraum aufnehmen, dem 32 Bits zugewiesen sind. Beispielsweise kann ein Ergebnis der Komprimierung des ersten Pixels G1 in einen 10-Bit-Restraum P4_1 aufgenommen werden, und ein Ergebnis der Komprimierung des neunten Pixels G9 kann in einen 10-Bit-Restraum P4_9 aufgenommen werden. Ein Datenfeld, das zwölf weitere Bits speichern kann, ist ein Dummy-Feld, das nicht zur Komprimierung verwendet wird.
Nach einer beispielhaften Ausführungsform kann der Kodierer 210 die gesättigten Pixel SP, z. B. das zweite bis achte Pixel G2 bis G8, nicht mit dem Referenzpixel RP' vergleichen und kann ein Ergebnis der Komprimierung jedes einzelnen nicht gesättigten Pixels, z. B. des ersten und neunten Pixels G1 und G9, in der Pixelgruppe 114 in ein Restfeld aufnehmen. Dementsprechend kann der Kodierer 210 im Vergleich zu dem Fall, in dem Daten von neun Pixeln im Restfeld in 11 enthalten sind, die Datenmenge, die ein nicht gesättigtes Pixel, z. B. das erste oder neunte Pixel G1 oder G9, ausdrückt, von vier Bits auf zehn Bits erhöhen, was eine Erhöhung des dynamischen Bereichs bedeutet. Dementsprechend kann eine verlustfreie Komprimierung ohne Datenverlust während der Komprimierung erreicht werden. Nach einer beispielhaften Ausführungsform kann die Komprimierungsrate erhöht werden, je mehr gesättigte Pixel SP erfasst werden, und die Verschlechterung der Bildqualität kann verringert werden.
13A und 13B sind Tabellen mit Komprimierungsinformationen nach beispielhaften Ausführungsformen. 13A und 13B dienen zur Beschreibung von Komprimierungsmodi oder Komprimierungsverfahren nach dem von der MIPI Alliance vorgeschlagenen Standard. Es wird auch auf 1 Bezug genommen.
Bezugnehmend auf 13A können die Bilddaten IDTA (1) in einem Bayer-Muster nach verschiedener Komprimierungsmodi komprimiert werden. Die Komprimierungsmodi können einen pixelbasierten direktionalen Differenzialmodus (PD), einen diagonalen richtungsbasierten Differenzialmodus (DGD), einen erweiterten schrägen horizontalen oder vertikalen richtungsbasierten Differenzialmodus (eSHV), einen Ausreißerkompensationsmodus (OUT) und einen Modus mit fester Quantisierung und ohne Referenz (FNR) enthalten.
Der PD-Modus kann die Durchführung von DPCM an den Bilddaten IDTA mit einem Bayer-Muster ermöglichen. Der PD-Modus kann entsprechend den spezifischen Realisierungsalgorithmen in MODE0, MODE1, MODE2, MODE3, MODE12 und MODE13 unterteilt werden. Da einem Header, der ein Komprimierungsverfahren angibt, vier Bits zugewiesen werden können, können als Bits sechzehn Komprimierungsmodi unterschiedlich als Header-Informationen ausgedrückt werden. Zum Beispiel kann MODE0 als Bits 0000, MODE1 als Bits 0001, MODE2 als Bits 0010, MODE3 als Bits 0011, MODE12 als Bits 1100 und MODE13 als Bits 1101 ausgedrückt werden.
Der DGD-Modus kann die Durchführung von DPCM an den Bilddaten IDTA mit einer diagonalen Struktur ermöglichen. Der DGD-Modus kann entsprechend spezifischer Realisierungsalgorithmen in MODE4 (Bits 0100), MODE5 (Bits 0101), MODE8 (Bits 1000), MODE9 (Bits 1001), MODE10 (Bits 1010) und MODE11 (Bits 1011) unterteilt werden.
In ähnlicher Weise kann der eSHV-Modus MODE14 (Bits 1110) und MODE15 (Bits 1111), der OUT-Modus MODE7 (Bits 0111) und der FNR-Modus MODE6 (Bits 0110) einschließen. Nach einer beispielhaften Ausführungsform kann MODE7 als OUT-Modus bezeichnet werden, der einen Bad-Pixel-Modus, der ein schlechtes Pixel verarbeitet, oder einen Sättigungsmodus enthält. Je nach Betriebsumgebung kann entweder der Sättigungsmodus oder der OUT-Modus ausgewählt werden.
In einer beispielhaften Ausführungsform kann der Moduswähler 230 in 1 nacheinander den PD-Modus, den DGD-Modus, den eSHV-Modus, den OUT-Modus und den FNR-Modus auswerten und einen optimalen Modus entsprechend einem Komprimierungsauswertungsindex, wie z. B. einer Komprimierungsrate oder einer Datenverlustrate, auswählen. Die Ausführungsformen sind jedoch nicht auf die vorstehend vorgeschlagene Reihenfolge der Modusbewertung beschränkt.
Bezugnehmend auf 13B können die Bilddaten IDTA, in denen eine Pixelgruppe, z. B. die Pixelgruppe 113 in 5A eines Bayer-Pixels, z. B. Bayer-Pixel 111 in 5A, eine Mehrzahl von Subpixeln, z. B. vier Subpixel in einer 2x2-Matrix, enthält, in verschiedenen Komprimierungsmodi komprimiert werden. Die Komprimierungsmodi können einen Modus für ein durchschnittliches richtungsbasiertes Differential (AD), einen erweiterten Modus für ein horizontales oder vertikales richtungsbasiertes Differential (eHVD), einen Modus für ein schräges richtungsbasiertes Differential (OD), einen erweiterten Modus für ein multipixel-basiertes Differential (eMPD), einen erweiterten Modus für ein horizontales oder vertikales durchschnittliches Differential (eHVA), einen erweiterten Ausreißerkompensationsmodus (eOUT) und einen FNR-Modus einschließen.
Der AD-Modus kann die Durchführung von DPCM an den Bilddaten IDTA ermöglichen, bei denen die Pixelgruppe 113, die ein Bayer-Muster bildet, eine Mehrzahl von Subpixeln enthält. Der AD-Modus kann je nach spezifischen Realisierungsalgorithmen in MODE0, MODE1, MODE2 und MODE3 unterteilt werden. Da einem Header, der ein Komprimierungsverfahren angibt, vier Bits zugewiesen werden können, können als Header-Informationen sechzehn Komprimierungsmodi unterschiedlich als Bits ausgedrückt werden. Zum Beispiel kann MODE0 als Bits 0000, MODE1 als Bits 0001, MODE2 als Bits 0010 und MODE3 als Bits 0011 ausgedrückt werden.
Der OD-Modus kann es ermöglichen, die Bilddaten IDTA, die eine diagonale Struktur aufweisen, zu komprimieren. Der OD-Modus kann nach bestimmten Realisierungsalgorithmen in MODE4 (Bits 0100) und MODE5 (Bits 0101) unterteilt werden.
Ebenso kann der eMPD-Modus MODE8 (Bits 1000), MODE9 (Bits 1001), MODE10 (Bits 1010) und MODE11 (Bits 1011) enthalten, der eHVD-Modus kann MODE12 (Bits 1100) und MODE13 (Bits 1101) enthalten, der eHVA-Modus kann MODE14 (Bits 1110) enthalten, ein (e)OUT-Modus (zum Beispiel der eOUT-Modus oder der OUT-Modus) kann MODE 15 (Bits 1111) und MODE7 (Bits 0111) enthalten, und der FNR-Modus kann MODE6 (Bits 0110) enthalten. Nach einer beispielhaften Ausführungsform kann MODE7 als (e)OUT-Modus bezeichnet werden, der einen Bad-Pixel-Modus, der ein schlechtes Pixel verarbeitet, oder einen Sättigungsmodus enthält. Je nach Betriebsumgebung kann entweder der Sättigungsmodus oder der (e)OUT-Modus ausgewählt werden.
In einer beispielhaften Ausführungsform kann der Moduswähler 230 nacheinander den AD-Modus, den eHVD-Modus, den OD-Modus, den eMPD-Modus, den eHVA-Modus, den eOUT-Modus und den FNR-Modus auswerten und einen optimalen Modus nach einem Komprimierungsauswertungsindex wie einer Komprimierungsrate oder einer Datenverlustrate auswählen. Die Ausführungsformen sind jedoch nicht auf die vorstehend vorgeschlagene Reihenfolge der Modusbewertung beschränkt.
14A und 14B sind Blockdiagramme von elektronischen Vorrichtungen 1a und 1b, die jeweils einen ISP 20a und einen ISP 20b nach beispielhaften Ausführungsformen enthalten. Die mit Bezug auf 1 beschriebene elektronische Vorrichtung 10 kann auf 14A und 14B angewendet werden.
Bezugnehmend auf 14A kann die elektronische Vorrichtung 1a einen Bildsensor 10a, den ISP 20a, eine Anzeigevorrichtung 50a, einen AP 30a, einen Arbeitsspeicher 40a, einen Speicher 60a, eine Benutzerschnittstelle 70a und einen Drahtlos-Transceiver 80a umfassen. Der ISP 20a kann als eine vom AP 30a getrennte integrierte Schaltung implementiert sein. Der Bildsensor 100 in 1 kann als der Bildsensor 10a in 14A arbeiten, und der ISP 200 in 1 kann als der ISP 20a in 14A verwendet werden.
Der Bildsensor 10a kann Bilddaten, z. B. Rohbilddaten, auf der Grundlage eines empfangenen optischen Signals erzeugen und binäre Daten an den ISP 20a liefern. Der AP 30a kann als System-on-Chip (SoC) vorgesehen sein, der alle Operationen der elektronischen Vorrichtung 1a steuert und ein Anwendungsprogramm, ein Betriebssystem oder Ähnliches ausführt. Der AP 30a kann den Betrieb des ISP 20a steuern und kann konvertierte Bilddaten, die vom ISP 20a erzeugt wurden, an die Anzeigevorrichtung 50a liefern oder die konvertierten Bilddaten im Speicher 60a speichern.
Die Anzeigevorrichtung 50a kann jede Vorrichtung enthalten, die ein Bild ausgeben kann. Die Anzeigevorrichtung 50a kann z. B. einen Computer, ein Mobiltelefon und andere Bildausgabevorrichtungen enthalten. Die Anzeigevorrichtung 50a kann ein Beispiel für eine Ausgabevorrichtung sein. Andere Beispiele für die Ausgabevorrichtung enthalten eine Grafikanzeigevorrichtung, einen Computerbildschirm, ein Alarmsystem, ein CAD/CAM-System (Computer Aided Design/Computer Aided Machining), eine Videospielstation, einen Smartphone-Bildschirm und andere Arten von Datenausgabevorrichtungen.
Der Arbeitsspeicher 40a kann Programme und/oder Daten speichern, die von der AP 30a verarbeitet oder ausgeführt werden. Der Speicher 60a kann einen nichtflüchtigen Speicher wie einen NAND-Flash-Speicher oder einen resistiven Speicher umfassen. Der Speicher 60a kann z. B. als Speicherkarte wie eine Multimedia-Karte (MMC), eine eingebettete MMC (eMMC), eine Secure-Digital-Karte (SD) oder eine Micro-SD-Karte vorgesehen sein. Der Speicher 60a kann Daten und/oder ein Programm speichern, die sich auf einen Ausführungsalgorithmus beziehen, der den Bildverarbeitungsvorgang des ISP 20a steuert. Die Daten und/oder das Programm können in den Arbeitsspeicher 40a geladen werden, wenn der Bildverarbeitungsvorgang durchgeführt wird.
Die Benutzerschnittstelle 70a kann verschiedene Vorrichtungen enthalten, wie z. B. eine Tastatur, ein Tastenfeld, ein Berührungsfeld, einen Fingerabdrucksensor und ein Mikrofon, die eine Benutzereingabe empfangen können. Die Benutzerschnittstelle 70a kann eine Benutzereingabe empfangen und ein der Benutzereingabe entsprechendes Signal an den AP 30a liefern. Der Drahtlos-Transceiver 80a kann ein Modem 81a, einen Transceiver 82a und eine Antenne 83a umfassen.
Bezugnehmend auf 14B kann die elektronische Vorrichtung 1b einen Bildsensor 10b, den ISP 20b, eine Anzeigevorrichtung 50b, einen AP 30b, einen Arbeitsspeicher 40b, einen Speicher 60b, eine Benutzerschnittstelle 70b und einen Drahtlos-Transceiver 80b enthalten. Der Bildsensor 100 in 1 kann als der Bildsensor 10b in 14B arbeiten, und der ISP 200 in 1 kann als der ISP 20b in 14B verwendet werden.
Der AP 30b kann den ISP 20b enthalten. Der ISP 20b muss nicht durch separate Hardware oder eine Kombination aus Hardware und Software implementiert sein, sondern kann als Unterelement des AP 30b vorgesehen werden. Die anderen Elemente in 14B sind denen in 14A ähnlich, so dass redundante Beschreibungen entfallen.
15 ist ein schematisches Blockdiagramm einer elektronischen Vorrichtung 20 nach einer beispielhaften Ausführungsform. 16 ist ein detailliertes Blockdiagramm eines Kameramoduls 1100b in 15.
Zum Beispiel ist ein Abschnitt der elektronischen Vorrichtung 1a von 14A oder der elektronischen Vorrichtung 1b von 14B als elektronische Vorrichtung 20 in 15 dargestellt. Die Elemente, die in 14A oder 14B dargestellt, aber in 15 weggelassen sind, können in der elektronischen Vorrichtung 20 enthalten sein.
Bezugnehmend auf 15 kann die elektronische Vorrichtung 20 ein Multikameramodul 1100, einen AP 1300 und einen Speicher 1400 enthalten. Der Speicher 1400 kann die gleiche Funktion wie der Arbeitsspeicher 40a in 14A oder der Arbeitsspeicher 40b in 14B erfüllen, so dass redundante Beschreibungen weggelassen werden.
Die elektronische Vorrichtung 20 kann ein Bild eines Objekts unter Verwendung eines CMOS-Bildsensors erfassen und/oder speichern und kann ein Mobiltelefon, einen Tischcomputer oder eine tragbare elektronische Vorrichtung enthalten. Die tragbare elektronische Vorrichtung kann einen Laptop-Computer, ein Mobiltelefon, ein Smartphone, einen Tablet-PC oder eine am Körper tragbare Vorrichtung enthalten. Die elektronische Vorrichtung 20 kann mindestens ein Kameramodul und den AP 1300 zur Verarbeitung der vom Kameramodul erzeugten Bilddaten enthalten.
Das Multikameramodul 1100 kann ein erstes Kamera-Modul 1100a, ein zweites Kamera-Modul 1100b und ein drittes Kamera-Modul 1100c enthalten. Das Multikameramodul 1100 kann die gleiche Funktion wie das Kameramodul 50 in 1 erfüllen. Obwohl drei Kameramodule, zum Beispiel das erste bis dritte Kameramodul 1100a, 1100b und 1100c, dargestellt sind, sind die Ausführungsformen nicht darauf beschränkt. Das Multikameramodul 1100 kann eine unterschiedliche Anzahl von Kameramodulen enthalten.
Der detaillierte Aufbau des zweiten Kameramoduls 1100b wird im Folgenden unter Bezugnahme auf 16 beschrieben. Die nachfolgenden Beschreibungen können auch auf die anderen Kameramodule, z. B. auf das erste und dritte Kameramodul 1100a und 1100c, angewendet werden.
Bezugnehmend auf 16 kann das zweite Kameramodul 1100b ein Prisma 1105, ein optisches Pfadfaltelement (OPFE) 1110, einen Aktuator 1130, eine Bilderfassungsvorrichtung 1140, einen Kodierer 1145 und einen Speicher 1150 enthalten.
Das Prisma 1105 kann eine reflektierende Oberfläche 1107 aus einem lichtreflektierenden Material enthalten und kann den Weg des von außen einfallenden Lichts L ändern.
Nach einer beispielhaften Ausführungsform kann das Prisma 1105 den Weg des Lichts L, das in einer ersten Richtung X einfällt, in eine zweite Richtung Y senkrecht zur ersten Richtung X ändern. Das Prisma 1105 kann die reflektierende Oberfläche 1107 des lichtreflektierenden Materials in einer Richtung A um eine zentrale Welle 1106 drehen oder die zentrale Welle 1106 in einer Richtung B drehen, so dass der Weg des in der ersten Richtung X einfallenden Lichts in die zweite Richtung Y senkrecht zur ersten Richtung X geändert wird. Zu diesem Zeitpunkt kann sich das OPFE 1110 in einer dritten Richtung Z bewegen, die senkrecht zur ersten und zweiten Richtung X und Y ist.
In einer beispielhaften Ausführungsform kann ein maximaler Drehwinkel des Prismas 1105 in A-Richtung kleiner oder gleich 15 Grad in einer Plus- (+) A-Richtung und größer als 15 Grad in einer Minus- (-) A-Richtung sein, aber beispielhafte Ausführungsformen sind nicht darauf beschränkt.
In einer beispielhaften Ausführungsform kann sich das Prisma 1105 um einen Winkel von etwa 20 Grad oder in einem Bereich von etwa 10 Grad bis etwa 20 Grad oder von etwa 15 Grad bis etwa 20 Grad in eine Plus- oder Minus-B-Richtung bewegen. Zu diesem Zeitpunkt kann ein Winkel, um den sich das Prisma 1105 in die Plus-B-Richtung bewegt, gleich oder ähnlich sein, innerhalb einer Differenz von etwa 1 Grad, wie ein Winkel, um den sich das Prisma 1105 in die Minus-B-Richtung bewegt.
In einigen beispielhaften Ausführungsformen kann das Prisma 1105 die reflektierende Oberfläche 1107 des lichtreflektierenden Materials in der dritten Richtung Z parallel zu einer Erstreckungsrichtung der zentralen Welle 1106 bewegen.
Das OPFE 1110 kann z. B. „m“ optische Linsen enthalten, wobei „m“ eine natürliche Zahl ist. Die „m“ Linsen können sich in der zweiten Richtung Y bewegen und einen optischen Zoomfaktor des zweiten Kameramoduls 1100b ändern. Wenn z. B. das optische Standard-Zoomverhältnis des zweiten Kameramoduls 1100b Z ist, kann das optische Zoomverhältnis des zweiten Kameramoduls 1100b auf 3Z, 5Z oder größer geändert werden, indem die im OPFE 1110 enthaltenen „m“ optischen Linsen bewegt werden.
Der Aktuator 1130 kann das OPFE 1110 oder eine optische Linse in eine bestimmte Position bewegen. Nachfolgend werden das OPFE 1110 und die optische Linse gemeinsam als optische Linse bezeichnet. Der Aktuator 1130 kann beispielsweise die Position der optischen Linse so einstellen, dass ein Bildsensor 1142 für eine genaue Abtastung in einer Brennweite der optischen Linse positioniert ist.
Die Bilderfassungsvorrichtung 1140 kann den Bildsensor 1142, eine Steuerlogik 1144, den Kodierer 1145 und einen Speicher 1146 enthalten. Der Bildsensor 1142 kann ein Bild eines Objekts unter Verwendung des durch die optische Linse gelieferten Lichts erfassen. Der Bildsensor 1142 in 17 ist funktionell ähnlich wie der Bildsensor 100 in 1, daher wird auf redundante Beschreibungen verzichtet. Die Steuerlogik 1144 kann allgemein den Betrieb des zweiten Kameramoduls 1100b steuern. Zum Beispiel kann die Steuerlogik 1144 den Betrieb des zweiten Kameramoduls 1100b entsprechend einem Steuersignal steuern, das über eine Steuersignalleitung CSLb vorgesehen wird.
Der Kodierer 1145 kann die erfassten Bilddaten kodieren. Der Kodierer 1145 kann die gleiche Funktion wie der in 1 bis 14B beschriebene Kodierer 210 erfüllen, so dass redundante Beschreibungen weggelassen werden. Anders als der Kodierer 210 in 1 ist der Kodierer 1145 in 16 nicht im ISP 200 in 1 enthalten, sondern kann in einem Kameramodul, z. B. dem zweiten Kameramodul 1100b, enthalten sein. Obwohl der Kodierer 1145 als Funktionsblock dargestellt ist, sind die Ausführungsformen nicht darauf beschränkt. Der Kodierer 1145 kann, um Bilddaten zu komprimieren und zu kodieren, von der Steuerlogik 1144 ausgeführt werden.
Der Speicher 1146 kann Informationen, wie z. B. Kalibrierungsdaten 1147, speichem, die für den Betrieb des zweiten Kameramoduls 1100b notwendig sind. Die Kalibrierungsdaten 1147 können Informationen enthalten, die für das zweite Kameramodul 1100b notwendig sind, um mit dem von außen zugeführten Licht L Bilddaten zu erzeugen. Beispielsweise können die Kalibrierdaten 1147 Informationen über den vorstehend beschriebenen Drehwinkel, Informationen über eine Brennweite, Informationen über eine optische Achse oder ähnliches enthalten. Wenn das zweite Kameramodul 1100b als Mehrzustandskamera implementiert ist, die eine Brennweite aufweist, die mit der Position der optischen Linse variiert, können die Kalibrierungsdaten 1147 einen Wert einer Brennweite für jede Position oder jeden Zustand der optischen Linse und Informationen über die Autofokussierung enthalten.
Der Speicher 1150 kann die vom Bildsensor 1142 erfassten Bilddaten speichern. Der Speicher 1150 kann außerhalb der Bilderfassungsvorrichtung 1140 vorgesehen sein und einen Stapel mit einem Sensorchip der Bilderfassungsvorrichtung 1140 bilden. In einer beispielhaften Ausführungsform kann der Speicher 1150 einen elektrisch löschbaren, programmierbaren Festwertspeicher (EEPROM) enthalten, aber die Ausführungsformen sind nicht darauf beschränkt.
Unter Bezugnahme auf 15 und 16 kann in einer beispielhaften Ausführungsform unter einer Mehrzahl von Kameramodulen, z.B. dem ersten bis dritten Kameramodul 1100a, 1100b und 1100c, ein Kameramodul, z.B. das erste Kameramodul 1100a, ein Farbpixel, z.B. eine Tetra-Zelle enthalten, die vier Subpixel enthält, die einander benachbart sind und dieselbe Farbinformation miteinander teilen, und ein anderes Kameramodul, z.B. das zweite Kameramodul 1100b, kann ein Farbpixel, z.B. eine Nona-Zelle enthalten, die neun Subpixeln enthält, die einander benachbart sind und dieselbe Farbinformation miteinander teilen, aber Ausführungsformen sind nicht darauf beschränkt.
In einer beispielhaften Ausführungsform kann jedes von dem ersten bis dritten Kameramodul 1100a, 1100b und 1100c den Aktuator 1130 enthalten. Dementsprechend können das erste bis dritte Kameramodul 1100a, 1 100b und 1 100c die Kalibrierungsdaten 1147 enthalten, die, je nach dem Betätigung des Aktuators 1130, der in jedem der ersten bis dritten Kameramodule 1100a, 1100b und 1100c enthalten ist, bei dem ersten bis dritten Kameramodul 1100a, 1100b und 1100c gleich oder unterschiedlich sind.
In einer beispielhaften Ausführungsform kann von dem ersten bis dritten Kameramodul 1100a, 1100b und 1100c ein Kameramodul, z. B. das zweite Kameramodul 1100b, von einem Typ mit gefalteten Linsen sein, der das Prisma 1105 und das OPFE 1110 enthält, während die anderen Kameramodule, z. B. das ersten und dritte Kameramodul 1100a und 1100c, von einem vertikalen Typ sein können, der das Prisma 1105 und das OPFE 1110 nicht enthält. Die Ausführungsformen sind jedoch nicht darauf beschränkt.
In einer beispielhaften Ausführungsform kann ein Kameramodul, z. B. das dritte Kameramodul 1100c, unter dem ersten bis dritten Kameramodul 1100a, 1 100b und 1100c eine vertikale Tiefenkamera enthalten, die Tiefeninformationen unter Verwendung eines Infrarotstrahls (IR) extrahiert. In diesem Fall kann der AP 1300 ein dreidimensionales (3D) Tiefenbild erzeugen, indem er die von der Tiefenkamera gelieferten Bilddaten mit den von einem anderen Kameramodul, z. B. dem ersten oder zweiten Kameramodul 1100a oder 1100b, gelieferten Bilddaten zusammenführt.
In einer beispielhaften Ausführungsform können mindestens zwei Kameramodule, z. B. das erste und zweite Kameramodul 1100a und 1100b, unter dem ersten bis dritten Kameramodul 1100a, 1100b und 1100c unterschiedliche Sichtfelder (FOV) aufweisen. In diesem Fall können die beiden Kameramodule, z. B. das erste und das zweite Kameramodul 1100a und 1100b, unter dem ersten bis dritten Kameramodul 1100a, 1100b und 1100c jeweils unterschiedliche optische Linsen aufweisen, aber Ausführungsformen sind nicht darauf beschränkt. Zum Beispiel kann das erste Kameramodul 1100a unter dem ersten bis dritten Kameramodul 1100a, 1100b und 1100c ein niedrigeres FOV als das zweite und dritte Kameramodul 1100b und 1100c aufweisen. Die Ausführungsformen sind jedoch nicht darauf beschränkt. Das Multikameramodul 1100 kann ferner ein Kameramodul mit einem höheren FOV als das erste bis dritte Kameramodul 1100a, 1100b und 1100c enthalten.
In einigen beispielhaften Ausführungsformen können das erste bis dritte Kameramodul 1100a, 1100b und 1100c voneinander verschiedene Sichtfelder aufweisen. In diesem Fall können das erste bis dritte Kameramodul 1100a, 1100b und 1100c jeweils unterschiedliche optische Linsen aufweisen, aber beispielhafte Ausführungsformen sind nicht darauf beschränkt.
In einigen beispielhaften Ausführungsformen können das erste bis dritte Kameramodul 1100a, 1100b und 1100c räumlich voneinander getrennt sein. Zum Beispiel kann der Erfassungsbereich des Bildsensors 1142 nicht geteilt und von dem ersten bis dritten Kameramodul 1100a, 1100b und 1100c verwendet werden, sondern der Bildsensor 1142 kann unabhängig in jedem von dem ersten bis dritten Kameramodul 1100a, 1100b und 1100c enthalten sein.
Der AP 1300 kann eine Mehrzahl von Subprozessoren, z. B. den ersten bis dritten Subprozessor 1311, 1312 und 1313, einen Dekodierer 1320, einen Kameramodul-Controller 1330, einen Speicher-Controller 1340 und einen internen Speicher 1350, enthalten.
Der AP 1300 kann getrennt von dem ersten bis dritten Kameramodul 1100a, 1100b und 1100c implementiert sein. Beispielsweise können der AP 1300 und das erste bis dritte Kameramodul 1100a, 1100b und 1100c in unterschiedlichen Halbleiterchips implementiert sein.
Bilddaten, die von jedem von dem ersten bis dritten Kameramodul 1100a, 1100b und 1 100c erzeugt werden, können einem entsprechenden von dem ersten bis dritten Subprozessor 1311, 1312 und 1313 über eine entsprechende von der ersten bis dritten Bildsignalleitung ISLa, ISLb und ISLc, die voneinander getrennt sind, zugeführt werden. Beispielsweise können vom ersten Kameramodul 1100a erzeugte Bilddaten über die erste Bildsignalleitung ISLa an den ersten Subprozessor 1311, vom zweiten Kameramodul 1100b erzeugte Bilddaten über die zweite Bildsignalleitung ISLb dem zweiten Subprozessor 1312 und vom dritten Kameramodul 1100c erzeugte Bilddaten über die dritte Bildsignalleitung ISLc dem dritten Subprozessor 1313 zugeführt werden. Eine solche Bilddatenübertragung kann z. B. über eine MIPI-basierte serielle Kameraschnittstelle (CSI) erfolgen, die Ausführungsformen sind jedoch nicht darauf beschränkt.
In einer beispielhaften Ausführungsform kann ein einziger Subprozessor für eine Mehrzahl von Kameramodulen vorgesehen sein. Anders als in 15 können z. B. der erste und der dritte Subprozessor 1311 und 1313 nicht getrennt, sondern in einen einzigen Subprozessor integriert sein, und die von dem ersten und dritten Kameramodul 1 100a und 1100c gelieferten Bilddaten können durch ein Auswahlelement, z. B. einen Multiplexer, ausgewählt und dann dem integrierten Subprozessor zugeführt werden.
Der Dekodierer 1320 kann einen Bitstrom dekodieren, der jedem von dem ersten bis dritten Subprozessor 1311, 1312 und 1313 zugeführt wird. Der Dekodierer 1320 in 15 kann eine ähnliche Funktion wie der Dekodierer 310 in 1 erfüllen, daher wird auf eine redundante Beschreibung verzichtet. Obwohl der Dekodierer 1320 als ein von dem ersten bis dritten Subprozessor 1311, 1312 und 1313 getrennter Funktionsblock dargestellt ist, sind die Ausführungsformen nicht darauf beschränkt. Der Dekodierer 1320 kann in jedem von dem ersten bis dritten Unterprozessor 1311, 1312 und 1313 enthalten sein. Zum Beispiel kann der Dekodierer 1320 einen Bitstrom in jedem von dem ersten bis dritten Unterprozessor 1311, 1312 und 1313 dekodieren.
Der Kameramodul-Controller 1330 kann ein Steuersignal jedem von dem ersten bis dritten Kameramodul 1100a, 1100b und 1100c zuführen. Ein von der Kameramodulsteuerung 1330 erzeugtes Steuersignal kann einem entsprechenden von dem ersten bis dritten Kameramodul 1100a, 1100b und 1100c über eine entsprechende der voneinander getrennten Steuersignalleitungen CSLa, CSLb und CSLc zugeführt werden.
Eines von dem ersten bis dritten Kameramodul 1100a, 1100b und 1100c, z. B. das zweite Kameramodul 1100b, kann nach dem Modussignal oder dem Bilderzeugungssignal einschließlich eines Zoomsignals als Master-Kamera bezeichnet werden, und die anderen Kameramodule, z. B. das erste und dritte Kameramodul 1100a und 1100c, können als Slave-Kameras bezeichnet werden. Solche Bezeichnungsinformationen können in einem Steuersignal enthalten sein und jedem von dem ersten bis dritten Kameramodul 1100a, 1100b und 1100c über eine entsprechende der voneinander getrennten Steuersignalleitungen CSLa, CSLb und CSLc zugeführt werden.
Ein Kameramodul, das als Master oder Slave arbeitet, kann unter der Kontrolle des Kameramodul-Controllers 1330 geändert werden. Wenn z. B. das Sichtfeld des ersten Kameramoduls 1100a größer als das Sichtfeld des zweiten Kameramoduls 1100b ist und der Zoomfaktor einen niedrigen Zoomfaktor angibt, kann das zweite Kameramodul 1100b als Master und das erste Kameramodul 1100a als Slave betrieben werden. Wenn der Zoomfaktor einen hohen Zoomfaktor angibt, kann das erste Kameramodul 1100a als Master und das zweite Kameramodul 1100b als Slave arbeiten.
In einer beispielhaften Ausführungsform kann ein Steuersignal, das von der Kameramodulsteuerung 1330 jedem von dem ersten bis dritten Kameramodul 1100a, 1100b und 1100c zugeführt wird, ein Synchronisierungsfreigabesignal enthalten. Wenn beispielsweise das zweite Kameramodul 1100b eine Master-Kamera ist und das erste und das dritte Kameramodul 1100a und 1100c Slave-Kameras sind, kann der Kameramodul-Controller 1330 das Synchronisations-Freigabesignal an das zweite Kameramodul 1100b übertragen. Das zweite Kameramodul 1100b, das mit dem Sync-Freigabesignal versehen ist, kann ein Sync-Signal basierend auf dem Sync-Freigabesignal erzeugen und das Sync-Signal über eine Sync-Signalleitung SSL an dem ersten und dritten Kameramodul 1100a und 1100c zuführen. Das erste bis dritte Kameramodul 1100a, 1100b und 1100c können mit dem Synchronsignal synchronisiert werden und Bilddaten an den AP 1300 übertragen.
Der AP 1300 kann das kodierte Bildsignal im internen Speicher 1350 darin oder im Speicher 1400 außerhalb des AP 1300 speichern. Danach kann der AP 1300 das kodierte Bildsignal aus dem internen Speicher 1350 oder dem Speicher 1400 lesen, das kodierte Bildsignal dekodieren und Bilddaten anzeigen, die auf der Grundlage eines dekodierten Bildsignals erzeugt wurden. Der Speicher-Controller 1340 kann im Allgemeinen den internen Speicher 1350 und den Speicher 1400 so steuern, dass die Bilddaten im internen Speicher 1350 und/oder im Speicher 1400 gespeichert oder in diesen geladen werden.
Mindestens eine der in den Zeichnungen durch einen Block dargestellten Komponenten, Elemente, Module oder Einheiten (in diesem Abschnitt zusammenfassend als „Einheiten“ bezeichnet), wie z. B. der Moduswähler 230, der Kodierer 210, die erste Schnittstelle 250, die zweite Schnittstelle 330 und der Dekodierer 310 in 1, kann nach einer beispielhaften Ausführungsform als verschiedene Anzahl von Hardware-, Software- und/oder Firmware-Strukturen ausgeführt werden, die die jeweiligen vorstehend beschriebenen Funktionen ausführen. Zum Beispiel kann mindestens eine dieser Einheiten eine direkte Schaltungsstruktur verwenden, wie z. B. einen Speicher, einen Prozessor, eine Logikschaltung, eine Nachschlagetabelle usw., die die jeweiligen Funktionen durch die Steuerung eines oder mehrerer Mikroprozessoren oder anderer Steuervorrichtungen ausführen kann. Außerdem kann mindestens eine dieser Einheiten spezifisch durch ein Modul, ein Programm oder einen Teil eines Codes verkörpert sein, der eine oder mehrere ausführbare Anweisungen zur Ausführung bestimmter logischer Funktionen enthält und durch einen oder mehrere Mikroprozessoren oder andere Steuervorrichtungen ausgeführt wird. Darüber hinaus kann mindestens eine dieser Einheiten einen Prozessor, wie z. B. eine zentrale Verarbeitungseinheit (CPU), die die jeweiligen Funktionen ausführt, einen Mikroprozessor oder Ähnliches, enthalten oder von diesem implementiert werden. Zwei oder mehr dieser Einheiten können zu einer einzigen Einheit kombiniert werden, die alle Operationen oder Funktionen der kombinierten zwei oder mehr Einheiten durchführt. Auch kann zumindest ein Teil der Funktionen von mindestens einer dieser Einheiten von einer anderen dieser Einheiten ausgeführt werden. Obwohl ein Bus in den vorstehenden Blockdiagrammen nicht dargestellt ist, kann die Kommunikation zwischen den Einheiten über den Bus erfolgen. Funktionale Aspekte der vorstehenden beispielhaften Ausführungsformen können in Algorithmen implementiert werden, die auf einem oder mehreren Prozessoren ausgeführt werden. Darüber hinaus können die durch einen Block oder Verarbeitungsschritte dargestellten Komponenten eine beliebige Anzahl von verwandten Techniken des Standes der Technik zur Elektronikkonfiguration, Signalverarbeitung und/oder -steuerung, Datenverarbeitung und dergleichen verwenden.
Während vorstehende beispielhafte Ausführungsformen dargestellt und beschrieben wurden, wird es für den Fachmann offensichtlich sein, dass Modifikationen und Variationen vorgenommen werden können, ohne von dem durch die beigefügten Ansprüche und deren Äquivalente definierten Umfang abzuweichen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

KR 1020200088453 [0001]
KR 1020210008910 [0001]

Claims

Bildkomprimierungsverfahren zum Komprimieren von durch einen Bildsensor erzeugten Bilddaten, wobei das Bildkomprimierungsverfahren umfasst: Erfassen eines gesättigten Pixels unter einer Mehrzahl von Pixeln, die in einer Pixelgruppe enthalten sind, die in den Bilddaten enthalten ist, wobei das gesättigte Pixel einen Pixelwert aufweist, der einen Schwellenwert überschreitet, und die Mehrzahl von Pixeln aneinander angrenzen und eine gleiche Farbe haben; Erzeugen eines Sättigungs-Flags, das eine Position des gesättigten Pixels anzeigt; Komprimieren der Bilddaten durch Vergleichen eines Referenzpixels mit mindestens einem nicht gesättigten Pixel aus der Mehrzahl der in der Pixelgruppe enthaltenen Pixel; und Ausgeben eines Bitstroms, der das Sättigungs-Flag, ein Komprimierungsergebnis und ein Komprimierungsverfahren enthält.
Bildkomprimierungsverfahren nach Anspruch 1, wobei das Erzeugen des Sättigungs-Flags enthält: Setzen der Position des gesättigten Pixels auf ein Bit 1; und Setzen einer Position des mindestens einen nicht gesättigten Pixels auf ein Bit 0.
Bildkomprimierungsverfahren nach Anspruch 1, wobei das Komprimieren der Bilddaten das Gewinnen eines Differenzwertes zwischen einem nicht gesättigten Pixelwert des mindestens einen nicht gesättigten Pixels und einem Referenzpixelwert des Referenzpixels enthält.
Bildkomprimierungsverfahren nach Anspruch 3, wobei der Referenzpixelwert einem durchschnittlichen Pixelwert von Pixeln entspricht, die aneinander angrenzen und eine gleiche Farbe haben.
Bildkomprimierungsverfahren nach Anspruch 1, wobei der Schwellenwert mindestens 95 % einer durch die Mehrzahl von Pixeln dargestellten Informationsmenge beträgt.
Bildkomprimierungsverfahren nach Anspruch 1, wobei das Ausgeben des Bitstroms das Bestimmen einschließt, ob das Sättigungs-Flag und das Komprimierungsergebnis ausgegeben werden sollen basierend auf einem Modussignal, das anweist, die Mehrzahl von Pixeln, die in den Bilddaten enthalten sind, mit Ausnahme des gesättigten Pixels zu komprimieren.
Kodierer zur Verarbeitung von Bilddaten, die von einem Bildsensor erzeugt werden, wobei der Kodierer konfiguriert ist, um: ein gesättigtes Pixel unter einer Mehrzahl von Pixeln, die in einer Pixelgruppe enthalten sind, zu erfassen, wobei das gesättigte Pixel einen Pixelwert aufweist, der einen Schwellenwert übersteigt, und die Mehrzahl von Pixeln aneinander angrenzen und eine gleiche Farbe haben; ein Sättigungs-Flag zu erzeugen, das eine Position des gesättigten Pixels anzeigt; und Bilddaten durch Vergleichen eines Referenzpixels mit mindestens einem nicht gesättigten Pixel aus der Mehrzahl der in der Pixelgruppe enthaltenen Pixel zu komprimieren.
Elektronische Vorrichtung, die ein Bild erfasst, wobei die elektronische Vorrichtung umfasst: einen Bildsensor, der ein Pixelarray enthält und zur Ausgabe von Bilddaten konfiguriert ist; einen Bildsignalprozessor, der einen Kodierer enthält, wobei der Kodierer konfiguriert ist, um: ein gesättigtes Pixel unter einer Mehrzahl von Pixeln zu erfassen, die in einer Pixelgruppe enthalten sind, wobei das gesättigte Pixel einen Pixelwert aufweist, der einen Schwellenwert übersteigt, und die Mehrzahl von Pixeln aneinander angrenzen und eine gleiche Farbe haben; ein Sättigungs-Flag zu erzeugen, das eine Position des gesättigten Pixels anzeigt; die Bilddaten durch Vergleichen eines Referenzpixels mit mindestens einem nicht gesättigten Pixel aus der Mehrzahl der in der Pixelgruppe enthaltenen Pixel zu komprimieren; und einen Bitstrom auszugeben, der ein Komprimierungsergebnis, das Sättigungs-Flag und ein Komprimierungsverfahren enthält; und einen Anwendungsprozessor, der einen Dekodierer enthält, wobei der Dekodierer konfiguriert ist, um die Bilddaten durch Dekodieren des Bitstroms zu rekonstruieren.
Elektronische Vorrichtung nach Anspruch 8, wobei der Dekodierer ferner konfiguriert ist, um das mindestens eine nicht gesättigte Pixel auf der Grundlage von Daten zu dekodieren, die an einer vorbestimmten Position des Referenzpixels rekonstruiert wurden.
Elektronische Vorrichtung nach Anspruch 8, wobei der Dekodierer ferner konfiguriert ist, um das gesättigte Pixel auf einen vorbestimmten Sättigungswert zu rekonstruieren.