-
HINTERGRUND
-
1. Anwendungsgebiet des erfindungsgemäßen Konzeptes
-
Die erfindungsgemäßen Konzepte beziehen sich auf eine Bildverarbeitungsvorrichtung, ein Bildverarbeitungssystem und/oder ein Verfahren zur Bildverarbeitung.
-
2. Beschreibung zum Stand der Technik
-
Im Allgemeinen bezieht sich ein automatischer Weißabgleich auf eine Abbildungstechnik zur genauen Wiedergabe eines weißen Objektes als ein weißes Bild entsprechend einer Lichtquelle, die das weiße Objekt bestrahlt, wie beispielsweise Sonnenlicht, eine Leuchtstofflampe, eine Glühlampe oder ähnliches.
-
Da Menschen Farben gewöhnt sind, können sie Farbunterschiede eines Objektes in Abhängigkeit von sich ändernder Beleuchtung oder Ort gut unterscheiden. Da Kameras jedoch nicht gut an Farben angepasst sind, werden Farbunterschiede eines Objektes entsprechend der Beleuchtung oder Ort wiedergegeben. Wenn daher ein Phänomen, das die Farben eines Objektes entsprechend der Lichtquellen einer Kamera ändert, zu steuern, wird eine automatische Weißabgleichtechnik angewandt.
-
Bei der automatischen Weißabgleichtechnik werden im Allgemeinen graue Bereiche eines eingegebenen Bildes gesucht und die Zunahmen von verschiedenen Kanälen werden unter Verwendung durchschnittlicher RGB-Werte oder Farbartsignalen (R-Y) (B-Y) von Bilddaten entsprechend der gesuchten Graubereiche eingestellt.
-
ZUSAMMENFASSUNG
-
Die erfindungsgemäßen Konzepte stellen eine Bildverarbeitungsvorrichtung bereit, die die Bildqualität eines ausgegebenen Bildes durch Berechnung eines Weißabgleichverstärkungswertes selektiv für Multifarbdaten oder Einzelfarbdaten in einem Eingabebild verbessert unter Verwendung einer vordefinierten Verstärkungstabelle für eine Einzelfarbe, anstatt willkürlich einen automatischen Weißabgleich durchzuführen.
-
Die erfindungsgemäßen Konzepte stellen außerdem ein Bildverarbeitungssystem bereit, das die Bildqualität eines ausgegebenen Bildes durch Berechnung eines Weißabgleichverstärkungswertes selektiv für Multifarbdaten oder Einzelfarbdaten, die in einem Eingabebild enthalten sind, verbessert unter Verwendung einer vordefinierten Verstärkungstabelle für eine Einzelfarbe anstelle willkürlich einen automatischen Weißabgleich durchzuführen.
-
Gemäß wenigstens einer beispielhaften Ausführungsform enthält eine Bildverarbeitungsvorrichtung einen Sammler, der geeignet ist, um Bilddaten zu empfangen und Statistiken der Farbdaten von den Bilddaten zu sammeln. Die bildverarbeitende Vorrichtung enthält einen Prozessor, der geeignet ist, um die Statistiken der Farbdaten zu analysieren, um festzustellen, ob die Bilddaten Einzelfarbdaten oder Multifarbdaten enthalten, um einen ersten Verstärkungswert zu ermitteln, um einen automatischen Weißabgleich durchzuführen, falls die Bilddaten Multifarbdaten enthalten, und um einen zweiten Verstärkungswert verschieden von dem ersten Verstärkungswert unter Verwendung der Verstärkungstabelle zu ermitteln, falls die Bilddaten Einzelfarbdaten enthalten. Die Bildverarbeitungsvorrichtung enthält einen Verstärkungsanwender geeignet, um den ersten Verstärkungswert oder den zweiten Verstärkungswert auf die Farbdaten anzuwenden.
-
Gemäß wenigstens einer beispielhaften Ausführungsform ist der Prozessor geeignet, um Bilddaten zu empfangen und den zweiten Verstärkungswert von der Verstärkungstabelle basierend auf einem Helligkeitswert der Bilddaten zu berechnen.
-
Gemäß wenigstens einer beispielhaften Ausführungsform ist der Prozessor geeignet, um Bilddaten zu empfangen und den zweiten Verstärkungswert von der Verstärkungstabelle basierend auf einer Farbverteilung der Bilddaten zu berechnen.
-
Gemäß wenigstens einer beispielhaften Ausführungsform ist der Prozessor geeignet, um die Farbverteilung durch Berechnung eines Durchschnittswertes der Farbdaten oder eines gewichteten Durchschnittswerts der Farbdaten zu gewinnen.
-
Gemäß wenigstens einer beispielhaften Ausführungsform enthalten die Bilddaten eine Vielzahl an Abschnitten von Bilddaten, die aus einer Vielzahl von Blöcken eines Eingabebildes gewonnen wurden.
-
Gemäß wenigstens einer beispielhaften Ausführungsform enthält jeder der Blöcke eine Vielzahl an Bildpunkten. Gemäß wenigstens einer beispielhaften Ausführungsform ist der Sammler geeignet, um Bilddaten zu sammeln und die Farbdaten auf einer Pro-Block-Basis oder einer Pro-Pixel-Basis zu sammeln.
-
Gemäß wenigstens einer beispielhaften Ausführungsform ist der Prozessor geeignet, um die Farbdaten auf einen Farbraum zu projizieren und zu ermitteln, ob die Farbdaten Einzelfarbdaten oder Multifarbdaten sind unter Verwendung des Farbraumes.
-
Gemäß wenigstens einer beispielhaften Ausführungsform enthält der Farbraum einen normalisierten Farbraum, Farbton, Sättigung und Intensitäts-(HIS)-Farbräume, oder einen Lab-Farbraum.
-
Gemäß wenigstens einer beispielhaften Ausführungsform ist der Prozessor geeignet, um einen Standardabweichungswert oder einen Abweichungswert der auf den Farbraum projizierten Farbdaten zu berechnen und zu ermitteln, ob die Farbdaten Einzelfarbdaten oder Multifarbdaten sind, basierend auf der Standardabweichung oder des Abweichungswertes.
-
Gemäß wenigstens einer beispielhaften Ausführungsform ist der Prozessor geeignet, um zu ermitteln, ob die Farbdaten Einzelfarbdaten sind, unter Verwendung einer Hauptkomponentenanalysenmethode (PCA – prinicple component analysis).
-
Gemäß wenigstens einer beispielhaften Ausführungsform enthält ein Bildverarbeitungssystem eine Bildverarbeitungsvorrichtung, die geeignet ist, um Bilddaten in erste bis n-te Blöcke zu unterteilen, wobei n eine natürliche Zahl von 2 oder größer ist, um Statistiken der ersten bis n-ten Farbdaten für die ersten bis n-ten Blöcke zu sammeln, um die Statistiken der ersten bis n-ten Farbdaten zu analysieren, um zu ermitteln, ob die Bilddaten Einzelfarbdaten enthalten, um unter Verwendung einer Verstärkungstabelle einen Verstärkungswert zu ermitteln, falls die Bilddaten Einzelfarbdaten enthalten, und um den ermittelten Verstärkungswert auf die ersten bis n-ten Farbdaten anzuwenden; und einen internen Speicher geeignet, um die Verstärkungstabelle zu speichern, und um den Verstärkungswert der Bildverarbeitungsvorrichtung bereitzustellen.
-
Gemäß wenigstens einer beispielhaften Ausführungsform sind die bildverarbeitende Vorrichtung und der interne Speicher Teil eines Anwendungsprozessors.
-
Gemäß wenigstens einer beispielhaften Ausführungsform enthält das Bildverarbeitungssystem einen zu dem Anwendungsprozessor externen externen Speicher geeignet, um die Bilddaten der Bildverarbeitungsvorrichtung bereitzustellen.
-
Gemäß wenigstens einer beispielhaften Ausführungsform ist der Prozessor geeignet, um den Verstärkungswert der Verstärkungstabelle basierend auf einem Helligkeitswert der Bilddaten zu berechnen.
-
Gemäß wenigstens einer beispielhaften Ausführungsform ist der Prozessor geeignet, um den Verstärkungswert von der Verstärkungstabelle basierend auf einer Farbverteilung der Bilddaten zu berechnen.
-
Gemäß wenigstens einer beispielhaften Ausführungsform ist der Prozessor geeignet, um die ersten bis n-ten Farbdaten auf einen Farbraum zu projizieren und zu ermitteln, ob die ersten bis n-ten Farbdaten Einzelfarbdaten sind, unter Verwendung des Farbraumes.
-
Gemäß wenigstens einer beispielhaften Ausführungsform enthält der Farbraum einen normalisierten Farbraum, Farbton, Sättigung und Intensitätsfarbräume (HIS) oder eine Lab-Farbraum.
-
Gemäß wenigstens einer beispielhaften Ausführungsform ist der Prozessor geeignet, um einen Standardabweichungswert oder einen Abweichungswert der ersten bis n-ten Farbdaten, die auf den Farbraum projiziert sind, zu berechnen, und um zu ermitteln, ob die ersten bis n-ten Farbdaten Einzelfarbdaten sind, basierend auf dem Standardabweichungswert oder dem Abweichungswert.
-
Gemäß wenigstens einer beispielhaften Ausführungsform ist der Prozessor geeignet, um zu ermitteln, ob die ersten bis n-ten Farbdaten Einzelfarbdaten sind, basierend auf einem Hauptkomponentenanalyseverfahren (PCA).
-
Gemäß wenigstens einer beispielhaften Ausführungsform enthält ein Bildverarbeitungssystem eine Bildverarbeitungsvorrichtung geeignet, um die Bilddaten in erste bis n-te Blöcke zu unterteilen, wobei n eine natürliche Zahl von 2 oder größer ist, und um Statistiken der ersten bis n-ten Farbdaten für die ersten bis n-ten Blöcke zu sammeln. Das Bildverarbeitungssystem enthält eine zentrale Recheneinheit geeignet, um die Statistiken der ersten bis n-ten Farbdaten von der Bildverarbeitungsvorrichtung zu empfangen, um zu ermitteln, ob die Bilddaten Einzelfarbdaten enthalten, und falls die Bilddaten Einzelfarbdaten enthalten, einen Verstärkungswert unter Verwendung einer Verstärkungstabelle zu ermitteln. Das Bildverarbeitungssystem enthält einen internen Speicher, der geeignet ist, um die Verstärkungstabelle zu speichern, und um den Verstärkungswert der zentralen Recheneinheit zur Verfügung zu stellen.
-
Gemäß wenigstens einer beispielhaften Ausführungsform sind die Bildverarbeitungsvorrichtung, die zentrale Recheneinheit, und der interne Speicher Teil eines Anwendungsprozessors.
-
Gemäß wenigstens einer beispielhaften Ausführungsform enthält das Bildverarbeitungssystem einen zu dem Anwendungsprozessor externen externen Speicher und ist geeignet, um die Bilddaten der Bildverarbeitungsvorrichtung zur Verfügung zu stellen.
-
Gemäß wenigstens einer beispielhaften Ausführungsform ist die zentrale Recheneinheit geeignet, um den Verstärkungswert von der Verstärkungstabelle basierend auf einem Helligkeitswert der Bilddaten zu berechnen.
-
Gemäß wenigstens einer beispielhaften Ausführungsform ist die zentrale Recheneinheit geeignet, um den Verstärkungswert von der Verstärkungstabelle basierend auf einer Farbverteilung der Bilddaten zu berechnen.
-
Gemäß wenigstens einer beispielhaften Ausführungsform ist die zentrale Recheneinheit geeignet, um die ersten bis n-ten Farbdaten auf einen Farbraum zu projizieren, und um zu ermitteln, ob die ersten bis n-ten Farbdaten Einzelfarbdaten sind unter Verwendung des Farbraums.
-
Gemäß wenigstens einer beispielhaften Ausführungsform enthält der Farbraum einen normalisierten Farbraum, Farbton, Sättigung und Intensitätsfarbräume (HIS), oder einen Lab-Farbraum.
-
Gemäß wenigstens einer beispielhaften Ausführungsform ist die zentrale Recheneinheit geeignet, um einen Standardabweichungswert oder einen Abweichungswert, der auf den Farbraum projizierten ersten bis n-ten Farbdaten zu berechnen, und um zu ermitteln, ob die ersten bis n-ten Farbdaten Einzelfarbdaten sind, basierend auf dem Standardabweichungswert oder dem Abweichungswert.
-
Gemäß wenigstens einer beispielhaften Ausführungsform, ist die zentrale Recheneinheit geeignet, um zu ermitteln, ob die ersten bis n-ten Farbdaten Einzelfarbdaten sind, unter Verwendung eines Hauptkomponentenanalyseverfahrens (PCA).
-
Gemäß wenigstens einer beispielhaften Ausführungsform enthält ein Verfahren das Empfangen von Bilddaten und Sammeln von Statistiken von Farbdaten der Bilddaten, und Projizieren der Farbdaten auf einen Farbraum basierend auf den gesammelten Statistiken. Das Verfahren umfasst das Analysieren der projizierten Farbdaten, um zu ermitteln, ob die Bilddaten Einzelbilddaten oder Multibilddaten enthalten. Falls die Bilddaten Multibilddaten enthalten, umfasst das Verfahren das Durchführen eines automatischen Weißabgleichs auf den Bilddaten, und falls die Bilddaten Einzelfarbdaten enthalten, enthält das Verfahren das Anwenden eines, unter Verwendung einer Verstärkungstabelle ermittelten Verstärkungswertes auf die Farbdaten.
-
Gemäß wenigstens einer beispielhaften Ausführungsform wird der Verstärkungswert von der Verstärkungstabelle basierend auf einem Helligkeitswert der Bilddaten berechnet.
-
Gemäß wenigstens einer beispielhaften Ausführungsform wird der Verstärkungswert von der Verstärkungstabelle basierend auf einer Farbverteilung der Bilddaten berechnet.
-
Gemäß wenigstens einer beispielhaften Ausführungsform enthält der Farbraum einen normalisierten Farbraum, Farbton, Sättigungs- und Intensitätsfarbräume (HIS) oder einen Lab-Farbraum.
-
Gemäß wenigstens einer beispielhaften Ausführungsform wird das Vermitteln, ob die Bilddaten Einzelfarbdaten oder Multifarbdaten enthalten, unter Verwendung eines Hauptkomponentenanalyseverfahrens (PCA) durchgeführt.
-
Gemäß wenigstens einer beispielhaften Ausführungsform enthält eine Bildverarbeitungsvorrichtung einen Prozessor geeignet, um festzustellen, ob Bilddaten Einzelbilddaten oder Multibilddaten, basierend auf den Statistiken der empfangenen Farbdaten, enthalten, um einen ersten Verstärkungswert auf die Bilddaten anzuwenden, falls die Bilddaten Multifarbdaten enthalten, wobei der erste Verstärkungswert mit einem Weißabgleichsvorgang verbunden ist, und um einen zweiten Verstärkungswert auf die Bilddaten anzuwenden, falls die Bilddaten Einzelfarbdaten enthalten. Der zweite Verstärkungswert kann von dem ersten Verstärkungswert verschieden sein.
-
Gemäß wenigstens einer beispielhaften Ausführungsform ist der Prozessor geeignet, um ein Bild unter Verwendung der Bilddaten zu erzeugen, auf die der erste Verstärkungswert oder der zweite Verstärkungswert angewandt werden.
-
Gemäß wenigstens einer beispielhaften Ausführungsform ist der Prozessor geeignet, um den zweiten Verstärkungswert von der Verstärkungstabelle, basierend auf einem Helligkeitswert der Bilddaten, zu gewinnen.
-
Gemäß wenigstens einer beispielhaften Ausführungsform ist der Prozessor geeignet, um den zweiten Verstärkungswert von einer Verstärkungstabelle basierend auf einer Farbverteilung der Bilddaten zu gewinnen.
-
Gemäß wenigstens einer beispielhaften Ausführungsform ist der Prozessor geeignet, um die Farbverteilung durch Berechnung eines Durchschnittswerts der Farbdaten oder eines gewichtigen Durchschnittswerts der Farbdaten zu erzeugen.
-
KURZE BESCHREIBUNG DER FIGUREN
-
Die oben genannten und weitere Eigenschaften und Vorteile der erfindungsgemäßen Konzepte werden noch klarer durch die detaillierte Beschreibung beispielhafter Ausführungsformen unter Bezugnahme auf die beiliegenden Figuren, in denen:
-
1 ein Blockdiagramm einer Bildverarbeitungsvorrichtung zeigt, gemäß wenigstens einer beispielhaften Ausführungsform der erfindungsgemäßen Konzepte;
-
2 ein Ablaufdiagramm zeigt, eines Betriebsverfahrens einer Bildverarbeitung gemäß wenigstens einer beispielhaften Ausführungsform der erfindungsgemäßen Konzepte;
-
3 bis 6 Verfahren zum Analysieren von Farbdaten darstellen;
-
7 ein Blockdiagramm einer Bildverarbeitungsvorrichtung zeigt, gemäß wenigstens einer beispielhaften Ausführungsform der erfindungsgemäßen Konzepte;
-
8 ein Blockdiagramm einer Bildverarbeitungsvorrichtung zeigt, gemäß wenigstens einer beispielhaften Ausführungsform der erfindungsgemäßen Konzepte;
-
9 ein Blockdiagramm einer Bildverarbeitungsvorrichtung zeigt, gemäß wenigstens einer beispielhaften Ausführungsform der erfindungsgemäßen Konzepte;
-
10 ein Blockdiagramm eines Ein-Chip-Systems (SOC-System) zeigt, gemäß wenigstens einer beispielhaften Ausführungsform der erfindungsgemäßen Konzepte;
-
11 ein Blockdiagramm einer Drahtlos-Kommunikation gemäß wenigstens einer beispielhaften Ausführungsform der erfindungsgemäßen Konzepte zeigt;
-
12 ein Blockdiagramm zeigt, das die Konfiguration eines elektronischen Systems gemäß wenigstens einer beispielhaften Ausführungsform der erfindungsgemäßen Konzepte darstellt;
-
13 ein Beispiel zeigt, in dem das elektronische System aus 12 auf ein Smartphone angewandt wird;
-
14 ein Beispiel zeigt, in dem das elektronische System aus 12 auf einem Tablet-PC angewandt wird; und
-
15 ein Beispiel darstellt, in dem das elektronische System aus 12 auf einem Notebook-Computer angewandt wird.
-
DETAILLIERTE BESCHREIBUNG BEISPIELHAFTER AUSFÜHRUNGSFORMEN
-
Unter Bezugnahme auf die begleitenden Figuren, in welche beispielhafte Ausführungsformen dargestellt sind, werden die erfindungsgemäßen Konzepte im Folgenden ausführlicher beschrieben. Diese beispielhaften Ausführungsformen werden bereitgestellt, damit die Offenbarung sorgfältig und vollständig ist, so dass die erfindungsgemäßen Konzepte dem Fachmann vollständig vermittelt werden. Die erfindungsgemäßen Konzepte können auf verschiedene Arten in einer Vielzahl von Modifikationen ausgeführt werden und einige Ausführungsformen werden in den Figuren dargestellt und im Detail beschrieben. Dies soll jedoch nicht derart ausgelegt werden, dass die beispielhaften Ausführungsformen hierauf beschränkt seien, sondern es ist vielmehr klar, dass Änderungen dieser beispielhaften Ausführungsformen möglich sind, ohne von den Prinzipien und dem Sinn der erfindungsgemäßen Konzepte abzuweichen, wobei der Umfang in den Patentansprüchen und ihren Äquivalenten definiert ist. Gleiche Bezugszeichen bezeichnen durchwegs gleiche Elemente. Zur klareren Darstellung sind in den Figuren die Dicken von Schichten und Gebieten überzeichnet dargestellt.
-
Es ist klar, dass die im Folgenden verwendeten Ausdrücke erster, zweiter usw. verschiedene Elemente beschreiben, diese Elemente jedoch nicht auf genau diese Ausdrücke beschränkt sind. Diese Ausdrücke werden nur verwendet, um ein Element von einem anderen zu unterscheiden. Beispielsweise könnte ein erstes Element auch als zweites Element bezeichnet werden und ebenso könnte ein zweites Element auch als erstes Element bezeichnet werden, ohne von dem Umfang der beispielhaften Ausführungsformen abzuweichen. Der im Folgenden verwendete Ausdruck ”und/oder” enthält einige und alle Kombinationen einer oder mehrerer der zugehörigen aufgeführten Ausdrücke.
-
Es ist klar, dass, falls ein Element als ”verbunden” oder ”gekoppelt” mit einem anderen Element bezeichnet ist, dieses direkt verbunden oder gekoppelt sein kann mit dem anderen Element oder dass Zwischenelemente vorhanden sein können. Im Gegensatz dazu, falls ein Element als ”direkt verbunden” oder ”direkt gekoppelt” mit einem anderen Element bezeichnet ist, sind keine Zwischenelemente vorhanden. Andere Ausdrücke, die verwendet werden, um die Beziehung zwischen Elementen zu beschreiben, sollen auf die gleiche Art und Weise interpretiert werden (z. B. ”zwischen” gegenüber ”direkt dazwischen”, ”benachbart” gegenüber ”direkt benachbart” usw.). Solange nicht explizit anders ausgedrückt, oder falls es aus der Diskussion klar ist, beziehen sich die Ausdrücke ”verarbeiten” oder ”berechnen” oder ”ermitteln” oder ”darstellen” oder ”bestimmen” oder ähnliches auf die Handlungen und Prozesse eines Computersystems, oder einer ähnlichen elektronischen Rechenvorrichtung, die als physikalische, elektronische Einheiten dargestellte Daten innerhalb der Register und Speicher des Computersystems in andere Daten abändert oder umwandelt, die ebenso als physikalische Einheiten innerhalb der Speicher oder Register oder anderer solcher Informationsspeicher, Übertragungs- oder Anzeigevorrichtungen dargestellt werden.
-
Spezifische Details werden in der folgenden Beschreibung bereitgestellt, um ein sorgfältiges Verständnis der beispielhaften Ausführungsformen zu vermitteln. Es ist jedoch für den Fachmann klar, dass beispielhafte Ausführungsformen ausgeführt werden können, ohne diese spezifischen Details. Beispielsweise können Systeme in Blockdiagramme dargestellt werden, um beispielhafte Ausführungsformen nicht in unnötigem Detail unklar darzustellen. In anderen Fällen werden wohl bekannte Prozesse, Strukturen und Techniken ohne unnötige Details dargestellt, um eine unklare Darstellung beispielhafter Ausführungsformen zu vermeiden.
-
In der folgenden Beschreibung werden beispielhafte Ausführungsformen unter Bezugnahme auf Handlungen und beispielhafte Darstellungen von Abläufen (z. B. als Ablaufdiagramme, Flussdiagrammen, Datenflussdiagrammen, Strukturdiagrammen, Blockdiagrammen, usw.) dargestellt, die als Programmodule oder funktionale Prozesse mit Routinen, Programmen, Objekten, Komponenten, Datenstrukturen usw. implementiert sind, welche spezielle Aufgaben ausführen oder spezielle abstrakte Datentypen implementieren und die unter Verwendung bestehende Hardware im bestehenden elektronischen System (z. B. elektronische Abbildungssysteme, Bildverarbeitungssysteme, digitale Point-End-Shoot-Kameras, Personal Digital Assistants (PDA), Smartphones, Tablet-Computer (PC), Laptop-Computer usw.) implementiert werden können. Solch existierende Hardware kann eine oder mehrere zentrale Recheneinheiten (CPU), digitale Signalprozessoren (DSP), anwendungsspezifische integrierte Schaltkreise (ASIC), feldprogrammierbare Gate-Arrays (FPGA), Computer oder ähnliches umfassen.
-
Obwohl ein Ablaufdiagramm die Verfahrensschritte als sequentielle Prozesse darstellt, können viele Schritte auch parallel, gleichzeitig oder simultan ablaufen. Außerdem kann die Reihenfolge der Abläufe umgeordnet werden. Ein Prozess kann beendet sein, wenn die Abläufe komplett sind, er kann aber auch noch zusätzliche in der Figur nicht enthaltene Schrittet aufweisen. Ein Prozess kann einem Verfahren, Funktion, Prozess, Unterroutine, Unterprogramm usw. entsprechen. Falls ein Prozess einer Funktion entspricht, kann das Ende des Prozesses einem Zurückspringen zu dem Aufruf der Funktion oder der Hauptfunktion entsprechen.
-
Die im Folgenden verwendeten Ausdrücke ”Speichermedium”, ”computerlesbares Speichermedium” oder ”nicht-flüchtiges computerlesbares Speichermedium” können eine oder mehrere Vorrichtungen zu Speichern von Daten repräsentieren inclusive nur Lesespeicher (ROM), Zufallszugriffspeicher (RAM), magnetische RAMs, Kernspeicher, magnetische Festplattenspeichermedien, optische Speichermedien, Flah-Speichervorrichtungen und/oder andere konkrete oder nicht-flüchtige maschinenlesbare Medien zum Speichern von Information enthalten. Der Ausdruck ”computerlesbares Medium” enthält, ist jedoch nicht beschränkt darauf, tragbare oder feste Speichervorrichtungen, optische Speichervorrichtungen, und verschiedene andere konkrete oder nicht-flüchtige Medien, die geeignet sind, die Befehlt und/oder Daten zu speichern, enthalten oder zu übertragen. Beispielsweise können beispielhafte Ausführungsformen als Hardware, Software, Firmware, Middleware, Mikrocode, Hardwarebeschreibungssprachen, oder andere Kombinationen davon implementiert sein. Falls in Software, Firmware, Middleware oder Mikrocode implementiert, kann der Programmcode oder Codesegmente zur Durchführung der notwendigen Schritte in einem maschinen- oder computerlesbaren Medium, wie beispielsweise einem computerlesbaren Speichermedium gespeichert werden. Falls implementiert in Software, kann ein Prozessor oder die Prozessoren programmiert werden, um die notwendigen Schritte auszuführen, die dann in spezielle Anwendungsprozessoren oder Computer umgewandelt werden.
-
Die hier verwendete Terminologie dient lediglich zur Beschreibung konkreter Ausführungsformen und soll nicht einschränkend sein. Die im Folgenden verwendeten Einzahlformen ”ein”, ”einer” und ”der, die, das” soll, solange der Zusammenhang nicht klar etwas anderes anzeigt, auch die Pluralformen umfassen. Es ist außerdem klar, dass die Ausdrücke ”enthält”, ”enthaltend”, ”umfassen” und/oder ”umfassend”, die in der Beschreibung verwendet werden, das Vorhandensein genannter Eigenschaften, Zahlen, Schritte, Verfahrensschritte, Elemente, und/oder Komponenten bezeichnet, jedoch nicht das Vorhandensein oder das Hinzufügen einer oder mehrerer anderer Eigenschaften, Zahlen, Schritte, Verfahrensschritte, Elemente, Komponenten und/oder Gruppen davon ausschließt.
-
Solange nicht anders definiert, haben alle im Folgenden verwendeten Ausdrücke (inklusive technischer und wissenschaftlicher Ausdrücke) die gleiche Bedeutung wie sie allgemein von einem Fachmann auf dem Gebiet, zu dem das erfindungsgemäße Konzept gehört, verstanden wird. Es ist außerdem klar, dass Ausdrücke, wie sie in allgemein gebräuchlichen Wörterbüchern verwendet werden, die Bedeutung haben, die mit der Bedeutung in dem Zusammenhang des entsprechenden Fachgebiets übereinstimmt und soll nicht in idealisierter oder im überformalen Sinn interpretiert werden, solange es nicht ausdrücklich so definiert ist.
-
Ausdrücke wie ”wenigstens eines”, wenn sie einer Liste an Elementen voranstehen, verändern die gesamte Liste der Elemente und verändern nicht die einzelnen Elemente der Liste.
-
Im Folgenden wird eine Bildverarbeitungsvorrichtung gemäß wenigstens einer beispielhaften Ausführungsform der erfindungsgemäßen Konzepte unter Bezugnahme auf die 1 bis 6 beschrieben. 1 zeigt ein Blockdiagramm einer Bildverarbeitungsvorrichtung gemäß wenigstens einer beispielhaften Ausführungsform der erfindungsgemäßen Konzepte. 2 zeigt ein Ablaufdiagramm eines Betriebsverfahrens zur Bildverarbeitung gemäß wenigstens einer beispielhaften Ausführungsform der erfindungsgemäßen Konzepte. Die 3 bis 6 zeigen ein Verfahren zum Analysieren von Farbdaten gemäß wenigstens einer beispielhaften Ausführungsform der erfindungsgemäßen Konzepte.
-
Bezugnehmend auf 1 umfasst die Bildverarbeitungsvorrichtung einen Anwendungsprozessor (AP) 100, einen Display-Treiber (DDI) 200, und einen externen Speicher 300.
-
Der AP 100 kann Imagedaten ID von dem externen Speicher 300 empfangen, Farbdaten CD von den Bilddaten ID erfassen, die Farbdaten CD analysieren, um zu ermitteln, ob die Bilddaten ID Einzelfarbdaten enthalten, und einen ersten Verstärkungswert oder einen zweiten Verstärkungswert auf die Farbdaten CD anwenden.
-
Falls die Bilddaten ID Multifarbdaten enthalten, ist der erste Verstärkungswert ein Verstärkungswert, der berechnet wurde, um einen automatischen Weißabgleich (AWB) durchzuführen, und falls die Bilddaten ID Einzelfarbdaten enthalten, ist der zweite Verstärkungswert ein Verstärkungswert, der berechnet wurde unter Verwendung einer vordefinierten Verstärkungstabelle.
-
Der AP 100 kann dem DDI 200 ein Verarbeitungsergebnis der Bilddaten ID bereitstellen.
-
Im Detail kann der AP 100 einen Bildsignalprozessor (ISP) 110 und eine Schnittstelle 120 enthalten. Der ISP 110 kann eine Sammeleinheit (oder Sammler) 111, eine Verarbeitungseinheit (oder Prozessor) 112 und eine Verstärkungsanwendungseinheit (oder Verstärkungsanwender) 113 enthalten.
-
In wenigstens einer beispielhaften Ausführungsform der erfindungsgemäßen Konzepte, bedeutet der Ausdruck ”Einheit” eine Software- und/oder Hardwarekomponente, wie beispielsweise ein Field Programmable Gate Array (FPGA) oder einen anwendungsspezifischen integrierten Schaltkreis (ASIC), die bestimmte Aufgaben übernehmen, ist jedoch nicht hierauf beschränkt. Eine ”Einheit” kann auf dem adressierbaren Speichermedium vorhanden sein und geeignet sein, um einen oder mehrere Prozessoren auszuführen. Das heißt, eine ”Einheit” kann beispielsweise Komponenten, sowie Softwarekomponenten, Objekt-orientierte Softwarekomponenten, Klassenkomponenten und Aufgabenkomponenten, Prozesse, Funktionen, Attribute, Prozeduren, Unterroutinen, Segmente von Programmcode, Treiber, Firmware, Mikrocode, Schaltkreise, Daten, Datenbanken, Datenstrukturen, Tabellen, Arrays und Variablen enthalten. Der Ablauf, der für die Komponenten und Module vorgesehen ist, kann auch in weniger Komponenten oder Modulen oder in zusätzlichen Komponenten und Einheiten weiter separiert kombiniert werden.
-
Obwohl 1 zeigt, dass die Sammeleinheit 111, die Verarbeitungseinheit 112 und die Anwendungseinheit 113 alle innerhalb des ISP 110 angeordnet sind, und der ISP 110 und die Schnittstelle 120 beide innerhalb des AP 100 angeordnet sind, sind die beispielhaften Ausführungsformen nicht hierauf beschränkt.
-
In wenigstens einer beispielhaften Ausführungsform der erfindungsgemäßen Konzepte können einige Komponenten auch außerhalb des AP 100 angeordnet sein. Beispielsweise kann der ISP 110 außerhalb des AP 100 angeordnet sein und die Schnittstelle 120 kann innerhalb des AP 100 angeordnet sein.
-
Die Sammeleinheit 111 kann die Bilddaten ID empfangen und die Farbdaten CD von den Bilddaten ID erfassen. Die Sammeleinheit 111 teilt ein Eingangsbild in eine Vielzahl an Blöcken auf, und gewinnt eine Vielzahl an Stücken der Bilddaten ID aus der geteilten Vielzahl an Blöcken. Jeder der Blöcke kann eine Vielzahl an Pixeln enthalten.
-
Außerdem kann die Sammeleinheit 111 die Bilddaten ID auf Basis der geteilten Blöcke erfassen oder kann die Bilddaten ID auf Basis der in jedem Block enthaltenen Bildpunkte erfassen. Die Sammeleinheit 111 kann die Farbdaten CD von den Bilddaten ID erfassen.
-
Die Verarbeitungseinheit 112 kann die Bilddaten CD analysieren, um zu ermitteln, ob die Bilddaten ID Einzelfarbdaten oder Multifarbdaten enthalten, und falls die Bilddaten ID Multifarbdaten enthalten, den ersten Verstärkungswert ermitteln, um einen automatischen Weißabgleich (AWB) durchzuführen, und falls die Bilddaten ID Einzelfarbdaten enthalten, einen zweiten Verstärkungswert verschieden von dem ersten Verstärkungswert unter Verwendung einer vordefinierten Verstärkungstabelle GT ermitteln. Die Verstärkungstabelle GT kann einen oder mehrere Verstärkungswerte enthalten, die mit verschiedenen Farben der Einzelfarbdaten zusammenhängen. Demgemäß kann der zweite Verstärkungswert entsprechend dem Typ der Einzelfarbdaten variieren.
-
Insbesondere beim Ermitteln des zweiten Verstärkungswertes kann die Recheneinheit 112 den zweiten Verstärkungswert von der Verstärkungstabelle GT basierend auf einem Helligkeitswert oder einer Farbverteilung der Bilddaten ID für die Bilddaten ID, die die Einzelfarbdaten enthalten, ermitteln.
-
Im Folgenden wird der Betrieb der Recheneinheit 112 genauer beschrieben. Beim Betrieb der Recheneinheit 112 zum Analysieren der Farbdaten CD und zum Ermitteln, ob die Bilddaten ID Einzelfarbdaten enthalten, werden die Farbdaten CD auf einen Farbraum CS projiziert und analysiert, um zu ermitteln, ob die Farbdaten CD Einzelfarbdaten sind oder nicht.
-
Beispielsweise kann der Farbraum CS ein normalisierter Farbraum, Farbton, Sättigungs- und Intensitäts-(AIS)-Farbräume, oder ein Lab-Farbraum sein, wobei die beispielhaften Ausführungsformen nicht hierauf beschränkt sind. Die Farbdaten CD können ebenso auf einen anderen willkürlichen Farbraum CS projiziert werden, um analysiert zu werden.
-
Die 3 bis 6 stellen Methoden zum Analysieren von Farbdaten CD durch Projektion der Farbdaten CD auf einen vorher festgelegten Farbraum CS dar.
-
Hier wird ein normalisierter Farbraum als Farbraum CS verwendet, und die X-Achse zeigt normalisierte Rotwerte und die Y-Achse zeigt normalisierte Blauwerte.
-
Bezugnehmend auf 3 sind Punkte roter Wert und blauer Werte eines grauen Diagramms abhängig von den Farbtemperaturen dargestellt. In 3 sind Punkte roter Werte und blauer Werte des grauen Diagramms bei Farbtemperaturen von 3000 K, 4000 K, 5000 K und 6000 K dargestellt.
-
Bezugnehmend auf 4 sind Referenzgrauwertgebiete durch Näherung der in 3 dargestellten Punkte gesetzt. 5 zeigt Multifarbdaten (dargestellt durch die vielfache Darstellung von ”x”) als Farbdaten CD und 6 zeigt Einzelfarbdaten (dargestellt durch vielfache Darstellung von ”x”) als Farbdaten CD.
-
Wenn die Recheneinheit 112 die Farbdaten CD analysiert, wird ein Standardabweichungswert SDV oder ein Abweichungswert DV für die Farbdaten CD projiziert auf den Farbraum CS berechnet, um zu ermitteln, ob die Farbdaten CD Einzelfarbdaten sind. Der Standardabweichungswert SDV und der Abweichungswert DV auf einer Punktverteilung der Farbdaten CD, wie in 6 dargestellt, ist kleiner als die einer Punktverteilung der Farbdaten CD, wie in 5 dargestellt. Falls der Standardabweichungswert SDV oder der Abweichungswert DV einen gewünschten (oder alternativ vorher festgelegten) kritischen Wert erreicht, ist es möglich, um basierend auf dem kritischen Wert festzustellen, ob die Farbdaten CD Einzelfarbdaten sind.
-
Falls der AWB auf gewöhnliche Art ausgeführt wird, sind vier Bits der Farbdaten CD gleichmäßig in den Grauwertgebieten (siehe 5 und 6) enthalten, und der AWB wird auf beiden der in den 5 und 6 dargestellten Farbdaten CD durchgeführt (dargestellt durch vier Vorkommen von ”x” innerhalb der gepunkteten Linie). Wenn das Eingangsbild mit den Einzelfarbdaten (6) korrigiert und ausgegeben wird, wird das Bild verfälscht, um dann dargestellt zu werden.
-
Daher korrigiert die Bildverarbeitungsvorrichtung 1 gemäß wenigstens einer beispielhaften Ausführungsform des erfindungsgemäßen Konzepts das Eingangsbild durch Ermitteln des zweiten Verstärkungswerts basierend auf der vorher festgelegten Verstärkungstabelle GT, anstatt den AWB auf dem Eingangsbild mit den Einzelfarbdaten durchzuführen. Als Ergebnis werden die Multifarbdaten und die Einzelfarbdaten mit verschiedenen Verstärkungswerten korrigiert.
-
Außerdem kann die Verarbeitungseinheit 112 ermitteln, ob die Farbdaten CD Einzelfarbdaten enthalten unter Verwendung eines Hauptkomponentenanalyse-(PCA)-Verfahrens. Das PCA-Verfahren ist eine multivariate statistische Analysemethode zum Analysieren einer Datenverteilung durch Herausziehen verschiedener Hauptkomponenten aus einer Anzahl an Variablen. Die PCA-Methode wird im Allgemeinen zur Reduktion der Dimension unter Verwendung der Hauptkomponenten genutzt.
-
Alternativ dazu kann auch ein YCbCr-Farbraum als Farbraum CS verwendet werden. Der YCbCr-Farbraum ist eine Art Farbraum, der in Abbildungssystemen verwendet wird, die Chrominanzsignale verwenden. YCbCr-Umwandlung kann unter Verwendung der folgenden Beziehungen durchgeführt werden. Y = 0.2990·R + 0.5870·G + 0.1140·B Cb = –0.1687·R + 0.3313·G + 0.5000·B Cr = 0.5000·R + 0.4187·G + 0.0813·B
-
Die Verarbeitungseinheit 112 berechnet Farbton und Chrominanzwerte der Farbdaten CD und als Berechnungsergebnis wird ermittelt, dass ein zugehöriger Block der Farbdaten CD einen Farbwechsel aufweist, falls Differenzwerte zwischen dem berechneten Farbton und Chrominanzwerten und den Farbton und Chrominanzwerten der umgebenden Blöcke größer sind als gewünschte (oder alternativ, vorher festgelegte) kritische Werte.
-
Für alle in dem Eingangsbild ID enthaltenen Blöcke wird festgestellt, ob die Blöcke einen Farbwechsel aufweisen. Als Ergebnis wird festgestellt, dass das Eingangsbild Einzelfarbdaten enthält, falls die Anzahl der Blöcke mit Farbänderung kleiner ist als ein gewünschter (oder alternativer, vorher festgelegter) kritischer Wert ist.
-
In Bezug auf Chrominanz soll angemerkt werden, dass die Verarbeitungseinheit 112, die feststellt, ob die Farbdaten CD Einzelfarbdaten enthalten, nicht auf das oben beschriebene Verfahren eingeschränkt ist.
-
Die Verstärkungsanwendungseinheit 113 kann den ersten Verstärkungswert oder den zweiten Verstärkungswert auf die Farbdaten CD anwenden. Falls die Bilddaten ID Multifarbdaten enthalten, kann der erste Verstärkungswert zur Bildkorrektur auf die Farbdaten CD angewandt werden. Falls die Bilddaten ID Einzelfarbdaten enthalten, wird der zweite Verstärkungswert zur Bildkorrektur auf die Farbdaten CD angewandt.
-
In 1 ist die Verstärkungsanwendungseinheit 113 innerhalb des ISP 110 angeordnet, die beispielhaften Ausführungsformen sind jedoch nicht hierauf beschränkt. Die Verstärkungsanwendungseinheit 113 kann auch außerhalb des ISP 110 angeordnet sein.
-
Die Schnittstelle 120 kann Bilddaten ID mit einem ersten Verstärkungswert oder dem zweiten Verstärkungswert der auf die Farbdaten CD angewandt wird, an dem DDI 200 übertragen.
-
In wenigstens einer beispielhaften Ausführungsform der erfindungsgemäßen Konzepte kann die Schnittstelle 120 beispielsweise HS/Link enthalten, wobei die beispielhaften Ausführungsformen nicht hierauf beschränkt sind.
-
Der DDI 200 kann einen Framepuffer FB, einen Treiber D und ähnliches enthalten.
-
Der Framepuffer FB kann zum Puffern der Bilddaten ID verwendet werden. Dementsprechend kann der Framepuffer FB außerdem eine Speichervorrichtung zum Speichern der Bilddaten ID enthalten.
-
Der Treiber D kann die Bilddaten ID von dem Framepuffer FB empfangen und kann das Bildsignal IS unter Verwendung der empfangenen Bilddaten an ein Ausgabepanel übertragen. Gemäß wenigstens einer beispielhaften Ausführungsform der erfindungsgemäßen Konzepte können die von dem Framepuffer FB empfangenen Bilddaten ID beispielsweise digitale Daten enthalten, und das Bildsignal IS, das von dem Treiber D ausgegeben wird, kann beispielsweise analoge Signale enthalten.
-
Gemäß wenigstens einer beispielhaften Ausführungsform der erfindungsgemäßen Konzepte kann der Treiber D einen Gate-Treiber GD und einen Source-Treiber SD enthalten.
-
Der Gate-Treiber GD kann nacheinander Gate-Treibersignale über die Gate-Leitungen an das Ausgangspanel in Antwort auf die Steuerung eines Zeitcontrollers TC bereitstellen. Außerdem kann der Source-Treiber SD das Bildsignal IS über Source-Leitungen in Antwort auf die Steuerung des Zeitcontrollers TC an das Ausgabepanel übertragen, wann immer die Gate-Leitungen nacheinander ausgewählt werden. Das Ausgabepanel kann eine Vielzahl an Bildpunkten enthalten. Eine Vielzahl an Gate-Leitungen und eine Vielzahl an Source-Leitungen sind auf dem Ausgabepanel angeordnet, um sich gegenseitig in einer Matrixkonfiguration zu schneiden und Schnittpunkte der Vielzahl der Gate-Leitungen und der Vielzahl an Source-Leitungen werden als Bildpunkte definiert. In wenigstens einer beispielhaften Ausführungsform der erfindungsgemäßen Konzepte enthalten die entsprechenden Bildpunkte beispielsweise eine Vielzahl an Punkten (z. B. RBB-Punkte).
-
Der Zeitcontroller TC kann den Source-Treiber SD und den Gate-Treiber GD steuern. Der Zeitcontroller TC kann eine Vielzahl an Steuersignalen und Datensignalen von einem externen System empfangen. Der Zeitcontroller TC kann Gate-Steuersignale und Source-Steuersignale in Antwort auf die Steuersignale und Datensignale, die von dem externen System empfangen werden, erzeugen und kann die Gate-Steuersignale an dem Gate-Treiber GD ausgeben und kann die Source-Steuersignale an den Source-Treiber SD ausgeben.
-
Die Bilddaten ID, die an den AP 100, insbesondere an den ISP 110 zu übertragen sind, und die vorher festgelegte Verstärkungstabelle GT kann in den externen Speicher 300 gespeichert werden. Der externe Speicher 300 kann die Bilddaten ID an den AP 100 bereitstellen, insbesondere an den ISP 110 und kann auch den vorher festgelegten Verstärkungswert (PDG) bereitstellen.
-
Gemäß wenigstens einer beispielhaften Ausführungsform der erfindungsgemäßen Konzepte kann der externe Speicher 300 beispielsweise eine nicht-flüchtige Speichervorrichtung enthalten. Beispiele der nicht-flüchtigen Speichervorrichtung können ein NAND-Flash, ein NOR-Flash, einen magnetoresistiven Zufallszugriffsspeicher (MRAM), einen Phasenwechsel-Zufallszugriffsspeicher (PRAM) und einen Widerstandszufallszugriffsspeicher (RRAM) enthalten, wobei die beispielhaften Ausführungsformen nicht hierauf beschränkt sind.
-
Außerdem kann gemäß wenigstens einer beispielhaften Ausführungsform des erfindungsgemäßen Konzepts der externe Speicher 300 modifiziert sein, beispielsweise als Festplatte, magnetische Speichervorrichtung oder ähnlichem ausgebildet sein.
-
Ein Betriebsverfahren der Bildverarbeitungsvorrichtung 1, insbesondere der ISP 110 ist in 2 dargestellt.
-
Bezugnehmend auf 2 kann der ISP 110 Bilddaten ID empfangen und Statistiken der Farbdaten DD von den Bilddaten ID (S100) gewinnen und kann die Farbdaten CD auf einen Farbraum (z. B. einen vorher festgelegten Farbraum) CS (S110) projizieren.
-
Dann wird eine Szene der projizierten Farbdaten CD analysiert, um zu ermitteln, ob die Bilddaten ID Einzelfarbdaten enthalten (S120, S130).
-
Das Ermitteln, ob die Bilddaten ID Einzelfarbdaten enthalten, kann durch Berechnung eines Standardabweichungswertes SDV oder eines Abweichungswertes DV der auf den Farbraum CS projizierten Farbdaten CD oder unter Verwendung einer Hauptkomponentenanalysemethode (PCA) durchgeführt werden.
-
Falls die Bilddaten ID Multifarbdaten enthalten, wird ein erster Verstärkungswert zur Durchführung des AWB ermittelt (S140). Falls die Bilddaten ID Einzelfarbdaten enthalten, wird ein zweiter Verstärkungswert unter Verwendung einer Verstärkungstabelle (z. B. einer vorher festgelegten Verstärkungstabelle) GT ermittelt (S150). Die Verstärkungstabelle GT kann nutzerdefiniert sein und/oder auf empirischen Erfahrungen basieren. Der zweite Verstärkungswert kann von der Verstärkungstabelle GT basierend auf einem Helligkeitswert oder einer Farbverteilung in den Bilddaten ID berechnet (oder erhalten) werden.
-
Der ermittelte erste Verstärkungswert oder zweite Verstärkungswert kann auf die Farbdaten CD angewandt werden, um ein korrigiertes Bild zu erzeugen. Das korrigierte Bild kann dann dargestellt werden.
-
Danach wird unter Bezugnahme auf die 7 bis 9 eine Bildverarbeitungsvorrichtung gemäß wenigstens einer beispielhaften Ausführungsform der erfindungsgemäßen Konzepte beschrieben.
-
7 zeigt ein Blockdiagramm einer Bildverarbeitungsvorrichtung gemäß wenigstens einer beispielhaften Ausführungsform der erfindungsgemäßen Konzepte. Um die Beschreibung kurz und passend zu halten wird auf eine neue Beschreibung der schon oben beschriebenen Elemente verzichtet.
-
Bezugnehmend auf 7 enthält die Bildverarbeitungsvorrichtung 2 einen Anwendungsprozessor (AP) 100, und einen DDI 200. Der AP 100 kann einen ISP 110a, eine Schnittstelle 120, und eine zentrale Recheneinheit (CPU) 130 enthalten.
-
Der ISP 110a kann die Bilddaten ID in erste bis n-te Blöcke (n ist eine natürliche Zahl von 2 oder größer) aufteilen und kann für die aufgeteilten ersten bis n-ten Blöcke Statistiken in den ersten bis n-ten Farbdaten CD_1 bis CD_n gewinnen.
-
Entsprechend der Arbeitsschritte in 2, kann die CPU 130 die Statistiken der ersten bis n-ten Farbdaten CD_1 bis CD_n von dem ISP 110a empfangen und analysieren, um zu ermitteln, ob die Bilddaten ID Einzelfarbdaten oder Multifarbdaten enthalten, und kann einen ersten Verstärkungswert zur Durchführung eines AWB ermitteln, falls die Bilddaten ID Multifarbdaten enthalten, und kann einen zweiten Verstärkungswert unter Verwendung der vorher festgelegten Verstärkungstabelle GT ermitteln, falls die Bilddaten ID Einzelfarbdaten enthalten.
-
8 zeigt ein Blockdiagramm einer Bildverarbeitungsvorrichtung gemäß wenigstens einer beispielhaften Ausführungsform der erfindungsgemäßen Konzepte. Um die Beschreibung kurz und praktikabel zu halten, wird auf eine erneute Beschreibung der oben beschriebenen Elemente verzichtet.
-
Bezugnehmend auf 8 enthält die Bildverarbeitungsvorrichtung 3 einen Anwendungsprozessor (AP) 100, einen DDI 200, und einen externen Speicher 300. Der AP 100 kann einen ISP 110, eine Schnittstelle 120, und einen internen Speicher 140 enthalten.
-
Der ISP 110, die Schnittstelle 120, und der interne Speicher 140 können innerhalb des AP 100 angeordnet sein, und auch der externe Speicher 300 kann innerhalb des AP 100 angeordnet sein.
-
Eine Verstärkungstabelle GT kann in dem internen Speicher 140 gespeichert sein. Der interne Speicher 140 kann einen vorher festgelegten Verstärkungswert (PDG) für den ISP 110 bereitstellen.
-
Der interne Speicher 140 kann beispielsweise eine nicht-flüchtige Speichervorrichtung enthalten. Beispiele nicht-flüchtiger Speichervorrichtungen enthalten ein NAND-Flash, ein NOR-Flash, einen magnetoresistiven Zufallszugriffsspeicher (MRAM), einen programmierbaren Nur-Lese-Speicher (PROM), und einen resistiven Zufallszugriffsspeicher (RRAM), wobei die beispielhaften Ausführungsformen nicht hierauf beschränkt sind.
-
Die an den AP 100 übertragenen Bilddaten ID, insbesondere an den ISP 110, können in den externen Speicher 300 gespeichert werden. Der externe Speicher 300 kann die Bilddaten ID an den AP 100, insbesondere an den ISP 110 übertragen.
-
Der externe Speicher 300 kann beispielsweise eine flüchtige Speichervorrichtung enthalten. Beispiele flüchtiger Speichervorrichtungen enthalten dynamische Zufallszugriffsspeicher (DRAM), die beispielhaften Ausführungsformen sind jedoch nicht hierauf beschränkt.
-
Außerdem kann der externe Speicher 300 beispielsweise eine nicht-flüchtige Speichervorrichtung enthalten. Beispiele nicht-flüchtiger Speichervorrichtungen enthalten einen statischen Zufallszugriffsspeicher (SRAM), ein NAND-Flash, ein NOR-Flash, einen magnetoresistiven Zufallszugriffsspeicher (MRAM), einen programmierbaren Zufallszugriffsspeicher (PRAM), und einen resistiven Nur-Lese-Speicher (RRAM), wobei die beispielhaften Ausführungsformen jedoch nicht hierauf beschränkt sind.
-
Außerdem kann der externe Speicher 300 auch modifiziert werden, um beispielsweise als Festplatte oder magnetische Speichervorrichtung ausgebildet zu sein.
-
9 zeigt im Blockdiagramm eine Bildverarbeitungsvorrichtung gemäß wenigstens einer beispielhaften Ausführungsform der erfindungsgemäßen Konzepte. Um die Beschreibung kurz und praktikabel zu halten, wird auf eine weitere Beschreibung der schon oben beschriebenen Elemente verzichtet.
-
Bezugnehmend auf 9 enthält die Bildverarbeitungsvorrichtung 4 einen Anwendungsprozessor (AP) 100, einen DDI 200, und einen externen Speicher 300. Der AP 100 kann einen ISP 110a, eine Schnittstelle 120, eine CPU 130 und einen externen Speicher 140 enthalten.
-
Der ISP 110a, die Schnittstelle 120, die CPU 130 und der externe Speicher 140 können innerhalb des AP 100 angeordnet sein, und der externe Speicher 300 kann außerhalb des AP 100 angeordnet sein.
-
Die oben beschriebenen Bildverarbeitungsvorrichtungen 2 bis 4 werden im Wesentlichen auf die gleiche Art und Weise betrieben wie die Bildverarbeitungsvorrichtung 1.
-
10 zeigt ein Blockdiagramm eines SOC-Systems gemäß wenigstens einer beispielhaften Ausführungsform der erfindungsgemäßen Konzepte.
-
Bezugnehmend auf 10, enthält das SOC-System 800 einen Anwendungsprozessor 801, ein DRAM 860 und ein DDI 890.
-
Der Anwendungsprozessor 801 kann eine zentrale Recheneinheit 810, ein Multimediasystem 820, einen Bus 830, ein Speichersystem 840 und eine Peripherieschaltung 850 enthalten.
-
Die zentrale Recheneinheit 810 kann Abläufe, die notwendig sind für den Betrieb des SOC-Systems 800 durchführen. Gemäß wenigstens einer beispielhaften Ausführungsform der erfindungsgemäßen Konzepte kann die zentrale Recheneinheit 810 als Multi-Core-Umgebung mit einer Vielzahl an Cores ausgebildet sein.
-
Das Multimediasystem 820 kann verwendet werden, um eine Vielzahl an Multimediafunktionen in dem SOC-System 800 durchzuführen. Das Multimediasystem 820 enthält ein 3D-Enginemodul, einen Videocodec, ein Anzeigesystem, ein Kamerasystem, und einen Nach-Prozessor. Der Bus 830 kann verwendet werden, um die Datenkommunikation zwischen der zentralen Recheneinheit 810, dem Multimediasystem 820, dem Speichersystem 840 und der Peripherieschaltung 850 durchzuführen. Gemäß wenigstens einer beispielhaften Ausführungsform der erfindungsgemäßen Konzepte kann der Bus 830 eine Vielfach-Layerstruktur aufweisen. Im Detail können Beispiele des Busses 830 einen Multi-Layer-Advanced-High-Performance-Bus AHB oder einen Multi-Layer-Advanced-Extensible-Interface-(AXI)-Bus aufweisen, wobei die beispielhaften Ausführungsformen nicht hierauf beschränkt sind.
-
Das Speichersystem 840 kann eine Umgebung bereitstellen, die notwendig ist für den Hochgeschwindigkeitsbetrieb durch die Verbindung des AB 801 mit dem externen Speicher (beispielsweise dem DRAM 860). Gemäß wenigstens einer beispielhaften Ausführungsform der erfindungsgemäßen Konzepte, kann das Speichersystem 840 einen separaten Controller (beispielsweise einem DRAM-Controller) zum Steuern des externen Speichers (beispielsweise des DRAM 860) enthalten.
-
Die Peripherieschaltung 850 kann auch eine Umgebung bereitstellen, die notwendig ist, um das SOC-System 800 geeignet mit der externen Vorrichtung (beispielsweise einer Hauptplatine) zu verbinden. Demgemäß kann die Peripherieschaltung 850 verschiedene Arten an Schnittstellen enthalten, die es ermöglichen die externe Vorrichtung kompatibel mit dem SOC-System 800 zu verbinden.
-
Der DRAM 860 kann als Arbeitsspeicher, der notwendig ist, um den AP 801 zu betreiben, verwendet werden. Gemäß wenigstens einer beispielhaften Ausführungsform der erfindungsgemäßen Konzepte, kann, wie dargestellt, der DRAM 860 außerhalb des AP 801 angeordnet sein. Im Detail kann der DRAM 860 mit dem AP 801 in Form eines Gehäuse-Auf-Gehäuse (package an package – PoP) eingehäust sein.
-
Gemäß wenigstens einer beispielhaften Ausführungsform der erfindungsgemäßen Konzepte, können die Bilddaten der Bildverarbeitungsvorrichtung 1 bis 4 in dem DRAM 860 gespeichert werden.
-
11 zeigt ein Blockdiagramm einer Drahtloskommunikationsvorrichtung gemäß wenigstens einer beispielhaften Ausführungsform des erfindungsgemäßen Konzepts.
-
Bezugnehmend auf 11 kann die Vorrichtung 900 ein Mobiltelefon, ein Smartphone-Terminal, ein Handgerät, einen Personal Digital Assistant (PDA), ein Laptop-Computer, eine Videospieleinheit, oder eine andere Vorrichtung sein.
-
Die Vorrichtung 900 kann Code Division Multiple Access (CDMA), Time Division Multiple Access (TDMA) oder ein Global System for Mobile communications (GSM) oder einen anderen Drahtloskommunikationsstandard verwenden.
-
Die Vorrichtung 900 kann eine bidirektionale Kommunikation über einen Empfangspfad und einen Übertragungspfad bereitstellen. Signale, die von einer oder mehreren Basisstationen auf dem Empfangspfad übertragen werden, können von einer Antenne 911 empfangen werden oder können einem Empfänger (RCVR) 913 bereitgestellt werden. Der RCVR 913 kann die empfangenen Signale konditionieren und digitalisieren und kann die konditionierten und digitalisierten Signale an einen Digitalabschnitt 920 zur Weiterverarbeitung bereitstellen. Auf dem Übertragungspfad kann ein Überträger (TMTR) 915 von dem Digitalabschnitt 720 übermittelte Daten empfangen und kann die empfangenen Daten verarbeiten und konditionieren und ein moduliertes Signal erzeugen. Das modulierte Signal kann an eine oder mehrere Basisstationen über die Antenne 911 übertragen werden.
-
Der Digitalabschnitt 920 kann als einer oder mehrerer Digitalsignalprozessoren (DSP), als Mikroprozessor, als reduzierter Befehlssatzcomputer (RISC) oder ähnlichem ausgebildet sein. Außerdem kann der Digitalabschnitt 920 auf einem oder mehreren der anwendungsspezifischen integrierten Schaltkreise (ASIC) oder anderen Typen integrierter Schaltkreise (ISCs) ausgebildet sein.
-
Der Digitalabschnitt 920 kann beispielsweise eine Vielzahl an Verarbeitungs- und Schnittstelleneinheiten, wie beispielsweise einen Modemprozessor 934, eine Videoprozessor 922, einen Anwendungsprozessor 924, einen Anzeigeprozessor 928, einen Controller/Multi-Core-Prozessor 926, eine CPU 930 und eine externe Bus-Schnittstelle (EBI) 932 enthalten.
-
Der Modemprozessor 934, der Videoprozessor 922, der Anwendungsprozessor 924, der Displayprozessor 928, der Controller/Multi-Core-Prozessor 926, die CPU 930, und die externe Bus-Schnittstelle (EBI) 932 kann über einen Bus, wie dargestellt, miteinander verbunden sein.
-
Der Videoprozessor 922 kann die Verarbeitung von Graphikanwendungen durchführen. Im Allgemeinen kann der Videoprozessor 922 eine willkürliche Anzahl an Verarbeitungseinheiten oder Modulen für einen willkürlichen Satz an Graphikverarbeitungsschritten enthalten.
-
Ein spezieller Teil des Videoprozessors 922 kann durch Firmware und/oder Software implementiert werden. Beispielsweise kann ein Steuerteil des Videoprozessors 922 als Firmware und/oder Softwaremodul (z. B. Prozeduren, Funktionen, usw) zur Durchführung der vorher genannten Funktionen ausgebildet sein. Die Firmware und/oder Softwarecodes können in einem Speicher (z. B. externen Speicher 200 in 1) gespeichert sein oder können von einem Prozessor (z. B. Multi-Core-Prozessor 926) ausgeführt werden. Der Speicher kann innerhalb oder außerhalb des Prozessors ausgebildet sein.
-
Der Videoprozessor 122 kann eine Softwareschnittstelle wie beispielsweise Open Graphik Library (OpenGL) oder Direct3D enthalten.
-
Die CPU 930 kann zusammen mit dem Videoprozessor 920 eine Reihe an Graphikverarbeitungsschritten durchführen.
-
Der Multi-Core-Prozessor 926, der wenigstens zwei Kerne enthält, kann die Arbeitslast, die von dem Controller/Multi-Core-Prozessor 926 zu leisten ist, auf die wenigstens zwei Kerne zuordnen und die entsprechenden Arbeitslasten gleichzeitig verarbeiten.
-
Der Anzeigeprozessor 928 kann verschiedenste Graphikverarbeitungsschritte für die Ausgabe des Bildes auf der Anzeige 910 durchführen.
-
Wenigstens einer von dem Anwendungsprozessor 925 und dem Anzeigeprozessor 928 können die Konfiguration jedes der Bildverarbeitungsvorrichtungen 1 bis 4 nutzen.
-
Der Modemprozessor 134 kann verschiedene Prozessschritte in Bezug auf die Kommunikation in dem Digitalabschnitt 920 durchführen.
-
Die externe Bus-Schnittstelle (EGI) 932 kann mit dem externen Speicher 940 verbunden werden.
-
12 zeigt ein Blockdiagramm, das die Konfiguration eines elektronischen Systems gemäß wenigstens einer beispielhaften Ausführungsform der erfindungsgemäßen Konzepte darstellt.
-
Bezugnehmend auf 12 kann das elektronische System 1000 ein Speichersystem 1002, einen Prozessor 1004, einen RAM 1006, eine Nutzerschnittstelle 1008 und ein DDI 1010 enthalten.
-
Das Speichersystem 1002, der Prozessor 1004, das RAM 1006, die Nutzerschnittstelle 1008 und der DDI 1010 können über einen Bus 1010 miteinander kommunizieren.
-
Der Prozessor 1004 kann ein Programm ausführen und das elektronische System 1000 steuern. Der Prozessor 1004 kann einen oder mehrere Mikroprozessoren, einen digitalen Signalprozessor (DSP), einen Mikrocontroller und andere logische Elemente, die in der Lage sind ähnliche Funktionen durchzuführen, enthalten.
-
Der RAM 1006 kann als Arbeitsspeicher des Prozessors 1004 verwendet werden. Der RAM 1006 kann beispielsweise einen flüchtigen Speicher, wie beispielsweise ein DRAM enthalten. Außerdem kann der Prozessor 1004 und der RAM 1006 in einer einzelnen Halbleitervorrichtung oder Gehäuse implementiert sein.
-
Die Nutzerschnittstelle 1008 kann verwendet werden, um Daten an das elektronische System 1000 ein- oder auszugeben. Beispiele der Nutzerschnittstelle 1008 sind eine Tastatur, ein Tastaturboard, ein Bildsensor, eine Anzeigevorrichtung oder ähnliches.
-
Das Speichersystem 1002 kann Codes für den Betrieb des Prozessors 1004, von dem Prozessor 1004 verarbeitete Daten oder extern eingegebene Daten speichern. Das Speichersystem 1002 kann einen separaten Treibercontroller enthalten und kann geeignet sein, um außerdem einen Fehlerkorrekturblock zu enthalten. Der Fehlerkorrekturblock kann geeignet sein, um einen Fehler, der in dem Speichersystem 1002 gespeicherten Daten unter Verwendung eines Fehlerkorrekturcodes (ECC) zu erkennen und den Fehler zu korrigieren.
-
Außerdem kann in einem solchen Informationsverarbeitungssystem bei einer mobilen Vorrichtung oder einem Desktopcomputer ein Flash-Speicher als Speichersystem 1002 verwendet werden. Der Flash-Speicher kann als Festkörperfestplatte (SSD) ausgebildet sein. In diesem Fall kann das elektronische System 1000 Daten einer großen Kapazität sicher in dem Flash-Speicher speichern.
-
Das Speichersystem 1002 kann in einer einzelnen Halbleitervorrichtung integriert sein. In wenigstens einer beispielhaften Ausführungsform der erfindungsgemäßen Konzepte kann das Speichersystem 1002 in einer Halbleitervorrichtung, die als Speicherkarte ausgebildet ist, integriert sein, und Beispiele der Speicherkarten können eine PC-Karte, beispielsweise eine Personal-Computer-Memory-Card-International-Association(PCMCIA)-Karte, eine Kompakt-Flash-Karte (CF), eine Smart-Media-Card (z. B. SM oder SMC), ein Memory-Stick, eine Multimediakarte (z. B. MMC, RS-MMC oder MMCmicro), eine SD-Karte (z. B. SD, miniSD, microSD und SDHC) oder ein universeller Flash-Speicher (UFS) enthalten.
-
Gemäß wenigstens einer beispielhaften Ausführungsform der erfindungsgemäßen Konzepte, kann der DDI 1010 die gleiche Konfiguration des DDI 200 jeder der Bildverarbeitungsvorrichtungen 1 bis 4 annehmen.
-
Das elektronische System 1000 aus 12 kann ebenso auf andere elektronische Controller und verschiedene elektronische Vorrichtungen angewandt werden. Beispielsweise zeigt 13 ein Beispiel, in dem das elektronische System aus 12 auf ein Smartphone 1001 angewandt wird.
-
Wenn das elektronische System (1000 in 12) auf ein Smartphone 1001 angewandt wird, können einige Komponenten des elektronischen Systems (1000 in 12) als Anwendungsprozessoren ausgeführt sein.
-
Außerdem kann das elektronische System (1000 in 12) auch auf andere als dort aufgeführte elektronische Vorrichtungen angewandt werden. 14 zeigt ein Beispiel, in dem das elektronische System (1000 in 12) auf einem Tablet-PC 1100 angewandt wird, und 15 zeigt ein Beispiel, in dem das elektronische System (1000 in 12) auf einem Notebook-Computer 1200 angewandt wird.
-
Außerdem kann das elektronische System (1000 in 12) als Personal Computer, als Ultra Mobile Personal Computer (UMPC), als Workstation, als Netbook, als Personal Digital Assistant (PDA), als tragbarer Computer, als Webtablet, als drahtloses Telefon, als Mobiltelefon, als e-Book, als tragbarer Multimediaplayer (PMP), als tragbare Spielkonsole, als Navigationsvorrichtung, als Blackbox, als Digitalkamera, als 3-dimensionaler (3D) Fernseher, als Digital-Audio-Recorder, als Digital-Audio-Player, als Digital-Bildrecorder, als Digital-Bildplayer, als Digital-Videorecorder, als Digital-Videoplayer, als Vorrichtung, die geeignet ist, um in drahtlosen Umgebungen Information zu übertragen/empfangen, als eine von verschiedenen elektronischen Vorrichtungen, die ein Heimnetwork bilden, als eine verschiedener elektronischer Vorrichtungen, die ein Computernetzwerk bilden, als eines verschiedener elektronischer Vorrichtungen, die ein Telematiknetzwerk bilden, als RFID-Vorrichtung oder als embedded Computersystem ausgebildet sein.
-
Während die erfindungsgemäßen Konzepte spezifisch dargestellt und beschrieben sind in Bezug auf beispielhafte Ausführungsformen, ist es für den Fachmann klar, dass verschiedene Änderungen in Form und Detail durchgeführt werden können, ohne von dem Sinn und dem Umfang der erfindungsgemäßen Konzepte, wie in den folgenden Patentansprüchen definiert, abzuweichen. Es ist daher beabsichtigt, dass die beispielhaften Ausführungsformen in allen Aspekten nur als beispielhaft und nicht beschränkend betrachtet werden sollen. Zur Bestimmung des Umfangs der erfindungsgemäßen Konzepte sollen die anliegenden Patentansprüche und nicht die vorangegangene Beschreibung dienen.
