DE112006003031T5

DE112006003031T5 - Grafikverarbeitungseinheit: Verwendung und Vorrichtung

Info

Publication number: DE112006003031T5
Application number: DE112006003031T
Authority: DE
Inventors: Matthias M. San Jose Wloka
Original assignee: Nvidia Corp
Current assignee: Nvidia Corp
Priority date: 2005-11-09
Filing date: 2006-11-07
Publication date: 2008-10-02
Anticipated expiration: 2026-11-08
Also published as: US8456549B2; KR100996995B1; GB0806799D0; US20100173669A1; WO2007056459A3; TWI337036B; US20100171845A1; GB2444470A; JP2009515486A; US7750956B2; TW200731768A; DE112006003031B4; US20100173670A1; GB2444470B; US20070103567A1; KR20080056004A; WO2007056459A2; US8456548B2; JP4790022B2; CN101305620B

Abstract

Vorrichtung, welche aufweist:
eine Bildaufnahmevorrichtung, die ein Array von Detektorelementen aufweist, das eine korrespondierende erste Mehrzahl von Pixelwerten erzeugt, die einen ersten Frame von Bilddaten aufweisen;
einen Speicher, der in der Lage ist, die erste Mehrzahl von Pixelwerten zu speichern;
eine Anzeigevorrichtung, die in der Lage ist, ein Bild auf der Basis der ersten Mehrzahl von Pixelwerten anzuzeigen; und
eine Grafikverarbeitungseinheit (GPU), die in der Lage ist, ein Verfahren zum Verarbeiten der ersten Mehrzahl von Pixelwerten auszuführen, wobei das Verfahren aufweist:
Identifizieren eines inakzeptablen Pixelwertes, wobei der inakzeptable Pixelwert als inakzeptabel angesehen wird, wenn ein Kriterium erfüllt ist; und
Bestimmen eines neuen Wertes für den inakzeptablen Pixelwert.

Description

TECHNISCHES GEBIET
Die hier beschriebenen Ausführungsformen betreffen allgemein die Verarbeitung von Daten, einschließlich digitaler Bilddaten and digitaler Audiodaten. Diese Schrift offenbart die Verwendung einer Grafikverarbeitungseinheit zum Korrigieren von Video- and Audiodaten.
ALLGEMEINER STAND DER TECHNIK
Heutige Drahtlostelefone, üblicherweise als Mobiltelefone bezeichnet, enthalten viele neue Merkmale wie zum Beispiel Digitalkameras. Jedoch wird die Qualität von Bildern, die mit solchen "Kamera-Handys" aufgenommen werden, durch Einschränkungen hinsichtlich Kosten, Gewicht and Größe beeinträchtigt, die sich daraus ergeben, dass die Verbraucher immer kleinere und leichtere Geräte wollen. Die Hersteller können die Bildqualität verbessern, indem sie höherwertigere Kamerakomponenten verwenden, wie zum Beispiel höherwertige Objektive oder Detektorarrays. Jedoch muss ein Hersteller entweder den Preis seines Produkts anheben, um die höheren Kosten der höherwertigen Komponenten zu decken, oder er muss die Anzahl anderer Leistungsmerkmale verringern, um die höheren Kosten auszugleichen und den momentanen Preis zu halten. In beiden Fällen entsteht für den Hersteller ein Wettbewerbsnachteil.
Des Weiteren mögen ungeachtet der Qualität der Bildaufnahmekomponenten, die in einem Kamera-Handy enthalten sind, solche Komponenten im Lauf der Zeit verschleißen, wodurch die Bildqualität gemindert wird. Zum Beispiel nimmt ein Kamera-Handy Bilder mit einem Detektorarray wie zum Beispiel einem ladungsgekoppelten Bauelement (Charged Coupled Device – CCD) oder einem komplementären Metalloxidhalbleiter-Bauelement (Complementary Metal-Oxide Semiconductor – CMOS) auf. Ein Detektorelement – gleichbedeutend mit einem Pixel – mag bei wiederholter Verwendung ausfallen oder an Qualität verlieren, was zu einem toten Punkt in den Bildaufnahmedaten und somit in dem gerenderten Bild führt. Der Nutzer steht vor der Entscheidung, entweder Bilder von geringerer Qualität zu akzeptieren oder ein neues Kamera-Handy zu kaufen.
Ein totes oder verschlissenes Detektorelement mag auch als Ergebnis von Qualitätsprüfungen während des Fertigungsprozesses detektiert werden. Wenn ein Detektorarray zu viele ausgefallene oder verschlissene Detektorelemente enthält, so wird es in der Regel vom Hersteller verworfen. Das Verwerfen von Komponenten, die durch Qualitätsprüfungen fallen, insbesondere Komponenten, die nur knapp durch die Qualitätsprüfung fallen, kann die Fertigungskosten und somit den Preis des Produkts erhöhen.
KURZDARSTELLUNG DER ERFINDUNG
Dementsprechend wären eine Vorrichtung und/oder ein Verfahren nützlich, die die Bildqualität in Vorrichtungen wie zum Beispiel Kamera-Handys verbessern können, jedoch ohne eine entsprechende Zunahme bei Preis, Gewicht oder Größe. Eine Vorrichtung und/oder ein Verfahren, die diesen Vorteil realisieren und eine Verschlechterung von Komponenten im Lauf der Zeit kompensieren, würden einen weiteren Vorteil bedeuten. Eine Vorrichtung und/oder ein Verfahren, die das oben Genannte sowie niedrigere Ausschussraten erreichen, würden einen weiteren Vorteil bedeuten. Ausführungsformen gemäß der vorliegenden Erfindung stellen diese und weitere Vorteile bereit.
Kurz gesagt, betreffen Ausführungsformen gemäß der vorliegenden Erfindung handgehaltene Vorrichtungen, wie zum Beispiel, ohne darauf beschränkt zu sein, Kamera-Handys, die eine Grafikverarbeitungseinheit (Graphics Processing Unit – GPU) enthalten. In einer Ausführungsform wird die GPU zur Nachbearbeitung von Bilddaten verwendet, um den Bildqualitätsverlust zu korrigieren oder auszugleichen, der aus Fertigungsmängeln, der Verwendung von preiswerteren Komponenten oder der Verschlechterung von Komponenten im Lauf der Zeit herrührt.
In einer Ausführungsform wird eine erste Mehrzahl von Pixelwerten, die einen ersten Frame von Bilddaten aufweisen, mit Hilfe eines Arrays von Detektorelementen aufgenommen. Gemäß einer Ausführungsform der vorliegenden Erfindung werden die Pixelwerte durch die GPU verarbeitet, um irgendwelche inakzeptable Pixelwerte zu identifizieren, zum Beispiel einen Pixelwert, der einem augenscheinlich toten oder auf sonstige Weise gestörten Detektorelement entspricht. Bei Erkennen eines inakzeptablen Pixelwertes bestimmt die GPU einen neuen Wert für dieses Pixel. In einer Ausführungsform wird der neue Wert durch Mitteln von Pixelwerten bestimmt, die Detektorelementen zugeordnet sind, die sich neben dem toten oder gestörten Detektorelement befinden.
In einer solchen Ausführungsform identifiziert die GPU einen inakzeptablen Pixelwert durch Vergleichen der ersten Mehrzahl von Pixelwerten mit einer zweiten Mehrzahl von Pixelwerten, wobei die zweite Mehrzahl einen zweiten Frame von Bilddaten aufweist, wobei der zweite Frame der nächste Frame ist, der auf den ersten Frame in chronologischer Reihenfolge folgt. Wenn die Pixelwerte, die demselben Detektorelement entsprechen, von dem ersten Frame zu dem zweiten Frame die gleichen sind, so werden diese Pixelwerte als möglicherweise inakzeptable Pixelwerte identifiziert.
In einer weiteren derartigen Ausführungsform werden die Pixelwerte über aufeinanderfolgende Frames von Bilddaten in Echtzeit verglichen, wo jeder neuer Frame von Bilddaten erlangt wird, in einer ähnlichen Weise, wie oben beschrieben. Jedem Detektorelement ist ein Zähler zugeordnet. Der Zählerwert wird jedes Mal inkrementiert, wenn Pixelwerte, die einem selben Detektorelement entsprechen, über jedes Paar aufeinanderfolgender Frames die gleichen sind. Wenn der Zählerwert einen Schwellenwert übersteigt, so werden die Pixelwerte, die diesem Detektorelement entsprechen, als inakzeptabel erachtet. Der Zählerwert wird jedes Mal auf null zurückgesetzt, wenn sich die Pixelwerte, die demselben Detektorelement entsprechen, von einem Frame zum nächsten Frame ändern.
In einer weiteren Ausführungsform wird, wenn eine Nachbarschaft inakzeptabler Pixelwerte identifiziert wird (wenn zum Beispiel eine Gruppe von Pixelwerten identifiziert wird, die benachbarten gestörten Detektorelementen zugeordnet sind), ein Multi-Durchgang-Prozess verwendet, um neue Pixelwerte zu bestimmen. In jedem Durchgang wird mindestens ein neuer Pixelwert durch Mitteln anderer Pixelwerte bestimmt, und dieser neue Pixelwert kann in anschließenden Durchgängen verwendet werden, um noch andere Pixelwerte zu bestimmen. Auf diese Weise kann ein Pixelwert, der einem beliebigen Detektorelement entspricht, bestimmt werden, selbst wenn dieses Detektorelement nur von anderen toten oder gestörten Detektorelementen umgeben ist.
In einer noch anderen Ausführungsform wird zum Beispiel während des Fertigungsprozesses das Kamera-Handy anhand von Vergleichsbildern kalibriert, um jegliche Effekte zu quantifizieren, die durch Variationen bei den Bildaufnahmekomponenten hervorgerufen werden. Zum Beispiel kann ein Fehler im Objektiv die Bilddaten verzerren. Ein Korrekturfaktor kann für jedes Detektorelement in dem Array bestimmt und gespeichert werden, zum Beispiel in einer Nachschlagetabelle (Lookup Table – LUT). In einer solchen Ausführungsform liest die GPU den Korrekturfaktor, der einem Detektorelement zugeordnet ist, aus der LUT und wendet diesen Korrekturfaktor auf den Pixelwert an, der diesem Detektorelement entspricht. Auf diese Weise können Effekte wie zum Beispiel, ohne darauf beschränkt zu sein, chromatische Aberrationen und geometrische Verzerrungen in den Bilddaten korrigiert werden.
In einer weiteren Ausführungsform werden Audiodaten korrigiert, um um Abweichungen zu kompensieren, die durch Aufzeichnungs- oder Wiedergabekomponenten hervorgerufen werden mögen. Zum Beispiel können während des Fertigungsprozesses Abweichungen der Amplitude von einem definierten Ideal über einen Bereich von Audiofrequenzen hinweg quantifiziert werden. Unter Verwendung dieser Informationen können Korrekturfaktoren als eine Funktion der Frequenz zum Beispiel in einer LUT gespeichert und dann durch die GPU während der Aufzeichnung oder Wiedergabe auf die Audiodaten angewendet werden.
Zusammenfassend ausgedrückt, kann gemäß Ausführungsformen der vorliegenden Erfindung eine GPU in einem Kamera-Handy, einem Audio-Player und ähnlichen Arten von Vorrichtungen dafür verwendet werden, die Qualität von Bild- oder Audiodaten zu verbessern, ohne entsprechend die Kosten, das Gewicht oder die Größe der Vorrichtung zu erhöhen. Die Verwendung einer GPU auf diese Weise mag sogar zu einer Nettokostensenkung führen, weil kostengünstigere Komponenten von geringerer Qualität verwendet werden können, ohne dass die Bild- oder Tonqualität leidet. Das heißt, die GPU kann um einen Effekt kompensieren, wenn überhaupt vorhanden, die durch eine Komponente geringerer Qualität/Kosten hervorgerufen werden mögen, so dass die Gesamtqualität praktisch nicht von einer Qualität zu unterscheiden ist, die man unter Verwendung einer höherwertigen, teureren Komponente hätte erreichen können.
Die Kosten können weiter gesenkt werden, indem man die Ausschussrate bestimmter Komponenten senkt. Wenn zum Beispiel während der Fertigung festgestellt wird, dass ein Detektorarray eine Anzahl defekter Elemente enthält, so braucht das Array nicht unbedingt weggeworfen zu werden, weil die GPU um die defekten Elemente kompensieren kann. Die zusätzliche Fähigkeit, die durch die GPU bereitgestellt wird, bedeutet im Wesentlichen, dass eine größere Anzahl von Defekten in einer Komponente wie zum Beispiel einem Detektorarray toleriert werden kann. Weil die Ausschussrate gesenkt wird, können die Fertigungskosten und letztendlich die Kosten für den Verbraucher gesenkt werden. Gleichermaßen werden die Kosten für den Verbraucher gesenkt, weil eine Vorrichtung nicht unbedingt ersetzt werden muss, wenn zum Beispiel das Detektorarray nachzulassen beginnt.
Stattdessen kann die GPU um jeglichen Bilddatenverlust kompensieren, der durch eine Verschlechterung des Detektorarrays hervorgerufen wird.
Folglich kann eine größere Anzahl ausgefallener Detektorelemente toleriert werden, bevor die Qualität des gerenderten Bildes beeinträchtigt wird, wodurch die Nutzbarkeit der Vorrichtung verlängert werden kann.
Diese und weitere Aspekte und angestrebte Vorteile der verschiedenen Ausführungsformen der vorliegenden Erfindung werden für den Fachmann nach dem Lesen der folgenden detaillierten Beschreibung der Ausführungsformen deutlich, die in den verschiedenen Zeichnungsfiguren veranschaulicht sind.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die begleitenden Zeichnungen, die in diese Spezifikation aufgenommen sind und einen Teil von ihr bilden, veranschaulichen Ausführungsformen der vorliegenden Erfindung und dienen zusammen mit der Beschreibung der Erläuterung der Prinzipien der Erfindung.
1 ist ein Blockschaubild eines Beispiels einer handgehaltenen Vorrichtung, in dem Ausführungsformen gemäß der vorliegenden Erfindung implementiert werden können.
2 veranschaulicht das Mapping von Detektorelementen in einer Detektorarray auf Pixel und Pixelwerte in einem Bild-Frame gemäß einer Ausführungsform der vorliegenden Erfindung.
3 veranschaulicht aufeinanderfolgende Frames von Bilddaten und einen Zähler gemäß einer Ausführungsform der vorliegenden Erfindung.
4 veranschaulicht eine Gruppe ausgefallener Detektorelemente in einer Ausführungsform einer Detektorarray gemäß der vorliegenden Erfindung.
5 veranschaulicht ein Beispiel eines Prozesses zum Kalibrieren einer Bildaufnahmevorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung.
6 veranschaulicht ein Beispiel eines Prozesses zum Kalibrieren einer Audiovorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung.
7 ist ein Flussdiagramm eines computerimplementierten Verfahrens, das durch eine GPU verwendet wird, um Bilddaten gemäß einer Ausführungsform der vorliegenden Erfindung zu verarbeiten.
8 ist ein Flussdiagramm eines computerimplementierten Verfahrens, das durch eine GPU verwendet wird, um Bilddaten gemäß einer anderen Ausführungsform der vorliegenden Erfindung zu verarbeiten.
9 ist ein Flussdiagramm eines computerimplementierten Verfahrens, das durch eine GPU verwendet wird, um Audiodaten gemäß einer Ausführungsform der vorliegenden Erfindung zu verarbeiten.
DETAILLIERTE BESCHREIBUNG
Es wird nun ausführlich auf die verschiedenen Ausführungsformen der vorliegenden Erfindung eingegangen, wobei Beispiele der vorliegenden Erfindung in den begleitenden Zeichnungen veranschaulicht sind. Obgleich die Erfindung in Verbindung mit diesen Ausführungsformen beschrieben wird, versteht es sich, dass diese nicht dazu gedacht sind die Erfindung auf diese Ausführungsformen zu beschränken. Im Gegenteil: Es ist beabsichtigt, dass die Erfindung Alternativen, Modifikationen und Äquivalente, die in den Geist und Geltungsbereich der Erfindung eingeschlossen werden mögen, wie er durch die angehängten Ansprüche definiert wird, abdeckt. Des Weiteren werden in der folgenden detaillierten Beschreibung der vorliegenden Erfindung zahlreiche konkrete Details dargelegt, um ein gründliches Verstehen der vorliegenden Erfindung zu ermöglichen. Es versteht sich jedoch, dass die vorliegende Erfindung auch ohne diese konkreten Details ausgeführt werden mag. In anderen Fällen wurden bestens bekannte Verfahren, Abläufe, Komponenten und Schaltkreise nicht ausführlich beschrieben, um Aspekte der vorliegenden Erfindung nicht unnötig in den Hintergrund treten zu lassen.
Einige Abschnitte der folgenden detaillierten Beschreibungen werden anhand von Abläufen, Logikblöcken, Prozessierung und sonstigen symbolischen Darstellungen von Operationen an Datenbits innerhalb eines Computerspeichers dargestellt. Diese Beschreibungen und Darstellungen sind die Mittel, die durch den Fachmann auf dem Gebiet der Datenverarbeitung verwendet werden, um anderen Fachleuten den Wesensgehalt seiner Arbeit am effektivsten zu vermitteln. In der vorliegenden Anmeldung verstehen wir unter einem Ablauf, einem Logikblock, einem Prozess oder dergleichen eine in sich geschlossene Abfolge von Schritten oder Instruktionen, die zu einem gewünschten Ergebnis führen. Die Schritte sind jene, die physikalische Manipulationen physikalischer Quantitäten nutzen. Gewöhnlich, wenn auch nicht notwendigerweise, nehmen diese Quantitäten die Form elektrischer oder magnetischer Signale an, die gespeichert, übertragen, kombiniert, verglichen und auf sonstige Weise in einem Computersystem gehandhabt werden können. Es hat sich, prinzipiell aus Gründen des einheitlichen Sprachgebrauchs, gelegentlich als zweckmäßig erwiesen diese Signale als Transaktionen, Bits, Werte, Elemente, Symbole, Zeichen, Samples, Pixel oder dergleichen zu bezeichnen.
Es ist jedoch zu beachten, dass alle diese und ähnliche Begriffe den richtigen physikalischen Quantitäten zuzuordnen sind und lediglich zweckmäßige Etikettierungen sind, die diesen Quantitäten beigegeben werden. Sofern, wie aus den folgenden Besprechungen ersichtlich, nicht ausdrücklich etwas anderes angegeben ist, versteht es sich, dass in der gesamten vorliegenden Erfindung Diskussionen, in denen Begriffe wie zum Beispiel "erzeugen", "speichern", "anzeigen", "identifizieren", "bestimmen", "mitteln", "vergleichen", "inkrementieren", "einstellen", "auswählen", "übertragen", "empfangen", "anwenden", "justieren", "zugreifen" oder dergleichen verwendet werden, sich auf Aktionen und Prozesse (zum Beispiel Flussdiagramme 70, 80 und 90 der 7, 8 bzw. 9) eines Computersystems oder eines ähnlichen elektronischen Rechengerätes oder Prozessors beziehen. Das Computersystem oder ein ähnliches elektronisches Rechengerät manipuliert und transformiert Daten, die als physikalische (elektronische) Quantitäten innerhalb der Speicher, Register oder anderer derartiger Informationsspeicher-, -übertragungs- oder -anzeigevorrichtungen des Computersystems dargestellt werden.
1 ist ein Blockschaubild eines Beispiels einer handgehaltenen Vorrichtung 10, in dem Ausführungsformen gemäß der vorliegenden Erfindung implementiert werden mögen. In dem Beispiel von 1 ist die Vorrichtung 10 so beschrieben, dass es bestimmte Funktionsblöcke aufweist. Es versteht sich, dass die Vorrichtung 10 auch andere Funktionen enthalten kann als die, die im vorliegenden Text beschrieben sind.
In einer Ausführungsform ist die Vorrichtung 10 ein Drahtlostelefon oder Handy, das eine Digitalkamera oder einen digitalen Videorecorder enthält. In einer weiteren Ausführungsform ist die Vorrichtung 10 ein Handy, das einen Audiorecorder und -player (zum Beispiel einen MP3-Player) enthält. In einer weiteren Ausführungsform ist die Vorrichtung 10 ein Handy, das sowohl eine Digitalkamera oder einen digitalen Videorecorder als auch einen Audiorecorder/-player enthält. Die Vorrichtung 10 mag auch eine Digitalkamera oder ein Audiorecorder/-player sein. Die Vorrichtung 10 mag auch andere Merkmale oder Funktionalitäten als die gerade beschriebenen enthalten. Zum Beispiel mag die Vorrichtung 10 auch eine Videospielkonsole oder eine Fernbedienung sein.
In einer Ausführungsform, die ein Handy und eine Digitalkamera enthält, enthält die Vorrichtung 10 eine Bildaufnahmevorrichtung 11 (zum Beispiel ein Detektor- oder Sensorarray), bei der es sich um eine CCD-Abbildungsvorrichtung (Charge-Coupled Device = ladungsgekoppeltes Bauelement) oder um eine CMOS-Abbildungsvorrichtung (Complementary Metal-Oxide Semiconductor = komplementäres Metalloxidhalbleiter-Bauelement) handeln mag. Die Bildaufnahmevorrichtung 11 mag ein Objektiv und weitere Teilkomponenten enthalten.
In der vorliegenden Ausführungsform enthält die Vorrichtung 10 außerdem einen Speicher 14, der Bilddaten vor, während und nach der Verarbeitung dieser Daten speichert. Der Speicher 14 mag ROM (Read-Only Memory = Nurlesespeicher) und Flash-Speicher enthalten.
In einer Ausführungsform enthält die Vorrichtung 10 außerdem eine Anzeige 13 zum Anzeigen des Bildes, das aufgenommen wurde und durch die Bilddaten repräsentiert wird, und zum Anzeigen von Menüs und Befehlen als Teil einer Benutzerschnittstelle. Die Bilddaten mögen ein Standbild repräsentieren. Die Bilddaten mögen auch ein Video oder einen Spielfilm repräsentieren, weil ein Video im Wesentlichen eine Abfolge von Standbildern ist.
Als ein Handy enthält die Vorrichtung 10 einen Drahtlossender 16 und einen Drahtlosempfänger 17. Ein Nutzer spricht in Mikrofon 18, und die Nachricht wird in ein Signal umgewandelt, das über den Drahtlossender 16 gesendet wird. Eine Nachricht, die über den Drahtlosempfänger 17 empfangen wird, wird hörbar gemacht und über einen Lautsprecher 19 an den Nutzer übermittelt. Als ein Handy mag die Vorrichtung 10 auch einen separaten digitalen Signalprozessor 9 enthalten. Die Vorrichtung 10 kann noch weitere Handy-Komponenten enthalten, die im vorliegenden Text nicht beschrieben sind, die aber dem Fachmann bekannt sind, wie zum Beispiel einen Analog-Digital-Wandler.
In einer Ausführungsform, in der die Vorrichtung 10 auch einen Audiorecorder/-player enthält, können Audiodateien im Speicher 14 gespeichert und unter Verwendung des Lautsprechers 19 hörbar gemacht werden.
Die Vorrichtung 10 enthält auch eine Grafikverarbeitungseinheit (GPU) 12, welche die Hardware, Software und/oder Firmware enthält, die für das Implementieren der im vorliegenden Text beschriebenen Bilddaten- und Audiodatenverarbeitungsmethodologien erforderlich sind. Optional enthält Die Vorrichtung 10 außerdem eine zentrale Verarbeitungseinheit (CPU) 15, die parallel mit der GPU 12 arbeitet.
Die GPU 12, die auch als eine Videoverarbeitungseinheit oder VPU (Video Processing Unit) bezeichnet werden mag, ist ein Mikroprozessor, der in sehr effizienter Weise grafische Bilder manipuliert und rendert, die in einer Vielzahl verschiedener elektronischer Spiele und anderer Anwendungen, die unten weiter beschrieben werden, von Interesse sind. Die GPU 12 kann man sich als eine Pipeline vorstellen, durch die hindurch sich Pixeldaten bewegen. Die GPU 12 empfängt Instruktionen und Daten (zum Beispiel grafische Grundformen (graphics primitives)) von einem Host, wie zum Beispiel einer Software-Anwendung. Die Daten werden zum Definieren des zu erzeugenden und anzuzeigenden Bildes verwendet. Die Instruktionen werden zum Spezifizieren der Berechnungen und Operationen verwendet, die benötigt werden, um die Daten so zu modifizieren, dass gerenderte Bilder entstehen.
Durch ihre Spezialisierung kann die GPU 12 effektiver als die CPU 15 die Palette komplexer Prozesse handhaben, die an der Verarbeitung von Bild- oder Audiodaten beteiligt sind. Gemäß Ausführungsformen der vorliegenden Erfindung können die Bild- (zum Beispiel Pixel-) oder Audiodaten in die Pipeline der GPU 12 eingespeist werden, die mit Instruktionen darüber versehen ist, wie diese Daten zu verarbeiten sind. Die Form der Verarbeitung, die durch die GPU 12 ausgeführt wird, wird in Verbindung mit den 3–9 unten ausführlicher beschrieben.
2 veranschaulicht das Mapping von Detektorelementen in einer Bildaufnahmevorrichtung (oder Detektorarray) 11 auf Pixel und Pixelwerte in einem Bild-Frame 20 gemäß einer Ausführungsform der vorliegenden Erfindung. Das Detektorarray 11 enthält eine Anzahl von Detektorelementen oder Lichtsensoren, die beispielhaft durch das Detektorelement 21 dargestellt sind. In der vorliegenden Ausführungsform wird für jedes Detektorelement ein entsprechender Pixelwert, der beispielhaft durch den Pixelwert 22 dargestellt ist, erzeugt. Die Detektorarray 11 ist ein reales physisches Array von Detektorelementen, während der Frame von Bilddaten 20 als eine virtuelle Anordnung von Pixelwerten repräsentiert werden kann, wie in 2 gezeigt.
3 veranschaulicht aufeinanderfolgende Frames 30, 31 und 32 von Bilddaten gemäß einer Ausführungsform der vorliegenden Erfindung. Das heißt, Frame 32 folgt auf Frame 31, und Frame 31 folgt auf Frame 30, in chronologischer Reihenfolge. Die Frames 30, 31 und 32 mögen aufeinanderfolgende Frames in einer Videosequenz sein und mögen somit durch ein relativ kleines Zeitintervall getrennt sein. Alternativ können die Frames 30, 31 und 32 drei Standbilder darstellen und mögen als solche durch eine beliebige Zeitspanne getrennt sein.
In dem Beispiel von 3 enthält Frame 30 zwei beispielhafte Pixelwerte 33 und 34, Frame 31 enthält zwei beispielhafte Pixelwerte 35 und 36, und Frame 32 enthält zwei beispielhafte Pixelwerte 41 und 42. Die Pixelwerte 33, 35 und 41 entsprechen demselben Detektorelement eines Detektorarrays (zum Beispiel Detektorarray 11 von 2), und die Pixelwerten 34, 36 und 42 entsprechen demselben Detektor des Detektorarrays 11 (aber einem anderen Detektorelement als dam, das den Pixelwerten 33, 35 und 41 zugeordnet ist).
Der Zähler 37 stellt ein virtuelles Array von Zählerwerten dar, einschließlich beispielhafter Zählerwerte 38 und 39. Der Zählerwert 38 entspricht dem Detektorelement, das den Pixelwerten 33, 35 und 41 entspricht, und der Zählerwert 39 entspricht dem Detektorelement, das den Pixelwerten 34, 36 und 42 entspricht.
Betrachten wir ein Beispiel, in dem die Pixelwerte 33 und 35 nicht "als gleich angesehen" werden, sondern die Pixelwerte 34 und 36 "als gleich angesehen" werden. Im Sinne des vorliegenden Textes wird der Begriff "als gleich angesehen" verwendet, um anzuzeigen, dass die Pixelwerte entweder exakt gleich sind oder dass sie im Wesentlichen gleich sind (zum Beispiel innerhalb einer zuvor festgelegten Toleranz). Um die übrige Diskussion zu vereinfachen, wird "gleich" anstelle von "als gleich angesehen" verwendet.
Weil in dem Beispiel von 3 die Pixelwerte 33 und 35 nicht gleich sind, wird der Zählerwert 38 nicht inkrementiert. Weil jedoch die Pixelwerte 34 und 36 gleich sind, wird der Zählerwert 39 inkrementiert. Wenn Pixelwerte von zwei aufeinanderfolgenden Frames gleich sind, wobei die Pixelwerte beide demselben Detektorelement entsprechen und wobei die Frames eine chronologische Reihenfolge haben, so wird allgemein der Zählerwert, der diesem Detektorelement entspricht, inkrementiert.
Der durch das Beispiel von 3 beschriebene Prozess wird für jeden neuen aufgenommenen Frame von Bilddaten fortgesetzt. Das heißt, wenn in einer Ausführungsform ein weiterer neuer Frame von Bilddaten aufgenommen wird, so wird der ehemals "neue" Frame 31 zum "letzten" Frame, und der neu aufgenommene Frame (zum Beispiel Frame 32) wird zum "neuen" Frame. Der Vergleich von Pixelwerten zwischen diesen zwei jüngsten Frames (zum Beispiel Frames 31 und 32) wird wie oben beschrieben ausgeführt.
Wenn in dem Beispiel von 3 die Pixelwerte 35 und 41 gleich sind, so wird der Zählerwert 38 inkrementiert; wenn sie nicht gleich sind, so bleibt der Zählerwert 38 bei null. Wenn die Pixelwerte 36 und 42 gleich sind, so wird der Zählerwert 39 erneut inkrementiert (zum Beispiel hätte er einen Wert von +2). Bezeichnenderweise wird, wenn die Pixelwerte 36 und 42 nicht gleich sind, der Zählerwert 39 auf null zurückgesetzt.
Das heißt, gemäß Ausführungsformen der vorliegenden Erfindung wird ein Zählerwert (zum Beispiel Zählerwert 39) für jeden neuen aufgenommenen Bilddaten-Frame zunehmend größer, wenn die Pixelwerte, die diesem Zählerwert entsprechen, von einem Frame zum nächsten die gleichen bleiben. In einer Ausführungsform wird ein Schwellenwert aufgestellt, dergestalt, dass, wenn ein Zählerwert den Schwellenwert erreicht, die Pixelwerte, die diesem Zählerwert entsprechen, als "inakzeptabel" angesehen werden. Das heißt, weil die Pixelwerte, die einem selben Detektorelement zugeordnet sind, über die Schwellenanzahl von aufeinanderfolgenden Frames die gleichen geblieben sind, wird von diesen Pixelwerten angenommen, dass sie einem Detektorelement zugeordnet sind, das ausgefallen ist, und als solches werden diese Pixelwerte als fehlerhaft oder inakzeptabel angesehen. Auf diese Weise wird ein ausgefallenes Detektorelement anhand der Feststellung identifiziert, dass die Pixelwerte, die diesem Detektorelement zugeordnet sind, über eine Schwellenanzahl von aufeinanderfolgenden (chronologisch geordneten) Frames die gleichen geblieben sind.
In einer Ausführungsform wird, sobald ein Zählerwert den Schwellenwert erreicht hat, wodurch ein ausgefallenes Detektorelement identifiziert wird, der Zählerwert erst dann auf null zurückgesetzt, wenn sich der Pixelwert ändert, und der oben beschriebene Prozesses wird dann wiederholt. Folglich wird ein Detektorelement, wenn es fälschlicherweise als ein ausgefallenes Element identifiziert wird, anschließend als ein funktionierendes Element neu identifiziert.
Wenn ein Detektorelement als ein ausgefallenes Element identifiziert wird, so wird angenommen, dass die Pixelwerte, die diesem Detektorelement zugeordnet sind, falsch sind. Gemäß Ausführungsformen der vorliegenden Erfindung wird ein neuer Pixelwert für ein ausgefallenes Detektorelement durch Mitteln oder Interpolieren der Pixelwerte bestimmt, die den Detektorelementen zugeordnet sind, welche das ausgefallene Detektorelement umgeben oder ihm benachbart sind oder an das ausgefallene Detektorelement angrenzen. Folglich wird der Effekt eines defekten Detektorelements in dem gerenderten Bild maskiert.
4 veranschaulicht eine Situation, in der eine Gruppe benachbarter oder angrenzender Detektorelementen 41 als ausgefallen identifiziert wird. In einer solchen Situation kann es einige Detektorelemente in der Gruppe geben, neben denen sich sowohl ausgefallene als auch funktionierende Detektorelemente befinden, und andere Detektorelemente in der Gruppe, die vollständig von ausgefallenen Elementen umgeben sind. In 4 bezeichnet ein nicht-gekennzeichnetes Element ein funktionierendes Detektorelement.
In einer Ausführungsform wird die in 4 beispielhaft dargestellte Situation unter Verwendung eines Multi-Durchgang Ansatzes bewältigt, um Pixelwerte für die ausgefallenen Detektorelemente X und Y zu bestimmen. Bei einem ersten Durchgang wird ein Pixelwert für die ausgefallenen Detektorelemente X, die funktionierenden Detektorelementen benachbart sind, durch Mitteln oder Extrapolieren der Pixelwerte bestimmt, die den funktionierenden Detektorelementen entsprechen. Bei einem nächsten Durchgang wird ein Pixelwert für das ausgefallene Detektorelement Y unter Verwendung der Pixelwerte (oder einer Teilmenge dieser Werte), die für die Detektorelemente X bestimmt wurden, bestimmt.
Auf diese Weise ist die GPU 12 in der Lage, Defekte in der Bildaufnahmevorrichtung 11 zu kompensieren. Die Defekte können entstehen, wenn die Bildaufnahmevorrichtung 11 im Lauf der Zeit an Qualität verliert. Weil jedoch die GPU 12 die Defekte identifizieren und sie kompensieren kann, kann die Grenznutzungsdauer der Vorrichtung 10 ohne einen merklichen Verlust an Bildqualität verlängert werden. Das heißt, wenn sich die ersten Defekte in der Bildaufnahmevorrichtung 11 zeigen, ist es für einen Nutzer nicht notwendig entweder eine geringere Qualität der Bilder hinzunehmen, oder eine neue Vorrichtung zu kaufen.
Die Defekte mögen außerdem in der Bildaufnahmevorrichtung 11 bei Qualitätsprüfungen festgestellt werden, die während des Fertigungsprozesses ausgeführt werden. Weil jedoch die GPU 12 die Defekte identifizieren und sie ausgleichen kann, mag es nicht notwendig sein, die Bildaufnahmevorrichtung 11 zu verwerfen. Anders ausgedrückt: Weil die GPU 12 eine bestimmte Anzahl von Defekten kompensieren kann, kann die Bildaufnahmevorrichtung 11 eine größere Anzahl von Defekten haben, als normalerweise toleriert werden mag. Somit bestehen mehr Vorrichtungen die Qualitätsprüfung. Dadurch werden die Ausschussraten verringert, was die Kosten senkt.
5 veranschaulicht ein Beispiel eines Prozesses zum Kalibrieren einer Bildaufnahmevorrichtung (zum Beispiel einer Bildaufnahmevorrichtung 11 von 1) gemäß einer Ausführungsform der vorliegenden Erfindung. Das Vergleichsbild 51 stellt ein bekanntes Standardbild dar, das die Basis zum Kalibrieren der Bildaufnahmevorrichtung 11 bildet. Zum Beispiel kann der Vergleichsmaßstab 51 einen Satz Gitterlinien enthalten, von denen man weiß, dass sie geradlinig verlaufen, und die um einen bekannten Abstand voneinander entfernt liegen. Während des Fertigungsprozesses wird ein Bild (zum Beispiel ein Testbild 52) des Vergleichsmaßstabs 51 unter Verwendung der Vorrichtung 10 (1) aufgenommen. Das Testbild 52 wird mit dem Vergleichsmaßstab 51 verglichen, um Verzerrungen zu bestimmen, die durch die Bildaufnahmevorrichtung 11 oder durch eine andere Komponente, wie zum Beispiel das Kameraobjektiv, verursacht werden. Die Überlagerung 53 veranschaulicht den Vergleich zwischen dem Vergleichsmaßstab 51 und dem Testbild 52.
Wenden wir uns nun 5 zu, wo die Verschiebungen Δx und Δy, die jedem Punkt oder Pixelwert in einem Frame von Bilddaten und somit für jedes Detektorelement in der Bildaufnahmevorrichtung 11 von 1 zugeordnet sind, durch Vergleichen des Testbildes 52 und des Vergleichsmaßstabs 51 bestimmt. Das heißt, die Verschiebungen Δx und Δy werden Punkt für Punkt (Pixel für Pixel) mittels Messens der Differenz zwischen einem Punkt im Vergleichsmaßstab 51 und einem entsprechenden Punkt im Testbild 52 bestimmt. Punkte zwischen Gitterlinien können interpoliert werden, um eine Verschiebungskarte für das gesamte Array von Detektorelementen zu erstellen. Alternativ können mehrere Bilder des Vergleichsmaßstabes 51 aufgenommen werden, die jeweils geringfügig gegeneinander versetzt sind, um eine Verschiebungskarte für das gesamte Array von Detektorelementen zu erzeugen. Einer oder beide Verschiebungswerte Δx und Δy mögen einen Wert von null haben.
In der vorliegenden Ausführungsform werden dann Korrekturfaktoren, welche um die Verschiebungen Δx und Δy kompensieren, für jedes Detektorelement bestimmt. In einer Ausführungsform werden die Korrekturfaktoren in einer Nachschlagetabelle (LUT) gespeichert, die nach Detektorelement indexiert ist – das heißt, die LUT enthält einen Korrekturfaktor für jedes Detektorelement.
In einer Ausführungsform werden Korrekturfaktoren für verschiedene Kameraeinstellungen bestimmt (zum Beispiel verschiedene Brennweiten und Blendenöffnungen). Bei einer solchen Ausführungsform ist die LUT nicht nur nach Detektorelement, sondern auch nach Kameraeinstellung indexiert.
Während des Betriebes können die Korrekturfaktoren folgendermaßen verwendet werden. Mittels der Vorrichtung 10 wird eine Abbildung eingefangen (ein Bild aufgenommen), um ein virtuelles Array von Pixelwerten (wie zum Beispiel das, das in 2 veranschaulicht ist) zu erzeugen. Jeder Pixelwert entspricht einer Position in dem Frame von Bilddaten und entspricht außerdem einem bestimmten Detektorelement in dem Detektorarray 11 (wie durch 2 veranschaulicht). Jedem Pixelwert in dem Frame von Bilddaten, und gleichermaßen jedem Detektorelement, ist ein Korrekturfaktor zugeordnet. Der entsprechende Korrekturfaktor (nach Detektorelement indexiert) wird aus der LUT gelesen und durch die GPU 12 auf den entsprechenden Pixelwert angewendet, wodurch die Position des Pixelwertes innerhalb der Bilddaten korrigiert wird. Es wird praktisch ein Pixelwert von seiner Position in den Aufnahmebilddaten zu der Position bewegt, an der sein müsste, hätte das Objektiv keine Verzerrung verursacht. Im Wesentlichen mappen die Korrekturfaktoren eine Position, an der sich eine Bilddaten-Instanz (zum Beispiel ein Pixelwert) in der Anordnung von Pixelwerten befindet, auf die Position, an der sich diese Bilddaten-Instanz in dem gerenderten Bild befinden müsste, um das fotografierte Objekt genauer wiederzugeben.
Auf diese Weise ist die GPU 12 in der Lage, Verzerrungen und andere Effekte zu kompensieren, die durch Verzerrungen und Fehler verursacht werden, die in Bilddarstellungskomponenten wie zum Beispiel Objektiven vorhanden sein können. Dementsprechend können Komponenten von geringerer Qualität, und folglich preiswertere Komponenten, verwendet werden, und die Fertigungstoleranzen von Komponenten wie zum Beispiel Objektiven können erhöht werden, was zusätzlich Kosten spart. Die GPU 12 gewährleistet, dass die resultierende Gesamtqualität praktisch nicht von teureren, höherwertigen Komponenten zu unterscheiden ist. Weil des Weiteren Komponenten, die möglicherweise früher als inakzeptabel angesehen wurden, nun verwendet werden können, können die Ausschussraten verringert werden, was ebenfalls die Kosten senkt.
Korrekturfaktoren, die andere Effekte als Verzerrungseffekte kompensieren, können in einer ähnlichen Weise bestimmt und angewendet werden, was Vorteile wie die oben beschriebenen bereitstellt. Zum Beispiel kann die Vorrichtung 10 (1) anhand eines Vergleichsmaßstabes (benchmark) kalibriert werden, um für jedes Detektorelement in dem Detektorarray einen Korrekturfaktor zu bestimmen, um um Farb-(chromatische)Aberrationen und Farbverschiebungen zu kompensieren. Eine Farbaberration meint einen Farbunterschied zwischen der durch die Bildaufnahmevorrichtung 11 (1) aufgenommen Farbe und der wirklichen Farbe (zum Beispiel der tatsächliche Farbe des fotografierten Objekts). Eine Farbverschiebung meint einen Effekt, der dadurch entsteht, dass verschiedene Farbwellenlängen auf unterschiedliche Weise durch ein Objektiv hindurchtreten.
Korrekturfaktoren können für verschiedene Kameraeinstellungen (zum Beispiel verschiedene Brennweiten und Blendenöffnungen) bestimmt werden. Verschiedene Korrekturfaktoren können für jede Farbkomponente eines Pixelwertes bestimmt werden (zum Beispiel ein Korrekturfaktor für jede der roten, grünen und blauen Komponenten). Die GPU 12 kann Farbaberrationen und Farbverschiebungen je Pixelwert nachbearbeiten.
Korrekturfaktoren können außerdem bestimmt werden, um Effekte wie zum Beispiel sphärische Aberration, Astigmatismus und Koma zu korrigieren, indem in Abhängigkeit von den Kameraeinstellungen Schärfungsfilter auf ausgewählte Abschnitte der Bilddaten angewendet werden.
6 veranschaulicht ein Beispiel eines Prozesses zum Kalibrieren einer Audiovorrichtung (zum Beispiel der Vorrichtung 10 von 1) gemäß einer Ausführungsform der vorliegenden Erfindung. Idealerweise ist die Amplitude des aufgezeichneten oder wiedergegebenen Tons über den gesamten Bereich anwendbarer Frequenzen hinweg konstant. In Wirklichkeit verändert sich die Amplitude mit der Frequenz. In einer Ausführungsform wird während des Fertigungsprozesses die Ist-Kurve der Amplitude über die Frequenz für die Vorrichtung 10 während der Aufzeichnung und auch während der Wiedergabe einer Aufzeichnung ermittelt. Korrekturfaktoren, welche die Ist-Amplitude und eine definierte Ideal-Amplitude als eine Funktion der Frequenz angleichen, werden ermittelt und, bei einer Ausführungsform, in einer LUT (zum Beispiel im Speicher 14 von 1) gespeichert. Während des Betriebes wird, wenn eine Audiodaten-Instanz gerendert (hörbar gemacht) wird, die Frequenz, die dieser Daten-Instanz von zugeordnet ist, bestimmt, und der entsprechende Korrekturfaktor wird durch die GPU 12 aus der LUT gelesen und auf diese Daten-Instanz angewendet.
7 ist ein Flussdiagramm 70 eines Verfahrens, das von einer GPU verwendet wird, um Bilddaten gemäß einer Ausführungsform der vorliegenden Erfindung zu verarbeiten. In einer Ausführungsform wird das Flussdiagramm 70 in Form von Programmbefehlen implementiert, die in einer computerlesbaren Speichereinheit der Vorrichtung 10 gespeichert sind und durch die GPU 12 (1) ausgeführt werden.
Im Block 71 von 7 erzeugt eine Bildaufnahmevorrichtung (zum Beispiel ein Array von Detektorelementen) eine erste Mehrzahl von Pixelwerten, die einen ersten Frame von Bilddaten aufweisen, und eine zweite Mehrzahl von Pixelwerten, die einen zweiten Frame von Bilddaten aufweisen. In einer Ausführungsform ist der zweite Frame der Frame, der in chronologischer Reihenfolge auf den ersten Frame folgt. Ein erster Pixelwert in der ersten Mehrzahl von Pixelwerten wird mit einem zweiten Pixelwert in der zweiten Mehrzahl von Pixelwerten verglichen. Der erste Pixelwert und der zweite Pixelwert entsprechen einem selben Detektorelement in einem Detektorarray.
In Block 72 wird ein Zählerwert, der einem selben Detektorelement zugeordnet ist, jedes Mal inkrementiert, wenn die Pixelwerte, die demselben Detektorelement entsprechen, über zwei aufeinanderfolgende chronologisch geordnete Frames hinweg als gleich angesehen werden. Das heißt, wenn zum Beispiel der oben angesprochene erste Pixelwert und zweite Pixelwert als gleich angesehen werden, so wird der Zählerwert, der dem Detektorelement, das dem ersten und dem zweiten Pixelwert entspricht, zugeordnet ist, inkrementiert.
In Block 73 wird der Zählerwert jedes Mal auf null gesetzt, wenn die Pixelwerte, die demselben Detektorelement entsprechen, über zwei aufeinanderfolgende chronologisch geordnete Frames hinweg als nicht gleich angesehen werden. Wenn in dem obigen Beispiel der erste Pixelwert und der zweite Pixelwert als nicht gleich angesehen werden, so wird der Zählerwert, der dem Detektorelement, das dem ersten und dem zweiten Pixelwert entspricht, zugeordnet ist, auf null gesetzt.
In Block 74 werden, wenn der Zählerwert einen Schwellenwert erfüllt, die Pixelwerte, die diesem Zählerwert zugeordnet sind, als inakzeptable Pixelwerte identifiziert. Wenn in dem Beispiel der Zählerwert, der dem ersten und dem zweiten Pixel zugeordnet ist, den Schwellenwert erreicht, so werden der erste und der zweite Pixelwert als inakzeptabel definiert. Folglich wird das Detektorelement, das dem ersten und dem zweiten Pixelwert entspricht, als tot oder gestört angesehen.
In Block 75 werden gültige Pixelwerte gemittelt oder interpoliert, um einen neuen Wert für jegliche inakzeptablen Pixelwerte zu bestimmen. In dem Beispiel wird eine Teilmenge der ersten Mehrzahl von Pixelwerten gemittelt, um einen neuen Wert für das erste Pixel zu bestimmen. Gleichermaßen wird eine Teilmenge der zweiten Mehrzahl von Pixelwerten gemittelt, um einen neuen Wert für das zweite Pixel zu bestimmen. Die Pixelwerte in jeder der Teilmengen entsprechen den Detektorelementen, die neben dem Detektorelement liegen, das dem ersten und dem zweiten Pixelwert zugeordnet ist.
In Block 76 von 7 wird in einer Ausführungsform eine Mehrzahl inakzeptabler Pixelwerte identifiziert, wie zuvor in Verbindung mit 4 beschrieben wurde. Die Mehrzahl von inakzeptablen Pixelwerte korrespondieren zu angrenzenden Detektorelementen in dem Detektorarray. Ein erster der inakzeptablen Pixelwerte wird ausgewählt.
Eine Teilmenge der ersten Mehrzahl von Pixelwerten wird gemittelt, um einen ersten neuen Pixelwert für den ersten der inakzeptablen Pixelwerte zu bestimmen. Die Teilmenge von Pixelwerten entspricht den Detektorelementen, die neben dem Detektorelement liegen, das dem ersten der inakzeptablen Pixelwerte entspricht. Eine zweite Teilmenge von Pixelwerten, wobei die Teilmenge den ersten neuen Pixelwert enthält, wird gemittelt, um einen neuen Pixelwert für einen zweiten der inakzeptablen Pixelwerte zu bestimmen. Die zweite Teilmenge von Pixelwerten entspricht den Detektorelementen, die neben dem Detektorelement liegen, das dem zweiten der inakzeptablen Pixelwerte entspricht.
8 ist ein Flussdiagramm 80 eines Verfahrens, das von einer GPU verwendet wird, um Bilddaten gemäß einer weiteren Ausführungsform der vorliegenden Erfindung zu verarbeiten. In einer Ausführungsform wird das Flussdiagramm 80 in Form von Programmbefehlen implementiert, die in einer computerlesbaren Speichereinheit der Vorrichtung 10 gespeichert sind und durch die GPU 12 (1) ausgeführt werden.
In Block 81 von 8 erzeugt eine Bildaufnahmevorrichtung (zum Beispiel ein Array von Detektorelementen) eine Mehrzahl von Pixelwerten, die einen Frame von Bilddaten aufweisen. Es wird auf einen Pixelwert zugegriffen, der einem Detektorelement in dem Detektorarray entspricht.
In Block 82 wird auf einen Korrekturfaktor, der dem Detektorelement entspricht, zugegriffen. In einer Ausführungsform wird der Korrekturfaktor aus einer LUT gelesen, die nach Detektorelement indexiert ist. In einer anderen Ausführungsform wird der Korrekturfaktor durch Vergleichen der Ist-Performance der Vorrichtung 10 (1) mit einem Vergleichsmaßstab bestimmt.
In Block 83 von 8 wird der Korrekturfaktor auf den Pixelwert angewendet. Auf diese Weise wird der Pixelwert um Effekte wie zum Beispiel Verzerrungseffekte, Schärfemangel, Farbaberrationen und Farbverschiebungen kompensiert.
9 ist ein Flussdiagramm 90 eines Verfahrens, das durch eine GPU verwendet wird, um Audiodaten gemäß einer Ausführungsform der vorliegenden Erfindung zu verarbeiten. In einer Ausführungsform wird das Flussdiagramm 90 in Form von Programmbefehlen implementiert, die in einer computerlesbaren Speichereinheit der Vorrichtung 10 gespeichert sind und durch die GPU 12 (1) ausgeführt werden.
In Block 91 von 9 wird während der Aufzeichnung oder Wiedergabe auf Audiodaten, die eine Audiodatei aufweisen, zugegriffen. Eine Frequenz, die der Audiodaten-Instanz zugeordnet ist, wird bestimmt.
In Block 92 wird auf einen Korrekturfaktor zugegriffen, welcher der Frequenz entspricht. Der Korrekturfaktor wird zum Justieren der Amplitude verwendet. In einer Ausführungsform wird der Korrekturfaktor aus einer LUT gelesen, die nach Frequenz indexiert ist. In einer anderen Ausführungsform wird der Korrekturfaktor durch Vergleichen der Audioperformance der Vorrichtung 10 mit einem Vergleichsmaßstab bestimmt.
In Block 93 wird der Korrekturfaktor auf die Audiodaten-Instanz angewendet. Auf diese Weise wird die Amplitude, die der Audiodaten-Instanz zugeordnet ist, kompensiert, um jeglicher Abweichung von einer definierten Ideal-Amplitude infolge von Mängeln bei der Aufzeichnung des Audios oder der Wiedergabe der Aufzeichnung Rechnung zu tragen.
Obgleich in den Flussdiagrammen 70, 80 und 90 konkrete Schritte offenbart werden, sind solche Schritte nur beispielhaft. Das heißt, die vorliegende Erfindung eignet sich gut zum Ausführen verschiedener weiterer Schritte oder von Varianten der Schritte, die in den Flussdiagrammen 70, 80 und 90 beschrieben sind. Es versteht sich, dass die Schritte in den Flussdiagrammen 70, 80 und 90 auch in einer anderen als der hier gezeigten Reihenfolge ausgeführt werden mögen und dass die Schritte in den Flussdiagrammen 70, 80 und 90 nicht unbedingt in der dargestellten Folge ausgeführt werden.
Zusammenfassend ausgedrückt, kann gemäß Ausführungsformen der vorliegenden Erfindung eine GPU in einem Kamera-Handy, einem Audio-Player und einem ähnlichen Vorrichtungstyp dafür verwendet werden, die Qualität von Bild- oder Audiodaten ohne eine entsprechende Erhöhung der Kosten, des Gewichts oder der Größe des Gerätes zu verbessern. Außerdem kann die GPU jegliche Bilddatenverluste kompensieren, die durch eine Verschlechterung der Bildaufnahmevorrichtung (zum Beispiel des Detektorarrays) verursacht werden, wodurch die Nutzbarkeit der Vorrichtung verlängert wird. Zusätzlich kann die Verwendung einer GPU in der im vorliegenden Text beschriebenen Weise die Ausschussraten während der Herstellung verringern. Die zusätzliche Fähigkeit, die durch die GPU bereitgestellt wird, bedeutet im Wesentlichen, dass eine größere Anzahl von Defekten in einer Komponente wie zum Beispiel einem Detektorarray toleriert werden kann, und infolge dessen mögen Komponenten, die früher ausgesondert werden mussten, nun möglicherweise verwendet werden.
Weil die Ausschussrate gesenkt wird, können die Fertigungskosten und letztendlich die Kosten für den Verbraucher verringert werden.
Des Weiteren werden die Kosten des Einbaus einer GPU in eine handgehaltenes Vorrichtung wie zum Beispiel ein Kamera-Handy aufgewogen, weil andere, kostengünstigere Komponenten verwendet werden können, ohne dass die Bild- oder Tonqualität beeinflusst wird. Das heißt, die GPU kann gegebenenfalls einen Effekt kompensieren, der durch eine Komponente von geringerer Qualität oder eine kostengünstigere Komponente hervorgerufen werden mag, so dass die Gesamtqualität nicht merklich beeinflusst wird.
Als eine allgemeine Übersicht über das hier Dargelegte wird Folgendes angemerkt. Es wird eine Vorrichtung (zum Beispiel ein Handy mit einer integrierten Digitalkamera) beschrieben, das eine Grafikverarbeitungseinheit (GPU) enthält, um Bilddaten zu verarbeiten, um die Qualität eines gerenderten Bildes zu erhöhen. Die durch eine GPU bereitgestellte Verarbeitungsleistung bedeutet, dass zum Beispiel ein inakzeptabler Pixelwert (zum Beispiel ein Pixelwert, der einem gestörten oder toten Detektorelement zugeordnet ist) identifiziert und durch einen neuen Wert ersetzt werden kann, der durch Mitteln anderer Pixelwerte bestimmt wird. Des Weiteren kann zum Beispiel die Vorrichtung anhand von Vergleichsmaßstabsdaten kalibriert werden, um Korrekturfaktoren für jedes Detektorelement zu erzeugen. Die Korrekturfaktoren können pixelweise auf die Bilddaten angewendet werden. Wenn das Gerät außerdem dafür ausgelegt ist, digitale Audiodateien aufzuzeichnen und/oder abzuspielen, so kann die Audioleistung des Gerätes kalibriert werden, um Korrekturfaktoren für einen Bereich von Audiofrequenzen zu bestimmen.
Es wurden somit Ausführungsformen der vorliegenden Erfindung beschrieben. Obgleich die vorliegende Erfindung in konkreten Ausführungsformen beschrieben wurde, versteht es sich, dass die vorliegende Erfindung nicht so verstanden werden darf, als würde sie durch solche Ausführungsformen eingeschränkt werden, sondern vielmehr gemäß den folgenden Ansprüchen auszulegen ist.
Zusammenfassung
Es wird eine Vorrichtung (zum Beispiel ein Handy mit einer integrierten Digitalkamera) beschrieben, das eine Grafikverarbeitungseinheit (GPU) enthält, um Bilddaten zu verarbeiten, um die Qualität eines gerenderten Bildes zu erhöhen. Die durch eine GPU bereitgestellte Verarbeitungsleistung bedeutet, dass zum Beispiel ein inakzeptabler Pixelwert (zum Beispiel ein Pixelwert, der einem gestörten oder toten Detektorelement zugeordnet ist) identifiziert und durch einen neuen Wert ersetzt werden kann, der durch Mitteln anderer Pixelwerte bestimmt wird. Des Weiteren kann zum Beispiel die Vorrichtung anhand von Vergleichsmaßstabsdaten kalibriert werden, um Korrekturfaktoren für jedes Detektorelement zu erzeugen. Die Korrekturfaktoren können pixelweise auf die Bilddaten angewendet werden. Wenn das Gerät außerdem dafür ausgelegt ist, digitale Audiodateien aufzuzeichnen und/oder abzuspielen, so kann die Audioleistung des Gerätes kalibriert werden, um Korrekturfaktoren für einen Bereich von Audiofrequenzen zu bestimmen.

Claims

Vorrichtung, welche aufweist: eine Bildaufnahmevorrichtung, die ein Array von Detektorelementen aufweist, das eine korrespondierende erste Mehrzahl von Pixelwerten erzeugt, die einen ersten Frame von Bilddaten aufweisen; einen Speicher, der in der Lage ist, die erste Mehrzahl von Pixelwerten zu speichern; eine Anzeigevorrichtung, die in der Lage ist, ein Bild auf der Basis der ersten Mehrzahl von Pixelwerten anzuzeigen; und eine Grafikverarbeitungseinheit (GPU), die in der Lage ist, ein Verfahren zum Verarbeiten der ersten Mehrzahl von Pixelwerten auszuführen, wobei das Verfahren aufweist: Identifizieren eines inakzeptablen Pixelwertes, wobei der inakzeptable Pixelwert als inakzeptabel angesehen wird, wenn ein Kriterium erfüllt ist; und Bestimmen eines neuen Wertes für den inakzeptablen Pixelwert.
Vorrichtung nach Anspruch 1, wobei das Bestimmen des Weiteren das Mitteln einer Teilmenge der ersten Mehrzahl von Pixelwerten aufweist, wobei Pixelwerte in der Teilmenge zu Detektorelementen korrespondieren, die sich neben einem Detektorelement befinden, das zu dem inakzeptablen Pixelwert korrespondiert.
Vorrichtung nach Anspruch 1, wobei das Identifizieren des ferner aufweist: Zugreifen auf eine zweite Mehrzahl von Pixelwerten, die einen zweiten Frame von Bilddaten aufweisen, der in chronologischer Reihenfolge der nächste nach dem ersten Frame ist; und Vergleichen eines ersten Pixelwertes in der ersten Mehrzahl von Pixelwerten mit einem zweiten Pixelwert in der zweiten Mehrzahl von Pixelwerten, wobei der erste Pixelwert und der zweite Pixelwert zu demselben Detektorelement korrespondieren.
Vorrichtung nach Anspruch 3, wobei das Kriterium erfüllt ist, wenn der erste und der zweite Pixelwert als gleich angesehen werden.
Vorrichtung nach Anspruch 3, wobei das Verfahren ferner aufweist: Inkrementieren eines Zählerwertes jedes Mal, wenn Pixelwerte, die zu demselben Detektorelement korrespondieren, über zwei aufeinanderfolgende chronologisch geordnete Frames hinweg als gleich angesehen werden, wobei das Kriterium erfüllt ist, wenn der Zählerwert eine Schwelle erfüllt; und Rücksetzen des Zählerwertes jedes Mal, wenn Pixelwerte, die zu demselben Detektorelement korrespondieren, über zwei aufeinanderfolgende chronologisch geordnete Frames hinweg als nicht gleich angesehen werden.
Vorrichtung nach Anspruch 1, wobei das Verfahren ferner aufweist: Identifizieren einer Mehrzahl von inakzeptablen Pixelwerten, die zu angrenzenden Detektorelementen korrespondieren, wobei die Mehrzahl von inakzeptablen Pixelwerten gemäß dem Kriterium als inakzeptabel angesehen werden; Auswählen eines ersten der inakzeptablen Pixelwerte; Mitteln einer ersten Teilmenge der ersten Mehrzahl von Pixelwerten, um einen ersten neuen Pixelwert für einen ersten der inakzeptablen Pixelwerte zu bestimmen, wobei Pixelwerte in der ersten Teilmenge zu Detektorelementen korrespondieren, die einem Detektorelement benachbart sind, das zu dem ersten der inakzeptablen Pixelwerte korrespondiert; und Mitteln einer zweiten Teilmenge von Pixelwerten, die den ersten neuen Pixelwert enthalten, um einen zweiten neuen Pixelwert für einen zweiten der inakzeptablen Pixelwerte zu bestimmen, wobei Pixelwerte in der zweiten Teilmenge zu Detektorelementen korrespondieren, die einem Detektorelement benachbart sind, das zu dem zweiten der inakzeptablen Pixelwerte korrespondiert.
Vorrichtung nach Anspruch 1, die ferner ein Drahtlos-Mobiltelefon aufweist, das aufweist: ein Mikrofon zum Empfangen eines ersten Audioeingangs; einen Drahtlossender zum Senden eines Signals, das den ersten Audioeingang aufweist; einen Empfänger zum Empfangen eines Drahtlossignals, das einen zweiten Audioeingang aufweist; und einen Lautsprecher zum hörbaren Wiedergeben des zweiten Audioeingangs.
Vorrichtung nach Anspruch 1, wobei das Verfahren ferner aufweist: Zugreifen auf einen Pixelwert, der zu einem Detektorelement korrespondiert; Zugreifen auf einen Korrekturfaktor, der zu dem Detektorelement korrespondiert; und Anwenden des Korrekturfaktors auf den Pixelwert.
Vorrichtung, die aufweist: eine Bildaufnahmevorrichtung, die ein Array von Detektorelementen aufweist, das eine korrespondierende Mehrzahl von Pixelwerten erzeugt, die einen Frame von Bilddaten aufweisen; einen Speicher, der in der Lage ist, die Pixelwerte zu speichern; eine Anzeigevorrichtung, die in der Lage ist, ein Bild anzuzeigen, das unter Verwendung der Pixelwerte erzeugt wurde; und eine Grafikverarbeitungseinheit (GPU), die in der Lage ist, ein Verfahren zum Verarbeiten der Pixelwerte auszuführen, wobei das Verfahren aufweist: Zugreifen auf einen Pixelwert, der zu einem Detektorelement korrespondiert; Zugreifen auf einen Korrekturfaktor, der zu dem Detektorelement korrespondiert; und Anwenden des Korrekturfaktors auf den Pixelwert.
Vorrichtung nach Anspruch 9, wobei der Korrekturfaktor aus einer Nachschlagetabelle gelesen wird, die mehrere Korrekturfaktoren aufweist, die nach Detektorelement indexiert sind.
Vorrichtung nach Anspruch 9, wobei der Korrekturfaktor einen Effekt kompensiert, der durch ein Objektiv verursacht wird, das Licht zu der Bildaufnahmevorrichtung durchlässt.
Vorrichtung nach Anspruch 11, wobei der Effekt ein Verschiebungseffekt ist, wobei eine Verzerrung in dem Objektiv bewirkt, dass Licht, das die Verzerrung passiert, seine Richtung ändert.
Vorrichtung nach Anspruch 11, wobei der Effekt ein Farbverschiebungseffekt ist, der durch verschiedene Farbwellenlängen von Licht hervorgerufen wird, welches das Objektiv passiert, wobei ferner ein Kompensationsfaktor auf jede Farbkomponente des Pixelwertes angewendet wird.
Vorrichtung nach Anspruch 9, wobei der Korrekturfaktor einen Farbunterschied zwischen einer Farbe, die durch den Pixelwert dargestellt wird, und einem Vergleichsfarbwert kompensiert.
Vorrichtung nach Anspruch 9, wobei der Korrekturfaktor einen Schärfeverlust relativ zu einem Vergleichsmaßstab kompensiert.
Vorrichtung nach Anspruch 9, das ferner ein Drahtlos-Mobiltelefon aufweist, das aufweist: ein Mikrofon zum Empfangen eines ersten Audioeingangs; einen Drahtlossender zum Senden eines Signals, das den ersten Audioeingang aufweist; einen Empfänger zum Empfangen eines Drahtlossignals, das einen zweiten Audioeingang aufweist; und einen Lautsprecher zum hörbaren Rendern des zweiten Audioeingangs.
Vorrichtung, die aufweist: einen Speicher, der in der Lage ist, eine Audiodatei zu speichern, die digitale Audiodaten aufweist; und eine Grafikverarbeitungseinheit (GPU), die in der Lage ist, ein Verfahren zum Verarbeiten der Audiodaten auszuführen, wobei das Verfahren aufweist: Bestimmen einer Frequenz, die einer Instanz der Audiodaten zugeordnet ist; Zugreifen auf einen Korrekturfaktor, welcher zu der Frequenz korrespondiert, wobei der Korrekturfaktor zum Justieren der Amplitude ist; und Anwenden des Korrekturfaktors auf die Instanz der Audiodaten.
Vorrichtung nach Anspruch 17, die ferner eine Digitalkamera aufweist, die ein Array von Detektorelementen aufweist, das in der Lage ist, eine korrespondierende Mehrzahl von Pixelwerten zu erzeugen, die einen Frame von Bilddaten aufweisen.
Vorrichtung nach Anspruch 18, wobei das Verfahren ferner das Justieren eines Pixelwertes aufweist.
Vorrichtung nach Anspruch 17, die ferner ein Drahtlos-Mobiltelefon aufweist, das aufweist: ein Mikrofon, das in der Lage ist, einen ersten Audioeingang zu empfangen; einen Drahtlossender, der in der Lage ist, ein Signal auszusenden, das den ersten Audioeingang aufweist; einen Empfänger, der in der Lage ist, ein Drahtlossignal zu empfangen, das einen zweiten Audioeingang aufweist; und einen Lautsprecher, der in der Lage ist, den zweiten Audioeingang hörbar wiederzugeben.