-
HINTERGRUND
-
Die vorliegende Offenbarung betrifft im Allgemeinen die digitale Bilderfassung und insbesondere die Komprimierung von digitalen Bildern mit Bildrauschen in unterschiedlichen Stärken.
-
Digitale Bilderfassungsgeräte befinden sich in Handheld-Geräten, Computern, Digitalkameras und verschiedenen anderen elektronischen Geräten. Sobald ein digitales Bilderfassungsgerät ein Bild aufnimmt, kann eine Bildverarbeitungs-Pipeline eine Reihe von Bildverarbeitungsvorgängen durchführen, um ein vollfarbiges, verarbeitetes und komprimiertes Bild in einem standardisierten Bildformat zu erzeugen.
-
Während Fortschritte in der Bilderfassungstechnologie eine ständig steigende Bildqualität ermöglichen, erfordern die Belange der Speicherung und Datenübertragung insbesondere bei tragbaren Geräten eine Weiterentwicklung der Bild- und Videokompressionsstandards, damit kleinere Dateigrößen mit erhöhter Abbildungstreue erreicht werden können. Daher sind Strategien gewünscht, mit denen kleinere Dateigrößen schnell und mit einem minimalen Verlust an Abbildungstreue erreicht werden können.
-
ZUSAMMENFASSUNG
-
Es werden Verfahren, Vorrichtungen und Systeme zur Wahl einer Bildkompressionsrate offenbart. Bei der Komprimierung eines digitalen Bildes kann sich infolge der Daten- und Detailreduktion und der Entstehung von Kompressionsartefakten die Bildqualität verringern. Während die Kompression die visuelle Qualität eines Bildes mit einem hohen Signal-Rauschverhältnis (SNR) signifikant beeinträchtigen kann, wird die visuelle Qualität eines unkomprimierten Bildes, das aufgrund eines niedrigen SNR bereits ein gewisses Maß an Bildrauschen enthält, durch die Kompression nicht signifikant beeinträchtigt. Beim Speichern digitaler Bilder können daher diejenigen Bilder, die mit einem relativ höheren Bildrauschen/niedrigen SNR identifiziert werden, stärker komprimiert werden als diejenigen mit einem relativ geringeren Bildrauschen/hohem SNR, ohne dass es dabei zu signifikanten Verlusten der visuellen Qualität kommt.
-
Eine Bildanalyse, die erforderlich ist um das Maß an Bildrauschen in einem Bild zu messen, kann rechenintensiv und zeitaufwändig sein. Jedoch kann das Maß an Bildrauschen in einem digitalen Bild mit anderen Bildmerkmalen korreliert werden, beispielsweise mit Gain und Lux, die leicht aus dem Datenstrom einer Bildverarbeitungs-Pipeline in modernen digitalen Bilderfassungsgeräten (z. B. Digitalkameras) entnommen werden können. Häufig sind solche Merkmale und Werte in den Metadaten enthalten, die zu einem Bild gehören. In einer Ausführungsform wird daher, basierend auf den Bildmerkmalen, die mit dem Bildrauschen korrelieren, eine Kompressionsmetrik ermittelt, die Hinweise auf das Maß an Bildrauschen in einem Bild gibt. Die Kompressionsmetrik kann zur Wahl einer Kompressionsrate verwendet werden, so dass Bilder mit höherem Bildrauschen/niedrigerem SNR stärker komprimiert werden können als Bilder mit geringerem Bildrauschen/höherem SNR.
-
In einer anderen Ausführungsform kann ein Bild in eine Anzahl von Bereichen segmentiert werden. Für jeden Bereich können eine separate Kompressionsmetrik und eine entsprechende Kompressionsrate ermittelt werden. Auf diese Weise können Bereiche eines Bildes mit höherem Bildrauschen/niedrigem SNR stärker komprimiert werden, während die höhere visuelle Qualität von Bildbereichen mit niedrigerem Bildrauschen/hohem SNR durch die Verwendung einer niedrigeren Kompressionsrate für diese Bereiche bewahrt werden kann.
-
KURZBESCHREIBUNG DER ZEICHNUNGEN
-
1 zeigt eine Bild-Pipeline gemäß einer Ausführungsform.
-
2 zeigt Beispiele eines Bildes mit niedrigem Bildrauschen/hohem SNR und eines Bildes mit hohem Bildrauschen/niedrigem SNR.
-
3 ist ein Flussdiagramm, welches ein Verfahren zur Wahl einer Bildkompressionsrate gemäß einer Ausführungsform zeigt.
-
4 zeigt die Beziehung zwischen einer Kompressionsmetrik und einem Kompressionsgrad gemäß einer Ausführungsform.
-
5 ist ein Flussdiagramm welches ein Verfahren zur Wahl einer Bildkompressionsrate gemäß einer anderen Ausführungsform zeigt.
-
6 ist ein Flussdiagramm, welches ein Verfahren zur Wahl einer Bildkompressionsrate gemäß noch einer anderen Ausführungsform zeigt.
-
7 zeigt Bereiche eines Bildes, für die gemäß einer Ausführungsform eine Kompressionsmetrik separat ermittelt wird.
-
8 zeigt ein System zur Erstellung von digitalen Bildern, die gemäß einer Ausführungsform mit einer dynamisch gewählten Kompressionsrate komprimiert werden.
-
AUSFÜHRLICHE BESCHREIBUNG
-
Es werden Verfahren, Vorrichtungen und Systeme zur Wahl einer Bildkompressionsrate offenbart. Ein komprimiertes hochwertiges Digitalbild ist von einer geringeren visuellen Qualität als das originale Digitalbild. Die Komprimierung eines verrauschten Bildes von geringer Qualität beeinträchtigt hingegen die Gesamtqualität des Bildes nicht wesentlich. Beim Speichern digitaler Bilder kann daher die Bilddateigröße minimiert (oder erheblich verringert) werden, indem basierend auf dem Maß an Bildrauschen im Bild eine Kompressionsrate gewählt wird, wobei die Kompressionsrate die Bildgröße reduziert, ohne die visuelle Qualität des Bildes nennenswert zu beeinträchtigen. Die vollständige Analyse des Bildrauschens kann rechenintensiv und zeitaufwändig sein. Jedoch kann das Bildrauschen in einem digitalen Bild mit anderen Bildmerkmalen (z. B. Gain und Lux) korreliert werden, welches häufig Werte sind, die in den zu einem Bild gehörenden Metadaten enthalten sind, oder die in anderer Weise leicht entlang einer Bild-Pipeline einer Kamera ermittelt werden können. Durch die Einschätzung der Stärke des Bildrauschens im originalen Digitalbild kann ausgehend von diesen Merkmalen eine Kompressionsrate gewählt werden, welche die Bildgröße verringert, jedoch die visuelle Qualität des Bildes nicht signifikant beeinträchtigt.
-
In einem Aspekt basiert die Kompressionsrate auf einer Kompressionsmetrik, die selbst wiederum auf einem oder mehreren Bildmerkmalen basiert, die mit dem Bildrauschen korreliert sind. Die Bildmerkmale sind leicht aus einer Bildverarbeitungs-Pipeline verfügbar, wodurch die Berechnung, die zur Ermittlung des Bildrauschens erforderlich ist, sich gegenüber traditionellen Analyseverfahren zur Ermittlung des Bildrauschens verringert. In einer Ausführungsform kann Gain oder Lux als Grundlage für die Kompressionsmetrik und somit als Informationsgrundlage für die Wahl einer Kompressionsrate verwendet werden. Dort wo Kompressionsmetrik-Werte auf ein hohes Maß an Bildrauschen hinweisen, kann eine höhere Kompressionsrate verwendet werden, wodurch ein komprimiertes Bild mit geringerer Abbildungstreue erzeugt wird. Dort wo Kompressionsmetrik-Werte auf ein geringes Maß an Bildrauschen hinweisen, kann eine niedrigere Kompressionsrate verwendet werden, wodurch ein komprimiertes Bild mit höherer Abbildungstreue erzeugt wird. Das Verhältnis zwischen Kompressionsmetrik und Kompressionsstufe kann kontinuierlich oder unstetig sein.
-
In einem anderen Aspekt können auf unterschiedliche Bildbereiche verschiedene Kompressionsraten angewandt werden. In einer Ausführungsform wird ein Bild in eine Anzahl von Bereichen segmentiert, und auf jeden Bereich wird unabhängig voneinander die beschriebene Kompressionsmetrik-Analyse angewandt. Dieses ermöglicht eine stärkere Kompression von verrauschten Bereichen des Bildes mit einem niedrigen lokalen SNR als von weniger verrauschten Bereichen des Bildes, wodurch eine weitere Verringerung der Dateigröße ohne signifikante Einbußen an visueller Qualität möglich ist.
-
In der nachfolgenden Beschreibung werden für Erklärungszwecke zahlreiche spezifische Einzelheiten angegeben, um ein gründliches Verständnis des Erfindungsgedankens zu vermitteln. Im Rahmen dieser Beschreibung werden in einigen Zeichnungen dieser Offenbarung Strukturen und Vorrichtungen in Form eines Blockschaubilds dargestellt, um die offenbarten Ausführungsformen nicht zu verschleiern. Im Interesse der Klarheit sind in dieser Beschreibung nicht alle Merkmale einer tatsächlichen Realisierung beschrieben. Außerdem wurden die in dieser Offenbarung verwendeten Formulierungen grundsätzlich im Interesse der Lesbarkeit und für Anweisungszwecke gewählt und nicht unbedingt, um den Erfindungsgegenstand abzugrenzen oder zu umschreiben; der Erfindungsgegenstand wird vielmehr durch den Anspruchswortlaut bestimmt. Eine Bezugnahme auf ”eine (1) Ausführungsform” oder ”eine Ausführungsform” in dieser Offenbarung bedeutet, dass ein bestimmtes Merkmal, eine Struktur oder Eigenschaft, das bzw. die im Zusammenhang mit der Ausführungsform beschrieben wird, in mindestens einer Realisierung des offenbarten Gegenstands enthalten ist, und mehrere Bezugnahmen auf ”eine (1) Ausführungsform” oder ”eine Ausführungsform” sind nicht unbedingt als Bezugnahmen auf die gleiche Ausführungsform zu verstehen.
-
Es versteht sich, dass bei der Entwicklung einer Realisierung (wie bei jedem Entwicklungsprojekt), zahlreiche Entscheidungen getroffen werden müssen, um die konkreten Ziele der Entwickler zu erreichen (z. B. Einhaltung der system- und unternehmensbezogenen Vorgaben), und dass diese Ziele bei jeder Realisierung anders sind. Es versteht sich auch, dass derartige Entwicklungsarbeiten komplex und zeitaufwändig sein können, jedoch für den Durchschnittsfachmann auf dem Gebiet der Realisierung von Bildverarbeitungssystemen mit dem Vorteil dieser Offenbarung eine Routineaufgabe darstellen würden.
-
1 zeigt eine Bildpipeline 100 gemäß einer Ausführungsform. Ein Bild wird erzeugt, wenn gemäß einer Ausführungsform Licht von einer Szene auf einen Bildsensor 110 trifft und Rohbilddaten 120 generiert. Der Bildsignalprozessor 130 erstellt aus den Rohbilddaten 120 eine digitale Bilddatei 140, wobei die digitale Bilddatei 140 digitale Bilddaten und Metadaten enthält. In Block 150 kann die digitale Bilddatei 140 mit einer oder mehreren gewählten Kompressionsraten komprimiert werden, so dass die Größe der Bilddatei verringert wird.
-
So kann zum Beispiel der Bildsensor 110 einen CMOS-Bildsensor (z. B. einen CMOS Active Pixel Sensor (APS)) oder einen CCD-(Charge-Coupled-Device)Sensor enthalten. Im Allgemeinen umfasst der Bildsensor einen integrierten Schaltkreis mit einer Anordnung von Pixeln, wobei jedes Pixel einen Photodetektor zum Erfassen von Licht enthält. Wie der Fachmann erkennen wird, ermitteln die Photodetektoren in den Bilderfassungspixeln im Allgemeinen die Intensität von Licht, das durch die Kameraobjektive eingefangen wird. Jedoch sind Photodetektoren für sich allein nicht in der Lage, die Wellenlänge des eingefangenen Lichts zu detektieren und daher auch nicht in der Lage, Farbinformationen zu ermitteln.
-
Dementsprechend kann der Bildsensor außerdem eine Farbfilteranordnung (CFA) enthalten, welche die Pixelanordnung des Bildsensors überlagert oder darüber angeordnet ist, um Farbinformationen zu erfassen. Die Farbfilteranordnung kann eine Anordnung aus kleinen Farbfiltern umfassen, von denen jeder ein entsprechendes Pixel des Bildsensors überlappt und das eingefangene Licht nach der Wellenlänge filtert. Wenn die Farbfilteranordnung und die Photodetektoren in Verbindung miteinander eingesetzt werden, können sie daher in Bezug auf das durch die Kamera eingefangene Licht, welches einem aufgenommenen Bild entsprechen kann, sowohl Informationen über die Wellenlänge als auch über die Intensität liefern.
-
In einer Ausführungsform kann die Farbfilteranordnung eine Bayer-Farbfilteranordnung umfassen, welche ein Filtermuster liefert, das zu 50% aus grünen Elementen, zu 25% aus roten Elementen und zu 25% aus blauen Elementen besteht. Zum Beispiel enthält ein 2×2 Pixelblock einer Bayer CFA, 2 grüne Elemente (Gr und Gb), 1 rotes Element (R) und 1 blaues Element (B). Daher kann ein Bildsensor, der mit einer Bayer-Farbfilteranordnung ausgestattet ist, Informationen über die Intensität des Lichts liefern, welches vom Bilderfassungsgerät im grünen, roten und blauen Wellenlängenbereich empfangen wurde, wobei jedes Bildpixel nur eine der drei Farben (RGB) erfasst. Diese Informationen können als ”Rohbilddaten” oder Daten in der ”RAW-Domäne” bezeichnet werden, wie als Block 120 in 1 dargestellt. Die Rohbilddaten 120 haben eine Vielzahl von ihnen innewohnenden Eigenschaften, einschließlich, zum Beispiel, Datum und Zeitpunkt des Einfangens, GPS-Position oder Geotag, Blendengröße, Belichtungszeit, Kameratypus, analoge Verstärkung, digitale Verstärkung, Lux und Weißpunkt. Anzahl und Art der Eigenschaften variieren je nach Kamerasystem und dessen Fähigkeiten. Einige Eigenschaften sind mit dem Bild im Allgemeinen verbunden, einige mit dem Bilderfassungsgerät selbst, und einige mit einem individuellen Pixelelement.
-
Rohbilddaten 120 können dann durch einen Bildsignalprozessor (ISP) 130 verarbeitet werden, um eine digitale Bilddatei 140 zu erzeugen. Der Bildsignalprozessor 130 kann eine Reihe von Bildverarbeitungsfunktionen durchführen, wie zum Beispiel eine Bayer-Umwandlung, Demosaicing, Rauschreduzierung, Weißabgleich, Anwendung von digitaler Verstärkung und Bildschärfung. Ein Bildsignalprozessor 130 kann zum Beispiel eine oder mehrere Demosaicing-Techniken anwenden, um die Rohbilddaten 120 in ein vollfarbiges Bild umzuwandeln, im Allgemeinen durch Interpolieren eines Satzes von Rot-, Grün- und Blauwerten für jedes Pixel. Der Bildsignalprozessor 130 kann auch statistische Eigenschaften des Bildes berechnen, die dazu verwendet werden können, die Stärke des Bildrauschens einschließlich lokaler SNR Schätzwerte zu messen.
-
In einer Ausführungsform ermittelt der Bildsignalprozessor 130 eine Kompressionsmetrik, die zu einem Bild gehört. In einer anderen Ausführungsform wird die Kompressionsmetrik durch einen Prozessor ermittelt, der vom Bildsignalprozessor 130 getrennt vorhanden ist, d. h. nicht durch den Bildsignalprozessor 130. Die Kompressionsmetrik kann mit der Stärke des Bildrauschens in einem Bild korreliert werden. Rauschen ist ein Störsignal in einem Bild, bzw. ein Signal, welches nicht das anzeigt, was gerade gemessen wird. Rauschen ist zwar immer vorhanden, doch wird es in einem Bild erst dann sichtbar, wenn das Signal-Rausch-SNR niedrig ist. Das SNR ist dann niedrig, wenn nur ein geringfügiger Unterschied vorhanden ist zwischen einem Bildsensorsignal, welches die abgebildete Szene angibt, und einem Zufallssignal, Sensorrauschen oder Lichtschwankungen, die auch vom Bildsensor wahrgenommen werden. Visuelles Bildrauschen entsteht häufig beispielsweise in Situationen mit wenig Licht, wenn die Lichtmenge, die auf den Sensor trifft, von derselben Größenordnung wie das vom Sensor erzeugte Rauschsignal ist. Verweise auf „Bildrauschen” in diesem Text beziehen sich daher auf Situationen, in denen das SNR für ein Bild niedrig ist, so dass ein Rauschsignal größeren Ausmaßes in den Bilddaten erkennbar ist. 2 zeigt ein Bild mit geringem Bildrauschen/hohem SNR 200 und ein Bild mit hohem Bildrauschen/niedrigem SNR 205. Das Bild mit hohem SNR 200 ist gekennzeichnet durch scharfe Linien, gleichmäßige Füllung und weiche Farbverläufe. Das Bild mit niedrigem SNR 205 ist gekennzeichnet durch unscharfe Füllung und fleckige Farbverläufe.
-
In einer Ausführungsform ist die Kompressionsmetrik maßgebend für die Wahl einer Kompressionsrate, die für die Kompression 150 des digitalen Bildes 140 verwendet wird. Die Ermittlung der Kompressionsmetrik wird nachstehend im Hinblick auf 3 näher erläutert. Sobald die Kompressionsmetrik ermittelt wurde, kann sie in die Metadaten des Bildes eingefügt werden. Auf diese Weise kann während der Kompression 150 auf die Kompressionsmetrik Bezug genommen werden, so dass die Kompressionsmetrik maßgeblich für die Wahl des Kompressionsverhältnisses ist. In einer anderen Ausführungsform wird die Kompressionsmetrik für ein Bild direkt an die Kompressionsstufe 150 der Bildpipeline kommuniziert.
-
In einer Ausführungsform enthält eine digitale Bilddatei 140 Bilddaten und Metadaten. Die digitale Bilddatei 140 kann in einer Vielzahl von unkomprimierten oder verlustfrei komprimierten Formaten vorliegen, zum Beispiel in RAW und PNG. In einer Ausführungsform enthalten die zur digitalen Bilddatei 140 gehörenden Metadaten, die Bildmerkmale, die vorstehend im Hinblick auf die Rohbilddaten 120 erläutert wurden. In einer anderen Ausführungsform enthalten die zur digitalen Bilddatei gehörenden Metadaten eine mit Bildrauschen korrelierte Kompressionsmetrik.
-
In Block 150 wird die Ausgabe des Bildsignalprozessors 130 komprimiert. Das bedeutet, dass die Kompression 150 die Gesamtdateigröße des digitalen Bildes 140 reduziert. Dieses geschieht zum Beispiel, indem die Anzahl von Bytes verringert wird, die zum Speichern des digitalen Bildes erforderlich sind. Die Kompression 150 kann verlustfrei sein, wobei die vollständige Abbildungstreue des Bildes trotz Verringerung der Dateigröße bewahrt wird, sie kann auch verlustbehaftet sein, wobei die Bildinformation verlorengeht, d. h. die Abbildungstreue verringert wird. Die verlustbehaftete Kompression 150 umfasst jedes Verfahren zur Reduzierung der Größe einer digitalen Bilddatei 140. Bei solchen Verfahren kommen Farbunterabtastung, Transformationskodierung, prädiktive Kodierung, Quantisierung, Entropiekodierung u. Ä. zum Einsatz. Die verlustbehaftete Kompression 150 kann insbesondere bei einer Vielzahl von branchenüblichen Standardverfahren einschließlich JPEG, JPEG2000, JPEG-XR, und HEVC Standbildprofil vorkommen.
-
In einer Ausführungsform erfolgt die Kompression 150 mit einer gewählten Kompressionsrate. In einer Ausführungsform kann die Kompressionsrate durch den Bildsignalprozessor 130 gewählt und als Anweisung an das Kompressionsverfahren 150 geschickt werden. In einer anderen Ausführungsform kann die Kompressionsrate während des Kompressionsverfahrens 150 gewählt werden, basierend auf einer mit Bildrauschen korrelierten Kompressionsmetrik. In noch einer anderen Ausführungsform kann das Kompressionsverhältnis basierend auf einer Kompressionsmetrik durch einen separaten Prozessor gewählt und dann an das Kompressionsverfahren 150 kommuniziert werden.
-
Während die Pipeline 100 im Hinblick auf ein einzelnes digitales Bild beschrieben wird, erkennt der Durchschnittsfachmann, dass sie gleichermaßen auf Videosequenzen anwendbar ist. Zum Beispiel kann einer Videodatei eine Vielzahl von Eigenschaften zugeordnet werden. Eine Kompressionsmetrik kann von Videoeigenschaften abgeleitet werden, die mit Bildrauschen im Videobild oder -ton korreliert werden. In einer Ausführungsform kann eine Videokompressionsrate basierend auf der ermittelten Kompressionsmetrik gewählt werden. Video kann mit einer Vielzahl verschiedener branchenüblicher Standardverfahren, z. B. MPEG, H.264, und HEVC komprimiert werden.
-
3 ist ein Flussdiagramm, welches ein Verfahren 300 zur Wahl einer Bildkompressionsrate gemäß einer Ausführungsform zeigt. In Block 310 wird ein Bild empfangen. Das Bild ist in einem digitalen Format. Das hier erläuterte Bild kann in jedem Format einer Farbfilteranordnung (CFA), wie zum Beispiel Bayer, oder in anderen Farbräumen, wie zum Beispiel RGB oder in verschiedenen Luma-Chroma-Formaten wie zum Beispiel YCbCr vorliegen. Weitere Möglichkeiten, Daten zum Bild zu bekommen, ergeben sich aus der Verarbeitung durch den Anwendungsprozessor (CPU) oder den ISP, sowie aus verschiedenen statistischen Daten. Weitere, in den Metadaten enthaltene Eigenschaften, sind Blendenwert, Helligkeitswert, Farbraum, Belichtungszeit und -korrektur, Blitzlichtinformationen, Brennweite, f/Nummer, ISO-Geschwindigkeitsquote, Verschlussgeschwindigkeit, Bildstabilisierungswert und Weißabgleich-Modus.
-
In Block 320 wird gemäß einer Ausführungsform eine Kompressionsmetrik ermittelt, welche den Grad des Bildrauschens im Bild angibt. In einer Ausführungsform wird die Kompressionsmetrik von mindestens einem zum Bild gehörenden Bildmerkmal abgeleitet. Eine Vielzahl von Bildmerkmalen kann mit dem Maß an Bildrauschen in einem Bild korreliert werden. Beispielsweise haben Bilder, die in schlechten Lichtverhältnissen aufgenommen werden, typischerweise einen niedrigen SNR, was zu hohem Bildrauschen führen kann. Wenn nur wenig Licht dafür verfügbar ist, dass der Sensor ein Bildsignal erzeugt, wird typischerweise die Bildverstärkung erhöht. Dort, wo die Bildverstärkung sehr hoch ist, zeigt der Teil des eingefangenen Signals aufgrund des niedrigen SNR nicht nur das verstärkte Bild an, vielmehr wird das Rauschen des Sensors auch verstärkt. Daher weist eine hohe Verstärkung typischerweise auf das Vorhandensein von Bildrauschen in einem Bild hin.
-
Das Bildmerkmal Lux kann auch verwendet werden, um Bilder zu identifizieren, in denen wahrscheinlich Bildrauschen vorhanden ist. Lux ist die Lichtmenge, die pro Flächeneinheit auf eine Oberfläche auftrifft. Daher liefert ein niedriger Lux-Wert, der beispielsweise in Situationen mit geringem Licht vorhanden ist, viele derselben Anhaltspunkte wie ein hoher Verstärkungswert. Das bedeutet, wenn das Lux eines Bildes niedrig ist, dann ist der Bildsensor einer geringen Lichtmenge ausgesetzt. Andererseits ist es, dort, wo das Signal klein ist, eher wahrscheinlich, dass Bildrauschen und Signal miteinander verwechselt werden. Daher ist ein hoher Gain-Wert oder ein niedriger Lux-Wert ein Hinweis auf ein Bild, das wahrscheinlich stark verrauscht ist. Die Gain- und Lux-Werte für ein Bild werden typischerweise als Metadaten gespeichert, daher sind sie als Rauschmetrik leichter zugänglich als Informationen, die aus einer Analyse der Bilddaten zur Identifizierung des tatsächlichen Bildrauschens gewonnen werden.
-
Daher kann eine Kompressionsmetrik, die auf einem Bildmerkmal wie zum Beispiel dem Gain basiert, Hinweise auf die Stärke des Bildrauschens in einem Bild liefern. In einer Ausführungsform kann ein einzelnes Bildmerkmal direkt als Kompressionsmetrik dienen. Zum Beispiel kann der Wert des digitalen Gains des Bildes als Wert für die Kompressionsmetrik verwendet werden. In einem anderen Beispiel kann der Lux-Wert für ein Bild als Wert für die Kompressionsmetrik hergenommen werden. In einem Ausführungsbeispiel kann ein einzelnes Bildmerkmal auf einer Kompressionsmetrik-Skala abgebildet oder zur Ermittlung des Wertes für die Kompressionsmetrik normalisiert werden. Zum Beispiel kann der Gain-Wert durch den maximalen Gain-Wert für das Kamerasystem dividiert werden, um einen einheitslosen Kompressionsmetrik-Wert zu erhalten.
-
Es kann auch mehr als ein Bildmerkmal zur Berechnung der Kompressionsmetrik verwendet werden. In einem Ausführungsbeispiel liefert jedes Bildmerkmal, das zur Berechnung der Kompressionsmetrik verwendet wird, Hinweise auf Bildrauschen in einem Bild. Es kann eine Funktion der Kompressionsmetrik entwickelt werden, so dass eine Reihe von Bildmerkmalen zum Kompressionsmetrik-Wert beitragen. In einem Ausführungsbeispiel hat jeder Bildmerkmalswert einen Koeffizienten, der das Gewicht und/oder die Einheiten des Merkmalswerts anpasst, so dass jedes Bildmerkmal in sinnvoller Weise zum Kompressionsmetrik-Wert beiträgt. Wenn zum Beispiel der Gain stark auf Bildrauschen hinweist, während der Weißpunkt nur leicht auf Bildrauschen hinweist, kann der Gain-Koeffizient so gewählt werden, dass die Gain-Komponente einen größeren Einfluss auf den Kompressionsmetrik-Wert hat. Einige Bildmerkmale, wie zum Beispiel das Lux, stehen im umgekehrten Verhältnis zum Bildrauschen – das bedeutet, je größer das Lux, umso geringer ist wahrscheinlich das Bildrauschen. Daher ist es möglicherweise erforderlich, die Kompressionsmetrik anzupassen, um das richtige Verhältnis zwischen der Kompressionsmetrik und der Kompressionsrate zu erhalten. Gleichung 1 zeigt eine beispielhafte Kompressionsmetrik-Funktion. Metrikwert = f(Gain, Lux, ...) = ωGG + ωluxL + ..., (1) wobei ωG einen Gewichtungsfaktor für den Gain darstellt, G für den Gain steht, ωL einen Gewichtungsfaktor für das Lux darstellt, und L für das Lux steht.
-
In einem Ausführungsbeispiel kann die Kompressionsmetrik-Funktion experimentell abgeleitet werden, zum Beispiel, indem eine Regressionsanalyse verschiedener Bildmerkmale durchgeführt wird. Gemäß einer Ausführungsform kann wie bei einzelnen Bildmerkmalswerten der durch eine Kompressionsmetrik-Funktion generierte Wert normalisiert werden. Zum Beispiel kann die Kompressionsmetrik-Funktion so ausgebildet werden, dass ein Kompressionsmetrik-Wert auf einer Skala von 0 bis 100 generiert wird.
-
Zurückkehrend zu 3 kann gemäß einer Ausführungsform in Block 330 eine Kompressionsmetrik basierend auf der Kompressionsmetrik gewählt werden. Der hier benutzte Begriff Kompressionsrate ist ein Maßstab für das Ausmaß, in dem die Datenmenge in einem Bild durch einen Kompressionsalgorithmus reduziert wird. In einer Ausführungsform kann zum Beispiel die Kompressionsrate ein explizites Verhältnis der originalen Dateigröße in Bytes zu der komprimierten Dateigröße in Bytes sein. In einem anderen Ausführungsbeispiel kann die Kompressionsrate ein Wert auf einer normalisierten Skala von 0 bis 100 sein, wobei 0 der höchste Kompressionsgrad und 100 ein unkomprimiertes (originales) Bild ist. Wie vorstehend beschrieben, kann jeder/(s) geeignete Kompressionsalgorithmus/-format verwendet werden. Die genauen Kompressionsraten, bzw. das Spektrum, das für die Wahl zur Verfügung steht, hängt vom jeweils angewandten Kompressionsverfahren/-algorithmus ab.
-
Das Verhältnis zwischen dem gewählten Kompressionswert und der Kompressionsmetrik für ein Bild kann so definiert werden, dass die hohe visuelle Qualität von Bildern mit geringem Bildrauschen/hohem SNR durch die Verwendung einer Kompressionsrate, die auf der Vollskala für Kompressionsraten niedrig angesiedelt ist, bewahrt wird, während Bilder mit hohem Bildrauschen/niedrigem SNR mit einer Rate komprimiert werden, die auf der Kompressionsskala hoch angesiedelt ist, da durch den kompressionsbedingten Datenverlust die visuelle Qualität des verrauschten Bildes im Vergleich zu der unkomprimierten Version des Bildes nicht nennenswert beeinträchtigt wird.
-
4 zeigt beispielhafte Verhältnisse zwischen einer veranschaulichend dargestellten Kompressionsmetrik und der Kompressionsrate. Plot 400 zeigt einen einzelnen Schwellenwert für die Kompressionsmetrik 405. Wenn der Kompressionsmetrik-Wert unter dem Schwellenwert für die Kompressionsmetrik 405 liegt, kann für die Komprimierung des Bildes die minimale Kompressionsrate 415 verwendet werden. Das heißt, wenn der Kompressionsmetrik-Wert klein ist und auf ein geringes Maß an Bildrauschen im Bild hindeutet, behält das Bild einen gewissen Grad an Abbildungstreue, Detailgenauigkeit und Daten-/Dateigröße. In einem Bild mit geringem Bildrauschen werden dadurch Detailgenauigkeit und Abbildungstreue bewahrt. In einer Ausführungsform beträgt dann, wenn die Kompressionsmetrik unter dem Schwellenwert für die Kompressionsmetrik 405 liegt, die Kompressionsrate 1; das bedeutet, dass die Bildgröße nicht reduziert wird. Wenn die Kompressionsmetrik beim Schwellenwert für das Rauschen bei 405 oder darüber liegt, kann die maximale Kompressionsrate 420 für die Komprimierung des Bildes verwendet werden. Das bedeutet, wenn starkes Bildrauschen im Bild festgestellt wird, wird die Bilddatei verkleinert, da das Bildrauschen bereits die im Bild offensichtliche visuelle Qualität und die Detailgenauigkeit eingeschränkt hat, so dass ein kompressionsbedingter Verlust an Abbildungstreue die visuelle Qualität des Bildes nicht signifikant weiter verringert.
-
In Plot 425 wird gemäß einer Ausführungsform das Verhältnis zwischen der Kompressionsmetrik und der gewählten Kompressionsrate durch eine Reihe von Schwellenwerten für die Kompressionsmetrik 430A–F definiert. Wenn sich der Kompressionsmetrik-Wert erhöht, was auf einen Anstieg des Bildrauschens im Bild hindeutet, kann sich auch die Kompressionsrate erhöhen. Durch die Verwendung einer Reihe von Schwellenwerten für die Kompressionsmetrik kann der Kompressionsgrad an den Grad des Bildrauschens in einem Bild angepasst werden. Die Schwellenwerte für die Kompressionsmetrik 430A–F sind in regelmäßigen Abständen dargestellt, wobei die Kompressionsrate bei jedem Schwellenwert für die Kompressionsmetrik um denselben Betrag zunimmt. Jedoch können Schwellenwerte für die Kompressionsmetrik in beliebigen Abständen definiert werden, und die entsprechende Kompressionsrate kann sich um einen beliebigen Betrag erhöhen. Die Schwellenwerte für die Kompressionsmetrik können beispielsweise auf einem perzeptiven Modell beruhen, welches beschreibt, wie die Wahrnehmung eines Bildes durch einen Betrachter durch Bildrauschen unterschiedlicher Stärke beeinflusst wird.
-
In Plot 435 ist gemäß einer Ausführungsform das Verhältnis zwischen der Kompressionsmetrik und der Kompressionsrate kontinuierlich. Zwar wird das Verhältnis als linear dargestellt, doch kann es jede beliebige Form haben, wobei sich die Kompressionsrate im Allgemeinen mit einer ansteigenden Kompressionsmetrik erhöht. Außerdem kann das Verhältnis zwischen Kompressionsmetrik und Kompressionsrate eine Kombination aus kontinuierlich und unstetig sein, d. h. es können Schwellenwerte für die Kompressionsmetrik darin enthalten sein.
-
Zurückkehrend zu 3 kann gemäß einer Ausführungsform in Block 340 das digitale Bild mit der gewählten Kompressionsrate komprimiert werden. Es kann jedes geeignete Kompressionsverfahren verwendet werden, mit dem eine Kompression in der gewählten Rate erzielt werden kann, z. B. JPEG, JPEG2000, JPEG-XR oder das HEVC Standbildprofil. Der Durchschnittsfachmann wird verstehen, dass das im Hinblick auf 3 dargestellte und beschriebene Verfahren verwendet werden kann, um zusätzlich zu Bilddateien auch Videodateien zu komprimieren.
-
5 ist ein Flussdiagramm in dem gemäß einer Ausführungsform ein Verfahren 500 für die Wahl einer Kompressionsrate basierend auf einer Kompressionsmetrik eingesetzt werden kann. In Block 310 wird wie vorstehend beschrieben ein Bild empfangen. In Block 320 wird wie vorstehend beschrieben eine Kompressionsmetrik ermittelt. Gemäß einer Ausführungsform wird in Block 530 als nächstes bestimmt, ob die Kompressionsmetrik größer als ein Schwellenwert für die Kompressionsmetrik ist. Ein Schwellenwert für das Rauschen kann entsprechend der vorstehenden Erläuterungen zu einem der Plots 400, 425 und 435 in der 4 definiert werden. Wenn die Kompressionsmetrik nicht größer als der Schwellenwert für die Kompressionsmetrik ist, dann wird gemäß einer Ausführungsform in Block 540 das Bild mit einer ersten Kompressionsrate komprimiert. Wenn die Kompressionsmetrik größer als der Schwellenwert für die Kompressionsmetrik ist, dann wird das Bild mit einer zweiten Kompressionsrate komprimiert, wobei die zweite Kompressionsrate größer als die erste Kompressionsrate ist.
-
6 zeigt gemäß einer Ausführungsform ein Verfahren 600 für die Ermittlung der Kompressionsrate für jeden Bereich innerhalb einer Anzahl von Bildbereichen, für den die Kompressionsrate basierend auf der Kompressionsmetrik gewählt wird. In Block 310 wird wie vorstehend beschrieben ein Bild empfangen. In Block 615 werden gemäß einer Ausführungsform eine oder mehrere Bereiche eines Bildes identifiziert. In einer Ausführungsform können die Bereiche durch den Bildsignalprozessor identifiziert werden. In einer anderen Ausführungsform werden die Bereiche durch einen separaten Prozessor identifiziert. Die Bildbereiche können durch eine Vielzahl von Verfahren identifiziert werden. Zum Beispiel kann ein Bild in eine Anzahl von Bereichen mit gleicher Fläche unterteilt werden, wie es in Bild 700 der 7 gezeigt wird. Bild 700 wurde gemäß einer Ausführungsform in eine Anzahl von Bereichen 720 unterteilt. Gemäß einer Ausführungsform sind die Bereiche 720 unabhängig vom Standort des Motivs 710. Jeder Bereich 720 kann ausgewertet werden, um eine Kompressionsmetrik und eine Kompressionsrate für jeden Bereich 720 zu bestimmen, basierend auf der Kompressionsmetrik des jeweiligen Bereichs. Auf diese Weise können die Bereiche 720, die stärkeres Bildrauschen aufweisen, stärker komprimiert werden als Bereiche mit geringerem Bildrauschen.
-
In einer anderen Ausführungsform kann ein Bild in Bereiche mit unterschiedlichen Flächen unterteilt werden. Fläche und Standort der Bereiche können auf einer Reihe von Faktoren basiert werden, wie zum Beispiel die Identifikation eines Bildmotivs, Veränderungen in den Bildmerkmalen (z. B. Gain oder Lux), sie können aber auch auf andere Weise als Flächen identifiziert werden, in denen wahrscheinlich starkes Bildrauschen vorhanden ist. Gemäß einer Ausführungsform enthält Bild 730 Bereiche mit unterschiedlichen Flächen. Gemäß einer Ausführungsform enthält Bild 730 größere Hintergrundbereiche 740 und kleinere Motivbereiche 750. Die Motivbereiche 750 enthalten das Motiv 710 des Bildes. In diesem Beispiel hat der Hintergrund des Bildes weniger Detailgenauigkeit, weniger Schärfe und/oder stärkeres Bildrauschen als das Motiv 710. Die Hintergrundbereiche 740 können eine höhere Kompressionsmetrik haben als die Motivbereiche 710 und daher mit einer höheren Kompressionsmetrik komprimiert werden als die Motivbereiche 710. Es versteht sich, dass eine Vielzahl von Verfahren angewendet werden kann um eine beliebige Anzahl und/oder Größe von Bereichen innerhalb eines Bildes zu definieren, so dass jeder der verschiedenen Bereiche mit einer Kompressionsrate komprimiert wird, die auf einer Kompressionsmetrik basiert, welche für einen einzelnen Bereich speziell ist.
-
Zurückkehrend zu 6 wird gemäß einer Ausführungsform in Block 620 eine Kompressionsmetrik für einen Bereich des Bildes ermittelt. Eine Kompressionsmetrik kann für den einzelnen Bereich wie vorstehend im Hinblick auf Block 320 der 3 erörtert ermittelt werden. Als nächstes kann, wie vorstehend beschrieben, in Block 330 eine Kompressionsrate basierend auf der Kompressionsmetrik gewählt werden. Dann kann, wie vorstehend beschrieben, in Block 340 der Bildbereich mit der gewählten Kompressionsrate komprimiert werden. Für die Blöcke 620, 330 und 340 kann das für jeden Bereich seriell, parallel oder in einer Kombination aus beiden erfolgen. In einer Ausführungsform kann bei serieller Durchführung jeder Block in jedem Bereich des Bildes so behandelt werden, bevor es zum nächsten Block weitergeht. In einer anderen Ausführungsform können die Blöcke 620 und 330 so behandelt werden, dass jedem Bildbereich eine Kompressionsrate zugewiesen wird, bevor es mit der Kompression eines jeden Bereiches in Block 340 weitergeht. Jeder der Blöcke 620, 330 und 340 kann durch die gleichen oder durch verschiedene Prozessoren behandelt werden.
-
8 zeigt ein elektronisches Gerät 800 für die Durchführung der hierin offenbarten Techniken und kann unter anderem einen oder mehrere Prozessoren 805, Arbeitsspeicher 810, nichttransitorisches Speichermedium 815, Anzeigevorrichtung 820, ein oder mehrere Bilderfassungselemente 825, Strobe-Blitzlicht 830, Hauptbildprozessor 835, Eingabe/Ausgabe(I/O)-Schnittstelle 840, Netzwerkschnittstellen 845, Eingabestrukturen 850 und eine Stromversorgung 855 enthalten. Die verschiedenen funktionalen Blöcke, die in der 8 gezeigt werden, können Hardware-Elemente (einschließlich Schaltungen), Software-Elemente (einschließlich Computercode, gespeichert auf einem nichttransitorischen, computerlesbaren Medium, wie z. B. Speicher 815), oder eine Kombination aus Hardware- und Software-Elementen enthalten. Es ist weiterhin zu beachten, dass 8 lediglich ein Beispiel einer speziellen Realisierung ist und die Arten von Komponenten darstellen soll, die im elektronischen Gerät 800 vorhanden sein können.
-
Zum Beispiel kann das elektronische Gerät 800 in Form eines Blockschaubilds dargestellt sein und ein portables elektronisches Gerät verkörpern, z. B. ein Mobiltelefon, ein Tablet-Computersystem oder ein ähnliches elektronisches Gerät, z. B. ein Desktop- oder Notebook-Computersystem mit ähnlichen Bilderfassungsfähigkeiten. Es ist zu beachten, dass der Hauptbildprozessor- 835 Block, die Prozessor(en) 805, und/oder sonstige Datenverarbeitungsschaltungen im Allgemeinen als Datenverarbeitungsschaltung bezeichnet werden können. Eine derartige Datenverarbeitungsschaltung kann ganz oder teilweise als Software, Firmware, Hardware oder irgendeine Kombination daraus ausgebildet werden. Des Weiteren kann die Datenverarbeitungsschaltung ein einzelnes, in sich geschlossenes Verarbeitungsmodul sein, oder ganz oder teilweise innerhalb irgendwelcher der anderen Elemente im elektronischen Gerät 800 integriert sein. Zusätzlich oder alternativ hierzu kann die Datenverarbeitungsschaltung teilweise mit dem elektronischen Gerät 800 und teilweise innerhalb eines anderen elektronischen Geräts, das mit Gerät 800 verbunden ist, verkörpert werden.
-
Im elektronischen Gerät 800 der 8 können der (die) Prozessor(en) 805 und/oder andere Datenverarbeitungsschaltungen betriebsmäßig mit dem Speicher 810 und dem nichttransitorischen Speichermedium 815 verbunden werden, um zur Durchführung der hierin offenbarten Techniken verschiedene Algorithmen auszuführen. Diese Algorithmen können durch den (die) Prozessor(en) 805 und/oder andere Datenverarbeitungsschaltungen (z. B. zu der Hauptbildverarbeitung 835 gehörende Firmware oder Software) auf der Grundlage bestimmter von dem(n) Prozessor(en) 805 und/oder anderen Datenverarbeitungsschaltungen ausführbarer Anweisungen ausgeführt werden. Derartige Anweisungen können mithilfe eines oder mehrerer geeigneter Herstellungsartikel gespeichert werden, die einen oder mehrere greifbare und nichttransitorische computerlesbare Speichermedien umfassen, auf denen zumindest die Anweisungen kollektiv gespeichert werden können. Der bzw. die Herstellungsartikel können zum Beispiel den Arbeitsspeicher 810 und/oder das nichttransitorische Speichermedium 815 umfassen. Der Arbeitsspeicher 810 und das nichttransitorische Speichermedium 815 können beliebige geeignete Herstellungsartikel zum Speichern von Daten und von ausführbaren Anweisungen, wie zum Beispiel Direktzugriffsspeicher (RAM), Festwertspeicher (ROM), wiederbeschreibbarer Flash-Speicher, Festplatten und optische Speicherplatten umfassen.
-
Das Bilderfassungselement 825 kann Frames von Rohbilddaten einer Szene erfassen, und zwar typischerweise auf der Basis von Umgebungslicht. Wenn Umgebungslicht allein unzureichend ist, kann das Strobe-Blitzlicht 830 (z. B. eine oder mehrere Leuchtdioden (LEDs) oder Xenon-Strobe-Blitzlichter) vorübergehend die Szene ausleuchten, während das Bilderfassungselement 825 einen Frame von Rohbilddaten einfängt. In beiden Fällen kann der Frame von Rohbilddaten, die aus dem Bilderfassungselement 825 stammen, verarbeitet werden, bevor er im Arbeitsspeicher 810 oder im nichttransitorischen Speichermedium 815 abgespeichert wird oder auf der Anzeigevorrichtung 820 angezeigt wird.
-
Insbesondere kann das abgebildete Bilderfassungselement 825 als digitale Kamera bereitgestellt werden, die dazu ausgebildet ist, sowohl Standbilder als auch Bewegtbilder (z. B. Video) aufzunehmen. Ein solches Bilderfassungselement 825 kann ein Objektiv und einen oder mehrere Bildsensoren umfassen, die dazu ausgebildet sind, Licht einzufangen und in elektrische Signale umzuwandeln, und es erfolgt, wie vorstehend erörtert, eine Umwandlung in ein rohes Bayer-, RGB- oder YCbCr-Format. Frames solcher Bilddaten aus dem Bilderfassungselement 825 können zur Verarbeitung in die Hauptbildverarbeitung 835 hineingehen. In einigen Ausführungsformen kann der Bildsignalprozessor 835 einen dedizierten Hardware-Bildsignalprozessor und eine oder mehrere dedizierte Grafikverarbeitungseinheiten umfassen.
-
Die Rohbilddaten aus dem Bilderfassungselement 825 können auch innerhalb des Arbeitsspeichers 810 in einem Framebuffer abgespeichert werden, der für eine alternative Bildverarbeitungsfunktion des elektronischen Geräts 800 zugänglich ist. Alternative Bildverarbeitung bedeutet Bildverarbeitung, die getrennt vom Hauptbildprozessor 835 durchgeführt wird und anstatt oder zusätzlich zur Verarbeitung durch den Hauptbildprozessor 835 erfolgt. Folglich umfasst der Begriff auch Verarbeitung, die außerhalb von, jedoch in Unterstützung der Bilddatenverarbeitung durch den Hauptbildprozessor 835 durchgeführt wird.
-
Eine derartige alternative Bildverarbeitungsfunktion des elektronischen Geräts 800 kann zum Beispiel Bildverarbeitung oder Bildanalyse umfassen, die in einer Software auf dem (den) Prozessor(en) 805 erfolgt. Zusätzlich oder alternativ hierzu kann die Bildverarbeitungsfunktion des elektronischen Geräts 800 andere Hardware oder Firmware enthalten, die in der Lage ist, die Rohbilddaten auf bestimmte Merkmale zu analysieren. Des Weiteren kann, wie hierin offenbart, alternative Bildverarbeitung zur Ermittlung einer Kompressionsmetrik, zur Wahl einer Kompressionsrate oder zum Komprimieren eines Bildes beitragen.
-
Die I/O-Schnittstelle 840, wie auch die Netzwerkschnittstellen 845, können das elektronische Gerät 800 in die Lage versetzen, sich mit verschiedenen anderen elektronischen Geräten zu verbinden. Diese Netzwerkschnittstellen 845 können zum Beispiel Schnittstellen für ein Personal Area Network (PAN), wie zum Beispiel ein drahtloses Kommunikationsnetzwerk über Bluetooth®, Schnittstellen für ein Local Area Network (LAN), wie zum Beispiel ein 802.11x Wi-Fi-Netzwerk und/oder Schnittstellen für ein Wide Area Network (WAN), wie zum Beispiel das 3G- oder 4G-Mobilfunknetz, sein. Durch die Netzwerkschnittstellen 845 kann sich das elektronische Gerät 800 mit anderen Geräten verbinden, darunter auch einem Strobe-Blitzlicht 830. Die Eingabestrukturen 850 des elektronischen Geräts 800 können es einem Benutzer ermöglichen, mit dem elektronischen Gerät 800 zu interagieren (z. B. auf einen physischen Knopf oder eine virtuelle Schaltfläche zu drücken, um eine Bilderfassungssequenz auszulösen). Die Stromversorgung 855 des elektronischen Geräts 800 kann eine beliebige Stromquelle sein, zum Beispiel eine wiederaufladbare Lithium-Polymer-(Li-Poly-)Batterie und/oder ein Wechselstrom-(AC)-Spannungswandler (Netzteil).
-
Es versteht sich, dass die vorstehende Beschreibung veranschaulichend und nicht einschränkend sein soll. Der Wissensstoff wurde unterbreitet, um einen beliebigen Fachmann in die Lage zu versetzen, die Erfindung im beanspruchten Umfang herzustellen und zu benutzen, und er wird im Kontext der besonderen Ausführungsformen bereitgestellt, deren entsprechende Variationen für den Fachmann leicht zu erkennen sind (z. B. können einige der offenbarten Ausführungsformen in Kombination miteinander benutzt werden). Es versteht sich außerdem, dass einige der in dieser Beschreibung dargelegten Arbeitsvorgänge in anderer Reihenfolge durchgeführt werden können. Der Schutzumfang der Erfindung sollte daher im Hinblick auf die beigefügten Ansprüche zusammen mit dem vollen Umfang gleichwertiger Formen bestimmt werden, die von diesen Ansprüchen abgedeckt werden. In der englischen Originalfassung der den beigefügten Ansprüche werden die Begriffe „including” und „in which” als allgemeinsprachliche Pendants zu den entsprechenden Begriffen „comprising” und „wherein” verwendet.
