DE60300097T2

DE60300097T2 - Verfahren zur Schärfung eines Digitalbildes ohne Verstärkungsrauschen

Info

Publication number: DE60300097T2
Application number: DE60300097T
Authority: DE
Inventors: Andrew C. Rochester Gallagher
Original assignee: Eastman Kodak Co
Current assignee: Eastman Kodak Co
Priority date: 2002-02-27
Filing date: 2003-02-17
Publication date: 2005-10-27
Anticipated expiration: 2023-02-18
Also published as: EP1347415A1; JP2003256831A; US6891977B2; EP1347415B1; DE60300097D1; US20030161544A1; JP4456819B2

Description

Die vorliegende Erfindung betrifft allgemein den Bereich der digitalen Bildverarbeitung und insbesondere ein Verfahren zur Bildschärfung.
Bei der Verarbeitung eines Digitalbildes ist es üblich, das Bild zu schärfen und feine Details mit dem Schärfungsalgorithmus zu verbessern. Typischerweise erfolgt die Schärfung mit einem Faltungsverfahren (siehe beispielsweise A. K. Jain, Fundamentals of Digital Image Processing, Prentice-Hall: 1989, Seite 249–251). Das Verfahren der Unschärfemaskierung ist ein Beispiel eines faltungsbasierenden Schärfungsverfahrens. Beispielsweise lässt sich das Schärfen eines Bildes mittels Unschärfemaskierung durch folgende Gleichung beschreiben: s(x, y) = i(x, y)**b(x, y) + βf(i(x, y) – i(x, y)**b(x, y)) (0)wobei:
s(x, y) = Ausgabebild mit verbesserter Schärfe
i(x, y) = Originaleingabebild
b(x, y) = Tiefpassfilter
β = Unschärfemasken-Skalierungsfaktor
f( ) = Randzonenfunktion
** bezeichnet eine zweidimensionale Faltung
(x, y) bezeichnet die x. Reihe und die y. Spalte eines Bildes
Typischerweise wird ein Unschärfebild durch Faltung des Bildes mit einem Tiefpassfilter erzeugt (d. h. das unscharfe Bild wird durch i(x, y)**b(x, y) erzeugt). Als nächstes werden die Hochpass-, oder die Randzonendaten erzeugt, indem das unscharfe Bild von dem Originalbild subtrahiert wird (d. h. die Tiefpassdaten werden durch i(x, y) – i(x, y)**b(x, y) ermittelt). Die Hochpassdaten werden dann durch einen Skalierungsfaktor β oder durch eine Randzonen funktion f( ) oder durch beide Operationen modifiziert. Schließlich werden die modifizierten Hochpassdaten entweder mit dem Originalbild oder mit dem unscharfen Bild summiert, um ein schärferes Bild zu erhalten.
Eine ähnliche Schärfungswirkung lässt sich durch Modifikation des Bildes in der Frequenzdomäne erzielen (beispielsweise der FFT-Domäne), wie in der Technik der digitalen Signalverarbeitung bekannt ist.
Es ist gelegentlich wünschenswert, die verschiedenen Pixelbereiche des Bildes um unterschiedliche Beträge zu schärfen. Beispielsweise wurde vorgeschlagen, die Pixel, die menschliche Gesichter darstellen, weniger stark zu schärfen als die Pixel, die ein Gebäude darstellen. Beispielsweise beschreiben Gouch et al. in US-A-5,682,443 vom 28. Oktober 1997 die Modifikation der Verstärkung der Unschärfemaske anhand der Farbe eines Pixels (und anhand der Farbe der Umgebung). Ein Problem bei diesem Ansatz besteht darin, dass die Bildschärfung durch unerwünschte Rauschverbesserung begleitet wird.
Alternativ dazu beschreiben Mahmoodi et al. in US-A-4,571,635 vom 18. Februar 1996 ein Verfahren zur Ableitung eines Anhebungskoeffizienten β, der zur Skalierung der Hochfrequenzinformationen des Digitalbildes anhand der Standardabweichung der Bildpixel innerhalb eines Nachbarschaftsbereichs verwendet wird. In US-A-5,081,692 beschreiben Kwon et al., dass der Anhebungskoeffizient β auf einer mittleren, gewichteten Varianzberechnung beruht. In US-A-4,761,819 vom 2. August 1988 beschreiben Denison et al. ein Verfahren, bei dem die Verstärkung einer Unschärfemaskierung von einer lokalen Varianzberechnung und einer Rauschstatistik abhängt.
Zwar führen diese Verfahren eine Schärfung des Bildes durch, während sie gleichzeitig die Rauschverbesserung minimieren, aber sie variieren den Schärfungsbetrag nicht anhand der Farbe, wie es US-A-5,682,443 beschreibt. Es ist nicht klar, wie man den Anhebungskoeffizienten β eines linearen Schärfungsfilters anhand der Rauscheigenschaften und der Nicht-Rauscheigenschaften (beispielsweise der Farbe) des Bildes modifizieren würde. Im Allgemeinen unterziehen Schärfungsverfahren, die Rauschinformationen nutzen, verrauschte Bildbereiche einer weniger starken Schärfung. Diese Bildbereiche können möglicherweise aber aufgrund anderer Überlegungen eine sehr geringe Schärfung erfahren haben.
In der europäischen Patentanmeldung 1174824A2 vom 23. Januar 2002 beschreiben Gindele und Gallagher ein Rauschreduktionsfilter, das eine variable Rauschunterdrückung anhand der Farbe der Pixel vornimmt. In diesem Filter werden die Faltungskoeffizienten für jedes Pixel dynamisch abgeleitet und hängen von den Werten des Pixels und der benachbarten Pixel ab (die in die Faltungsoperation einbezogen werden). Weil die Faltungskoeffizienten dynamisch für jedes Pixel abgeleitet werden, hängen die Filterkoeffizienten von den Pixelwerten in einer lokalen Nachbarschaft ab. Ein derartiges Filter wird nicht typischerweise für Bildschärfungsoperationen verwendet.
In US-A-5 325 217 beschreiben Nagler et al. die Beeinflussung der Schärfung durch Annahmen für Rausch- und Kantenwerte.
Es besteht daher Bedarf nach einem verbesserten Bildschärfungsverfahren, das die Menge der Schärfung auf dem Materialinhalt des Bildes und der Rauschmenge in dem Bild abhängig macht.
Diese Aufgabe wird mit der in den anhängenden Ansprüchen dargelegten Erfindung gelöst.
Die vorliegende Erfindung hat den Vorteil, dass sie schärfere Bilder mit weniger Artefakten erzeugt.
Die Erfindung wird im folgenden anhand in der Zeichnung dargestellter Ausführungsbeispiele näher erläutert.
Es zeigen
1 ein Blockdiagramm zur Darstellung einer Technik zur Schärfung eines Bildes gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
2 ein Blockdiagramm des in 1 gezeigten Rauschrastergenerators.
3 eine Kurve zur Darstellung einer exemplarischen Rauschtabelle;
4 eine Kurve einer Transformationstabelle, die zur Umwandlung aus dem SNR(m, n) Bild in das Rauschpixel-Wahrscheinlichkeitsraster N(m, n) herangezogen wird; und
5 ein Blockdiagramm des in 1 gezeigten Verstärkungsrastergenerators.
Im folgenden wird ein Ausführungsbeispiel der vorliegenden Erfindung als Verfahren beschrieben, das als Softwareprogramm implementiert ist. Fachleuten ist selbstverständlich klar, dass sich ein Äquivalent einer derartigen Software auch in Form von Hardware konstruieren lässt. Da Bildoptimierungsalgorithmen und -verfahren bekannt sind, bezieht sich die vorliegende Beschreibung insbesondere auf Elemente, die Teil des erfindungsgemäßen Verfahrens und Systems sind oder direkt damit zusammenwirken. Andere Elemente sowie Hardware und/oder Software zur Erstellung und sonstigen Verarbeitung der Bildsignale, die hier nicht konkret gezeigt oder beschrieben werden, sind aus den in der Technik bekannten Materialien, Komponenten und Elementen auswählbar. Bezogen auf das nachfolgend beschriebene, erfindungsgemäße System und Verfahren ist die hier nicht explizit gezeigte, beschriebene oder vorgesehene Software, die zur Implementierung der vorliegenden Erfindung verwendbar ist, von herkömmlicher Art, wie in der einschlägigen Technik üblich.
Im vorliegenden Zusammenhang kann das Computerprogramm auf einem computerlesbaren Speichermedium gespeichert sein, beispielsweise auf magnetischen Speichermedien, wie Magnetplatte (z. B. Diskette oder Festplatte) oder Magnetband, optische Speichermedien, wie eine optische Platte, ein optisches Band oder ein maschinenlesbarer Code, Halbleiterspeichervorrichtungen, wie RAM (Random Access Memory) oder ROM (Read Only Memory) oder jede andere physische Vorrichtung oder jedes andere Medium, das zur Speicherung eines Computerprogramms geeignet ist.
Ein Digitalbild umfasst typischerweise ein oder mehr zweidimensionale Zahlenarrays. Beispielsweise kann ein farbiges Digitalbild drei Arrays umfassen, die rote, grüne bzw. blaue Pixelwerte darstellen, oder ein monochromes Bild kann einen Array aus Pixelwerten umfassen, der den Lichtstärken entspricht. In Bezug auf die Nomenklatur umfasst der Wert eines Pixels eines Digitalbildes, welches an den Koordinaten (x, y) angeordnet ist, die sich auf Reihe x und Spalte y eines Digitalbildes beziehen, eine Dreiergruppe von Werten [r(x, y), g(x, y), b(x, y)], die sich jeweils auf die Werte des roten, grünen und blauen Digitalbildkanals an Stelle (x, y) beziehen. Diesbezüglich kann ein Digitalbild so betrachtet werden, dass es eine bestimmte Anzahl von Digitalbildkanälen umfasst. Im Falle eines Digitalbildes, das rote, grüne und blaue, zweidimensionale Arrays umfasst, besteht das Bild aus drei Kanälen, nämlich einem roten, grünen und blauen Spektralkanal.
Im Allgemeinen beschreibt die vorliegende Erfindung ein Verfahren zum Schärfen eines Bildes, wobei der Schärfungsbetrag (auf einen lokalen Bereich des Bildes angewandt) von der Menge des Rauschens abhängt, das an dem lokalen Bereich vorhanden ist, sowie von den Schärfungszielmengen, die sich auf semantische Informationen in dem lokalen Bereich beziehen. In der vorliegenden Beschreibung bezieht sich der Begriff "semantisch" darauf, welche Bedeutung ein Beobachter einem Bereich zuordnen würde. Beispielsweise kann ein semantischer Inhalt eines Bereichs ein Objekt sein, wie ein menschliches Gesicht, ein Gebäude, eine Wolke oder der Himmel.
Wie in 1 gezeigt, wird ein Bild i(x, y) mit x₀ Zeilen und y₀ Spalten in einen Rauschrastergenerator 4 zur Erzeugung eines Rauschpixel-Wahrscheinlichkeitsrasters N(x, y) eingegeben. Vorzugsweise besitzt das Bild i(x, y) eine hohe Auflösung; beispielsweise hätte ein exemplarisches Bild mit hoher Auflösung x₀ = 1024 Pixelzeilen mal y₀ = 1536 Pixelspalten. Das Rauschpixel-Wahrscheinlichkeitsraster ist ein Raster, welches eine Wahrscheinlichkeit bezeichnet, dass die Intensitätsabweichungen, die um ein gegebenes Pixel herum auftreten, auf das Rauschen in dem Bebilderungssystem statt auf den Bildinhalt zurückgehen.
Das Rauschen in einem Bebilderungssystem ist intensitätsabhängig. Daher ist bei einem gegebenen Intensitätspegel die rauschbedingte, erwartete Modulation bekannt. Wenn die beobachtete Modulation größer als die erwartete Rauschmodulation ist, besteht die große Wahrscheinlichkeit, dass die Modulation auf den Bildinhalt zurückgeht. Wenn die beobachtete Modulation kleiner als die erwartete Rauschmodulation ist oder gleich dieser ist, besteht die große Wahrscheinlichkeit, dass die Modulation rauschbedingt ist. Vorzugsweise wird die Wahrscheinlichkeit als eine Möglichkeit innerhalb von 0 bis 100% ausgedrückt, dass ein Pixel ein Rauschpixel ist. Gleichmäßige Bildbereiche (z. B. klarer, blauer Himmel) erzeugen im Allgemeinen eine hohe Wahrscheinlichkeit, dass die Pixel verrauscht sind, während Pixel, die stark unruhigen Bereichen zugeordnet sind (z. B. Haar, Gras), im Allgemeinen eine niedrige Wahrscheinlichkeit oder eine Wahrscheinlichkeit von 0 erzeugen, dass die Pixel verrauscht sind.
Das Rauschpixel-Wahrscheinlichkeitsraster N(x, y) hat vorzugsweise die gleiche Größe wie das Bild i(x, y). Die Wahrscheinlichkeitswerte des Rauschpixel-Wahrscheinlichkeitsrasters werden vorzugsweise durch Betrachtung der lokalen Signalvarianz (gemessen über den Bildpixelwerten) und des erwarteten Rauschbetrags erzeugt. Beispielsweise beschreiben Dennison et al. in der zuvor erwähnten Schrift US-A-4,761,819 das Erzeugen eines Signals G(i, j), das von der lokalen Varianz V(i, j) und dem erwarteten Rauschbetrag V(noise) abhängt. Auf diese Weise bezeichnet das Rauschpixel-Wahrscheinlichkeitsraster Pixel oder Bereiche, die eine hohe Wahrscheinlichkeit aufweisen, dass sie einen niedrigen Signal-Rauschabstand haben (hohe Wahrscheinlichkeit, ein verrauschtes Pixel zu sein). Ein Signal, wie G(i, j), könnte leicht mithilfe einer Transformationstabelle oder einer Linearfunktion in ein Rauschpixel-Wahrscheinlichkeitsraster umgewandelt werden, wie in der Technik der Bildverarbeitung bekannt ist. Beispielsweise könnte der Wert des Rauschpixel-Wahrscheinlichkeitsrasters 0 sein, wenn G(i, j) > t₁, und 100, wenn G(i, j) < t₂, und Werte zwischen 0 und 100 annehmen, wenn G(i, j) zwischen t₁ und t₂ beträgt. Beispielsweise ist t₁ = 5 und t₂ = 1/2. Alternativ hierzu beschreiben Gallagher et al. in der am 27. Juni 2001 veröffentlichten europäischen Patentanmeldung Nr. 1111906A2 ein Verfahren zum Erzeugen eines erwarteten Rauschwerts, das auf der Pixelintensität beruht, die mit einer Transformationstabelle zur Erzeugung eines Rauschpixel-Wahrscheinlichkeitsrasters verwendbar ist.
Das bevorzugte Verfahren zur Erzeugung des Rauschpixel-Wahrscheinlichkeitsrasters mithilfe des Rauschrastergenerators 4 wird in 2 gezeigt. Das Bild i(x, y) wird an einen Bildunterabtaster 22 übergeben, der eine niedrig aufgelöste Version des Bildes i(m, n) erzeugt. Das niedrig aufgelöste Bild i(m, n) enthält m₀ Zeilen und n₀ Spalten an Pixeln, wobei m₀ = x₀/2^R, n₀ = y₀/2^R und R für den Faktor der Unterabtastung des Bildes steht, der die Anzahl der nötigen Unterabtastungen um den Faktor 2 beziffert. Das niedrig aufgelöste Bild i(m, n) wird üblicherweise durch eine Kombination aus Filterung und Unterabtastung um einen Faktor R erzeugt, wie in der Technik zur Reduzierung der Treppeneffekte (Aliasing) bekannt ist. Das Erzeugen des Rauschpixel-Wahrscheinlichkeitsrasters aus einem niedrig aufgelösten Bild spart erheblich Zeit ein (im Vergleich mit der Erzeugung des Rauschpixel-Wahrscheinlichkeitsrasters aus dem Bild i(x, y)), da es weniger Pixel gibt, für die die Berechnungen durchgeführt werden müssen. Vorzugsweise ist R = 2, was ca. 94% der Verarbeitungszeit spart, die zur Durchführung der gleichen Operationen an dem Bild i(x, y) erforderlich ist.
Das niedrig aufgelöste Bild i(m, n) wird in den SNR-Kalkulator 24 zur Berechnung des lokalen Signal-Rauschabstands SNR(m, n) des an jedem Ort zu schärfenden Bildkanals eingegeben. Der lokale Signal-Rauschabstand wird durch einen Einzelwert an jedem Ort (m, n) dargestellt, und zwar unabhängig von der Anzahl der Farbkanäle des Bildes i(x, y). Wie nachfolgend detaillierter beschrieben, wird die bevorzugte Schärfung auf einen einzelnen Kanal des Bildes angewandt, nämlich den Luminanzkanal l(x, y). Der Luminanzkanal wird durch lineare Kombination aller Farbkanäle des Bildes erzeugt. Hierzu ein Beispiel:
wobei:
C für die Anzahl an Bildkanälen steht,
c_n für den n-ten Farbkanal des Bildes i(x, y) steht, und
a_n für den Koeffizienten-Gewichtungsfaktor des n-ten Farbkanals steht. Die Summe aller Koeffizienten-Gewichtungsfaktoren ist vorzugsweise 1,0. Im Falle eines Bildes i(x, y) mit rotem, grünem und blauem Kanal sind die bevorzugten Werte für die roten, grünen und blauen Koeffizienten-Gewichtungsfaktoren alle gleich 1/3.
Um den lokalen Signal-Rauschabstand an jedem Pixelort zu berechnen, muss der SNR-Kalkulator 24 die erwartete Rauschgröße an jedem Pixelort ermitteln. Bei den Verfahren nach dem Stand der Technik wird die erwartete Rauschgröße nur von dem zu schärfenden Kanal berechnet, d. h. dem Luminanzkanal. Es sei jedoch darauf hingewiesen, dass viele unterschiedliche Pixelwertkombinationen aus den verschiedenen Kanälen durch Gleichung 1 identische Luminanzkanalwerte bilden können. Daher ist es sehr gut möglich, dass Bereiche eines Bildes identische mittlere Luminanzwerte aufweisen, jedoch recht verschiedene erwartete Rauschwerte.
Der SNR-Kalkulator 24 ermittelt den lokalen Signal-Rauschabstand des Luminanzkanals mit folgender Gleichung:
wobei:
σ_n(m, n) die lokale Standardabweichung der Pixel in dem Luminanzkanal ist, vorzugsweise über ein an Ort (m, n) mittig angeordnetes Fenster von 5 × 5 gemessen.
σ_k(i(m, n)) ist die erwartete Rausch-Standardabweichung der Pixel in dem zu schärfenden Bildkanal (vorzugsweise der Luminanzkanal von i(m, n)), und zwar basierend auf den erwarteten Rauschwerten in jedem Farbkanal von i(m, n).
sign[q] ist –1 wenn q < 0, sonst 1.
Der Wert von σ_k(i(m, n)) ist eine Funktion mehrerer Faktoren, u. a. den Koeffizienten-Gewichtungsfaktoren, die zur Erzeugung des Luminanzkanals verwendet werden, einer Rauschtabelle, dem Faktor der Unterabtastung R und den Pixelwerten des unterabgetasteten Bildes i(m, n).
Der Wert von σ_k(i(m, n)) ist gegeben als:
wobei:
R für die Zahl der von dem Bildunterabtaster 22 verwendeten Unterabtastungspegel steht. Vorzugsweise ist R = 2.
R_f ist das Verhältnis, um welches die Standardabweichung an jeder Auflösungsstufe reduziert wird. Im Falle unkorrelierten Rauschens ist R_f = 2. Für reale Filmdaten ist R_f = 1,7 für kleine Werte von R (R <= 3) ungefähr richtig.
[q] ist die Standardabweichung des Rauschens bei einer Intensität q für den Bildfarbkanal c_n. Die Rauschtabelle, wie sie beispielsweise in der am 27. Dezember 2000 veröffentlichten europäischen Patentanmeldung Nr. 1063611A2 von Gallagher et al. beschrieben wird, stellt diese Beziehung dar. 3 zeigt eine Kurve einer Rauschtabelle für Bilder mit roten, grünen und blauen Farbkanälen für ein Digitalbild, das durch Scannen eines farbfotografischen Negativs erzeugt wurde. Es sei darauf hingewiesen, dass die Rauschtabelle die Beziehung zwischen der Intensität und der erwarteten Rauschgröße für jeden Farbkanal bei der Auflösung des Bildes i(x, y) darstellt. Der Begriff
in Gleichung (3) ist im Wesentlichen ein Korrekturfaktor R_f zur Einstellung der Rauschtabellen bei voller Auflösung auf die Auflösung des Bildes i(m, n).
Der SNR-Kalkulator 24 gibt eine Tabelle SNR(m, n) aus, die den Signal-Rauschabstand an jedem Pixelort von i(m, n) bezeichnet. Diese Tabelle wird in den Rauschpixelklassifizierer 26 zur Umwandlung des Signals in ein Rauschpixel-Wahrscheinlichkeitsraster eingegeben. Dies erfolgt mittels einer Transformationstabelle oder linearer Funktionen, wie in der Technik der Bildverarbeitung bekannt. Beispielsweise könnte der Wert des Rauschpixel-Wahrscheinlichkeitsrasters 0 sein, wenn SNR(m, n) > t₃, und 100, wenn SNR(m, n) < t₄, und Werte zwischen 0 und 100 annehmen, wenn G(i j) zwischen t₃ und t₄ beträgt. Beispielsweise ist t₃ = 1,3 und t₄ = 0,3, wie in 4. gezeigt. Das Rauschpixel-Wahrscheinlichkeitsraster wird dann mithilfe eines Interpolators 28 auf die Auflösung des Bildes i(x, y) interpoliert.
Fachleute werden wissen, dass bestimmte Abwandlungen des Rauschrastergenerators 24 relativ einfach durchführbar sind, die nur geringe Auswirkungen auf die Darstellung des Rauschpixel-Wahrscheinlichkeitsrasters haben. Anstatt beispielsweise die lokale Varianz des Luminanzkanals in Gleichung 2 zu berechnen, lässt sich auch die lokale Varianz des Hochpassanteils des Luminanzkanals berechnen. Der erwartete Rauschpegel im Hochpassanteil des Luminanzkanals steht in linearer Beziehung zu der in Gleichung 3 berechneten Größe. Die Beziehung lässt sich aus dem Filter ableiten, das zur Erzeugung des Hochpassanteils des Luminanz kanals verwendet wird, und zwar unter Verwendung bekannter Prinzipien der Funktionen stochastischer oder zufälliger Variablen.
Wie in 1 dargestellt, wird das Bild i(x, y) an den Verstärkungsrastergenerator 2 übergeben. Zweck des Verstärkungsrastergenerators 2 ist die Erzeugung eines Rasters, das die Verstärkung der Schärfungsoperation pixelweise oder bereichsweise anhand semantischer Markierungen oder Label bezeichnet, die von der Mustererkennung abgeleitet worden sind. Das Verstärkungsraster ist ein Steuersignal, das zur Bestimmung der pixelweise anzuwendenden Schärfungsgröße herangezogen wird. Luo et al. beschreiben in EP-A-1 318 475 ein Verfahren, nach dem die Verstärkung in einer Unschärfemaske anhand des semantischen Inhalts eines Pixelbereichs abgewandelt wird. Das Wahrscheinlichkeitsraster M(m, n) nach Luo bezeichnet die Wahrscheinlichkeit, dass bestimmte Pixel bestimmte Zielmotivs darstellen, wie beispielsweise Haut oder Himmel, für die eine gewünschte Schärfungsgröße bestimmt worden ist.
Das Wahrscheinlichkeitsraster wird durch einen Motivdetektor erzeugt, der die Wahrscheinlichkeit ermittelt, mit der ein Pixel oder ein Bereich in einem Bild ein gegebenes Zielmaterial darstellt. Die Wahrscheinlichkeit ist vorzugsweise als Konfidenz dargestellt. Beispielsweise stellt jeder Pixelwert M(m, n), der gleich 100*P(pixel (m, n) des niedrig aufgelösten Bildes ist, das Zielmaterial dar, während P(A) die Konfidenz von Ereignis A darstellt. Alternativ dazu kann jeder Pixelwert M(m, n) eine binäre Klassifizierung darstellen, die die Wahrscheinlichkeit bezeichnet. Ein Pixelwert von 1 in dem Wahrscheinlichkeitsraster kann die Wahrscheinlichkeit darstellen, dass das Pixel das Zielmotiv darstellt, und ein Pixelwert von 0 kann die Wahrscheinlichkeit darstellen, dass das Pixel nicht das Zielmotiv darstellt. In dem bevorzugten Ausführungsbeispiel ist das Zielmotiv menschliche Haut. Beispielsweise ist es in Bezug auf die Bildqualität vorteilhaft, die menschliche Haut weniger stark zu schärfen als andere Motive. Das Steuersignal β(x, y) bezeichnet die Verstärkung einer Unschärfemaske für jedes Pixel eines Eingabebildes.
Wie in 5 gezeigt, wird das Steuersignal β(x, y) durch Anlegen eines oder mehrerer Motivdetektoren 32₁ , ..., 32_I an das Bild erzeugt (oder an eine niedrig aufgelöste Version des Bildes), um Motivwahrscheinlichkeitsraster zu erzeugen, wobei der Wahrscheinlichkeitsrasteranalysator 34 die Wahrscheinlichkeitsraster mit Zielschärfewerten für jedes Motiv kombiniert, um das Wahrscheinlichkeitsraster-Steuersignal β(x, y) zu erzeugen. Der Wert des Steuersignals β(x, y) an einem bestimmten Ort (x, y) steht in Beziehung zu dem Wert verschiedener Wahrscheinlichkeitsraster M(x, y) an den entsprechenden Bildorten. Angenommen, die Größe (in Zeilen und Spalten) des Wahrscheinlichkeitsrasters ist mit der Größe des Bildes identisch, so ergibt sich die bevorzugte Beziehung zwischen dem Wahrscheinlichkeitsraster-Steuersignal β(x, y) und den Wahrscheinlichkeitsrastern M(x, y) durch die Gleichung:
wobei i den Index des Motivdetektors darstellt. Beispielsweise kann M₁(x, y) ein Wahrscheinlichkeitsraster sein, das die Wahrscheinlichkeit von menschlicher Haut darstellt, M₂(x, y) kann ein Wahrscheinlichkeitsraster sein, das die Wahrscheinlichkeit von blauem Himmel darstellt, und M₃(x, y) kann ein Wahrscheinlichkeitsraster sein, dass die Wahrscheinlichkeit von Gras usw. darstellt.
T_i stellt das Steuersignalziel für ein Pixel dar, das eine hohe Wahrscheinlichkeit in dem zugehörigen Zielmotiv aufweist. T_i bezeichnet die Zielschärfungswerte. Anhand dieses Beispiels ist T₁ = 0,5 für menschliche Haut, T₂ = 1,0 für blauen Himmel, T₃ = 3,0 für grünes Gras usw.
T₀ stellt das Steuersignalziel für ein Pixel dar, das von allen Motivdetektoren im Allgemeinen als Hintergrund betrachtet wird ("reiner" Hintergrund). Vorzugsweise ist T₀ = 2,75.
Wie in 1 gezeigt, ist das von dem Verstärkungsrastergenerator 2 erzeugte Verstärkungsraster β(x, y) ein Steuersignal, das die Größe der an bestimmte Bereiche oder Pixel des Digitalbildes i(x, y) anzulegenden Schärfe bezeichnet. In dem bevorzugten Ausführungsbeispiel ist das Verstärkungsraster β(x, y) mit Werten besetzt, die den Verstärkungsparameter eines Unschärfemasken-Schärfungsalgorithmus darstellen. Die Werte des Verstärkungsrasters können pixelweise oder regionsweise je nach den Kriterien variieren, mit denen das Verstärkungsraster von dem Verstärkungsrastergenerator 2 erzeugt worden ist. Typischerweise variieren die Werte des Verstärkungsrasters β(x, y) zwischen 0,5 für Pixel mit hoher Wahrscheinlichkeit, dass diese Haut darstellen, und 3,0 für Pixel mit hoher Wahrscheinlichkeit, dass diese Himmel darstellen, und 2,75 für Hintergrundpixel. Der Verstärkungsrastergenerator 2 berücksichtigt bei der Erzeugung des Verstärkungsrasters nicht den Rauschanteil des Bildes.
Der Rauschrastergenerator 4 und der Verstärkungsrastergenerator 2 können mit einer niedrig aufgelösten Version des Bildes i(x, y) arbeiten, um den Berechnungsaufwand zu senken.
Das Rauschraster N(x, y) aus dem Rauschrastergenerator 4 und das Verstärkungsraster β(x, y) aus dem Verstärkungsrastergenerator 2 werden in den Verstärkungsrastermodifikator 6 eingegeben. Der Verstärkungsrastermodifikator 6 hat die Aufgabe, das Verstärkungsraster derart zu modifizieren, dass die Verstärkung einen vorbestimmten Grenzwert in Bereichen nicht überschreitet, in denen das Rauschpixel-Wahrscheinlichkeitsraster eine hohe Wahrscheinlichkeit bezeichnet, dass das Pixel oder der Bereich verrauscht ist. Zu diesem Zweck gibt der Verstärkungsrastermodifikator auch einen Rauschschärfungsgrenzwert N_sl ein, bei dem es sich um einen Parameter handelt, der einen Maximalwert der Schärfung von Rauschpixeln bezeichnet. In dem vorliegenden Ausführungsbeispiel ist der Rauschschärfungsgrenzwert N_sl die maximale Verstärkung einer Unschärfemaske für die Pixel, die eine hohe Wahrscheinlichkeit in dem Rauschpixel-Wahrscheinlichkeitsraster N(x, y) aufweisen. Vorzugsweise ist N_sl-1,3. Der Rauschschärfungsgrenzwert ist nicht der gewünschte Schärfungswert für alle Rauschpixel, weil einige Pixel, die in dem Rauschpixel-Wahrscheinlichkeitsraster als Rauschpixel bezeichnet sind, bereits Schärfungswerte in dem Verstärkungsraster aufweisen, die niedriger als der Rauschschärfungsgrenzwert sind. Der Rauschschärfungsgrenzwert betrifft nur die Verstärkungswerte von Pixeln, wenn die beiden folgenden Bedingungen erfüllt sind:

A. Der Verstärkungswert der Pixel in dem Verstärkungsraster β(x, y) ist größer als der Rauschschärfungsgrenzwert N_sl.
B. Das Pixel hat eine Wahrscheinlichkeit von ungleich null, dass es ein Rauschpixel ist.

Das endgültige Verstärkungsraster β_n(x, y), das das Bildrauschen berücksichtigt, wird von dem Verstärkungsrastermodifikator 6 ausgegeben. Das endgültige Verstärkungsraster wird mit folgender Gleichung erzeugt, die die in A. und B. zuvor dargelegten Anforderungen erfüllt: βn(x, y) = min[β(x, y), Nsl] + N(x, y)·(max[β(x, y), Nsl] – Nsl) (5)wobei
min(β(x, y), N_sl) ein Bild mit der gleichen Anzahl von Zeilen und Spalten wie β(x, y) ist. Das Bild ist identisch mit β(x, y) für alle Pixel, die größer als N_sl sind, und ist ansonsten gleich N_sl.
max(β(x, y), N_sl) ein Bild mit der gleichen Anzahl von Zeilen und Spalten wie β(x, y) ist. Das Bild ist identisch mit β(x, y) für alle Pixel, die kleiner als N_sl sind, und ist ansonsten gleich N_sl.
Das durch den Verstärkungsrastermodifikator 6 bestimmte endgültige Verstärkungsraster wird in den Bildschärfer 10 eingegeben. Während in dem vorliegenden Ausführungsbeispiel der Erfindung das endgültige Verstärkungsraster β_n(x, y) der Skalierungsfaktor einer Unschärfemaske ist, ist die Funktion des Verstärkungsrastermodifikators 6 nicht auf die Verwendung eines Skalierungsfaktors beschränkt, so dass auch andere schärferelevante Ermittlungen verwendbar sind. Beispielsweise könnte das in der Schärfungsfaltung verwendete Filter, die durch den Bildschärfer 10 durchgeführt wird, mithilfe des Verstärkungsrastermodifikators 6 anhand einer Analyse des Wahrscheinlichkeitsrasters bestimmt werden.
Das Bild i(x, y) und das endgültige Verstärkungsraster β_n(x, y) werden an den Bildschärfer zur Schärfung des Bildes gemäß dem endgültigen Verstärkungsraster β_n(x, y) übergeben.
Der Bildschärfer 10 gibt die Schärfungsparameter ein und legt einen Schärfungsalgorithmus unter Verwendung der Schärfungsparameter an das Bild an, um ein verbessertes Ausgabebild mit verbesserter Schärfe und ohne störende Schärfungsartefakte zu erzeugen. In dem bevorzugten Ausführungsbeispiel legt der Bildschärfer 10 einen Unschärfemaskierungsalgorithmus an das Bild unter Verwendung des endgültigen Verstärkungsrasters β_n(x, y) an, um das verbesserte Bild zu erzeugen, wie in der folgenden Gleichung beschrieben. Beispielsweise lässt sich das Schärfen eines Bildes mittels Unschärfemaskierung durch folgende Gleichung beschreiben: s(x, y) = i(x, y)**b(m, n) + βn(x, y)f(i(x, y) – i(x, y)**b(m, n)) (6)wobei
s(x, y) = Ausgabebild mit verbesserter Schärfe
i(x, y) = Originaleingabebild
b(m, n) = Tiefpassfaltungsfilter (vorzugsweise ein Gaussches Tiefpassfilter mit einer Größe von 1 Pixel je Standardabweichung). Die Filterkoeffizienten eines 5 × 5-Filters sind wie folgt:
[0,003 0,0133 0,0219 0,0133 0,003 0,0133 0,0596 0,0983 0,0596 0,0133 0,0219 0,0983 0,162 0,0983 0,0219 0,0133 0,0596 0,0983 0,0596 0,0133 0,003 0,0133 0,0219 0,0133 0,003])
β_n(x, y) = endgültiges Verstärkungsraster
f(x, y) = Randzonenfunktion
** bezeichnet eine zweidimensionale Faltung
(x, y) bezeichnet die x-te Reihe und die y-te Spalte eines Bildes
(m, n) bezeichnet die m-te Zeile und n-te Spalte des Faltungsfilters
Fachleute werden wissen, dass es mehrere Verfahren gibt, mit denen eine Unschärfemaskierung (wie durch Gleichung (1) bereitgestellt) an ein Farbbild mit mehreren Kanälen angelegt werden kann. Beispielsweise kann der Unschärfemaskierungsprozess an jeden Kanal des Farbbildes angelegt werden. Vorzugsweise wird der Unschärfemaskierungsprozess in folgender Weise angelegt.
Vorausgesetzt, das Eingabebild ist ein Farbbild, das aus roten, grünen und blauen Farbkanälen besteht, wird eine Matrix zunächst an das Bild angelegt, um einen Luminanzkanal und zwei oder mehr Farbdifferenzkanäle zu erzeugen. Als nächstes wird der Unschärfemaskierungsprozess an den Luminanzkanal angelegt. Abschließend wird eine inverse Matrix an die Lumi nanz- und Farbdifferenzkanäle angelegt, um ein verbessertes Farbbild mit roten, grünen und blauen Kanälen zu erzeugen.
Alternativ hierzu kann der Unschärfemaskierungsprozess an nur einen einzelnen Bildkanal angelegt werden (z. B. den grünen Kanal), und die modifizierten Hochpassdaten können mit jedem Farbkanal summiert werden, um ein verbessertes Farbbild zu erzeugen. Diese und andere ähnliche Modifikationen und Verbesserungen des Unschärfemaskierungsprozesses sind einschlägigen Fachleuten verständlich. Da die Einzelheiten der Verwendung nicht grundsätzlich mit dem Auswahlverfahren der Schärfungsparameter für die Schärfung mit variabler Verstärkung in Zusammenhang stehen, ist deren konkrete Anwendung in keiner Weise als einschränkend für den Umfang und Geltungsbereich der Erfindung zu verstehen.
Fachleuten wird zudem klar sein, dass Gleichung (6) und die vorliegende Erfindung zwar im Allgemeinen beschreiben, dass die Schärfung des Bildes durch Anlegen einer Unschärfemaskierung durchgeführt wird, aber dies ist nicht notwendigerweise der Fall.
Vorausgesetzt, die Randzonenfunktion f( ) aus Gleichung (6) ist identisch, kann der Unschärfemaskierungsprozess als ein einzelnes Filter rekonfiguriert werden, das mittels Faltung an das Bild angelegt wird und Ergebnisse erzeugt, die mit der Unschärfemaskierung identisch sind. Beispielsweise sei angenommen, dass die Filterkoeffizienten von b(x, y) wie folgt gegeben sind:
Die Anwendung eines Filters c(x, y) mit Faltungskoeffizienten von
erzeugt identische Ergebnisse im Vergleich mit der Verwendung von Filter b(x, y) in der Unschärfemaskierung von Gleichung (1). Derartige Modifikationen des bevorzugten Ausführungsbeispiels durch eine Gruppierung von Operationen im Bildschärfer 10, wie sie von Verfahren in der Algebra und in der digitalen Signalverarbeitung bekannt sind, sind einschlägigen Fachleuten klar und fallen in den Umfang und Geltungsbereich der Erfindung. Es sei darauf hingewiesen, dass in jedem Fall die Filterkoeffizienten unabhängig von den Pixelwerten um Ort (x, y) sind.

Claims

Verfahren zum Erzeugen eines Bildpixel enthaltenden scharfen Digitalbildes gemäß dem wesentlichen semantischen Inhalt des Digitalbildes mit folgenden Schritten: a) Erzeugen eines Wahrscheinlichkeitsrasters des Gegenstands, das räumlich den Bildpixeln entspricht und Wahrscheinlichkeitswerte aufweist, die die Wahrscheinlichkeit bezeichnen, dass die Bildpixel ein bestimmtes, in dem Bild gezeigtes Zielmaterial darstellen; b) Erzeugen eines verrauschten Pixel-Wahrscheinlichkeitsrasters, das räumlich den Bildpixeln entspricht und Wahrscheinlichkeitswerte aufweist, die die Wahrscheinlichkeit bezeichnen, dass die Modulation um die Pixel auf Systemrauschen zurückgeht; c) Erzeugen eines Verstärkungsrasters aus dem Wahrscheinlichkeitsraster des Gegenstands und dem verrauschten Pixel-Wahrscheinlichkeitsraster, wobei das Verstärkungsraster Verstärkungswerte aufweist, die das Maß der für die Bildpixel anzuwendenden Schärfung bezeichnen; und d) Verwenden des Wahrscheinlichkeitsrasters zum Erzeugen des scharfen Bildes.
Verfahren nach Anspruch 1, worin der Schritt der Verwendung des Verstärkungsrasters zum Erzeugen des scharfen Bildes das Schärfen mit einer Unschärfemasken-Operation beinhaltet.
Verfahren nach Anspruch 2, worin das Verstärkungsraster Skalenfaktoren umfasst, die in der Unschärfemasken-Operation verwendet werden.
Verfahren nach Anspruch 1, worin das Verstärkungsraster derart modifizierbar ist, dass die Verstärkungswerte einen vorbestimmten Grenzwert in Bereichen nicht überschreiten, in denen das verrauschte Pixel-Wahrscheinlichkeitsraster die Wahrscheinlichkeit bezeichnet, dass das Pixel verrauscht ist.
Verfahren nach Anspruch 4, worin der vorbestimmte Grenzwert 1,3 beträgt.
Verfahren nach Anspruch 4, worin der vorbestimmte Grenzwert nur auf die Verstärkungswerte von Pixeln angewandt wird, wenn die beiden folgenden Bedingungen erfüllt sind: 1) der Verstärkungswert des Pixels in dem Verstärkungsraster β(x, y) ist größer als die Rauschverschärfungsgrenze N_sl; und 2) das Pixel hat eine Wahrscheinlichkeit von ungleich null, dass das Pixel ein verrauschtes Pixel ist.