DE60203871T2

DE60203871T2 - Verfahren und system zum selektiven anwenden eines bildverbesserungsprozesses auf ein bild

Info

Publication number: DE60203871T2
Application number: DE60203871T
Authority: DE
Inventors: Jiebo Rochester Luo; Andrew C. Rochester Gallagher; Amit Rochester Singhal; Robert Terry Rochester Gray
Original assignee: Eastman Kodak Co
Current assignee: Eastman Kodak Co
Priority date: 2001-12-10
Filing date: 2002-11-28
Publication date: 2006-07-20
Anticipated expiration: 2022-11-29
Also published as: EP1318475B1; US7092573B2; DE60203871D1; EP1318475A1; US20030108250A1

Description

Die Erfindung bezieht sich allgemein auf das Gebiet der digitalen Bildverarbeitung und insbesondere auf ein Verfahren zum Bestimmen des Wertes der auf ein Bild anzuwendenden Verbesserung auf der Grundlage des Bildmotivs.
Grundsätzlich werden bei der Bildverbesserung ein oder mehr Prozesse auf ein Bild angewandt, um die Bildqualität zu verbessern, wobei zum Beispiel das Schärfen die Bilddetails verbessert, die Rauschreduktion das Bildrauschen verringert, die JPEG-Glättung (de-blocking) Blockungs-Artefakte, die etwa durch Bildkompression erzeugt wurden, beseitigt, die Szenenabgleichseinstellung Helligkeit und Farbbalance verbessert und die Tonwertskaleneinstellung Bildkontrast und Bildwiedergabe verbessert.
Während diese Verfahren tatsächlich eine Bildverbesserung bewirken, ist die Bildqualität häufig in Abhängigkeit vom Bildinhalt recht unterschiedlich. Zum Beispiel führt ein Unscharfmaskier-Algorithmus gegebenenfalls bei einem Gebäude zu einem gefälligen Bildergebnis. Bei einem menschlichen Gesicht kann jedoch derselbe Algorithmus zu einer unerwünschten übermäßigen Schärfung führen (zum Beispiel können dann Falten, kleine Makel "unschön verstärkt", d.h. sichtbarer, werden). In anderen Fällen trägt die Anwendung eines Glättungsalgorithmus dazu bei, Rauschen und/oder Blockungs-Artefakte zu beseitigen und bei einem Bild eines menschlichen Gesichts oder klarem blauem Himmel ein angenehmes Ergebnis herbeizuführen. Der gleiche, mit denselben Werten durchgeführte Vorgang kann aber zum Beispiel bei einer Wiese, einem strukturierten Gewebe oder dem Fell eines Tieres zu einer unerwünschten Detail-Reduzierung führen. Bisher muss die Schärfung bzw. die sonstige Bildverbesserung jeweils individuell durch den Bediener in einem teuren Prozess eingestellt werden. Ein weiterer Nachteil der herkömmlichen Lösung besteht darin, dass das Ausmaß der Schärfung nicht so einfach auf einzelne Regionen eines Bildes eingestellt werden kann, so dass man gezwungen ist, für die Verbesserung einen Kompromiss zwischen verschiedenen, für unterschiedliche Motive oder Objekte einer Szene nötigen Werten zu wählen.
Es gibt bereits Beispiele für die Modifizierung eines Bildverbesserungsvorgangs auf Basis der Pixelfarbe. US-A-5 682 443, erteilt am 28. Oktober 1997 an Gouch et al., beschreibt zum Beispiel ein Verfahren zum pixelweisen Modifizieren der der Unscharf-Maske zugeordneten Parameter. Das Schärfen eines Bildes mittels einer Unscharf-Maske lässt sich durch folgende Gleichung beschreiben: s(x, y) = i(x, y)**b(x, y) + βf(i(x, y) – i(x, y)**b(x, y)) (1)worin
s(x, y) = Ausgabebild mit verbesserter Schärfe
i(x, y) = Original-Eingabebild
b(x, y) = Tiefpass-Filter
β = Skalierfaktor der Unscharf-Marke
f() = Rand-Funktion
ist und
** eine zweidimensionale Faltung und
(x, y) die x^te Reihe und die y^te Spalte eines Bildes
bezeichnen.
Normalerweise erhält man ein unscharfes Bild durch die Faltung des Bildes mit einem Tiefpass-Filter (d.h. das unscharfe Bild ist gegeben durch i(x, y)**b(x, y)). Danach werden die Hochpass- oder Randdaten erzeugt, indem man das unscharfe Bild vom Originalbild subtrahiert (die Hochpass-Daten sind gegeben durch i(x, y) – i(x, y)**b(x, y)). Anschließend werden die Hochpass-Daten entweder durch einen Skalierfaktor β oder eine Randfunktion f() oder beides modifiziert. Schließlich erzeugt man durch Addition der Hochpass-Daten mit entweder dem Originalbild oder dem unscharfen Bild ein geschärftes Bild.
Nach Gouch et al. kann die Randfunktion von der Farbe des Pixels i(x, y) abhängig sein. Dieser Umstand ermöglicht es Gouch et al., das Schärfen von Pixeln, deren Farbe zum Beispiel der Hautfarbe ähnelt, speziell abzustimmen. Allerdings beruht dieses Verfahren nicht auf einer Wahrscheinlichkeit oder einer gegebenen Annahme, dass bestimmte Bildpixel menschliche Haut repräsentieren, so dass die Wahrscheinlichkeit besteht, dass Bildregionen mit einer der menschlichen Haut ähnlichen Farbe, etwa Backstein oder Holz, wahrscheinlich auch unnötigerweise geschärft werden. Das Verfahren nach Gouch et al. basiert ausschließlich auf der Farbe. Andere Merkmale wie Textur oder Gestaltsmerkmale, die nach neueren Forschungen Bildregionen effektiv klassifizieren, können nicht zugrunde gelegt werden.
In EPA 0 681 268, eingereicht am 10. April 1995, beschreibt Schwartz das Konzept der automatischen Bildkorrektur mittels Mustererkennungsverfahren, wobei das Mustererkennungs-Teilsystem das Vorhandensein und die Position farbsignifikanter Objekte erfasst. Ein weiteres ähnliches Verfahren der selektiven Verbesserung von Bilddaten wurde von Cannata et al. in USSN 09/728 365, eingereicht am 30. November 2000, offengelegt am 18. Oktober 2001, beschrieben. Bei einer Ausführungsform werden dabei räumliche Verarbeitungs-Transformationen, etwa das Schärfen, bei Pixeln mit Farbwerten innerhalb eines Bereichs, von dem man weiß, dass er durch die räumlichen Verarbeitungs-Transformationen nachteilig beeinflusst wird, reduziert oder umgangen. Bei einer anderen Ausführungsform werden Farbkorrektur-Verarbeitungstransformationen bei Pixeln mit Farbcode-Werten mit einem neutralen Farbbereich umgangen. Da das einzige der selektiven Verbesserung zugrunde liegende Merkmal die Farbe ist, ist klar, dass bei anderen Motiven mit ähnlichen Farben unerwünschte Effekte entstehen können.
Singhal A. et al. beschreiben in "A multilevel Bayesian network approach to image sensor fusion (Bildsensor-Verschmelzung mittels eines Bayesischen Mehrschicht-Netzwerks)", PROTOKOLL DER 3. INTERNATIONALEN KONFERENZ ZU INFORMATIONS-VERSCHMELZUNG (CAR. No. 00EX438), Paris, Frankreich, 10.–13. Juli 2000, S. WEB3/9-16, Bd. 2, XP010505068 2000, Sunnyvale, CA, USA, Int. Soc. Inf. Fusion, USA ISBN 2-/257-0001-9, einen Motiv-Detektor, der zwischen Ziel- und Hintergrundmotiven unterscheidet, sowie die Anwendung des Motiv-Detektors auf das Bild zur Erzeugung einer Wahrscheinlichkeits-Tabelle, die den Grad der Wahrscheinlichkeit wiedergibt, dass im Bild enthaltene Pixel zu Ziel-Motiven gehören.
Es besteht daher ein Bedürfnis, Art und Umfang der Verbesserung eines bestimmten Bildes bestimmen zu können, so dass die örtliche Qualität, zum Beispiel Schärfe und Farbe, des Bildes in Abhängigkeit von der Erfassung verschiedener Objekte oder Motive im Bild verbessert werden kann.
Erfindungsgemäß wird dieses Bedürfnis erfüllt durch die Bereitstellung eines Verfahrens zum Verarbeiten eines digitalen Farbbildes, mit den Schritten: Bereitstellen eines Motivdetektors zum Unterscheiden zwischen einem Zielmotiv und einem Hintergrundmotiv; Anwenden des Motivdetektors auf das Bild, um eine Wahrscheinlichkeitstabelle zu erstellen, die das Maß an Wahrscheinlichkeit anzeigt, dass Pixel im Bild zum Zielmotiv gehören; Bereitstellen eines Bildverbesserungsvorgangs, der auf ein Steuersignal reagiert zum Steuern des Ausmaßes an Bildverbesserung; und Anwenden eines Bildverbesserungsvorgangs auf das digitale Bild durch Verändern des Steuersignals gemäß der Wahrscheinlichkeitstabelle, um ein verbessertes Bild zu erzeugen. Zur Erzeugung des Steuersignals wird die Wahrscheinlichkeits-Tabelle analysiert. Das Steuersignal variiert entsprechend mindestens einem der folgenden Punkte:

(a) mindestens einem Skalar, von denen jeder eine globale Eigenschaft der Wahrscheinlichkeitstabelle wiedergibt; und
(b) mindestens einer weiteren Tabelle mit Pixelwerten, die jeweils von der Wahrscheinlichkeitstabelle abgeleitet werden, wobei jede Tabelle die gleichen Dimensionen hat wie die Wahrscheinlichkeitstabelle.

Die Erfindung bietet den Vorteil, dass das örtliche Ausmaß des Bildverbesserungsvorgangs an einem Bild in Abhängigkeit von dem erfassten Motiv im Bild variiert werden kann. Statt ein System so abzustimmen, dass es die Bildverbesserung auf alle Bilder oder ein ganzes gegebenes Bild konservativ anwendet aus Angst, sonst in einigen Bildern oder einigen Bildbereichen eines gegebenen Bilds durch die Bildverbesserung bewirkte Artefakte zu erzeugen, wird erfindungsgemäß das Ausmaß der Bildverbesserung auf der Grundlage des Motivs der betreffenden Region für jede Bildregion besonders bestimmt. Außerdem besteht auch die Möglichkeit, aufgrund der festen Annahme, dass in der Region ein bestimmtes Ziel-Motiv vorliegt, für bestimmte Regionen eines Bildes die Bildverbesserung überhaupt nicht durchzuführen (d.h. dass das Ausmaß der Verbesserung gleich Null ist).
Die Erfindung wird im Folgenden anhand eines in der Zeichnung dargestellten Ausführungsbeispiels näher erläutert.
In den Zeichnungen zeigen:
1 ein Flussdiagramm der Erfindung;
2 ein Beispiel eines natürlichen Bildes;
3 ein Beispiel einer durch den Motiv-Detektor 4 erzeugten Wahrscheinlichkeits-Tabelle, wobei das Motiv aus menschlicher Haut besteht, mit für die unterschiedlichen Motive des Bildes angegebenen Wahrscheinlichkeitswerten;
4 ein Beispiel einer durch den Motiv-Detektor 4 erzeugten Wahrscheinlichkeits-Tabelle, wobei das Motiv aus Himmel besteht, mit für die unterschiedlichen Motive des Bildes angegebenen Wahrscheinlichkeitswerten;
5 ein Beispiel einer durch den Motiv-Detektor 4 erzeugten Wahrscheinlichkeits-Tabelle, wobei das Motiv aus Gras besteht, mit für die unterschiedlichen Motive des Bildes angegebenen Wahrscheinlichkeitswerten;
6 ein Beispiel einer durch den Motiv-Detektor 4 erzeugten Wahrscheinlichkeits-Tabelle, wobei das Motiv aus einer Wolke besteht, mit für die unterschiedlichen Motive des Bildes angegebenen Wahrscheinlichkeitswerten;
7 ein Beispiel einer durch den Motiv-Detektor 4 erzeugten Wahrscheinlichkeits-Tabelle, wobei das Motiv aus Wasser besteht, mit für die unterschiedlichen Motive des Bildes angegebenen Wahrscheinlichkeitswerten;
8 ein Blockdiagramm der Erzeugung eines Bildverbesserungs-Steuersignals gemäß der Erfindung;
9 ein Blockdiagramm des Verfahrens zum Erfassen hautfarbiger Regionen; und
10 ein Blockdiagramm des Verfahrens zum Erfassen von Motiv-Regionen wie Himmel oder Gras.
Im Folgenden wird die Erfindung als in einem Softwareprogramm implementiertes Verfahren beschrieben. Für den Fachmann ist ohne weiteres ersichtlich, dass eine solche Software entsprechend auch als Hardware implementiert werden kann. Da Bildverbesserungs-Algorithmen und Verfahren bekannt sind, richtet sich die Erfindung insbesondere auf Algorithmen und Verfahrensschritte, die Bestandteil des erfindungsgemäßen Verfahrens sind oder direkter mit ihm zusammenwirken. Andere Teile der betreffenden Algorithmen und Verfahren sowie der Hardware und/oder Software für die Erzeugung oder sonstige Verarbeitung der Bildsignale, die hierin nicht besonders dargestellt oder beschrieben sind, kann der Fachmann aus den ihm bekannten Objekten, Komponenten und Elementen auswählen. Aus der nachfolgenden Beschreibung ist ersichtlich, dass die Implementierung der gesamten beschriebenen Software dem Fachmann bekannt ist und im Rahmen seiner normalen Fähigkeiten liegt.
In 1 ist eine bevorzugte Ausführungsform der Erfindung für die Verarbeitung eines Bildes zu einem verbesserten Ausgabebild anhand eines bestimmten Verarbeitungsweges beschrieben. Allgemein gesagt, wird erfindungsgemäß ein Bildverbesserungsvorgang durchgeführt, wobei das Ausmaß der Verbesserung durch die in dem Bild enthaltenen Motive oder Objekte bestimmt wird. Das auf einzelne Bilder oder einzelne Regionen in einem gegebenen Bild angewandte Ausmaß der Verbesserung kann daher je nach dem Bildinhalt variieren. Dabei wird das Ausmaß der auf ein bestimmtes Bild oder auf einen bestimmten Bereich des Bildes angewandten Bildverbesserung entsprechend dem jeweiligen Bildinhalt ausgewählt.
Bei einer bevorzugten Ausführungsform der Erfindung wird ein Bild i(x, y) mit x₀ Reihen und y₀ Spalten zunächst in eine Version geringer Auflösung umgewandelt, um die Verarbeitungszeit zu verringern, die erfindungsgemäß zum Erfassen der interessierenden Motive und für die Erzeugung des entsprechenden Steuersignals für die Bildverbesserung benötigt wird. Vorzugsweise weist das Bild i(x, y) eine hohe Auflösung, zum Beispiel x₀ = 1024 Pixelreihen mal y₀ = 1536 Pixelspalten, auf. Das niedrig aufgelöste Bild weist m₀ Reihen und n₀ Spalten mit vorzugsweise m₀ = 256 und n₀ = 384 Pixeln auf. Dem in der Bildverarbeitung erfahrenen Fachmann sind zahlreiche Verfahren zur Herstellung eines kleinen Bildes aus größeren Bildern bekannt, die hier verwendet werden können (s. Handbuch: Gonzalez et al., Digital Image Processing (Digitale Bildverarbeitung), Addison-Wesley, 1992). Alternativ kann dieser Schritt auch wegfallen.
In 1 ist ein Blockdiagramm der Erfindung dargestellt. Zunächst wird ein digitales Farbbild 10 bereitgestellt. Dann wird aus einer Anzahl von Motiv-Detektoren 22 ein Motiv-Detektor ausgewählt – 20 – und auf das digitale Bild angewandt – 24. Als Ergebnis erhält man eine Motiv-Wahrscheinlichkeitstabelle 30, die die Wahrscheinlichkeit wiedergibt, dass bestimmte Pixel oder Pixelregionen zu einem gegebenen Ziel-Motiv gehören. Das Ziel-Motiv ist ein Motiv, auf das eine bestimmte Bildverbesserungsoperation angewandt werden soll. Alternativ kann auch eine Anzahl von Ziel-Motiven vorgegeben sein. Der im Schritt 20 ausgewählte Zielmotiv-Detektor erstellt eine Zielmotiv-Wahrscheinlichkeitstabelle 30 M(m, n), die vorzugsweise dieselben Pixel-Dimensionen in Reihen und Spalten wie das in den Motiv-Detektor eingegebene Bild aufweist. Wenn das digitale Eingabebild verkleinert wird und zu einer Wahrscheinlichkeits-Tabelle führt, die der Größe des Originalbildes nicht entspricht, kann die Wahrscheinlichkeits-Tabelle entsprechend interpoliert werden. Die Wahrscheinlichkeits-Tabelle gibt die Annahme wieder, dass bestimmte Pixel das Ziel-Motiv repräsentieren. Die Annahme wird vorzugsweise als Wahrscheinlichkeit ausgedrückt. Zum Beispiel ist jeder Pixelwert M(m, n) gleich 100*P (Pixel (m, n) des niedrig aufgelösten Bildes repräsentiert das Ziel-Motiv), wobei P(A) die Wahrscheinlichkeit des Ereignisses A repräsentiert. Alternativ kann jeder Pixelwert M(m, n) einer binären Wahrscheinlichkeits-Klassifikation entsprechen (nach Anwendung eines vorgegebenen Schwellwerts an die Wahrscheinlichkeitswerte). Zum Beispiel kann ein Pixelwert 1 in der Wahrscheinlichkeits-Tabelle die Annahme repräsentieren, dass das Pixel mit der höchsten Wahrscheinlichkeit das Ziel-Motiv repräsentiert, während ein Pixelwert 0 die Annahme repräsentieren kann, dass das Pixel dem Ziel-Motiv nicht mit der höchsten Wahrscheinlichkeit entspricht. Bei einer anderen Alternative kann die Wahrscheinlichkeit durch eine Distanz, etwa eine Distanz in einem Merkmalsraum, repräsentiert werden, wo im Allgemeinen größere Distanzen niedrigen Wahrscheinlichkeitswerten und kleinere Distanzen höheren Wahrscheinlichkeitswerten entsprechen.
Bei der bevorzugten Ausführungsform ist eines der Ziel-Motive menschliche Haut. Die US-Auslegeschrift Nr. 2003/0035578, eingereicht am 21. Juli 2001 von Dupin et al., beschreibt ein Verfahren zum Erzeugen einer Wahrscheinlichkeits-Tabelle, die die Annahme wiedergibt, dass ein Ziel-Motiv menschliche Haut ist.
9 gibt ein Verfahren wieder, mit dem erfindungsgemäß ein Motiv-Detektor 22 implementiert werden kann. Zunächst wird mittels eines digitalen Bildeingabe-Schritts 951 ein digitales Eingabebild bereitgestellt. Dieses Eingabebild wird dann durch Anwendung eines Szenenabgleichsalgorithmus 952 verarbeitet, um mittels eines herkömmlichen Szenenabgleichsalgorithmus eine ungefähre Farbbalance des Bildes zu erhalten. Danach werden in einem Schritt 953 zur Herstellung eines digitalen szenenabgeglichenen Ausgabebildes etwaige erforderliche Korrekturen an dem digitalen Eingabebild vorgenommen. Anschließend wird das digitale szenenabgeglichene Bild in einem Schritt 954 zur Ermittlung von Wahrscheinlichkeitswerten für hautfarbene Pixel verarbeitet. In einem Schritt 955 werden dann vorgegebene Schwellwerte an die Wahrscheinlichkeitswerte angewandt, wonach in einem Schritt 956 die Regionen mit Hauttonfarben bestimmt werden.
Ein mögliches Verfahren zur Ermittlung der Regionen mit hautfarbenen Pixeln gemäß Schritt 954 wird im Folgenden genauer beschrieben. Dabei werden die RGB-Pixelwerte mittels der folgenden Gleichungen in "Lst"-Koordinaten umgewandelt: L = (R + G + B)/sqrt(3) s = (R – B)/sqrt(2) t = (2G – R – B)/sqrt(6)
Dann wird für jedes Pixel des farbigen digitalen Eingabebildes die Wahrscheinlichkeit berechnet, dass es sich um ein hautfarbenes Pixel handelt. Die Wahrscheinlichkeit wird auf Basis der vorgegebenen Hautfarben-Wahrscheinlichkeitsfunktionen aus den Koordinaten im Lst-Raum abgeleitet. Diese Wahrscheinlichkeits-Funktionen wurden aufgrund gesammelter Daten für die Farbraum-Verteilungen von Hautregionen und Nicht-Hautregionen in einer großen Zahl szenenabgeglichener Bilder aufgebaut. Die bedingte Wahrscheinlichkeit, dass ein Pixel angesichts seiner Lst-Koordinaten ein hautfarbenes Pixel ist, ist gleich Pr(Skin|L, s, t) = Pr(Skin|L)*Pr(Skin|s)*Pr(Skin|t)worin jede der bedingten Verteilungen Pr(Skin|L), Pr(Skin|s), und Pr(Skin|t) durch Anwendung des Bayesischen Lehrsatzes an die ursprünglichen Lern-Verteilungen für Hautpixel und Nicht-Hautpixel aufgebaut ist. Im Vergleich hierzu verwenden andere herkömmliche Verfahren zum Erfassen hautfarbener Pixel (US-A-4.203.671, erteilt am 20. Mai 1980 an Takahashi et al., und US-A-5.781.276, erteilt am 14. Juli 1998 an Zahn et al.) die Likelihood-Wahrscheinlichkeit P(color|Skin). Ein Nachteil der Verwendung der herkömmlichen Likelihood-Wahrscheinlichkeit besteht darin, dass die Wahrscheinlichkeits-Verteilung nicht hautfarbener Pixel unberücksichtigt bleibt. Entsprechend besteht eine höhere Wahrscheinlichkeit einer Fehlerfassung.
Die Zusammenstellung der Wahrscheinlichkeitswerte aller Pixel stellt die Hautfarben-Wahrscheinlichkeitsverteilung des Eingabebildes dar. Zur Erzeugung einer binären Tabelle, in der jedes Pixel entweder als hautfarbig oder als nicht hautfarbig bezeichnet wird, wird auf die Hautfarben-Wahrscheinlichkeitsverteilung ein Schwellwert angewandt. Alternativ ist es auch möglich, Gesichtsregionen in dem digitalen Ausgabe-Farbbild mittels eines Gesichtserkennungs-Algorithmus zu bestimmen. Dann werden Hautton-Farbregionen aus den erfassten Gesichtsregionen extrahiert. Wegen einer Beschreibung des Gesichtserkennungs-Verfahrens wird auf US-A-5.710.833, erteilt am 20. Januar 1998 an Moghaddam et al., verwiesen.
Außerdem werden Verfahren zum Erzeugen von Wahrscheinlichkeits-Tabellen für ein aus menschlicher Haut bestehendes Ziel-Motiv in den folgenden Artikeln beschrieben: Cho et al., Adaptive Skin-Color Filter (Adaptives Hautfarbenfilter), Mustererkennung, 34 (2001) S. 1067–1073; und Fleck et al. Finding Naked People (Erkennen nackter Menschen), Protokoll der Europäischen Konferenz zu Computer-Erkennungssystemen, Bd. 2, 1996, S. 592–602.
Das Ziel-Motiv kann alternativ aber auch aus einem menschlichen Gesicht, Himmel, Wiesen, Schnee, Wasser oder jedem anderen Motiv bestehen, für die es ein automatisiertes Verfahren zur Bestimmung der Wahrscheinlichkeit eines Motivs in einem Bild gibt. Das Erkennen menschlicher Gesichter wird in vielen Artikeln beschrieben. Siehe zum Beispiel Heisele et al. in Face Detection in Still Gray Images (Gesichtserkennung in unbewegten Graubildern), MIT Artificial Intelligence Lab, A. I. Memo 1687, C.B.C.L-Papier No. 187, Mai 2000. USSN 09/450.190, eingereicht am 29. November 1999 von Luo et al., beschreibt die Erzeugung von Wahrscheinlichkeits-Tabellen, wenn das Motiv aus blauem Himmel besteht.
Der größte Nachteil der herkömmlichen Techniken der Motiv-Erkennung besteht darin, dass sie Hauptmotive nicht zuverlässig erkennen können, weil die Betrachtung einmaliger Merkmale der Motive fehlt. Zum Beispiel wird bei Saber et al., Automatic Image Annotation Using Adaptive Color Classification (Automatisches Bildkommentierungsverfahren mittels adaptiver Farbklassifizierung), Graphische Modelle und Bildverarbeitung, Bd. 58, No. 2, März 1996, S. 115–126, die Farbklassifizierung nur zum Erkennen von Himmelregionen angewandt. Infolgedessen werden häufig vielerlei himmelfarbige Motive, etwa Kleidung, Oberflächen künstlicher Objekte und Wasser irrtümlich als Himmel bewertet. Darüber hinaus beruhen manche dieser Techniken darauf, dass die Bildausrichtung a priori bekannt ist. Werden wichtige Motive nicht zuverlässig erkannt, insbesondere fehlgedeutet, kann dies zu Fehlern in nachfolgenden Anwendungen führen (zum Beispiel können fälschlicherweise erkannte Himmelsregionen zu einer falschen Ableitung der Bildausrichtung führen). Es besteht daher ein Bedürfnis für ein robusteres Verfahren zum Erkennen wichtiger Objekte.
Dieses Bedürfnis wird erfüllt durch ein Verfahren zum Erfassen von Motiv-Regionen in einem digitalen Farbbild mit Pixeln in (ROT-, GRÜN-, BLAU-)Werten. Erreicht wird dies dadurch, dass jedem Pixel auf der Grundlage von Farb- und Texturmerkmalen ein Wahrscheinlichkeitswert zugewiesen wird, der anzeigt, dass dieses Pixel wahrscheinlich zur Motiv-Region gehört, dass durch Anwendung eines Schwellwerts auf die Wahrscheinlichkeitswerte räumlich zusammenhängende Kandidaten-Motivregionen gebildet werden, dass die räumlich zusammenhängenden Regionen auf der Grundlage mindestens eines einmaligen Merkmals des Motivs analysiert werden, um die Wahrscheinlichkeit festzustellen, dass die Region zum Motiv gehört, und dass eine Tabelle der erkannten Motiv-Regionen und der zugehörigen Wahrscheinlichkeit, dass die Regionen zum Motiv gehören, erzeugt wird.
In 10 ist ein erfindungsgemäßes Verfahren zum Erkennen von Motiven, etwa klarem blauen Himmel oder Wiesengras, dargestellt. Zunächst wird ein digitales Eingabe-Farbbild bereitgestellt – 1011. Danach wird jedem Pixel in einem Farb- und Textur-Pixelklassifizierschritt mittels eines in geeigneter Weise trainierten Mehrschicht-Neuralnetzwerks auf der Grundlage von Farb- und Texturmerkmalen ein Motiv-Wahrscheinlichkeitswert zugewiesen – 1021. Anschließend werden in einem Region-Extrahierschritt 1023 eine Anzahl von Kandidaten-Motivbereichen erzeugt – 1023. Gleichzeitig wird das Eingabebild mittels eines Freiraum-Erkennungsverfahrens 1022 verarbeitet, um eine Freiraum-Tabelle 1024 zu erzeugen (wie dies in US-A-5 901 245, erteilt am 4. Mai 1999 an Warnick et al., die durch Verweis hierin aufgenommen wird) beschrieben ist. Nur Kandidaten-Regionen mit beträchtlicher Überlappung (d.h. mehr als 80%) mit irgendeiner Region in der Freiraum-Tabelle sind "glatt" und werden zur weiteren Verarbeitung ausgewählt – 1026. Diese ausgewählten Kandidaten-Regionen werden auf einmalige Merkmale analysiert – 1028. Bei blauem Himmel besteht dieses einmalige Merkmal aus einem Verweißlichungseffekt, d.h. der Grad der Blaufärbung nimmt zum Horizont hin allmählich ab. Man nutzt dieses einmalige Merkmal blauen Himmels zur Unterscheidung zwischen echten Regionen blauen Himmels und anderen blaufarbigen Motiven. Dabei verwendet man insbesondere ein Polynom der zweiten Ordnung, um eine gegebene glatte, himmelsfarbige Kandidaten-Region roten, grünen bzw. blauen Kanälen zuzuordnen. Die Koeffizienten des Polynoms werden von einem trainierten Neuralnetzwerk klassifiziert um zu entscheiden, ob eine Kandidaten-Region dem einmaligen Merkmal von blauem Himmel entspricht. Nur Kandidaten-Regionen, die diese einmaligen Merkmale aufweisen, werden als glatte blaue Himmelsbereiche gekennzeichnet. Bei Wiesengras bestehen die einmaligen Merkmale aus einer leichten und isotropen Textur und einer speziellen Position (in der Nähe des unteren Randes der Bilder und an die Bildränder angrenzend). Nur solche Kandidaten-Regionen, die diese einmaligen Merkmale aufweisen, werden als glatte Wiesengras-Regionen gekennzeichnet. Bei 1030 wird als Ergebnis dieser Analyse eine Motiv-Wahrscheinlichkeitstabelle erstellt, die Ort und Umfang sowie die zugehörigen Wahrscheinlichkeitswerte der erfassten Motiv-Regionen erzeugt. In ähnlicher Weise können andere allgemeine Motive (etwa Schnee und Wasser) erfasst werden.
In 1 werden bei 20 mehrere Motiv-Detektoren entweder parallel oder in Reihe ausgewählt, um einen Satz Wahrscheinlichkeits-Tabellen M_i(x, y) zu erzeugen, worin i von 1 bis N variiert. Alternativ kann einer der Motiv-Detektoren zur Erzeugung einer Wahrscheinlichkeits-Tabelle M₀(x, y) verwendet werden, die der Wahrscheinlichkeit entspricht, dass ein gegebenes Pixel keines der von den ausgewählten Motiv-Detektoren betrachteten Motive repräsentiert. Diese Wahrscheinlichkeits-Tabelle enthält dann hohe Werte (zum Beispiel Wahrscheinlichkeiten nahe 1,0) nur an Pixelpositionen, für die alle Wahrscheinlichkeits-Tabellen Mi(x, y) niedrige Werte (d.h. Wahrscheinlichkeiten nahe 0,0) enthalten. Im Grunde gibt die Wahrscheinlichkeits-Tabelle M₀(x, y) die Wahrscheinlichkeit wieder, dass eine gegebene Pixelposition von allen ausgewählten Motiv-Detektoren als Hintergrund gewertet wird.
Betrachtet man weiter 1, so wird aus einer Anzahl vorgegebener Bildverbesserungsoperationen 44 eine Bildverbesserungsoperation ausgewählt – 40. Entsprechend der ausgewählten Bildverbesserungsoperation wird ein Verbesserungs-Steuersignal 50 zur Steuerung des für das Ziel-Motiv und die Hintergrund-Motive zweckmäßigen Ausmaßes der ausgewählten Bildverbesserung erzeugt. Anschließend wird die ausgewählte Bildverbesserung entsprechend dem Steuersignal auf das digitale Eingabebild 10 angewandt – 60 –, um ein verbessertes Bild 70 zu erzeugen.
Erfindungsgemäß können die unterschiedlichsten Ziel-Motive erfasst und die unterschiedlichsten Bildverbesserungsoperationen durchgeführt werden. Zum Beispiel ist es möglich, mittels der Erfindung Bildbereiche, in denen menschliche Haut erkannt wurde, konservativ zu schärfen, und Bildbereiche, in denen keine menschliche Haut erfasst wurde, aggressiv zu schärfen, oder Bildbereiche, in denen klarer Himmel erkannt wurde, konservativ zu schärfen und Bildbereiche, in denen kein klarer Himmel erkannt wurde, aggressiv zu schärfen. Ferner können mehrere Ziel-Motive als Kriterium für eine selektive Bildverbesserung verwendet werden. Zum Beispiel können mittels der Erfindung Bildbereiche, in denen menschliche Haut oder klarer Himmel erkannt wurde, konservativ geschärft und Bildbereiche, in denen keine menschliche Haut und kein klarer Himmel erkannt wurden, aggressiv geschärft werden.
Alternativ oder zusätzlich hierzu kann die Erfindung dazu genutzt werden, Bildrauschen in Bildbereichen, in denen eine Wiese erkannt wurde, konservativ und Bildrauschen in Bildbereichen, in denen keine Wiese erkannt wurde, aggressiv zu reduzieren oder Bildrauschen in Bildbereichen, in denen menschliche Haut erkannt wurde, aggressiv und Bildrauschen in Bildbereichen, in denen keine menschliche Haut erkannt wurde, konservativ zu reduzieren, oder aber Bildrauschen in Bildbereichen, in denen Gewässer erkannt wurden, konservativ und Bildrauschen in Bildbereichen, in denen keine Gewässer erkannt wurden, aggressiv zu reduzieren.
Alternativ oder zusätzlich hierzu kann die Erfindung ferner dazu genutzt werden, Bildbereiche, in denen menschliche Haut erkannt wurde, aggressiv zu glätten und Bildbereiche, in denen keine menschliche Haut erkannt wurde, konservativ zu glätten oder Bildbereiche, in denen klarer blauer Himmel erkannt wurde, aggressiv zu glätten und Bildbereiche, in denen kein blauer Himmel erkannt wurde, konservativ zu glätten.
Ferner kann die Erfindung alternativ oder zusätzlich dazu verwendet werden, die Farben bestimmter Ziel-Motive selektiv zu modifizieren (Farb-Remapping). Zum Beispiel kann die Farbe in Himmelsregionen in einem Bild auf eine vorgegebene ("bevorzugte" oder "erinnerte") Farbe des Himmels modifiziert werden, die Farbe von Grasregionen in einem Bild kann auf eine vorgegebene "bevorzugte" oder "erinnerte" Farbe von Wiesengras (zum Beispiel die Farbe eines Golfplatzes) modifiziert werden, oder die Farbe von Hautbereichen in einem Bild kann in Richtung einer vorgegebenen "bevorzugten" oder "erinnerten" Hautfarbe (etwa die Farbe sonnenbrauner Haut) verändert werden. Dabei kann die Tonwertskaleneinstellung die Änderung des Farbtons, der Helligkeit oder der Sättigung einer Farbe umfassen. Auch die Erhöhung der Farbsättigung eines Motivs ist ein Beispiel für die Tonwertskaleneinstellung.
Außerdem kann die Erfindung alternativ oder zusätzlich dazu dienen, einen Szenenabgleich (hinsichtlich Helligkeit und Farbbalance) auf der Grundlage von Farbe und Helligkeit bestimmter Ziel-Motive durchzuführen. Zum Beispiel können Farbe und Helligkeit einer Schnee-Region für den Gesamt-Szenenabgleich oder bei mehreren Lichtquellen den örtlichen Szenenabgleich verwendet werden; auch können Farbe und Helligkeit der Hautregion (Gesichtsregion) für die Durchführung des Gesamt-Szenenabgleichs oder bei mehreren Lichtquellen des örtlichen Szenenabgleichs eingesetzt werden. Ferner kann die Erfindung alternativ oder zusätzlich hierzu zur Einstellung der Tonskala bestimmter Ziel-Motive verwendet werden. Zum Beispiel kann der Farbgradient von Himmelsregionen eines Bildes auf eine vorgegebene "bevorzugte" oder "erinnerte" Tonskala (einen Farbgradienten) des Himmels eingestellt werden, oder Kontrast und Tonskala von Gesichtsregionen in einem Bild können in Richtung auf eine vorgegebene "bevorzugte" oder "erinnerte" Tonskala von Gesichtern (zum Beispiel der Tonskala von Studio-Portraits) modifiziert werden.
Alternativ oder zusätzlich hierzu kann die Erfindung auch zum selektiven Interpolieren eines Bildes entsprechend einem Ziel-Motiv verwendet werden. Unter Bild-Interpolation ist der Prozess der Erzeugung einer größeren, vergrößerten Version eines vorhandenen Bildes zu verstehen. Normalerweise verwendet man dabei die bilineare Interpolation oder kubische Spline-Interpolation. Dabei ist es erwünscht, für verschiedene Motiv-Bereiche unterschiedliche Interpolationstechniken anzuwenden. Im Allgemeinen eignet sich für ebene Regionen eines Bildes, z.B. blauen Himmel, ein Interpolations-Algorithmus, der ein planares Modell implementiert, etwa die bekannte bilineare Interpolation. Für andere Ziel-Motive, etwa eine Wiese, Blattwerk oder wellige Gewässer, eignet sich unter Umständen ein planares Modell nicht so gut; diese erfordern ein komplexeres Modell, etwa ein Modell auf Fraktal-Basis, wie es in US-A-6 141 017, erteilt am 31. Oktober 2000 an Cubillo et al., beschrieben ist.
In der Verarbeitung digitaler Bilder ist es bekannt, das Bild durch Anwendung von Schärfungs-Algorithmen zu schärfen und die feinen Details zu verbessern. Normalerweise erfolgt dieses Schärfung durch einen Faltungs-Prozess. Siehe zum Beispiel das Handbuch von Jain: Fundamentals of Digital Image Processing (Grundzüge der digitalen Bildverarbeitung), veröffentlicht 1989 bei Prentice-Hall, S. 249–250. Ein Beispiel einer Schärfung mittels Faltung ist die Unscharf-Maskierung.
Die Schärfung eines Bildes mit einer Unscharf-Maske lässt sich zum Beispiel durch die folgende Gleichung beschreiben: s(x, y) = i(x, y)**b(m, n) + β(x, y)f(i(x, y) – i(x, y)**b(m, n)) (1)worin
s(x, y) = Ausgabebild mit verbesserter Schärfe
i(x, y) = Original-Eingabebild
b(x, y) = Tiefpass-Faltungsfilter
β(x, y) = Steuersignal-Faktor
f(x, y) = Rand-Funktion
ist und
** eine zweidimensionalen Faltung,
(x, y) die x^te Reihe und die y^te Spalte eines Bildes und
(m, n) die m^te Reihe und die n^te Spalte des Faltungs-Filters
bezeichnen.
Typischerweise wird hierzu ein unscharfes Bild durch Faltung des Bildes mit einem Tiefpass-Filter erzeugt (d.h. das unscharfe Bild wird wiedergegeben durch i(x, y)**b(m, n)). Danach wird das Hochpass-Signal durch Subtraktion des unscharfen Bildes vom Originalbild erzeugt (das Hochpass-Signal wird wiedergegeben durch i(x, y) – i(x, y)**b(x, y)). Anschließend wird das Hochpass-Signal durch eine Rand-Funktion f(x, y) und eine Steuersignal-Funktion β(x, y) modifiziert, die als Skalierfaktor für eine Unscharf-Maske dient. Dabei ist zu beachten, dass f() vorzugsweise eine Identitäts-Operation ist (d.h. nichts verändert). Schließlich wird das modifizierte Hochpass-Signal entweder dem Originalbild oder dem unscharfen Bild hinzugefügt, um ein geschärftes Bild zu erzeugen. Bei einer bevorzugten Ausführungsform der Erfindung wird das Steuersignal durch die Anzahl der Skalierfaktoren der Unscharf-Maske β(x, y) wiedergege ben. Der Wert des Steuersignals β(x, y) an einem bestimmte Ort (x, y) ist auf den Wert der verschiedenen Wahrscheinlichkeits-Tabellen M(x, y) an den entsprechenden Bildpositionen bezogen.
Wenn man davon ausgeht, dass die Größe (in Zeilen und Spalten) der Wahrscheinlichkeits-Tabelle gleich der Größe des Bildes ist, wird die bevorzugte Beziehung zwischen Steuersignal β(x, y) und Wahrscheinlichkeits-Tabellen M(x, y) durch die folgende Gleichung wiedergegeben:
worin i den Index des Motiv-Detektors repräsentiert. Zum Beispiel kann M₁(x, y) eine Wahrscheinlichkeits-Tabelle sein, die die Wahrscheinlichkeit von menschlicher Haut wiedergibt, M₂(x, y) eine Wahrscheinlichkeits-Tabelle, die die Wahrscheinlichkeit blauen Himmels wiedergibt, M₃(x, y) eine Wahrscheinlichkeits-Tabelle, die die Wahrscheinlichkeit von Gras wiedergibt, usw.
T_i repräsentiert das Ziel-Steuersignal für ein Pixel, bei dem eine hohe Wahrscheinlichkeit besteht, dass es sich um das zugehörige Zielmotiv handelt. Bei dem vorstehenden Beispiel steht dann T₁ = 1.5 für menschliche Haut, T₂ = 1.5 für blauen Himmel, T₃ = 6.0 für grünes Gras, usw.
T₀ repräsentiert das Ziel-Steuersignal für ein Pixel, das allgemein von allen Motiv-Detektoren als Hintergrund angesehen wird ("reiner" Hintergrund).
Diese Ausführungsform geht nicht davon aus, dass die Motiv-Detektoren sich gegenseitig ausschließen. Anders gesagt, kann der Wert Σ i(M_i(x, y)) für manche Pixelpositionen (x, y) größer sein als 1,0.
Bei einer alternativen Ausführungsform gilt β(x, y) = Σ i(Mi(x, y)Ti) + (1.0 – Σ i(Mi(x, y)))T0
Dieses Beispiel geht auch davon aus, dass die Motiv-Detektoren sich gegenseitig ausschließen. Anders ausgedrückt, ist der Wert Σ i(M_i(x, y)) an keiner Pixelposition (x, y) größer als 1,0.
Für den Fachmann auf dem Gebiet der Bildverarbeitung ist ersichtlich, dass für die Zuordnung des Steuersignals zur Anzahl der Wahrscheinlichkeits-Tabellen M_i(x, y) viele weitere Gleichungen möglich sind. Bei der weiteren Alternative, in der die Wahrscheinlichkeits-Tabelle M₀(x, y) die Wahrscheinlichkeit anzeigt, dass ein gegebenes Pixel KEINES der von irgendeinem der ausgewählten Motiv-Detektoren betrachteten Ziel-Motive repräsentiert, ist zum Beispiel die Anwendung der folgenden Gleichung möglich: β(x, y) = Σ i(Mi(x, y)Ti) + M0(x, y)T0
Zwar kann ein ähnlicher Schärfungseffekt auch durch Modifikation des Bildes im Frequenzbereich (zum Beispiel dem FFT-Bereich) erreicht werden, wie dies auf dem Gebiet der digitalen Signalverarbeitung bekannt ist, die Durchführung einer räumlich unterschiedlichen Schärfung im Frequenzbereich ist aber im Allgemeinen schwieriger. Anders gesagt, sind Frequenzbereichs-Techniken im Allgemeinen nicht für den Einsatz in Verbindung mit der Erfindung geeignet.
Bei dem zuvor beschriebenen Beispiel wurde gezeigt, dass der Wert des Steuersignals an einer bestimmten Position nur von den entsprechenden Werten einer oder mehrerer Wahrscheinlichkeits-Tabellen M_i(x, y) abhängig ist. Alternativ ist in 8 dargestellt, dass das Steuersignal auch von weiteren Merkmalen abhängig ist, die mittels einer durch den Wahrscheinlichkeitstabellen-Analysator 32 durchgeführten Analyse aus der Wahrscheinlichkeits-Tabelle abgeleitet werden können. Der Wahrscheinlichkeitstabellen-Analysator 32 erhält als Eingabe die Wahrscheinlichkeits-Tabelle und kann als Ausgabe verschiedene auf die Wahrscheinlichkeits-Tabelle bezogene Signale ausgeben. Die vom Wahrscheinlichkeitstabellen-Analysator ausgegebenen Signale können Skalare, etwa Mittel-, Mindest-, Maximal- oder Abweichungswerte der Wahrscheinlichkeits-Tabelle sein. Alternativ oder zusätzlich dazu können die vom Wahr scheinlichkeitstabellen-Analysator ausgegebenen Signale weitere Tabellen vorzugsweise mit denselben Abmessungen wie die Wahrscheinlichkeits-Tabelle(n) sein. Zum Beispiel kann der Wahrscheinlichkeitstabellen-Analysator 32 eine Ortstabelle L_i(x, y) erzeugen, die den Abstand jedes Pixelorts vom Bildmittelpunkt oder einen anderen zweckmäßigen Abstand angibt. Außerdem kann der Tabellen-Analysator 32 eine Größentabelle S_i(x, y) erzeugen, bei der jeder Pixelwert die Größe der Region angibt, der er zugeordnet ist. Durch Anwendung eines auf dem Gebiet der Bildverarbeitung bekannten Connected Component-Algorithmus lässt sich die Größe jedes Wahrscheinlichkeits-Bereichs, dessen Wahrscheinlichkeit Null beträgt, aus der Wahrscheinlichkeits-Tabelle extrahieren. Die Größe lässt sich durch Zählen der Anzahl von Pixeln (oder des Prozentsatzes der Gesamtpixel) bestimmen, die jedem Wahrscheinlichkeits-Bereich angehören. Die vom Wahrscheinlichkeitstabellen-Analysator ausgegebenen Signale werden dann zusätzlich zur Wahrscheinlichkeits-Tabelle dem Signalgenerator 34 für das Bildverbesserungs-Steuersignal zugeführt. Der Generator 34 für das Bildverbesserungs-Steuersignal erzeugt dann ein Bildverbesserungs-Steuersignal, bei dem der Steuerwert an jeder Position abhängig ist von den entsprechenden Werten der Wahrscheinlichkeits-Tabelle M_i(x, y) der Ortstabelle L_i(x, y) und der Größentabelle S_i(x, y).
Der Wahrscheinlichkeitstabellen-Analysator 32 verbessert die Flexibilität der Abstimmung der gewählten Bildverbesserungsoperation bezüglich des Ziel-Motivs. Dabei soll als Beispiel wiederum das Schärfen des Bildes betrachtet werden. Allgemein sollten Bildpixel, die menschliche Haut repräsentieren, im Idealfall weniger stark geschärft werden. Durch die Überlegung, dass kleinere Bereiche menschlicher Haut (z.B. kleine Gesichter auf dem Bild) eine stärkere Schärfung vertragen können als größere Bereiche menschlicher Haut, ohne dass unschöne Unreinheiten oder Falten sichtbar werden, lässt sich jedoch die Schärfung weiter verfeinern.
Die Größentabelle S_i(x, y) ermöglicht es dem Generator 34 für das Bildverbesserungs-Steuersignal, das Steuersignal auf der Grundlage des Wahrscheinlichkeitswertes und des Wertes in der Größentabelle anzupassen. Infolgedessen werden kleine Gesichter weniger geschärft als große Gesichter, und beide werden weniger geschärft als Regionen, die keine Gesichter darstellen.
Zum Beispiel kann der Generator 34 für das Bildverbesserungs-Steuersignal für die Erzeugung des Signals die folgende Formel anwenden: β(x, y) = Σ ik(Si(x, y))Mi(x, y)Ti + T0 worin k() eine Funktion ist, die die Wirkung der Größe der Region auf den Schärfungs-Parameter steuert. Der Wert k() verändert sich monoton von 0 bei kleinen Werten für Si(x, y) bis 1,0 bei großen Werten für Si(x, y).
2 zeigt ein typisches Schnappschuss-Bild mit einer Person (deren Gesicht als Hautregion 100 bezeichnet ist), Blattwerk 101, wolkigem Himmel 102, klarem blauem Himmel 103 und Wiesengras 104. Ein Bild dieser Art könnte auch ein Schneefeld (nicht dargestellt) und ein Gewässer (nicht dargestellt) enthalten. In 3–8 sind die zugehörigen Wahrscheinlichkeits-Tabellen für den Fall dargestellt, dass das Ziel-Motiv menschliche Haut, Himmel, Wiesengras, ein Schneefeld bzw. ein Gewässer ist. Eine Null-Wahrscheinlichkeitstabelle enthält nur Pixel mit dem Wahrscheinlichkeitswert 0 und gibt an, dass das entsprechende Motiv in dem Bild nicht vorhanden ist (zum Beispiel kann in 7 keine Wasser-Region erkannt werden). Dabei ist zu beachten, dass sich jede Wahrscheinlichkeits-Tabelle nur auf einen Motiv-Typ bezieht. Anders ausgedrückt, sind Himmels-Regionen in der Wahrscheinlichkeits-Tabelle für menschliche Haut als Hintergrund bezeichnet und umgekehrt. Die "reinen" Hintergrund-Regionen 110 des Bildes bestehen aus Pixeln, bei denen die Wahrscheinlichkeit 0 besteht, dass sie entsprechende Pixel irgendeines der Ziel-Motive repräsentieren. Möglich ist auch, dass ein Pixel oder eine Region in mehreren Wahrscheinlichkeits-Tabellen Wahrscheinlichkeitswerte aufweist, die nicht gleich 0 sind, was anzeigt, dass dieses Pixel zu mehreren Motiv-Typen gehören kann (zum Beispiel gehört die Region 101 in 2 mit einer Wahrscheinlichkeit von 0,3 zu Gras und mit einer Wahrscheinlichkeit von 0,7 zu grünem Blattwerk). 3 zeigt ein Beispiel einer mittels des Motiv-Detektors erzeugten Wahrscheinlichkeits-Tabelle für den Fall, dass das Ziel-Motiv menschliche Haut ist, wobei für die verschiedenen Motive des Bildes Wahrscheinlichkeitswerte angegeben sind. Zum Beispiel wird für den Gesichtsbereich auf einer Skala von 0 bis 100 ein Wahrscheinlichkeitswert 95 für menschliche Haut angegeben, für den Baumstamm ein Wahrscheinlichkeitswert 30 und für die Hintergrundregion ein Wahrscheinlichkeitswert 0. 4 zeigt ein Beispiel einer vom Motiv-Detektor erzeugten Wahrscheinlichkeits-Tabelle für den Fall, dass das Ziel-Motiv mit einem Wahrscheinlichkeitswert 100 Himmel ist. 5 zeigt ein Beispiel einer vom Motiv-Detektor erzeugten Wahrscheinlichkeits-Tabelle für den Fall, dass das Ziel-Motiv Gras ist, wobei das Gras einen Wahrscheinlichkeitswert 100 und die Blätter des Baumes einen Wahrscheinlichkeitswert 30 haben. 6 zeigt ein Beispiel einer vom Motiv-Detektor erzeugten Wahrscheinlichkeits-Tabelle für den Fall, dass das Ziel-Motiv eine Wolke oder Schnee ist, wobei die Wolke den Wahrscheinlichkeitswert 0 hat. 7 zeigt ein Beispiel einer vom Motiv-Detektor erzeugten Wahrscheinlichkeits-Tabelle für den Fall, dass das Ziel-Motiv Wasser ist, wobei in der Szene kein offenes Gewässer vorhanden ist.
Gemäß 1 kann die Bildverbesserungsoperation alternativ oder zusätzlich aus Rauschreduktion, JPEG-Glättung, Szenenabgleichseinstellung, Tonwertskaleneinstellung, Farb-Neuordnung, Bildinterpolation oder anderen Operationen bestehen, durch die eines oder mehrere der Attribute eines Bildes verbessert werden können.
Unter JPEG-Glättung ist zu verstehen, dass durch JPEG-Bildkompression entstehende unschöne künstliche Blockgrenzen beseitigt werden (siehe Luo et al. Artifact Reduction in Low Bit Rate DCT-Based Image Compression (Artefaktverringerung bei DCT-Bildkompression mit niedriger Bitrate), IEEE-Transaktionen zur Bildverarbeitung, Bd. 5, No. 9, September 1996, S. 1363–1368). Im Allgemeinen ist es erwünscht, Blockungs-Artefakte in menschlichen Gesichtern und in glatten Gradienten bei klarem blauen Himmel zu beseitigen, weil dort die Blockungs-Artefakte am stärksten sichtbar und besonders unschön sind. Allerdings werden durch Glättungs-Algorithmen möglicherweise auch Bilddetails in Bereichen wie Wiesengras, Schneefeldern und Gewässern entfernt, wo die Blockungs-Artefakte am wenigsten sichtbar sind. Es ist deshalb von Vorteil, Bereiche unterschiedlicher Motive unterschiedlich stark zu glätten. Außerdem kann es wünschenswert sein, stärker texturierte Bildbereiche überhaupt nicht zu glätten, weil diese Regionen naturgemäß Blockungs-Artefakte überdecken, Detailverlust aber nicht vertragen.
Während generell der durch die Quantisierung im JEPG-Kompressionsprozess bedingte Informationsverlust praktisch nicht wiederhergestellt werden kann, können manche Kodier-Artefakte durch Integration von Bildglätte-Grenzwertbedingungen mittels eines geeigneten Bild-Vormodells erleichtert werden.
Für die Erzwingung von Bildglätte-Grenzwertbedingungen wurden bisher verschiedene konvexe Potentialfunktionen angewandt. Konvexe Funktionen sind häufig deshalb erwünscht, weil die Konvergenz eines konvexen Grenzwertproblems bei bestehenden Lösungen immer garantiert ist und sie wegen der schnellen Konvergenz auch wirksam optimiert werden kann. Wichtiger ist jedoch noch, dass da die Variable die Differenz zwischen benachbarten Pixeln ist, konvexe Potentialfunktionen mit glattem Übergang, d.h. mit guten Kontinuitätseigenschaften, die erwünschte Kontinuität im Bild ergeben.
Bevorzugt ist ein bestimmtes Gibbs-Zufallsfeld, das sogenannte Huber-Markow-Zufallsfeld (HMRF). Seine Potentialfunktion Vc,T(x) entspricht der Formel
worin T ein Schwellwert ist. Wenn wir Graustufen-Unterschiede zwischen dem aktuellen Pixel Xm,n und den Pixeln Nm,n in seiner Nachbarschaft als
definieren, können diese Unterschiede an die Stelle der Variablen der Huber-Minimaxfunktion treten. Das Schöne an der Huber-Minimaxfunktion ist die Möglichkeit, bestimmte Artefakt-Typen zu glätten, dabei aber gleichzeitig die Bilddetails, etwa Ränder und texturierte Regionen, zu erhalten. Das quadratische Segment der Funktion erzwingt eine Glättung der Artefakte nach der Methode der kleinsten mittleren Quadrate, wenn die örtliche Abweichung unter dem Schwellwert T liegt. Andererseits ermöglicht das lineare Segment der Funktion die Erhaltung von Bilddetails, indem es große Diskontinuitäten im Bild sehr viel weniger scharf ahndet.
Die Umschaltmöglichkeit des HMRF-Modells ist für die Unterscheidung zwischen Diskontinuitäten unterschiedlicher Art sehr wichtig. Ungeeignet ist diese Umschaltmöglichkeit jedoch, wenn man zwischen Bilddetail und Artefakten unterscheiden muss. Ohne Semantik kann ein einzelner Schwellwert T nicht alle Diskontinuitäten präzise beschreiben und kann auch nicht zwischen echten Bildrändern und Artefakten unterscheiden. Bei Kenntnis der erkannten Motive kann man für unterschiedliche Motive jeweils geeignete Schwellwerte T wählen. Zum Beispiel wird zum Glätten der Artefakte ein höherer Schwellwert T (T1 = 10) im HMRF-Modell für jene Pixel in den Regionen gewählt, die Haut und blauen Himmel repräsentieren, ein mittlerer Schwellwert T (T2 = 5) für Regionen, die Wiesengras und welligem Wasser entsprechend, und ein Schwellwert 0 (T = 0) für stark texturierte Regionen wie Blattwerk.
Unter Beseitigung des Bildrauschens versteht man die Reduzierung des Bildrauschens. Verwiesen wird zum Beispiel auf ein von Lee in Digital Image Smoothing and the Sigma Filter (Digitale Bildglättung und das Sigma-Filter), Computer Vision, Graphik, Bildverarbeitung, Bd. 24, S. 189–198, April 1983, beschriebenes nichtlineares Filter. Ein nichtlineares Filter wie das σ-Filter weist den Vorteil auf, bei der Beseitigung des Bildrauschens Bilddetails besser zu erhalten als lineare Filter. Dabei wird der aktuelle Pixelwert durch den örtlichen Mittelwert benachbarter Pixelwerte, die innerhalb der Differenz σ vom aktuellen Pixelwert liegen, ersetzt. Dabei werden starke Ränder eindeutig erhalten, während Bildrauschen geringer Stärke beseitigt wird.
Der Gegenstand der Erfindung bezieht sich auf die Technologie des Verstehens digitaler Bilder, worunter man eine Technologie versteht, bei der ein digitales Bild verarbeitet wird, um für den Menschen verständliche Objekte, Attribute oder Bedingungen zu erkennen und ihnen damit eine sinnvolle Bedeutung zuzuweisen und die so erhaltenen Ergebnisse in der weiteren Verarbeitung des digitalen Bildes einzusetzen.
Die Erfindung könnte beispielsweise in einem Computerprogramm-Produkt implementiert sein. Ein Computerprogramm-Produkt kann eines oder mehrere Speichermedien, etwa Magnetspeichermedien wie Magnetplatten (z.B. Disketten) oder Magnetbänder, optische Speichermedien wie optische Platten, optische Bänder oder maschinenlesbaren Strichcode, elektronische Halbleiter-Speichergeräte wie Direktzugriffsspeicher (RAM) oder Nur-Lesespeicher (ROM) oder sonstige physische Vorrichtungen oder Medien umfassen, die zum Speichern eines Computerprogramms mit Steueranweisungen für einen oder mehrere Computer zur Durchführung des erfindungsgemäßen Verfahrens verwendet werden.

Claims

Verfahren zum Verarbeiten eines digitalen Farbbildes, mit den Schritten: a) Bereitstellen eines Motivdetektors (22) zum Unterscheiden zwischen einem Zielmotiv und einem Hintergrundsmotiv; b) Anwenden des Motivdetektors (22) auf das Bild, um eine Wahrscheinlichkeitstabelle (30) zu erstellen, die das Maß an Wahrscheinlichkeit anzeigt, dass Pixel im Bild zum Zielmotiv gehören; c) Bereitstellen eines Bildverbesserungsvorgangs, der auf ein Steuersignal (50) reagiert zum Steuern des Ausmaßes an Bildverbesserung; und d) Anwenden eines Bildverbesserungsvorgangs auf das digitale Bild durch Verändern des Steuersignals (50) gemäß der Wahrscheinlichkeitstabelle (30), um ein verbessertes Bild zu erzeugen; gekennzeichnet durch die Schritte: Analysieren der Wahrscheinlichkeitstabelle (30), um ein Steuersignal (50) zu erzeugen, das mindestens wie nachfolgend variiert: mindestens einem Skalar, von denen jeder eine globale Eigenschaft der Wahrscheinlichkeitstabelle (30) wiedergibt; und mindestens einer weiteren Tabelle mit Pixelwerten, die jeweils von der Wahrscheinlichkeitstabelle (30) abgeleitet werden, wobei jede Tabelle die gleichen Dimensionen hat wie die Wahrscheinlichkeitstabelle (30).
Verfahren nach Anspruch 1, worin das Steuersignal (50) gemäß mindestens einem der Skalare und gemäß mindestens einer der anderen Tabellen variiert, die von der Wahrscheinlichkeitstabelle (30) abgeleitet werden.
Verfahren nach Anspruch 1 oder 2, worin das Steuersignal (50) variiert gemäß einer von der Wahrscheinlichkeitstabelle (30) abgeleiteten Größentabelle, die eine Vielzahl von Pixeln aufweist, von denen jeder einen Wert hat, der einer Größe eines zugeordneten Bereichs der Wahrscheinlichkeitstabelle (30) entspricht.
Verfahren nach Anspruch 3, worin jeder Pixel einen Wert hat, der einer Zahl von Pixeln eines zugeordneten Bereichs der Wahrscheinlichkeitstabelle (30) entspricht.
Verfahren nach Anspruch 1, 2, 3 oder 4, worin das Steuersignal (50) variiert gemäß einer von der Wahrscheinlichkeitstabelle (30) abgeleiteten Ortstabelle, die den Abstand zwischen jedem Pixelort und einem Mittelpunkt oder einem anderen Ort anzeigt.
Verfahren nach Anspruch 1, 2, 3, 4 oder 5, worin die Skalare mindestens einen der mittleren, minimalen, maximalen und Varianzwerte einer globalen Eigenschaft der Wahrscheinlichkeitstabelle (30) umfassen.
Verfahren nach Anspruch 1, 2, 3, 4, 5 oder 6, mit dem Schritt des Reduzierens der Auflösung des digitalen Farbbildes vor dem Anwenden des Motivdetektors (22).
Verfahren nach Anspruch 1, 2, 3, 4, 5, 6 oder 7, worin eine Vielzahl von Motivdetektoren (22) bereitgestellt wird, und mit dem Schritt des Auswählens mindestens eines der bereitgestellten Motivdetektoren (22).
Verfahren nach Anspruch 8, worin die Zielmotive Hautpartien, klaren Himmel, Grasflächen, Schneefelder und Wasserflächen umfassen.
Verfahren nach Anspruch 1, 2, 3, 4, 5, 6, 7, 8 oder 9, worin der Bildverbesserungsvorgang mindestens einen der folgenden Vorgänge umfasst: Schärfen, Rauschreduktion, JPEG Glättung (de-blocking), Tonwertskaleneinstellung, Szenenabgleichseinstellung und Farbneuordnung.