DE60012859T2

DE60012859T2 - Bestimmung der Orientierung von Bildern die einen blauen Himmel enthalten

Info

Publication number: DE60012859T2
Application number: DE60012859T
Authority: DE
Inventors: Jiebo Rochester Luo
Original assignee: Eastman Kodak Co
Current assignee: Eastman Kodak Co
Priority date: 1999-11-29
Filing date: 2000-11-17
Publication date: 2005-09-08
Anticipated expiration: 2020-11-18
Also published as: JP4477221B2; EP1107182A3; EP1107182A2; JP2001202525A; DE60012859D1; US6512846B1; EP1107182B1

Description

Die vorliegende Erfindung betrifft allgemein den Bereich der Verarbeitung von Digitalbildern und deren Interpretation und insbesondere ein System zur Bestimmung der Ausrichtung in fotografischen und anderen ähnlichen Bildern, die Himmeldarstellungen enthalten.
Digitalbilder können mit einer Reihe von Einrichtungen oder Mitteln erfasst werden, beispielsweise durch Abtasten eines auf Negativfilm erfassten Bildes oder durch direktes Herunterladen aus einer Digitalkamera. Ein Fotograf kann ein Bild aufnehmen, während er die Kamera in einer von mehreren möglichen Stellungen hält (senkrecht, auf dem Kopf, auf der rechten oder auf der linken Seite). Der Film kann zudem von links nach rechts oder von rechts nach links aufgespult werden, weshalb es unmöglich ist, die Bildausrichtung im Voraus zu bestimmen. Es ist von Vorteil, die Bildausrichtung automatisch zu ermitteln, um eine umständliche Neuausrichtung eines Bildes zu vermeiden, die von einem Bediener ansonsten durchgeführt werden müsste. Gleichzeitig ist dies in Bezug auf die Effizienz bei der massenweisen Bildverarbeitung in kommerziellen Systemen von Bedeutung.
Der Himmel zählt zu dem wichtigsten Motiven, die in fotografischen Bildern häufig zu sehen sind. Die Erkennung des Himmels ermöglicht es oft, bestimmte Aufgaben in Bezug auf Bildausrichtung, Bildinterpretation, Bildverbesserung und Bildbearbeitung durchzuführen. Der Himmel ist ein wichtiger Hinweis auf eine Außenaufnahme zur Kategorisierung der Szene (z.B. Außenaufnahmen gegenüber Innenaufnahmen, Picknick-Szenen gegenüber Besprechungsszenen, Stadt gegenüber Landschaft usw.). Siehe beispielsweise M. Szummer und R. W. Picard, "Indoor-Outdoor Image Classification," in Proc. IEEE Intl. Workshop on Content-based Access of Image and Video Database, 1998 sowie A. Vailaya, A. Jain und H.J. Zhang, "On Image Classification: City vs. Landscape," in Proc. IEEE Intl. Workshop on Content-based Access of Image and Video Database, 1998.
Das herausragende Merkmal des Himmels ist dessen Farbe, die bei klarem Himmel normalerweise blau ist. Ein derartiges Merkmal wird bislang zur Himmelserkennung in Bildern benutzt. Beispielsweise erwähnt US-A-5,889,578 mit dem Titel "Method and Apparatus for Using Film Scanning Information to determine the Type and Category of an Image" von F.S. Jamzadeh die Verwendung des Farbtons ("hellblau"), um den Himmel zu erkennen, enthält jedoch keine weitere Beschreibung.
In einer Veröffentlichung von Saber et al. (E. Saber, A. M. Tekalp, R. Eschbach, and K. Knox, "Automatic Image Annotation Using Adaptive Color Classification", CVGIP: Graphical Models and Image Processing, Band 58, Seite 115–126, 1996, wurde eine Farbklassifizierung zur Himmelserkennung herangezogen. Dabei wird davon ausgegangen, dass die Himmelspixel einer zweidimensionalen Gaußschen Wahrscheinlichkeits-Dichtefunktion (PDF) folgen. Es wird daher eine Metrik ähnlich der Mahalonobis-Distanz zusammen mit einem adaptiv bestimmten Schwellenwert für ein gegebenes Bild verwendet, um Himmelspixel zu bestimmen. Schließlich werden Informationen über das Vorhandensein von Himmel, Wiese und Haut, die aus dem Bild ausschließlich anhand der zuvor erwähnten Farbklassifizierung extrahiert werden, benutzt, um ein Bild zu kategorisieren und zu kommentieren (z.B. "Außenaufnahme", "Menschen"). Es sei darauf hingewiesen, dass Saber sich nicht mit der Bestimmung der Bildausrichtung auseinandersetzt, sondern diese als bekannt voraussetzt.
US-A-5,642,443, "Whole Order Orientation Method and Apparatus" von Robert M. Goodwin, verwendet Farbe und (das Fehlen von) Struktur, um Pixel zu bezeichnen, die in dem Bild dem Himmel zuzuordnen sind. Goodwin bedient sich insbesondere der Partitionierung nach Farbsättigungsdomänen in Sektoren. Es werden Pixel mit Abtastzonen entlang der beiden Längsseiten eines nicht ausgerichteten Bildes überprüft. Falls eine asymmetrische Verteilung von Himmelsfarben gefunden wird, wird die Ausrichtung des Bildes ausgewertet. Die Ausrichtung einer Reihenfolge von Fotos wird nach den Auswertungen der einzelnen Bilder vorgenommen. Damit das Verfahren nach Goodwin für die gesamte Reihenfolge erfolgreich ist, wird eine ausreichend große Gruppe von Merkmalen (so dass diese mit einer Erfolgsquote von mindestens 80% in nahezu jedem Bild gefunden werden können) oder eine kleinere Gruppe von Merkmalen (mit einer Erfolgsquote von mehr als 90%, wobei die Merkmale in ca. 40% aller Bilder gefunden werden) benötigt. Nach Goodwin ist daher ein besonders robustes Verfahren zur Himmelserkennung für ein gegebenes Bild nicht erforderlich.
Zur Erkennung der Ausrichtung eines Bildes kann die Kenntnis des Himmels und dessen Ausrichtung ein Hinweis auf die Bildausrichtung von Außenbildern sein. Im Gegensatz zu der allgemeinen Annahme befindet sich der Himmelsbereich durchaus nicht immer im oberen Teil des Bildes. In vielen Fällen kann ein Himmelsbereich mehr umfassen als den oberen Rand eines Bildes.
Ein wesentlicher Nachteil herkömmlicher Techniken besteht darin, dass sie die Lage von Objekten (z.B. Himmel) zur Bestimmung der Ausrichtung heranziehen. Diese herkömmlichen Systeme, die den Himmel in Bildern identifizieren, weisen den Nachteil auf, dass der Himmel sich nicht immer im oberen Bereich des Bildes befindet und auch mehr als den oberen Rand eines Bildes umfassen kann. Herkömmliche Techniken können nicht zwischen ähnlich farbigen oder strukturierten Motivgegenständen unterscheiden, wie einer blauen Wand, einer Wasserfläche, einem blauen Hemd usw. Das Unvermögen, das Vorhandensein von Himmel zuverlässig erkennen zu können und insbesondere eine falsche Erkennung und die falsche Annahme, dass die Lage des Himmels die Bildausrichtung bezeichnet, kann Fehler im Ausrichtungsprozess bewirken.
Die vorliegende Erfindung stellt ein zuverlässiges Bildausrichtungsverfahren bereit, das Himmelsbereiche unter Berücksichtigung der Farbtonklassifizierung, Strukturanalyse und physikalisch motivierter Spurenanalyse (Traces) erkennt. Die vorliegende Erfindung nutzt Farbtoninformationen, um helle, himmelfarbene Pixel auszuwählen und bedient sich der Analyse verbundener Komponenten, um potenzielle Himmelsbereiche zu finden. Die Erfindung nutzt zudem Gradienten, um die Bestätigung zu erhalten, dass Himmelsbereiche einen geringen Strukturgehalt aufweisen, sowie offene Räume von Segmenten, die als glatte Flächen definiert sind, um benachbarte Regionen mit ähnlichen Himmelsfarbanmutungen, jedoch verschiedenen Himmelsfarben, zu zerlegen. Die vorliegende Erfindung verwendet Gradienten zur Bestimmung der Zenith-Horizont-Richtung und eine physikalisch motivierte Spurenkennzeichnung, um festzustellen, ob die ermittelte Ausrichtung tatsächlich aus einem gültigen Himmelsbereich stammt (im Unterschied zu einem lediglich "himmelfarbenen" Bereich).
Konkret kann die vorliegende Erfindung die Form eines Verfahrens, eines Bilderkennungssystems, eines Computerprogramms usw. zur Bestimmung der Bildausrichtung annehmen.
Die vorliegende Erfindung klassifiziert potenzielle Pixel in dem Bild nach Farbe, identifiziert räumlich benachbarte Bereiche der potenziellen Himmelspixel, identifiziert tatsächliche Himmelsbereiche durch Beseitigen bestimmter räumlich benachbarter Bereiche, deren Struktur oberhalb einer vorbestimmten Strukturschwelle liegt, berechnet Desaturierungsgradienten der tatsächlichen Himmelsbereiche, klassifiziert das Bild als Hoch- oder Querformat auf der Basis mittlerer horizontaler und vertikaler Desaturierungsgradientenwerte von Pixeln innerhalb jedes der tatsächlichen Himmelsbereiche, ermittelt die Ausrichtung eines Bildes, gestützt auf eine Polarität der mittleren horizontalen und vertikalen Desaturierungsgradienten, und bestätigt, dass die tatsächlichen Himmelsbereiche echte Himmelsbereiche sind, indem die Desaturierungsgradienten mit einem vorbestimmten Desaturierungsgradienten für den Himmel verglichen werden.
Die vorliegende Erfindung behält zudem nur die räumlich benachbarten Bereiche als tatsächliche Himmelsbereiche bei, die im Wesentlichen unähnliche durchschnittliche horizontale und vertikale Gradienten aufweisen, eine Farbverteilung haben, die mit einer vorbestimmten Farbverteilung für den Himmel übereinstimmt und an einen Rand des Bildes angrenzen.
Das Klassifizieren des Bildes als Hochformat – oder Querformataufnahme umfasst die Schritte des Klassifizierens des Bildes als Hochformataufnahme, wenn der absolute Wert des durchschnittlichen horizontalen Desaturierungsgradienten größer ist als ein absoluter Wert des durchschnittlichen vertikalen Desaturierungsgradienten, und des Klassifizierens des Bildes als Querformataufnahme, wenn ein absoluter Wert des durchschnittlichen horizontalen Desaturierungsgradienten kleiner ist als ein absoluter Wert des durchschnittlichen vertikalen Desaturierungsgradienten. Die Desaturierungsgradienten umfassen Desaturierungsgradienten für rote, grüne und blaue Spurenkomponenten des Bildes.
Die vorbestimmten Desaturierungsgradienten für Himmel weisen vom Horizont bis zum Zenit eine Abnahme von Spurenkomponenten für rotes und grünes Licht und eine im Wesentlichen konstante Spurenkomponente für blaues Licht auf.
Das Klassifizieren potenzieller Pixel in dem Bild nach Farbe umfasst die Bildung eines Wahrscheinlichkeitsrasters von Pixeln mithilfe eines Pixelklassifizierers, der einen Wahrscheinlichkeitswert für jedes Pixel erzeugt, der die Wahrscheinlichkeit bezeichnet, mit der ein Pixel eine Himmelsfarbe ist; das Berechnen eines adaptiven Schwellenwerts für die Himmelsfarbe und das Klassifizieren der Pixel, deren Wahrscheinlichkeitswerte den Schwellenwert der potenziellen Himmelspixel übersteigen. Das Berechnen eines adaptiven Schwellenwerts umfasst: Identifizieren einer ersten Talsohle in einem von dem Wahrscheinlichkeitsraster abgeleiteten Wahrscheinlichkeitshistogramm; Verwenden eines Histogramms der Wahrscheinlichkeitswerte, die das Wahrscheinlichkeitsraster bilden; Glätten des Histogramms, um Rauschen zu beseitigen, Identifizieren einer ersten Talsohle in dem geglätteten Histogramm und Verwenden des Wahrscheinlichkeitswerts der ersten Talsohle als adaptiven Schwellenwert. Das Wahrscheinlichkeitsraster und das Wahrscheinlichkeitshistogramm werden für jedes Bild separat berechnet.
Ein Vorteil der vorliegenden Erfindung besteht in der Verwendung eines physikalischen Modells des Himmels, das sich auf die Lichtstreuung durch kleine Partikel in der Luft zur Bestimmung der Bildausrichtung stützt. Durch Verwendung eines physischen Modells (im Unterschied zu einem Farb- oder Strukturmodel) wird die Erfindung nicht durch ähnlich farbige Motivgegenstände getäuscht, wie Wasserflächen, Wände, Spielzeuge und Kleidung. Der erfindungsgemäße Verfahren zur Bereichsextraktion ermittelt automatisch einen geeigneten Schwellenwert für das Himmelsfarben-Wahrscheinlichkeitsraster. Durch Nutzung des physischen Modells in Kombination mit Farb- und Strukturfiltern erzeugt die Erfindung Ergebnisse, die herkömmlichen Systemen überlegen sind.
Die Erfindung wird im folgenden anhand in der Zeichnung dargestellter Ausführungsbeispiele näher erläutert.
Es zeigen
1 eine schematische Darstellung der Architektur eines Ausführungsbeispiels der vorliegenden Erfindung;
2 eine schematische Darstellung der Architektur eines Ausführungsbeispiels der vorliegenden Erfindung;
3A–3B schematische Darstellungen der Farben von Tageslicht bzw. Zwielicht an einem klaren Himmel;
4 eine dreidimensionale grafische Darstellung des Clusters eines blauen Himmels im Farbraum;
5 eine grafische Darstellung der Receiver Operating Characteristic (ROC) der Klassifizierung der Himmelsfarben;
6 eine schematische Darstellung der Architektur der Bereichsextraktion der vorliegenden Erfindung;
7 eine grafische Darstellung der erfindungsgemäßen Schwellenwertbestimmung für die Himmelsfarbenwahrscheinlichkeiten;
8A–8B grafische Darstellungen typischer Verteilungen der Gradientengrößen in einem Himmelsbereich;
9 eine schematische Darstellung der Architektur der erfindungsgemäßen Spurenanalyse (Trace-Analyse);
10A eine Kurve zur Darstellung einer typischen Spur eines klaren Himmels;
10B eine Kurve zur Darstellung einer typischen Spur einer blauen Wand;
11A eine Kurve zur Darstellung einer typischen Spur von Himmel mit Wolken;
11B eine Kurve zur Darstellung einer typischen Spur von Wasser;
12A–12H unterschiedliche Stufen erfindungsgemäß verarbeiteter Bilder und
13A–13H unterschiedliche Stufen erfindungsgemäß verarbeiteter Bilder.
Wie zuvor erwähnt, ist es von Vorteil, die Bildausrichtung automatisch zu ermitteln, um eine umständliche Neuausrichtung eines Bildes zu vermeiden, die von einem Bediener ansonsten durchgeführt werden müsste. Gleichzeitig ist dies in Bezug auf die Effizienz bei der massen weisen Bildverarbeitung in kommerziellen Systemen von Bedeutung. Zudem muss ein zuverlässiges Himmelserkennungsverfahren über Farbe und Struktur hinausgehen. Es ist ein physikalisches Modell des Himmels wünschenswert, um zwischen wahren Himmelsbereichen und anderen, ähnlich farbigen und strukturierten Motivgegenständen unterscheiden zu können. Die vorliegende Erfindung beschreibt nachfolgend ein zuverlässiges Verfahren zur Himmelserkennung, das zwischen wahren Himmelsbereichen und anderen, ähnlich farbigen und strukturierten Motivgegenständen unterscheidet.
In dieser Anwendung umfasst die Himmelserkennung alle Pixel in einem Bild, die dem nicht verdeckten Teil des Himmels entsprechen.
Die Himmelserkennung weist zudem jeder einzelnen segmentierten Region eine Wahrscheinlichkeit in Bezug auf die Tatsache zu, dass es sich um Himmel handelt. Es ist der nachfolgenden herkömmlichen Verarbeitung des Bildinterpretationssystems überlassen, die Wahrscheinlichkeitsdarstellung zu nutzen oder diese in eine "scharfe" (crisp) Entscheidung umzuwandeln. Zu wichtigen Merkmalen der Erfindung zählen ein zuverlässiges Verfahren zur Himmelserkennung, das auf der Farbtonklassifizierung, der Strukturanalyse (Trace-Analyse) und der physikalisch motivierten Himmelsspurenanalyse beruht, die Nutzung der Farbtoninformationen zur Auswahl heller, himmelfarbener Pixel, die Nutzung einer Analyse verbundener Komponenten, um potenzielle Himmelsbereiche zu finden, die Nutzung eines Gradienten zur Bestätigung, dass die Himmelsbereiche einen geringen Strukturanteil aufweisen (d.h. offenen Raum), die Nutzung einer Segmentierung in offene Räume zur Trennung benachbarter Bereiche mit ähnlichen Himmelsfarbenwahrscheinlichkeiten und unterschiedlichen Himmelsfarben, die Nutzung des Gradienten zur Bestimmung der Zenith-Horizont-Richtung und die Nutzung einer physikalisch motivierten Himmelsspurensignatur, um zu ermitteln, ob ein betreffender Bereich in ein Himmelsmodell passt.
Der Begriff "digitale Bildinterpretationstechnologie" bezeichnet in der hier verwendeten Bedeutung eine Technologie, die insbesondere darauf ausgelegt ist, für eine Digitalbilddarstellung in mindestens einem Teil einer Originalszene, die von einer Bilderfassungsvorrichtung erfasst worden ist, bei der es sich nicht um einen Kopierer oder Scanner handelt, exklusiv folgende Funktionen durchzuführen: (i) die digitale Verarbeitung eines derartigen Digital bildes (nicht nach Farbe und/oder Helligkeit (d.h. die nicht räumliche Analyse der Farbe)), um folgendes zu erkennen und diesem eine Bedeutung zuzuordnen:
ein menschlich verständliches Objekt (im Unterschied zu einem (a) von Menschen erzeugten grafischen Objekt, beispielsweise, aber nicht abschließend, ein Diagramm, eine Tabelle, ein alphanumerisches Zeichen, eine Markierung, ein Symbol, ein Muster und eine beliebige Kombination aus dem Vorausgehenden, (b) die gesamte Originalszene oder (c) ein von einem Menschen vollständig bezeichneter Teil der Originalszene,
ein Objektattribut (beispielsweise, aber nicht abschließend, Eigenschaften, Bewegung oder Richtung eines menschlich verständlichen Objekts) in einer derartigen Originalszene (im Unterschied zur Verwendung eines derartigen Objektattributs zur Kontrolle der Funktionen, einschließlich von Bildsignalverarbeitungsfunktionen, der Bilderfassungsvorrichtung),
oder
einen Szenenzustand (im Unterschied zur Verwendung eines derartigen Szenenzustands zur Kontrolle der Funktionen, einschließlich von Bildsignalverarbeitungsfunktionen, der Bilderfassungsvorrichtung) einer derartigen Originalszene, und
(ii) gestützt auf die Ergebnisse von Schritt (i) und gemäß einer derart verwendbaren Bedeutung, das Modifizieren, Umwandeln, Komprimieren, Expandieren, Verbessern, Bearbeiten, Klassifizieren, Formatieren, Übertragen oder Speichern der Digitalbilddarstellung mindestens eines Teils der Originalszene oder das Veranlassen einer durchzuführenden Operation, bei der es sich nicht um eine Bildverarbeitung handelt.
Ein Blockdiagram des Systems zur Himmelserkennung (z.B. der digitalen Bildinterpretationstechnologie) wird in 1 gezeigt. Ein Digitalbild 10 wird digital verarbeitet 20. Die aus der Verarbeitung 20 erzielten Ergebnisse 30 werden zusammen mit dem ursprünglichen Digitalbild 10 in einem Bildbearbeitungsschritt 40 zur Erstellung eines modifizierten Bildes 50 verwendet.
2 zeigt ein detaillierteres Funktionsdiagramm der vorliegenden Erfindung. 2 zeigt den Empfang eines Eingabebildes in digitaler Form 202. Die Pixel werden mithilfe eines Farbklassifizierers in einem Klassifizierungsprozess in himmelfarbene und nicht himmelfarbene Pixel unterteil 204, wie nachfolgend detaillierter besprochen wird. Anhand der nachfolgend besprochenen Analyse der verbundenen Komponenten wird ein räumlich zusammenhängender Bereich himmelfarbener Pixel extrahiert 206. Falls verbundene Komponenten von wesentlicher Größe nicht vorhanden sind, lässt sich die Ausrichtung des Bildes durch die vorliegende Erfindung nicht ermitteln 207. Wenn aber mindestens eine der verbundenen Komponenten in dem Bild größer als ein gegebener Schwellenwert ist, setzt sich die Verarbeitung wie nachfolgend besprochen fort.
Der zuvor erwähnte Schwellenwert für die Größe einer verbundenen Komponente lässt sich manuell oder automatisch bestimmen. Der untere Schwellenwert für die Größe einer verbundenen Komponente lässt sich als ein bestimmter Prozentsatz des gesamten Bildbereichs festlegen. Beispielsweise könnte der Schwellenwert für die Größe einer verbundenen Komponente auf 1%, 15%, 25% 50% oder 75% des gesamten Bildbereichs festgelegt werden, und in einem bevorzugten Ausführungsbeispiel auf 10% des gesamten Bildbereichs. Alternativ hierzu könnte der Schwellenwert nach einer Historie automatisch bestimmt werden. Beispielsweise kann eine Historiendatenbank in Bezug auf die Ausrichtung gepflegt werden, die den optimalen Mindestwert für die Größe einer verbundenen Komponente für einen bestimmten Bildtyp ausweist. Einige oder alle Bilder eines Bildstapels könnten auch vorverarbeitet werden (z.B. können kleine Testläufe durchgeführt werden), und zwar unter Verwendung verschiedener Größenbeschränkungen für verbundene Komponenten, um die optimale Schwellenwertgröße zu ermitteln, bevor alle Bilder in einem Stapel auf die optimale Bildausrichtung gebracht werden.
Auf jedes innere Pixel der verbundenen Komponente (oder des "Bereichs") werden Gradientenoperatoren gelegt, um die horizontalen und vertikalen Gradientenwerte zu berechnen 208, wie nachfolgend besprochen. Es sei darauf hingewiesen, dass sich keine der horizontalen und vertikalen Richtungen auf die eingehende Ausrichtung des Bildes bezieht. Die eingehende Ausrichtung, wie zuvor erläutert, hat keine Wirkung auf die tatsächliche Ausrichtung der Szene in dem Bild. Die Pixel in Nähe der Grenze der verbundenen Komponente (z.B. die äußeren beiden Pixel um die verbundene Komponente herum) werden von der Gradientenbe rechnung ausgeschlossen, weil sie den oft großen Übergang zwischen Himmel und anderen Gegenständen darstellen, beispielsweise den Horizont.
Mittlere horizontale und vertikale Gradientenwerte Gx und Gy werden mithilfe aller in dem Kandidatenbereich liegenden Pixel berechnet (wie nachfolgend besprochen). Die Erfindung führt eine Reihe von Tests durch, um verschiedene Kandidatenbereiche zu disqualifizieren 209. Wenn ein Wert über einem vorgegebenen hohen Schwellenwert T_high liegt, was darauf hinweist, dass der Bereich stark strukturiert ist, wird dieser Bereich nicht als Himmelsbereich erkannt. Wenn | Gx | und | Gy | nahezu identisch sind, was auf einen flachen Bereich hinweist, wird der Bereich ebenfalls nicht als Himmelsbereich erkannt. Wenn die Farb(ton)verteilung aller Pixel in dem betreffenden Bereich nicht den erwarteten Eigenschaften eines Himmelsbereichs entspricht, wird der Bereich auch nicht als Himmelsbereich erkannt. In Bezug auf die Farbverteilung sollte die 3D-Form der Himmelsfarbverteilung einer geneigten Ellipse ähnlich sehen, was das Ergebnis des Desaturierungseffekts ist, wie nachfolgend besprochen wird. Wenn der Kandidatenbereich keinen Bildrand berührt, handelt es sich bei dem Bereich wahrscheinlich auch nicht um Himmel. Wenn das Bild wahrscheinlich keine akzeptablen Himmelsbereiche aufweist, kann die vorliegende Erfindung die Ausrichtung nicht ermitteln, worauf eine nicht festgelegte Ausrichtung erzeugt wird 218.
Wenn mindestens ein Kandidatenbereich den Test auf geringe Strukturierung besteht, werden die Querformat-/Hochformatausrichtung 210 und die Richtung des Horizonts 212 für jeden der betreffenden Himmelsbereiche ermittelt. Vorzugsweise wird der Gradient im roten Kanal untersucht, weil der Desaturierungseffekt im roten Kanal am stärksten zu beobachten und zu messen ist. Es sei darauf hingewiesen, dass sich die durch Gx und Gy bezeichneten horizontalen und vertikalen Gradienten auf die eingehende Richtung des Bildes beziehen, die als Querformat angenommen wird, aber nicht mit der Szenenausrichtung in Beziehung steht. Wenn |Gy| > |Gx|, weist dies auf ein Querformatbild hin, ansonsten auf ein Hochformatbild. Wenn für ein Querformatbild Gy<0 weist dies auf ein Bild hin, das richtig herum steht, ansonsten auf ein Bild, das auf dem Kopf steht. Wenn für ein Hochformatbild Gy<0 weist dies auf ein Bild hin, das mit der linken Seite nach oben steht, ansonsten auf ein Bild, das mit der rechten Seite oben steht.
Anhand dieser Informationen ist die vorliegende Erfindung in der Lage, die korrekte Bildausrichtung genau zu ermitteln 214. In der vorliegenden Erfindung wird der Gradient mit folgenden Sobel-Kernen berechnet.
Mithilfe von Faltungsoperationen, wie mit Θ bezeichnet, werden zwei Gradientenbilder erzeugt: g_x = S_xΘI und g_y = S_yΘI . Der mittlere Gradient eines Kandidatenbereichs wird durch
und
erzeugt, wobei p ein Innenpixel des Kandidatenbereichs ist und N_p die Gesamtzahl der Innenpixel. Die mittleren Gradientenwerte in horizontaler und vertikaler Richtung, Gx und Gy, werden verwendet, um die Bildausrichtung zu ermitteln, wie zuvor beschrieben.
Die konventionellen Ausrichtungsprozesse basieren einfach auf der Annahme, dass der "Himmel" im Bild oben liegt" (Goodwin, s.o.). Im Unterschied dazu benutzt die vorliegende Erfindung die inneren Eigenschaften des Himmels, um die Ausrichtung der Szene zu ermitteln, d.h. dass der Himmel oben blau ist, und dass die Sättigung zum Horizont hin abnimmt.
Die Bildausrichtung lässt sich zudem weiter eingrenzen, indem man die Lage des Himmels durch den in 216 gezeigten Unterprozess bestätigt. Über einen Kandidatenbereich werden entlang der Horizont-Zenith-Richtung Spuren extrahiert 220, wie zuvor beschrieben. Für jede Spur wird eine Vielzahl von Himmelsspurkennzeichen (wie nachfolgend besprochen) gemessen 222, um zu ermitteln, ob jede Spur wahrscheinlich aus einem Himmelsbereich stammt. Die Wahrscheinlichkeit oder die Überzeugung, dass ein betreffender Bereich ein Himmel ist, wird ermittelt, indem alle extrahierten Himmelsspuren einer Bewertung unterzogen werden 224. Wenn die Gesamtwahrscheinlichkeit eines betreffenden Bereichs über einer vorbestimmten Schwelle 226 liegt, wird der betreffende Bereich als Himmelsbereich deklariert 230, und die Ausrichtung wird bestätigt.
Dieser Bestätigungsprozess 216 ist für eine robustere Bestimmung der Bildausrichtung wünschenswert. Mit diesem Bestätigungsprozess 216 erhöht sich die Verlässlichkeit der ermittelten Himmelsausrichtung und demnach der Bildausrichtung, weil die Informationsquelle für die Ausrichtung verlässlicher ist. Der herkömmliche Weg, bei der die Lage eines himmelfarbenen Bereichs zur Ermittlung der Bildausrichtung herangezogen wird, ist unzuverlässig. Der erfindungsgemäße Weg, der den Desaturierungseffekt in einem himmelfarbenen, strukturschwachen Bereich nutzt, ist viel zuverlässiger. Der zuverlässigste Weg zur Ermittlung der Ausrichtung ist die Verwendung des Desaturierungseffekts (z.B. Desaturierungsgradienten für Spurenkomponenten in Horizont-Zenith-Richtung, wie zuvor beschrieben) in einem bestätigten Himmelsbereich.
Alle betreffenden Bereiche werden auf die gleiche Weise analysiert. Wenn die erkannten Himmelsbereiche nicht mit der Himmelsausrichtung übereinstimmen, wird über die Gesamtausrichtung des Bildes anhand der Ergebnisse aus größeren Himmelsbereichen mit höherer Wahrscheinlichkeit entschieden. Bereiche mit kollidierender Himmelsausrichtung werden ignoriert.
Es ist nahezu axiomatisch, dass der Himmel für das menschliche Auge blau, die Wiese grün, Schmutz grau/rot/braun und Wasser blaugrün ist. Die tatsächliche Aufzeichnung in einem Digitalbild weicht davon jedoch etwas ab. Dies gilt nicht nur für Himmelsbereiche, die warme Farben enthalten, die dem Sonnenaufgang und Sonnenuntergang zugeordnet sind, sondern auch für Himmelsbereiche, die blauer erscheinen als es die Farbaufzeichnung zeigt. Das Problem verschärft sich möglicherweise noch durch die Tatsache, dass die Farbbalance des gesamten Bildes aufgrund des Fehlers verschoben sein kann, der während der Bildaufnahme und in anderen Stufen der Bebilderungskette eingebracht wird.
Die Blaudarstellung des Himmels in einem Farbbild ist das Ergebnis der menschlichen Physiologie und Psychologie sowie der Physik; die roten und grünen Komponenten eines blau erscheinenden Himmelspixels können (um einen kleinen Prozentsatz) stärker als die Blaukomponente sein. Zudem ist ein klarer, wolkenloser Himmel normalerweise der hellste Motivgegenstand in einem Bild, obwohl die Sonne selbst, beleuchtete Wolken, Schnee, Eis oder einige künstliche Objekte heller als der blaue Himmel sein können. Die Sonne scheint in dem orange-gelben Wellenlängenbereich am hellsten. Nach dem Rayleighschen Gesetz ver teilt die wellenlängenselektive Streuung von Luftpartikeln die blaue Lichtkomponente der Sonnenstrahlen viel stärker als die längere Wellenlänge (siehe beispielsweise C.F. Bohren und D.R. Huffman, Absorption and Scattering of Light by Small Particles, New York, USA, John Wiley and Sons, 1983). Die Farbe des Himmels setzt sich allerdings vorwiegend aus Violett zusammen (gegenüber dem unsere Augen nicht sehr empfindlich sind) und einem größeren Anteil von blau, einem kleinen Anteil von grün und einem sehr kleinen Anteil von gelb und rot, wobei die Summe aller dieser Komponenten himmelblau ist (siehe beispielsweise M. Minnaert, The Nature of Light and Color in the Open Air. New York, USA, 1954).
Die blaue Erscheinung des Himmels ist jedoch nicht gleichmäßig. Der Himmel erscheint oft gegenüber dem Horizont desaturiert. Wenn man sich den Himmel direkt seitlich über der Sonne anschaut, dominiert das gestreute blaue Licht, und der Himmel erscheint tiefblau. Während man den Blick in Richtung Sonne wandern lässt, nimmt die relative Stärke der Komponenten mit längerer Wellenlänge zu, so dass der Himmel weniger blau erscheint. Wenn man den Blick dem entfernten Horizont zuwendet, gleichen sich die verschiedenen selektiven Faktoren tendenziell an, und der Himmel erscheint desaturiert bis nahezu weiß.
Es gibt eine Reihe interessanter Effekte bezüglich der Lichtverteilung im Himmel, z.B. Lichthöfe, Luftspiegelungen und Regenbögen. Dabei steigt die Lichtintensität vom Zenith zum Horizont an, während sich gleichzeitig die Farbe von dunkelblau nach weiß ändert. Dieser Effekt ist vorwiegend auf die Dicke der Luftschicht zwischen unseren Augen und dem Horizont zurückzuführen. Obwohl die kleinen Luftpartikel vorzugsweise die blauen Strahlen streuen, werden die gestreuten Strahlen vor allem in ihrer langen Bahn von den Streupartikeln bis zum Auge hin geschwächt. Aufgrund der sehr dicken Luftschicht wirken die Streuung und die Dämpfung gegeneinander.
Es sei angenommen, ein kleiner Partikel im Abstand x zu einem gegebenen Punkt streut mit dem Bruchteil sdx (wobei s der farbabhängige Streufaktor und dx die Größe des Partikels ist). Die Lichtmenge wird im Verhältnis e^–sx abgeschwächt, bevor Sie den gegebenen Punkt erreicht. Das von einer unendlich dicken Luftschicht empfangene Licht (eine Näherung) besteht aus der Summe der Anteile aller Partikel dx, als,
die gleich eins ist. Die Menge des empfangenen Lichts und somit auch die Farbe des Lichts ist von s unabhängig.
Der Himmel in Nähe des Horizonts zeigt daher die gleiche Helligkeit und Farbe wie ein weißer, von der Sonne beleuchteter Schirm. Die Schichten der Luft in Nähe des Bodens können zudem mehr schwebende große Staubpartikel enthalten, die das Licht aller Farben in gleichem Maße streuen und die Farbe des Lichtes weißer werden lassen (auch wenn die Luftschicht keine unendliche Dicke haben kann).
Wenn sich der Beobachter von der Sonne abwendet, so dass die Sonne den Beobachter von hinten oder seitlich anleuchtet, erfolgt die konzentrische Verteilung des Lichts aufgrund der Position der Sonne (hoch über dem Horizont) und der eingeschränkten Sicht des Betrachters ungefähr parallel zum Horizont. Wenn der Betrachter in Richtung der Sonne blick (wobei er im Schatten eines Gebäudes in Nähe der Schattenkante steht), nimmt die Helligkeit der Sonne schnell in Richtung der Sonne zu und wird grell, wobei die Farbe immer weißer wird. In fotografischen Bildern ist es äußerst ungewöhnlich, dass man ein Bild der direkten Sonnenstrahlung aufnimmt, es sei denn, es handelt sich um einen Sonnenaufgang oder Sonnenuntergang, wenn die Sonne am Horizont steht und die Lichtintensität wesentlich schwächer ist.
Obwohl der blaue Himmel als das beste Beispiel für eine gleichmäßige Farbabstufung gelten kann, weist Zwielicht eine viel dramatischere Farbabstufung in ähnlicher Form einer konzentrischen Verteilung mit konstanter Helligkeit und Farbe auf, wie in 3A–B gezeigt. 3A–B zeigt die verschiedenen Farben, die am östlichen Horizont zu sehen sind, wenn die Sonne im Osten untergeht (z.B. Tageslicht gegenüber Zwielicht). Der Gegenstand der vorliegenden Erfindung betrifft zwar nicht die Erkennung eines Himmels im Zwielicht, aber es lassen sich bestimmte eindeutige Merkmale der Zwielichthimmels für ein allgemeineres Verfahren zur Himmelserkennung nutzen. Wenn eines der in der vorliegenden Erfindung verwendeten Merkmale abgeschaltet wurde, erfasste das Verfahren weiterhin erfolgreich den Zwielichthimmel in 3B, wie nachfolgend besprochen.
Es ist zudem wichtig, die Faktoren zu betrachten, die die Farbe des Wassers bestimmen, die oft von der des Himmels nicht zu unterscheiden ist. Ein Teil des Lichts, das vom Wasser auf unser Auge fällt, wird von dessen Oberfläche reflektiert; es funktioniert wie ein Spiegel, wenn es glatt ist, wobei die Farbe des Wassers, je nach Farbe des Himmels, blau oder grau erscheint. Die Farbe der See (oder einer großen, offenen Wasserfläche) in der Entfernung ist so wie die des Himmels in einer Höhe von 20° bis 30° und erscheint unmittelbar über dem Horizont dunkler als der Himmel. Das ist darauf zurückzuführen, dass nur ein Teil des Lichts reflektiert wird, wenn unser Blick auf die Gefälle entfernter Wavelets fällt (siehe z.B. Minnaert, The Nature of Light and Color in the Open Air. New York, USA, 1954).
Abgesehen von der Reflexion hat tiefes Wasser eine "Eigenfarbe", nämlich die Farbe des von unten zurückgeworfenen Lichts. In der Tiefsee kann die Wassertiefe so groß sein, dass praktisch kein Licht vom Boden zurückgeworfen wird. Die "Eigenfarbe" ist auf die kombinierte Wirkung der Streuung und Absorption im Wasser zurückzuführen. Die Farbe von tiefem, nahezu reinem Wasser ist blau, und zwar aufgrund der Absorption des Lichts in den orangefarbenen und roten Bestandteilen des Spektrums, nachdem Licht das Wasser durchdrungen hat und wieder zurückgeworfen wird.
Um den Himmel erkennen zu können, muss man zwischen blauem (normalerweise tiefem) Wasser und dem Himmel unterscheiden können, gleichgültig, ob die Wasserfläche zusammen mit dem Himmel abgebildet ist oder nicht. Das größte Augenmerk liegt dabei auf der Absorption der orangefarbenen und roten Komponenten des Lichts durch das Wasser. Die Wellen und Bewegungen tiefer Wasserflächen erzeugen kleine Oberfläche mit unterschiedlichen Gefällen. Im Allgemeinen erscheint die Farbe einer Oberfläche dunkler, wenn die Fläche zu unserem Blick hin rechtwinkliger oder näher angeordnet ist. Diese Änderungen betreffen jedoch vorwiegend die Helligkeit und nicht den Farbton.
Was die zuvor erwähnte Farbklassifizierung angeht (siehe Position 201, 2), wird von der vorliegenden Erfindung zunächst der Einfachheit halber ein Farbklassifizierer für klaren, hellblauen Himmel bei Tageslicht trainiert. Himmelsbereiche, die die warmen Farben enthalten, die Sonnenaufgang und Sonnenuntergang zugeordnet sind, fallen aus den Bereichen blauen oder grauen Himmels heraus, die den Hintergrund in vielen Außenaufnahmen stellen. Im Zusammenhang mit der vorliegenden Erfindung identifiziert die farbgestützte Erkennung alle betreffenden blauen Himmelspixel, die dann als Bereiche für räumliche Merkmale abgetastet werden, die dem klaren Himmel entsprechen.
Ein neuronales Netz wird dann trainiert, um das Training des Farbklassifizierers abzuschließen. Der erste Trainingssatz umfasst Bilder mit idealen Eigenschaften für blauen Himmel, grauen Himmel und Bildern ohne Himmel (vorwiegend Innenaufnahmen). Alle blauen Him melspixel wurden als positive Beispiele aufgenommen, alle Pixel, die weder einem blauem Himmel noch einer Wasserfläche zugeordnet werden konnten, wurden als negative Beispiele aufgenommen.
Ein neuronales Netz mit Feedforward-Strategie wurde mit zwei verdeckten Schichten aufgebaut, die 3 und 2 Neuronen enthielten, sowie ein einzelnes Ausgabeneuron (siehe z.B. Howard Demuth und Mark Beale, Matlab Neural Network Toolbox, The MathWorks, Inc., 1998).
Die Neuronen in der verdeckten Schicht wiesen tangential-sigmoide Übertragungsfunktionen auf, während die Übertragungsfunktion des Ausgabeneurons logarithmisch-sigmoid war. Das Netz wurde mit der Backpropagation von Levenberg-Marquardt trainiert, um Pixelwerte als idealen blauen Himmel oder als nicht dem Himmel zugehörig zu klassifizieren (siehe z.B. Howard Demuth und Mark Beale). Die Zielantwort ist a=1 für ideal blaue Himmelspixel und a=0 für nicht dem Himmel zugehörige Pixel.
Der so trainierte Farbklassifizierer gab einen Wahrscheinlichkeitswert zwischen 0 und 1 für jedes verarbeitete Pixel aus, wobei 1 ein Pixel bezeichnet, das sehr wahrscheinlich blauen Himmel darstellt, während 0 ein Pixel bezeichnet, das sehr wahrscheinlich keinen blauen Himmel darstellt. Um das Ansprechen der vorliegenden Erfindung auf Punkte im (r,g,b) Eingaberaum zu veranschaulichen, zeigt 4A ein regelmäßig beabstandetes Gitter aus (r,g,b)-Triplets aus Beispielbildern, die mit der Erfindung verarbeitet wurden.
Die Punkte, die Wahrscheinlichkeit von größer 0,1 für blauen Himmel aufweisen, sind in 4 mit "." markiert. Die Projektionen dieser Verteilung auf die drei Ebenen werden ebenfalls gezeigt (mit "o" markiert). Es sei darauf hingewiesen, dass sich die Verteilung in die Helligkeitsrichtung erstreckt und mit abnehmender Helligkeit etwas divergiert. Für jedes Eingabebild wird jedes Pixel unabhängig klassifiziert, und es wird ein Wahrscheinlichkeitsraster erstellt, indem die Helligkeit jedes Pixels proportional zu dessen Wahrscheinlichkeitswert eingestellt wird. Beispiele dieser Wahrscheinlichkeitsraster sind in 12E-F und 13E-F zu sehen.
5 zeigt eine Receiver Operating Characteristic (ROC) auf Pixelebene des erfindungsgemäßen Farbklassifizierers. Die Kurve zeigt die richtige positive und die falsche positive Bestimmung, wenn der Verarbeitung im Farbklassifizierer unmittelbar ein harter Schwellenwert auf verschiedenen Ebenen folgt.
Herkömmlicherweise ist der globale Schwellenwert nicht dynamisch und lässt sich finden, indem man die Position auf der Kurve sucht, die der oberen linken Ecke der in 5 gezeigten Kurve am nächsten ist. Ein Schwellenwert von beispielsweise 0,0125 ergibt eine richtige Erkennung von 90,4% an blauen Himmelspixeln, erkennt aber auch (fälschlicherweise) 13% nicht blaue Himmelspixel. Unter den erkannten nicht blauen Himmelspixeln macht Wasser einen wesentlichen Anteil aus. Im Unterschied dazu nutzt die Erfindung keinen vordefinierten "harten" Schwellenwert, sondern führt einen Bereichsextraktionsprozess durch, bevor jeder Bereich gegenüber einer Menge von Himmelsmerkmalen ausgewertet wird. Dieser Prozess wird nachfolgend detailliert in Bezug auf 7 besprochen.
Das erfindungsgemäße Bereichsextraktionsverfahren (z.B. Position 202, wie zuvor besprochen) ermittelt automatisch einen entsprechenden Schwellenwert für das Himmelsfarben-Wahrscheinlichkeitsraster, indem der erste Talsohlenpunkt ermittelt wird, wobei das Verfahren in dem Wahrscheinlichkeitshistogramm von den niedrigeren Wahrscheinlichkeiten zu den höheren Wahrscheinlichkeiten verfährt und eine Analyse der verbundenen Komponenten durchführt, wie in 7 gezeigt. Bei der Erfindung werden zudem die verbundenen Komponenten so verarbeitet, dass eine Darstellung der Himmelssegmente auf Bereichsebene erfolgt, was eine Auswertung der Himmelsmerkmale ermöglicht, die andernfalls auf Pixelebene unmöglich wäre.
6 zeigt eine detailliertere Darstellung des Bereichsextraktionsverfahrens 202 (aus 2). Für ein Wahrscheinlichkeitsraster 71, in dem der Wert jedes Pixels proportional zu der Wahrscheinlichkeit ist, dass das Pixel eine Himmelsfarbe aufweist, wird in adaptiver Weise ein globaler Schwellenwert 72 ermittelt, wie nachfolgend in Bezug auf 7 besprochen. Mithilfe dieses Schwellenwerts wird ein binäres Raster 73 erzeugt, wobei ein Pixel "1" als ein potenzielles Himmelspixel gilt und ein Pixel "0" als kein Himmelspixel. Verbundene Komponenten, die Bereiche räumlich zusammenhängender Pixel mit dem Wert "1" sind, werden dann eindeutig markiert 74, um räumlich getrennte Bereiche von Himmelsfarben zu erzeugen, die nicht null sind. Pixel, die keine Himmelsfarbe aufweisen, sind mit "0" gekennzeichnet (was im vorliegenden Zusammenhang als "ungekennzeichnet" gilt), und zwar unabhängig davon, ob sie miteinander verbunden sind. Jede verbundene Komponente der Himmelsfarbe wird mithilfe von zwei Operationen verarbeitet 75, die nachfolgend detaillierter besprochen werden, um die verbundenen Komponenten der Himmelsfarbe zu erzeugen 76. Ein Offenraum-Raster 77 (wie nachfolgend besprochen) wird mit den verbundenen Komponenten kombiniert, um die betreffenden Himmelsbereiche zu erzeugen, die von Position 202 in 2 ausgegeben werden.
7 zeigt das erfindungsgemäße Verfahren für die dynamische Bestimmung des globalen Schwellenwerts. Zunächst wird ein Histogramm der Wahrscheinlichkeitswerte aus dem Wahrscheinlichkeitsraster von Himmelsfarben erstellt. Dann wird das Histogramm geglättet, um Rauschen zu entfernen (wodurch z.B. die in 7 gezeigte Kurve entsteht). Das erste signifikante Tal (z.B. "erstes Tal" in 7) wird in dem geglätteten Histogramm gefunden. In einem einfachen Bild, in dem ein Himmelsbereich vorhanden ist und alles andere als nicht dem Himmel zugehörig erkannt wird, hat das Histogramm nur zwei Spitzen und dazwischen ein Tal. In komplexen Bildern gibt es Himmel, Wasser und andere blaue Bereiche. Die vorliegende Erfindung nutzt daher ein anderes Histogramm für jedes Bild, was es ermöglicht, einen dynamischen Schwellenwert für jedes durch die Erfindung zu verarbeitende, einzelne Bild zu erzeugen.
In Saber (siehe oben) wurde das letzte Tal in dem geglätteten Histogramm verwendet, um eine universelle Schwelle in einer maximalen Wahrscheinlichkeitsbewertung einzustellen, die auf der Annahme fußt, dass der wahre Himmelsbereich in einem Bild stets die höchste Wahrscheinlichkeit aufweist. In einigen Fällen kann ein blauer Bereich, der kein Himmel ist, bezüglich der Farbe eine höhere Himmelswahrscheinlichkeit aufweisen. Die Erfindung unterzieht daher alle himmelfarbenen Bereiche einer weiteren Analyse und sortiert in den weiteren Stufen des Himmelserkennungsverfahrens Bereiche aus, die zwar Himmelsfarben aufweisen, aber kein Himmel sind. Der Wahrscheinlichkeitswert, an dem sich das erste Tal befindet, wird daher als globaler Schwellenwert gewählt. Wie zuvor erwähnt, wird dieser Schwellenwert adaptiv für jedes einzelne Bild ermittelt, um unterschiedliche Schattierungen des Himmels sowie die Bildaufnahmebedingungen zu berücksichtigen.
Die erste der beiden Weiterverarbeitungsoperationen, wie in Position 75 oben besprochen, ist eine Bereichsaufteilung. Die Bereichsaufteilung wird benutzt, um räumlich verbundene, bläuliche Bereiche (potenzielle Himmelsbereiche) aufzuteilen, die zu verschiedenen Objekten gehören, aber ansonsten die gleichen Wahrscheinlichkeitswerte in Bezug auf Himmelsfarbe aufweisen. Ein derartiger Bereich könnte beispielsweise ein blaues Tuch gegenüber einem blauen Himmel sein. Derartige Bereiche weisen ähnliche Wahrscheinlichkeiten auf (insofern, als dass es typische Himmelsfarben sind), und sind daher in dem Wahrscheinlichkeitsraster nicht trennbar.
Derartige Bereiche haben eine unterschiedliche Blauschattierung und sind daher mit universellen Farbsegmentierungsprozessen unterscheidbar, wie dem adaptiven k-Means-Verfahren (siehe z.B. J. Luo, R.T. Gray und H.-C. Lee "Towards a Physics-Based Segmentation of Photographic Color Images," in Proc. IEEE Int. Conf. Image Process.). Die Erfindung verwendet dieses Verfahren und teilt einen gekennzeichneten Bereich von Himmelsfarben in zwei oder mehrere Bereiche auf (mit eindeutigen neuen Kennzeichen), wenn der Bereich ein Konglomerat aus mehreren Bereichen ist, wie durch das Farbsegmentierungsverfahren bezeichnet.
In einem anderen Ausführungsbeispiel der Erfindung ist ein Offenraum-Erkennungsverfahren 77 (wie in J. Warnick, R. Mehrotra und R. Senn, US-A-5,901,245, "Method and system for detection and characterization of open space in digital images" beschrieben) anstelle eines universellen Farbsegmentierungsverfahrens verwendbar. Ein offener Raum ist als glatter und zusammenhängender Bereich in einem Bild definiert. Er ist sehr dafür geeignet, einen Text oder ein figürliches Element in einem Bild anzuordnen.
Das zuvor erwähnte automatische Offenraum-Erkennungsverfahren (Warnick, siehe oben) beruht auf zwei getrennten Bearbeitungsstufen. Zunächst wird nach Durchführung einer Farbraumtransformation ein gradientengestütztes Aktivitätenraster berechnet und ein entsprechender Schwellenwert gemäß einer Mehrbereichs-Histogrammanalyse ermittelt. In der zweiten Stufe wird das binäre Aktivitätenraster einer Analyse auf verbundene Komponenten unterzogen, um Lücken aufzufüllen und kleine Bereiche zu eliminieren. Das in Warnick (siehe oben) implementierte Offenraumverfahren ist effektiv und effizient. Es läuft in einem Bruchteil der Zeit ab, die für das Farbsegmentierungsverfahren erforderlich ist. Die Offenraumerkennung liefert zudem eine zusätzliche Bestätigung bezüglich der Glätte der potenziellen Bereiche. In dem bevorzugten Ausführungsbeispiel nutzt die vorliegende Erfindung daher das Offenraum-Erkennungsverfahren. Zudem wird die Offenraumerkennung verwendet, um (1) stark strukturierte Bereiche zu eliminieren und (2) den Himmel von anderen blaufarbenen Bereichen zu trennen, beispielsweise Wasserflächen.
Die in Position 75 in 6 durchgeführte zweite Verfeinerungsoperation umfasst das Bereichswachstum. Das erfindungsgemäße Bereichswachstumsverfahren wird benutzt, um Löcher auszufüllen und Grenzen auszudehnen. Dies ist besonders sinnvoll, wenn "marginale" Pixel Himmelsfarben-Wahrscheinlichkeitswerte aufweisen, die den globalen Schwellenwert nicht erfüllen, aber dicht genug an den Wahrscheinlichkeitswerten benachbarter Pixel liegen, die den globalen Ausgangsschwellenwert bestanden haben.
Mit der vorliegenden Erfindung wird ein "Wachstumsschwellenwert" benutzt, um derartige marginale Pixel neu als eine verbundene Komponente zu kennzeichnen, wenn die Differenz in den Wahrscheinlichkeitswerten zwischen einem "ungekennzeichneten" Pixel und seinem benachbarten "gekennzeichneten" Pixel kleiner als ein zweiter Schwellenwert für das Bereichswachstum ist. Es werden Seed-Bereiche erzeugt, indem man die Schnittmenge zwischen Pixeln mit Wahrscheinlichkeitswerten, die über dem Schwellenwert liegen, und verbundenen Komponenten im Offenraumraster bildet. Für Pixel, deren Werte unter den Wahrscheinlichkeitswerten liegen, beruht das Bereichswachstum auf der Kontinuität in den Wahrscheinlichkeitswerten und der Kontinuität in den Farbwerten. Kleine, isolierte Himmelsbereiche werden ignoriert.
In den Messungen der Himmelsspurkennzeichen, wie zuvor mit Bezug auf Position 207 in 2 besprochen, werden eindimensionale Spuren innerhalb des Bereichs entlang der Richtung vom Horizont zum Zenith extrahiert. Die Erfindung ermittelt automatisch die Himmelsausrichtung gestützt auf die Verteilung der vertikalen und horizontalen Gradienten in jedem extrahierten Bereich.
Durch das physikalisch motivierte Modell des Himmels nutzt die Erfindung insbesondere das Rotsignal, um die Himmelsausrichtung zu ermitteln. Wie zuvor besprochen, hängt beim physikalisch motivierten Himmelsmodell die Menge des Streulichts von der Wellenlänge des Lichts und dem Streuwinkel ab. Im Allgemeinen wird der Desaturierungseffekt zum Horizont durch eine Zunahme des roten und grünen Lichts im Verhältnis zum blauen Licht bewirkt. Im Zuge der vorliegenden Erfindung wurde zudem festgestellt, dass blaues Licht entlang der Horizont-Zenit-Richtung relativ unverändert bleibt. Die Veränderung des Grünsignals ist möglicherweise nicht so ausgeprägt wie in dem Rotsignal. Das Rotsignal liefert daher den zuverlässigsten Hinweis auf den Desaturierungseffekt. Die ungleichmäßige Gradientenverteilung ist daher am deutlichsten im Rotsignal zu beobachten.
Aufgrund des Desaturierungseffekts hat der Himmel einen niedrigen Gradienten in der Horizont-Zenith-Richtung, ist aber in rechtwinkliger Richtung im Wesentlichen konstant. Wenn die Sonne hoch über dem Horizont steht, erfolgt die konzentrische Verteilung des Streulichts ungefähr durch horizontale Streifen verschiedener Farbbereiche (siehe z.B. 3, Abfalleffekt der Verriegelungslinse). Die Gradientenverteilung hat daher in horizontaler und vertikaler Richtung verschiedene Eigenschaften, wie in 8A und 8B gezeigt (deren Gradienten jeweils parallel bzw. senkrecht zum Horizont verlaufen), wobei Mean 1<<Mean2
Nach der Bereichsextraktion 202 und der Ausrichtungsbestimmung 205 extrahiert der Prozess zur Bewertung der Himmelskennzeichnen eindimensionale Spuren in dem Bereich entlang der ermittelten Horizont-Zenith-Richtung 206, ermittelt weiter anhand eines Regelsatzes, ob die Spur einer Spur aus dem Himmel 207 gleicht, und berechnet dann die Himmelswahrscheinlichkeit des Bereichs durch den Prozentsatz der Spuren, die in das physikalisch basierende Himmelsspurenmodell 208 passen, wie zuvor erläutert.
Gestützt auf die Analyse zahlreicher eindimensionaler Spuren aus dem Himmel sowie einiger weiterer typischer himmelsfarbener Motivmerkmale in Bildern setzt die Erfindung Modelle zur Quantifizierung dieser Spuren ein. Insbesondere weisen Spuren, die entlang der Horizont-Zenith-Richtung extrahiert werden, ein Kennzeichen von Himmelsspuren auf, wie in 10A gezeigt. Das Blausignal einer Himmelsspur ist tendenziell über den gesamten Himmel konstant; das Grünsignal und das Rotsignal nehmen allmählich mit Entfernung zum Horizont ab; das Rotsignal nimmt schneller als das Grünsignal ab. Alle drei Signale können ungefähr anhand von Polynomen niedrigerer Ordnung approximiert werden (z.B. quadratische Polynome). Die Mikroabweichungen in den drei Signalen werden nicht korreliert. Im Vergleich dazu weisen einige andere blaufarbene Gegenstände keine derartige Kennzeichnung auf. Im Gegenteil, und wie in 10B gezeigt, gibt es eine typische Spur einer blauen Wand in einem mit Blitzlicht belichteten Bild, in dem sich die drei Signale gleichmäßig parallel zueinander ändern.
11B zeigt eine typische Spur durch eine Wasserfläche, wobei die drei Signale in lokalen Variationen stark korreliert sind. Beide Fälle weisen darauf hin, dass die Änderungen im Wesentlichen die Leuchtdichte (Bildhelligkeit) betreffen. Wie in 11A gezeigt, liegt ein gemischter Himmel vor, in dem (weiße) Wolken zusammen mit klarem, blauem Himmel vorhanden sind, wobei die Rot- und Grünsignale in den Wolken stark ausschlagen, während das Blausignal gleich bleibt und einen neutralen Wolkenbereich erzeugt. Das Rotsignal schlägt in den Wolken typischerweise um einen größeren Betrag als das Grünsignal aus.
9 ist ein Ablaufdiagramm zur Darstellung der Verarbeitung der eingegebenen Spur. In Position 100 wird eine extrahierte Spur in Bezug auf die in 10A–11B gezeigten Spurmodelle analysiert. Zunächst wird eine Anpassung eines quadratischen Polynoms (Fitting) 102 für die drei Signale rot, grün bzw. blau berechnet. Das quadratische Polynom ist gegeben durch y = f(x) = c1 + c2 * x + c3 * x², wobei x den Index der eindimensionalen Spur bezeichnet und y den Codewert des entsprechenden Signals.
Als nächstes wird eine Vielzahl von Merkmalen ("Kennzeichen") berechnet 102, und zwar gestützt auf der rohen Kurve oder der angepassten Kurve. Die Merkmale werden klassifiziert 103, so dass eine Spur als eine blaue Himmelsspur gekennzeichnet werden kann 104 oder als eine nicht blaue Himmelsspur (eine gemischte Himmelsspur 105, eine Wasserspur 106 oder eine "unbekannte" Spur (107). In dem nachfolgend gezeigten Beispiel werden zehn Maße ("Kennzeichen") für jede extrahierte Himmelsspur berechnet.
Ein einschlägiger Fachmann könnte allerdings jede Anzahl dieser Kennzeichen unter Bezug auf diese Beschreibung erstellen.
Das erste Kennzeichen betrifft den Versatz der Anpassung des quadratischen Polynoms. Der Versatz bezieht sich auf die mittleren Werte in den roten, grünen und blauen Kanälen. Dieses Kennzeichen erfordert, dass die mittlere blaue Komponente größer als die mittlere rote und grüne Komponente ist. Aufgrund der besonderen Weise, in der eine Spur extrahiert wird, ist mit diesem Kennzeichen die Forderung verbunden, dass die blaue Komponente auf der blauesten Seite der Spur am stärksten ist. Der entsprechende Pseudo-Code für eine Logikanweisung lautet:
wobei
# define BR OFFSET 10
# define BG OFFSET 5
# define RG OFFSET 5
Anstatt die vorausgehende scharfe Regel zu verwenden, kann es vorteilhaft sein, eine trapezoide Fuzzy-Benotungsfunktion von stetigen Werten und einen Abschaltpunkt mit einer bestimmten HUGEPENALTY zu verwenden, wenn diese Bedingung verletzt wird.
Das zweite Beispielkennzeichen betrifft das Gefälle der Anpassung des quadratischen Polynoms. Aufgrund der Art und Weise, in der eine Spur extrahiert wird, sind die Gefälle der RGB-Signale negativ. Das macht es erforderlich, dass das Blausignal langsamer abfällt (soweit zutreffend) als die Rot- und Grünsignale. Dieses Kennzeichen erlaubt andererseits auch einen monotonen Anstieg (positives Gefälle). Der Pseudo-Code in der Programmiersprache C für eine derartige Logikanweisung lautet:
Dieser ist als scharfe Regel implementiert. Eine Ausnahme wird ermöglicht, um die strenge Bedingung von sig2 oder von zwei nicht ganz so streng definierten Bedingungen sig2bg und sig2br zu lockern, wenn sig2 nicht erfüllt wird.
Das dritte Kennzeichen betrifft die Ähnlichkeit oder Parallelität unter den angepassten Signalen. Der entsprechende Pseudo-Code für eine Logikanweisung lautet:
Es sei darauf hingewiesen, dass rgdist dazu dient, die Differenz ("Distanz") zwischen zwei angepassten Rot- und Grünsignalen zu bezeichnen. Es lässt sich auf folgende Weise bestimmen. Zunächst wird eines der beiden Signale entsprechend verschoben, so dass das verschobene Signal den gleichen Wert am Ausgangspunkt wie das nicht verschobene Signal hat. Wenn die angepassten Rot- und Grünsignale wie folgt sind: r(x)= cr1 + cr2 x + cr3 x2, g(x)= cg1 + cg2 x + cg3 x2 (7)dann r ^(x) = r(x) + (cg1 – cr1 ) = cg1 + cr2 x + cr3 x2 (8)so dass r ^(0)= g(0).
Als nächstes wird die Differenz oder die Distanz zwischen den angepassten Rot- und Grünsignalen gegeben durch: rgdist = |r(L/2) – g(L/2)| (9)wobei L für die gesamte Länge der Spur steht. Mit anderen Worten misst dieses Merkmal die Differenz zwischen zwei angepassten Signalen durch die Distanz an zwei Mittelpunkten, wenn einer der beiden so verschoben wird, dass beide Signale den gleichen Ausgangswert aufweisen. Die beiden anderen Terme bgdist und brdist sind in ähnlicher Weise definiert. Eine Möglichkeit besteht darin, nicht die Absolutwerte zu verwenden, so dass Vorzeicheninformationen in Verbindung mit der absoluten Differenz benutzt werden.
Das vierte Kennzeichen betrifft die Rot-/Grün-Ähnlichkeit. Die Rot- und Grünsignale sollten recht ähnlich sein. Der entsprechende Pseudo-Code für eine Logikanweisung lautet:
wobei
# define MAXRGDIST 15
Das vierte Kennzeichen betrifft die niedrige Nichtlinearität. Alle drei Signale sollten eine niedrige Nichtlinearität aufweisen. Der entsprechende Pseudo-Code für eine Logikanweisung lautet:
wobei
#define MAXNONLINEARITY 0.05
Anstatt die vorausgehende scharfe Regel zu verwenden, kann es vorteilhaft sein, eine S-förmige Fuzzy-Benotungsfunktion von stetigen Werten und einen Abschaltpunkt mit einer bestimmten HUGEPENALTY zu verwenden, wenn diese Bedingung verletzt wird.
Das sechste Kennzeichen betrifft die Rot-Grün-Blau-Korrelation für große Modulation. Der entsprechende Pseudo-Code für eine Logikanweisung lautet:

wobei corr_xy den Korrelationskoeffizienten zwischen dem Signal x und y bezeichnet. Anstatt die vorausgehende scharfe Regel zu verwenden, kann es auch hier vorteilhaft sein, eine S-förmige Fuzzy-Benotungsfunktion von stetigen Werten und einem Abschaltpunkt (z.B. >0,95) mit einer bestimmten HUGEPENALTY zu verwenden, wenn diese Bedingung verletzt wird.
Das siebte Kennzeichen betrifft die Rot-Grün-Blau-Ähnlichkeit oder Beinahparallelität. Der entsprechende Pseudo-Code für eine Logikanweisung lautet:
wobei
#define MINDIST 1.5
Anstatt die vorausgehende scharfe Regel zu verwenden, kann es auch hier vorteilhaft sein, eine S-förmige Fuzzy-Benotungsfunktion von stetigen Werten und einen Abschaltpunkt (z.B. >0,95) mit einer bestimmten HUGEPENALTY zu verwenden, wenn diese Bedingung verletzt wird.
Das achte Kennzeichen betrifft das negative Rot-/Grün-Gefälle. Der entsprechende Pseudo-Code für eine Logikanweisung lautet:
Dieser ist als scharfe Regel implementiert.
Das neunte Kennzeichen betrifft die Qualität dieser Passung. Der entsprechende Pseudo-Code für eine Logikanweisung lautet:
wobei
#define MAXCHISQ_R 50
#define MAXCHISQ_G 25
#define MAXCHISQ_B 100
wobei CHISQ einen χ-Quadratanpassungsfehler bezeichnet.
Anstatt die vorausgehende scharfe Regel zu verwenden, kann es auch hier vorteilhaft sein, eine S-förmige Fuzzy-Benotungsfunktion von stetigen Werten und einem Abschaltpunkt (z.B. <0,1) mit einer bestimmten HUGEPENALTY zu verwenden, wenn diese Bedingung verletzt wird.
Kennzeichnung zehn betrifft den Abfall der Rot- und Grünsignale. Der entsprechende Pseudo-Code für eine Logikanweisung lautet: sigA = rdec*gdec;wobei rdec die Tatsache bezeichnet, ob das Rotsignal (monoton) abnimmt. rdec wird mithilfe des angepassten Rotsignals bestimmt, indem man zwei Proben nimmt, und zwar zuerst x1 am 1/4 Punkt und dann x2 am 3/4 Punkt der Gesamtlänge: Der entsprechende Pseudo-Code für eine Logikanweisung lautet:
Der andere Term gdec wird für das Grünsignal auf ähnliche Weise bestimmt. Dieser ist als scharfe Regel implementiert. Es sei darauf hingewiesen, dass sigA = 1 wenn, und nur wenn rdec = 1 und gdec = 1.
Diese zehn Merkmale sind in dem aktuellen regelgestützten Prozess als scharfe Entscheidung implementiert; eine gegebene Spur wird nur als Himmelsspur deklariert, wenn alle Bedingungen erfüllt sind, d.h. wenn
wobei
#define EFFECTIVEZER0 0.1
Bei Prüfung aller betreffenden Spuren, was die meisten (z.B. 95%) der himmelfarbenen Pixel betrifft, wird die Himmelswahrscheinlichkeit als der Prozentsatz der Spuren berechnet, die das physikalisch basierende Himmelsspurenmodell erfüllen. Ein himmelfarbener Bereich wird als himmelfremder Bereich deklariert, wenn die Himmelswahrscheinlichkeit unterhalb eines Schwellenwerts liegt (in diesem Beispiel für eine universelle Verwendung empirisch auf 0,25 festgelegt).
12A–13H zeigen das Verhalten der Erfindung in Bezug auf verschiedene Bilder. 12A–B und 13A–B zeigen die zu verarbeitenden Originalbilder. 12C–D und 13C–D stellen die Ergebnisse des in Position 201 von 2 gezeigten erfindungsgemäßen Farbklassifizierungsprozesses dar, wie zuvor erläutert. 12E–F und 13E–F zeigen das Ergebnis des von der Erfindung erzeugten Offenraumrasters (Position 77 in 6). 12G–H und 13G–H zeigen die erfindungsgemäße Bestimmung der Himmelsbereiche als weiße Anteile und der himmelsfremden Bereiche als schwarze Anteile. Die Helligkeitspegel in 12C–D und 13C-D sind proportional zu den Himmelswahrscheinlichkeitswerten, obwohl der Helligkeitspegel in 12E–F und 13E–F einfach auf separat gekennzeichnete Bereiche hinweist.
Die Erfindung arbeitet mit RGB-Bildern einwandfrei zusammen, die mit derartigen Quellen, wie Film- und Digitalkameras aufgenommen worden sind. Die erkannten Himmelsbereiche weisen eine exzellente Übereinstimmung mit den wahrgenommenen Grenzen auf. Die in 12A–12H gezeigten Beispiele zeigen die Leistung der Erfindung. Der Himmel und die See werden richtig voneinander getrennt, und in 12G wird der wahre Himmelsbereich erkannt. Gestützt auf der korrekten Erkennung des Himmelsbereichs wird das Bild in 12A als ein Querformatbild ermittelt, dessen Oberseite oben liegt. Das Bild in 12B ist ein Beispiel für eine ungültige Annahme, dass sich der Himmel oben am Bild befindet, aber der Himmel wird von dem erfindungsgemäßen Prozess trotzdem aufgrund der richtigen Erkennung der Himmelsausrichtung richtig erkannt. Gestützt auf der korrekten Erkennung des Himmelsbereichs wird das Bild in 12B als ein Hochformatbild ermittelt, dessen linke Seite oben liegt. Ein glattes blaues Objekt in 13A und ein strukturiertes Tischtuch in 13B werden von der Erfindung richtig zurückgewiesen. Aufgrund des Fehlens von Himmelsbereichen in diesen beiden Bildern bleibt die Bildausrichtung unbestimmt. Unter der Annahme, dass (1) ein blauer Bereich der Himmel ist und (2) der Himmel stets oben liegt (z.B. nach Goodwin, s.o.), wären die Bilder fälschlicherweise so interpretiert worden, dass in 13A die linke Seite oben liegt, und dass das Bild in 13B auf dem Kopf steht.
Unter Berücksichtigung der Effektivität des erfindungsgemäßen Bewertungsverfahrens auf Himmelskennzeichen ist es möglich, die Farbklassifizierungsstufe zu lockern und andere, nicht blaue Schattierungen des Himmels einzubeziehen, wie die Farbtöne bei Sonnenuntergang oder Sonnenaufgang. Im Unterschied zu einem bewölkten Himmel weist der wolkenlose Himmel bei Sonnenuntergang oder Sonnenaufgang ähnliche Streueffekte wie am Tage auf. Der Hauptunterschied betrifft die warme Farbtönung durch die aufgehende oder untergehende Sonne.
Eine alternative Möglichkeit zur Durchführung der Himmelsauswertung ist die zweidimensionale Planar-Fit-Methode eines betreffenden Bereichs. Für Bereiche, die Löcher enthalten, kann der gewichtete Faktor an der Lochposition auf null gesetzt werden, so dass nur die himmelfarbenen Pixel zum Planar-Fit beitragen. Um eine mögliche Zunahme der falschen, positiven Erkennung zu vermeiden, kann die Bedingung gestellt werden, dass die Löcher nur aufgrund heller neutraler Objekte (Wolken) zustande kommen.
Die vorliegende Erfindung umfasst demnach ein System zur Szenenausrichtung, das auf der Himmelserkennung beruht. Die Himmelserkennung arbeitet mit Farbklassifizierung, Bereichsextraktion, Strukturanalyse und physikalisch motivierter Bewertung der Himmelskennzeichen. Die vorliegende Erfindung arbeitet sehr gut mit 8-Bit-Bildern aus derartigen Quellen, wie Film- und Digitalkameras, zusammen, und zwar nach einem Vorabgleich und Einstellung des richtigen Dynamikumfangs.
Wie bereits erwähnt, verwendet die vorliegende Erfindung ein physikalisches Modell des Himmels, gestützt auf die Streuung des Lichts durch kleine Partikel in der Luft. Durch Verwendung eines physischen Modells (im Unterschied zu einem Farb- oder Strukturmodel) wird die Erfindung nicht durch ähnlich farbige Motivgegenstände getäuscht, wie Wasserflächen, Wände, Spielzeuge und Kleidung. Der erfindungsgemäße Verfahren zur Bereichsextraktion ermittelt automatisch einen geeigneten Schwellenwert für das Himmelsfarben-Wahrscheinlichkeitsraster. Durch Nutzung des physischen Modells in Kombination mit Farb- und Strukturfiltern erzeugt die Erfindung Ergebnisse, die herkömmlichen Systemen überlegen sind.

Claims

Verfahren zum Bestimmen der Bildausrichtung, gekennzeichnet durch die Schritte: Klassifizieren (204) von Himmelspixeln im Bild anhand von Farbtönen; Berechnen (208) von Desaturierungsgradienten der Himmelspixel; Klassifizieren (210) der Bilder als Portrait- oder Landschaftsaufnahme auf der Grundlage von absoluten Durchschnittswerten eines horizontalen und vertikalen Desaturierungsgradienten für die Himmelspixel; und Bestimmen (214) der Ausrichtung des Bildes auf der Grundlage einer Polarität der durchschnittlichen horizontalen und vertikalen Desaturierungsgradienten.
Verfahren nach Anspruch 1, gekennzeichnet durch die Schritte: Identifizieren (206) räumlich benachbarter Bereiche der Himmelspixel; und Identifizieren tatsächlicher Himmelsbereiche durch Eliminieren (209) von räumlich benachbarten Bereichen, die eine Struktur über einem vorbestimmten Strukturschwellenwert aufweisen.
Verfahren nach Anspruch 2, gekennzeichnet durch den Schritt: Bestätigen (216), dass die tatsächlichen Himmelsbereiche wirkliche Himmelsbereiche sind durch Vergleichen der Desaturierungsgradienten mit einem vorbestimmten Desaturierungsgradienten für den Himmel.
Verfahren nach Anspruch 2, gekennzeichnet durch den Schritt: Beibehalten nur der räumlich benachbarten Bereiche als tatsächliche Himmelsbereiche, die: im wesentlich unähnliche durchschnittliche horizontale und vertikale Desaturierungsgradienten aufweisen; eine Farbverteilung haben, die mit einer vorbestimmten Farbverteilung für den Himmel übereinstimmt; und an einen Rand des Bildes angrenzen.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Klassifizieren (210) des Bildes als Portrait- oder Landschaftsaufnahme die Schritte umfasst: Klassifizieren des Bildes als Portraitaufnahme, wenn ein absoluter Wert des durchschnittlichen horizontalen Desaturierungsgradienten größer ist als ein absoluter Wert des durchschnittlichen vertikalen Desaturierungsgradienten; und Klassifizieren des Bildes als Landschaftsaufnahme, wenn ein absoluter Wert des durchschnittlichen horizontalen Desaturierungsgradienten kleiner ist als ein absoluter Wert des durchschnittlichen vertikalen Desaturierungsgradienten.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Desaturierungsgradienten Gradienten für rote, grüne und blaue Spurenkomponenten des Bildes aufweisen.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass der vorbestimmte Desaturierungsgradient für den Himmel vom Horizont bis zum Zenith eine Abnahme von Spurenkomponenten für rotes und grünes Licht und eine im wesentlichen konstante Spurenkomponente für blaues Licht verzeichnet.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Klassifizieren (204) von Himmelspixeln im Bild anhand von Farbtönen die Schritte umfasst: Bilden eines Wahrscheinlichkeitsrasters (71) aus Pixeln im Bild unter Verwendung eines Pixelklassifizierers , der für jedes Pixel einen Wahrscheinlichkeitswert erzeugt, welcher eine Wahrscheinlichkeit anzeigt, dass das Pixel eine Himmelsfarbe ist, wobei das Wahrscheinlichkeitsraster (71) erzeugt wird durch Einstellen der Helligkeit eines jeden Pixels proportional zu seinem Wahrscheinlichkeitswert; Berechnen eines adaptiven Schwellenwerts für die Himmelsfarbe; und Klassifizieren derjenigen Pixel, die als potentielle Himmelspixel über dem Schwellenwert liegen.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass das Berechnen folgende Schritte umfasst: Erzeugen eines Wahrscheinlichkeitshistogramms für die das Wahrscheinlichkeitsraster (71) bildenden Werte; Glätten des Histogramms, um Rauschstörungen zu eliminieren; Identifizieren einer ersten Talsohle im geglätteten Histogramm, und Verwenden des Wahrscheinlichkeitswertes der ersten Talsohle als adaptiven Schwellenwert.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass das Wahrscheinlichkeitshistogramm und das Wahrscheinlichkeitsraster (71) für jedes Bild getrennt berechnet werden.