-
HINTERGRUND
-
Obwohl
Thumbnail-Bilder (Miniaturbilder) Benutzer befähigen, rasch
viele Bilder zu durchsuchen, eliminiert der Vorgang des Verringerns
der Größe eines Originalbildes, um ein Thumbnail-Bild
zu erzeugen, üblicherweise lokale Merkmale des Originalbildes.
Folglich lässt das Erscheinungsbild eines Thumbnail-Bildes
oft nicht den Inhalt oder die Qualität des entsprechenden
Originalbildes erkennen, wodurch das Suchen mit standardmäßigen
Thumbnails fehleranfällig und ineffizient wird.
-
Manche
Lösungsansätze einer visuellen Suche gehen dieses
Problem an, indem sie nicht-photorealistische Thumbnails synthetisieren,
die die Sichtbarkeit ausgewählter Merkmale der Originalbilder
erhöhen. Bei einem derartigen Lösungsansatz werden
nicht-hervorspringende Regionen (z. B. die Hintergrundregionen) aus
einem Originalbild ausgeschnitten, und aus den resultierenden ausgeschnittenen
Regionen wird ein Thumbnail-Bild hergestellt. Bei einem anderen
Lösungsansatz wird eine Thumbnail-Version eines Originalbildes
mit ausgewählten „relevanten” Elementen
erzeugt, die in Bezug auf andere Elemente hervorgehoben werden (z.
B. größere oder fettere Schriftart und stärker
gesättigte Farbigkeit), um Hinweise zu liefern, die dem Benutzer
dabei helfen, das Originalbild zu identifizieren oder zu klassifizieren.
-
Es
werden Vorrichtungen und Verfahren zum Erzeugen photorealistischer
Bild-Thumbnails benötigt, die verbesserte Darstellungen
der Qualität der entsprechenden Originalbilder liefern.
-
ZUSMMENFASSUNG
-
Die
Erfindung weist Verfahren, Systeme und maschinenlesbare Medien zum
Verarbeiten eines Eingangsbildes auf.
-
Bezüglich
eines Aspekts der Erfindung werden jeweilige visuelle Merkmale von
lokalen Eingangsbildregionen eines Eingangsbildes, das eine erste
Pixelauflösung aufweist, analysiert, um ein Ergebnis zu
liefern. Auf der Basis des Ergebnisses des Analysierens der visuellen
Merkmale werden von dem Eingangsbild visuelle Darstellungen verringerter
Auflösung von entsprechenden der lokalen Eingangsbildregionen
abgeleitet. Ein Thumbnail-Bild, das die Anordnungen, Proportionen
und lokalen Einzelheiten des Eingangsbildes, das eine zweite Pixelauflösung
aufweist, die niedriger ist als die erste Pixelauflösung,
widerspiegelt, wird aus den visuellen Darstellungen verringerter
Auflösung erzeugt. Das Thumbnail-Bild wird ausgegeben.
-
Andere
Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden
Beschreibung, einschließlich der Zeichnungen und der Patentansprüche.
-
BESCHREIBUNG DER ZEICHNUNGEN
-
1 ist
ein Blockdiagramm eines Ausführungsbeispiels eines Eingangsbildverarbeitungssystems
in einer exemplarischen Anwendungsumgebung.
-
2 ist
ein Flussdiagramm eines Ausführungsbeispiels eines Eingangsbildverarbeitungsverfahrens.
-
3 ist
ein Blockdiagramm eines Ausführungsbeispiels des in 1 gezeigten
Eingangsbildverarbeitungssystems.
-
4 ist
ein Flussdiagramm von Informationen, die anhand eines Ausführungsbeispiels
des in 3 gezeigten Eingangsbildverarbeitungssystems erzeugt
werden.
-
5 ist
ein Flussdiagramm eines Ausführungsbeispiels eines Eingangsbildverarbeitungsverfahrens.
-
6 ist
ein Flussdiagramm eines Ausführungsbeispiels des Eingangsbildverarbeitungsverfahrens der 5.
-
7 ist
ein Flussdiagramm eines Ausführungsbeispiels des Eingangsbildverarbeitungsverfahrens der 6.
-
8 ist
ein Flussdiagramm von Informationen, die anhand eines Ausführungsbeispiels
des Eingangsbildverarbeitungsverfahrens der 7 erzeugt
werden.
-
9 ist
ein Flussdiagramm eines Ausführungsbeispiels eines Eingangsbildverarbeitungsverfahrens.
-
10 ist
ein Flussdiagramm von Informationen, die anhand eines Ausführungsbeispiels
des Eingangsbildverarbeitungsverfahrens der 9 erzeugt
werden.
-
11 ist
ein Flussdiagramm eines Ausführungsbeispiels eines Eingangsbildverarbeitungsverfahrens.
-
12 ist
ein Flussdiagramm von Informationen, die anhand eines Ausführungsbeispiels
des Eingangsbildverarbeitungsverfahrens der 11 erzeugt
werden.
-
13 ist
ein Flussdiagramm eines Ausführungsbeispiels eines Eingangsbildverarbeitungsverfahrens.
-
14 ist
ein Flussdiagramm von Informationen, die anhand eines Ausführungsbeispiels
des Eingangsbildverarbeitungsverfahrens der 13 erzeugt
werden.
-
15 ist
ein Flussdiagramm eines Ausführungsbeispiels eines Eingangsbildverarbeitungsverfahrens.
-
16 ist
ein Flussdiagramm eines Ausführungsbeispiels eines Eingangsbildverarbeitungsverfahrens.
-
17 ist
ein Flussdiagramm von Informationen, die anhand eines Ausführungsbeispiels
des Eingangsbildverarbeitungsverfahrens der 16 erzeugt
werden.
-
18 ist
ein Flussdiagramm eines Ausführungsbeispiels eines Eingangsbildverarbeitungsverfahrens.
-
19 ist
ein Flussdiagramm von Informationen, die anhand eines Ausführungsbeispiels
des Eingangsbildverarbeitungsverfahrens der 18 erzeugt
werden.
-
AUSFÜHRLICHE BESCHREIBUNG
-
Bei
der folgenden Beschreibung werden gleiche Bezugszeichen verwendet,
um gleiche Elemente zu identifizieren. Ferner sollen die Zeichnungen
Hauptmerkmale von exemplarischen Ausführungsbeispielen
auf schematische Weise veranschaulichen. Die Zeichnungen sollen
nicht jedes Merkmal von tatsächlichen Ausführungsbeispielen
oder relative Abmessungen der gezeigten Elemente zeigen und sind
nicht maßstabsgetreu gezeichnet.
-
I. EINFÜHRUNG
-
Die
Ausführungsbeispiele, die nachstehend ausführlich
beschrieben werden, sind in der Lage, photorealistische Bild-Thumbnails
zu erzeugen, die verbesserte Darstellungen der Qualität
der entsprechenden Originalbilder liefern. Auf diese Weise ermöglichen
es diese Ausführungsbeispiele Benutzern, die Qualität
der Originalbilder genau festzustellen. Diese Informationen können
beispielsweise dazu verwendet werden, auszuwählen, welche
Bilder in einer Sammlung in ein Photoalbum integriert, als Druckkopie
gedruckt, mittels elektronischer Post an Andere gesendet und aus
einer Sammlung gelöscht werden sollen.
-
Gemäß der
Verwendung hierin bezieht sich der Begriff „photorealistisches
Thumbnail-Bild” auf eine Version verringerter Auflösung
eines Eingangsbildes, die die Anordnung, Proportionen und lokalen
Einzelheiten des entsprechenden Eingangsbildes widerspiegelt. Die
photorealistischen Thumbnail-Bilder können entweder reproduzierte
oder synthetisierte Elemente enthalten, die das visuelle Erscheinungsbild
der verschiedenen visuellen Elemente des entsprechenden Eingangsbildes
subjektiv vermitteln, ohne notwendigerweise die visuellen Elemente
hoher Auflösung objektiv zu reproduzieren. Im Gegensatz
dazu bezieht sich ein „nicht-photorealistisches Thumbnail-Bild” auf
eine Version verringerter Auflösung eines Eingangsbildes,
die lokale Einzelheiten von visuellen Elementen des Eingangsbildes
zweckorientiert und stilistisch modifiziert, um die Aufmerksamkeit
des Betrachters auf eine Art und Weise zu fokussieren, die Informationen übermittelt.
-
II. ÜBERSICHT ÜBER EIN
EINGANGSBILDVERARBEITUNGSSYSTEM IN EINER EXEMPLARISCHEN ANWENDUNGSUMGEBUNG
-
1 zeigt
ein Ausführungsbeispiel eines Eingangsbildverarbeitungssystems 10 in
einer exemplarischen Anwendungsum gebung 12, die eine Datenbank 14 umfasst.
Das Eingangsbildverarbeitungssystem 10 umfasst ein Visuelle-Merkmale-Analysemodul 16,
ein Auflösungsverringerungsmodul 18 sowie ein
Thumbnail-Bild-Erzeugungsmodul 20. Im Betrieb verarbeitet
das Eingangsbildverarbeitungssystem 10 ein Eingangsbild 22,
um ein Thumbnail-Bild 24 zu erzeugen, das ausgegeben (z.
B. in der Datenbank 14 auf einem nicht-flüchtigen
computerlesbaren Medium gespeichert, auf einem flüchtigen
computerlesbaren Medium gespeichert, auf einer Anzeige wiedergegeben
oder auf einem Druckmedium wie z. B. Papier wiedergegeben) wird.
-
Das
Eingangsbildverarbeitungssystem 10 kann anhand eines oder
mehrerer diskreter Module (oder Datenverarbeitungskomponenten) implementiert
werden, die nicht auf eine bestimmte Hardware-, Firmware- oder Softwarekonfiguration
beschränkt sind. Bei dem veranschaulichten Ausführungsbeispiel
können die Module 16–20 in einer
beliebigen Rechen- oder Datenverarbeitungsumgebung implementiert
sein, einschließlich einer digitalen elektronischen Schaltungsanordnung
(zum Beispiel einer anwendungsspezifischen integrierten Schaltung
wie z. B. einem digitalen Signalprozessor (DSP)) oder in Computerhardware,
-firmware, einem Vorrichtungstreiber oder in Software implementiert
sein. Bei manchen Ausführungsbeispielen sind die Funktionalitäten
mehrerer der Module 16–20 zu einer einzigen
Verarbeitungskomponente kombiniert. Bei manchen Ausführungsbeispielen
werden die jeweiligen Funktionalitäten jedes eines oder
mehrerer der Module 16–20 anhand eines
jeweiligen Satzes von mehreren Verarbeitungskomponenten erfüllt.
Bei manchen Implementierungen werden Computerprozessanweisungen
zum Implementieren der Verfahren, die anhand des Eingangsbildverarbeitungssystems 10 ausgeführt
werden, sowie die Daten, die es erzeugt, in einem oder mehreren
maschinenlesbaren Medien gespeichert. Speichervorrichtungen, die
dafür geeignet sind, diese Anweisungen und Daten greifbar
zu verkörpern, umfassen alle Formen von nicht-flüchtigem
computerlesbarem Speicher, beispielsweise einschließlich
Halbleiterspeicher bauelementen, z. B. EPROM, EEPROM und Flash-Speicher-Vorrichtungen,
Magnetplatten wie z. B. internen Festplattenlaufwerken und herausnehmbaren
Festplattenlaufwerken, magnetooptischen Platten, DVD-ROM/RAM und
CD-ROM/RAM.
-
2 zeigt
ein Ausführungsbeispiel eines Verfahrens, das anhand des
Eingangsbildverarbeitungssystems 10 implementiert ist.
-
Gemäß diesem
Verfahren analysiert das Visuelle-Merkmale-Analysemodul 16 jeweilige
visuelle Merkmale 26 von lokalen Eingangsbildregionen des
Eingangsbildes 22, um ein Ergebnis zu erzielen (2,
Block 28). Allgemein kann das Ergebnis des Analysierens
der visuellen Merkmale Werte von Parametern sein, die ein(e) oder
mehr visuelle Eigenschaften oder Attribute (z. B. Grade oder Ausmaße
an Unschärfe, Rauschen, Textur, Farbigkeit oder spiegelnde
Schlaglichter) der lokalen Eingangsbildregionen charakterisieren,
messen oder spezifizieren, oder das Ergebnis kann Modelle sein,
die derartige visuelle Eigenschaften oder Attribute der lokalen
Eingangsbildregionen darstellen.
-
Das
Eingangsbild 22 ist durch eine erste Pixelauflösung
gekennzeichnet. Gemäß der Verwendung hierin bezieht
sich die „Pixelauflösung” auf einen Zählwert
der Pixel in dem digitalen Bild. Der Pixelzählwert kann
beispielsweise als Gesamtpixelzählwert oder als Produkt
der horizontalen und vertikalen Abmessung des Arrays von Pixeln,
die dem digitalen Bild entsprechen, ausgedrückt werden.
Allgemein kann das Eingangsbild 22 einer beliebigen Art
von digitalem Bild entsprechen, einschließlich eines Originalbildes
(z. B. eines Videoschlüsselbildes, eines Standbildes oder
eines eingescannten Bildes), das mittels eines Bildsensors (z. B.
einer digitalen Videokamera, einer digitalen Standbildkamera oder
eines optischen Scanners) aufgenommen wurde, oder einer bearbeiteten
(z. B. unterabgetasteten, gefilterten, umformatierten, verbesserten
oder anderweitig modifizierten) Version eines derartigen Originalbildes.
Alternativ dazu kann das Eingangsbild 22 künstlich
erzeugten Bildern entsprechen, die ausgehend von Computergraphikmodellen
unter Verwendung von Strahlverfolgung oder beliebigen anderen Bilderzeugungstechniken
synthetisiert werden. Diese synthetischen Bilder können
beispielsweise dazu verwendet werden, Spezialeffekt-Filmbilder,
Computerspiel-Bildelemente und sonstige künstliche Bilder
zu erzeugen.
-
Auf
der Basis des Ergebnisses des Analysierens der visuellen Merkmale 26 leitet
das Auflösungsverringerungsmodul 18 von dem Eingangsbild 22 visuelle
Darstellungen 30 verringerter Auflösung von entsprechenden
der lokalen Eingangsbildregionen ab (2, Block 32).
Die visuellen Darstellungen 30 verringerter Auflösung
modellieren üblicherweise ein oder mehrere visuelle Merkmale
in entsprechenden der lokalen Eingangsbildregionen. In manchen Fällen
entsprechen diese Modelle der Kombination der visuellen Merkmale und
einer zu Grunde liegenden Bilddarstellung. In anderen Fällen
entsprechen diese Modelle einer Darstellung der visuellen Merkmale
selbst, wobei sie in diesem Fall üblicherweise als Störungen
oder Modifikationen spezifiziert werden, die mit einer zu Grunde
liegenden Darstellung verringerter Auflösung des Eingangsbildes 22 kombiniert
werden sollen.
-
Das
Thumbnail-Bild-Erzeugungsmodul 20 erzeugt das Thumbnail-Bild 24 ausgehend
von den visuellen Darstellungen 30 verringerter Auflösung
(2, Block 34). Das Thumbnail-Bild 24 weist
eine Pixelauflösung auf, die niedriger ist als die Pixelauflösung
des Eingangsbildes 22. Das Thumbnail-Bild 14 spiegelt
die Anordnung, Proportionen und lokalen Einzelheiten des Eingangsbildes 22 wider.
-
Das
Thumbnail-Bild-Erzeugungsmodul 20 gibt das Thumbnail-Bild 24 aus
(2, Block 36). Beispielsweise gibt das
Thumbnail-Bild-Erzeugungsmodul 20 das Thumbnail-Bild 24 bei
manchen Ausführungsbeispielen aus, indem es zumindest einen
Teil des Thumbnail-Bildes 24 auf einem maschinenlesbaren
Datenspeichermedium speichert. Das maschinenlesbare Daten speichermedium
ist üblicherweise eine elektronische Speichervorrichtung
wie z. B. ein computerlesbares Speichermedium. Bei manchen Ausführungsbeispielen speichert
das Thumbnail-Bild-Erzeugungsmodul 20 das gesamte Thumbnail-Bild 24 auf
einmal in dem maschinenlesbaren Datenspeichermedium. Bei anderen
Ausführungsbeispielen speichert das Thumbnail-Bild-Erzeugungsmodul 20 das
Thumbnail-Bild 24 Zeile um Zeile in dem maschinenlesbaren
Datenspeichermedium, um die Einschränkungen zu erfüllen,
die durch eingebettete Umgebungen auferlegt werden, beispielsweise
eingebettete Druckerumgebungen, bei denen entweder die Verarbeitungsressourcen
oder die Speicherressourcen, oder beide, stark begrenzt sind. Bei
manchen Ausführungsbeispielen gibt das Thumbnail-Bild-Erzeugungsmodul 20 das
Thumbnail-Bild 24 aus, indem es das Thumbnail-Bild 24 wiedergibt.
Beispielsweise gibt das Thumbnail-Bild-Erzeugungsmodul 20 das
Thumbnail-Bild 24 bei manchen Ausführungsbeispielen
auf einer Anzeige wieder. Die Anzeige kann beispielsweise ein Flachbildschirm,
z. B. eine LCD (liquid crystal display, Flüssigkristallanzeige),
eine Plasmaanzeige, eine EL-Anzeige (electroluminescent display,
Elektrolumineszenzanzeige) und eine FED (fiele emission display,
Feldemissionsanzeige) sein. Bei anderen Ausführungsbeispielen
gibt das Thumbnail-Bild-Erzeugungsmodul 20 das Thumbnail-Bild 24 auf
einem Druckmedium (z. B. einem Blatt Papier) wieder.
-
III. EXEMPLARISCHE AUSFÜHRUNGSBEISPIELE
DES EINGANGSBILDVERARBEITUNGSSYSTEMS
-
Die
visuellen Merkmale der lokalen Eingangsbildregionen, die anhand
des Visuelle-Merkmale-Analysemoduls 16 analysiert werden,
entsprechen einer bzw. einem oder mehreren visuellen Eigenschaften
oder Attributen des Eingangsbildes 22. Bei manchen Ausführungsbeispielen
verarbeitet das Eingangsbildverarbeitungssystem 10 das
Eingangsbild 22 durch eine einzelne Verarbeitungspipeline,
die gleichzeitig viele visuelle Eigenschaften oder Attribute des
Eingangsbildes 22 analysiert und die visuellen Darstellungen
verringerter Auflösung der lokalen Eingangsbildregionen
von den Ergebnissen des Analysierens der visuellen Eigenschaften
oder Attribute ableitet. Bei anderen Ausführungsbeispielen
verarbeitet das Eingangsbildverarbeitungssystem 10 das
Eingangsbild 22 durch eine separate Verarbeitungspipeline
für jede(s) visuelle Eigenschaft oder Attribut.
-
3 zeigt
ein Ausführungsbeispiel 40 des Eingangsbildverarbeitungssystems 10,
bei dem das Visuelle-Merkmale-Analysemodul 16 N lokale Eingangsbildregion-Analysemodule 42 umfasst
(N hat einen Ganzzahlwert von zumindest zwei), von denen jedes ein
jeweiliges Ergebnis 44 eines Analysierens einer bzw. eines jeweiligen
visuellen Eigenschaft oder Attributs der lokalen Eingangsbildregionen
erzeugt. Das Eingangsbildverarbeitungssystem 40 umfasst
ferner N Auflösungsverringerungsverarbeitungspipelines 46,
von denen jede einen jeweiligen Satz 48 von visuellen Darstellungen
verringerter Auflösung aus den entsprechenden Ergebnissen 44 des
Analysierens der visuellen Merkmale der lokalen Eingangsbildregionen
ableitet. Bei manchen Ausführungsbeispielen wird jeder
Satz 48 der visuellen Darstellungen verringerter Auflösung
in Form eines zusammengesetzten Bildes bzw. einer zusammengesetzten
Abbildung verringerter Auflösung an das Thumbnail-Bild-Erzeugungsmodul 20 geleitet.
Bei anderen Ausführungsbeispielen werden die visuellen
Darstellungen verringerter Auflösung als separate und diskrete
Teilbilder oder Teilabbildungen, die jeweils einzelnen der lokalen
Eingangsbildregionen entsprechen, an das Thumbnail-Bild-Erzeugungsmodul
geleitet.
-
4 zeigt
ein Flussdiagramm von Informationen, die anhand des Eingangsbildverarbeitungssystems 40 in
verschiedenen Stufen während eines Ausführungsbeispiels
eines Vorgangs des Erzeugens des Thumbnail-Bildes 24 aus
dem Eingangsbild 22 erzeugt werden. Gemäß diesem
Vorgang leitet jede der Auflösungsverringerungsverarbeitungspipelines 46 einen
jeweiligen Satz 48 von visuellen Darstellungen ver ringerter
Auflösung der lokalen Eingangsbildregionen von den Ergebnissen 44 des
Analysierens der visuellen Merkmale der lokalen Eingangsbildregionen
ab. Die Auflösungsverringerungsverarbeitungspipelines 46 leiten die
Sätze 48 von visuellen Darstellungen verringerter
Auflösung an das Thumbnail-Bild-Erzeugungsmodul 20, das
die Sätze 48 von visuellen Darstellungen verringerter
Auflösung kombiniert, um das Thumbnail-Bild 24 zu erzeugen.
Bei diesem Vorgang kann das Thumbnail-Bild-Erzeugungsmodul 20 eine
oder mehrere Zusammensetzungsoperationen (z. B. eine oder mehrere
einer Überlagerungs zusammensetzungsoperation und einer Hinzufügungszusammensetzungsoperation)
verwenden. Zusätzliche Einzelheiten bezüglich
der Arten von Zusammensetzungsoperationen, die seitens des Bilderzeugungsmoduls 20 verwendet
werden können, um die Sätze 48 von visuellen
Darstellungen verringerter Auflösung zu kombinieren, finden
sich bei Porter und Duff, „Compositing Digital
Images", Computer Graphics, Bd. 18, Nr. 3, S. 253–259
(Juli 1984).
-
IV. EXEMPLARISCHE AUSFÜHRUNGSBEISPIELE
DER KOMPONENTEN DES EINGANGSBILDVERARBEITUNGSSYSTEMS
-
Wie
oben erläutert wurde, sind Ausführungsbeispiele
des Eingangsbildverarbeitungssystems 10 in der Lage, das
Thumbnail-Bild 24 aus visuellen Darstellungen verringerter
Auflösung zu erzeugen, die visuelle Merkmale modellieren,
die einer bzw. einem oder mehreren visuellen Eigenschaften bzw.
Attributen der lokalen Regionen des Eingangsbildes 22 entsprechen.
Exemplarische visuelle Eigenschaften oder Attribute, die durch das
Eingangsbildverarbeitungssystem 10 modelliert werden, umfassen,
sind aber nicht beschränkt auf, Unschärfe, Rauschen,
Textur, Farbigkeit und spiegelnde Schlaglichter.
-
A. MODELLIEREN VON UNSCHÄRFE
IN LOKALEN EINGANGSBILDREGIONEN
-
5 zeigt
ein Ausführungsbeispiel eines Verfahrens, anhand dessen
das Eingangsbildverarbeitungssystem 10 Unschärfe
in lokalen Regionen des Eingangsbildes 22 modelliert.
-
Gemäß dem
Unschärfemodellierungsverfahren der 5 bestimmt
das Visuelle-Merkmale-Analysemodul 16 für jede
der lokalen Eingangsbildregionen einen entsprechenden Unschärfeparameterwert
(5, Block 50). Bei manchen Ausführungsbeispielen
sind die Unschärfeparameterwerte mit dem Ausmaß an
Unschärfe in den lokalen Eingangsbildregionen gemäß einem
bestimmten Modell oder einer visuellen Darstellung der Unschärfe
in lokalen Eingangsbildregionen korreliert. Bei anderen Ausführungsbeispielen
liefern die Unschärfeparameterwerte ein direktes oder indirektes
Maß des Ausmaßes der Unschärfe in den
lokalen Eingangsbildregionen gemäß einem bestimmten
Modell oder einer visuellen Darstellung der Unschärfe in
lokalen Eingangsbildregionen.
-
Das
Auflösungsverringerungsmodul 18 bestimmt jeweilige
Unschärfemodelle verringerter Auflösung, die für
eine Unschärfe in den lokalen Eingangsbildregionen repräsentativ
sind, auf der Basis der entsprechenden Unschärfeparameterwerte
(5, Block 52). Bei manchen Ausführungsbeispielen
entsprechen die Unschärfemodelle jeweiligen Regionen eines
Basisbildes verringerter Auflösung, die in einem jeweiligen
Ausmaß, das durch die entsprechenden Unschärfeparameterwerte
bestimmt wird, unscharf sind. Bei anderen Ausführungsbeispielen
entsprechen die Unschärfemodelle abwärts abgetasteten
Versionen der lokalen Eingangsbildregionen, die anhand jeweiliger
Unschärfefilter gefiltert werden, wobei das Ausmaß an
Unschärfe, das durch die Unschärfefilter erzeugt
wird, durch die jeweiligen Unschärfeparameterwerte festgelegt
wird.
-
Bei
manchen Ausführungsbeispielen kann das Thumbnail-Bild-Erzeugungsmodul 20 das
Thumbnail-Bild 24 aus den Unschärfemodellen verringerter
Auflösung, von denen jedes einer jeweiligen lokalen Region
des Thumbnail-Bildes 24 entspricht, synthetisieren.
-
6 zeigt
eine exemplarische Implementierung des Unschärfemodellierungsverfahrens
der 5. Gemäß diesem Verfahren bestimmt
das Visuelle-Merkmale-Analysemodul 16 für jede
der lokalen Eingangsbildregionen einen entsprechenden Unschärfeparameterwert
(6, Block 54). Bei diesem Verfahren sind
die Unschärfeparameterwerte gemäß einem
bestimmten Modell oder einer visuellen Darstellung der Unschärfe
in lokalen Eingangsbildregionen mit dem Ausmaß an Unschärfe
in den lokalen Eingangsbildregionen korreliert. Das Auflösungsverringerungsmodul 18 erzeugt
für jede der lokalen Eingangsbildregionen mehrere Unschärfemodelle
verringerter Auflösung (6, Block 56).
Für jede der lokalen Eingangsbildregionen wählt
das Auflösungsverringerungsmodul 18 eines der
Unschärfemodelle als das Unschärfemodell, das
für Unschärfe in der jeweiligen lokalen Eingangsbildregion
repräsentativ ist, auf der Basis der entsprechenden Unschärfeparameterwerte
aus (6, Block 58).
-
7 zeigt
eine exemplarische Implementierung des Unschärfemodellierungsverfahrens
der 6. 8 zeigt ein Flussdiagramm von
Informationen, die in verschiedenen Stufen dieses Unschärfemodellierungsverfahrens
erzeugt werden.
-
Gemäß dem
Unschärfemodellierungsverfahren der 7 bestimmt
das Eingangsbildverarbeitungssystem 10 für jede
der lokalen Eingangsbildregionen einen entsprechenden Bereichsparameterwert
(7, Block 60). Bei manchen Ausführungsbeispielen
messen die Bereichsparameterwerte den Betrag absoluter Differenzen
in den lokalen Eingangsbildregionen. Die Beträge absoluter
Differenzen sind mit dem Ausmaß an Unschärfe in
den lokalen Eingangsbildregionen korreliert. Bei manchen dieser
Ausführungsbeispiele legt das Visuelle- Merkmale-Analysemodul 16 ein
Gleitfenster über das Eingangsbild 22 und bestimmt
die Bereichsparameterwerte in einem Bereichsbild 62 ausgehend
von den Eingangsbildpixeln innerhalb des Gleitfensters. Bei einem
exemplarischen Ausführungsbeispiel weist das Gleitfenster
Abmessungen von 3×3 Pixeln auf. Jeder Bereichsparameterwert
entspricht der Differenz zwischen dem maximalen Luminanzwert und
dem minimalen Luminanzwert innerhalb des Gleitfensters, das auf
ein jeweiliges der lokalen Eingangsbildpixel gelegt ist. Das Auflösungsverringerungsmodul 18 erzeugt
ein Bereichsbild 64 verringerter Auflösung aus
dem Bereichsbild 62. Bei einem exemplarischen Ausführungsbeispiel
berechnet das Auflösungsverringerungsmodul 18 das
Maximum des Bereichsbildes 62 (z. B. innerhalb von 10×10
Pixeln, falls die Größe des Thumbnails in jeder
linearen Abmessung zehnmal kleiner ist) und tastet das resultierende
nicht-linear gefilterte Bereichsbild zu der Soll-Pixelauflösung
des Thumbnail-Bildes 24 abwärts ab, um das Bereichsbild 64 verringerter
Auflösung zu erzeugen.
-
Das
Auflösungsverringerungsmodul 18 erzeugt ein Basisbild 66 verringerter
Auflösung, das einer durchschnittlichen Annäherung
des Eingangsbildes entspricht (7, Block 68).
Bei manchen Ausführungsbeispielen entspricht das Basisbild 66 einem
standardmäßigen Bild-Thumbnail, das durch Filtern
des Eingangsbildes 22 mit einem Tiefpassfilter (z. B. einem
Boxcar-Filter) und durch Abwärtsabtasten des gefilterten Bildes
zu der Soll-Pixelauflösung des Thumbnail-Bildes 24 erzeugt
wird.
-
Das
Auflösungsverringerungsmodul
18 filtert das Basisbild
66 mit
mehreren Unschärfefiltern, um für jede der lokalen
Eingangsbildregionen mehrere Unschärfemodelle
70 verringerter
Auflösung zu erzeugen (
7, Block
72).
Bei manchen Ausführungsbeispielen gemäß diesem
Verfahren macht das Auflösungsverringerungsmodul
18 das
Basisbild
66 mit einem Satz von Unschärfefiltern
unscharf, um einen Skalenraum von Unschärfemodellen
70 verringerter
Auflösung zu erzeugen, von denen jedes lokale Regionen
aufweist, die unscharfen Versionen verringerter Auflösung
von jeweiligen der lokalen Eingangsbildregionen entsprechen. Bei einem
exemplarischen Ausführungsbeispiel sind die Unschärfefilter
trennbare Gaußsche Unschärfefilter, die sowohl
in der horizontalen als auch in der vertikalen Richtung die in der
Gleichung (1) definierte Gaußsche Verteilung verwenden,
um die Pixelwerte des Basisbildes
66 in die Unschärfebilder
70 umzuwandeln:
wobei die Filterkoeffizienten
für ganzzahlige Pixelversatzwerte r durch die Gleichung
(1) gegeben sind und & die
Standardabweichung der Gaußschen Verteilung ist. Um zu
gewährleisten, dass das Filter für diskrete Filter normiert
ist (zu 1 summiert), ist der Normierungsfaktor k der Kehrwert der
Summe aller Filterkoeffizienten. Bei einem exemplarischen Ausführungsbeispiel
wird die Standardabweichung & von
0,5 bis 2,5 variiert, um die Unschärfemodelle
70 zu
erzeugen.
-
Das
Auflösungsverringerungsmodul 18 bestimmt ausgehend
von jedem der Unschärfebilder 70 eine jeweilige
Bereichsabbildung 74. Bei diesem Vorgang verwendet das
Auflösungsverringerungsmodul 18 denselben Vorgang,
der zum Bestimmen des Bereichsbildes 62 verwendet wurde.
-
Für
jede der lokalen Eingangsbildregionen wählt das Auflösungsverringerungsmodul 18 eines
der entsprechenden Unschärfemodelle 70 aus, das
einen Bereichsparameterwert aufweist, von dem ermittelt wird, dass
er mit dem entsprechenden Bereichsparameterwert der jeweiligen lokalen
Eingangsbildregion übereinstimmt (7, Block 76).
Bei diesem Vorgang vergleicht das Auflösungsverringerungsmodul 18 jeden
der Bereichsparameterwerte in dem Bereichsbild 64 verringerter
Auflösung mit den entsprechenden Bereichsparame terwerten
in den Bereichsabbildungen 74. Das Unschärfemodell 70,
von dem ermittelt wird, dass es einen zugeordneten Bereichsparameterwert
aufweist, der mit dem Bereichsparameterwert eines entsprechenden
Pixels in dem Bereichsbild 64 verringerter Auflösung übereinstimmt,
wird in einer Indexabbildung 78 durch eine Indexabbildungserzeugungseinrichtung 80 identifiziert,
die eine Komponente des Auflösungsverringerungsmoduls 18 ist.
Bei einem exemplarischen Ausführungsbeispiel indiziert
die Indexabbildungserzeugungseinrichtung 80 die Unschärfemodelle
mit Bereichsparameterwerten, die knapp oberhalb der Bereichsparameterwerte
entsprechender Pixel in dem Bereichsbild 64 verringerter
Auflösung liegen.
-
Das
Auflösungsverringerungsmodul 18 synthetisiert
ein Unschärfebild 82 verringerter Auflösung,
indem es die Pixelwerte aus den Unschärfemodellen gemäß der
Indexabbildung 78 auswählt. Bei manchen Implementierungen
entspricht das Unschärfebild 82 verringerter Auflösung
dem Thumbnail-Bild 24.
-
B. MODELLIEREN VON RAUSCHEN IN LOKALEN
EINGANGSBILDREGIONEN
-
9 zeigt
ein Ausführungsbeispiel eines Verfahrens, anhand dessen
das Eingangsbildverarbeitungssystem 10 Rauschen in lokalen
Regionen des Eingangsbildes 22 modelliert. 10 zeigt
ein Flussdiagramm von Informationen, die in verschiedenen Stufen
dieses Rauschmodellierungsverfahrens erzeugt werden.
-
Gemäß dem
Rauschmodellierungsverfahren der 9 bestimmt
das Visuelle-Merkmale-Analysemodul 16 ein Eingangsbildrauschmodell 84,
das für ein Rauschen in dem Eingangsbild 22 repräsentativ
ist (9, Block 86). Bei manchen Ausführungsbeispielen
leitet das Visuelle-Merkmale-Analysemodul 16 das Eingangsbildrauschmodell 84 aus
Schät zungen der Rauschvarianz in dem Eingangsbild 22 ab.
Bei manchen dieser Ausführungsbeispiele wird das Eingangsbildrauschmodell
erzeugt, indem eine hochpassgefilterte Version des Eingangsbildes 22 berechnet
und eine weiche Schwelle an das resultierende hochpassgefilterte
Bild angelegt wird, wobei die Schwelle auf der Basis einer globalen
Schätzung des Rauschens in dem Eingangsbild 22 festgelegt
wird.
-
Das
Auflösungsverringerungsmodul 18 erzeugt ausgehend
von dem Eingangsbildrauschmodell 84 ein Rauschmodell 88 verringerter
Auflösung (9, Block 90). Bei manchen
Ausführungsbeispielen erzeugt das Auflösungsverringerungsmodul 18 das
Rauschmodell 88 verringerter Auflösung, indem
es das Eingangsbildrauschmodell 84 zu dem Soll-Pixelauflösungspegel
des Thumbnail-Bildes 24 abwärts abtastet. Bei
manchen dieser Ausführungsbeispiele unterabtastet das Auflösungsverringerungsmodul 18 das
Eingangsbildrauschmodell 84 auf einem Jitter-basierten
Gitter, um das Rauschmodell 88 verringerter Auflösung
zu erzeugen (siehe z. B. Robert L. Cook, „Stochastic
Sampling in Computer Graphics", ACM Transactions an Graphics
(TOG), Bd. 5, Ausgabe 1, S. 51–72 (Januar 1986)).
-
Das
Thumbnail-Bild-Erzeugungsmodul 20 erzeugt das Thumbnail-Bild 24 auf
der Basis des Rauschmodells 88 verringerter Auflösung
(9, Block 92). Bei dem veranschaulichten
Ausführungsbeispiel kombiniert das Thumbnail-Bild-Erzeugungsmodul 20 das
Rauschmodell 88 verringerter Auflösung mit einem Basisbild 94,
um das Thumbnail-Bild 24 zu erzeugen. Bei manchen Ausführungsbeispielen
fügt das Thumbnail-Bild-Erzeugungsmodul 20 die
Werte der Pixel in dem Rauschmodell 88 verringerter Auflösung
zu den Werten entsprechender Pixel des Basisbildes 94 hinzu.
-
Bei
manchen Ausführungsbeispielen entspricht das Basisbild 94 einem
standardmäßigen Thumbnail-Bild, das erzeugt wird,
indem das Eingangsbild 22 tiefpassgefiltert wird und zu
der Soll-Pixelauflösung des Thumbnail-Bildes 24 abwärts
abge tastet wird. Bei anderen Ausführungsbeispielen entspricht
das Basisbild 94 einer Version verringerter Auflösung
des Eingangsbildes 22, die eine oder mehrere visuelle Darstellungen
verringerter Auflösung von entsprechenden der lokalen Regionen
des Eingangsbildes 22 gemäß den hierin
beschriebenen Ausführungsbeispielen beinhaltet. Beispielsweise
entspricht das Basisbild 94 bei einem exemplarischen Ausführungsbeispiel
dem in 8 gezeigten Unschärfebild 82 verringerter
Auflösung.
-
Ein
weiteres Verfahren zum Erzeugen des Rauschens, das ein ähnliches
Erscheinungsbild wie das Rauschen in dem Eingangsbild aufweist,
beinhaltet ein Schätzen von Rauschmodellparametern wie
z. B. einer Varianz und räumlichen Kovarianz ausgehend
von dem Eingangsbild und ein anschließendes Simulieren
eines Rauschvorgangs, der diese charakteristischen Parameter aufweist,
anhand einer Verwendung von gefilterten Pseudozufallszahlen.
-
C. MODELLIEREN VON TEXTUR IN LOKALEN EINGANGSBILDREGIONEN
-
Eingangsbilder
enthalten manchmal Texturen mit hoher räumlicher Auflösung.
Auf Grund ihrer hohen räumlichen Frequenzen ist es unmöglich,
die Strukturen der Texturen in den Thumbnails geringerer Auflösung präzise
widerzuspiegeln. Andererseits können manche bestimmte Aspekte
der Texturen, z. B. die Variationen der lokalen Energie der Textur,
in den Thumbnails geringerer Auflösung widergespiegelt
werden.
-
Bei
manchen Ausführungsbeispielen des Eingangsbildverarbeitungssystems 10 erzeugt
das Visuelle-Merkmale-Analysemodul 16 ein lokales Texturmodell,
das als Bildabbildung dargestellt werden kann. Ein Verfahren zum
Erzeugen des Texturmodells besteht darin, zunächst Texturinhaltsbereiche
zu finden, indem ein lokaler Kantendetektor an das Eingangsbild
angelegt wird und indem die Kantendichte in lokalen Regionen des Eingangsbildes
ermittelt wird. Regionen einer hohen Kantendichte werden als stark
texturiert angesehen. Diese Kantendichteabbildung wird mit einer
hochpassgefilterten Version des Eingangsbildes multipliziert, um
das Texturmodell zu ergeben, das sich an die Hochfrequenztexturen
annähert. Diese Abbildung wird in das Auflösungsverringerungsmodul 18 eingegeben,
um ein Texturmodell geringer Auflösung zu erzeugen, das
die Texturenergie des Eingangsbildes widerspiegelt. Bei manchen
dieser Ausführungsbeispiele wird das Texturenergiemodell
geringer Auflösung erzeugt, indem die Bildabbildung auf
einem Jitter-basierten Gitter unterabgetastet wird. Bei manchen
Ausführungsbeispielen wird das Texturmodell geringer Auflösung
in das Thumbnail-Erzeugungsmodul 20 eingegeben, das das
Texturmodell geringer Auflösung zu einem Basisbild hinzufügt.
Bei manchen Ausführungsbeispielen entspricht das Basisbild
einem standardmäßigen Thumbnail-Bild, das erzeugt
wird, indem das Eingangsbild 22 tiefpassgefiltert und zu
der Soll-Pixelauflösung des Thumbnail-Bildes 24 abwärts
abgetastet wird. Bei anderen Ausführungsbeispielen entspricht
das Basisbild einer Version verringerter Auflösung des
Eingangsbildes 22, die eine oder mehrere visuelle Darstellungen
verringerter Auflösung von entsprechenden der lokalen Regionen
des Eingangsbildes 22 gemäß den hierin
beschriebenen Ausführungsbeispielen beinhaltet.
-
D. MODELLIEREN VON FARBIGKEIT IN LOKALEN
EINGANGSBILDREGIONEN
-
11 zeigt
ein Ausführungsbeispiel eines Verfahrens, anhand dessen
das Eingangsbildverarbeitungssystem 10 Farbigkeit in lokalen
Regionen des Eingangsbildes 22 modelliert. 12 zeigt
ein Flussdiagramm von Informationen, die in verschiedenen Stufen
dieses Farbkeitsmodellierungsverfahrens erzeugt werden.
-
Gemäß dem
Farbigkeitsmodellierungsverfahren der 11 bestimmt
das Visuelle-Merkmale-Analysemodul 16 ein Eingangs bildfarbigkeitsmodell 96,
das für die Farbigkeit in dem Eingangsbild 22 repräsentativ ist
(11, Block 98). Das Erscheinungsbild von
Farbigkeit hängt von den räumlichen Strukturen
ab, in denen sie auftritt (siehe z. B. Poirson et al., „Pattern-Color
Separable Pathways Predict Sensitivity to Simple Colored Patterns",
Vision Research, Bd. 36, Nr. 4, S. 515–526 (1996)).
Bei manchen Ausführungsbeispielen kann die Farbigkeit des
Eingangsbildfarbigkeitsmodells 96 anhand des von Poirson
et al. beschriebenen Modells ermittelt werden, und die Parameter
für Chrominanzgewinne des Eingangsbildfarbigkeitsmodells 96 können
angepasst werden, um das Farberscheinungsbild zu modifizieren.
-
Das
Auflösungsverringerungsmodul 18 erzeugt ein Farbigkeitsmodell 100 verringerter
Auflösung ausgehend von dem Eingangsbildfarbigkeitsmodell 96 (11,
Block 102). Bei manchen Ausführungsbeispielen erzeugt
das Auflösungsverringerungsmodul 18 das Farbigkeitsmodell 100 verringerter
Auflösung, indem es das Eingangsbildfarbigkeitsmodell 96 zu
dem Soll-Pixelauflösungspegel des Thumbnail-Bildes 24 abwärts
abtastet.
-
Das
Thumbnail-Bild-Erzeugungsmodul 20 erzeugt das Thumbnail-Bild 24 auf
der Basis des Farbigkeitsmodells 100 verringerter Auflösung
(11, Block 104). Bei dem veranschaulichten
Ausführungsbeispiel kombiniert das Thumbnail-Bild-Erzeugungsmodul 20 das
Farbigkeitsmodell 100 verringerter Auflösung mit
einem Basisbild 106, um das Thumbnail-Bild 24 zu
erzeugen. Allgemein kombiniert das Thumbnail-Bild-Erzeugungsmodul 20 das
Farbigkeitsmodell 100 verringerter Auflösung mit
dem Basisbild 106 auf eine Weise, die die Pixelwerte des
Basisbildes 106 derart modifiziert, dass die lokalen Regionen
des Basisbildes 106 Farbigkeitsmaße aufweisen,
die sich an die Farbigkeitsmaße entsprechender Regionen
des Farbigkeitsmodells 100 verringerter Auflösung
annähern.
-
Bei
manchen Ausführungsbeispielen entspricht das Basisbild 106 einem
standardmäßigen Thumbnail-Bild, das erzeugt wird,
indem das Eingangsbild 22 tiefpassgefiltert und zu der
Soll-Pixelauflösung des Thumbnail-Bildes 24 abwärts
abgetastet wird. Bei anderen Ausführungsbeispielen entspricht
das Basisbild 106 einer Version verringerter Auflösung
des Eingangsbildes 22, die eine oder mehrere visuelle Darstellungen verringerter
Auflösung von entsprechenden der lokalen Regionen des Eingangsbildes 22 gemäß den
hierin beschriebenen Ausführungsbeispielen beinhaltet.
Beispielsweise entspricht das Basisbild 106 bei einem exemplarischen
Ausführungsbeispiel dem in 8 gezeigten
Unschärfebild 82 verringerter Auflösung.
Bei einem anderen exemplarischen Ausführungsbeispiel entspricht
das Basisbild 106 der in 10 gezeigten
Version des Thumbnail-Bildes 24.
-
E. MODELLIEREN VON SPIEGELNDEN SCHLAGLICHTERN
IN LOKALEN EINGANGSBILDREGIONEN
-
13 zeigt
ein Ausführungsbeispiel eines Verfahrens, anhand dessen
das Eingangsbildverarbeitungssystem 10 spiegelnde Schlaglichter
in lokalen Regionen des Eingangsbildes 22 modelliert. 14 zeigt ein
Flussdiagramm von Informationen, die in verschiedenen Stufen dieses
Verfahrens zum Modellieren spiegelnder Schlaglichter erzeugt werden.
-
Gemäß dem
Verfahren zum Modellieren von spiegelnden Schlaglichtern gemäß 13 bestimmt
das Visuelle-Merkmale-Analysemodul 16 ein Eingangsbild-Spiegelnde-Schlaglichter-Modell 108,
das für die spiegelnden Schlaglichter in dem Eingangsbild 22 repräsentativ
ist (13, Block 110). Allgemein kann das Visuelle-Merkmale-Analysemodul 16 gemäß einer
beliebigen Art eines Verfahrens zum Erfassen spiegelnder Schlaglichter
lokale Regionen des Eingangsbildes 22 erfassen, die spiegelnde
Schlaglichter enthalten. Bei manchen Ausführungsbeispielen
wird das Eingangsbild-Spiegelnde-Schlaglichter-Modell abgeleitet,
indem zuerst spiegelnde Regionen segmentiert werden, indem Bildfarbhistogramme
für verräterische Schlaglichtfarben und Schlaglicht-Histogrammformen
automatisch untersucht werden und indem anschließend ein
morphologischer Operator angewendet wird, um die spiegelnden Regionen
adaptiv wachsen zu lassen, so dass sie dann in dem Thumbnail noch
sichtbarer sind. Bei manchen Ausführungsbeispielen entspricht
das resultierende Eingangsbild-Spiegelnde-Schlaglichter-Modell 108 einer
Maske, die lokale Regionen des Eingangsbildes 22, die spiegelnde
Schlaglichter enthalten, identifiziert.
-
Das
Auflösungsverringerungsmodul 18 erzeugt aus dem
Eingangsbild-Spiegelnde-Schlaglichter-Modell 108 ein Spiegelnde-Schlaglichter-Modell 112 verringerter
Auflösung (13, Block 114). Bei
manchen Ausführungsbeispielen erzeugt das Auflösungsverringerungsmodul 18 das
Spiegelnde-Schlaglichter-Modell 112 verringerter Auflösung,
indem es das Eingangsbild-Spiegelnde-Schlaglichter-Modell 108 zu
dem Soll-Pixelauflösungspegel des Thumbnail-Bildes 24 abwärts
abtastet.
-
Das
Thumbnail-Bild-Erzeugungsmodul 20 erzeugt das Thumbnail-Bild 24 auf
der Basis des Spiegelnde-Schlaglichter-Modells 112 verringerter
Auflösung (13, Block 116). Bei
dem veranschaulichten Ausführungsbeispiel kombiniert das
Thumbnail-Bild-Erzeugungsmodul 20 das Spiegelnde-Schlaglichter-Modell 112 verringerter
Auflösung mit einem Basisbild 118, um das Thumbnail-Bild 24 zu
erzeugen. Allgemein kombiniert das Thumbnail-Bild-Erzeugungsmodul 20 das
Spiegelnde-Schlaglichter-Modell 112 verringerter Auflösung
mit dem Basisbild 118 auf eine Weise, die die Pixelwerte
des Basisbildes 118 derart modifiziert, dass die lokalen Regionen
des Thumbnail-Bildes 24 spiegelnde Schlaglichter aufweisen,
die sich den spiegelnden Schlaglichtern in entsprechenden Regionen
des Spiegelnde-Schlaglichter-Modells 112 verringerter Auflösung
annähern. Bei manchen Ausführungsbeispielen kann
das Thumbnail-Bild-Erzeugungsmodul 20 eine oder mehrere
Zusammensetzungsoperationen verwenden, um gemäß dem
Spiegelnde-Schlaglichter-Modell 112 spiegelnde Schlaglichter
zu dem Basisbild 118 hinzuzufügen.
-
Bei
manchen Ausführungsbeispielen entspricht das Basisbild 118 einem
standardmäßigen Thumbnail-Bild, das erzeugt wird,
indem das Eingangsbild 22 tiefpassgefiltert und zu der
Soll-Pixelauflösung des Thumbnail-Bildes 24 abwärts
abgetastet wird. Bei anderen Ausführungsbeispielen entspricht
das Basisbild 118 einer Version verringerter Auflösung
des Eingangsbildes 22, die eine oder mehrere visuelle Darstellungen
verringerter Auflösung von entsprechenden der lokalen Regionen
des Eingangsbildes 22 gemäß den hierin
beschriebenen Ausführungsbeispielen beinhaltet. Beispielsweise
entspricht das Basisbild 118 bei einem exemplarischen Ausführungsbeispiel
dem in 8 gezeigten Unschärfebild 82 verringerter
Auflösung. Bei einem anderen exemplarischen Ausführungsbeispiel
entspricht das Basisbild 118 der in 10 gezeigten
Version des Thumbnail-Bildes 24. Bei einem anderen exemplarischen
Ausführungsbeispiel entspricht das Basisbild 118 der
in 12 gezeigten Version des Thumbnail-Bildes 24.
-
F. MODELLIEREN ANDERER VISUELLER MERKMALE
VON LOKALEN EINGANGSBILDREGIONEN
-
1. ÜBERSICHT
-
Allgemein
kann das Eingangsbildverarbeitungssystem 10 eine beliebige
Art von visuellem Merkmal in dem Eingangsbild modellieren und ein
Bild-Thumbnail 24 erzeugen, das visuelle Darstellungen
verringerter Auflösung der modellierten visuellen Merkmale
beinhaltet, um Hinweise bezüglich der Qualität
und des Inhalts des Eingangsbildes 22 zu liefern.
-
15 zeigt
ein Ausführungsbeispiel eines Verfahrens, anhand dessen
das Eingangsbildverarbeitungssystem visuelle Merkmale in lokalen
Regionen des Eingangsbildes 22 modelliert. 16 zeigt
ein Flussdiagramm von Informationen, die in verschiedenen Stufen
dieses Verfahrens zum Modellieren visueller Merkmale erzeugt werden.
-
Gemäß dem
Verfahren zum Modellieren visueller Merkmale der 15 erzeugt
das Auflösungsverringerungsmodul 18 ein Basisbild 126 verringerter
Auflösung ausgehend von dem Eingangsbild 22 (15, Block 119).
Bei manchen Ausführungsbeispielen entspricht das Basisbild 126 einem
standardmäßigen Thumbnail-Bild, das erzeugt wird,
indem das Eingangsbild 22 tiefpassgefiltert und zu der
Soll-Pixelauflösung des Thumbnail-Bildes 24 abwärts
abgetastet wird. Bei anderen Ausführungsbeispielen entspricht
das Basisbild 126 einer Version verringerter Auflösung
des Eingangsbildes 22, die eine oder mehrere visuelle Darstellungen verringerter
Auflösung von entsprechenden der lokalen Regionen des Eingangsbildes 22 gemäß den
hierin beschriebenen Ausführungsbeispielen beinhaltet.
Beispielsweise kann das Basisbild 118 entweder dem in 8 gezeigten
Unschärfebild 82 verringerter Auflösung
oder den in 10, 12 und 14 gezeigten
Versionen des Thumbnail-Bildes 24 entsprechen.
-
Das
Visuelle-Merkmale-Analysemodul 16 erfasst ein oder mehrere
visuelle Merkmale von lokalen Regionen des Eingangsbildes 22 (15,
Block 120). Exemplarische Arten von schwach ausgeprägten
visuellen Merkmalen, die anhand des Visuelle-Merkmale-Analysemoduls 16 erfasst
und modelliert werden können, umfassen: Defokussierung;
Bewegungsunschärfe; lokaler Texturgehalt, der oberhalb
der Nyquist-Frequenz der Thumbnail-Abtastparameter liegt; spiegelnde
Schlaglichter; und Rauschen. Bei manchen Ausführungsbeispielen
erfasst und modelliert das Visuelle-Merkmale-Analysemodul 16 visuell
bedeutende stark ausgeprägte Merkmale wie z. B. rote Augen,
Gesichter und Ausdrücke und andere interessierende Objekte.
Eine Beschreibung von Beispielen von Verfahren zum Erfassen und
Modellieren spezifischer Arten von visuellen Merkmalen ist in den
nächsten Abschnitten vorgesehen.
-
Das
Auflösungsverringerungsmodul 18 erzeugt eine Visuelle-Merkmale-Verbesserungsabbildung 122 verringerter
Auflösung, die Regionen identifiziert, die den erfassten
visuellen Merkmalen entsprechen (15, Block 124).
Bei manchen Ausführungsbeispielen erzeugt das Auflösungsverringerungsmodul 18 die
Visuelle-Merkmale-Verbesserungsabbildung 122 verringerter
Auflösung ausgehend von einer Eingangsbild-Visuelle-Merkmale-Abbildung 126,
die die Positionen der anhand des Visuelle-Merkmale-Analysemoduls 16 erfassten
visuellen Merkmale identifiziert oder ein Modell dieser visuellen
Merkmale enthält. Bei anderen Ausführungsbeispielen
leitet das Auflösungsverringerungsmodul 18 die
Visuelle-Merkmale-Verbesserungsabbildung 122 verringerter
Auflösung direkt von dem Eingangsbild 22 ab. Bei
diesem Vorgang verwendet das Auflösungsverringerungsmodul 18 Informationen über
die visuellen Merkmale, die durch das Visuelle-Merkmale-Analysemodul 16 erfasst
werden.
-
Das
Thumbnail-Bild-Erzeugungsmodul 20 modifiziert das Basisbild 126 auf
der Basis der Visuelle-Merkmale-Verbesserungsabbildung 122 verringerter
Auflösung, um das Thumbnail-Bild 24 zu erzeugen (15,
Block 130). Bei diesem Vorgang modifiziert das Thumbnail-Bild-Erzeugungsmodul 20 die
Pixelwerte des Basisbildes 126 gemäß der
Visuelle-Merkmale-Verbesserungsabbildung 122 verringerter
Auflösung derart, dass die lokalen Regionen des Thumbnail-Bildes 24 visuelle
Merkmale aufweisen, die sich an die visuellen Merkmale in entsprechenden
der lokalen Regionen des Eingangsbildes 22 annähern.
-
2. MODELLIEREN VON ROTEN AUGEN
IN LOKALEN EINGANGSBILDREGIONEN
-
16 zeigt
ein Ausführungsbeispiel eines Verfahrens, anhand dessen
das Eingangsbildverarbeitungssystem 10 rote Augen in lokalen
Regionen des Eingangsbildes 22 modelliert. 17 zeigt
ein Flussdiagramm von Informationen, die in verschiedenen Stufen
dieses Rote-Augen-Modellierungsverfahrens erzeugt werden.
-
Gemäß dem
Rote-Augen-Modellierungsverfahren der 16 erzeugt
das Auflösungsverringerungsmodul 18 ausgehend
von dem Eingangsbild 22 ein Basisbild 136 verringerter
Auflösung (16, Block 138). Bei
manchen Ausführungsbeispielen entspricht das Basisbild 136 einem
standardmäßigen Thumbnail-Bild, das erzeugt wird,
indem das Eingangsbild 22 tiefpassgefiltert und zu der
Soll-Pixelauflösung des Thumbnail-Bildes 24 abwärts
abgetastet wird. Bei anderen Ausführungsbeispielen entspricht
das Basisbild 136 einer Version verringerter Auflösung
des Eingangsbildes 22, die eine oder mehrere visuelle Darstellungen
verringerter Auflösung von entsprechenden der lokalen Regionen
des Eingangsbildes 22 gemäß den hierin
beschriebenen Ausführungsbeispielen beinhaltet. Beispielsweise
kann das Basisbild 136 entweder dem in 8 gezeigten
Unschärfebild 82 verringerter Auflösung
oder den in 10, 12, 14 und 16 gezeigten Versionen
des Thumbnail-Bildes 24 entsprechen.
-
Das
Visuelle-Merkmale-Analysemodul
16 erfasst Rote-Augen-Regionen
in dem Eingangsbild
22 (
16, Block
140).
Allgemein können beliebige einer großen Bandbreite
verschiedener Verfahren seitens des Visuelle-Merkmale-Analysemoduls
16 dazu
verwendet werden, Rote-Augen-Regionen in dem Eingangsbild
22 zu
erfassen. Bei manchen Ausführungsbeispielen wird das in
der
US-Patentschrift Nr. 7,116,820 beschriebene
Rote-Augen-Erfassungsverfahren dazu verwendet, Rote-Augen-Regionen
in dem Eingangsbild
22 zu erfassen.
-
Das
Auflösungsverringerungsmodul 18 erzeugt eine Rote-Augen-Abbildung 142 verringerter
Auflösung, die Basisbildregionen identifiziert, die den
erfassten Rote-Augen-Regionen entsprechen (16, Block 144).
Bei manchen Ausführungsbeispielen erzeugt das Auflösungsverringerungsmodul 18 die
Rote-Augen-Verbesserungsabbildung 142 verringerter Auflösung
ausgehend von einer Eingangsbild-Rote-Augen- Region-Abbildung 146,
die die Positionen der anhand des Visuelle-Merkmale-Analysemoduls 16 erfassten
Rote-Augen-Regionen identifiziert oder ein Modell dieser Rote-Augen-Regionen
enthält. Bei anderen Ausführungsbeispielen leitet
das Auflösungsverringerungsmodul 18 die Rote-Augen-Abbildung 142 verringerter
Auflösung direkt von dem Eingangsbild 22 ab. Bei
diesem Vorgang verwendet das Auflösungsverringerungsmodul 18 Informationen über
die Rote-Augen-Regionen, die anhand des Visuelle-Merkmale-Analysemoduls 16 erfasst
werden.
-
Das
Thumbnail-Bild-Erzeugungsmodul 20 modifiziert das Basisbild 136,
indem es die Röte der identifizierten basierten Bildregionen
in der Rote-Augen-Abbildung 142 verringerter Auflösung
erhöht, um das Thumbnail-Bild 24 zu erzeugen (16,
Block 148). Bei diesem Vorgang modifiziert das Thumbnail-Bild-Erzeugungsmodul 20 die
Pixelwerte des Basisbildes 136 gemäß der
Rote-Augen-Verbesserungsabbildung 142 verringerter Auflösung
derart, dass die lokalen Regionen des Thumbnail-Bildes 24 sichtbare
Rote-Augen-Regionen aufweisen, die manchen der in dem Eingangsbild 22 erfassten
Rote-Augen-Regionen entsprechen.
-
G. SICHTBARMACHEN VON INTERESSIERENDEN
REGIONEN IN THUMBNAIL-BILDERN
-
1. ÜBERSICHT
-
Bei
manchen Ausführungsbeispielen ist das Eingangsbildverarbeitungssystem 10 dahin
gehend wirksam, eine oder mehrere interessierende Regionen in dem
Eingangsbild 22 zu identifizieren und photorealistische
Thumbnail-Versionen der identifizierten interessierenden Regionen
zu erzeugen, um Hinweise bezüglich der Qualität
und des Inhalts von Teilregionen des Eingangsbildes 22 zu
liefern.
-
18 zeigt
ein Ausführungsbeispiel eines Verfahrens, anhand dessen
das Eingangsbildverarbeitungssystem 10 mehrere Thumbnail-Versionen
des Eingangsbildes 22 erzeugt. 19 zeigt
ein Flussdiagramm von Informationen, die in verschiedenen Stufen
dieses Thumbnail-Bild-Erzeugungsverfahrens erzeugt werden.
-
Gemäß dem
Thumbnail-Bild-Erzeugungsverfahren der 18 erzeugt
das Eingangsbildverarbeitungssystem 10 ausgehend von dem
Eingangsbild 22 ein Thumbnail-Bild 152 verringerter
Auflösung (18, Block 154). Bei
manchen Ausführungsbeispielen entspricht das Thumbnail-Bild 152 einem
standardmäßigen Thumbnail-Bild, das erzeugt wird,
indem das Eingangsbild 22 tiefpassgefiltert und zu der
Soll-Pixelauflösung abwärts abgetastet wird. Bei
anderen Ausführungsbeispielen entspricht das Thumbnail-Bild 152 einer
Version verringerter Auflösung des Eingangsbildes 22,
die eine oder mehrere visuelle Darstellungen verringerter Auflösung
von entsprechenden der lokalen Regionen des Eingangsbildes 22 gemäß den
hierin beschriebenen Ausführungsbeispielen beinhaltet.
Beispielsweise kann das Thumbnail-Bild 152 entweder dem
in 8 gezeigten Unschärfebild 82 verringerter
Auflösung oder den in 10, 12, 14, 16 und 18 gezeigten
Versionen des Thumbnail-Bildes 24 entsprechen.
-
Das
Visuelle-Merkmale-Analysemodul 16 erfasst eine oder mehrere
interessierende Regionen in dem Eingangsbild 22 (18,
Block 156). Allgemein kann das Visuelle-Merkmale-Analysemodul 16 dahin
gehend konfiguriert sein, eine beliebige Art einer bzw. eines visuell
bedeutenden, wichtigen oder hervorspringenden Region bzw. Objekts
oder eine sonstige interessierende Region in dem Eingangsbild zu
erfassen. Bei manchen Ausführungsbeispielen werden interessierende
Regionen auf der Basis eines ausgewählten Wahrnehmungs-
oder Aufmerksamkeitsmodells identifiziert. Exemplarische interessierende
Regionen umfassen keinen Hintergrund darstellende Regionen, Objekte
(z. B. Personen) und Gesichter. Bei dem veranschaulichten Ausführungsbeispiel
erfasst das Visuelle-Merkmale-Analysemodul 16 Regionen 158 des
Eingangsbildes 22, die Gesichter enthalten. Exemplarische
Verfahren zum Erfassen von Gesichtern in dem Eingangsbild 22 werden in
dem nächsten Abschnitt beschrieben.
-
Das
Eingangsbildverarbeitungssystem 10 erzeugt jeweilige Beschnittenes-Bild-Thumbnails 160 aus jeweiligen
der interessierenden Eingangsbildregionen 162, die aus
dem Eingangsbild 22 herausgeschnitten sind (18,
Block 164). Bei diesem Vorgang schneidet das Eingangsbildverarbeitungssystem 10 jede
der identifizierten interessierenden Regionen 158 aus dem
Eingangsbild 22 aus, um ein jeweiliges beschnittenes Bild 162 zu
erzeugen. Die interessierenden Regionen werden üblicherweise
zu Begrenzungskästen beschnitten, die anhand des Visuelle-Merkmale-Analysemoduls 16 identifiziert
werden. Das Eingangsbildverarbeitungssystem 10 erzeugt
anschließend aus den beschnittenen Bildern 162 die
Beschnittenes-Bild-Thumbnails 160. Bei manchen Ausführungsbeispielen
entspricht jedes der Beschnittenes-Bild-Thumbnails 160 einem standardmäßigen
Thumbnail-Bild, das erzeugt wird, indem die entsprechenden beschnittenen
Bilder 162 tiefpassgefiltert und zu der Soll-Pixelauflösung
abwärts abgetastet werden. Bei anderen Ausführungsbeispielen entspricht
jedes der Beschnittenes-Bild-Thumbnails 160 einer Version
verringerter Auflösung des entsprechenden beschnittenen
Bildes 162, die eine oder mehrere visuelle Darstellungen
verringerter Auflösung von entsprechenden der lokalen Regionen
des beschnittenen Bildes 162 gemäß den
hierin beschriebenen Ausführungsbeispielen beinhaltet.
-
Das
Eingangsbildverarbeitungssystem 10 erzeugt jeweilige Hyperlinks 166,
die die Beschnittenes-Bild-Thumbnails 160 entsprechenden
Regionen des Thumbnail-Bildes 152 zuordnen (18,
Block 168). Bei manchen Ausführungsbeispielen
zeigt eine graphische Benutzerschnittstelle die Beschnittenes-Bild-Thumbnails 160 ansprechend
darauf an, dass eine virtuelle Zeigevorrichtung (z. B. ein Cursor) über die
ent sprechenden per Hyperlink verbundenen Regionen des Thumbnail-Bildes 152 geleitet
wird.
-
2. ERFASSEN VON GESICHTERN
IN DEM EINGANGSBILD
-
Allgemein
kann das Visuelle-Merkmale-Analysemodul 16 eine beliebige
Art von Gesichtserfassungsvorgang verwenden, der das Vorliegen und
die Position jedes Gesichts in dem Eingangsbild 22 ermittelt.
Exemplarische Gesichtserfassungsverfahren umfassen, sind aber nicht
beschränkt auf, merkmalsbasierte Gesichtserfassungsverfahren,
Schablonenübereinstimmungs-Gesichtserfassungsverfahren,
Neurales-Netzwerk-basierte Gesichtserfassungsverfahren und bildbasierte
Gesichtserfassungsverfahren, die Maschinensysteme bezüglich
einer Sammlung von gekennzeichneten Gesichtsproben schulen. Ein
exemplarischer merkmalsbasierter Gesichtserfassungsansatz ist bei Viola
und Jones, „Robust Real-Time Object Detection", Second
International Workshop of Statistical and Computation theories of
Vision – Modeling, Learning, Computing, and Sampling, Vancouver,
Kanada (13. Juli 2001), das durch Bezugnahme hierin aufgenommen
ist, beschrieben. Ein exemplarisches Neurales-Netzwerk-basiertes
Gesichtserfassungsverfahren ist bei Rowley et al., "Neural
Network-Based Face Detection", IEEE Transactions an Pattern
Analysis and Machine Intelligence, Bd. 20, Nr. 1 (Januar 1998),
das durch Bezugnahme hierin aufgenommen ist, beschrieben.
-
Bei
einem typischen Gesichtserfassungsvorgang bestimmt das Visuelle-Merkmale-Analysemodul 16 anfänglich
das Vorliegen und die ungefähre Position jedes Gesichts
in dem Eingangsbild 22. Nachdem die ungefähre
Position eines Gesichts erfasst wurde, richtet das Visuelle-Merkmale-Analysemodul 16 das
erfasste Gesicht aus (bzw. registriert es), so dass es erkannt werden
kann. Bei diesem Vorgang werden ein oder mehrere Merkmalspunkte
in dem erfassten Gesicht (z. B. die Augen, die Nasenspitze und der
Mund oder die Lippen) extrahiert. Allgemein kann jegliche Art eines
Merkmalsextrakti onsvorgangs verwendet werden, einschließlich
kanten-, linien- und kurvenbasierter Merkmalsextraktionsverfahren,
Extraktionsverfahren, die auf Schablonen beruhen, die dahin gehend
entworfen sind, spezifische Merkmalspunkte (z. B. die Augen und
den Mund) zu erfassen, und struktureller Übereinstimmungsverfahren,
jedoch nicht begrenzt auf dieselben. Für jedes erfasste
Gesicht richtet das Visuelle-Merkmale-Analysemodul 16 die
extrahierten Merkmale in Bezug auf einen jeweiligen Gesichtsbegrenzungskasten
aus, der manche oder alle Teile des erfassten Gesichts einschließt.
Bei manchen Implementierungen entspricht der Gesichtsbegrenzungskasten
einem Rechteck, das die Augen, die Nase, den Mund, aber nicht die
ganze Stirn oder das ganze Kinn oder den ganzen oberen Teil des
Kopfes eines erfassten Gesichts umfasst.
-
V. SCHLUSSFOLGERUNG
-
Die
Ausführungsbeispiele, die hierin beschrieben werden, sind
in der Lage, photorealistische Bild-Thumbnails zu erzeugen, die
verbesserte Darstellungen der Qualität der entsprechenden
Originalbilder liefern. Auf diese Weise ermöglichen es
diese Ausführungsbeispiele Benutzern, die Qualität
der Originalbilder genau festzustellen. Diese Informationen können
beispielsweise dazu verwendet werden, auszuwählen, welche
Bilder in einer Sammlung in ein Photoalbum integriert, als Druckkopie
gedruckt, mittels elektronischer Post an Andere gesendet und aus
einer Sammlung gelöscht werden sollen.
-
Andere
Ausführungsbeispiele fallen in den Schutzumfang der Patentansprüche.
-
ZUSAMMENFASSUNG
-
Es
werden Verfahren, Systeme und maschinenlesbare Medien zum Verarbeiten
eines Eingangsbildes (22) beschrieben. Bezüglich
eines Aspekts werden jeweilige visuelle Merkmale von lokalen Eingangsbildregionen
eines Eingangsbildes (22), das eine erste Pixelauflösung
aufweist, analysiert, um ein Ergebnis (26) zu erzielen.
Auf der Basis des Ergebnisses (26) des Analysierens der
visuellen Merkmale werden von dem Eingangsbild visuelle Darstellungen
(30) verringerter Auflösung von entsprechenden
der lokalen Eingangsbildregionen abgeleitet. Ein Thumbnail-Bild
(24), das die Anordnungen, Proportionen und lokalen Einzelheiten
des Eingangsbildes (22), das eine zweite Pixelauflösung
aufweist, die niedriger ist als die erste Pixelauflösung,
widerspiegelt, wird ausgehend von den visuellen Darstellungen (30)
verringerter Auflösung erzeugt. Das Thumbnail-Bild (24)
wird ausgegeben.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
-
Zitierte Nicht-Patentliteratur
-
- - Porter und
Duff, „Compositing Digital Images”, Computer Graphics,
Bd. 18, Nr. 3, S. 253–259 (Juli 1984) [0039]
- - Robert L. Cook, „Stochastic Sampling in Computer
Graphics”, ACM Transactions an Graphics (TOG), Bd. 5, Ausgabe
1, S. 51–72 (Januar 1986) [0055]
- - Poirson et al., „Pattern-Color Separable Pathways
Predict Sensitivity to Simple Colored Patterns”, Vision Research,
Bd. 36, Nr. 4, S. 515–526 (1996) [0062]
- - Viola und Jones, „Robust Real-Time Object Detection”,
Second International Workshop of Statistical and Computation theories
of Vision – Modeling, Learning, Computing, and Sampling,
Vancouver, Kanada (13. Juli 2001) [0088]
- - Rowley et al., ”Neural Network-Based Face Detection”,
IEEE Transactions an Pattern Analysis and Machine Intelligence,
Bd. 20, Nr. 1 (Januar 1998) [0088]
