-
Die
Erfindung bezieht sich auf eine Vorrichtung und ein Verfahren zur
Erzeugung einer Salienzenkarte eines Bildes.
-
Das
menschliche Informationsverarbeitungssystem ist intrinsisch ein
begrenztes System; dies gilt insbesondere für das visuelle System. Trotz
unserer eingeschränkten
kognitiven Ressourcen muss dieses System mit einer ungeheuren Menge
an Informationen fertig werden, die in unserer visuellen Umgebung
vorhanden sind. Da wir jedoch in der Lage sind, unsere visuelle
Umgebung zu verstehen, scheinen wir dieses Problem paradoxerweise
erfolgreich lösen
zu können.
-
Es
wird allgemein angenommen, dass bestimmte visuelle Eigenschaften
für das
visuelle System so elementar sind, dass sie keine Aufmerksamkeitsressourcen
benötigen,
um wahrgenommen zu werden. Diese visuellen Eigenschaften werden
voraufmerksame Eigenschaften genannt.
-
Nach
diesem Lehrsatz der Sehforschung ist das Aufmerksamkeitsverhalten
des Menschen in voraufmerksame Verarbeitung und aufmerksame Verarbeitung
unterteilt. Wie oben bereits erklärt, ist die voraufmerksame
Verarbeitung, die so genannte „Bottom-Up"-Verarbeitung, mit
unbeabsichtigter Aufmerksamkeit verknüpft. Unsere Aufmerksamkeit
wird mühelos
auf hervorstechende Teile dessen, was wir sehen, gelenkt. Bei der
aufmerksamen Verarbeitung, der so genannten „Top-Down"-Verarbeitung, ist unsere Aufmerksamkeit nachweislich
mit einer bestimmten Aufgabe, an die wir denken, verknüpft. Diese
zweite Form der Aufmerksamkeit ist demnach insofern bewusster und
stärker,
als diese Form der Aufmerksamkeit mehr Mühe erfordert, damit unser Blick
in eine bestimmte Richtung gelenkt wird.
-
Die
Erkennung von hervorstechenden Punkten in einem Bild ermöglicht die
Verbesserung weiterer Schritte, wie beispielsweise Kodierung oder
Bildindizierung, Wasserzeichen, Einschätzung der Bildwiedergabequalität.
-
In
der Abhandlung von Singhal A. et al., „A multilevel bayesian network
approach to image sensor fusion",
Proceedings of the International Conference an Multisource-Multisensor Information
Fusion, 10. Juli 2000, S. 9-16, und in der Europäischen Patentanmeldung
EP 1 017 019 A2 wird
ein Verfahren zur Erzeugung einer „Belief Map" eines Eingangsbildes
offenbart, welches ein Graustufenbild ist, das für jeden Bildpunkt des Eingangsbildes
die Wahrscheinlichkeit der Zugehörigkeit
zu einem bestimmten Gegenstand angibt.
-
Die
bekannten Methoden basieren mehr oder weniger auf nichtpsychologischen
visuellen Eigenschaften. Anders als derartige Verfahren beruft sich
das vorgeschlagenen Verfahren auf die Tatsache, dass das Modell
vollständig
auf dem menschlichen visuellen System basiert, wie beispielsweise
die Berechnung früher
visueller Eigenschaften.
-
Nach
einer ersten Eigenschaft schlägt
die Erfindung ein Verfahren zur Erzeugung einer Salienzenkarte eines
Bildes vor, welches die folgenden Schritte umfasst:
- – Projektion
des Bildes gemäß der Luminanzkomponente
beziehungsweise, falls es sich bei dem Bild um ein Farbbild handelt,
gemäß der Luminanzkomponente
und gemäß der Chrominanzkomponenten,
- – Zerlegung
der Komponenten in perzeptionelle Teilbänder gemäß der Sichtbarkeitsschwelle
eines menschlichen Auges,
- – Extraktion
der hervorstechenden Elemente der die Luminanzkomponente betreffenden
Teilbänder,
- – Konturverstärkung der
hervorstechenden Elemente in jedem die Luminanzkomponente betreffenden
Teilband,
- – Berechnung
einer Salienzenkarte aus der Konturverstärkung, und zwar für jedes
die Luminanzkomponente betreffende Teilband,
- – Erzeugung
der Salienzenkarte in Abhängigkeit
von den für
jedes Teilband erhaltenen Salienzenkarten.
-
Nach
einer zweiten Eigenschaft schlägt
die Erfindung eine Vorrichtung zur Erzeugung einer Salienzenkarte
eines Bildes vor, welche dadurch gekennzeichnet ist, dass sie Mittel
für folgende
Schritte umfasst:
- – Projektion des Bildes gemäß der Luminanzkomponente
beziehungsweise, falls es sich bei dem Bild um ein Farbbild handelt,
gemäß der Luminanzkomponente
und gemäß der Chrominanzkomponenten,
- – Transposition
der Luminanz- und Chrominanzsignale in die Frequenzbereiche,
- – Zerlegung
der Komponenten des Frequenzbereichs in perzeptionelle Teilbänder gemäß der Sichtbarkeitsschwelle
eines menschlichen Auges,
- – Extraktion
der hervorstechenden Elemente der die Luminanzkomponente betreffenden
Teilbänder,
- – Konturverstärkung der
hervorstechenden Elemente in jedem die Luminanzkomponente betreffenden
Teilband,
- – Berechnung
einer Salienzenkarte aus der Konturverstärkung, und zwar für jedes
die Luminanzkomponente betreffende Teilband,
- – Erzeugung
der Salienzenkarte in Abhängigkeit
von den für
jedes Teilband erhaltenen Salienzenkarten.
-
Weitere
Eigenschaften und Vorteile der Erfindung ergeben sich aus der Beschreibung
einer nicht-einschränkenden
Ausgestaltung der Erfindung, die anhand der beiliegenden Zeichnungen
erläutert
wird. Es zeigen:
-
1 zeigt
ein allgemeines Ablaufdiagramm einer bevorzugten Ausgestaltung des
erfindungsgemäßen Verfahrens,
durchgeführt
für ein
Schwarz-Weiß-Bild.
-
2 zeigt
ein allgemeines Ablaufdiagramm einer bevorzugten Ausgestaltung des
erfindungsgemäßen Verfahrens,
durchgeführt
für ein
Schwarz-Weiß-Bild.
-
3 zeigt
die psychovisuelle Aufteilung der räumlichen Frequenz für die achromatische
Komponente.
-
4 zeigt
die psychovisuelle Aufteilung der räumlichen Frequenz für die chromatische
Komponenten.
-
5 zeigt
die Kontrastempfindlichkeitsfunktion nach Dally.
-
6a und 6b zeigen
die visuelle Maskierung beziehungsweise ein nicht-lineares Maskierungsmodell.
-
7 zeigt
das Ablaufdiagram des Normalisierungsschrittes nach der bevorzugten
Ausgestaltung.
-
8 zeigt
den Schritt der Hemmung (Inhibition) und Erregung (Exzitation).
-
9 zeigt
das Profil der Filter zur Modellierung der fazilitativen Interaktionen
für θ = 0.
-
10 zeigt
eine Darstellung des Operators D(z).
-
11 zeigt
den Schritt der chromatischen Verstärkung.
-
12 zeigt
das Auftreten außerhalb
des klassischen rezeptiven Feldes, verursacht durch die benachbarten
Bereiche der CRF-Flanken.
-
13 zeigt
ein Profilbeispiel für
die normalisierte Gewichtungsfunktion für eine bestimmte Orientierung
bei radialer Frequenz.
-
1 zeigt
das allgemeine Ablaufdiagramm einer bevorzugten Ausgestaltung des
erfindungsgemäßen Verfahrens,
durchgeführt
für ein
Schwarz-Weiß-Bild.
-
Der
Algorithmus ist in drei Hauptabschnitte unterteilt.
-
Dem
ersten Sichtbarkeit genannten Abschnitt liegt die Tatsache zugrunde,
dass das menschliche visuelle System eine begrenzte Empfindlichkeit
besitzt. Beispielsweise ist das menschliche visuelle System nicht in
der Lage, alle Signale in der realen Umgebung sehr genau wahrzunehmen;
außerdem
ist es für
geringfügige Stimuli
unempfindlich. Um diesen ersten Schritt durchzuführen, müssen diese intrinsischen Einschränkungen berücksichtigt
werden, indem perzeptionelle Zerlegung, Kontrastempfindlichkeitsfunktionen
(CSF) und Maskierungsfunktionen angewendet werden.
-
Der
zweite Abschnitt ist dem Begriff der Wahrnehmung gewidmet. Die Wahrnehmung
ist ein Prozess, in dem aus Bildern der Außenwelt eine Beschreibung erzeugt
wird, die für
den Betrachter nützlich
ist und nicht mit irrelevanten Informationen überladen ist. Um relevante
Informationen auszuwählen,
wird besonders ein Zentrum-Umgebung- Mechanismus verwendet, der biologischen
Untersuchungen folgt.
-
Der
letzte Schritt betrifft einige Gesichtspunkte des Bereichs der perzeptionellen
Gruppierung. Die Wahrnehmungsgruppierung bezieht sich auf die visuelle
Fähigkeit
des Menschen, aus primitiven Bildeigenschaften niedriger Stufe ohne
jegliche Kenntnis des Bildinhalts signifikante Bildrelationen zu
extrahieren und diese so zu gruppieren, dass eine sinnvolle Struktur
höherer
Stufe entsteht. Das vorgeschlagene Verfahren konzentriert sich nur
auf die Konturintegration und die Randverknüpfung.
-
Die
Schritte E3 und E4 werden bei Auftreten des Signals im Frequenzbereich
ausgeführt.
-
Die
Schritte E1, E6 und E9 werden im räumlichen Bereich durchgeführt.
-
Die
Schritte E7 und E8 werden im Frequenzbereich oder im räumlichen
Bereich durchgeführt.
Bei Ausführung
im Frequenzbereich muss vor Schritt E7 eine Fourier-Transformation und
vor Schritt E9 eine inverse Fourier-Transformation durchgeführt werden.
-
In
Schritt E1 wird die Luminanzkomponente aus dem betrachteten Bild
extrahiert.
-
In
Schritt E2 wird die Luminanzkomponente in den Frequenzbereich durch
Anwendung bekannter Transformationen, wie beispielsweise der Fourier-Transformation,
transponiert, um in Schritt E3 die Zerlegung in perzeptionelle Teilbänder auf
das Bild anwenden zu können.
-
In
Schritt E3 wird die Luminanzkomponente einer perzeptionellen Zerlegung
unterzogen. Diese Zerlegung wird von der Kortex-Transformation angeregt
und basiert auf der in der Schrift „The computation of visual bandwidths
and their impact in image decomposition and coding", International Conference
and Signal Processing Applications and Technology, Santa-Clara,
Kalifornien, S. 776-770, 1993, vorgeschlagenen Zerlegung. Diese
Zerlegung erfolgt nach der Sichtbarkeitsschwelle eines menschlichen
Auges.
-
Die
auf verschiedenen psychophysikalischen Versuchen gründende Zerlegung
wird erreicht, indem der Frequenzbereich in räumliche Radialfrequenz und
Orientierung aufgeteilt wird. Die perzeptionelle Zerlegung der Komponente
A führt
zu 17 psychovisuellen Teilbändern,
die, wie in 3 gezeigt, auf vier Segmente verteilt
sind.
-
Der
schattierte Bereich in 3 zeigt den Spektralträger des
zu dem dritten Segment gehörenden
Teilbands, welches eine von 15 bis 45 Grad reichende Winkelselektivität von 30
Grad besitzt.
-
Die
vier Bereiche (Segmente) der räumlichen
Frequenz werden wie folgt bezeichnet:
- I: räumliche
Frequenzen von 0 bis 1,5 Zyklen/Grad
- II: räumliche
Frequenzen von 1,5 bis 5,7 Zyklen/Grad
- III: räumliche
Frequenzen von 5,7 bis 14,2 Zyklen/Grad
- IV: räumliche
Frequenzen von 14,2 bis 28,2 Zyklen/Grad
-
Die
Winkelselektivität
ist abhängig
von dem jeweiligen Frequenzbereich. Für niedrige Frequenzen gibt es
keine Winkelselektivität.
-
Die
Haupteigenschaften dieser Zerlegungen und die Hauptunterschiede
in Bezug auf die Kortex-Transformation sind eine nicht-dyadische
radiale Selektivität
und eine mit der radialen Frequenz ansteigende Orientierungsselektivität.
-
Jedes
resultierende Teilband kann als das neurale Bild angesehen werden,
das einer Population auf einen räumlichen
Frequenzbereich und eine bestimmte Orientierung abgestimmter Sehzellen
entspricht. Tatsächlich
gehören
diese Zellen zum primären
visuellen Kortex (auch Streifenkortex oder V1 genannt, wobei V1 für das visuelle
Areal 1 steht). Dieser besteht insgesamt aus ca. 200 Millionen Neuronen
und erhält
seinen Input vom seitlichen Kniehöcker. Rund 80 Prozent der Zellen
sind für
die Orientierung und die räumliche
Frequenz des visuellen Stimulus selektiv.
-
Auf
das räumliche
Bildspektrum wird eine bekannte Eigenschaft des menschlichen visuellen
Systems angewendet, nämlich
die Kontrastempfindlichkeitsfunktion (CSF). Die angewendete CSF
ist eine mehrdimensionale Funktion, die in der Hauptsache von der
räumlichen
Frequenz, der Orientierung und dem Betrachtungsabstand abhängt.
-
Biologische
Untersuchungen haben gezeigt, dass Sehzellen auf Stimuli, die über einen
bestimmten Kontrast hinausgehen, reagieren. Der Kontrastwert, auf
den eine Sehzelle reagiert, wird Sichtbarkeitsschwelle genannt (über dieser
Schwelle ist der Stimulus sichtbar). Dieser Schwellenwert hängt von
einer ganzen Anzahl von Parametern ab, beispielsweise der räumlichen
Frequenz des Stimulus, der Orientierung des Stimulus, des Betrachtungsabstands,
usw. Diese Veränderlichkeit
führt uns
zu dem Begriff der CSF, die die Empfindlichkeit des menschlichen
Auges (die Empfindlichkeit ist gleich dem Kehrwert der Kontrastschwelle)
als eine mehrdimensionale Funktion ausdrückt. Folglich erlaubt die CSF
eine Einschätzung
der Empfindlichkeit des menschlichen Auges für einen gegebenen Stimulus.
-
In
Schritt E4 wird eine von Dally entwickelte zweidimensionale anisotrope
Kontrastempfindlichkeitsfunktion angewendet. Eine derartige CSF
ist in der Schrift „The
visible different predictor: an algorithm for the assessment of
image fidelity",
in Proceedings of SPIE Human vision, visual processing and digital
display III, Band 1666, S. 2-15, 1992, beschrieben.
-
Mit
der CSF kann eine wichtige Eigenschaft der Augen modelliert werden,
da die Zellen des menschlichen visuellen Systems sehr empfindlich
auf räumliche
Frequenzen reagieren.
-
5 veranschaulicht
die CSF nach Dally.
-
Nach
Anwendung der Funktion nach Dally erfolgt für das Signal eine inverse Fourier-Transformation in
Schritt E5, um den nächsten
Schritt E6 durchführen
zu können.
-
Für natürliche Bilder
kann die Empfindlichkeit durch die Anwesenheit eines weiteren Stimulus
moduliert werden (Anheben oder Senken der Sichtbarkeitsschwelle).
Diese Modulation der Empfindlichkeit des menschlichen Auges wird
visuelle Maskierung genannt und wird in Schritt E6 durchgeführt.
-
Der
Maskierungseffekt ist in den 6a und 6b veranschaulicht.
Betrachtet werden zwei Schlüsselpunkte,
nämlich
ein Ziel und eine Maske, wobei CT für die Kontrastschwelle
des Ziels bei Anwesenheit der Maske und CM für den Kontrast
der Maske stehen. Darüber
hinaus steht CT0 für die mit Hilfe einer CSF gemessenen
Kontrastschwelle (ohne Maskierungseffekt).
-
Bei
Veränderung
von CM können
drei Bereiche festgelegt werden:
- • Bei niedrigen
Werten für
CM bleibt die Erkennungsgrenze konstant.
Die Sichtbarkeit des Ziels erfährt
durch die Maske keine Veränderung.
- • Geht
CM gegen CT0, erleichtert
die Maske die Erkennung des Ziels durch Senken der Sichtbarkeitsschwelle.
Dieses Phänomen
wird fazilitativer Effekt oder „Sockeleffekt" genannt.
- • Steigt
CM an, wird das Ziel durch die Maske verdeckt.
Die Kontrastschwelle wird angehoben.
-
Das
Verfahren der visuellen Maskierung basiert auf der Erkennung eines
einfachen Signals als sinusförmigem
Muster.
-
Es
gibt eine Reihe anderer Verfahren für die Modellierung der visuellen
Maskierung, die auf psychophysikalischen Versuchen gründen. Zum
Beispiel bezieht sich ein optimales Verfahren auf die Erkennung
von Quantisierungsrauschen.
-
Es
ist offensichtlich, dass das bevorzugte Verfahren in Anbetracht
der den natürlichen
Bildern innewohnenden Komplexität
eine starke Vereinfachung darstellt. Dennoch sind auf diesem Grundsatz
zahlreiche Anwendungen (Wasserzeichen, Einschätzung der Bildwiedergabequalität) aufgebaut,
die angesichts der Komplexität
interessante Ergebnisse liefern.
-
In
Zusammenhang mit der Zerlegung in Teilbänder wurde die Maskierung gründlich untersucht,
was zur Festlegung von drei Maskierungsarten führte: kanalinterne Maskierung,
kanalübergreifende
Maskierung und komponentenübergreifende
Maskierung.
-
Die
kanalinterne Maskierung findet zwischen Signalen statt, die die
gleichen Eigenschaften haben (Frequenz und Orientierung) und folglich
zum gleichen Kanal gehören.
Es handelt sich hierbei um den wichtigsten Maskierungseffekt.
-
Die
kanalübergreifende
Maskierung findet zwischen Signalen statt, die zu verschiedenen
Kanälen
der gleichen Komponente gehören.
-
Die
komponentenübergreifende
Maskierung findet zwischen Kanälen
unterschiedlicher Komponenten statt (beispielsweise zwischen Komponente
A und einer chromatischen Komponente). Diese beiden letzten visuellen
Maskierungen werden im Folgenden kombiniert und einfach übergreifende
Maskierung genannt.
-
Für die achromatische
Komponente verwendeten wir die von Dally in der Schrift mit dem
Titel „A
visual model for Optimizing the Design of Image Processing Algorithms", in IEEE international
conferences an image processing, S. 16-20, 1994, entwickelte Maskierungsfunktion,
und zwar trotz der Tatsache, dass dieses Modell den „Sockeleffekt" nicht berücksichtigt.
Die Kraft dieses Modells liegt darin, dass es mit einer ungeheuren
Menge an Untersuchungsergebnissen optimiert worden ist.
-
Die
Veränderlichkeit
der Sichtbarkeitsschwelle ist durch folgende Gleichung gegeben:
wobei R
i,j für einen
aus der perzeptionellen Kanalzerlegung stammenden psychovisuellen
Kanal steht (zum Beispiel ergibt sich aus dem schattierten Bereich
in
2.1 der Kanal R
III,2).
Die Werte k
1, k
2,
s und b sind im Folgenden angegeben:
k1 = 0,0153
k2 =
392,5
-
In
der folgenden Tabelle sind die Werte für s und b für das jeweilige Teilband angegeben:
| Teilband | s | b |
| I | 0,75 | 4 |
| II | 1 | 4 |
| III | 0,85 | 4 |
| IV | 0,85 | 4 |
-
Daraus
ergibt sich am Ende des Maskierungsschrittes das Signal R'i,j(x,
j) R'i,j(x, y) = Ri,j(x,
y)/Ti,j(x, y)
-
Der
Normalisierungsschritt E7 ermöglicht
dann die Extraktion der wichtigen Hauptinformationen aus dem Teilband.
Schritt E7 wird in 7 im Einzelnen veranschaulicht.
-
In
Schritt S1 wird ein erstes Teilband R'I,J(x, y) ausgewählt. Die
Schritte S2 bis S4 und S8 werden für jedes Teilband R'I,J(x,
y) der 17 Teilbänder
durchgeführt.
-
Die
Schritte S5 bis S7 werden für
das zweite Segment (II) durchgeführt.
-
I
steht für
das räumliche
Radialfrequenzband und gehört
zu {I, II, III, IV}.
-
J
steht für
die Orientierung und gehört
zu {1, 2, 3, 4, 5, 6}.
-
(x,
y) steht für
die Raumkoordinaten.
-
In
weiteren Ausgestaltungen können
die verschiedenen Schritte für
alle Teilbänder
ausgeführt
werden.
-
Die
Schritte S2 und S3 sind für
die Modellierung des Verhaltens des klassischen rezeptiven Feldes bestimmt.
-
Der
Begriff des klassischen rezeptiven Feldes ermöglicht die Herstellung einer
Verbindung zwischen einem retinalen Bild und der globalen Wahrnehmung
der Szene. Das klassische rezeptive Feld ist definiert als der jeweilige
Bereich des Sehfeldes, in dem eine entsprechende Anregung (mit der
bevorzugten Orientierung und Frequenz) eine relevante aus einer
Sehzelle stammende Reaktion hervorruft. Daher kann per definitionem ein
Stimulus im äußeren Bereich
(Umgebung genannt) die Zelle nicht direkt aktivieren.
-
Die
Hemmung und Anregung in den Schritten S2 und S3 erhält man durch
einen Gabor-Filter, der empfindlich für die Orientierung und die
Frequenz ist.
-
Der
Gabor-Filter kann wie folgt dargestellt werden.
wobei f für die räumliche
Frequenz der Cosinus-Modulation in Zyklen/Grad (cy/°) steht.
-
(x
θ/y
θ)
erhält
man durch eine Translation der ursprünglichen Koordinaten (x
0, y
0) und durch
Drehung von θ.
wobei A für die Amplitude und
σ
x und σ
y für die Breite
der Gaußkurve
entlang der x-Achse beziehungsweise der y-Achse stehen.
-
-
Legende:
-
- excitation = Exzitation (Erregung)
- if = wenn
- otherwise = sonst
-
Um
elliptische Formen zu erhalten, nimmt man unterschiedliche Varianzen
von σX < σy.
-
Das
endgültige
Ergebnis ergibt sich wie folgt: RExi,j (x, y) = R1i,j (x,
y)·excitation(x,
y, σx, σy, ⨍, θ)
-
Legende:
-
- excitation = Exzitation (Erregung)
-
In
Schritt S3 wird die Hemmung mit folgender Gleichung berechnet:
-
Legende:
-
- inhibition = Inhibition (Hemmung)
- Si = wenn
- sinon = sonst
-
Und
zuletzt: RInhi,j (x, y) = R1i,j (x, y)·inhibition(x, y, σx, σy, ⨍, θ)
-
Legende:
-
- inhibition = Inhibition (Hemmung)
-
In
Schritt S4 wird die Differenz zwischen der Erregung und der Hemmung
berechnet. Die positiven Komponenten werden beibehalten, während die
negativen Komponenten auf „0" gesetzt werden.
Dies geschieht mit folgender Operation:
-
In
Schritt S5 werden für
jede Orientierung und für
jedes Teilband des zweiten Bereichs zwei Konvolutionsprodukte berechnet:
-
B0i,j (x,
y) und B1i,j (x, y) sind zwei Halb-Butterfly-Filter. Das Profil
dieser Filter ermöglicht
die Modellierung von fazilitativen Interaktionen für θ = 0, wie
in 9 gezeigt. Diese Filter sind durch Verwendung
eines Bipolar/Butterfly-Filters definiert.
-
Es
besteht aus einem Richtungsterm D
θ(x,
y) und einem durch einen Kreis C erzeugten Näherungsterm, durch einen Gaußfilter
G
σx,σy(x,
y) unscharf gemacht.
mit
-
Legende:
-
-
und φ = arctan
(y'/x'),
wobei (x', y')T für den um θi,j gedrehten Vektor (x, y)T steht.
Der Parameter α definiert
den Öffnungswinkel
2α des Bipolarfilters.
Er hängt
von der Winkelselektivität γ des jeweiligen
Teilbandes ab. Wir wählen α = 0,4xγ. Der Bipolarfilter
ist ungefähr
zweimal so groß wie
das klassische rezeptive Feld einer Sehzelle.
-
In
Schritt S6 wird der fazilitative Koeffizient berechnet:
wobei β eine Konstante ist,
mit
α
i ≤ l, i ∈ [0...
N – 1]
-
9 zeigt
den Operator D(z).
-
Um
die Anwendung des fazilitativen Koeffizienten zu vereinfachen, gewährleistet
der Operator D(z), dass der fazilitative Koeffizient stückweise
konstant ist, wie in 9 gezeigt.
-
In
Schritt S7 wird der fazilitative Koeffizient auf das in Schritt
S4 erhaltene normalisierte Ergebnis angewendet.
-
Geht
man nach Schritt S7 von
7 zurück zu Schritt E8 von
1,
werden die vier für
den Bereich II erhaltenen Salienzenkarten kombiniert, damit sich
die gesamte Salienzenkarte nach der folgenden Gleichung ergibt:
-
α, β, χ, δ stellen
die Gewichtungskoeffizienten dar, die von der Anwendung abhängen (Wasserzeichen, Kodierung
usw.).
-
In
weiteren Ausgestaltungen kann man die Salienzenkarte erzeugen, indem
man alle 17 Teilbänder und
nicht nur die Teilbänder
des Bereichs II berechnet.
-
2 zeigt
das allgemeine Ablaufdiagramm einer bevorzugten Ausgestaltung des
erfindungsgemäßen Verfahrens,
durchgeführt
für ein
Farbbild.
-
Die
Schritte T1, T4, T'4,
T''4, T5 und T8 erfolgen
im räumlichen
Bereich.
-
Die
Schritte T2, T'2,
T''2, T3, T'3, T''3 erfolgen im Frequenzbereich.
-
Zwischen
Schritt T1 und Schritt T2, T'2,
T''2 wird eine Fourier-Transformation
ausgeführt.
-
Zwischen
T3, T'3, T''3 und T4, T'4, T''4 wird eine inverse
Fourier-Transformation ausgeführt.
-
Die
Schritte T6 und T7 können
im Frequenzbereich oder im räumlichen
Bereich erfolgen. Erfolgen sie im Frequenzbereich, wird für das Signal
zwischen Schritt T5 und T6 eine Fourier-Transformation und zwischen Schritt
T7 und T8 eine inverse Fourier-Transformation ausgeführt.
-
Schritt
T1 umfasst die Umwandlung der RGB-Luminanzen in den Krauskopf-Gegenfarbraum,
der durch die Kardinalrichtungen A, Cr1 und Cr2 bestimmt ist.
-
Diese
Transformation in den Gegenfarbraum ist eine Möglichkeit, die Wechselbeziehungen
unter den Farbinformationen aufzulösen. Tatsächlich glaubt man, dass das
Gehirn drei verschiedene Pfade für
die Kodierung von Informationen benutzt: Der erste Pfad leitet das
Luminanzsignal (A), der zweite die roten und grünen Komponenten (Cr1) und der
dritte die blauen und gelben Komponenten (Cr2) weiter.
-
Diese
Kardinalrichtungen hängen
eng mit den von den drei Arten von Zapfen (L, M, S) stammenden Signalen
zusammen.
-
Die
drei RGB-Komponenten werden zunächst
einer Nichtlinearisierung nach dem Potenzgesetz (Gamma-Korrektur) der
Form x
γ mit γ ≈ 2,4 unterzogen.
Dieser Schritt ist erforderlich, um die Übertragungsfunktion des Anzeigesystems
zu berücksichtigen.
Die CIE-XYZ-Normfarbwerte
(CIE = französisches
Akronym für „commission
internationale de l'éclairage"), die die Basis
für die
Umrechnung in einen Farbraum des menschlichen visuellen Systems
bilden, werden dann mit Hilfe der folgenden Gleichung berechnet:
-
Die
Reaktion der L-, M-, S-Zapfen werden wie folgt berechnet:
-
Aus
dem LMS-Raum muss ein Gegenfarbraum abgeleitet werden. Es gibt verschiedene
Gegenfarbräume,
die sich darin unterscheiden, wie sie die verschiedenen Zapfenreaktionen
kombinieren. In experimentellen Untersuchungen wurde der von Krauskopf
entwickelte Farbraum bestätigt,
der sich aus der folgenden Transformation ergibt:
-
Danach
wird in Schritt T2 eine perzeptionelle Zerlegung für die Luminanzkomponente
durchgeführt. Vor
Schritt T2 und nach Schritt T1 wird die Luminanzkomponente mit Hilfe
bekannter Transformationen, wie beispielsweise der Fourier-Transformation, in
den Frequenzbereich transponiert, um in Schritt T2 die perzeptionelle
Zerlegung in Teilbänder
für das
Bild durchführen
zu können.
-
Da
die in Schritt T2 durchgeführte
perzeptionelle Zerlegung in Teilbänder die gleiche ist wie die
in Schritt E3 in 1 durchgeführte und bereits oben beschrieben
wurde, wird hier nicht mehr darauf eingegangen.
-
Bezüglich der
Zerlegung der chromatischen Komponenten Cr2 und Cr1 in den in 4 gezeigten Schritten
T'2 und T''2 führt
die Zerlegung zu fünf
psychovisuellen Teilbändern
für jede
dieser auf zwei Segmente verteilten Komponenten. Vor Schritt T'2, T''2 und nach Schritt T1 werden die Chrominanzkomponenten
mit Hilfe bekannter Transformationen, wie beispielsweise der Fourier-Transformation,
in den Frequenzbereich transponiert, um in Schritt T'2 und T''2 die perzeptionelle Zerlegung in Teilbänder für das Bild
durchführen
zu können.
-
Zwei
Bereiche der räumlichen
Frequenz werden mit I und II bezeichnet:
- I:
räumliche
Frequenzen von 0 bis 1,5 Zyklen/Grad
- II: räumliche
Frequenzen von 1,5 bis 5,7 Zyklen/Grad
-
In
Schritt T3, T'3
und T''3 wird eine Kontrastempfindlichkeitsfunktion
(CSF) angewendet.
-
In
Schritt T3 wird für
die Luminanzkomponente die gleiche Kontrastempfindlichkeit wie in
Schritt E4 von 1 angewendet, weshalb hier nicht
näher darauf
eingegangen wird.
-
In
Schritt T'3 und
T''3 wird die gleiche
CSF für
die beiden chromatischen Komponenten Cr1 und Cr2 ausgeführt. Auf
die beiden chromatischen Komponenten wird eine von Le Callet entwickelte
zweidimensionale anisotrope CSF angewendet. Diese ist in der Schrift „critères objectifs
avec rèfèrences
de qualitè visuelle
des images couleurs",
Le Callet, Universität
von Nantes, 2001, beschrieben.
-
Bei
dieser CSF werden zwei Tiefpassfilter mit einer Abschaltfrequenz
von ungefähr
5,5 Zyklen/Grad und 4,1 Zyklen/Grad für die Cr1- beziehungsweise
Cr2-Komponenten verwendet.
-
Um
frühe visuelle
Eigenschaften, welche sich aus unterschiedlichen visuellen Modalitäten (achromatische
und chromatische Komponenten) herleiten, direkt miteinander vergleichen
zu können,
werden die die Sichtbarkeit betreffenden Teilbänder gewichtet. Dabei ist die
Sichtbarkeitsschwelle als der Kontrast des Stimulus an einem bestimmten
Punkt definiert, an welchem der Stimulus gerade sichtbar wird.
-
Danach
wird für
die verschiedenen Komponenten (nicht in 2 gezeigt)
eine inverse Fourier-Transformation durchgeführt, um die Maskierung im räumlichen
Bereich anwenden zu können.
-
Daraufhin
wird für
die verschiedenen Teilbänder
für die
chromatischen Komponenten Cr1 und Cr2 in Schritt T'4 und T''4 sowie für die achromatische Komponente
in Schritt T4 eine interne Maskierung durchgeführt. Da dieser letzte Schritt
bereits in der Beschreibung von 1, Schritt
E6, erläutert
wurde, wird hier nicht näher
darauf eingegangen.
-
Die
kanalinterne Maskierung wird als eine Gewichtung der Ergebnisse
der CSF-Funktion integriert. Die Maskierung ist ein äußerst wichtiges
Phänomen
bei der Wahrnehmung, da sie die Interaktionen zwischen den Stimuli
beschreibt. Tatsächlich
kann die Sichtbarkeitsschwelle eines Stimulus durch die Anwesenheit
eines weiteren Stimulus beeinflusst werden.
-
Die
Maskierung ist am stärksten
zwischen Stimuli, die auf dem gleichen Wahrnehmungskanal oder im gleichen
Teilband liegen. Wir wenden die von Dally entwickelte Funktion der
internen Maskierung, wie in 1, Schritt
E6, beschrieben, auf die achromatische Komponente und auf die Farbkomponente
die Funktion der internen Maskierung an, welche in der von P. Le
Callet und D. Barba verfassten Schrift „Frequency and spatial pooling
of visual differences for still image quality assessment", in Proc. SPIE Human
Vision and Electronic Imaging Conference, San Jose, CA, Band 3959,
Januar 2000, beschrieben ist.
-
Diese
Maskierungsfunktionen bestehen aus einem nichtlinearen Wandler,
wie er in der von Legge und Foley verfassten Schrift „Contrast
Masking in Human Vision",
Journal of the Optical Society of America, Band 70, Nr. 12, S. 1458-1471,
Dezember 1980, ausgedrückt
ist.
-
Die
visuelle Maskierung ist am stärksten
zwischen Stimuli, die im gleichen Wahrnehmungskanal liegen (kanalinterne
Maskierung). Dennoch gibt es, wie sich in zahlreichen Studien gezeigt
hat, mehrere komponentenübergreifende
Maskierung genannte Interaktionen, die eine Maskierung oder einen „Sockeleffekt" liefern. Aus psychophysikalischen
Versuchen wurden signifikante komponentenübergreifende Interaktionen,
an denen die chromatischen Komponenten beteiligt sind, ausgewählt. Demzufolge
konnte die Empfindlichkeit der achromatischen Komponente durch die
Komponente Cr1 erhöht
oder verringert werden. Der Einfluss von Cr2 auf die achromatische
Komponente wird als unbedeutend eingestuft. Zuletzt kann auch Cr1
die Empfindlichkeit der Komponente Cr2 modulieren (und umgekehrt).
-
In
Schritt T5 erfolgt dann eine chromatische Verstärkung.
-
Die
Farbe ist einer der Faktoren mit der stärksten Anziehungskraft für die Wahrnehmung.
Die Erfindung möchte
diese Anziehungskraft durch Vorstellen der folgenden Eigenschaft
nutzen: Das Vorhandensein von Bereichen mit einer deutlichen Farbe,
die vollständig
von Flächen
mit relativ anderen Farben umgeben sind, impliziert eine besondere
Anziehung für
die Ränder
dieses Bereiches.
-
Um
die schwierige Aufgabe, aus achromatischen und chromatischen Komponenten
stammende Messungen zu sammeln, zu vermeiden, besteht die Farbfazilitation
aus der Verstärkung
der Salienz einer achromatischen Struktur, indem ein für die niedrigen
Frequenzen der chromatischen Komponenten berechneter fazilitativer
Koeffizient verwendet wird.
-
In
der bevorzugten Ausgestaltung wird lediglich eine Teilmenge aus
einer Menge von achromatischen Kanälen verstärkt. Diese Teilmenge enthält vier
Kanäle
mit einer Winkelselektivität
von π/4
und einer unter [1,5; 5,7] fallenden räumlichen Radialfrequenz (in
Zyklen/Grad). Diese Kanäle
werden mit Ri , j bezeichnet, wobei i für die räumliche Radialfrequenz und
j für die
Orientierung stehen. Im Beispiel ist j gleich {0, π/4, π/2, 3π/4}. Um einen
fazilitativen Koeffizienten zu berechnen, wird für jeden Bildpunkt mit der niedrigen
Frequenz von Cr1 und Cr2 der Kontrastwert bestimmt, der sich auf
den Inhalt der benachbarten Areale und der aktuellen Orientierung
des verstärkten
achromatischen Kanals bezieht, wie in 11 gezeigt.
In 11 ergibt sich der Kontrastwert durch Berechnung
der absoluten Differenz zwischen dem durchschnittlichen Wert der
Menge A und dem durchschnittlichen Wert der Menge B. Die Mengen
A und B fallen unter die niedrige Frequenz von Cr1 oder Cr2 und
sind in der bevorzugten Orientierung des jeweiligen achromatischen
Kanals ausgerichtet.
-
Die
chromatische Verstärkung
für einen
achromatischen (Luminanz-)Kanal R
i , j(x, y) erhält man mit
der folgenden Gleichung.
wobei
R(1)i,j (x, y) für das verstärkte achromatische
Teilband und R
i,j(x, y) für ein achromatisches
Teilband stehen.
-
|A-B|k steht für
den Kontrastwert, der um den aktuellen Punkt auf der chromatischen
Komponente k in der bevorzugten Orientierung des Teilbands Ri,j(x, y) berechnet wird, wie in 7 gezeigt.
In der Ausgestaltung gehören
die Mengen A und B zum Teilband des ersten Segments (niederfrequentes
Teilband) der chromatischen Komponente k mit einer Orientierung
von π/4.
-
In
weiteren Ausgestaltungen können
alle Teilbänder
berücksichtigt
werden.
-
In
Schritt T6 wird die suppressive Zentrum-Umgebung-Interaktion ausgeführt.
-
Der
erste Schritt dieser Operation ist die Hemmung (Inhibition) und
Erregung (Exzitation).
-
Für die Modellierung
des Hemmverhaltens der Zellen außerhalb des klassischen rezeptiven
Feldes wird eine zweidimensionale Differenz-der-Gaußfunktion
(DoG, Difference of Gaussian) verwendet. Die
wird mit der folgenden Gleichung
berechnet:
für eine zweidimensionale
Gaußkurve
steht.
-
Die
Parameter
(σexx , σexy ) und
(σinhx , σinhy ) entsprechen
der räumlichen
Ausdehnung der Gaußkurve
entlang der x-Achse und der y-Achse der zentralen Gaußkurve (des
Zentrums des klassischen rezeptiven Feldes) beziehungsweise der
hemmenden Gaußkurve
(der Umgebung). Diese Parameter wurden gemäß der Radialfrequenz des zweiten
Segments (die Radialfrequenz f∈[1,5;5,7]
wird in Zyklen/Grad ausgedrückt)
im Experiment bestimmt. Schließlich
kann die nichtklassische Umgebungshemmung anhand der normalisierten
Gewichtungsfunktion
modelliert werden, welche
man mit der folgenden Gleichung erhält:
mit
(x', y')
ergibt sich durch eine Translation des ursprünglichen Koordinatensystems
um (x
0, y
0) und
Drehung desselben um θ
i , j,
ausgedrückt
in rad:
bezeichnet die Norm L
1, d.h. den absoluten Wert.
-
12 zeigt
die Struktur einer Hemmung außerhalb
des klassischen rezeptiven Feldes.
-
13 zeigt
ein Beispiel eines Profils der normalisierten Gewichtungsfunktion
-
Die
Reaktion
R(2)i,j (x, y) von Kortexzellen auf ein bestimmtes Teilband
R(1)i,j (x,
y) wird durch die Konvolution des Teilbandes
R(1)i,j (x, y) mit
der Gewichtungsfunktion
berechnet:
wobei H(z) wie oben beschrieben
definiert ist.
-
In
Schritt T7 wird eine fazilitative Interaktion durchgeführt.
-
Die
fazilitative Interaktion wird üblicherweise
als Konturverstärkung
oder Konturintegration bezeichnet.
-
Fazilitative
Interaktionen erscheinen außerhalb
des klassischen rezeptiven Feldes entlang einer bevorzugten Orientierungsachse.
Derartige Interaktionen erreichen ihr Maximum, wenn die Stimuli
für Zentrum und
Umgebung isoorientiert und koorientiert sind. Anders ausgedrückt wird,
wie sich in mehreren physiologischen Beobachtungen gezeigt hat,
die Aktivität
der Zelle erhöht,
wenn die Stimuli im klassischen rezeptiven Feld und ein Stimulus
in der Umgebung miteinander verknüpft werden, um eine Kontur
zu bilden.
-
Die
Konturintegration bei der frühen
visuellen Vorverarbeitung wird mit Hilfe zweiter Halb-Butterfly-Filter
B0i,j und
B1i,j simuliert.
Die Profile dieser Filter sind in
9 gezeigt
und werden mit Hilfe eines Bipolar/Butterfly-Filters definiert.
Es besteht aus einem Richtungsterm D
θ(x,
y) und einem durch einen Kreis C erzeugten Näherungsterm, durch einen Gaußfilter
G
σx,σy(x,
y) unscharf gemacht.
und φ = arctan (
y'/
x'), wobei (x', y')
T für den um θ
i,j gedrehten Vektor (x, y)
T steht.
Der Parameter α definiert
den Öffnungswinkel
2α des Bipolarfilters.
Er hängt
von der Winkelselektivität γ des jeweiligen
Teilbandes ab. Wir wählen α = 0,4xγ. Der Bipolarfilter
ist ungefähr
zweimal so groß wie
das klassische rezeptive Feld einer Sehzelle.
-
Die
beiden Halb-Butterfly-Filter B0i,j und B1i,j werden später von
dem Butterfly-Filter mit Hilfe geeigneter Fenster abgeleitet.
-
Für jede Orientierung,
jedes Teilband und jeden Ort wird der fazilitative Koeffizient wie
folgt berechnet:
wobei
β eine Konstante
ist,
L0i,j (x, y) = R(2)i,j (x, y)·B0i,j (x, y) L1i,j (x,
y) = R(2)i,j (x, y)·B1i,j (x,
y) wobei
9 den Operator
D(z) veranschaulicht.
-
Das
sich aus der fazilitativen Interaktion ergebende Teilband
R(3)i,j erhält man schließlich durch
Wichten des Teilbands
R(2)i,j mit einem Faktor, der von dem Verhältnis des
lokalen Maximums des fazilitativen Koeffizienten
fisoi,j (x, y) und
dem globalen Maximum des fazilitativen Koeffizienten abhängt, berechnet
für alle
Teilbänder,
die zum gleichen räumlichen
Frequenzbereich gehören:
-
Dieser
fazilitative Faktor ermöglicht,
aus einer standardmäßigen Schmetterlingsform
eine Verbesserung der Salienz von isolierten geraden Linien zu erzielen.
Mit ηiso kann die Stärke dieser fazilitativen Interaktion
gesteuert werden.
-
In
Schritt E8 erhält
man die Salienzenkarte, indem man alle sich aus Schritt E7 ergebenden
Teilbänder addiert.
-
-
In
weiteren Ausgestaltungen der Erfindung können alle Teilbänder verwendet
werden und nicht nur die Teilbänder
des zweiten Segments.
-
Obwohl
Kortexzellen, die auf horizontale und vertikale Richtung abgestimmt
sind, nahezu ebenso zahlreich sind wie Zellen, die auf andere Richtungen
abgestimmt sind, wird keine Gewichtung eingeführt. Diese Eigenschaft des
menschlichen visuellen Systems wird durch Anwendung einer zweidimensionalen
anisotropen Kontrastempfindlichkeitsfunktion implizit nachgeahmt.
mit
für eine zweidimensionale Gaußkurve steht.
mit
(x', y') ergibt sich durch eine Translation des ursprünglichen Koordinatensystems um (x0, y0) und Drehung desselben um θi , j, ausgedrückt in rad:
bezeichnet die Norm L1, d.h. den absoluten Wert.
wobei H(z) wie oben beschrieben definiert ist.
