-
Die
Erfindung betrifft die Bearbeitung von digitalen (numerischen) Bildern,
die auf elektromagnetischem Wege durch Erfassung von elektromagnetischen
Wellen aufgezeichnet worden sind, wie z.B. Satellitenaufnahmen oder
Luftaufnahmen.
-
Derartige
Bilder werden unscharf oder gestört
als Folge einer falschen Einstellung oder eines Nachlassens des
Instruments, mit dem sie empfangen werden können. Dies ist auch der Fall
bei einer optischen Erfassung, einer Defokussierung oder bei Aberrationen
oder auch bei einer relativen Verschiebung des (eingeschalteten)
Instruments, bei der die Übertragungsfunktion
des Instruments verändert
wird und Klarheit (Schärfe)
des Bildes sich ändert.
Im Falle optisch-elektronischen Erfassung (CCD-Sensoren) beeinträchtigt auch
das Rauschen der Sensoren die Qualität des erhaltenen Bildes. Obgleich
die Übertragungsfunktion
des Instruments parametrisiert werden kann, unterliegen seine Parameter
dennoch einer unkontrollierten Weiterentwicklung (Veränderung).
-
Aus
dem Dokument von R. ZWIGGELAAR, C. R. BULL: "On the use of local and scalable Fourier transforms,
fractal dimension information, and texture segmentation" der FIFTH INTERNATIONAL
CONFERENCE ON IMAGE PROCESSING AND ITS APPLICATIONS", 1995, Seiten 100–104, Edinburg,
UK, ist es bekannt, eine Bildinformation (beispielsweise den Text)
zu gewinnen durch Ableitung einer fraktalen Dimension aus dem Energiespektrum.
-
Eines
der Ziele der vorliegenden Erfindung besteht darin, für jedes
empfangene Bild oder jeden empfangenen Bildtyp ein Bildmodell zu
erstellen, das so genau wie möglich
ist und das unabhängig
ist von einer Veränderung
der Parameter der Übertragungsfunktion
des Instruments, mit dem dieses Bild empfangen wird.
-
Ein
weiteres Ziel der vorliegenden Erfindung besteht darin, dieses Modell
in einer parametrisierbaren Form zu erstellen, bei dem die Parameter
des Modells einem Bild oder einem Bildtyp zugeordnet werden können.
-
Ein
weiteres Ziel der vorliegenden Erfindung besteht darin, ein solches
Modell zu erstellen, das mit einem parametrisierbaren Modell der Übertragungsfunktion
des Instruments kompatibel sein kann im Hinblick auch auf den Empfang
der Parameter dieser Übertragungsfunktion
und im Hinblick auf die Rekonstruktion gegebenenfalls eines scharfen
und nicht rauschenden Bildes.
-
Zu
diesem Zweck wird erfindungsgemäß zuerst
ein Verfahren zur Bearbeitung von digitalen (numerischen) Bildern,
die auf elektromagnetischem Wege empfangen worden sind, vorgeschlagen.
Die Erfindung ist definiert in dem weiter unten folgenden Verfahrensanspruch
1 sowie in dem Vorrichtungsanspruch 22 und in dem Computersoftware-Produktanspruch
27.
-
Das
erfindungsgemäße Verfahren
umfasst gemäß einem
ersten wichtigen Aspekt der Erfindung die folgenden Stufen:
- a) Erfassung von Bilddaten, die sich auf Bildelemente
eines Ausgangsbildes beziehen,
- b) Durchführung
mindestens einer spektralen Transformation bei mindestens einem
Teil der Bildelemente,
- c) Erstellung für
mindestens einen Teil dieser Bildelemente eines statistischen Gesamtmodells,
das parametrisierbar ist, aus den Transformierten der Bildelemente
und
- d) Durchführung
eines Vergleichs zwischen den Modell-Transformierten und den Ausgangs-Transformierten,
um sich an mindestens einen Parameter, der in dem verwendeten statistischen
Modell vorkommt, anzunähern.
-
Im
Prinzip behalten die Bildelemente die gleichen Charakteristika wie
das Gesamtbild, unabhängig von
der Dimension (oder der Größe) des
Bildes. Unter einer "globalen
Modellbildung" versteht
man eine Modellbildung, die, angewendet auf jede Transformierte
des Bildelements, beruht auf der Anwendung einer Modellbildung auf
eine Transformierte des Gesamtbildes unter Beibehaltung seiner Charakteristika
in Bezug auf Unschärfe
und Rauschen.
-
Vorzugsweise
ist die Transformation der Stufe (b) eine Fourier-Transformation
oder auch eine diskrete Cosinus-Transformation und das statistische
Modell ist vorzugsweise ein solches vom Fraktal-Typ und es umfasst
die Beeinflussung mindestens eines Parameters, der geeignet ist,
eine statistische Variation der Koeffizienten zu definieren, die
aus der Transformierten jedes Elements stammen, innerhalb des Frequenzbereiches.
-
Bei
einer Ausführungsform
ist in dem erfindungsgemäßen Verfahren
eine quantitative Bestimmung dieses Parameters auf der Basis des
Vergleichs der Stufe (d) vorgesehen, um gegebenenfalls davon letzlich den
quantitativen Wert eines zweiten Parameters abzuleiten, der ebenfalls
in das Modell eingehen kann.
-
Bei
einer anderen Ausführungsform
ist in dem erfindungsgemäßen Verfahren
die Zuordnung eines quantitativ bestimmten Wertes zu diesem Parameter
vorgesehen, um aus dem Vergleich der Stufe (d) den quantitativen
Wert eines zweiten Parameters abzuleiten, der ebenfalls in das Modell
eingeht.
-
Bei
noch einer weiteren Ausführungsform
ist in dem erfindungsgemäßen Verfahren
die Zuordnung von Werten, die quantitativ an diesen Parameter und
an den zweiten Parameter angenähert
sind, sowie eine nachfolgende Verfeinerung durch den Vergleich in
der Stufe (d) mindestens des quantitativen Wertes des zweiten Parameters
vorgesehen.
-
Die
Stufen (d) umfasst in vorteilhafter Weise die Bestimmung eines Extrems
in einem mathemtischen Ausdruck, der repräsentativ für den durchgeführten Vergleich
ist, vorzugsweise die Bestimmung eines Wahrscheinlichkeitsmaximums.
-
Gemäß einer
anderen vorteilhaften Charakteristik der Erfindung geht in das statistische
Modell außerdem
mindestens ein instrumenteller Parameter, der Änderungen unterliegt, ein und
in der Stufe (c) nähert
man sich in vorteilhafter Weise an diesen instrumentellen Parameter
an, wodurch es gegebenenfalls möglich
ist, das Ausgangsbild zu bearbeiten, um seine Qualität zu verbessern.
-
In
den vorstehend beschriebenen Ausführungsformen kann der vorgenannte
zweite Parameter zweckmäßig diesem
instrumentellen Parameter entsprechen.
-
Vorzugsweise
umfasst das Verfahren eine der Stufe (b) vorhergehende Stufe der
Modellbildung einer Modulierungsfunktion des Instruments, die einer
falschen Einstellung (Deregulierung) des Instruments Rechnung trägt, wobei
diese Funktion in den oben genannten instrumentellen Parameter eingehen
kann.
-
Die
vorliegende Erfindung betrifft außerdem eine Anwendung des vorstehend
beschriebenen Verfahrens zur Bearbeitung von Satellitenbildern oder
Luftbildern, die durch optische oder Infrarot-Erfassung erhalten wurden.
-
Die
vorliegende Erfindung kann sich auch in der Form einer Vorrichtung
zur Durchführung
des vorstehend beschriebenen Verfahrens manifestieren, wobei die
Vorrichtung dann umfasst einen statistischen Modellbildungs-Modul,
der eine Eingabe für
die Erfassung der spektralen Transformierten von Elementen, die
ein Ausgangsbild aufbauen, aufweist und vorgesehen ist:
- – zur
Anwendung einer globalen statistischen Modellbildung, die parametrisierbar
ist, auf mindestens einen Teil der Bildelement-Transformierten und
- – zum
Vergleich der Modell-Transformierten mit den Ausgangs-Transformierten,
um sich an mindestens einen Parameter anzunähern, der in das verwendete
statistische Modell eingeht.
-
In
vorteilhafter Weise kann die Vorrichtung sowohl auf dem Erdboden
als auch in einem Luftfahrzeug vom Satelliten-, Flugzeug- oder anderen
Typ eingebaut sein.
-
Bei
einer Ausführungsform
umfasst die Vorrichtung Speichereinrichtungen und Recheneinrichtungen, um
mindestens den Modellbildungsmodul funtionieren zu lassen. Die Speichereinrichtungen
enthalten Programmdaten in Bezug auf den Modellbildungsmodul und
die Rechnereinrichtungen sind vorgesehen, um mit den Speichereinrichtungen
zu kooperieren, um so den Modellbildungsmodul ausnutzen zu können.
-
Bei
einer Variente umfasst der Modellbildungsmodul Speichereinrichtungen
und Recheneinrichtungen, die in dem gleichen Bauelement vom FPGA-
oder VLSI-Typ vereinigt
sind.
-
Die
Programmdaten, bezogen auf den vorgenannten Modellbildungsmodul
stellen ein wichtiges Mittel zur Durchführung der Erfindung dar. Zu
diesem Zweck betrifft die vorliegende Erfindung außerdem ein
Rechenprogramm-Produkt, das in einer Vorrichtung des weiter oben
genannten Typs gespeichert sein soll, um mindestens den Modellbildungsmodul
anwenden zu können.
Dieses Programmprodukt kann auch in einem herausnehmbaren Speicher
(einem tragbaren Träger
vom CD-ROM-Typ,
einer Diskette oder dgl.) gespeichert sein, es kann in einen Arbeitsspeicher
oder in einen Festplattenspeicher der Vorrichtung geladen werden (durch
Herstellung einer Verbindung zu einem entfernten Netzwerk) oder
es kann auch in einem Festspeicher der Vorrichtung gespeichert sein.
-
Weitere
Charakteristika und Vorteile der Erfindung gehen aus der nachstehenden
detaillierten Beschreibung und den beiliegenden Zeichnungen hervor,
wobei zeigen:
-
1 in
schematischer Form ein Instrument zur Herstellung von Aufnahmen
während
des Betriebs,
-
2 in
schematischer Form einen vereinfachten Aufbau der erfindungsgemäßen Vorrichtung
gemäß einer
ersten Ausführungsform,
-
3 in
schematischer Form einen vereinfachten Aufbau der Vorrichtung gemäß einer
zweiten Ausführungsform,
-
4A in
schematischer Form ein Digitalbild, in dem die Bildelemente (Pixel)
erkennbar sind,
-
4B in
schematischer Form eine Fourier-Transformation FFT des Bildes, in
dem beschriebenen Beispiel in dem Frequenzbereich, die angewendet
wird auf Blöcke
von Bildelementen,
-
5 ein
vereinfachtes Fließ-
bzw. Ablaufdiagramm mit den Hauptstufen einer ersten Ausführungsform
des erfindungsgemäßen Verfahrens,
-
6 ein
detaillierteres Ablaufdiagramm.
-
7 ein
Ablaufdiagramm gemäß einer
Variante der ersten Ausführungsform,
wie sie in 5 dargestellt ist,
-
8 eine
Krone (Ring) in dem Frequenzbereich (in Form von polaren Koordinaten),
für die
Anwendung auf ein Verfahren gemäß einer
zweiten Ausführungsform,
-
9 die
Steigung einer Regressions-Geraden als Funktion des instrumentellen
Parameters [α],
kombiniert mit einer Defokussierungs-Unschärfe des Instruments,
-
10 ein
Ablaufdiagramm mit den Stufen eines Verfahrens gemäß der zweiten
Ausführungsform
der Erfindung,
-
11 eine
modellhafte Variante (in durchgezogener Form) des Logarithmus des
Varianz V, die aus dem statistischen Modell entnommen ist, als Funktion
des Logarithmus der radialen Frequenzen (mit polaren Koordinaten)
zum Vergleich mit den tatsächlich
gemessenen und errechneten Werten aus dem reellen Bild (dargestellt
durch Kreuze) für
die Stadt Nîmes
in Frankreich und
-
12 eine
modellhafte Variation (in ausgezogenen Strichen) des Logarithmus
der Varianz V, die aus dem statistischen Modell entnommen ist, als
Funktion des Logarithmus der radialen Frequenzen (mit polaren Koordinaten)
zum Vergleich mit den tatsächlich
errechneten Werten, ausgehend von dem reellen Bild (dargestellt
durch Kreuze) für
die Stadt Poitiers in Frankreich.
-
Der
Anhang umfasst mathematische Formeln, auf die in der vorliegenden
Beschreibung Bezug genommen wird. Die nachfolgende Beschreibung
und die beiliegenden Zeichnungen enthalten im Wesentlichen Elemente
mit realem Charakter. Sie können
somit nicht nur dazu dienen, die Erfindung besser zu verstehen, sondern
auch dazu, gegebenenfalls zu ihrer Definition beizutragen.
-
Zunächst wird
Bezug genommen auf die 1, in der ein Instrument dargestellt
ist, das in ein SAT-Luftfahrzeug (Satellit, Flugzeug oder dgl.)
eingebaut ist, das Einrichtungen zur Herstellung von Aufnahmen von
Ansichten der Erde in dem beschriebenen Beispiel durch Erfassung
von elektromagnetischen Wellen EM umfasst. Diese elektromagnetischen
Wellen können
sowohl optische Wellen als auch infrarote Wellen sein. In der Regel
umfasst das Instrument eine Fokussierungseinrichtung, an die sich
eine Vielzahl von Sonden (nicht dargestellt) anschließt, beispielsweise
fotoelektronische Sonden vom CCD-Typ ("Ladungs-gekoppelte Einrichtung"). Die Qualität des Bildes,
ausgedrückt
durch die Bildschärfe,
hängt unter
anderem von der Fokussierung des Instruments, von instrumentellen
Aberrationen (Farbabweichungen), von der Beugung (Streuung) der
Wellen in der Fokussierungs-Vorrichtung und von einer eventuellen
relativen Verschiebung des Satelliten gegenüber dem zu beobachteten Bild
(Veränderung
der Verdrahtung) ab.
-
Wenn
das Instrument in Betrieb ist (beispielsweise in einem Weltraumsatelliten)
ist eine Regulierung des Instruments (im Falle einer Defokussierung
oder in einem anderen Falle) schwierig. Die Übertragungsfunktion h des Instruments
erlaubt die quantitative Bestimmung dieser Defokussierung, der Beugung
(Streuung) oder einer anderen Falscheinstellung (Deregulierung)
des Instruments. Diese Übertragungsfunktion
ist parametrisierbar und seine Parameter unterliegen Änderungen,
während
das Instrument in Betrieb ist.
-
Die
optisch-elektronischen Sensoren CCD weisen ihrerseits ein elektronisches
Rauschen N auf, das Änderungen
unterliegt.
-
Nachstehend
wird das Bild, das aus dem Unschärfe-,
Rausch- und sonstigen Fehler-Modell konstruiert worden ist mit Y
bezeichnet, ausgehend von einem Bild X, das als scharf und rauschfrei
angenommen wird. Mit Y0 wird das tatsächlich von
dem Instrument empfangene Bild bezeichnet und mit X0 wird
das entsprechende Bild bezeichnet, das schart und rauschfrei ist,
das durch Bearbeitung des Bildes, wie weiter unten ersichtlich,
hergestellt werden soll.
-
Die
vorliegende Erfindung erlaubt in vorteilhafter Weise die Bestimmung
dieser veränderbaren
Parameter. Gegebenenfalls kann man anschließend, ausgehend von einem erhaltenen
Bild Y0, das unscharf ist und rauscht, ein
reelles Bild X0 ableiten, das scharf und
rauschfrei ist, wie weiter unten ersichtlich. Wenn die Defokussierung
des Instruments nach dem Erhalt des instrumentellen Parameters,
der hier relativ ist, quantitativ bestimmt wird, ist es außerdem möglich, ausgehend
von einem von der Erde ausgesandten Befehl die Fokussierung des
Instruments einzustellen.
-
Wie
in der 2 dargestellt, liegt die Vorrichtung in einer
ersten Ausführungsform
in Form einer Arbeitsstation ST vor, die einen Prozessor μP umfasst,
der einerseits mit einem Arbeitsspeicher MT und andererseits mit
einem Festspeicher (MEM) kooperieren kann. In dem Festspeicher MEM
ist der Modellbildungsmodul MOD gespeichert in Form eines Rechenprogramms,
das dazu bestimmt ist, den Prozessor zu betreiben. Die Arbeitsstation
ST umfasst zwei Verbindungen nach außen L1 und L2, um einerseits
Bilddaten zu empfangen und andererseits Parameter-Werte des verwendeten
statistischen Modells und/oder der instrumentellen Parameter zu
liefern. Der Prozessor μP
kooperiert mit dem Arbeitsspeicher MT, der die Bilddaten durch seine Verbindung
L1 aufnimmt und das Programm des Moduls FFT, das in dem Festspeicher
MEM vorgesehen ist, lädt,
um eine Fourier-Transformation auf die empfangenen Bildelemente
anzuwenden oder auch um eine diskrete Cosinus-Transformation DCT anzuwenden. Der Prozessor
setzt anschließend
den Modellbildungsmodul MOD in Betrieb, um das statistische Modell
auf die Koeffizienten anzu wenden, die aus den Transformationen der
Bildelemente resultieren. Nach dem Vergleich mit den Transformierten
der Ausgangs-Bilddaten liefert der Arbeitsspeicher durch die Verbindung
L2 mindestens einen Parameter des statistischen Modells und/oder
mindestens einen instrumentellen Parameter.
-
Die 3 dient
der Beschreibung einer anderen Ausführungsform der Vorrichtung.
Bei dieser Ausführungsform
umfasst die Vorrichtung mindestens eine vorprogrammierte Komponente,
beispielsweise vom Typ FPGA ("Feld
Programm Gitter-Anordnung"), in der der Modellbildungsmodul
MOD gespeichert ist. Es kann auch eine andere vorprogrammierte Komponente
FFT, die für
die Berechnung der Fourier-Transformationen oder
auch der diskreten Cosinus-Transformationen DCT geeignet ist, für jedes
empfangene Bildelement eij vorgesehen sein.
Die Komponente FFT liefert auf diese Weise die Koeffizienten, die
aus der Transformation aij in Kombination
mit den Bildelementen eij resultieren. Die
MOD-Komponente wendet das statistische Modell an auf die Transformierten
der Bildelemente aij und vergleicht die
Modell-Transformierten mit den Ausgangs-Transformierten, um mindestens
einen Parameter des statistischen Modells q, w0 und/oder
mindestens einen instrumentellen Parameter α, μ, σ zu liefern. In dem dargestellten
Beispiel empfängt
der Modul MOD den vordefinierten Wert eines Parameters des statistischen
Modells q, wie weiter unten ersichtlich. Als Variante kann dieser
Parameter q in dem Speicher der Komponente MOD gespeichert werden,
insbesondere wenn vorgesehen ist, dass die Vorrichtung nur einen
Typ von Bildelementen bearbeiten muss. Bei einer anderen Variante
führt die
Vorrichtung die Berechnungen durch um mindestens einen instrumentellen
Parameter α, μ, σ auszugeben
unter Verwendung der Parameter q und w0,
jedoch ohne ihren quantitativen Wert anzugeben.
-
In
der 4A handelt es sich bei dem zu bearbeitenden Bild
IM um ein digitales (numerisches) Bild, das in dem beschriebenen
Beispiel zweidimensional ist. Die Bildelemente eij liegen
dabei in Form von Pixeln vor, denen verschiedene Grauwerte zugeordnet
sind, die einer oder mehreren Spektralbanden entsprechen. Für den Typ
des empfangenen Bildes kann die Anzahl der Pixel pro Zeile und/oder
pro Spalte zwischen 256 und 15000 liegen. Bei einer bevorzugten
Ausführungsform
und für
eine ausreichende Anzahl von Bildelementen wird das Bild IM in Blöcke aus
512 Elementen × 512
Elementen zerlegt und auf jeden Block wendet man eine Trans formation
FFT (oder DCT) an. Man erhält
in dem Frequenzbereich die Fourier-Koeffizienten (oder die Koeffizienten
der DCT-Transformationen) aij, die den Blöcken zugeordnet
sind (4B). Zweckmäßig erlaubt die Zerlegung des
Bildes in Blöcke
die Abschätzung
der instrumentellen Aberrations-Parameter, insbesondere die Koma-Aberration.
Vorzugsweise ist in dem Verfahren die Bewertung eines Mittelwerts
der Quadrate der Module dieser Koeffizienten eij vor
der anschließenden
Anwendung des statistischen Fraktal-Modells vorgesehen.
-
Nachstehend
wird das statistische Modell, das auf die Transformierten der Pixel
eij angewendet wird, näher beschrieben.
-
Das
Instrument empfängt
ein Bild Y und überträgt es in
digitalisierter Form Pixel für
Pixel zu einer Vorrichtung vom in der 2 oder in
der 3 dargestellten Typ. Dieses Bild Y kann unscharf
und rauschend sein, während
ein Originalbild X scharf und rauschfrei ist. Die Daten der Bilder
Y und X stehen durch die Beziehung (1), die im Anhang angegeben
ist, miteinander in Verbindung, in der N steht für ein zusätzliches so genanntes weißes Rauschen
mit einem stationären
Gauss'schen Verlauf
mit dem Mittelwert Null. H steht für den Einwickeloperator um
den Kern h herum (der die Übertragungsfunktion
des Instruments darstellt, welche die Unschärfe berücksichtigt). Die Fourier-Transformierte
des Kerns h entspricht einer Modul-Übertragungsfunktion
des Instruments in dem Frequenzbereich (nachstehend als "FTM" bezeichnet).
-
Der
Abweichungstyp σ des
Rauschens N sowie die Modulations-Übertragungsfunktion FTM unterliegen Änderungen.
Um die Qualität
des Bildes zu verbessern in Bezug auf die Bildschärfe, und
um das Rauschen zu unterdrücken,
ist es zweckmäßig, diese
Parameter σ und
FTM genau zu bestimmen. Im Prinzip finden sich die Unschärfe aus
der Defokussierung oder das Rauschen, das auf dem Gesamtbild festgestellt
wird, wieder in jedem Bildpixel.
-
Durch
Anwendung einer Fourier-Transformation auf die Glieder der Gleichung
(1) erhält
man die Gleichung (3), welche die Fourier-Transformation des beobachteten
Bildes mit der Fourier-Transformation des Originalbildes vergleicht,
multipliziert mit dem Faktor FTM, welcher der Modulationsfunktion
des Instruments entspricht.
-
Das
Originalbild X folgt hier einem Fraktal-Modell: die Charakteristika
des Bildes sind nicht variabel als Funktion seines Maßstabes.
Im Anhang definieren die Beziehungen (4), (5) und (6) das Fraktal-Modell,
das auf die Fourier-Transformation des Originalbildes X angewendet
wird. In der Beziehung (4) stehen w0 und
q für die
Parameter des Modells, u und v stehen für die Raumfrequenzen, bezogen
auf die Koordinaten x und y des Bildes (Beziehung (5)), während r
für den
Radius in dem Frequenzbereich steht (Beziehung (6)).
-
Die
Fourier-Transformierte der Bild-Pixel folgt einem Gauss'schen Gesetz, dessen
Abweichungs-Typ auf isotrope Weise variiert als Funktion des Radius
r (in polaren Koordinaten in dem Frequenzbereich) entsprechend der
Beziehung (4) des Anhangs.
-
Die
Wahrscheinlichkeitsdichte ist a priori gegeben durch die Beziehung
(7) des Anhangs. In diesem Ausdruck entspricht Zpri der
Normalisierungskonstante (oder Verteilungsfunktion) der a priori-Wahrscheinlichkeitsdichte.
In dem Beispiel des Anhangs ist die Summe Σ für alle Koeffizienten der Fourier-Transformierten des
Originalbildes X von Interesse.
-
Die
vereinigte Wahrscheinlichkeit der Parameter q, w0, α, μ und σ, assoziiert
mit dem betrachteten Bild Y, ist gegeben durch die Beziehung (8),
wobei man von der Beobachtungsgleichung (3) und der Gleichung der Stufen
(9) und (10) ausgeht. In dem Ausdruck für diese vereinigte Wahrscheinlichkeit
steht Z für
eine Normalisierungskonstante, die der Y zugeordneten Wahrscheinlichkeitsdichte
entspricht, und die Summe wird errechnet aus allen Koeffizienten
der Transformierten von Y. Die Parameter w0 und
q stellen Parameter des Fraktal-Modells dar, während die Parameter α, μ Unschärfe-Parameter
darstellen, die der Modulationsfunktion des Instruments zugeordnet
werden, wie weiter unten ersichtlich. Der Parameter σ wird dem
Rauschen zugeordnet (Beziehung (2)).
-
Man
bestimmt das Maximum der vereinigten Wahrscheinlichkeit der Parameter
q, w0, α, μ und σ. Zu diesem
Zweck ermittelt man ein Extrem in dem Ausdruck der Beziehung (8).
Vorzugsweise versucht man hier den Anti-Logarithmus der vereinten
Wahrscheinlichkeit zu minimieren (Beziehungen (11), (12) und (13)
des Anhangs). In diesem logarithmischen Ausdruck für die Normalisierungskonstante
(13) stellen die Mengen Nx und Ny die Anzahl der Bildpixel in horizontaler
und in vertikaler Richtung dar. Sie treten auf in einem konstanten Ausdruck,
der daher nachstehend nicht bei der Bestimmung des Extrems berücksichtigt
wird.
-
Diese
Bestimmung des Extrems ist gegeben durch die partiellen Abweichungen
von der Gleichung (11), die in der Beziehung (14) ausgedrückt sind,
in der θ einer
der fünf
Parameter α, μ, σ, w0 und p darstellt. Der Ausdruck l ist gegeben
durch die Beziehung (15) und guv ist gegeben
durch die Beziehung (16). Die partiellen Abweichungen von guv, bezogen auf die Parameter θ, stellen
Angaben für
die Beziehungen (17) und (18) dar.
-
Die
Punkte, bei denen die partiellen Abweichungen verschwinden, werden
anschließend
errechnet als Funktion der Daten der erhaltenen Bilder Y für jeden
Parameter α, μ, σ, w0 und q durch Summen in dem Frequenzbereich.
-
Vorzugsweise
wird das Optimum der Wahrscheinlichkeit (8) abgeschätzt durch
lineare Optimierung mit einer Berechnung der Gradient-Abnahme. Die
Anmelder haben festgestellt, dass das Kriterium (Bewertungsmerkmal)
des Modells schwer zu optimieren ist, da es ein enges Tal aufweist,
auf dessen Boden die Wahrscheinlichkeit im Wesentlichen konstant
bleibt. Vorzugsweise wird hier ein konjugierter Gradient für die Minimierung
des Anti-Logarithmus der Wahrscheinlichkeit verwendet. Die Beziehungen
(19) bis (24) drücken
die Abhängigkeit
der Modulationsfunktion FTM in Bezug auf die Unschärfe-Parameter α und μ aus. Diese
Abhängigkeiten
werden weiter unten näher
beschrieben.
-
Die
Modulationsfunktion FTM des Instruments wird in ein Modell überführt durch
ein Produkt von Funktionen, die den verschiedenen Elementen des
optischen Systems entsprechen und somit quantitativ die Ereignisse,
denen das Instrument ausgesetzt ist, berücksichtigen.
-
Physikalisch
liegt der Detektor in dem beschriebenen Beispiel in Form einer optisch-elektronischen Sonden-Matrix
vom Typ CCD vor, deren Pixel Quadrate der Größe Pex sind.
Der Raster der Probenentnahme ist dimensionierbar durch horizontale
Stufen und vertikale Stufen Px und Py. Die Matrix kann entsprechend einem Netzwerk
von Bereichen und regulären
Kontrollen oder auch entsprechend einer Fünf-Punkte-Anordnung wirksam
sein. Bei einer Variante kann der Detektor nur einen einfachen Steg
von Sensoren CCD umfassen und das zweidimensionale Bild wird durch
Verschiebung des Luftfahrzeugs (des Satelliten oder eines anderen Fahrzeugs)
in einer Richtung erhalten, die eine Sekante an die Achse des Stegs
ist.
-
Der
Detektor kann einem Ladungsdiffusionsphänomen ausgesetzt sein, wobei
dieses Phänomen quantitativ
definiert wird durch eine Umhüllende
mit Gauss'schem
Verlauf des Parameters μ in
der Beziehung (19), wie im Anhang angegeben, worin sinc die kardinal
Sinus-Funktion ist.
-
Darüber hinaus
muss bei einem Luftfahrzeug vom Satelliten- oder Flugzeug-Typ eine Unschärfe berücksichtigt
werden, die mit der Verschiebung (Verdrahtung) im Zusammenhang steht,
deren Modulierungsfunktion durch das Modell im Anhang (Beziehung
(20)) erhalten werden kann, wobei dort beispielsweise vti die relative
Geschwindigkeit des Satelliten im Verhältnis zu dem beobachteten Objekt
ist und der Achse von y folgt.
-
Was
die Defokussierungs-Unschärfe
angeht, so wird die ideale optische Modulationsfunktion, die der Beugung
durch eine kreisförmige
Pupille entspricht, die quantitativ durch eine Schnittfrequenz fc und einen Verdunkelungsgrad τ definiert
ist, nach der Beziehung (21) des Anhangs multipliziert mit einem
exponentiellen Ausdruck, der von dem Parameter α abhängt. Dieser exponentielle Ausdruck
definiert quantitativ die Defokussierungs-Unschärfe (die, wie angenommen wird,
einen Gauss'schen
Verlauf hat) und/oder die Aberrationen, die in den Parameter α eingehen.
-
Diese
Modulationsfunktionen FTM sind gegeben in dem Frequenzbereich, in
dem r einer radialen Frequenz in polaren Koordinaten entspricht.
-
Die
globale Modulationsfunktion FTM, die aus allen diesen Ereignissen
resultiert, ist gegeben durch das Produkt der Modulationsfunktionen,
die mit jedem dieser Ereignisse verbunden sind (Beziehung (23) des Anhangs)
und ihr Ausdruck ist gegeben durch die Beziehung (24) des Anhangs.
Von den Ausdrücken
(16) und (24) werden die partiellen Derivate von guv in
Bezug auf α und μ abgeleitet,
die in der Beziehung (18) zum Ausdruck gebracht sind.
-
Im
Verlaufe ihrer Versuche hat die Anmelderin festgestellt, dass der
Parameter q für
den gleichen Bildtyp kaum variiert. Aus diesem Grund weisen Satellitenaufnahmen
von Ansichten einer Stadt mittlerer Größe (wie Nîmes oder Poitiers in Frankreich)
einen Parameter q auf, der systematisch in der Nähe von 1,1 liegt, während Landschaftsaufnahmen
im Allgemeinen einen Faktor q aufweisen, der eher bei etwa 1,3 liegt.
-
Die
Darstellung in der 5 dient der Beschreibung eines
Verfahrens in einer ersten Ausführungsform.
In der Stufe 10 werden die Bilddaten, bezogen auf die Pixel
eij empfangen, auf die in der Stufe 12 eine Fourier-Transformation
FFT (oder eine DCT-Transformation) angewendet werden. Darüber hinaus
wird in der Stufe 26 der Parameter q als Funktion des betrachteten
Bildtyps (Stadt, Landschaft oder etwas anderes) fixiert. In dem
Beispiel der 5 stellt die Menge W0 einen laufenden Wert des Parameters w0 dar, wobei dieser laufende Wert zu optimieren
ist, um das Fraktal-Modell, das auf die Stufe 16 angewendet
wird, zu verfeinern. In der Stufe 18 wird der Parameter
q fixiert und außerdem
wird ein laufender Wert W0 des Parameters
w0 vorläufig fixiert.
In der Stufe 16 wird das Modell auf die Fourier-Koeffizienten
aij angewendet, die in der Stufe 14 erhalten werden.
Bei einer genaueren Ausführungsform
kann in der Stufe 28 eine Modellisierung der Modulationsfunktion
FTM des Instruments und seines Rauschens N angewendet werden, insbesondere
wenn es erwünscht
ist, die Parameters α, μ und σ in der Stufe 30 zu
erhalten, um das Bild zu bearbeiten, um es schart und rauschfrei zu
machen, wie weiter unten angegeben.
-
In
der Stufe 20 erhält
man die modellisierten Fourier-Koeffizienten, für die man einen Test 22 in
Bezug auf das Wahrscheinlichkeitsmaximum durchführt, beispielsweise indem man
das Minimum des Antilogarithmus der Wahrscheinlichkeit bestimmt,
wie weiter oben beschrieben. Wenn der dem Parameter W0 zugeordnete
Wert w0 dem Wahrscheinlichkeitsmaximum nicht
entspricht, werden die Stufe 18, in der der Wert W0 verfeinert wird, und die Stufen 16 und 20 wiederholt,
bis ein Wert W0 erhalten wird, der dem Wahrscheinlichkeitsmaximum,
wie es in der Stufe 22 geschätzt wird, entspricht. Daraus
leitet man schließlich
den Wert des Parameters w0 in der Stufe 24 ab.
-
Die
Bearbeitung nach der in der 5 dargestellten
Ausführungsform
wurde auf ein Bild von Nîmes und
auf ein Bild von Poitiers, beide in Frankreich, angewendet, indem
man den Wert des Parameters q von 1,1 einsetzt. Darüber hinaus
wurde eine Modulationsfunktion FTM modellisiert unter Berücksichtigung
der Diffusion der Ladungen auf den Sensoren, wobei man jedoch den
Parameter μ einem
Wert 0 zuordnete. In den 11 und 12 sind
die Variationen des Logarithmus der Varianz V (gegeben durch den
Ausdruck V = w0 2·r–2q)
als Funktion des Logarithmus der radialen Frequenz r dargestellt.
Die Variationen des Fraktal-Modells sind in durchgezoge nen Linien
dargestellt, während
die an dem erhaltenen Bild gemessenen Werte durch Kreuze dargestellt
sind. Man erhält
eine zufriedenstellende Übereinstimmung
zwischen dem Modell und den direkt gemessen Werten.
-
Die 6 dient
der genaueren Beschreibung des Modells, angewendet auf die Stufe 16,
sowie der Bestimmung des Wahrscheinlichkeitsmaximums in der Stufe 22,
wobei man bei dieser Ausführungsform
die Modulationsfunktion FTM des Instruments und das Rauschen N berücksichtigt.
-
In
einer ersten Stufe werden die Fraktal-Modelle der Modulationsfunktion
FTM und des Rauschens verstellt, die in die Bearbeitung eingehen.
In der Stufe 40 wird das Fraktal-Modell des Originalbildes
erstellt als Funktion der Parameter des Modells w0 und
q entsprechend der Beziehung (4) des Anhangs. In der Stufe 42 wird
die Modulationsfunktion des Instruments FTM modellisiert mit Hilfe
der Parameter α und μ entsprechend der
Beziehung (24) des Anhangs. In der Stufe 46 wird die Fourier-Transformierte des
Rauschens N (von der angenommen wird, dass sie einen Gauss'schen Verlauf hat)
modellisiert entsprechend der Beziehung (2) des Anhangs. Das Modell,
in der die Modulationsfunktion FTM berücksichtigt wird, wird in der
Stufe 44 erstellt entsprechend der Beziehung (9) des Anhangs
und die Fourier-Transformierte des erhaltenen Bildes Y wird schließlich in
der Stufe 48 modellisiert, wobei man auch das Rauschen
berücksichtigt
entsprechend der Beziehung (10) des Anhangs. In den vorgenannten
Stufen sind die Daten des tatsächlich
beobachteten Bildes noch nicht berücksichtigt.
-
Nachstehend
wird die Folge der Bearbeitung auf der Basis des tatsächlich empfangenen
Bildes beschrieben. In der Stufe 50 werden die Daten des
beobachteten Bildes Y0 gewonnen, auf die
eine Fourier-Transformation (oder eine DCT-Transformation) in der Stufe 52 angewendet
wird. In der Stufe 54 bringt man die Wahrscheinlichkeit
P des Modells in die richtige Form, das in der Stufe 48 aufgestellt
und auf die Koeffizienten der Transformierten von Y0 angewendet
worden ist, entsprechend der Beziehung (8) des Anhangs. Anschließend sucht
man die Punkte θ,
bei denen die partiellen Abweichungen von der Wahrscheinlichkeit
P gegen Null gehen. In der Praxis bestimmt man in der Stufe 56 die
Werte von q, w0, α, μ und σ, für welche der Antilogarithmus
der Wahrscheinlichkeit P minimale Absolutwerte erreicht, entsprechend
den Gleichungen (17) und (18) des Anhangs.
-
Am
Ende der Bearbeitung in der Stufe 58 erhält man die
Parameter q, w0, α, μ und σ.
-
Nachstehend
wird eine Folge von Bearbeitungen beschrieben gemäß einer
ausgearbeiteten Version der in der 5 dargestellten
Ausführungsform.
Ausgehend von den Parametern α und μ rekonstruiert
man in der Stufe 62 die Modulationsfunktion des Instruments
FTM. Ausgehend von dem Parameter σ und
der Modulationsfunktion FTM wickelt man das Spektrum von Y0 in der Stufe 60 ab und erhält schließlich in
der Stufe 68 ein Bild, das nahe bei dem Originalbild X0' liegt,
das im Wesentlichen schart und rauschfrei ist. Ausgehend von einem
unscharfen und mit Bildrauschen behafteten Bild Y0 (Stufe 50)
bearbeitet man dieses Bild Y0, um schließlich ein
scharfes und rauschfreies Bild X0' in der Stufe 68 zu
erhalten.
-
Bei
der in der 7 dargestellten Ausführungsform
versucht man nicht zu einem genauen Wert für die Parameter des Fraktal-Modells
q und w0 zu gelangen, sondern eher zu den
Instrumenten-Parametern α, μ und σ zu gelangen.
-
Bei
dieser Ausführungsform
sind global zwei miteinander verzahnte Schleifen vorgesehen, eine
dient zur Verfeinerung des Wertes der Parameter des Fraktalmodells
q und w0 und die andere dient zur Verfeinerung des
Wertes für
die Instrumental-Parameter α, μ und σ. Diese Ausführungsform
ist in vorteilhafter Weise anwendbar auf Bild-Typen, für welche
die Parameter q und w0 a priori unbekannt
sind. Die Bearbeitung geht aus von dem Wahrscheinlichkeitsausdruck,
als "marginalisiert" bezeichnet, der
Beziehung (26) des Anhangs. Insbesondere bestimmt man das marginalisierte
Wahrscheinlichkeitsmaximum VM durch Verfeinerung (erste Schleife
der Bearbeitung) der laufenden Werte Q und W0 der
Parameter des Fraktal-Modells q und w0 und durch
Verfeinerung (zweite Schleife der Bearbeitung einschließlich der
ersten Schleife) der laufenden Werte α, μ und σ der Instrumental-Parameter.
Man errechnet hier keine partiellen Abweichungen mehr, da die verfeinerten
Werte Q und W0 der Parameter q und w0 von den Instrumental-Parametern α, μ und σ abhängen (Beziehung
(27) des Anhangs).
-
Anfangs
beginnt man damit, den Parametern des Fraktal-Modells q und w0 laufende Werte Q und W0 zuzuordnen
sowie den Instrumental-Parametern (Stufe 75) laufende Werte α, μ und σ zuzuordnen.
Der Test 22 erlaubt die Verfeinerung (in der Stufe 70)
der Werte Q und W0 und man verlässt die
erste Schleife, wenn das Wahrscheinlichkeitsmaximum erreicht ist
(bei einer geringen Toleranz), wobei dann die Werte α, μ und σ zu Beginn
fixiert werden. In der Stufe 72 ordnet man den Parametern
q und w0 die auf diese Weise verfeinerten Werte
Q und W0 zu.
-
Anschließend wird
das Verfahren fortgesetzt durch die Berechnung der Wahrscheinlichkeit
(Stufe 73) einerseits mit den verfeinerten Werten Q und
W0 und andererseits mit den laufenden Werten α, μ und σ der Instrumental-Parameter,
die man in dieser zweiten Schleife zu verfeinern sucht. Der Test 74 in
Bezug auf diese Wahrscheinlichkeit erlaubt die Verfeinerung der
laufenden Werte α, μ und σ in der Stufe 76.
Diese verfeinerten Werte von α, μ und σ werden in
die erste Schleife wieder eingegeben, um die Werte der Parameter
q und w0 zu bestimmen, die dem Wahrscheinlichkeitsmaximum
entsprechen, mit neuen Werten α, μ und σ. Die Bearbeitung
wird dann gestoppt, wenn das Wahrscheinlichkeitsmaximum im Test 74 (bei
einer geringen Toleranz) erreicht ist, und man erhält in der
Stufe 78 die ermittelten Werte α', μ' und σ' der Instrumental-Parameter,
welche dieses Wahrscheinlichkeitsmaximum bestätigen.
-
In
dem in der 7 dargestellten Beispiel versucht
man, die Instrumental-Parameter
abzuschätzen. Als
Variante dazu kann es außerdem
vorgesehen sein, in der Stufe 78 die Werte der Parameter
q und w0 zu gewinnen, welche das Wahrscheinlichkeitsmaximum
mit den ermittelten Werten α', μ' und σ' der Instrumental-Parameter bestätigen.
-
In
den 8, 9 und 10 ist
eine zweite Ausführungsform
der Erfindung beschrieben. Das Verfahren geht hier aus von der Berücksichtigung
von Radius-Ringen(-Kronen) r, die zwischen einem unteren Wert r1
und einem oberen Wert r2 im Bereich der Radial-Frequenzen r (in
polaren Koordinaten) liegen, um eine Energie D in dem Frequenzbereich
zu bestimmen. In der Stufe 82 des in der 10 dargestellten
Fließdiagramms
ist die spektrale Energie abgewickelt, die durch die Fourier-Transformation (oder
die DCT-Transformation) des zurückgewonnenen
Bildes Y0 erhalten worden ist, indem man
die Varianz σ2 des Rauschens subtrahiert und das Ergebnis
der Subtraktion durch das Quadrat der Modulationsfunktion FTM dividiert.
Auf diese Weise wird in der Stufe 82 eine Energie D in
dem in der 8 dargestell ten Ring (Krone)
modelliert. In der Stufe 84 bestimmt man eine lineare Regression
zwischen dem Logarithmus dieser Energie D und dem Logarithmus der
Radial-Frequenz
r. Diese Regression hat die Steigung p, die den Parameter auf der
Ordinate des Diagramms der 9 darstellt.
-
Einerseits
wird die Energie D als Funktion von r–2q ausgedrückt (Formel
(9) des Anhangs), andererseits wird die Modulations-Übertragungsfunktion
FTM ausgedrückt
durch eine Exponentielle des Ausdrucks -αr2.
Die Steigung p variiert somit linear in Bezug auf den Parameter α (9).
-
Wenn
man einen vorgegebenen Wert des Parameters q als Funktion des zu
bearbeitenden Bildtyps kennt, wenn die Steigung p den zu Beginn
fixierten Wert von q hat, bestimmt man auf diese Weise durch Koinzidenz
den quantitativen Wert α0 des Parameters α.
-
Diese
Bearbeitung ist schneller und robuster als die Bearbeitungen der
weiter oben beschriebenen Ausführungsformen.
Sie erlaubt bei Kenntnis des Parameters q des Fraktalmodells für einen
Bildtyp die Gewinnung des Defokussierungs-Parameters α, wenn das erhaltene Bild unscharf
ist. Selbstverständlich
können auch
andere (weitere) Parameter (μ, σ und w0) durch diese Bearbeitung durch Regression
erhalten werden, bei der es möglich
ist, mehrere Parameter variieren zu lassen. Dennoch erlaubt im Falle
der spektralen Entfaltung (insbesondere in den hohen Frequenzen)
die lineare Regression eine zuverlässige Bestimmung des Parameters
q. Man wendet viel eher das allgemeine Verfahren gemäß 7 an.
-
Selbstverständlich ist
die vorliegende Erfindung nicht auf die vorstehend beschriebenen
Ausführungsformen
beschränkt,
sondern umfasst auch weitere Varianten.
-
So
ist klar, dass das gewonnene Bild dreidimensional sein kann, während die
Bilddaten Voxels darstellen. Das Bild kann außerdem eindimensional sein,
insbesondere bei einer Anwendung, bei der die Sensoren in Form eines
Stegs angeordnet sind zur Bildung eines Detektor-Strahlenbündels. Gegebenenfalls
kann ein erhaltenes Bild einem einfallenden Strahlenbündel entsprechen.
-
Der
hier verwendete Ausdruck "Bild" ist im breiten Sinne
zu verstehen und kann auch ein eindimensionales Signal betreffen.
Beispielsweise kann ein Signal, das durch eine Lichtintensität charakterisiert
ist, repräsentativ
für eine
optische oder infrarote Messung sein. Wenn eine solche Messung beeinträchtigt ist,
beispielsweise durch eine Remanenz-Unschärfe, erlaubt die Modellisierung
der Modulationsfunktion dieser Unschärfe, gefolgt von einem Fraktal-Modell
in Bezug auf den eindimensionalen Punkt, die quantitative Bestimmung
der Unschärfe
und danach die Korrektur der Messung. Es kann sich in diesem Fall
um ein Zeitsignal, wie z.B. eine Messung als Funktion der Zeit,
handeln.
-
Die
vorliegende Erfindung kann auch angewendet werden auf die Radar-Messung, insbesondere
um das Rauschen der Detektoren zu korrigieren. Vorher wird ein Rausch-Modell
aufgestellt, das für
diese Anwendung geeignet ist.
-
Die
mit einer falschen Einstellung des Instruments (Defokussierung,
Rauschen der Sensoren und dgl.) verbundenen Ereignisse sind vorstehend
beispielhaft beschrieben. Weitere parametrisierbare Ereignisse können in
die Bestimmung der Modulationsfunktion des Instruments FTM eingehen.
Desgleichen sind die weiter oben angewendeten FTM-Formeln im Anhang
beispielhaft angegeben. Es sind aber auch andere geeignete Ausdrücke für FTM vorstellbar,
je nach Typ der Ereignisse.
-
In
dem vorstehend beschriebenen Beispiel wurden Satelliten- oder Luftbilder
beschrieben, die Erfindung ist selbstverständlich aber auch anwendbar
auf jeden anderen Bild-Typ, insbesondere auf mikroskopische Bilder.
-
Die
vorliegende Erfindung kann sich manifestieren in einer ausgearbeiteten
Version durch eine Bearbeitung des erhaltenen unscharfen (gegebenenfalls
rauschenden) Bildes, um ein scharfes Bild zu erhalten. Sie kann
sich aber auch manifestieren in der Form einer Bearbeitung, um nur
Unschärfe-
oder Rausch-Parameter (α, μ und σ) zu erhalten,
oder auch in einer einfacheren Version, in der nur die Parameter
des Fraktal-Modells q und w0 erhalten werden.
Für den
Fall, dass der Parameter q im Voraus festgelegt werden kann (insbesondere als
Funktion des Bild-Typs),
kann die Bearbeitung allein geeignet sein, um den Wert des Parameters
w0 zu bestimmen.
-
Ausgehend
von den Parametern des Fraktal-Modells q und w0,
kann es vorgesehen sein, in einer späteren und unabhängigen Bearbeitung
die Parameter der Modulationsfunktion α, μ und gegebenenfalls σ abzuleiten
im Hinblick auf die Bearbeitung des empfangenen Bildes, um ein scharfes
und rauschfreies Bild zu erhalten.
-
Die
Stufen der in den 5, 6, 7 und 10 dargestellten
Fließdiagramme
erlauben die Definition der Anweisungen oder der Instruktionsspielräume für Rechenprogramme,
die in der erfindungsgemäßen Vorrichtung
durchgeführt
werden können.
Daher betrifft die vorliegende Erfindung auch derartige Programme.
-
Die
im Anhang angegebenen Formeln stellen Eingaben für eine Fourier-Transformation FFT
dar, angewendet auf Bildelemente, mit einer diskreten Kosinus-Transformation DCT
erhält
man jedoch ähnliche
Formeln für
einige Näherungs-Multiplikations-Koeffizienten.
-
-