DE102012102707A1 - Verfahren und Vorrichtungen zur Bildverarbeitung - Google Patents

Verfahren und Vorrichtungen zur Bildverarbeitung Download PDF

Info

Publication number
DE102012102707A1
DE102012102707A1 DE102012102707A DE102012102707A DE102012102707A1 DE 102012102707 A1 DE102012102707 A1 DE 102012102707A1 DE 102012102707 A DE102012102707 A DE 102012102707A DE 102012102707 A DE102012102707 A DE 102012102707A DE 102012102707 A1 DE102012102707 A1 DE 102012102707A1
Authority
DE
Germany
Prior art keywords
image
convolution operation
result
filter
applying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102012102707A
Other languages
English (en)
Inventor
Lars Stoppe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss AG
Original Assignee
Carl Zeiss AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss AG filed Critical Carl Zeiss AG
Priority to DE102012102707A priority Critical patent/DE102012102707A1/de
Priority to PCT/EP2013/056317 priority patent/WO2013144100A1/de
Priority to US14/387,740 priority patent/US9336580B2/en
Publication of DE102012102707A1 publication Critical patent/DE102012102707A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration using non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20064Wavelet transform [DWT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

Es werden Verfahren und Vorrichtungen zur Bildverbesserung bereitgestellt, bei welchen Faltungsoperationen direkt in einem Filterraum, beispielsweise in einem Waveletraum, durchgeführt werden können, insbesondere direkt auf komprimierten Daten.

Description

  • Die vorliegende Erfindung betrifft Verfahren und Vorrichtungen zur Bildverarbeitung, gegebenenfalls zusammen mit Bilderfassung, welche beispielsweise zur Verbesserung der Bildqualität verwendet werden können.
  • Bei vielen Anwendungen, insbesondere in der Optik, beispielsweise in der Mikroskopie, fallen großen Mengen von Bilddaten an. Eine Möglichkeit, derartige Bilddaten zu komprimieren, besteht in der Anwendung einer biorthogonalen Filterbank auf die jeweiligen Bilder gefolgt von einer Komprimierung des Ergebnisses, beispielsweise Weglassen von Elementen, die gleich Null (oder gegebenenfalls nahe Null) sind. Ein Spezialfall einer derartigen Filterbank hiervon ist die sogenannte Waveletzerlegung, welche später noch näher erläutert werden wird.
  • Zur Verarbeitung derartiger Bilder werden häufig Faltungs- und Entfaltungsoperationen verwendet, wobei Entfaltungsoperationen iterativ durch Faltungen dargestellt werden können. Beispielsweise stellt ein aufgenommenes Bild eine Faltung zwischen einer Bildkomponente, welche allein auf ein aufgenommenes Objekt zurückgeht, und einer Punktspreizfunktion (PSF) einer verwendeten Bildaufnahmeeinrichtung dar, welche im Wesentlichen beschreibt, wie ein diskreter Punkt abgebildet wird und somit das Verhalten der verwendete Bildaufnahmeeinrichtung beschreibt. Durch eine entsprechende Entfaltung kann der Einfluss der Bildaufnahmeeinrichtung herausgerechnet werden und somit die Bildqualität verbessert werden.
  • Dementsprechend ist es wünschenswert, Möglichkeiten bereitzustellen, wie derartige Faltungsoperationen mit gefilterten und/oder komprimierten Bilddaten, insbesondere mit waveletzerlegten Bilddaten, durchgeführt werden können. Entsprechende Verfahren sind beispielsweise aus P. P. Vaidyanathan, „Orthonormal and biorthonormal filter-banks as convolvers, and convolutional gain.", IEEE Trans. Signal Processing, vol. 41, Seiten 2110–2130, Juni 1993 und Iddo Drori, Dani Lischinski, „Fast Multiresolution Image Operations in the Wavelet Domain," IEEE Transactions on Visualization and Computer Graphics, vol. 09, no. 3, Seiten 395–411, Juli-September 2003 bekannt. Bei den dort beschriebenen Algorithmen liegt jedoch das Ergebnis der Faltung im Ortsraum, d. h. nicht waveletzerlegt, und somit insbesondere unkomprimiert vor, so dass anschließend zur komprimierten Speicherung wieder eine Filterung, insbesondere eine Waveletzerlegung, vorgenommen werden muss, was eine entsprechende Rechenleistung benötigt.
  • Es ist daher eine Aufgabe der vorliegenden Erfindung, Verfahren und Vorrichtungen bereitzustellen, mit welchen eine derartige Bildverarbeitung, insbesondere das Anwenden von Faltungsoperationen, auf effiziente Weise möglich ist.
  • Diese Aufgabe wird gelöst durch ein Verfahren nach Anspruch 1 und eine Vorrichtung nach Anspruch 11. Die Unteransprüche definieren weitere Ausführungsbeispiele.
  • Gemäß einem Aspekt wird ein Verfahren zur Bildverbesserung bereitgestellt, umfassend:
    Aufnehmen eines Bildes,
    Anwenden einer biorthogonalen Filterbank auf das Bild, um ein Bild im Filterraum zu erzeugen,
    Anwenden einer Faltungsoperation auf das Bild im Filterraum derart, dass das Ergebnis der Faltungsoperation wieder im Filterraum vorliegt, und
    Ausgeben eines Ergebnisbildes auf Basis des Ergebnisses der Faltungsoperation.
  • Das Verfahren kann weiter ein Komprimieren des Bildes im Filterraum, wobei das Anwenden der Faltungsoperation auf dem komprimierten Bild erfolgt und das Ergebnis der Faltungsoperation wieder komprimiert ist, umfassen.
  • Die Faltungsoperation kann ein Falten mit einem Kern, welcher auf einer Punktspreizfunktion beruht, umfassen.
  • Das Anwenden der Faltungsoperation kann ein Aufteilen des Kerns in mehrere Komponenten umfassen, beispielsweise in gerade und ungerade Komponenten.
  • Das Durchführen der Faltungsoperation kann auch ein Anwenden der biorthogonalen Filterbank auf den Kern umfassen, um Komponenten des Kerns im Filterraum zu erzeugen.
  • Das Anwenden der Faltungsoperation kann auch ein Bilden von Hilfsvektoren auf Basis von die biorthogonale Filterbank kennzeichnenden Vektoren und auf Basis einer Shiftoperation umfassen.
  • Durch eine Verwendung der Hilfsvektoren kann dabei eine Vereinfachung erreicht werden.
  • Die Hilfsvektoren können bei einem Ausführungsbeispiel mit Komponenten des Kerns gefaltet werden. Hierdurch kann eine Vereinfachung insbesondere bei iterativen Verfahren erreicht werden, da insbesondere die oben erwähnte Faltung des Kerns nur einmal berechnet werden muss.
  • Durch die biorthogonale Filterbank kann eine Waveletzerlegung durchgeführt werden.
  • Das Verfahren kann ein iteratives Anwenden von Faltungsoperationen umfassend die Faltungsoperation, um eine Entfaltung durchzuführen, umfassen.
  • Gemäß einem weiteren Aspekt wird eine Vorrichtung bereitgestellt, umfassend:
    eine Bildaufnahmeeinrichtung zum Aufnehmen eines Bildes,
    eine biorthogonale Filterbank, um aus dem aufgenommenen Bild ein Bild im Filterraum zu erhalten, und
    eine Bildverbesserungseinheit zum Anwenden einer Faltungsoperation auf das Bild im Filterraum derart, dass das Ergebnis wieder im Filterraum vorliegt, und zum Ausgeben eines Ergebnisbildes auf Basis des Ergebnisses der Faltungsoperation.
  • Die Vorrichtung kann zur Durchführung eines der oben beschriebenen Verfahren eingerichtet sein.
  • Dadurch, dass das Ergebnis der Faltungsoperation bei erfindungsgemäßem Verfahren und Vorrichtungen wiederum im Filterraum, z. B. in komprimierter Form vorliegt, kann die Verarbeitung effizient und speichersparend erfolgen.
  • Durch iteratives Anwenden derartiger Faltungsoperationen kann auch eine Entfaltung, insbesondere mit einer Punktspreizfunktion, erfolgen.
  • Die Erfindung wird nachfolgend unter Bezugnahme auf die beigefügte Zeichnung anhand von Ausführungsbeispielen näher erläutert. Es zeigen:
  • 14 Grafen und Diagramme zur Erläuterung von Waveletzerlegungen,
  • 5 ein Blockdiagramm einer Vorrichtung gemäß einem Ausführungsbeispiel,
  • 6 ein Diagramm zur Veranschaulichung einer bei manchen Ausführungsbeispielen verwendeten Berechnung von Faltungen,
  • 7 ein weiteres Diagramm zur Veranschaulichung von bei manchen Ausführungsbeispielen verwendeten Faltungsoperationen,
  • 8 ein schematisches Diagramm zur Veranschaulichung von Faltungsoperationen bei manchen Ausführungsbeispielen der Erfindung,
  • 9 ein Diagramm zur Veranschaulichung einer zweidimensionalen Faltung bei manchen Ausführungsbeispielen,
  • 10 ein Schemadiagramm zur Veranschaulichung verschiedener Faltungsalgorithmen,
  • 11 ein detailliertes Blockdiagramm einer erfindungsgemäßen Vorrichtung,
  • 12 ein detailliertes Blockdiagramm einer weiteren erfindungsgemäßen Vorrichtung,
  • 13 und 14A–C Blockdiagramme zur Erläuterung einer Faltung bei manchen Ausführungsbeispielen,
  • 15 ein Diagramm zur Veranschaulichung der Anwendung von Shiftoperationen bei manchen Ausführungsbeispielen,
  • 16 ein Blockdiagramm zur Veranschaulichung der Durchführung einer Faltungsoperation bei manchen Ausführungsbeispielen,
  • 17 ein Blockdiagramm eines weiteren Ausführungsbeispiels einer erfindungsgemäßen Vorrichtung, und
  • 18 Blockdiagramme zur Veranschaulichung mancher Merkmale mancher Ausführungsbeispiele der Erfindung.
  • Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die beigefügte Zeichnung erläutert. Es ist zu bemerken, dass Merkmale verschiedener Ausführungsbeispiele miteinander kombiniert werden können, sofern nichts anderes angegeben ist. Auf der anderen Seite ist eine Beschreibung eines Ausführungsbeispiels mit einer Vielzahl von Merkmalen nicht dahingehend auszulegen, dass alle diese Merkmale zur Ausführung der Erfindung notwendig sind, da andere Ausführungsbeispiele auch weniger Merkmale und/oder alternative Merkmale aufweisen können.
  • In den im Folgenden beschriebenen Ausführungsbeispielen wird eine Zerlegung von Daten, insbesondere Bilddaten, mittels eines biorthogonalen Filtersystems verwendet. Als bevorzugtes Ausführungsbeispiel eines derartigen biorthogonalen Filtersystems wird eine Waveletzerlegung verwendet, wodurch beispielsweise eine Komprimierung von Bilddaten möglich ist. Um das Verständnis der im Folgenden dargestellten Ausführungsbeispiele zu erleichtern, wird zunächst ein kurzer Überblick über die Waveletzerlegung und über im Folgenden verwendete Begriffe gegeben.
  • Eine Waveletzerlegung (DWT – Diskrete Wavelet Transformation) ist eine Zerlegung einer Funktion f in ein orthogonales Funktionensystem, welches aus geshifteten und gestauchten/gestreckten Versionen zweier Funktionen besteht: der Skalierungsfunktion und dem Mutterwavelet ψ.
  • Die Skalierungsfunktion und das Mutterwavelet sind dabei definiert über einen Vektor (Skalierungsfunktionsvektor) h und den Rekursionsgleichungen:
    Figure 00050001
  • Ist der Vektor h endlich (was in den später beschriebenen Anwendungen der Fall ist), so kann man die diskrete Waveletzerlegung über eine FIR-Filterbank mit den Filtern h und h1:h1(k) = (–1)kh(N – k) errechnen. Bei der DWT wird das Eingangssignal in 2 Ausgangssignale halber Länge zerlegt. Aufgrund der Eigenschaften der Funktionen Φ und ψ hat das 1. Signal (Phi-Komponente, gebildet mittels des Vektors h bzw. der Funktionen Φ) eine ähnliche Form wie das Eingangssignal und besitzt den Hauptteil der Energie, während im 2. Ausgangssignal (Psi-Komponente, gebildet mittels des Vektors h1 bzw. der Funktionen ψ) Detailinformationen des Eingangssignals codiert sind und nahezu keine Energie steckt (kleine Werte). Dies wird auch beim Entrauschen und bei der Kompression genutzt, wo sehr kleine Werte der Psi-Komponente auf Null gesetzt werden.
  • Dies ist in 1 schematisch dargestellt; Der linke Graf zeigt dabei ein Beispiel für ein ursprüngliches Signal, der mittlere Graf ein Beispiel für die Phi-Komponente, welche in ihrem Verlauf im Wesentlichen dem ursprünglichen Signal entspricht, und der rechte Graf die Psi-Komponente, welche wie ersichtlich bei oder nahe Null verläuft.
  • Für eine möglichst kompakte Speicherung und Signalbehandlung wird nun im Allgemeinen die Phi-Komponente weiterzerlegt. Damit entstehen mehrere Psi-Komponenten verschiedener Größen und man erhält die DWT tieferer Stufen.
  • Dies ist schematisch in 2 dargestellt. Hier wird ein Signal 20, welches beispielsweise Bilddaten repräsentieren kann, zunächst in eine Phi-Komponente 21 und eine Psi-Komponente 24 zerlegt. Die Phi-Komponente 21 wird dann mittels einer weiteren Waveletzerlegung in eine Phi-Phi-Komponente 22 und eine Psi-Phi-Komponente 25 zerlegt. Die Phi-Phi-Komponente 22 wird dann mittels einer weiteren Waveletzerlegung in eine Phi-Phi-Phi-Komponente 23 und eine Psi-Phi-Phi-Komponente 26 zerlegt. Dieser Vorgang fortgesetzt werden, so dass die Anzahl von Stufen der Zerlegung im Wesentlichen beliebig gewählt werden kann. Dabei reduziert sich die Länge der einzelnen Komponenten in jeder Stufe um die Hälfte. Aus allen Psi-Komponenten und der letzten Phi-Komponente lässt sich anschließend das Ursprungssignal perfekt rekonstruieren.
  • Beispielsweise werden die Phi-Phi-Phi-Komponente 23 und die Psi-...-Komponenten 24, 25 und 26 gespeichert. Zur Rekonstruktion des Signals 20 wird dann aus der Phi-Phi-Phi-Komponente 23 und der Psi-Phi-Phi-Komponente 26 die Phi-Phi-Komponente 22 berechnet, aus dieser wird zusammen mit der Phi-Phi-Komponente 25 die Phi-Komponente 21 berechnet, und aus dieser wird zusammen mit der Psi-Komponente 24 das Signal 20 errechnet.
  • Man sieht, dass man ein Signal im Waveletraum auf derselben Länge speichern kann, egal wie tief man das Signal zerlegt. Da aber, wie oben gesehen, die Psi-Komponenten näherungsweise 0 und häufig sogar gleich 0 sind, eignet sich die Waveletzerlegung zur Datenkompression, was beispielsweise im JPG2000-Standard benutzt wird.
  • Die Tatsache, dass sich die DWT als FIR-Filterbank darstellen lässt, führt zu folgender symbolischer Schreibweise: Phi-Komponente: Signalφ = (Signal·h)↓ Psi-Komponente: Signalψ = (Signal·h1)↓
  • Dabei sind h und h1 die oben definierten Vektoren und ↓ der Downsamplingoperator, der dazu führt, das nur jedes 2. Element eines Vektors gespeichert wird. Die Subindexe φ und ψ zeigen an, welche Komponente berechnet wird.
  • Der Vorteil der oben stehenden Berechnung ist, dass man ohne großen Speicheraufwand bzw. ohne große Rechenzeit eine Zerlegung eines Signals errechnen kann, die man effektiv zur Datenkompression und zum Entrauschen (Denoising) nutzen kann. Die Nachteile sind jedoch zum einen, dass diese Transformation nicht shiftinvariant, d. h. verschiebungsinvariant, ist und zum anderen, das die einzelnen Komponenten verschieden groß sind. Beide Probleme lassen sich umgehen, indem man variierte Transformationen benutzt.
  • Um die Shiftinvarianz herzustellen, kann die DWT aller geshifteten Versionen des Signals gleichzeitig berechnet und gespeichert werden. Dies lässt sich z. B. damit erreichen, dass man in der obigen Berechnung den Downsamplingoperator weglässt. Allgemein wird so die Länge der Subbänder nicht reduziert und die Gesamtlänge des transformierten Signals wird größer (Länge N → Länge N·(T + 1), T...Tiefe der DWT).
  • Diese Form der Waveletzerlegung wird hier UDWT – undezimierte diskrete Wavelettransformation – genannt. Es sind aber auch die Bezeichnungen SWT – stationäre diskrete Wavelettransformation – und RDWT – redundante diskrete Wavelettransformation – üblich. Der Nachteil dieser Transformation ist der höhere Speicher- und Rechenaufwand. Dieser steigt noch deutlich bei mehrdimensionalen Problemen.
  • Um alle Komponenten in allen Tiefen der DWT immer gleichgroß zu halten, ist es möglich, auch die Psi-Komponenten weiter zu zerlegen. Damit erhält die Zerlegung eine Baumstruktur, welche in 3 dargestellt ist. Hier wird ein Signal 30 durch eine Waveletzerlegung in eine Phi-Komponente 31 und eine Psi-Komponente 32 zerlegt. Die Phi-Komponente 31 wird durch eine weitere Waveletzerlegung in eine Phi-Phi-Komponente 33 und eine Psi-Phi-Komponente 34 zerlegt. Die Psi-Komponente 32 wird durch eine weitere Waveletzerlegung in eine Phi-Psi-Komponente 35 und eine Psi-Psi-Komponente 36 zerlegt. Auch diese Zerlegung kann beliebig fortgesetzt werden.
  • Diese Zerlegung nutzt immer noch die Downsampleoperatoren, sodass die Größe des Signals nicht ansteigt. Allerdings ist die Rechenzeit der Transformation nun größer, da (je nach Stufe) mehr Zerlegungen gemacht werden müssen. Diese Transformation wird in diesem Text mit WP – Wavelet-Paket-Zerlegung bezeichnet.
  • Lässt man bei der Wavelet-Paket-Zerlegung zusätzlich noch die Downsampleoperatoren weg, speichert also die WP's aller geshifteten Signale, so erhält man die UWP – undezimierte Wavelet-Paket-Zerlegung. Diese ist offensichtlich sehr rechen- und speicherintensiv.
  • Will man eine Waveletzerlegung eines mehrdimensionalen Objekts (Dimension d ≥ 2) berechnen, so muss man die oben beschriebene Berechnung für jede Dimension einzeln ausführen. Damit ergeben sich komplexere Strukturen in der DWT/WP/UDWT/UWP. Das besondere ist, dass es nun nicht mehr nur eine Psi-Komponente gibt, sondern 2d – 1 verschiedene. In mehrstufigen DWT's wird aber weiterhin nur die Phi-Komponente zerlegt.
  • In 4 sind schematische Darstellungen der verschiedenen Zerlegungen für eine zweistufige zweidimensionale Zerlegung dargestellt, wobei mit 40 eine DWT-Zerlegung, mit 41 eine WP-Zerlegung (alle sich ergebenden Komponenten sind gleich groß) und mit 42 eine UDWT-Zerlegung bezeichnet.
  • Nun werden noch Bezeichnungen definiert, welche nachfolgend benutzt werden.
  • h
    FIR-Filter des Wavelets (siehe oben)
    h1
    definiert wie oben
    z / *
    zeilenweise Faltung
    s / *
    spaltenweise Faltung
    t / *
    tiefenweise Faltung (über die 3te Dimension bei 3d)
    z
    Zeilen-Downsample-Operator, streicht jedes 2. Element der Zeilen
    s
    Spalten-Downsample-Operator, streicht jedes 2. Element der Spalten
    t
    iefen-Downsample-Operator, streicht jedes 2. Element der 3. Dim.
    Upsample-Operator, fügt zwischen je zwei Elementen des Vektors eine 0 ein und fügt hinten eine 0 dazu
    ↑ / s
    geshifteter Upsample-Operator, fügt zwischen je zwei Elementen des Vektors eine 0 ein und fügt vorn eine 0 dazu
    fφ
    Phi-Komponente von f
    fψ
    Psi-Komponente von f
    f ↔
    geflippt (von hinten nach vorne bzw. von oben nach unten gelesen)
  • Nun sollen im Folgenden verwendete Notationen für die Waveletzerlegung dargestellt werden. Dabei gibt es drei Möglichkeiten der Darstellung, von welchen zwei im weiteren Verlauf hauptsächlich verwendet werden. Diese drei Möglichkeiten werden hier als analytische Notation, Filterbank-/Faltungsnotation und als Matrixnotation bezeichnet.
  • 1. Analytische Notation
  • Da es sich bei der Waveletzerlegung prinzipiell nur um eine orthogonale Zerlegung eine Funktion in ein orthogonales System handelt, lässt sie sich über Skalarprodukte bzw. Integrale darstellen. Dazu definiert man folgende 2 Funktionenmengen: Φ L / k(x) = 2L/2·Φ(2L·x – k) Ψ j / k(x) = 2j/2·Ψ(2j·x – k)
  • Dann gilt, dass die DWT(f) = {a, b} sich errechnen lässt, als: ak = 〈f, Φ L / k〉 = ∫f(x)·Φ L / k(x)dx bj,k = 〈f, Ψ j / n〉 = ∫f(x)·Ψ j / n(x)dx k, n ∊ {–M, ..., M} j ∊ {L, ..., L + T}
  • 2. Filterbank-/Faltungsnotation
  • Wie bereits oben erwähnt, lässt sich die Definition der Skalierungsfunktion dazu nutzen, die DWT (eines diskreten Signals) effektiv als Filterbank zu programmieren. Die Phi Komponente des 1d-Signals ist dann: fφ = (f·h)↓ analog lässt sich die Psi-Komponente errechnen als: fψ = (f·h1)↓
  • Die Rekonstruktion des Originalsignals f aus der DWT schreibt sich in dieser Notation als: f = (((f·h)↓)↑)·h ↔ + (((f·h1)↓)↑)·h ↔1
  • 3. Matrixnotation
  • Mit Hilfe von Toeplitz-Faltungsmatrizen lässt sich die Notation 2 auch in Form einer Matrixmultiplikation darstellen. Dazu definieren wir die Wavelettransformationsmatrix W wie folgt:
    Figure 00100001
  • Die Wavelettransformation ist dann einfach nur eine Matrixmultiplikation, wobei die Downsampleoperatoren implizit in der Matrix W integriert sind und das Ergebnis bereits beide DWT-Komponenten enthält. Ähnlich lässt sich prinzipiell auch eine beliebigstufige DWT in 1d darstellen. Auch eine WP-Zerlegung (beliebigstufig) in 1d/2d ist mittels der Matrixnotation möglich.
  • Konventionen:
  • Alle hier dargestellten Faltungen sind zyklische Faltungen. Weiterhin sind alle hier notierten Shifts zyklisch. Wenn es nicht anders vermerkt ist, so handelt es sich bei den Wavelets, die mit h gegeben sind, um orthogonale Wavelets (Definition siehe unten).
  • In 5 ist eine Vorrichtung gemäß einem Ausführungsbeispiel der Erfindung dargestellt. Die Vorrichtung der 5 umfasst eine Bildaufnahmeeinrichtung 50 zur Erzeugung von Bilddaten. Die Bildaufnahmeeinrichtung 50 kann beispielsweise ein Mikroskop mit Kamera oder anderer Bildaufnahmeeinrichtung, beispielsweise ein Laserscanning-Mikroskop (LSM), ein SPIM-Mikroskop („Selective Plain Illumination Microscopy”) oder eine Bildaufnahmeemnrichtung zur dreidimensionalen Bildaufnahme sein.
  • Die von der Bildaufnahmeeinrichtung 50 aufgenommenen Bilder werden einer Prozessoreinrichtung 51 zur Bildverarbeitung übergeben. Die Prozessoreinrichtung 51 umfasst eine biorthogonale Filterbank 52, beispielsweise eine FIR-Filterbank zur Waveletzerlegung wie oben diskutiert. Gefilterte Bilddaten können in einem Speicher 53 abgelegt werden und/oder über eine Ausgabe 54, beispielsweise einen Bildschirm ausgegeben werden.
  • Über die Prozessoreinrichtung 51 kann zudem eine Bildverbesserung durchgeführt werden. Hierzu wird insbesondere eine Entfaltung des aufgenommenen Bildes mit der Punktspreizfunktion (PSF) der Bildaufnahmeeinrichtung 50 durchgeführt, um somit den Einfluss der Bildaufnahmeeinrichtung 50 aus dem Bild zumindest teilweise herauszurechnen. Diese Entfaltung kann iterativ durch eine Mehrzahl von Faltungen dargestellt werden. Bei Ausführungsbeispielen der Erfindung werden hierfür Algorithmen verwendet, welche die Faltung bzw. Entfaltung direkt mit den gefilterten Bilddaten, beispielsweise waveletzerlegten Bilddaten, durchführt, und zwar derart, dass das Ergebnis direkt wieder in gefilterter Form vorliegt. Wie oben erwähnt kann beispielsweise eine Waveletzerlegung mit einer Komprimierung verbunden sein, so dass auf diese Weise die Faltungsoperationen ohne Dekompression durchgeführt werden können.
  • Mögliche Algorithmen hierzu werden im Folgenden erläutert. Dabei bezeichnet im Folgenden f eine Funktion, auf welcher die Faltungsoperation durchgeführt wird, beispielsweise die Bilddaten (welche eine zweidimensionale Funktion darstellen), und g bezeichnet einen Kern, beispielsweise die oben erwähnte Punktspreizfunktion oder eine darauf basierende Funktion.
  • Ein grundlegender Algorithmus hierfür, im Folgenden als Algorithmus 0 bezeichnet, leitet sich in der Matrixnotation wie folgt her:
    Figure 00110001
  • Das heißt, dass man den Kern in gerade (geven) und ungerade (godd) Elemente teilt, diese zwei Teilstücke an die dem Shift entsprechenden Subbänder der UWP falten und jeweils gleiche Subbänder addieren muss. Mit Sn ist in den obigen Formeln ein Shiftoperator (Verschiebungsoperator) um ein n Elemente bezeichnet, wobei für n = 1 der Index n im Folgenden auch weggelassen wird. Die Tilde über dem S bezeichnet eine derartige Verschiebung, welche nur auf das jeweils betrachtete Subband (d. h. den Teil der entsprechenden Elemente) wirkt. W1 bezeichnet die Faltungsmatrix wie oben erläutert.
  • Wie zu sehen ist, können auf diese Weise die Phi- und Psi-Komponenten der Faltung direkt berechnet werden.
  • Der obige Algorithmus ist in 6 grafisch dargestellt.
  • In entsprechender Weise funktioniert dieser Algorithmus in mehrdimensionalen und höherstufigen Problemen. Es muss nur je nach Dimension des Problems und Tiefe der WP des Kerns in mehr als 2 Teile zerlegt werden und zwar in genau (2T)d viele Teile, wobei d die Dimension und T die Tiefe bezeichnet. Die Zerlegung wird wie folgt durchgeführt:
    • a) starte am Punkt (i1, i2, ....,id) des Kerns
    • b) nehme (in jeder Dimensionsrichtung) jedes 2T-te Element
    • c) Mache dies mit allen möglichen Kombinationen (i1, i2, ..., id) mit 1 ≤ ij ≤ 2T – 1∀j
  • Durch die Startpunkte (i1, i2, ..., id) kann jedem so definiertem Teilkern ein Shift zugeordnet werden. (Beispiel (2, 1) → horizontaler Shift um 1, vertikaler Shift um 0) Nun muss man nur noch die Teilkerne mit den WP's des zu ihnen gehörenden geshifteten Signals subbandweise falten und anschließend alle gleichen Subbänder addieren, um die WP des Faltungsergebnisses zu bekommen.
  • Dieser Algorithmus hat zwar für sich genommen noch nicht die gewünschte Eigenschaft, dass Ergebnis und Eingangssignal im selben Raum (Wavelet-Raum) liegen, (d. h. f und S1f müssen separat zerlegt werden) aber aus ihm lassen sich die folgenden 3 Varianten ableiten:
    Eine erste Variante wird im Folgenden als Subbandfaltung mit Shiftvariation oder als Algorithmus 1 bezeichnet.
  • Dieser Algorithmus faltet ein Signal, welches waveletpacket-zerlegt ist, mit einem Faltungskern der im Ortsraum vorliegt. Das Ergebnis liegt im Wavelet-Paket-Raum (in demselben wie das Signal) vor.
  • Herleitung:
  • Herleitung aus obiger Formel des Algorithmus 0 mit der Matrixnotation in 1d einstufig:
    Figure 00130001
    mit X1 = W1·S1·W1 T
  • Vergleicht man diese Variante mit der obigen, so erkennt man, dass hier nicht mehr die WP-Zerlegung der geshifteten Version des Signals S1f benötigt wird, sondern dass diese mit Hilfe von Hilfsvektoren sh φ / 0, sh φ / 1, sh ψ / 0 und sh ψ / 1 aus der „normalen” WP-Zerlegung des Signals errechnet wird.
  • Man kann also die einzelnen Komponenten der WP-Zerlegung der Faltung ((g·f)φ, (g·f)ψ) direkt aus den Komponenten der Waveletzerlegung des Signals (fφ, fψ) errechnen.
  • Diese Hilfsvektoren selbst entstammen der obigen Matrix X. Sie ist die WP-Zerlegung der Shiftmatrix. Schreibt man allerdings das Produkt W·S·WT als W·(S·WT), so erkennt man, dass sich die Hilfsvektoren (im einstufigen Fall) durch eine WP-Zerlegung der Vektoren (0 h 0 ... 0) und (0 h1 0 ... 0) errechnen. Im tieferstufigen Fall ergeben sich die benötigten Hilfsvektoren in entsprechender Weise, man muss nur die Struktur der Matrix W kennen.
  • Dieser Algorithmus 1 ist in 7 grafisch dargestellt.
  • Ablauf des Algorithmus 1:
  • Eingangsgrößen: WP-Zerlegung des Signals, Kern im Ortsraum
    • a) Zerlegen des Kerns in Teilkerne
    • b) für jeden Teilkern a. Bestimmung der WP-Zerlegung des zugehörigen geshiftet Signals mittels der Hilfsvektoren b. Falten des Teilkernes an alle Subbänder dieser WP-Zerlegung
    • c) Für jedes Subband a. Summation über alle Shifts b. Zuordnung der Summe in das entsprechende Subband des Ergebnisses
  • Ausgangsgrößen: WP-Zerlegung des Faltungsergebnisses
  • Ein zweiter Algorithmus, auch als Algorithmus 2 bezeichnet, wird als „Subbandfaltung mit Kernvariation” bezeichnet. Dieser Algorithmus 2 leitet sich direkt aus dem Algorithmus 1 ab. Es wird prinzipiell nur eine Umsortierung der Verrechnung der Hilfsvektoren vorgenommen, um die Berechnung der WP's der geshifteten Signale zu umgehen.
  • Herleitung:
  • Die Herleitung lässt sich wieder am Übersichtlichsten in der Matrixnotation darstellen
    Figure 00140001
  • Man erkennt, dass sich die Verrechnung der Hilfsvektoren auf den Kern g übertragen lässt. Verdoppelt man den Kern und führt beide oben beschriebenen Kernvariationen aus, so kann man die Komponenten des Faltungsergebnisses direkt aus den Komponenten des Eingangssignals berechnen, ohne eine aufwendige Zwischenberechnung machen zu müssen. Damit ist dieser Algorithmus gut geeignet für eine iterative Anwendung, vor allem dann, wenn der Faltungskern klein ist und man eine niedrigstufige WP nutzt, da die Kernvariationen nur einmal berechnet werden müssen.
  • Prinzipiell funktioniert der Algorithmus beliebigstufig in beliebigen Dimensionen. Die Herleitung ist dabei abhängig von der Herleitung des entsprechenden Problems in Algorithmus 1. Der Algorithmus 2 ist in 8 grafisch dargestellt. Für den zweidimensionalen Fall zeigt 9 eine schematische Darstellung.
  • Ablauf des Algorithmus 2:
  • Eingangsgrößen: WP des Signals, Kern im Ortsraum
    • a) Berechnen der Transformationen des Kerns mittels der Hilfsvektoren aus Algorithmus 1; für jede Zielkomponente (Komponente des Faltungsergebnisses) gibt es einen transformierten Kern
  • Teilausgabe: Kern im transformierten Ortsraum (Mix aus UWP und Ortsraum)
    • b) Für jeden dieser transformierten Kerne a. Subbandweise Faltung der WP des Eingangssignals und des transformierten Kerns b. Summation über alle Subbänder c. Einordnen des Ergebnisses in die (durch den transformierten Kern gegebene) Komponente der WP des Faltungsergebnisses
  • Ausgangsgrößen: WP des Faltungsergebnisses
  • Bemerkung: Schritt a) muss in einer iterativen Anwendung nur einmal gemacht werden.
  • Ein dritter Algorithmus, auch als Algorithmus 3 bezeichnet, wird als Subbandfaltung mit Ergebnisvariation bezeichnet.
  • Auch dieser Algorithmus leitet sich aus dem Algorithmus 1 ab. Er benötigt nun aber einen Input im UWP-Raum und seine Ausgabe liegt ebenfalls im UWP-Raum.
  • Das Prinzip dabei ist, die Konstruktion der WP's der geshifteten Versionen des Signals auf das Ergebnis des Algorithmus 0 anzuwenden.
  • Dies und die Unterschiede der Algorithmen 0, 1 und 3 sind in 10 schematisch dargestellt. Während beim Algorithmus 1 verglichen mit dem Algorithmus 0 eine Modifikation derart vorgenommen wird, dass statt der UWT des Signals die WT des Signals als Eingangsgröße benötigt wird, wird für den Algorithmus 3 der Algorithmus 0 in entsprechender Weise derart modifiziert, dass statt der WT-Zerlegung des Ergebnisses eine UWT-Zerlegung des Ergebnisses vorliegt.
  • Die hier vorgestellten Algorithmen ermöglichen eine direkte Faltung/Entfaltung komprimierter Daten. Durch ihre Struktur ermöglichen diese Algorithmen auch eine iterative Anwendung, ohne dass die Daten dekomprimiert werden müssen. So ist eine effektive Berechnung auf großen Datenmengen möglich.
  • Wie bereits erwähnt können die obigen Algorithmen insbesondere zur Bildverbesserung, d. h. zur iterativen Entfaltung von Bilddaten und einer Punktspreizfunktion, welche dann dem Kern g entspricht oder diesen bestimmt, verwendet werden, beispielsweise in der Vorrichtung der 5. Weitere entsprechende Vorrichtungen und Verfahren werden nunmehr unter Bezugnahme auf die 1118 näher erläutert.
  • In 11 ist ein Schemadiagramm einer Vorrichtung gemäß einem Ausführungsbeispiel dargestellt. Das Schemadiagramm der 11 dient gleichzeitig zur Veranschaulichung eines Verfahrens gemäß einem entsprechenden Ausführungsbeispiel.
  • Als Bildaufnahmeeinrichtung dient bei dem Ausführungsbeispiel der 11 ein optisches System 110, welches beispielsweise ein Mikroskop und/oder eine Kamera, beispielsweise einer der oben erläuterten Arten von Mikroskopen, umfassen kann. Das optische System 110 weist eine Punktspreizfunktion (PSF) 111 auf, welche dazu führt, dass das aufgenommene Bild 112 fehlerbehaftet ist. Neben einem Einfluss der Punktspreizfunktion können auch weitere Einflüsse zu Fehlern im Bild führen, beispielsweise ein Rauschen eines verwendeten Bildsensors.
  • Das Bild 112 wird dann einer Bildverbesserungseinheit 113 zugeführt. Hier wird bei 114 durch eine biorthogonale Filterbank 115 eine Transformation in den Filterraum vorgenommen, beispielsweise durch eine Waveletzerlegung eine Transformation in den Waveletraum. Bei 116 wird die so erzeugte Transformierte dann komprimiert. Bei einer Waveletzerlegung kann dies beispielsweise dadurch geschehen, dass ausgenutzt wird, dass viele Elemente von Psi-Komponenten 0 sind, so dass diese Elemente beispielsweise weggelassen oder zusammengefasst werden können. Auch können bei einer verlustbehafteten Kompression Elemente, welche nahe 0 sind, deren Absolutwert also beispielsweise einen vorgegebenen Schwellenwert unterschreitet, auf 0 gesetzt werden.
  • Bei 117 wird dann das fehlerbehaftete komprimierte Bild mit der Punktspreizfunktion mit Hilfe eines iterativen Algorithmus entfaltet, wobei der Algorithmus nur auf Summationen und Faltungen zwischen dem aufgenommenen fehlerhaften Bild und der Punktspreizfunktion (gegebenenfalls zusätzlich unter Einbeziehung von Zwischenergebnissen) beruht, wobei wie für die oben genannten Algorithmen erläutert sowohl die Ausgangsfunktion als auch das letztendliche Ergebnis nur in komprimierter Form vorliegt und keine Dekomprimierung vorgenommen wird. Insbesondere kann sowohl das komprimierte Bild als auch das Ergebnis in Waveletraum vorliegen.
  • Je nach verwendeten Filtern können auch weitere Operationen zur Bildverbesserung durchgeführt werden. Bei Verwendung einer Waveletzerlegung als Filterung kann beispielsweise zusätzlich ein Entrauschen direkt im Waveletraum durchgeführt werden.
  • Ein Beispiel für einen derartigen iterativen Algorithmus ist der sogenannte Thresholded Landweber-Algorithmus, welcher später kurz dargestellt werden wird.
  • Als Ergebnis gibt die Bildverbesserungseinheit 113 eine verbesserte komprimierte Aufnahme 118 aus. Diese kann bei 119 gespeichert, bei 1110 visualisiert (beispielsweise durch Anzeige auf einem Bildschirm) und/oder bei 1111 vermessen werden, beispielsweise durch Bildanalyse, um hierdurch Messergebnisse einer Probe zu erhalten, von welcher das Bild aufgenommen wurde.
  • Zur Berechnung der Faltungen bei 117 können dabei insbesondere die oben erläuterten Algorithmen 0, 1, 2 und 3, insbesondere der Algorithmus 1, zum Einsatz kommen.
  • In 12 ist ein detaillierteres Ausführungsbeispiel dargestellt, welches auf dem Ausführungsbeispiel von 11 beruht. Das Ausführungsbeispiel der 12 umfasst wiederum ein optisches System 120 entsprechend dem optischen System 110 der 11, welches ein fehlerbehaftetes Bild 122 aufnimmt und eine Punktspreizfunktion 121 aufweist. Zudem weist auch das Ausführungsbeispiel der 12 eine Bildverbesserungseinheit 127 auf. Das Ausführungsbeispiel der 12 ist ein Ausführungsbeispiel für eine einstufige Zerlegung, d. h. eine einmalige Anwendung des Filters, beispielsweise eines Waveletfilters, um das aufgenommene Bild in Psi- und Phi-Komponenten zu zerlegen.
  • Die Punktspreizfunktion 121 wird in vier Teilkomponenten 123126 zerlegt, welche als EE (Even-Even, für gerade-gerade), EO (Even-Odd, ungerade-gerade), OE (Odd-Even) und OO (Odd-Odd) bezeichnet sind. Die Zerlegung in die Komponenten 123126 entspricht der Zerlegung des Kerns in godd und geven in den obigen Ausführungsbeispielen, hier jedoch für ein zweidimensionales Bild.
  • Bei 128 wird das Bild 122 durch Filter 129 in den Filterraum transformiert, und bei 1210 wird die so Transformierte komprimiert wie unter Bezugnahme auf 11 beschrieben. Im zweidimensionalen Fall der 12 ergeben sich hier vier Komponenten Aφφ 1215, AφΨ 1216, AΨφ 1217 und λΨΨ 1218. Wie unter Bezugnahme auf den Algorithmus 1 erläutert werden dann entsprechende Hilfsvektoren 12111214 (im zweidimensionalen Fall mit einstufiger Zerlegung wiederum vier) bestimmt, welche in 12 mit Shφ φ, Shφ ψ, Shψ φ und Shψ ψ bezeichnet sind.
  • Dann findet der eigentliche Algorithmus statt, wobei bei 1219 eine Subbandfaltung komprimierter Daten durchgeführt wird, bei 12201223 entsprechend verschiedene Komponenten ausgegeben werden, wobei τ in 12 ein Parameter ist, und bei 1224 sich die ergebenden Transformierten komprimiert und gegebenenfalls entrauscht (Denoising) werden. Dies kann mehrmals wiederholt werden, d. h. von 1224 kann nach 1219 zurückgesprungen werden.
  • Hieraus ergibt sich bei 1225 wiederum eine verbesserte komprimierte Aufnahme, welche bei 1226 gespeichert, bei 1227 visualisiert und/oder 1228 vermessen werden kann.
  • Die Subbandfaltung komprimierter Daten (1219 in 12) wird nunmehr unter Bezugnahme auf 13 und 14 näher erläutert. In 13 sind Teile von 12 nochmals dargestellt, nämlich der Filter 131 (entsprechend dem Filter 129 der 12) mit den „Hilfsvektoren” 137, 138, 139 und 1310 entsprechend den Hilfsvektoren 1211, 1212, 1213 und 1214 der 12, die Kompression des transformierten Bildes 130 (entsprechend 1210) mit den Komponenten 132135 (entsprechend den Komponenten 12151218 der 12) und die Punktspreizfunktion 136 (entsprechend 121) mit den Komponenten 1311, 1312, 1313 und 1314. In durchgezogenen Werten ist die Berechnung für die EE-Komponente 1311 schematisch dargestellt, und in gepunkteten Linien die Berechnung für die EO-Komponente 1312 gezeigt. In 13 sind aus Gründen der Übersichtlichkeit die Berechnungen für die OE- und OO-Komponente nicht dargestellt, in 14 (siehe unten) sind dann alle Berechnungen dargestellt. Es ergeben sich daraus eine Phi-Phi-Komponente 1315, eine Phi-Psi-Komponente 1316, eine Psi-Phi-Komponente 1317 und eine Psi-Psi-Komponente 1318 der Faltung der Punktspreizfunktion mit dem Bild im Waveletraum (PSF·A).
  • Ausführlich ist dieser Sachverhalt in den 14A14C dargestellt. Die 14A14C sind dabei als einzige Figur zu betrachten, welche lediglich aus Platzgründen aufgeteilt wurde, und wird im Folgenden insgesamt als 14 bezeichnet. Die Übergänge zwischen 14A und 14B sind mit 141 bzw. 143 bezeichnet, und die Übergänge zwischen der 14B und der 14C sind mit 148 und 149 bezeichnet, wobei die in den Figuren verwendeten senkrechten Striche lediglich den Übergang darstellen sollen.
  • In 14 ist die Berechnung der 13 zunächst für jede Komponente der PSF separat dargestellt. Mit 140 ist die Berechnung für die EE-Komponente der PSF dargestellt (durchgezogene Linien in 13), was zu (Teil-)Komponenten der Faltungskomponenten PSF·A führt, welche mit einer hochgestellten Eins bezeichnet sind. Mit 142 ist die entsprechende Berechnung für die EO-Komponente dargestellt, wobei die Teilergebnisse mit einer Hochgestellten Zwei gekennzeichnet sind. Mit 1410 ist die Berechnung für die OO-Komponente (Hochgestellte Drei) bezeichnet, und mit 1411 ist die Berechnung für die OE-Komponente der PSF (Ergebnisse mit hochgestellter Vier gekennzeichnet) bezeichnet. In 14B ist dargestellt, wie die verschiedenen Teilergebnisse zusammengeführt werden, um die letztendlichen waveletzerlegten Komponenten der Faltung zwischen PSF und A (mit 144147 bezeichnet) zu erhalten.
  • Zu beachten ist, dass bei dem dargestellten Algorithmus bei 1410 die Ergebnisse von 142 anstelle der Komponenten des komprimierten transformierten Bildes A als Eingangsgrößen verwendet werden.
  • In den 15 und 16 ist schematisch eine entsprechende Vorgehensweise in einem dreidimensionalen Fall (beispielsweise für eine 3D-Bildaufnahme) dargestellt. Mit 150 und 151 sind in der übrigen 15 verwendete „Abkürzungen” gekennzeichnet. Insbesondere bedeutet das Zusammenstoßen zweier Teile eine Faltung der jeweiligen Ausgangskomponenten mit einem Hilfsvektor Sh und ein Addieren des Ergebnisses.
  • Mit 152 ist bezeichnet, wie in eine Richtung (S1, S2 oder S3) geshiftete Versionen der ursprünglichen Bildkomponenten A erhalten werden, und mit 153 ist bezeichnet, wie die in alle drei Richtungen geshifteten Komponenten erhalten werden.
  • In 16 ist dann schematisch eine entsprechende Vorrichtung und ein entsprechendes Verfahren dargestellt.
  • Durch eine Aufnahmeeinheit wird ein komprimierter aufgenommener Bildstapel A, was einem dreidimensionalen Bild entspricht, 161 bereitgestellt. Zudem wird eine bei der Aufnahme verwendete Punktspreizfunktion 160 und ein entsprechendes Filter 162 h bzw. h1, beispielsweise zur Durchführung einer Waveletzerlegung, bereitgestellt, wobei h bzw. h1 wie bereits erwähnt den Skalierungsfunktionsvektor als FIR-Filter bzw. h1 den aus h abgeleiteten Vektor wie oben erläutert darstellen.
  • Durch eine Einrichtung 166 werden mit Shifteinheiten 163, 164 und 165 die unter Bezugnahme auf 15 erläuterten Verschiebungen ausgeführt, und durch das Filter 162 wird dann ein an die Verschiebungen angepasstes komprimiertes Signal 167 erzeugt. Mit 166 ist ein Dezimator bezeichnet, der aus der Punktspreizfunktion 160 unter Benutzung der Verschiebungseinrichtungen 163165 wie dargestellt einen entsprechend angepassten Kern 168 bereitstellt. Das an die Shift angepasste komprimierte Signal ist in der Reihe 169 nochmals einzeln dargestellt, wobei der Index x bei Sx für 1, 2, oder Kombinationen hiervon steht. In der Zeile 1610 werden dann Faltungen dieser Komponenten mit entsprechenden Komponenten des Kerns 168 wie beschrieben durchgeführt. In der Zeile 1611 werden dann schließlich durch Addition der Ergebnisse der Faltungen 1610 die Ergebnisse erhalten, ähnlich wie für den zweidimensionalen Fall in 14B dargestellt.
  • Somit kann die Erfindung nicht nur auf ein- und zweidimensionale, sondern auch auf dreidimensionale und entsprechenderweise auch auf höherdimensionale Daten angewendet werden (oder auch auf andere Weise mehrkomponentige Daten, beispielsweise wenn bei Bilddaten Farbkomponenten separat gespeichert sind und somit die Farbe gleichsam eine weitere Dimension darstellt).
  • In 17 ist ein weiteres Ausführungsbeispiel der Erfindung schematisch dargestellt. In vielerlei Hinsicht entspricht das Ausführungsbeispiel der 17 dem Ausführungsbeispiel der 11. Während das Ausführungsbeispiel der 11 insbesondere für die Verwendung des Algorithmus 1 ausgelegt ist, ist das Ausführungsbeispiel der 17 insbesondere für die Verwendung mit dem Algorithmus 2, welcher oben beschrieben wurde, ausgelegt.
  • Ein optisches System 170 entsprechend dem optischen System 110 der 11 nimmt ein fehlerbehaftetes Bild 172 auf und weist eine Punktspreizfunktion 171 auf. Das bild 172 wird durch ein biorthogonales Filtersystem 175 bei 174 in den Filterraum, beispielsweise den Waveletraum, transformiert, und bei 176 wird das transformierte Bild komprimiert.
  • Entsprechend den Erläuterungen zum Algorithmus 2 wird der Filter 175 auch auf die Punktspreizfunktion 171 angewendet, um eine transformierte Punktspreizfunktion (entsprechend den Komponenten gφ φ etc. des obigen Algorithmus 2) zu erzeugen. In einer Bildverbesserungseinheit 178 wird dann wiederum ein Entfaltungsalgorithmus wie bereits beschrieben angewendet, wobei nunmehr der Algorithmus 2 unter Verwendung der transformierten Punktspreizfunktion 173 zum Einsatz kommt.
  • Wiederum ergibt sich eine verbesserte komprimierte Aufnahme 179, welche bei 1710 gespeichert, bei 1711 visualisiert und/oder bei 1712 vermessen werden kann.
  • In 18 ist eine Transformation der Punktspreizfunktion wie in 173 der 17 schematisch für den dreidimensionalen Fall dargestellt. Die Punktspreizfunktion 180 wird durch Shifteinrichtungen 184, 185 und 186 sowie einen Dezimator 1813 verarbeitet, um insgesamt acht Komponenten 1814 zu erhalten. Dies entspricht im Wesentlichen der auch in 16 dargestellten Transformation. Zudem ist in 18 dargestellt, wie die Hilfsvektoren 1891812 aus den Komponenten h 182 bzw. h1 183 des Filters 181 durch Verschiebungen 188 und Filterung 187 erhalten werden.
  • Zu bemerken ist, dass die obigen Ausführungsbeispiele lediglich zur Veranschaulichung dienen, und auch andere Varianten möglich sind. Insbesondere können die erfindungsgemäßen Verfahren und Vorrichtungen in jeder beliebigen Dimension verwendet werden, je nach den bereitgestellten Bilddaten.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Nicht-Patentliteratur
    • P. P. Vaidyanathan, „Orthonormal and biorthonormal filter-banks as convolvers, and convolutional gain.”, IEEE Trans. Signal Processing, vol. 41, Seiten 2110–2130, Juni 1993 [0004]
    • Iddo Drori, Dani Lischinski, „Fast Multiresolution Image Operations in the Wavelet Domain,” IEEE Transactions on Visualization and Computer Graphics, vol. 09, no. 3, Seiten 395–411, Juli-September 2003 [0004]
    • JPG2000-Standard [0045]

Claims (12)

  1. Verfahren zur Bildverbesserung, umfassend: Aufnehmen eines Bildes (112; 172), Anwenden einer biorthogonalen Filterbank (115; 175) auf das Bild, um ein Bild im Filterraum zu erzeugen, Anwenden einer Faltungsoperation auf das Bild im Filterraum derart, dass das Ergebnis der Faltungsoperation wieder im Filterraum vorliegt, und Ausgeben eines Ergebnisbildes (118; 179) auf Basis des Ergebnisses der Faltungsoperation.
  2. Verfahren nach Anspruch 1, weiter umfassend Komprimieren des Bildes im Filterraum, wobei das Anwenden der Faltungsoperation auf dem komprimierten Bild erfolgt und das Ergebnis der Faltungsoperation wieder komprimiert ist.
  3. Verfahren nach Anspruch 1 oder 2, wobei die Faltungsoperation ein Falten mit einem Kern, welcher auf einer Punktspreizfunktion beruht, umfasst.
  4. Verfahren nach Anspruch 3, wobei das Anwenden der Faltungsoperation ein Aufteilen des Kerns in mehrere Komponenten umfasst.
  5. Verfahren nach Anspruch 4, wobei die mehreren Komponenten des Kerns gerade und ungerade Komponenten umfassen.
  6. Verfahren nach einem der Ansprüche 3–5, wobei das Durchführen der Faltungsoperation ein Anwenden der biorthogonalen Filterbank auf den Kern umfasst, um Komponenten des Kerns im Filterraum zu erzeugen.
  7. Verfahren nach einem der Ansprüche 1–6, wobei das Anwenden der Faltungsoperation ein Bilden von Hilfsvektoren auf Basis von die biorthogonale Filterbank kennzeichnenden Vektoren und auf Basis einer Shiftoperation umfasst.
  8. Verfahren nach Anspruch 7 und nach einem der Ansprüche 4–5, wobei das Anwenden der Faltungsoperation eine Faltung einer der Komponenten des Kerns mit einer der Hilfsvektoren umfasst.
  9. Verfahren nach einem der Ansprüche 1–8, wobei durch die biorthogonale Filterbank eine Waveletzerlegung durchgeführt wird.
  10. Verfahren nach einem der Ansprüche 1–9, umfassend iteratives Anwenden von Faltungsoperationen umfassend die Faltungsoperation, um eine Entfaltung durchzuführen.
  11. Vorrichtung, umfassend: eine Bildaufnahmeeinrichtung (110; 170) zum Aufnehmen eines Bildes (112; 172), eine biorthogonale Filterbank (115; 175), um aus dem aufgenommenen Bild (112; 172) ein Bild im Filterraum zu erhalten, und eine Bildverbesserungseinheit (113; 178) zum Anwenden einer Faltungsoperation auf das Bild im Filterraum derart, dass das Ergebnis wieder im Filterraum vorliegt, und zum Ausgeben eines Ergebnisbildes (118; 179) auf Basis des Ergebnisses der Faltungsoperation.
  12. Vorrichtung nach Anspruch 11, wobei die Vorrichtung zur Durchführung des Verfahrens nach einem der Ansprüche 1–10 eingerichtet ist.
DE102012102707A 2012-03-29 2012-03-29 Verfahren und Vorrichtungen zur Bildverarbeitung Pending DE102012102707A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102012102707A DE102012102707A1 (de) 2012-03-29 2012-03-29 Verfahren und Vorrichtungen zur Bildverarbeitung
PCT/EP2013/056317 WO2013144100A1 (de) 2012-03-29 2013-03-25 Verfahren und vorrichtungen zur bildverarbeitung
US14/387,740 US9336580B2 (en) 2012-03-29 2013-03-25 Methods and apparatuses for image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102012102707A DE102012102707A1 (de) 2012-03-29 2012-03-29 Verfahren und Vorrichtungen zur Bildverarbeitung

Publications (1)

Publication Number Publication Date
DE102012102707A1 true DE102012102707A1 (de) 2013-10-02

Family

ID=48045480

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102012102707A Pending DE102012102707A1 (de) 2012-03-29 2012-03-29 Verfahren und Vorrichtungen zur Bildverarbeitung

Country Status (3)

Country Link
US (1) US9336580B2 (de)
DE (1) DE102012102707A1 (de)
WO (1) WO2013144100A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021513095A (ja) * 2018-01-02 2021-05-20 キングス カレッジ ロンドン 局在化顕微鏡法のための方法及びシステム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014112666A1 (de) * 2014-08-29 2016-03-03 Carl Zeiss Ag Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme
CN111246053B (zh) * 2020-01-22 2022-07-12 维沃移动通信有限公司 图像处理方法及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9919805D0 (en) * 1999-08-21 1999-10-27 Univ Manchester Video cording
WO2011092696A1 (en) * 2010-01-28 2011-08-04 Yissum Research Development Company Of The Hebrew University Of Jerusalem, Ltd. Method and system for generating an output image of increased pixel resolution from an input image

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Iddo Drori, Dani Lischinski, "Fast Multiresolution Image Operations in the Wavelet Domain," IEEE Transactions on Visualization and Computer Graphics, vol. 09, no. 3, Seiten 395-411, Juli-September 2003
JPG2000-Standard
P. P. Vaidyanathan, "Orthonormal and biorthonormal filter-banks as convolvers, and convolutional gain.", IEEE Trans. Signal Processing, vol. 41, Seiten 2110-2130, Juni 1993

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021513095A (ja) * 2018-01-02 2021-05-20 キングス カレッジ ロンドン 局在化顕微鏡法のための方法及びシステム
JP7228917B2 (ja) 2018-01-02 2023-02-27 キングス カレッジ ロンドン 局在化顕微鏡法のための方法及びシステム

Also Published As

Publication number Publication date
US20150071560A1 (en) 2015-03-12
US9336580B2 (en) 2016-05-10
WO2013144100A1 (de) 2013-10-03

Similar Documents

Publication Publication Date Title
DE102019207238A1 (de) Bereitstellen eines Ergebnisbilddatensatzes
DE102006005803A1 (de) Verfahren zur Rauschreduktion in bildgebenden Verfahren
EP1301993B1 (de) Verfahren und vorrichtung zur kompression und/oder dekompression sowie zur analyse und darstellung von daten
DE102016121959A1 (de) Bildbearbeitungsvorrichtung und Bildbearbeitungsverfahren zur Vorverarbeitung zum Erhalten eines Bildes mit verbesserter Schärfe
DE10150428A1 (de) Verfahren zur Erzeugung dreidimensionaler, mehrfachaufgelöster Volumenbilder eines Untersuchungsobjekts
DE102010053458B4 (de) Verfahren zur Aufbereitung von IR-Bildern und korrespondierende Wärmebildkamera
DE102006005804A1 (de) Verfahren zur Rauschreduktion in tomographischen Bilddatensätzen
EP1943625A2 (de) Verfahren und vorrichtung zur rekonstruktion von bildern
DE102019208496A1 (de) Bereitstellen eines Differenzbilddatensatzes und einer trainierten Generatorfunktion
DE102007013570A1 (de) Verfahren zur Rauschverminderung in digitalen Bildern mit lokal unterschiedlichem und gerichtetem Rauschen
DE102009010501A1 (de) Verfahren zur Rauschreduktion von CT-Bilddaten und Bildbearbeitungssystem
DE102008063311A1 (de) Verfahren zur Rauschreduktion von CT-Bilddaten und Bildbearbeitungssystem
DE102010019632A1 (de) Verfahren zur Aufnahme und Rekonstruktion eines dreidimensionalen Bilddatensatzes und Röntgeneinrichtung
DE19744407C1 (de) Verfahren zur mehrdimensionalen, diskreten Wavelet-Transformation und Transformationseinheit zur Durchführung des Verfahrens
DE102020123669A1 (de) Verfahren zur SIM-Mikroskopie
DE102010015936B4 (de) Verfahren und Vorrichtungen zur Durchführung einer Multi-Fokalebenen-Bildakquisition und -Komprimierung
DE102012102707A1 (de) Verfahren und Vorrichtungen zur Bildverarbeitung
WO2020126719A1 (de) Grössenveränderung von bildern mittels eines neuronalen netzes
DE102008005476B4 (de) Verfahren zur Bildkompression medizinischer Schnittbilder mit 3D Graphikinformation
DE102010026374A1 (de) Verfahren zur Rekonstruktion eines dreidimensionalen Bilddatensatzes und Röntgeneinrichtung
DE102018008064A1 (de) Herunterskalieren von Bildern mit Pixelsätzen, die durch eine für blaues Rauschen gegebene Abtastung ausgewählt werden
DE102021114350A1 (de) Verfahren und Vorrichtung zur faltungsfreien Bildverarbeitung
DE112017007815T5 (de) Bildverarbeitungsvorrichtung, Bildvergrbeitungsverfahren und Bildverarbeitungsprogramm
DE102006044189A1 (de) Verfahren zum Bereitstellen von vielfältig verarbeiteten Bilddaten, Verfahren zum Verarbeiten vielfältiger Bilddaten und Röntgenbildsystem
DE102008046505A1 (de) Verfahren zur Bildverarbeitung von Stereobildern

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication