DE202018006284U1

DE202018006284U1 - Vorrichtung, insbesondere für Mikroskope und Endoskope, unter Anwendung einer Grundlinienschätzung und halbquadratischen Minimierung für die Unschärfereduzierung von Bildern

Info

Publication number: DE202018006284U1
Application number: DE202018006284.7U
Authority: DE
Original assignee: Leica Microsystems CMS GmbH
Current assignee: Leica Microsystems CMS GmbH
Priority date: 2018-03-29
Filing date: 2018-06-27
Publication date: 2019-11-26
Anticipated expiration: 2028-06-28
Also published as: EP3776453A1; JP7391865B2; WO2021005098A1; CN114008613A; US11669940B2; CN114041162A; CN111937032A; US11854166B2; CN114097002A; EP3776452A1; WO2020254574A1; ES2820228T3; JP2022541743A; WO2021038103A1; EP3571663A1; US20210118102A1; US20220327670A1; JP2022538124A; JP7436379B2; US20210118101A1

Abstract

Vorrichtung (1), insbesondere Bildprozessor, zur Unschärfereduktion eines Bildes, wobei das Bild durch Eingangsbilddaten (I(x)) repräsentiert ist, wobei die Vorrichtung ausgebildet ist zum- Abschätzen eines außerhalb des Fokus liegenden Bildanteils (I(x)), um Grundlinienschätzdaten (f(x)) zu erhalten, und zum- Subtrahieren der Grundlinienschätzdaten von den Eingangsbilddaten, um unschärfereduzierte Ausgangsbilddaten (O(x)) zu erhalten,wobei zum Abschätzen des außerhalb des Fokus liegenden Bildanteils die Vorrichtung ferner ausgebildet ist zum- Berechnen der Grundlinienschätzdaten als ein Fit an zumindest eine Teilmenge der Eingangsbilddaten durch Minimieren eines Fehlerquadrat-Minimierungskriteriums (M(f(x))), undwobei das Fehlerquadrat-Minimierungskriterium einen Strafterm (P(f(x))) umfasstund die Vorrichtung ausgestaltet ist, zur Berechnung der Grundlinienschätzdaten eine Faltung mit einer diskreten vom Strafterm (P(f(x))) abhängigen Greenschen (G(x)) Funktion durchzuführen.

Description

Die Erfindung betrifft eine Vorrichtung, insbesondere eine medizinische Beobachtungseinrichtung, etwa ein Mikroskop oder ein Endoskop, zur Reduzierung von Unschärfe. Die Vorrichtung kann insbesondere ein Mikroskop oder ein Endoskop sein.
Wenn ein zweidimensionales Bild eines dreidimensionalen Gebiets unter Anwendung einer optischen Einrichtung, etwa einer Kamera, aufgezeichnet wird, werden nur jene Objekte scharf abgebildet, die im Fokusbereich liegen. Objekte, die nicht im Fokusgebiet liegen, sind unscharf. Dieser außerhalb des Fokus liegende Beitrag zu dem Bild führt zu Bildfehlern, die standardmäßige Einrichtungen und Verfahren für das Erzeugen von Bildschärfe, etwa durch Dekonvolution, nicht entfernt werden.
Es ist daher die Aufgabe, eine Vorrichtung zu schaffen, die den Beitrag von außerhalb des Fokus liegenden Objekten in Bildern entfernen bzw. reduzieren.
Erfindungsgemäß wird diese Aufgabe durch die Gegenstände der unabhängigen Ansprüche gelöst.
Die Eingangsbilddaten sind vorzugsweise ein N-dimensionales Array I(x_i), wobei N eine Ganzzahl größer als 2 ist.
Der Term x_i ist eine abkürzende Darstellung für ein Tupel {x₁; ··· ; x_N}, das N Ortswerte enthält, und einen diskreten Ort x_i - oder den Ortsvektor zu diesem Ort - in dem Array repräsentiert. Der Ort x_i kann durch ein Pixel oder vorzugsweise eine kohärente Menge oder Gruppe von Pixeln in den Eingangsbilddaten repräsentiert sein. Der diskrete Ort x_i bezeichnet beispielsweise ein Paar aus diskreten Ortsvariablen {x₁ ; x₂ } im Falle von zweidimensionalen Eingangsbilddaten und ein Triplett aus diskreten Ortsvariablen {x₁ ; x₂ ; x₃ } im Falle dreidimensionaler Eingangsbilddaten. In der i-ten Dimension kann das Array M_i Orte enthalten, das heißt, x_i = {x_i,1, ..., x_i,M
i}. Insgesamt kann I(x_i ) (M₁ × ··· × M_N ) Elemente enthalten. Da im Folgenden kein Verweis auf einen bestimmten Ort oder eine bestimmte Dimension erfolgt, wird der Ort einfach durch x_i bezeichnet.
I(x_i) kann ein beliebiger Wert oder eine Kombination aus Werten an dem Ort x_i sein, etwa ein Wert, der eine Intensität einer Farbe oder eines „Kanals“ in einem Farbraum repräsentiert, beispielsweise die Intensität der Farbe R in dem RGB-Raum, oder eine kombinierte Intensität von mehr als einer Farbe, beispielsweise $\frac{R + G + B}{3}$
im RGB-Farbraum. Eingangsbilder, die durch eine multispektrale oder hyperspektrale Kamera aufgezeichnet worden sind, können mehr als drei Kanäle enthalten.
Beispielsweise können zweidimensionale Eingangsbilddaten, die im Dreifarben-RGB-Format verfügbar sind, als drei unabhängige Mengen oder Gruppen aus zweidimensionalen Eingangsbilddaten betrachtet werden I(x_i) = (I_R(x_i); I_G(x_i); I_B(x_i )}, wobei I_R(x_i ) einen Wert wie die Intensität der Farbe R repräsentiert, I_G(x_i) einen Wert wie die Intensität der Farbe G repräsentiert, und I_B(x_i) einen Wert wie die Intensität der Farbe B repräsentiert. Alternativ kann jede Farbe so betrachtet werden, dass sie ein separates Eingangsbild und somit separate Eingangsbilddaten bildet.
Wenn die Eingangsbilddaten unter Anwendung einer multispektralen Kamera oder einer hyperspektralen Kamera aufgezeichnet worden sind, dann können mehr als drei Kanäle durch die Eingangsbilddaten repräsentiert sein. Jeder Kanal kann ein anderes Spektrum oder einen anderen spektralen Bereich des Lichtspektrums repräsentieren. Beispielsweise können mehr als drei Kanäle verwendet werden, um das Spektrum des sichtbaren Lichts zu repräsentieren.
Wenn das Objekt fluoreszierende Materialien enthielt, etwa zumindest ein Fluorophor oder mindestens eine autofluoreszierende Substanz, dann kann jeder Kanal ein anderes fluoreszierendes Spektrum repräsentieren. Wenn beispielsweise mehrere fluoreszierende Fluorophore in den Eingangsbilddaten vorhanden sind, dann kann jedes Fluoreszenzspektrum eines Fluorophors durch einen anderen Kanal der Eingangsbilddaten repräsentiert sein. Es können ferner unterschiedliche Kanäle verwendet werden einerseits für die Fluoreszenz, die selektiv durch Beleuchtung ausgelöst wird, und andererseits für Autofluoreszenz, die als Nebenprodukt oder als ein sekundärer Effekt der ausgelösten Fluoreszenz andererseits erzeugt werden kann. Weitere Kanäle können den NIR-Bereich und den IR-Bereich abdecken. Ein Kanal muss nicht notwendigerweise Intensitätsdaten enthalten, sondern kann andere Arten von Daten repräsentieren, die mit dem Bild des Objektes in Beziehung stehen. Beispielsweise kann ein Kanal Fluoreszenzlebensdauerdaten enthalten, die für die Fluoreszenzlebensdauer nach dem Auslösen an einem speziellen Ort in dem Bild repräsentativ sind. Im Allgemeinen können die Eingangsbilddaten daher die Form annehmen $I (x_{i}) = {I_{1} (x_{i}); I_{2} (x_{i}); \dots; I_{C} (x_{i})}$
wobei C die Gesamtzahl an Kanälen in den Eingangsbilddaten ist.
Die Vorrichtung gemäß der Erfindung gehen von der Annahme aus, dass im Fokus liegende Anteile eine hohe räumliche Frequenz haben, beispielsweise für Intensitäts- und/oder Farbveränderungen verantwortlich sind, die über eine kurze Distanz in den Eingangsbilddaten auftreten. Bei den außerhalb des Fokus liegenden Anteilen wird angenommen, dass sie eine niedrige räumliche Frequenz haben, also zu überwiegend graduellen Intensitäts- und/oder Farbänderungen führen, die sich über große Bereiche der Eingangsbilddaten erstrecken.
Ausgehend von dieser Annahme können die Intensitäts- und/oder Farbänderungen über die Eingangsbilddaten hinweg additiv in einen im Fokus liegenden Anteil mit hoher räumlicher Frequenz I₁(x_i) und einen außerhalb des Fokus liegenden Anteil mit niedriger räumlicher Frequenz I₂(x_i) wie folgt zerlegt werden: $I (x_{i}) = I_{1} (x_{i}) + I_{2} (x_{i}) .$
Aufgrund der niedrigen räumlichen Frequenz des außerhalb des Fokus liegenden Anteils I₂(x_i) kann diese als eine mehr oder weniger glatte Grundlinie betrachtet werden, der die im Fokus liegenden Bestandteile als Objekte mit hoher räumlicher Frequenz überlagert sind. Erfindungsgemäß wird die Grundlinie abgeschätzt unter Anwendung einer Anpassung bzw. eines Fits an die Eingangsbilddaten. Rechentechnisch wird der Fit, das heißt, die Grundlinienschätzung, durch diskrete Grundlinienschätzdaten f(x_i ) repräsentiert. Die Grundlinienschätzdaten können auch ein Hyperwürfel-Array mit N Dimensionen und {M₁ × ··· × M_N ) Elementen sein und können daher die gleiche Dimensionalität wie die Eingangsbilddaten haben.
Zur Berechnung der Grundlinienschätzdaten wird ein Fehlerquadrat-Minimierungskriterium angewendet, das für den Fit zu minimieren ist. Die genaue Formulierung des Fehlerquadrat-Minimierungskriteriums bestimmt die Eigenschaften des Fits und somit der Grundlinienschätzdaten. Eine ungeeignete Wahl des Fehlerquadrat-Minimierungskriteriums kann bewirken, dass die Grundlinienschätzung der nicht im Fokus liegende Anteil nicht mit ausreichender Genauigkeit repräsentiert.
Um sicherzustellen, dass die Grundlinienschätzdaten eine genaue Darstellung der außerhalb des Fokus liegenden Anteile in den Eingangsbilddaten sind, und um zu vermeiden, dass die Grundlinienschätzdaten an die im Fokus liegenden Anteile angepasst werden, umfasst das Fehlerquadrat-Minimierungskriterium erfindungsgemäß einen Straf- bzw. Nachteilsterm. Der Strafterm wird verwendet, um ein unerwünschtes Verhalten der Grundlinienschätzdaten zu bestrafen, wie etwa das Repräsentieren von Anteilen oder Komponenten der Eingangsbilddaten, die eine hohe räumliche Frequenzen beinhalten und daher als zu dem im Fokus liegenden Anteil der Eingangsbilddaten gehörig zu betrachten sind.
Sobald die Grundlinienschätzdaten ermittelt worden sind und somit eine Grundlinienschätzung f(x_i) für I₂(x_i) erhalten worden ist, können die unschärfereduzierten Ausgangsbilddaten O(x_i) durch das Subtrahieren der Grundlinienschätzung von den Eingangsbilddaten berechnet werden: $O (x_{i}) = I (x_{i}) - f (x_{i}) .$
Die Ausgangsbilddaten werden vorzugsweise auch durch ein diskretes Array mit Dimension N und M₁ × ··· × M_N Elementen repräsentiert und haben daher vorzugsweise die gleiche Dimensionalität wie die Eingangsbilddaten und/oder die Grundlinienschätzdaten.
Die erfindungsgemäße Lösung unterscheidet sich vom Stand der Technik, beispielsweise der „convoluted background subtraction“ in der BioVoxxel-Werkzeugsammlung. Dort wird ein Hintergrund von einer gefalteten Kopie des Bildes und nicht von dem (ungefalteten) Bild subtrahiert, wie dies in der Erfindung der Fall ist.
Die vorhergehende Vorrichtung können verbessert werden, indem ein oder mehrere der Merkmale hinzugefügt werden, die im Folgenden beschriebenen sind. Jedes der folgenden Merkmale kann der Vorrichtung der Erfindung unabhängig von den anderen Merkmalen hinzugefügt werden. Ferner hat jedes Merkmal seine eigene vorteilhafte technische Wirkung, wie nachfolgend erläutert ist.
Gemäß einer Ausführungsform kann der Polynom-Fit gleichzeitig in mehreren Dimensionen, abhängig von den Dimensionen der Eingangsbilddaten, ausgeführt werden.
In einem speziellen Falle kann der Fit ein Polynom-Fit an die Eingangsbilddaten sein. Insbesondere können die Grundlinienschätzdaten durch ein Polynom der Ordnung K in jeder der N Dimensionen i repräsentiert sein: $f (x_{i}) = \sum_{k = 0}^{K} a_{i, k} x_{i}^{k} = a_{i,0} + a_{i,1} x_{i}^{1} + a_{i,2} x_{i}^{2} + \dots + a_{i, K} x_{i}^{K},$
wobei a_i,k die Koeffizienten des Polynoms in der i-ten Dimension sind. Für jede Dimension i = 1, ···, N kann ein separates Polynom berechnet werden.
Der optimale Wert für die maximale Polynomordnung K hängt von der erforderlichen Glattheit der Grundlinienschätzdaten ab. Für eine glatte Grundlinie muss die Ordnung des Polynoms so klein wie möglich festgelegt werden, wohingegen das Fitten eines äußerst unregelmäßigen Hintergrunds eine höhere Ordnung erfordern kann.
Im Falle eines Polynom-Fits können die Grundlinienschätzdaten lediglich aus den Polynomkoeffizienten a_i,k bestehen. Jedoch ist unter Umständen ein Polynom-Fit schwer zu steuern und nicht präzise, da der einzige Parameter, der eine Anpassung an die Eingangsbilddaten ermöglicht, die maximale Ordnung des Polynoms ist. Die Polynomordnung kann lediglich ganze Werte annehmen. Es ist daher gegebenenfalls nicht immer möglich, eine optimale Grundlinienschätzung zu finden. Eine nicht optimale Polynomanpassung kann lokale Minima in der Grundlinienschätzung aufweisen, die zu störenden Bildfehlem führen können.
Daher ist gemäß einer weiteren vorteilhaften Ausführungsform der Fit an die Eingangsbilddaten ein Spline-Fit, insbesondere ein glättender Spline. Ein Spline-Fit liefert für gewöhnlich zuverlässigere Ergebnisse als ein Polynom-Fit, da er einfacher zu handhaben ist, beispielsweise in Hinblick auf die Glattheit, und er ist robust gegenüber Rauschen und erzeugt weniger Bildfehler. Andererseits ist der Spline-Fit rechentechnisch aufwändiger als der Polynom-Fit, da jeder Pixelwert zum Minimieren des Fehlerquadrat-Minimierungskriteriums variiert werden muss.
Gemäß einer Ausführungsform kann das Fehlerquadrat-Minimierungskriterium M(f(x_i )) die folgende Form haben: $M (f (x_{i})) = C (f (x_{i})) + P (f (x_{i})),$
wobei C(f(x_i )) eine Kostenfunktion und P(f(x_i )) der Strafterm ist. Das Fehlerquadrat-Minimierungskriterium, die Kostenfunktion und der Strafterm sind vorzugsweise skalare Werte.
In einem speziellen Fall repräsentiert die Kostenfunktion die Differenz zwischen den Eingangsbilddaten I(x_i ) und den Grundlinienschätzdaten f(x_i ). Wenn beispielsweise ε(x_i ) den Differenzterm zwischen den Eingangsbilddaten und den Grundlinienschätzdaten in der Form $ε (x_{i}) = I (x_{i}) - f (x_{i}),$
repräsentiert, dann kann die Kostenfunktion C(f(x_i )) die L₂ -Norm ||_ε(x_i )||² umfassen, die hierin als abkürzende Notation der Summe der Werte der Wurzel der mittleren Quadrate über alle Dimensionen der Summe der quadrierten Differenzen zwischen den Eingangsbilddaten und den Grundlinienschätzdaten in der i-ten Dimension verwendet wird, das heißt ${‖ ε (x_{i}) ‖}^{2} = {\sum_{i = 1}^{N} \sum_{m = 1}^{M_{i}} (I (x_{i, m}) - f (x_{i, m}))}^{2} .$
Die L₂-Norm ||ε(x_i)||² ist ein skalarer Wert. Ein Beispiel einer Kostenfunktion ist: $C (f (x_{i})) = {‖ ε (x_{i}) ‖}^{2}$
Zur Verbesserung der Genauigkeit der Grundlinienschätzung kann es vorteilhaft sein, wenn die Differenz zwischen den Eingangsbilddaten und der Grundlinienschätzung trunkiert bzw. begrenzt wird, beispielsweise durch Verwenden eines trunkierten Differenzterms. Ein trunkierter Differenzterm reduziert die Wirkung von Spitzen in den Eingangsbilddaten auf die Grundlinienschätzdaten. Eine derartige Verringerung ist vorteilhaft, wenn anzunehmen ist, dass der im Fokus liegende Anteil in den Spitzen von I(x_i) liegt. Aufgrund des trunkierten Differenzterms werden Spitzenwerte in den Eingangsbilddaten, die von der Grundlinienschätzung um mehr als einen vorbestimmten konstanten Schwellenwert s abweichen, in der Kostenfunktion „ignoriert“, indem ihre Strafe auf den Fit, insbesondere den Spline-Fit, auf den Schwellenwert begrenzt wird. Folglich folgen die Grundlinienschätzdaten derartigen Spitzenwerten lediglich bis zu einem begrenzten Betrag. Der trunkierte quadratische Ausdruck kann symmetrisch oder asymmetrisch sein. Der trunkierte Differenzterm wird im Folgenden als φ(ε(x_i )) bezeichnet.
In einigen Anwendungen können die im Fokus liegenden Anteile gegebenenfalls nur oder zumindest vorrangig in den Spitzenwerten der Eingangsbilddaten liegen, das heißt, in den hellen Flecken eines Bildes. Dies wird gegebenenfalls dadurch widergegeben, dass ein trunkierter bzw. begrenzter quadratischer Term ausgewählt wird, der asymmetrisch ist und es ermöglicht, dass der Fit, insbesondere der Spline-Fit, den Tälern, aber nicht den Spitzen in den Eingangsbilddaten folgt. Beispielsweise kann der asymmetrische trunkierte quadratische Ausdruck φ(ε(x_i )) von der Form sein $φ (ε (x_{i})) = {\begin{matrix} ε {(x_{i})}^{2} falls ε (x_{i}) \leq s \\ s^{2} sonst \end{matrix} .$
Wenn in einer weiteren speziellen Anwendung Täler, das heißt, dunkle Bereiche in den Eingangsbilddaten, ebenfalls als im Fokus liegende Anteile betrachtet werden, dann kann ein symmetrisch trunkierter quadratischer Ausdruck anstelle des asymmetrischen trunkierten quadratischen Ausdrucks verwendet werden. Beispielsweise kann der symmetrische trunkierte quadratische Ausdruck die folgende Form haben: $φ (ε (x_{i})) = {\begin{matrix} ε {(x_{i})}^{2} falls | ε (x_{i}) | \leq s \\ s^{2} sonst \end{matrix} .$
Unter Verwendung einer trunkierten quadratischen Form kann die Kostenfunktion C(f(x_i )) vorzugsweise ausgedrückt werden als $C (f (x_{i})) = \sum_{i = 1}^{N} \sum_{m = 1}^{M_{i}} φ (x_{i, m})$
Der Strafterm P(f(x_i )) in dem Fehlerquadrat-Minimierungskriterium M(f(x_i )) kann eine beliebige Form annehmen, die eine Strafe oder einen Nachteil einführt, wenn die Grundlinienschätzung an Daten angepasst wird, die als zu dem im Fokus liegenden Anteil I₁(x_i) gehörig betrachtet werden. Eine Strafe bzw. ein Nachteil wird dadurch erzeugt, dass der Strafterm im Wert ansteigt, wenn der im Fokus liegende Anteil der Bildeingangsdaten in den Grundlinienschätzdaten repräsentiert ist.
Wenn man beispielsweise annimmt, dass der außerhalb des Fokus liegende Anteil I₂(x_i) eine geringe räumliche Frequenz hat, dann kann der Strafterm ein Term sein, der groß wird, wenn die räumliche Frequenz der Grundlinienschätzung groß wird.
Ein derartiger Term kann in einer Ausführungsform ein Rauigkeits-Strafterm sein, der nicht-glatte Grundlinienschätzdaten benachteiligt, die von einer glatten Grundlinie abweichen. Ein derartiger Rauigkeits-Strafterm bestraft wirksam das Anpassen von Daten, die eine hohe räumliche Frequenz haben.
Gemäß einem Aspekt kann eine Abweichung von einer glatten Grundlinie zu großen Werten in der ersten Ableitung, das heißt, der Steilheit oder des Gradienten, und/oder der zweiten Ableitung, das heißt, der Krümmung, der Grundlinienschätzdaten führen. Daher kann der Rauigkeits-Strafterm eine erste räumliche Ableitung der Grundlinienschätzdaten, insbesondere das Quadrat und/oder den Absolutwert der ersten räumlichen Ableitung, und/oder eine zweite Ableitung der Grundlinienschätzdaten, insbesondere das Quadrat und/oder den Absolutwert der zweiten räumlichen Ableitung, enthalten. Generell kann der Strafterm eine räumliche Ableitung beliebiger Ordnung der Grundlinienschätzdaten oder Linearkombination räumlicher Ableitungen der Grundlinienschätzdaten enthalten. Es können unterschiedliche Strafterme in unterschiedlichen Dimensionen verwendet werden.
Beispielsweise kann der Rauigkeits-Strafterm P(f(x_i )) wie folgt gebildet werden $P (f (x_{i})) = \sum_{j = 1}^{N} γ_{j} \sum_{i = 1}^{N} \sum_{m = 1}^{M_{i}} {(\partial_{j}^{2} f (x_{i, m}))}^{2} .$
Dieser Rauigkeits-Strafterm bestraft eine große Änderungsrate des Gradienten der Grundlinienschätzung oder äquivalent eine hohe Krümmung und begünstigt somit glatte Schätzungen. Dabei ist γ_j ein Regulierungsparameter und $\partial_{j}^{2}$
ist ein diskreter Operator zum Berechnen der zweiten Ableitung in der j-ten Dimension. Im Diskreten kann das Differenzieren effizient unter Anwendung einer Faltung ausgeführt werden. Zum Beispiel, $\partial_{j}^{2} f (x_{i, m}) = D_{i, m}^{(j)} * f (x_{i, m})$
mit einer Ableitungsmatrix der zweiten Ordnung $D_{i, m}^{(j)} = {\begin{matrix} 1 falls m = 1, M_{j} und i = j \\ - 2 falls m = 0 und i = j . \\ 0 sonst \end{matrix}$
Der Regulierungsparameter γ_j hängt von der Struktur des Bildes ab, er repräsentiert grob die räumlichen Längenskalen der Information in den fokussierenden Bilddaten I₁(x_i). Der Regulierungsparameter kann von einem Benutzer vorbestimmt sein und ist vorzugsweise größer als Null. Die Einheit des Regulierungsparameters wird so gewählt, dass die Straffunktion ein Skalar, das heißt, eine dimensionslose Größe, ist. Typischerweise hat der Regulierungsparameter Werte zwischen 0,3 und 100.
Es ist jedoch bevorzugt, dass der Rauigkeits-Strafterm P(f(x_i )) gebildet ist als $P (f (x_{i})) = \sum_{j = 1}^{N} γ_{j} \sum_{i = 1}^{N} \sum_{m = 1}^{M_{i}} {(\partial_{j} f (x_{i, m}))}^{2} .$
Dies ist ein Rauigkeits-Strafterm, der große Gradienten in den Grundlinienschätzdaten bestraft. Die Summe über j macht es möglich, unterschiedliche Strafterme in unterschiedlichen Dimensionen zu verwenden. Es sollte beachtet werden, dass die Differenzierung durch Faltung mit einem Ableitungs-Array ∂_j ausführbar ist, da x_j und f(x_i ) beide diskret sind. Der Operator ∂_j repräsentiert einen diskreten Ableitungs- oder Gradientenoperator der ersten Ordnung in der Dimension j, der durch ein Array repräsentiert werden kann.
Anstelle oder zusätzlich zu einer Ableitung oder einer Linearkombination von Ableitungen der Grundlinienschätzdaten kann der Strafterm einen Eigenschaften extrahierenden, insbesondere linearen, Filter oder eine Linearkombination derartiger Filter enthalten. Eigenschaftsextrahierende Filter sind ein Sobel-Filter, ein Laplace-Filter und/oder ein FIR-Filter, beispielsweise ein räumlicher Hochpass- oder Bandpassfilter mit einem Durchlassband für hohe räumliche Frequenzen.
In einer derartigen allgemeinen Formulierung kann der Strafterm für die j-te Dimension generell Operatoren ζ^(j) enthalten und kann ausgedrückt sein als $P (f (x_{i)}) = \sum_{j = 1}^{N} γ_{j} \sum_{i = 1}^{N} \sum_{m = 1}^{M_{i}} {[ζ^{(j)} f (x_{i, m}))]}^{2} .$
Das Fehlerquadrat-Minimierungskriterium M(f(x_i )) kann unter Anwendung bekannter Verfahren minimiert werden. In einem Falle kann ein vorzugsweise iteratives halbquadratisches Minimierungsschema eingesetzt werden. Zum Ausführen des halbquadratischen Minimierungsschemas kann die Grundlinienschätzeinheit eine halbquadratische Minimierungseinheit bzw. halbquadratische Minimierungsverarbeitungseinheit aufweisen. Die halbquadratische Minimierung kann einen Iterationsmechanismus mit zwei Iterationsstufen umfassen.
Das halbquadratische Minimierungsschema kann beispielsweise zumindest teilweise den LEGEND-Algorithmus umfassen, der rechentechnisch effizient ist. Der LEGEND-Algorithmus ist beschrieben in Idier, J. (2001): Convex Half-Quadratic Criteria and Interacting Variables for Image Restoration, IEEE Transactions on Image Processing, 10(7), S. 1001-1009, und in Mazet, V., Carteret, C., Bire, D., Idier, J., und Humbert, B. (2005): Background Removal from Spectra by Designing and Minimizing a Non-Quadratic Cost Function, Chemometrics and Intelligent Laboratory Systems, 76, S. 121-133. Beide Artikel wird hiermit in ihrer Gesamtheit durch Bezugnahme mit eingeschlossen.
Der LEGEND-Algorithmus führt diskrete Hilfsdaten d(x_i) ein, die vorzugsweise von gleicher Dimensionalität wie die Eingangsbilddaten sind. Die Hilfsdaten werden bei jeder Iteration abhängig von den anfänglichen Grundlinienschätzdaten, dem trunkierten quadratischen Term und den Eingangsbilddaten aktualisiert.
In dem LEGEND-Algorithmus wird das Fehlerquadrat-Minimierungskriterium, das nur eine Kostenfunktion und keinen Strafterm enthält, unter Verwendung zweier iterativer Schritte minimiert, bis ein Konvergenzkriterium erfüllt ist.
Ein geeignetes Konvergenzkriterium kann beispielsweise sein, dass die Summe der Differenzen zwischen den aktuellen Grundlinienschätzdaten und den vorhergehenden Grundlinienschätzdaten über alle Orte x_i hinweg kleiner ist als ein vorbestimmter Schwellenwert.
In einer weiteren Verbesserung kann das Konvergenzkriterium ausgedrückt werden als $\frac{\sum_{i = 0}^{N} \sum_{m = 0}^{M_{i}} | f_{l} (x_{i, m}) - f_{l - 1} (x_{i, m}) |}{\sum_{i = 0}^{N} \sum_{m = 0}^{M_{i}} f_{l} (x_{i, m}) + f_{l - 1} (x_{i, m})} < t$
wobei t ein skalarer Konvergenzwert ist, der von dem Benutzer festgelegt werden kann.
Als ein Anfangsschritt in dem LEGEND-Algorithmus wird eine anfängliche Gruppe aus Grundlinienschätzdaten definiert.
Der LEGEND-Algorithmus kann begonnen werden, indem eine Anfangsgruppe aus Koeffizienten a_k für eine erste Grundlinienschätzung $f_{0} (x_{i}) = \sum_{k = 0}^{K} a_{i, k} x_{i}^{k}$
für jedes der i = 1, ··· ,N Polynome ausgewählt wird, wenn ein Polynom-Fit verwendet wird.
Wenn ein Spline-Fit verwendet wird, dann kann die Anfangsbedingung zu Beginn des LEGEND-Algorithmus sein: d(x_i ) = 0,f(x_i ) = I(x_i ) und die Iteration wird mit Eintreten in den zweiten iterativen Schritt gestartet.
In dem ersten iterativen Schritt können die Hilfsdaten wie folgt aktualisiert werden: $d_{l} (x_{i}) = {\begin{matrix} (2 a - 1) (I (x_{i}) - f_{l - 1} (x_{i})) wenn ε (x_{i}) \leq s \\ - I (x_{i}) + f_{l - 1} (x_{i}) sonst \end{matrix},$
wobei l = 1 ... L der Index der aktuellen Iteration und α eine Konstante ist, die ausgewählt werden kann. Vorzugsweise ist a näherungsweise, aber nicht gleich 0,5. Ein geeigneter Wert für a ist 0,493.
In einem zweiten iterativen Schritt werden die Grundlinienschätzdaten f_l(x_i) auf der Grundlage der zuvor berechneten Hilfsdaten d_l(x_i), den Grundlinienschätzdaten f_l-1(x_i ) aus der vorhergehenden Iteration 1 - 1 und des Strafterms P(x_i) aktualisiert.
Die Grundlinienschätzdaten f_l(x_i) können ein halbquadratisches Minimierungskriterium M(f(x_i )) minimieren, das für den LEGEND-Algorithmus modifiziert worden ist, indem die Hilfsdaten mit eingeschlossen werden.
Insbesondere können die aktualisierten Grundlinienschätzdaten unter Anwendung der folgenden Formel in dem zweiten iterativen LEGEND-Schritt berechnet werden: $f_{l} (x_{i}) = \underset{f}{argmin} [{‖ I (x_{i}) - f_{l - 1} (x_{i}) + d_{l} (x_{i}) ‖}^{2} + P (f (x_{i}))] .$
Hier repräsentiert [||I(x_i) - f_l-1(x_i) + d_l(x_i)||² + P(f(x_i)] das modifizierte halbquadratische Minimierungskriterium.
Der zweite iterative Schritt kann die Grundlinienschätzdaten unter Anwendung der folgenden Matrixberechnung aktualisieren: $f_{l} (x_{i}) = {(1 + \sum_{i = 1}^{N} γ_{i} A_{i}^{T} A_{i})}^{- 1} (I (x_{i}) + d (x_{i}))) .$
Dabei ist $(1 + \sum_{i = 1}^{N} γ_{i} A_{i}^{T} A_{i})$
ein (M₁ × ... × M_N)² dimensionales Array. In dem zweidimensionalen Falle ist A_i ein (M_x - 1)(M_y - 1) × M_xM_y-Array und ist gegeben als $A_{i} = (\begin{array}{l} \hat{A} & - \hat{A} & \hat{0} & \dots & \hat{0} \\ \hat{0} & \hat{A} & - \hat{A} & ⋱ & ⋮ \\ ⋮ & ⋱ & ⋱ & ⋱ & \hat{0} \\ \hat{0} & \dots & \hat{0} & \hat{A} & - \hat{A} \end{array})$
mit $\hat{A} = (\begin{array}{l} 1 & - 1 & 0 & \dots & 0 \\ 0 & 1 & - 1 & ⋱ & ⋮ \\ ⋮ & ⋱ & ⋱ & ⋱ & 0 \\ 0 & \dots & 0 & 1 & - 1 \end{array}), \hat{0} = (\begin{array}{l} 0 & 0 & 0 & \dots & 0 \\ 0 & 0 & 0 & ⋱ & ⋮ \\ ⋮ & ⋱ & ⋱ & ⋱ & 0 \\ 0 & \dots & 0 & 0 & 0 \end{array}) \in ℝ^{(M_{x} - 1) \times M_{x} .}$
Die zwei Iterationsschritte zum Aktualisieren von d_l(x_i) und f_l(x_i) werden wiederholt, bis das Konvergenzkriterium erfüllt ist.
Gemäß einem äußerst bevorzugten Aspekt der Erfindung wird der zweite Schritt des LEGEND-Algorithmus unter Anwendung einer Faltung anstelle einer Matrixberechnung modifiziert. Dies verringert den rechentechnischen Aufwand erheblich.
Insbesondere ist es bevorzugt, die aktualisierten Grundlinienschätzdaten f_l(x_i) direkt zu berechnen, indem eine Greensche Funktion mit der Summe der Eingangsbilddaten und den aktualisierten Hilfsdaten gefaltet wird.
Gemäß einem konkreteren Aspekt der erfindungsgemäßen Lösung kann der zweite iterative Schritt des LEGEND-Algorithmus durch den folgenden iterativen Schritt ersetzt werden, in welchem die aktualisierten Grundlinienschätzdaten f_l(x_i) in der l-ten Iteration unter Anwendung einer Greenschen Funktion G(x_i) wie folgt berechnet werden $f_{l} (x_{i}) = G (x_{i}) * (I (x_{i}) + d_{l} (x_{i})) .$
Dieser Schritt verringert den rechentechnischen Aufwand deutlich im Vergleich zu dem herkömmlichen LEGEND-Algorithmus.
Der geringere rechentechnische Aufwand ergibt sich aus der Tatsache, dass gemäß dem erfindungsgemäßen zweiten iterativen Schritt eine Faltung berechnet wird. Diese Berechnung kann effizient unter Anwendung eines FFT-Algorithmus ausgeführt werden. Ferner kann aufgrund des FFT-Algorithmus im zweiten iterativen Schritt ein Array-Prozessor, etwa ein Grafikprozessor oder ein FPGA, vollständig ausgenutzt werden. Das rechentechnische Problem wird von (M_x × M_y)² auf M_x × M_y reduziert, wenn die Eingangsbilddaten und alle anderen Arrays zweidimensional sind. Für einen allgemeinen N-dimensionalen Fall wird der rechentechnische Aufwand von Matrixberechnungen der Dimension (M₁ × ··· × M_N)² auf die Berechnung einer FFT mit (M₁ × ··· × M_N) -dimensionalen Arrays reduziert.
Somit kann die Unschärfereduzierung sehr rasch ausgeführt werden, für zweidimensionale Eingangsbilddaten vorzugsweise in Echtzeit. Ein (2k × 2k)-Bild kann in 50 ms und weniger unschärfereduziert werden.
In einer speziellen Ausführungsform kann die Greensche Funktion die Form haben $G (x_{i, m}) = F^{- 1} [\frac{1}{1 - \sum_{j = 1}^{N} γ_{j} F [D_{i, m}^{(j)}]}],$
wobei F[···] die diskrete N-dimensionale Fourier-Transformation, F^-1[···] die inverse diskrete N-dimensionale Fourier-Transformation, γ_j der Regulierungsparameter des Rauigkeits-Strafterms, $D_{i, m}^{(j)}$
ein diskretes Straf-Array in der i-ten Dimension am Ort m ist und N die Gesamtanzahl an Dimensionen ist. Der obere Index in D^(j) gibt an, dass es ein anderes Straf-Array für jede Dimension j geben kann.
Im Allgemeinen entspricht das diskrete Straf-Array $D_{i, m}^{(j)}$
der diskreten Darstellung der Funktionsableitung $\frac{δ P^{(j)} (f (x_{i}))}{δ f (x_{i, m})}$
des Strafterms P^(j)(f(x_i)), der für die j-te Dimension verwendet wird.
Da alle Funktionen durch diskrete Arrays repräsentiert sind, kann das Differenzieren numerisch durch Faltung ausgeführt werden $D_{i, m}^{(j)} * P^{(j)} (x_{i, m}),$
wobei $D_{i, m}^{(j)}$
das diskrete Array zur Berechnung der Funktionsableitung $\frac{δ}{δ f (x_{i, m})}$
ist.
Ein großer Vorteil der vorhergehenden Greenschen Funktion besteht darin, dass eine beliebige Form eines Strafterms P(f(x_i)) von der schnellen Berechnung des zweiten iterativen Schritts in der halbquadratischen Minimierungseinheit profitieren kann. Somit kann in der Ausführungsform, in der die Greensche Funktion verwendet wird, jedweder Strafterm verwendet werden, der zu einer guten Grundlinienschätzung führt.
Für die allgemeine Formel des Strafterms $P (f (x_{i)}) = \sum_{j = 1}^{N} γ_{j} \sum_{i = 1}^{N} \sum_{m = 1}^{M_{i}} {[ζ^{(j)} f (x_{i, m}))]}^{2},$
ist das Array $D_{i, m}^{(j)}$
definiert durch $D_{i, m}^{(j)} * P (f (x_{i, m})) = 0.5 \nabla_{f} \sum_{i = 1}^{N} \sum_{m = 1}^{M_{i}} {[ζ^{(j)} f (x_{i, m})]}^{2},$
wobei ζ^(j) ein allgemeiner Operator des Strafterm ist, * die N-dimensionale Faltung bezeichnet und ∇_f der funktionellen Ableitung erster Ordnung in diskreter Form der Funktion f(x_i,m) entspricht, die beispielsweise die Intensität repräsentieren kann. Diese Gleichung kann mittels des Verfahrens der kleinsten Quadrate bzw. der Fehlerquadrate gelöst werden.
Wenn beispielsweise der Strafterm gleich ist $P (f (x_{i})) = \sum_{j = 1}^{N} γ_{j} \sum_{i = 1}^{N} \sum_{m = 1}^{M_{i}} {(\partial_{j} f (x_{i, m}))}^{2},$
dann kann das Ableitungs-Array in der Faltung ausgedrückt werden wie folgt: $D_{i, m}^{(j)} = {\begin{matrix} 2 falls m = 0 und i = j \\ - 1 falls m = 1 {oder M}_{i} und i = j . \\ 0 sonst \end{matrix}$
Der Bildprozessor, die Grundlinienschätzeinheit, der Bildschärfereduzierungsabschnitt und die halbquadratische Minimierungseinheit können in Hardware, in Software oder als eine Kombination aus Hardware und Software eingerichtet werden. Beispielsweise können der Bildprozessor und/oder die Grundlinienschätzeinheit und/oder der Unschärfereduzierungsabschnitt und/oder die halbquadratische Minimierungseinheit zumindest teilweise als eine Unterroutine, als ein Abschnitt eines Prozessors für Allgemeinzwecke, etwa einer CPU und/oder eines speziellen Prozessors eingerichtet werden, etwa einer CPU, einer GPU, eines FPGA, eines Vektorprozessors und/oder einer ASIC.
Zu beachten ist, dass die erfindungsgemäße Unschärfereduzierung beste Ergebnisse liefert, wenn die Eingangsbilddaten I(x_i) vor der Unschärfereduzierung weder gefaltet noch entfaltet werden. Die Entfaltung liefert die besten Ergebnisse, wenn die Eingangsdaten I(x_i) durch das erfindungsgemäße Unschärfereduzieren vorverarbeitet werden.
Anschließend wird die Erfindung ausschließlich exemplarisch anhand einer beispielhaften Ausführungsform beschrieben, die auch in den Zeichnungen gezeigt ist. In den Zeichnungen werden die gleichen Bezugszeichen für Merkmale verwendet, die jeweils in Bezug auf Funktion und/oder Gestaltung einander entsprechen.
Die Kombination aus Merkmalen, die in der beigefügten Ausführungsform gezeigt ist, dient lediglich anschaulichen Zwecken und kann modifiziert werden. Beispielsweise kann ein Merkmal der Ausführungsform, das eine technische Wirkung hat, die für eine spezielle Anwendung nicht benötigt wird, weggelassen werden. In ähnlicher Weise kann ein Merkmal, das nicht als Teil der Ausführungsform gezeigt ist, hinzugefügt werden, wenn die technische Wirkung, die mit diesem Merkmal einhergeht, für eine spezielle Anwendung benötigt wird.

1 zeigt eine schematische Darstellung einer Vorrichtung gemäß der Erfindung;
2 zeigt eine schematische Umsetzung eines Flussdiagramms gemäß der Erfindung;
3 zeigt ein Detail der 2;
4 zeigt ein Beispiel von Eingangsbilddaten;
5 zeigt ein Beispiel von in der Unschärfe reduzierten Ausgangsbilddaten, die aus den Eingangsbilddaten der 4 abgeleitet sind;
6 zeigt die Intensitätsverteilung der Eingangsbilddaten, der Grundlinienschätzdaten und der in der Unschärfe reduzierten Ausgangsbilddaten entlang den Linien VI der 4 und 5;
7 zeigt ein weiteres Beispiel von Eingangsbilddaten;
8 zeigt die Ausgangsbilddaten auf der Grundlage der Eingangsbilddaten der 7;
9 zeigt die Ausgangsbilddaten der 8 nach der Entfaltung;
10 zeigt die Intensitätsverteilung der Eingangsbilddaten, der Grundlinienschätzdaten und der Ausgangsbilddaten entlang einer Linie X in 7 und 8; und
11 zeigt eine schematische Darstellung von Eingangsbilddaten, eines im Fokus liegenden Anteils in den Eingangsbilddaten, eines außerhalb des Fokus liegenden Anteils in den Eingangsbilddaten, der Grundlinienschätzdaten und Ausgangsbilddaten.

Zunächst sei der Aufbau der Vorrichtung 1 mit Verweis auf 1 erläutert. Die Vorrichtung 1 ist eine medizinische Beobachtungseinrichtung, etwa ein Endoskop oder ein Mikroskop. Nur zum Zwecke der Erläuterung ist ein Mikroskop 2 als Beispiel einer Vorrichtung 1 gezeigt. Zum Zwecke der Unschärfereduzierungsvorrichtung gibt es keinen Unterschied zwischen Endoskopen und Mikroskopen.
Die Vorrichtung 1 kann einen Bilderzeugungsabschnitt 4 aufweisen, der ausgebildet ist, Eingangsbilddaten 6, beispielsweise mittels einer Kamera 8, zu erfassen. Die Kamera 8 kann eine CCD-, eine multispektrale Kamera oder eine hyperspektrale Kamera sein, die die Eingangsbilddaten 6 in mehreren Kanälen 10 aufzeichnet, wobei jeder Kanal 10 vorzugsweise einen anderen Lichtspektrumsbereich aus dem Bereich Infrarot bis Ultraviolett repräsentiert. Die Eingangsbilddaten 6 werden im Folgenden auch als I(x_i ) bezeichnet.
Im Falle einer CCD-Kamera sind beispielsweise drei Kanäle 10, beispielsweise ein R-Kanal, ein G-Kanal und ein B-Kanal, vorgesehen, um ein Bild eines Objekts 12 im sichtbaren Bereich zu repräsentieren. Im Fall einer multi- oder hyperspektralen Kamera können insgesamt mehr als drei Kanäle 10 im sichtbaren Bereich und/oder im IR-Bereich und/oder im NIR-Bereich und/oder im ultravioletten Bereich verwendet werden.
Das Objekt 12 kann einen animierten und/oder nicht animierten Gegenstand umfassen. Das Objekt 12 kann ferner ein oder mehrere fluoreszierende Materialien, etwa mindestens ein Fluorophor 14, aufweisen. Eine multispektrale oder hyperspektrale Kamera kann einen Kanal 10 für jedes unterschiedliche Fluoreszenzspektrum der fluoreszierenden Materialien in dem Objekt 12 aufweisen. Beispielsweise kann jedes Fluorophor 14 durch mindestens einen Kanal 10 repräsentiert sein, der an das Fluoreszenzspektrum angepasst ist, das durch eine Beleuchtung 16 aktiviert wird. Alternativ oder zusätzlich können Kanäle 10 für autofluoreszierende Spektren oder für Spektren aus sekundärer Fluoreszenz vorgesehen sein, die wiederum durch die Fluoreszenz ausgelöst werden, die durch die Beleuchtung 16 angeregt wird, oder die Kanäle können für Lebensdauer-Fluoreszenzdaten vorgesehen sein. Selbstverständlich kann die Beleuchtung 16 auch oder ausschließlich weißes Licht oder eine andere Zusammensetzung aus Licht aussenden, ohne Fluoreszenz in dem Objekt 12 auszulösen. Das Mikroskop 2 kann ausgebildet sein, durch die Beleuchtung 16 Fluoreszenz, beispielsweise von Fluorophoren 14, innerhalb eines Objekts 12 mit Licht anzuregen, das eine geeignete Fluoreszenz-Anregungswellenlänge hat.
Das Ausleuchtungslicht kann durch eine Linse oder ein Objektiv 17 geführt werden, durch welche auch die Eingangsbilddaten erfasst werden. Die Beleuchtung bzw. Ausleuchtung 16 kann einen oder mehrere flexible Lichtleiter aufweisen oder aus diesen bestehen, um Licht aus einer oder mehreren unterschiedlichen Richtungen auf das Objekt 12 zu lenken. Ein geeigneter Blockierfilter (nicht gezeigt) kann in dem Lichtweg vor der Kamera 8 angeordnet sein, um beispielsweise hochglänzende Reflexionen zu unterdrücken. Im Falle von Fluoreszenz blockiert ein Blockierfilter vorzugsweise nur die Beleuchtungswellenlänge und lässt es zu, dass das Fluoreszenzlicht der Fluorophore 14 im Objekt 12 zu der Kamera 8 gelangt.
Es ist ersichtlich - ohne das Allgemeine zu beschränken - dass die Eingangsbilddaten 6 durch eine beliebige Art von Mikroskop, insbesondere mittels eines Fluoreszenzlichtmikroskops, erfasst werden können, das im Weitfeldmodus betreibbar ist und/oder wobei ein konfokales Laserabtastmikroskop verwendet wird.
Die Eingangsbilddaten 6 sind zweidimensional, wenn ein einziger Kanal 10 in einem zweidimensionalen Bild enthalten ist. Das Eingangsbild kann eine höhere Dimension als zwei haben, wenn mehr als ein Kanal 10 vorhanden ist und/oder wenn die Eingangsbilddaten 6 ein dreidimensionales Bild repräsentieren.
Dreidimensionale Eingangsbilddaten 6 können von der Vorrichtung 1 aufgezeichnet werden durch beispielsweise Verwenden einer Lichtfeldtechnik, einer z-Stapelung („z-stapling“) in Mikroskopen, von Bildern, die durch ein SCAPE-Mikroskop erhalten werden, und/oder durch eine dreidimensionale Rekonstruktion von Bildern, die aus einem SPIM-Mikroskop erhalten werden. Im Falle eines dreidimensionalen Bildes kann jede Ebene der dreidimensionalen Eingangsbilddaten 6 als ein zweidimensionales Eingangsbild 6 betrachtet werden. Wiederum kann jede Ebene mehrere Kanäle 10 umfassen.
Jeder Kanal 10 kann als ein separates zweidimensionales Bild betrachtet werden. Alternativ können mehrere Kanäle zusammen als ein mehrdimensionales Array aufgefasst werden.
Die Eingangsbilddaten sind eine digitale Darstellung einer Größe I(x_i ), etwa einer Intensität, wobei x_i einen Ort in den Eingangsbilddaten 6 repräsentiert und / die Größe an diesem Ort ist. Der Term x_i ist eine abkürzende Beschreibung für ein Tupel {x₁ ; ··· ; x_N } mit N-Dimensionen, das einen diskreten Ort x_i in den diskreten Eingangsbilddaten repräsentiert. Ein Ort x_i kann ein Pixel oder eine vorzugsweise kohärente Gruppe aus Pixeln in den Eingangsbilddaten sein. Der diskrete Ort x_i bezeichnet beispielsweise ein Paar aus diskreten Ortsvariablen {x₁ , x₂ } im Falle von zweidimensionalen Eingangsbilddaten und ein Triplett aus diskreten Ortsvariablen {x₁ ; x₂ ; x₃ } im Falle von dreidimensionalen Eingangsbilddaten. In der i-ten Dimension kann das Array M_i Orte enthalten, das heißt, x_i = {x_i,1,...,x_i,M
i}. Insgesamt kann I(x_i) (M₁ × ··· × M_N) Elemente enthalten.
Die Kamera 8 erzeugt eine Zeitreihe 18 aus aufeinanderfolgenden Mengen oder Gruppen aus Eingangsbilddaten 6.
Die Vorrichtung 1 umfasst ferner einen Bildspeicherabschnitt 20, der ausgebildet ist, zumindest temporär die Eingangsbilddaten 6 zu speichern. Der Bildspeicherabschnitt 20 kann einen flüchtigen oder nicht-flüchtigen Speicher, etwa einen Cache-Speicher einer CPU 22 einer Recheneinrichtung 24, etwa eines PC und/oder einer GPU 26, umfassen. Der Bildspeicherabschnitt 20 kann ferner einen RAM, eine Festplatte oder ein austauschbares Speichersystem, etwa einen USB-Stift oder eine SD-Karte, umfassen. Der Bildspeicherabschnitt 20 kann eine Kombination dieser Arten von Speicher umfassen.
Zum Erfassen der Bildeingangsdaten 6, beispielsweise aus der Kamera 8, kann ein Bildeingangsabschnitt 28 vorgesehen sein. Der Bildeingangsabschnitt 28 kann standardisierte Verbindungsmittel 30, etwa standardisierte Datenaustauschprotokolle, Hardware-Verbinder und/ oder drahtlose Verbindungen, umfassen. Beispiele von standardisierten Steckverbindern, die mit der Kamera 8 verbunden werden können, sind HDMI-, USB- und RJ45-Steckverbinder.
Die Vorrichtung 1 kann ferner einen Bildausgabeabschnitt 32 aufweisen, der standardisierte Verbindungsmittel 34 aufweisen kann, etwa standardisierte Datenaustauschprotokolle, Hardware-Steckverbinder und/oder drahtlose Verbindungen, die jeweils so gestaltet sind, dass sie in unschärfereduzierte Ausgangsbilddaten 36 an eine oder mehrere Anzeigen 37 ausgeben. Die Ausgangsbilddaten 36 haben vorzugsweise die gleiche Dimension wie die Eingangsbilddaten 6 und werden durch ein diskretes Array aus diskreten Werten O(x_i ) repräsentiert.
Zur Berechnung der unschärfereduzierten Ausgangsbilddaten 36 aus den Eingangsbilddaten 6 kann ein Bildprozessor 38 vorgesehen sein. Der Bildprozessor 38 und seine Bestandteile können zumindest teilweise in Hardware, zumindest teilweise in Software und/oder als eine Kombination von sowohl Hardware und Software vorgesehen sein. Beispielsweise kann der Bildprozessor 38 eine CPU 22 und/oder eine GPU 26 der Recheneinrichtung 24 umfassen, sowie Abschnitte, die in Software codiert worden sind und temporär als strukturelle Einheiten in der CPU 22 und/oder oder der GPU 26 als Funktionszustände existieren. Der Bildprozessor 38 kann ferner zusätzliche Hardware aufweisen, etwa eine oder mehrere ASICs, die speziell gestaltet worden sind, um Operationen auszuführen, die für die Vorrichtung gemäß der Erfindung erforderlich sind.
Bevor die weitere Beschreibung der 1 fortgesetzt wird, sei das allgemeine Prinzip der Unschärfereduzierung der Eingangsbilddaten 6 mit Verweis auf 11 erläutert. Für die Unschärfereduzierung der Eingangsbilddaten 6 kann der Bildprozessor 38 einen Bildschärfereduzierungsabschnitt 40 aufweisen.
Es wird angenommen, dass sich die Eingangsbilddaten I(x_i) additiv aus einem außerhalb des Fokus liegenden Anteil I₂(x_i) und einem im Fokus liegenden Anteil I₁(x_i) zusammensetzen. Der im Fokus liegende Anteil I₁(x_i) enthält ausschließlich die Information aus der Fokus- oder Brennebene der Kamera 8. Der außerhalb des Fokus liegende Anteil I₂(x_i) ergibt sich aus Licht, das in den Eingangsbilddaten 6 aus Gebieten aufgezeichnet wird, die außerhalb des Fokusgebiets liegen. Der im Fokus liegende Anteil I₁(x_i) repräsentiert demgegenüber nur Beiträge aus dem Fokusgebiet. Weder I₁(x_i) noch I₂(x_i) sind bekannt und müssen daher abgeschätzt werden.
Erfindungsgemäß wird angenommen, dass der außerhalb des Fokus liegende Anteil I₂(x_i) lediglich Bestandteile mit niedriger räumlicher Frequenz aufweist, die etwa eine glatte Grundlinie repräsentieren, über der der im Fokus liegende Anteil I₁(x_i) mit höherer räumlicher Frequenz fluktuiert. Der außerhalb des Fokus liegende Anteil I₂(x_i) ist glatt und hat große Längenskalen; der im Fokus liegende Anteil I₁(x_i) ist dagegen nicht glatt und enthält für gewöhnlich Spitzen.
Für die Unschärfereduzierung der Eingangsbilddaten wird eine Schätzung oder ein Schätzwert für den außerhalb des Fokus liegenden Anteil I₂(x_i) berechnet. Diese Schätzung ist in der Vorrichtung 1 gemäß der Erfindung durch Grundlinienschätzdaten f(x_i ) repräsentiert. Die Grundlinienschätzdaten sind ein diskretes Array, das vorzugsweise die gleiche Dimensionalität wie die Eingangsbilddaten 6 und/oder die Ausgangsbilddaten 36 hat. Die Grundlinienschätzdaten f(x_i ) werden durch das Bezugszeichen 44 in 1 bezeichnet. Die Grundlinienschätzdaten f(x_i ) können auch temporär in dem Speicherabschnitt 20 vorhanden sein. Sobald die Grundlinienschätzdaten berechnet sind, werden die Ausgangsbilddaten, die hier als O(x_i ) repräsentiert sind, ermittelt, indem die Grundlinienschätzdaten an jedem Ort von den Eingangsbilddaten subtrahiert werden.
Gemäß 1 kann der Bildprozessor 38 eine Grundlinienschätzeinheit bzw. Verarbeitungseinheit 42 aufweisen, die ausgebildet ist, die Grundlinienschätzdaten f(x_i ), die in 1 mit Bezugszeichen 44 bezeichnet sind, durch einen Fit bzw. eine Anpassung an zumindest eine Teilmenge der Eingangsbilddaten 6 zu berechnen. Vorzugsweise ist der Fit an die zumindest Teilmenge der Eingangsbilddaten ein Spline-Fit.
Für einen rechentechnisch effizienten Spline-Fit kann die Grundlinienschätzeinheit 42 eine halbquadratische Minimierungseinheit 46 aufweisen, die beispielsweise eine Unterroutine oder eine Kombination aus einem festverdrahteten Algorithmus und einer angepassten Software ist. Die halbquadratische Minimierungseinheit 46 kann ausgebildet sein, ein halbquadratisches Minimierungsschema auszuführen, und kann zu ihrem Ende hin zwei Iterationsstufen 48, 50 aufweisen.
Erfindungsgemäß verwendet die halbquadratische Minimierungseinheit 46 eine Konvolution bzw. Faltung, um die Grundlinienschätzdaten 44 in der zweiten Iterationsstufe 50 zu berechnen. Da die Faltung effizienter in einem Array-Prozessor unter Anwendung einer FFT berechnet werden kann, ist es bevorzugt, dass der Bildprozessor 38 einen Array-Prozessor, etwa eine GPU 26, beinhaltet. Im Betrieb umfasst der Bildprozessor die halbquadratische Minimierungseinheit 46.
Mit Verweis auf 2 werden die Schritte des Berechnens der unschärfereduzierten Ausgangsbilddaten O(x_i) oder 36 aus den Eingangsbilddaten I(x_i) oder 6 beschrieben, wie sie von der Vorrichtung 1 ausgeführt werden. Es ist zu beachten, dass vorzugsweise jeder Kanal 10 separat behandelt wird.
In einem ersten Schritt 60 werden diverse Parameter der Grundlinienschätzeinheit 42, die im Voraus festgelegt werden müssen, von einem Benutzer definiert, beispielsweise unter Anwendung einer graphischen Benutzerschnittstelle 62 (1). Die Parameter können die Art des Fits an die Eingangsbilddaten 6 umfassen, der durch die Grundlinienschätzeinheit 42 auszuführen ist. Beispielsweise kann ein Benutzer zwischen einem Polynom-Fit und einem Spline-Fit der Grundlinienschätzdaten 44 an die Eingangsbilddaten 6 auswählen.
Ferner kann der Benutzer zwischen einer Vielzahl von Straftermen bzw. Nachteilstermen P(f(x_i )) auswählen, die in dem halbquadratischen Minimierungsschema verwendet werden. Der Strafterm bestimmt die Form der Grundlinienschätzung durch Bestrafung bzw. Beeinträchtigung der Darstellung von Bestandteilen des im Fokus liegenden Anteils I₁(x_i) in den Grundlinienschätzdaten.
Beispielsweise kann dem Benutzer eine Auswahl diverser Strafterme präsentiert werden, die nicht-glatte Eigenschaften der Grundlinienschätzdaten 44 bestrafen. Beispielsweise kann der Strafterm ein räumlicher Hochpass-Frequenzfilter für die Grundlinienschätzdaten 44 sein, der größer wird, wenn die Grundlinienschätzdaten 44 Bestandteile mit hoher räumlicher Frequenz enthalten. Andere Strafterme können einen Gradienten der Grundlinienschätzdaten 44 enthalten. Ein weiteres Beispiel eines Strafterms kann die Krümmung der Grundlinienschätzdaten 44 sein. Femer können eigenschaftsextrahierende Filter, etwa ein Sobel-, ein Laplace- und/oder ein FIR-Bandpassfilter, ein Hochpassfilter oder ein Tiefpassfilter, von dem Benutzer als Strafterm ausgewählt werden. Des Weiteren kann eine Linearkombination einiger oder aller der oben genannten ausgewählt werden. Unterschiedliche Strafterme können für unterschiedliche Dimensionen oder für unterschiedliche Kanäle der Eingangsbilddaten 6 ausgewählt werden.
Die allgemeine Darstellung des Strafterms ist wie folgt $P (f (x_{i)}) = \sum_{j = 1}^{N} γ_{j} \sum_{i = 1}^{N} \sum_{m = 1}^{M_{i}} {[ζ^{(j)} f (x_{i, m}))]}^{2},$
wobei ζ^(j) ein allgemeiner Operator des Strafterms ist, der die Eigenschaft des Strafterms definiert.
Im Folgenden sei angenommen, dass der Benutzer einen Rauigkeits-Strafterm auf Gradientenbasis auf der Grundlage des Gradienten der Grundlinienschätzdaten f(x_i,m) oder 44 mit der folgenden Form auswählt $P (f (x_{i})) = \sum_{j = 1}^{N} γ_{j} \sum_{i = 1}^{N} \sum_{m = 1}^{M_{i}} {(\partial_{j} f (x_{i, m}))}^{2},$
Dieser Strafterm erzeugt eine Strafe bzw. einen Nachteil für große Gradienten in den Grundlinienschätzdaten. Der Operator ∂_j repräsentiert die Ableitung erster Ordnung oder den Gradienten erster Ordnung in der Dimension j.
Bei Verwendung des obigen gradientenbasierten Strafterms können die von dem Benutzer anzugebenden Parameter ferner ein Array γ_j aus Regulierungsparametem umfassen. Für den gradientenbasierten Strafterm kann das Regulierungsparameter-Array zwischen 0,3 und 100 liegen.
Wenn ferner ein Parameter für die Grundlinienschätzeinheit ausgewählt wird, kann der Benutzer zwischen einem symmetrischen und einem asymmetrischen quadratischen Term φ(ε(x_i )) auswählen, der ebenfalls die Form der Grundlinienschätzung bestimmt, indem die Wirkung großer Spitzenwerte auf die Grundlinienschätzdaten angegeben wird.
Schließlich kann der Benutzer ein Konvergenzkriterium und/oder einen Schwellenwert t festlegen, das bzw. der durch das Konvergenzkriterium zu erreichen ist.
Beispielsweise kann der Benutzer den folgenden asymmetrischen, trunkierten bzw. begrenzten quadratischen Ausdruck auswählen: $φ (ε (x_{i})) = {\begin{matrix} (I {(x_{i})}^{2} - f {(x_{i}))}^{2} wenn ε (x_{i}) \leq s \\ s^{2} sonst \end{matrix},$
in welchem s einen Schwellwert repräsentiert, der von dem Benutzer einzugeben ist. Der Schwellenwert definiert eine maximale Abweichung zwischen den Eingangsbilddaten und den Grundlinienschätzdaten. Spitzenwerte über der Grundlinienschätzung führen zu keiner Anziehung der Grundlinienschätzung die größer ist als ein Spitzenwert, der von dem Schwellenwert abweicht.
Nach dem Festlegen der Anfangsparameter für die Grundlinienschätzeinheit 42 werden die Daten in Schritt 64 für das iterative halbquadratische Minimierungsschema 66 initialisiert.
Von da an wird das iterative halbquadratische Minimierungsschema 66 durch die halbquadratische Minimierungseinheit 46 ausgeführt, bis ein Konvergenzkriterium 68 erfüllt ist. In der Ausführungsform wird das folgende Konvergenzkriterium verwendet: $\frac{\sum_{i = 0}^{N} \sum_{m = 0}^{M_{i}} | f_{l} (x_{i, m}) - f_{l - 1} (x_{i, m}) |}{\sum_{i = 0}^{N} \sum_{m = 0}^{M_{i}} f_{l} (x_{i, m}) + f_{l - 1} (x_{i, m})} < t,$
wobei l die aktuelle Iteration angibt und t einen konstanten skalaren Schwellenwert repräsentiert, der anwenderspezifisch sein kann.
Wenn das Konvergenzkriterium 68 erfüllt ist, dann wird angenommen, dass die Grundlinienschätzdaten 44 erfolgreich berechnet sind. Daher werden die Grundlinienschätzdaten f(x_i ) von den Eingangsbilddaten I(x_i ) subtrahiert, um die unschärfereduzierten Ausgangsbilddaten O(x_i ) in Schritt 70 zu erhalten.
Nach der Berechnung der Ausgangsbilddaten O(x_i ) wird eine Nachbearbeitungsoperation 72 an den Ausgangsbilddaten 36, etwa eine Entfaltung bzw. Dekonvolution, ausgeführt.
Die Ausgangsbilddaten O(x_i ) können mit oder ohne Nachbearbeitung auf der Anzeige 37 angezeigt werden.
In 3 ist das Detail III der 2 gezeigt, um das halbquadratische Minimierungsschema 66 detaillierter zu erläutern. Das halbquadratische Minimierungsschema 66 umfasst die erste Iterationsstufe 48 und die zweite Iterationsstufe 50.
Prinzipiell wird das halbquadratische Minimierungsschema 66, wie es durch die halbquadratische Minimierungseinheit 46 ausgeführt wird, der LEGEND-Algorithmus sein. Jedoch ist es erfindungsgemäß bevorzugt, dass der zweite Schritt des LEGEND-Algorithmus modifiziert werden kann, um den rechentechnischen Aufwand erheblich zu reduzieren.
In der gezeigten Ausführungsform erfolgt der Eintritt in die zweite iterative Stufe 50 nach dem Initialisieren der Daten in Schritt 64. An diesem Punkt wird die erste Schätzung f_l(x_i ) der Grundlinienschätzdaten berechnet, wobei eine Faltung der Eingangsbilddaten mit einer Greenschen Funktion G(x_i ) angewendet wird. $f_{1} (x_{i}) = G (x_{i}) * I (x_{i}) .$
Für den gradientenbasierten Strafterm, der in dieser Ausführungsform verwendet wird, ist die Greensche Funktion wie folgt definiert: $G (x_{i, m}) = F^{- 1} [\frac{1}{1 - \sum_{j = 1}^{N} γ_{j} F [D_{i, m}^{(j)}]}],$
wobei F[···] die diskrete N-dimensionale Fourier-Transformation ist, F^-1[···] die inverse diskrete N-dimensionale Fourier-Transformation ist, γ_j der Regulierungsparameter des Rauigkeits-Strafterms ist, und $D_{i, m}^{(j)} = {\begin{matrix} 2 falls m = 0 und i = j \\ - 1 falls m = 1 M_{i} und i = j . \\ 0 sonst \end{matrix}$
Sodann wird in der ersten Iterationsstufe 48 eine aktualisierte Version von Hilfsdaten d_l(x_i ) unter Anwendung der aktuellen Grundlinienschätzdaten 44 wie folgt berechnet: $d_{l} (x_{i}) = {\begin{matrix} (2 a - 1) (I (x_{i}) - f_{l - 1} (x_{i})) wenn ε (x_{i}) \leq s \\ - I (x_{i}) + f_{l - 1} (x_{i}) sonst \end{matrix} .$
Der Parameter α ist eine Konstante, die von dem Benutzer gegebenenfalls angegeben worden ist.
Als nächstes werden in der zweiten iterativen Stufe 50 die aktualisierten Grundlinienschätzdaten 44 unter Anwendung der aktualisierten Hilfsdaten d_l(x_i ) der aktuellen Iteration l wie folgt berechnet $f_{l} (x_{i}) = G (x_{i}) * (I (x_{i}) + d_{l} (x_{i})) .$
Im nächsten Schritt wird geprüft, ob das Konvergenzkriterium 68 erfüllt ist. Wenn dies nicht der Fall ist, dann geht das halbquadratische Minimierungsschema 66 zum iterativen Schritt 48 weiter, wobei die aktualisierten Grundlinienschätzdaten f_i(x_i) verwendet werden.
Im Folgenden sind zwei Beispiele von unschärfereduzierten Ausgangsbilddaten angegeben, in denen der gradientenbasierte Strafterm zusammen mit dem zweiten iterativen Schritt unter Verwendung der Faltung mit der Greenschen Funktion, wie sie mit Verweis auf 2 und 3 beschrieben ist, verwendet wurde.
4 zeigt die Eingangsbilddaten I(x_i) oder 6 eines Beispielbildes, 5 zeigt die unschärfereduzierten Ausgangsbilddaten O(x_i) oder 36. 4 zeigt ein Bild von Mitochondrien, das mit einem DM6000-Weitfeldmikroskop und einem HCX PL APO CS 100.0x1. 40 OIL mit einer numerischen Apertur von 1,4 und einer Spitzenemission von 645 nm aufgezeichnet wurde. Die Größe eines Pixels entspricht 40 nm.
Aus dem Vergleich der 4 und 5 kann man entnehmen, dass ein wesentlicher Teil des außerhalb des Fokus liegenden Anteils I₂(x_i) in den Ausgangsbilddaten entfernt worden ist. Dies wird durch 6 verifiziert, die die Intensitätsverteilung entlang der Linie VI in 4 und 5 zeigt. Man kann erkennen, dass die Grundlinienschätzdaten f(x_i) eine glatte Grundlinie in der Intensitätsverteilung repräsentieren, wohingegen die Spitzen in den Ausgangsbilddaten O(x_i ), 36 beibehalten werden.
Die Unschärfereduzierung arbeitet auch gut, wenn die Intensitätsverteilung in den Eingangsbilddaten I(x_i ) eine andere Charakteristik hat. Dies ist in den 7, 8 und 10 gezeigt, die ein Paramecium zeigen. Während 4 eine einzige perlenartige Struktur enthält, in der es relativ einfach ist, den im Fokus liegenden Anteil von dem außerhalb des Fokus liegenden Anteil zu unterscheiden, enthält 7 eine komplexere Struktur. In 7 entspricht ein Pixel 65 nm. Das Bild wurde unter Anwendung eines DM8-Weitfeldmikroskops mit einer HCX FLUOTAR 100x/1.30 OIL-Linse mit einer numerischen Apertur von 1,3 und einer Spitzenemission bei 520 nm aufgezeichnet.
In 7 sind die Eingangsbilddaten I(x_i ) gezeigt. In 8 sind die unschärfereduzierten Ausgangsbilddaten O(x_i ) gezeigt. In 10 sind die Intensitätsverteilungen der Eingangsbilddaten 6, der Grundlinienschätzdaten 44 und der Ausgangsbilddaten 36 entlang einer Linie X der 7 und 8 angegeben. Wie man erkennen kann, enthalten die Grundlinienschätzdaten f(x_i ) ebenfalls Spitzen. Jedoch ist die Längenskala dieser Spitzen deutlich größer als die Intensitätsschwankung in den Ausgangsbilddaten O(x_i ).
9 zeigt die Ausgangsbilddaten 36 nach der Entfaltung. Da die Ausgangsbilddaten in ihrer Unschärfe reduziert worden sind, hat das Ergebnis der Faltung eine sehr gute Qualität nahezu ohne Bildfehler.
Zusammenfassend ist also eine Vorrichtung 1 zum Reduzieren der Unschärfe von Eingangsbilddaten beschrieben. Die Vorrichtung kann einen Strafterm mit einer diskreten Ableitung beliebiger Ordnung der Grundlinienschätzdaten und/oder eigenschaftsextrahierenden Filtern verwenden. Unabhängig davon, ob ein Strafterm verwendet wird oder nicht, kann ein Spline-Fit gegenüber dem Polynom-Fit bevorzugt werden, um eine glatte Grundlinienschätzung zu erzeugen. Als ein dritter unabhängiger Aspekt der Erfindung wird eine halbquadratische Minimierungseinheit bzw. Verarbeitungseinheit 46 vorgeschlagen, die den rechentechnischen Aufwand erheblich reduziert, indem eine Faltung in der zweiten iterativen Stufe 50 eingeführt wird. Die rechentechnische Effizienz bleibt über einen weiten Bereich von Straftermen erhalten.
Bezugszeichenliste

1: Vorrichtung
2: Mikroskop
4: Bilderzeugungsabschnitt
6: Eingangsbilddaten, I(x_i)
8: Kamera
10: Kanal
12: Objekt
14: Fluorophor
16: Beleuchtung bzw. Ausleuchtung
17: Linse
18: Zeitreihe aus Eingangsbilddaten
20: Bildspeicherabschnitt
22: CPU
24: Recheneinrichtung
26: GPU
28: Bildeingangsabschnitt
30: Verbindungsmittel für Bildeingangsabschnitt
32: Bildausgabeabschnitt
34: Verbindungsmittel für Bildausgabeabschnitt
36: Ausgangsbilddaten, O(x_i)
37: Anzeige
38: Bildprozessor
40: Bildschärfereduzierungsabschnitt
42: Grundlinienschätzeinheit bzw. Grundlinienschätz-Verarbeitungseinheit
44: Grundlinienschätzdaten, f(x_i)
46: halbquadratische Minimierungseinheit bzw. halbquadratische Minimierungs-Verarbeitungseinheit
48: erste Iterationsstufe
50: zweite Iterationsstufe
60: Festlegung von Grundlinienschätzparametern
62: graphische Benutzerschnittstelle
64: Initialisieren der halbquadratischen Minimierungseinheit und des entsprechenden Schemas
66: halbquadratische Minimierungseinheit und halbquadratisches Minimierungsschema
68: Konvergenzkriterium
70: Berechnung von Ausgangsbilddaten
72: Nachbearbeitungsoperation

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

Idier, J. (2001): Convex Half-Quadratic Criteria and Interacting Variables for Image Restoration, IEEE Transactions on Image Processing, 10(7), S. 1001-1009 [0044]
Mazet, V., Carteret, C., Bire, D., Idier, J., und Humbert, B. (2005): Background Removal from Spectra by Designing and Minimizing a Non-Quadratic Cost Function, Chemometrics and Intelligent Laboratory Systems, 76, S. 121-133 [0044]

Claims

Vorrichtung (1), insbesondere Bildprozessor, zur Unschärfereduktion eines Bildes, wobei das Bild durch Eingangsbilddaten (I(x_i)) repräsentiert ist, wobei die Vorrichtung ausgebildet ist zum - Abschätzen eines außerhalb des Fokus liegenden Bildanteils (I₂(x_i)), um Grundlinienschätzdaten (f(x_i)) zu erhalten, und zum - Subtrahieren der Grundlinienschätzdaten von den Eingangsbilddaten, um unschärfereduzierte Ausgangsbilddaten (O(x_i)) zu erhalten, wobei zum Abschätzen des außerhalb des Fokus liegenden Bildanteils die Vorrichtung ferner ausgebildet ist zum - Berechnen der Grundlinienschätzdaten als ein Fit an zumindest eine Teilmenge der Eingangsbilddaten durch Minimieren eines Fehlerquadrat-Minimierungskriteriums (M(f(x_i))), und wobei das Fehlerquadrat-Minimierungskriterium einen Strafterm (P(f(x_i))) umfasst und die Vorrichtung ausgestaltet ist, zur Berechnung der Grundlinienschätzdaten eine Faltung mit einer diskreten vom Strafterm (P(f(x_i))) abhängigen Greenschen (G(x_i)) Funktion durchzuführen.
Vorrichtung (1) nach Anspruch 1, wobei die Vorrichtung ausgestaltet ist, die Grundlinienschätzdaten (f(x_i)) unter Anwendung eines Spline-Fits an die Eingangsbilddaten (I(x_i)) zu berechnen.
Vorrichtung (1) nach Anspruch 1 oder 2, wobei das Fehlerquadrat-Minimierungskriterium (M(f(x_i))) eine Kostenfunktion (C(f(x_i))) umfasst, die einen trunkierten quadratischen Term (φ(ε(x_i))) enthält, der die Differenz zwischen den Eingangsbilddaten (I(x_i)) und den Grundlinienschätzdaten (f(x_i)) repräsentiert.
Vorrichtung (1) nach Anspruch 3, wobei der trunkierte quadratische Term (φ(ε(x_i))) symmetrisch oder asymmetrisch ist.
Vorrichtung (1) nach einem der Ansprüche 1 bis 4, wobei der Strafterm (P(f(x_i))) zu einer Bestrafung nicht-glatter Grundlinienschätzdaten (f(x_i)) führt.
Vorrichtung (1) nach einem der Ansprüche 1 bis 5, wobei der Strafterm (P(f(x_i))) eine Ableitung beliebiger Ordnung der Grundlinienschätzdaten (f(x_i)) und/oder einen eigenschaftsextrahierenden linearen Filter und/oder eine Linearkombination aus einem eigenschaftsextrahierenden linearen Filter und Ableitungen beliebiger Ordnung der Grundlinienschätzdaten umfasst.
Vorrichtung (1) nach einem der Ansprüche 1 bis 6, wobei die Vorrichtung ausgestaltet ist, die Grundlinienschätzdaten (f(x_i)) unter Anwendung eines iterativen halbquadratischen Minimierungsschemas (66) zu berechnen.
Vorrichtung (1) nach Anspruch 7, wobei das iterative halbquadratische Minimierungsschema (66) eine erste iterative Stufe (48) und eine zweite iterative Stufe (50) aufweist.
Vorrichtung (1) nach Anspruch 8, wobei die Vorrichtung ausgestaltet ist, in der ersten iterativen Stufe (48) Hilfsdaten (d(x_i)) abhängig von den Grundlinienschätzdaten (f(x_i)) der vorhergehenden Iteration, des trunkierten quadratischen Terms (φ(ε(x_i))) und der Eingangsbilddaten (I(x_i)) zu aktualisieren.
Vorrichtung (1) nach Anspruch 8 oder 9, wobei die Vorrichtung ausgestaltet ist, die Faltung mit der Greenschen Funktion in der zweiten iterativen Stufe (50) zu berechnen.
Vorrichtung (1) nach Anspruch 10, wobei die Vorrichtung ausgestaltet ist, die Greensche Funktion (G(x_i)) mit einer Summe der Eingangsbilddaten (I(x_i)) und Hilfsdaten (d(x_i)) aus der ersten iterativen Stufe (48) zu falten.
Vorrichtung (1) nach einem der Ansprüche 1 bis 11, wobei die Greensche Funktion einen Regularisierungsparameter (γ_j) des Strafterms (P(f(x_i)) und eine Funktionsableitung (δP^j(f(x_i)/δf(x_i,m)) des Strafterms (P(f(x_i))) enthält.
Vorrichtung (1) nach Anspruch 12, wobei der Strafterm (P(f(x_i))) eine räumliche Ableitung aufweist und der Regularisierungsparameter (γ_j) repräsentativ für eine Längenskala ist.
Vorrichtung (1) nach einem der Ansprüche 1 bis 13, wobei die Vorrichtung ausgestaltet ist, die Ausgangsbilddaten (O(x_i)) zu entfalten.
Mikroskop mit einer Vorrichtung (1) nach einem der Ansprüche 1 bis 14.
Endoskop mit einer Vorrichtung (1) nach einem der Ansprüche 1 bis 14.
Nicht-flüchtiges computerlesbares Medium, das ein Programm speichert, das einen Computer veranlasst, das folgende Bildverarbeitungsverfahren auszuführen: - Abschätzen eines außerhalb des Fokus liegenden Bildanteils (I₂(x_i) zum Erhalten von Grundlinienschätzdaten (f(x_i)), und - Subtrahieren der Grundlinienschätzdaten von den Eingangsbilddaten (I(x_i)) zum Erhalten von unschärfereduzierten Ausgangsbilddaten (O(x_i)), wobei der Schritt des Abschätzens des außerhalb des Fokus liegenden Bildanteils umfasst: - Berechnen der Grundlinienschätzdaten als ein Fit an zumindest eine Teilmenge der Eingangsbilddaten durch Minimieren eines Minimierungskriteriums der kleinsten Quadrate (M(f(x_i))), und wobei das Minimierungskriterium der kleinsten Quadrate einen Strafterm (P(f(x_i))) umfasst und zur Berechnung der Grundlinienschätzdaten eine Faltung mit einer vom Strafterm (P(f(x_i))) abhängigen diskreten Greenschen Funktion (G(x_i)) durchzuführen.
Vorrichtung (1), insbesondere medizinische Beobachtungseinrichtung, etwa in Form eines Endoskops oder eines Mikroskops (2), wobei die Vorrichtung (1) aufweist: - einen Bildspeicherabschnitt (20), in welchem Eingangsbilddaten (6), die ein Eingangsbild (I(x_i)) repräsentieren, zumindest temporär gespeichert sind, - einen Bildausgabeabschnitt (32), der ausgebildet ist, unschärfereduzierte Ausgangsbilddaten (36) auszugeben, und - einen Bildprozessor (38), mit ◯ einem Unschärfereduzierungsabschnitt (40), der ausgebildet ist, einen außerhalb des Fokus liegenden Anteil (I₂(x_i)) in den Eingangsbilddaten von den Eingangsbilddaten (6) zur Berechnung der unschärfereduzierten Ausgangsbilddaten (36) zu subtrahieren, und ◯ einer Grundlinienschätzeinheit (42), die ausgebildet ist, Grundlinienschätzdaten (44), die den außerhalb des Fokus liegenden Bildanteil (I₂(x_i)) repräsentieren, durch einen Fit an zumindest eine Teilmenge der Eingangsbilddaten (6) zu berechnen, wobei die Grundlinienschätzeinheit (42) eine diskrete Darstellung eines Fehlerquadrat-Minimierungskriteriums (M(f(x_i))) umfasst, wobei das Fehlerquadrat-Minimierungskriterium einen Strafterm (P(f(x_i))), die halbquadratische Minimierungseinheit (66) zwei iterative Stufen (48, 50) und die zweite iterative Stufe (50) eine Faltung zur Aktualisierung der Grundlinienschätzdaten (44) umfasst.
Vorrichtung (1) nach Anspruch 18, wobei die Grundlinienschätzeinheit (42) eine halbquadratische Minimierungseinheit (66) umfasst, und wobei die halbquadratische Minimierungseinheit einen Operator für eine diskrete Ableitung erster oder zweiter Ordnung (∂,∂²) des Strafterms (P(f(x_i))) umfasst.
Vorrichtung (1) nach Anspruch 18 oder 19, wobei die Vorrichtung ausgestaltet ist, die Faltung mit einer Greenschen Funktion durchzuführen, die von einem Regularisierungsparameter (γ_j) des Strafterms (P(f(x_i)) und einer Funktionsableitung (δP^j(f(x_i)/ δf(x_i,m)) des Strafterms (P(f(x_i))) abhängt.
Vorrichtung (1) nach einem der Ansprüche 18 bis 20, wobei der Strafterm (P(f(x_i)) einen Regularisierungsparameter (γ_j) aufweist, dessen Einheit so gewählt ist, dass der Strafterm ein Skalar ist.
Vorrichtung (1) nach einem der Ansprüche 18 bis 21, wobei der Strafterm (P(f(x_i)) einen diskreten Operator für eine räumliche Ableitung der Grundlinienschätzdaten (γ_j) aufweist und der Regulierungsparameter (γ_j) repräsentativ für die räumlichen Längenskalen der Information in den fokussierten Bilddaten (I₁(x_i)) ist.
Vorrichtung (1) nach einem der Ansprüche 18 bis 22, wobei die Vorrichtung einen Array-Prozessor aufweist, und wobei die halbquadratische Minimierungseinheit ausgebildet ist, in dem Array-Prozessor ausgeführt zu werden.