ES2820228T3

ES2820228T3 - Aparato y método, en particular para microscopios y endoscopios, que utilizan estimación de línea de base y minimización semi-cuadrática para eliminar la borrosidad de imágenes

Info

Publication number: ES2820228T3
Application number: ES18734549T
Authority: ES
Inventors: Kai Walter; Florian Ziesche
Original assignee: Leica Microsystems CMS GmbH
Current assignee: Leica Microsystems CMS GmbH
Priority date: 2018-03-29
Filing date: 2018-06-27
Publication date: 2021-04-20
Anticipated expiration: 2038-06-27
Also published as: EP3742391A1; CN114097002A; JP2021519974A; US20220327670A1; JP2022546461A; CN114041162A; US11669940B2; JP7436379B2; CN114424102A; US20210118102A1; DE202018006284U1; WO2021038103A1; CN111937031B; CN114008613A; CN114424102B; EP3571663B1; JP2021519973A; US20220277441A1; WO2021005098A1; EP3776452A1

Abstract

Método implementado por ordenador para eliminar la borrosidad de una imagen, estando la imagen representada por datos (I(xi)) de imagen de entrada, comprendiendo el método las etapas de - estimar una contribución (I2(xi)) fuera de foco en la imagen para obtener datos (f(xi)) de estimación de línea de base y de - restar los datos de estimación de línea de base de los datos (I(xi)) de imagen de entrada para obtener datos (O(xi)) de imagen de salida sin borrosidad, en el que la etapa de estimar la contribución (I2(xi)) fuera de foco comprende la etapa de - calcular los datos (f(xi)) de estimación de línea de base como un ajuste para al menos un subconjunto de los datos (I(xi)) de imagen de entrada al minimizar un criterio (M(f(xi))) de minimización de mínimos cuadrados, y en el que el criterio (M(f(xi))) de minimización de mínimos cuadrados comprende un término (P(f(xi))) de penalización, en el que el criterio (M(f(xi))) de minimización de mínimos cuadrados comprende una función (C(f(xi))) de coste que incluye un término ( (ε(xi))) cuadrático truncado que representa la diferencia entre los datos (I(xi)) de imagen de entrada y los datos (f(xi)) de estimación de línea de base, en el que los datos (f(xi)) de estimación de línea de base se calculan utilizando un esquema (66) de minimización semi-cuadrático iterativo, y en el que el esquema (66) de minimización semi-cuadrático iterativo comprende una primera etapa (48) iterativa y una segunda etapa (50) iterativa, en el que, - en la primera etapa (48) iterativa, los datos (d(xi)) auxiliares se actualizan dependiendo de los datos (f(xi)) de estimación de línea de base de una iteración previa, del término ((ε(xi))) cuadrático truncado y de los datos (I(xi)) de imagen de entrada y, - en la segunda etapa (50) iterativa, los datos (f(xi)) de estimación de línea de base se calculan directamente utilizando una convolución de una función (G(xi)) de Green discreta con una suma de los datos (I(xi)) de imagen de entrada y los datos (dl(xi)) auxiliares actualizados.

Description

DESCRIPCIÓN

Aparato y método, en particular para microscopios y endoscopios, que utilizan estimación de línea de base y minimización semi-cuadrática para eliminar la borrosidad de imágenes

La invención se refiere a un aparato, en particular a un dispositivo de observación médica, tal y como un microscopio o endoscopio, y método para eliminar la borrosidad. El aparato puede ser, en particular, un microscopio o un endoscopio. El método puede ser, en particular, un método para microscopio o endoscopio.

Cuando se registra una imagen bidimensional de una región tridimensional utilizando un dispositivo óptico, tal y como una cámara, solo aquellas características que estén en la región focal se representarán con claridad. Los elementos que no estén en la región focal estarán borrosos. Esta contribución a la imagen, que está fuera de foco, provoca errores de observación que no se pueden eliminar mediante motores estándar y métodos para agudizar la imagen, tal y como deconvolución.

La solicitud internacional WO 99/05503 describe cómo segmentar una imagen radiográfica digital, como una mamografía, en un primer plano, por ejemplo, que corresponde al pecho y, un segundo plano, por ejemplo, que corresponde a los alrededores externos del pecho. Para eliminar componentes de baja frecuencia espacial en el segundo plano, se ajusta una superficie polinómica de tercer orden bidimensional a una región de interés.

Es un objeto proporcionar una eliminación más rápida de contribuciones fuera de foco en imágenes.

Según la invención, este objeto se resuelve mediante un método, en particular un método de microscopio o endoscopio, para -en particular, de forma automática- eliminar la borrosidad de una imagen, estando la imagen representada por datos de imagen de entrada, comprendiendo el método las etapas de estimar una contribución de fuera de foco en la imagen para obtener datos de estimación de línea de base y restar los datos de estimación de línea de base de los datos de imagen de entraba para obtener datos de imagen de salida sin borrosidad, en donde la etapa de estimar la contribución de fuera de foco comprende la etapa de calcular los datos de estimación de línea de base como un ajuste a al menos un subconjunto de los datos de imagen de entrada mediante la minimización de un criterio de minimización de mínimos cuadrados, y en donde el criterio de minimización de mínimos cuadrados comprende un término de penalización y una función de coste que incluye un término cuadrático truncado que representa la diferencia entre los datos de imagen de entrada y los datos de estimación de línea de base, en donde los datos de estimación de línea de base se calculan utilizando un esquema de minimización semi-cuadrático iterativo, y en donde el esquema de minimización semi-cuadrático iterativo comprende una primera etapa iterativa y una segunda etapa iterativa, en donde, en la primera etapa iterativa, los datos auxiliares se actualizan dependiendo de los datos de estimación de línea de base de la iteración previa, el término cuadrático truncado y los datos de imagen de entrada y, en la segunda etapa iterativa, los datos de estimación de línea de base se calculan directamente utilizando una convolución de una función de Green discreta con una suma de los datos de imagen de entrada y los datos auxiliares actualizados.

Según la invención, este objeto se resuelve mediante un aparato, en particular un dispositivo de observación médica, tal y como un endoscopio o microscopio, para eliminar la borrosidad de una imagen, estando la imagen representada por datos de imagen de entrada, estando el aparato configurado para estimar la contribución de fuera de foco en la imagen para obtener datos de estimación de línea de base, que comprende calcular los datos de estimación de línea de base como un ajuste a al menos un subconjunto de los datos de imagen de entrada mediante la minimización de un criterio de minimización de mínimos cuadrados, y restar los datos de estimación de línea de base de los datos de imagen de entrada para obtener datos de imagen de salida sin borrosidad, en donde el criterio de minimización de mínimos cuadrados comprende un término de penalización y una función de coste que incluye un término cuadrático truncado que representa la diferencia entre los datos de imagen de entrada y los datos de estimación de línea de base, en donde el aparato además está configurado para calcular los datos de estimación de línea de base utilizando un esquema de minimización semi-cuadrático iterativo, en donde el esquema de minimización semi-cuadrático iterativo comprende una primera etapa iterativa y una segunda etapa iterativa, en donde el aparato además está configurado para actualizar, en la primera etapa iterativa, los datos auxiliares dependiendo de los datos de estimación de línea de base de la iteración previa, el término cuadrático truncado y los datos de imagen de entrada y calcular, en la segunda etapa iterativa, los datos de estimación de línea de base directamente utilizando una convolución de una función de Green discreta con una suma de los datos de imagen de entrada y los datos auxiliares actualizados.

Por último, el objeto se resuelve mediante un medio legible por ordenador no transitorio que almacena un programa que hace que un ordenador ejecute el método de eliminación de borrosidad según la invención.

Los datos de imagen de entrada son preferiblemente una formación N dimensional I(xi), donde N es un número entero mayor que 2.

El termino x ies una notación de atajo para una tupla {xi ; ... ; x ⁿ} que contiene N valores de ubicación y que representa una ubicación discreta x - o el vector de posición de tal ubicación - en la formación. La ubicación xi puede estar representada por un píxel o un conjunto preferiblemente coherente de píxeles en los datos de imagen de entrada. La ubicación discreta xsignifica, p. ej., un par de variables de ubicación discreta {x i ; x ?} en el caso de datos de imagen de entrada bidimensional y un triplete de variables de ubicación discreta {x i ; x?; x³} en el caso de datos de imagen de entrada tridimensional. En la i-ésima dimensión, la formación puede contener M ubicaciones, es decir xi = {x,i , ..., x , ^mí}.

En total, I{xi) puede contener (Mi x ... x M ⁿ) elementos. Como, a continuación, no se hará referencia a la ubicación específica o a una dimensión específica, la ubicación se indica simplemente como x¡.

I(x) puede ser de cualquier valor o combinación de valores en la ubicación x¡, tal y como un valor que representa una intensidad de un color o "canal" en un espacio cromático p.ej., la intensidad del color R en el espacio RGB, o una intensidad combinada de más de un color, p.ej.,fi+G+g en el espacio cromático RGB. Las imágenes de entrada que

3

una cámara multiespectral o hiperespectral ha registrado pueden contener más de tres canales.

Por ejemplo, los datos de imagen de entrada bidimensional que están disponibles en un formato RGB de tres colores se pueden considerar como tres conjuntos independientes de datos de imagen de entrada bidimensional I(x) = [ I ^r ( x ¡); ^I ^g( ^x ) I ^b ( x )}, donde I ^r ( x ) representa un valor tal y como la intensidad del color R, Io(x¡) representa un valor tal y como la intensidad del color G y I ^b ( x ¡) representa un valor tal y como la intensidad del color B. De manera alternativa, cada color se puede considerar como constituyente de una imagen de entrada separada y, por tanto, de datos de imagen de entrada separados.

Si los datos de imagen de entrada se han registrado utilizando una cámara multiespectral o una cámara hiperespectral, los datos de imagen de entrada pueden representar más de tres canales. Cada canal puede representar un espectro o intervalo espectral diferente del espectro de luz. Por ejemplo, se pueden utilizar más de tres canales para representar el espectro de luz visible.

Si el objeto contiene materiales fluorescentes, tal y como al menos un fluoróforo o al menos un sustancia de autofluorescencia, cada canal puede representar un espectro fluorescente diferente. Por ejemplo, si en los datos de imagen de entrada hay una pluralidad de fluoróforos de fluorescencia, cada espectro de fluorescencia de un fluoróforo puede estar representado por un canal diferente de los datos de imagen de entrada. Asimismo, se pueden utilizar diferentes canales para fluorescencia que se activan de manera selectiva por iluminación, por un lado, y por autofluorescencia que puede generarse como un subproducto o como un efecto secundario de la fluorescencia activada, por el otro lado. Canales adicionales pueden cubrir los intervalos NIR e IR. Un canal no necesariamente contiene datos de intensidad, pero puede representar otro tipo de datos relacionados con la imagen del objeto. Por ejemplo, un canal puede contener datos de la persistencia de la fluorescencia que son representativos de la persistencia de la fluorescencia después de su activación en una ubicación particular en la imagen. En general, los datos de imagen de entrada pueden tener, por tanto, la forma

K x í) = O ¡); /2(*¡); ■■■; Jc(*¡)}>

donde C es el número total de canales en los datos de imagen de entrada.

El aparato y método según la invención parten de la suposición de que las contribuciones en foco tienen una alta frecuencia espacial, p.ej., son responsables de los cambios de intensidad y/o color que tiene lugar en una distancia corta de los datos de imagen de entrada. Se supone que las contribuciones fuera de foco tienen una baja frecuencia especial, es decir, que llevan predominantemente a cambios graduales de intensidad y/o color que se extienden sobre áreas más amplias de los datos de imagen de entrada.

Partiendo de esta suposición, los cambios de intensidad y/o color a través de los datos de imagen de entrada se pueden separar uno a uno en un componente de foco de alta frecuencia espacial Ii(xi) y un componente de fuera de foco de baja frecuencia espacial k(x¡) según

/(x¡) = /i(x¿) I2(Xi)

Debido a su baja frecuencia espacial, el componente de fuera de foco k(x¡) se puede considerar como una línea de base suavizada sobre la cual los componentes de foco se superponen como características que presentan alta frecuencia espacial.. Según la invención, la línea de base se estima utilizando un ajuste a los datos de imagen de entrada. En términos computacionales, el ajuste, es decir, la estimación de línea de base, se representa mediante datos de estimación de línea de base discretos f(x). Los datos de estimación de línea de base también puede ser una formación hipercúbica que presenta N dimensiones y (Mi x ■■■ x Mⁿ) elementos y, por tanto, presenta la misma dimensionalidad que los datos de imagen de entrada.

Para calcular los datos de estimación de línea de base, se utiliza un criterio de minimización de mínimos cuadrados, que se han de minimizar para el ajuste. La formulación exacta del criterio de minimización de mínimos cuadrados determina las características del ajuste y, por tanto, de los datos de estimación de línea de base. Una elección inapropiada de un criterio de minimización de mínimos cuadrados puede hacer que la estimación de la línea de base no represente el componente de fuera de foco con suficiente precisión.

Con el fin de garantizar que los datos de estimación de la línea de base son una representación precisa de las contribuciones de fuera de foco de los datos de imagen de entrada y para evitar que los datos de estimación de línea de base se ajusten a las contribuciones de foco, el criterio de minimización de mínimos cuadrados según la invención comprende un término de penalización. El término de penalización se utiliza para penalizar un comportamiento indeseado de los datos de estimación de línea de base, tal y como representando componentes de los datos de imagen de entrada que tienen un contenido de alta frecuencia especial y, por tanto, se cree que pertenecen al componente de foco de los datos de imagen de entrada.

Una vez se han determinado los datos de estimación de línea de base y, por tanto, se ha obtenido la estimación de línea de base f(x) para k(x), los datos de imagen de salida sin borrosidad 0(x) se pueden calcular al restar la estimación de línea de base a partir de los datos de imagen de entrada:

0 (xí) = 7(x¿) -/(x ¿)

Los datos de imagen de salida 0(xi) también se representan preferiblemente por una formación discreta que presenta la dimensión N y Mi x ■■■ x Mⁿ elementos y, por tanto, presentan preferiblemente la misma dimensionalidad que los datos de imagen de entrada y/o los datos de estimación de línea de base.

La solución inventiva es diferente a la que se conoce en la técnica anterior, p.ej., a partir de la "resta de segundo plano convolucionada" en la herramienta BioVexxel. Allí, el segundo plano se resta de la copia convolucionada de la imagen y no directamente de la imagen (sin convolucionar) según la invención.

El aparato y método anterior se puede mejorar aún más al agregar una o más de las características que se describen a continuación. Cada una de las siguientes características, excepto las características obligatorias definidas en las reivindicaciones independientes, se pueden agregar al método y/o aparato de la invención, independientemente de las otras características. Asimismo, cada característica tiene su propio efecto técnico ventajoso, como se explica a continuación. Según una realización, el ajuste polinómico se puede realizar simultáneamente en una pluralidad de dimensiones, dependiendo de las dimensiones de los datos de imagen de entrada.

En una situación particular, el ajuste puede ser un ajuste polinómico de los datos de imagen de entrada. En particular, los datos de estimación de línea de base se pueden representar por un polinómico de orden K en cualquiera de las dimensiones N i:

/O ;) = 2 fc=o aiikxf = ai0 aUlx¡ ai¡2xf ••• aiiKx f ,

donde a¡,kson los coeficientes del polinómico en la dimensión i-ésima. Para cada dimensión i = 1,---, N, se puede calcular un polinómico por separado.

El valor óptimo para el orden polinómico K máximo depende de la suavización requerida de los datos de estimación de línea de base. Para una línea de base suavizada, el orden polinómico se debe establecer lo más bajo posible, mientras que ajustar un segundo plano altamente irregular puede requerir un orden superior.

En el caso de un ajuste polinómico, los datos de estimación de línea de base pueden consistir solo en los coeficientes polinómicos a¡,k. Sin embargo, un ajuste polinómico puede ser difícil de controlar y no ser preciso debido a que el único parámetro que permite ajustes en los datos de imagen de entrada es el orden polinómico máximo. El orden polinómico solo puede tener valores enteros. Por lo tanto, no siempre es posible encontrar una estimación de línea de base óptima. Un ajuste polinómico no óptimo puede exhibir una mínima local en la estimación de línea de base, lo cual puede llevar a errores de observación molestos.

Por lo tanto, según otra realización ventajosa, el ajuste a los datos de imagen de entrada puede ser un ajuste mediante splines, en particular splines de suavizado. Un ajuste mediante splines suministra resultados más fiables que un ajuste polinómico debido a que es más simple de controlar, p.ej., en términos de suavidad, y resistencia al ruido y crea menos errores de observación. Por otro lado, el ajuste mediante splines es computacionalmente más complejo que el ajuste polinómico porque cada valor de píxel debe variar para minimizar el criterio de minimización de mínimos cuadrados. Según una realización, el criterio de minimización de mínimos cuadrados M(f(x¡)) puede tener la siguiente forma: M(/(xi)) = C(/(xi)) P(/(xí)),

donde C(f(xi)) es una función de coste y P(f(xi)) es el término de penalización. El criterio de minimización de mínimos cuadrados, la función de coste y el término de penalización son preferiblemente valores escalares.

En un caso particular, la función de coste representa la diferencia entre los datos de imagen de entrada I(x¡) y los datos de estimación de línea de base f(x ) Por ejemplo, si £(x¡) indica el término de diferencia entre los datos de imagen de entrada y los datos de estimación de línea de base según

£(x() = 7(x¿) - / ( x (),

la función de coste C(f(xi)) puede comprender la norma L2 \\£(x¡)\\2, que se utiliza aquí como una notación de atajo de la suma de los valores de raíz cuadrada media a lo largo de todas las dimensiones de la suma de diferencias cuadráticas entre los datos de imagen de entrada y los datos de estimación de línea de base en la dimensión i-ésima, es decir

La norma L2 \\£(x¡)\\2 es un valor escalar. Un ejemplo de una función de coste es:

Para mejorar la precisión de la estimación de línea de base, puede ser ventajoso si la diferencia entre los datos de imagen de entrada y la estimación de línea de base se trunca, p.ej., utilizando un término de diferencia truncado. Un término de diferencia truncado reduce los efectos de las crestas en los datos de imagen de entrada en los datos de estimación de línea de base. Una reducción tal es beneficiosa si supone que la contribución en foco radica en las crestas de I(x ) Debido al término de diferencia truncado, las crestas en los datos de imagen de entrada que se aparten de la estimación de línea de base en más de un valor umbral constante predeterminado s se "ignorarán" en la función de coste al truncar su penalización en el ajuste, en particular el ajuste mediante splines, al valor umbral. Por tanto, los datos de estimación de la línea de base harán un seguimiento de dichas crestas solo hasta cierto punto. La cuadrática truncada puede ser simétrica o asimétrica. El término de diferencia truncado se indica con y(e(x¡)) a continuación.

En algunas aplicaciones, las contribuciones en foco pueden estar solo, o al menos predominantemente, contenidas en las crestas de los datos de imagen de entrada, es decir, los puntos luminosos de una imagen. Esto se puede reflejar al elegir un término cuadrático truncado que es asimétrico y que permite el ajuste, en particular el ajuste mediante splines, para seguir los valles, pero no las crestas, en los datos de imagen de entrada. Por ejemplo, la cuadrática truncada asimétrica y(e(x¡)) puede tener la forma

Si, en otra aplicación particular, los valles, es decir, las áreas oscuras, en los datos de imagen de entrada también se consideran contribuciones en foro, se puede utilizar una cuadrática truncada simétrica en vez de la cuadrática truncada asimétrica. Por ejemplo, la cuadrática truncada simétrica puede tener la siguiente forma:

Si se utiliza una cuadrática truncada, la función de coste C(f(x)) se puede expresar preferiblemente como

El término P(f(xi)) de penalización en el criterio M(f(x)) de minimización de mínimos cuadrados puede tener cualquier forma que introduzca una penalización si la estimación de línea de base está ajustada a datos que se considera que pertenecen al componente en foco h(x¡). Una penalización se crea en tanto que el término de penalización aumenta su valor si el componente en foco en el componente de datos de imagen de entrada se representa en los datos de estimación de la línea de base.

Si, por ejemplo, uno supone que el componente de fuera de foco k(x¡) se considera que tiene una baja frecuencia espacial, el término de penalización puede ser un término que se vuelve amplio si la frecuencia espacial de la estimación de línea de base se vuelve amplia.

Dicho término puede ser en una realización un término de penalización de aspereza que penaliza datos de estimación de líneas de base no suavizadas que se apartan de la línea de base suavizada. Dicho término de penalización de aspereza penaliza de manera efectiva el ajuste de datos que presenta una alta frecuencia espacial.

Según un aspecto, una desviación de una línea de base suavizada puede derivar a valores amplios en al menos una de la primera derivada, es decir, la pendiente o inclinación, y de la segunda derivada, es decir, la curvatura, de los datos de estimación de línea de base. Por lo tanto, el término de penalización de aspereza puede contener al menos una de una primera derivada espacial de los datos de estimación de línea de base, en particular el valor cuadrático y/o absoluto de la primera derivada espacial, y una segunda derivada de los datos de estimación de línea de base, en particular el valor cuadrático y/o absoluto de la segunda derivada espacial. En general, el término de penalización puede contener una derivada espacial de cualquier orden arbitrario de los datos de estimación de línea de base, o cualquier combinación lineal de derivadas espaciales de los datos de estimación de línea de base. Se pueden utilizar diferentes términos de penalización en diferentes dimensiones.

Por ejemplo, el término P{f{xi)) de penalización de aspereza puede estar formado según

Este término de penalización de aspereza penaliza un gran índice de cambio en la inclinación de la estimación de línea de base o, de manera equivalente, una curvatura alta, y, por tanto, favorece estimaciones suavizadas. En la d f

presente memoria, y/es un parametro de regularizacion y ; es un operador discreto para computar la segunda derivada en la dimensión y-ésima. En el discreto, la diferenciación se puede calcular de manera eficiente utilizando una convolución. Por ejemplo,

con una matriz derivada de segundo orden

y i — j

i — j ■

contrario

El parámetro de regularización y¡ depende de la estructura de la imagen, este representa a grandes rasgos las escalas de longitud espacial de la información de los datos de imagen en foco h(x¡). El parámetro de regularización puede ser predeterminado por un usuario y es preferiblemente mayor a cero. La unidad del parámetro de regularización se selecciona de manera tal que la función de penalización es una cantidad escalar sin dimensión. Típicamente, el parámetro de regularización tiene valores de entre 0,3 y 100.

Se prefiere, sin embargo, que el término P{f{xi)) de penalización de aspereza se forma según

Este es un término de penalización de aspereza que penaliza inclinaciones altas en los datos de estimación de línea de base. La suma de y permite utilizar términos de penalización diferentes en diferentes dimensiones. Se ha de observar que, como tanto x¡ como f(x) son discretos, la diferenciación se puede llevar a cabo mediante convolución con una formación derivada d¡. El operador d¡ representa una derivada de primer orden discreta u operador de inclinación en la dimensión j, que puede estar representada por una formación.

En vez o además de una derivada o una combinación lineal de derivadas de los datos de estimación de línea de base, el término de penalización puede contener un filtro, en particular lineal, de extracción de características o una combinación lineal de dichos filtros. Los filtros de extracción de características pueden ser un filtro Sobel, un filtro Laplace y/o un filtro FIR, p.ej., un filtro espacial de paso alto o de paso de banda que presenta una banda de paso para altas frecuencia espaciales.

En dicha formulación general, el término de penalización para la dimensión y-ésima puede contener operadores generales Z(y) y puede expresarse como

El criterio de minimización de mínimos cuadrados M(f(xi)) se minimiza utilizando, preferiblemente, un esquema de minimización semi-cuadrático. Para realizar la minimización semi-cuadrática, el motor de estimación de línea de base comprende un motor de minimización semi-cuadrático. La minimización semi-cuadrática comprende un mecanismo de iteración que presenta dos etapas de iteración.

El esquema de minimización semi-cuadrática puede, p.ej., comprender al menos parte del algoritmo LEGEND, que es computacionalmente eficiente. El algoritmo LEGEND se describe en Idier, J. (2001): Convex Half-Quadratic Criteria and Interacting Variables for Image Restoration, IEEE Transactions on Image Processing, 10(7), p. 1001-1009, y en Mazet, V., Carteret, C., Bire, D, Idier, J., and Humbert, B. (2005): Background Removal from Spectra by Designing and Minimizing a Non-Quadratic Cost Function, Chemometrics and Intelligent Laboratory Systems, 76, p. 121-133. Ambos artículos se incorporan completos a la presente memoria como referencia.

El algoritmo LEGEND introduce datos auxiliares discretos d(x¡) que tienen preferiblemente la misma dimensionalidad que los datos de imagen de entrada. Los datos auxiliares se actualizan con cada iteración dependiendo de los datos de estimación de línea de base inicial últimos, el término cuadrático truncado y los datos de imagen de entrada.

En el algoritmo LEGEND, el criterio de minimización de mínimos cuadrados que contiene solo una función de coste y ningún término de penalización se minimiza utilizando dos etapas iterativas hasta que se cumple un criterio de convergencia.

Un criterio de convergencia apropiado puede, por ejemplo, ser uno en que la suma de las diferencias entre los datos de estimación de línea de base actuales y los datos de estimación de línea de base previos en todas las ubicaciones x¡ sea menor que un umbral predeterminado.

En una mejora adicional, el criterio de convergencia se puede expresar como

EjloEmiol/ ^{l { x i , m ) ~ f l - l ( x i,m)\} ^ ^

5£oZmLo ^{f l i.x i ,m)} ^{+ / ¡ - 1 i x i ,m)}

donde t es un valor de convergencia escalar que el usuario puede establecer.

Como una etapa inicial en el algoritmo LEGEND, se define un conjunto inicial de datos de estimación de líneas de base.

El algoritmo LEGEND puede iniciarse al seleccionar un conjunto de inicio de coeficientes ak para una primera estimación de línea de base

para cada uno de los polinomios /' = 1, N si se utiliza un ajuste polinómico.

Si se utiliza un ajuste mediante splines, la condición inicial para iniciar el algoritmo LEGEND puede ser d(x) = 0, f(xi) = l(x¡) y la iteración se inicia al entrar en la segunda etapa iterativa.

En la primera etapa iterativa, los datos auxiliares se pueden actualizar según se indica a continuación:

d (x ) = K 2“ - 1 ) 0 ( * i ) - / ¡ - i ( * é) ) sí ¿'0¿) ^ s

l i < — ¡(Xj) / ;_ ! (x¡) de lo contra rio

donde l = 1 ...L es el índice de la iteración actual y a es una constante que se puede seleccionar. Preferiblemente, a está cerca pero no es igual a 0,5. Un valor adecuado de a es 0,493.

En una segunda etapa iterativa, los datos de estimación de línea de base f(x¡) se actualizan en base a los datos auxiliares calculados previamente di(x) los datos de estimación de línea de base fi-i(x¡) de la iteración previa l - 1 y el término de penalización P(x¡).

Los datos de estimación de línea de base f(x¡) pueden minimizar una criterio de minimización semi-cuadrático M(f(x¡)) que ha sido modificado por el algoritmo LEGEND al incluir los datos auxiliares.

En particular, los datos de estimación de línea de base actualizados se pueden calcular utilizando la siguiente fórmula en la segunda etapa de LEGEND iterativa:

/¡(x¿) = argmin[|

/

Aquí, [IIl(x) - f-1 (x/) d(x¡)\\2 + P(f(x)] representa el criterio de minimización semi-cuadrático modificado.

La segunda etapa iterativa puede actualizar los datos de estimación de línea de base utilizando el siguiente cómputo de matriz:

Aquí £ í=iT í^ í Aí) es una formación dimensional {M\ x ... x Mn)2. En el caso bidimensional, A es una formación (Mx -1 ){My -1 ) x MxMy y se da

con

Las dos etapas de iteración para actualizar di(xi) y f¡{xi) se repiten hasta que se cumple el criterio de convergencia. Según un aspecto altamente preferible de la invención, la segunda etapa del algoritmo LEGEND se modifica utilizando una convolución en vez de un cómputo de matriz. Esto disminuye significativamente el esfuerzo computacional. Más particularmente, se prefiere que los datos de estimación de línea de base actualizados fi{xi) se calculen directamente al convolucionar una función de Green con la suma de los datos de imagen de entrada y los datos auxiliares actualizados.

Según un aspecto más concreto de la solución inventiva, la segunda etapa iterativa del algoritmo LEGEND puede ser reemplazada por la siguiente etapa iterativa, donde los datos de estimación de línea de base actualizados fi(xi) se calculan en la l-ésima iteración utilizando una función de Green G(xi) según se indica a continuación

Esta etapa reduce la carga computacional significativamente en comparación con el algoritmo LEGEND tradicional. La carga computacional reducida deriva del hecho de que según la segunda etapa iterativa inventiva, se calcula una convolución. Este cálculo puede ser llevado a cabo de manera eficiente utilizando un algoritmo FFT. Asimismo, la segunda etapa iterativa puede hacer un uso total de un procesador de formación, tal y como una unidad de procesamiento gráfico o un FPGA debido al algoritmo FFT. El problema computacional se reduce de (Mx x My)2 a Mx x My si los datos de imagen de entrada y todas las otras formaciones son bidimensionales. Para un caso general N dimensional, la carga computacional se reduce de (Mi x ■■■ x Mⁿ)2 cálculos de matriz dimensional al cálculo de un FFT con (Mi x ■■■ x Mⁿ) formaciones dimensionales

Por tanto, la eliminación de borrosidad se pueda llevar a cabo muy rápido, preferiblemente en tiempo real para datos de imagen de entrada bidimensional. Se puede eliminar la borrosidad de una imagen (2k x 2k) en 50 mseg y menos. En una realización específica, la función de Green puede tener la forma

donde /=[■■■] es la transformada de Fourier N dimensional discreta, F 1[---] es la transformada de Fourier N dimensional D<J)

discreta inversa, y/es el parametro de regularizacion del termino de penalizacion de aspereza, l>m es una formación de penalización discreta en la dimensión i-ésima en una ubicación m, y N es el número total de dimensiones. El índice D superior indica que puede haber una formación de penalización diferente para cada dimensión j.

D U)

En general, la formación l>m de penalizacion discreta corresponde a la representación discreta de la derivada 8ptf>(f(xí)) func¡ona| (je| término P^{f{x¡)) de penalización que se utiliza para la dimensión y-ésima. Ya que todas las Cxi.m)

funciones están representadas por formaciones discretas, la diferenciación se puede llevar a cabo numéricamente por una convolución

donde D l, ^m l es la formación discreta r para calcular la derivada — S f(-xr— Um :) funcional.

Una gran ventaja de la función de Green anterior es que cualquier forma de término P(f(x¡)) de penalización se puede beneficiar del cálculo rápido de la segunda etapa iterativa en el motor de minimización semi-cuadrático. Por tanto, en la realización que utiliza la función de Green, se puede utilizar cualquier término de penalización por obtener una buena estimación de línea de base.

Para la formulación general del término

de penalización

la formació ^{D C;)}n l-m esta definida por

donde es un operador general del término de penalización, * denota la convolución N-dimensional y Vt corresponde a la derivada funcional de primer orden discreta en la función t(x¡,m), lo que puede, por ejemplo, representar intensidad. Esta ecuación se puede resolver mediante el método de mínimos cuadrados.

Por ejemplo, si el término de penalización es

la formación derivada en la convolución se puede expresar como:

i" 2 si m = 0 y i = j

D i ! l = p ls i m = l o M ¿y i = j .

V 0 de lo contrario

El procesador de imágenes, el motor de estimación de línea de base, la sección para eliminar la borrosidad y el motor de minimización semi-cuadrático pueden, cada uno, implementarse en hardware, en software o como una combinación de hardware y software. Por ejemplo, al menos uno del procesador de imágenes, el motor de estimación de línea de base, la sección para eliminar la borrosidad y el motor de minimización semi-cuadrático pueden, al menos en parte, implementarse mediante una subrutina, una sección de un procesador de propósito general, tal y como una CPU, y/o un procesador dedicado tal y como una CPU, GPU, FPGA, procesador de vectores y/o ASIC.

Se ha de observar que la eliminación de borrosidad inventiva proporciona mejores resultados si los datos I(xi) de imagen de entrada no se convolucionan o deconvolucionan antes de la eliminación de borrosidad. La deconvolución proporciona los mejores resultados si los datos I(x) de entrada son preprocesados por la eliminación de borrosidad inventiva.

A continuación, la invención se describe además a modo de ejemplo únicamente utilizando una realización de ejemplo, que también se muestra en los dibujos. En los dibujos, los mismos números de referencia se utilizan para características que se corresponden entre sí con respecto a al menos uno de función y diseño.

La combinación de características mostradas en la realización adjunta tiene únicamente fines explicativos y se puede modificar. Por ejemplo, se puede omitir una característica de la realización con un efecto técnico que no se necesita para una aplicación específica. Asimismo, una característica que no se muestra como parte de la realización se puede añadir si el efecto técnico asociado a esta característica se necesita para una aplicación particular.

La Figura 1 muestra una representación esquemática de un aparato según la invención;

la Figura 2 muestra una interpretación esquemática de un diagrama de flujo para el método según la invención; la Figura 3 muestra un detalle de la Figura 2;

la Figura 4 muestra un ejemplo de datos de imagen de entrada;

la Figura 5 muestra un ejemplo de datos de imagen de salida sin borrosidad derivados de los datos de imagen de entrada de la Figura 4;

la Figura 6 muestra la distribución de intensidad en los datos de imagen de entrada, datos de estimación de línea de base y los datos de imagen de salida sin borrosidad a lo largo de las líneas VI de las Figuras 4 y 5;

la Figura 7 muestra otro ejemplo de datos de imagen de entrada;

la Figura 8 muestra los datos de imagen de salida basados en los datos de imagen de entrada de la Figura 7; la Figura 9 muestra los datos de imagen de salida de la Figura 8 tras la deconvolución;

la Figura 10 muestra la distribución de intensidad en los datos de imagen de entrada, los datos de estimación de línea de base y los datos de imagen de salida a lo largo de la línea X en las Figuras 7 y 8; y

la Figura 11 muestra una representación esquemática de datos de imagen de entrada, una contribución en foco en los datos de imagen de entrada y una contribución de fuera de foco en los datos de imagen de entrada, datos de estimación de línea de base y datos de imagen de salida.

Primero, la estructura del aparato 1 se explica con referencia a la Figura 1. El aparato 1 es un dispositivo de observación médica, tal y como un endoscopio o un microscopio. Con meros fines explicativos, se muestra un microscopio 2 como un ejemplo de un aparato 1. Con el fin del aparato y método de eliminación de borrosidad, no hay diferencia entre endoscopios de microscopios.

El aparato 1 puede comprender una sección 4 de formación de imagen, que está adaptada para capturar datos 6 de imagen de entrada, p. ej. con una cámara 8. La cámara 8 puede ser una cámara CCD, multiespectral o hiperespectral que graba los datos 6 de imagen de entrada en una pluralidad de canales 10, en la que cada canal 10 representa preferiblemente un intervalo del espectro de luz diferente desde el infrarrojo hasta el ultravioleta. Los datos 6 de imagen de entrada también se designan I(xi) a continuación.

En el caso de una cámara CCD, por ejemplo, se pueden proporcionar tres canales 10, p. ej. un canal R, un canal G y un canal B, para representar una imagen de luz visible de un objeto 12. En el caso de una cámara multi o hiperespectral, un total de más de tres canales 10 se pueden utilizar en al menos uno del intervalo de luz visible, el intervalo de luz IR, el intervalo de luz NIR y el intervalo de luz ultravioleta.

El objeto 12 puede comprender materia animada y/o inanimada. El objeto 12 puede además comprender uno o más materiales fluorescentes, tal y como al menos un fluoróforo 14. Una cámara multiespectral o hiperespectral puede tener un canal 10 para cada espectro de fluorescencia de los materiales fluorescentes en el objeto 12. Por ejemplo, cada fluoróforo 14 puede estar representado por al menos un canal 10 que coincide con el espectro de fluorescencia activado por una iluminación 16. De manera alternativa o adicional, los canales 10 se pueden proporcionar para espectros de autofluorescencia o para espectros de fluorescencia secundaria, que se activa por fluorescencia excitada por la iluminación 16, o para datos de fluorescencia persistente. Por supuesto, la iluminación 16 puede también o únicamente emitir luz blanca o cualquier otra composición de luz sin activar la fluorescencia en el objeto 12. El microscopio 2 puede estar adaptado para excitar la fluorescencia p. ej. de fluoróforos 14 en un objeto 12 con luz que tiene una longitud de onda de excitación de fluorescencia apropiada por la iluminación 16.

La iluminación puede estar guiada a través de una lente 17, mediante la cual se adquieren también los datos de imagen de entrada. La iluminación 16 puede comprender o consistir en una o más guías de luz flexibles para dirigir luz hacia el objeto 12 desde una o más direcciones diferentes. Un filtro de bloqueo apropiado (no se muestra) puede estar dispuesto en el trayecto de luz en frente de la cámara 8, p. ej. para evitar deslumbramientos. En caso de fluorescencia, un filtro de bloqueo bloquea preferiblemente solo la longitud de onda de iluminación y permite que la luz fluorescente de los fluoróforos 14 en el objeto 12 pase a la cámara 8.

Es aparente, sin limitarse a lo general, que los datos 6 de imagen de entrada pueden ser capturados por cualquier tipo de microscopio, en particular con un microscopio de luz fluorescente operable en un modo de campo amplio y/o utilizando un microscopio confocal de barrido a láser.

Los datos 6 de imagen de entrada tienen dos dimensiones si un único canal 10 está contenido en una imagen bidimensional. La imagen de entrada puede tener una dimensionalidad más alta de dos si se comprende más de un canal 10 y/o si los datos 6 de imagen de entrada representan una imagen de tres dimensiones.

Los datos 6 de imagen de entrada de tres dimensiones pueden ser grabados por el aparato 1 al, p. ej., utilizar tecnología de campo luminoso, apilamiento de enfoque en microscopios, imágenes obtenidas por un microscopio SCAPE y/o una reconstrucción de tres dimensiones de imágenes obtenidas por un microscopio SPIM. En el caso de una imagen de tres dimensiones, cada plano de los datos 6 de imagen de entrada de tres dimensiones puede ser considerado como una imagen 6 de entrada bidimensional. De nuevo, cada plano puede comprender diversos canales 10.

Cada canal 10 se puede considerar como una imagen separada bidimensional. De manera alternativa, una pluralidad de canales se puede interpretar juntos como una formación multidimensional.

Los datos de imagen de entrada son una representación digital de una cantidad I(xi), tal y como una intensidad, donde xi representa una ubicación en los datos 6 de imagen de entrada y / es la cantidad en dicha ubicación. El término xi es una notación de atajo para una tupla {X1; ■■■ ; xⁿ} que contiene N dimensiones y representa una ubicación Xi discreta en los datos de imagen de entrada discretos. Una ubicación Xi puede ser un píxel o un conjunto preferiblemente coherente de píxeles en los datos de imagen de entrada. La ubicación discreta Xi significa, p. ej., un par de variables de ubicación discreta {X1; x2} en el caso de datos de imagen de entrada bidimensional y un triplete de variables de ubicación discreta {X1; X2; X3} en el caso de datos de imagen de entrada tridimensional. En la i-ésima dimensión, la formación puede contener M ubicaciones, es decir Xi = {x¿1, ..., x^í,^mí}. En total, I(xi) puede contener (M1 x ■■■ x Mⁿ) elementos.

La cámara 8 puede producir una serie 18 de tiempo de conjuntos posteriores de datos 6 de imagen de entrada.

El aparato 1 puede además comprender una sección 20 de almacenamiento de imágenes que está adaptada para contener, al menos temporalmente, los datos 6 de imagen de entrada. La sección 20 de almacenamiento de imágenes puede comprender una memoria volátil o no volátil, tal y como una memoria caché de una CPU 22 de un dispositivo 24 informático, tal y como un PC, y/o de una GPU 26. La sección 20 de almacenamiento de imágenes puede además comprender una RAM, una unidad de disco duro o un sistema de almacenamiento intercambiable, tal y como un lápiz USB o una tarjeta SD. La sección 20 de almacenamiento de imágenes puede comprender cualquier combinación de estos tipos de memoria.

Para adquirir los datos 6 de imagen de entrada, p. ej. de la cámara 8, se puede proporcionar una sección 28 de entrada de imagen. La sección 28 de entrada de imagen puede comprender medios 30 de conexión estandarizada, tal y como protocolos de intercambio de datos estandarizados, conectores de hardware y/o conexiones inalámbricas. Conectores HDMI, USB y RJ45 son ejemplos de conectores estandarizados que se pueden conectar a la cámara 8.

El aparato 1 puede además comprender una sección 32 de salida de imagen que puede comprender medios 34 de conexión estandarizada, tal y como protocolos de intercambio de datos estandarizados, conectores de hardware y/o conexiones inalámbricas, cada uno configurado para producir datos 36 de imagen de salida sin borrosidad a uno o más visualizadores 37. Los datos 36 de imagen de salida tienen preferiblemente la misma dimensionalidad que los datos 6 de imagen de entrada, y están representados por una formación discreta de valores O(xi) discretos.

Para calcular los datos 36 de imagen de salida sin borrosidad a partir de los datos 6 de imagen de entrada, se puede proporcionar un procesador 38 de imágenes. El procesador 38 de imágenes y sus constituyentes pueden ser al menos en parte hardware, al menos en parte software y/o una combinación de hardware y software. Por ejemplo, el procesador 38 de imágenes puede comprender al menos una de una CPU 22 y una GPU 26 del dispositivo 24 informático, así como secciones que se han codificado en software y existen temporalmente como entidades estructurales en la CPU 22 y/o la GPU 26 como un estado operacional. El procesador 38 de imágenes también puede comprender hardware adicional tal y como uno o más ASIC que han sido diseñados especialmente para llevar a cabo operaciones requeridas por el aparato y método según la invención.

Antes de continuar la descripción de la Figura 1, se explica el principio general de la eliminación de borrosidad de los datos 6 de imagen de entrada con referencia a la Figura 11. Para eliminar la borrosidad de los datos 6 de imagen de entrada, el procesador 38 de imágenes puede comprender una sección 40 de eliminación de borrosidad.

Se asume que los datos I(xi) de imagen de entrada están compuestos de forma aditiva de un componente k(x¡) fuera de foto y un componente h(xi) en foco. El componente h(xi) en foco contiene únicamente la información del plano focal de la cámara 8. El componente k(x¡) fuera de foco resulta de luz grabada en los datos 6 de imagen de entrada desde regiones fuera de la región focal. El componente h(x) en foco, sin embargo, representa únicamente contribuciones desde la región focal. Ni h(xi) n ifeX se conocen y por tanto se deben estimar.

Según la invención, se supone que el componente k(x¡) fuera de foco consiste únicamente en componentes con baja frecuencia espacial que representen algo parecido a una línea de base suavizada, alrededor de los que el componente h(xi) en foco fluctúa a una frecuencia espacial mayor. El componente h(x¡) fuera de foco está suavizado y tiene grandes escalas de longitud; el componente h(xi) en foco no está, sin embargo, suavizado y suele contener crestas.

Para eliminar la borrosidad de los datos de imagen de entrada, se calcula un estimado para el componente k(x¡) fuera de foco. Este estimado está representado en el aparato 1 y el método según la invención como datos f(xi) de estimación de línea de base. Los datos de estimación de línea de base son una formación discreta que tiene preferiblemente la misma dimensionalidad que los datos 6 de imagen de entrada y/o los datos 36 de imagen de salida. Los datos f(xi) de estimación de línea de base están indicados con el número de referencia 44 en la Figura 1. Los datos f(xi) de estimación de línea de base pueden estar también presentes al menos temporalmente en la sección 20 de almacenamiento. Una vez se hayan calculado los datos de estimación de línea de base, los datos de imagen de salida, representados aquí como O(xi) se obtienen al restar los datos de estimación de línea de base de los datos de imagen de entrada en cada ubicación.

Según la Figura 1, el procesador 38 de imágenes puede comprender un motor 42 de estimación de línea de base, el cual está configurado para calcular los datos f(xi) de estimación de línea de base, indicados en la Figura 1 con el número de referencia 44, como un ajuste a al menos un subconjunto de los datos 6 de imagen de entrada . Preferiblemente, el ajuste a al menos el conjunto de los datos de imagen de entrada es un ajuste mediante splines.

Para un ajuste mediante splines computacionalmente eficiente, el motor 42 de estimación de línea de base puede comprender un motor 46 de minimización semi-cuadrático, el cual puede ser, por ejemplo, una subrutina o una combinación de un algoritmo cableado y un software acorde. El motor 46 de minimización semi-cuadrático puede estar configurado para ejecutar un esquema de minimización semi-cuadrático y, con ese fin, puede comprender dos etapas 48, 50 de iteración.

Según la invención, el motor 46 de minimización semi-cuadrático utiliza una convolución para calcular los datos 44 de estimación de línea de base en la segunda etapa 50 de iteración. Debido a que la convolución se puede calcular de forma más eficiente en un procesador de formación utilizando un FFT, es preferible que el procesador 38 de imágenes incluya un procesador de formación tal y como una GPU 26. Durante el funcionamiento, el procesador de imágenes comprende el motor 46 de minimización semi-cuadrático.

Con referencia a la Figura 2, las etapas de calcular los datos O(x¡) o 36 de imagen de salida sin borrosidad a partir de los datos I(x¡) o 6 de imagen de entrada se describen de la forma en la que el aparato 1 las lleva a cabo. También se ha de observar que, preferiblemente, cada canal 10 se trata por separado.

En una primera etapa 60, un usuario puede definir diversos parámetros del motor 42 de estimación de línea de base, que necesitan estar preestablecidos, p. ej. utilizando una interfaz 62 de usuario gráfica (Figura 1). Los parámetros pueden comprender el tipo de ajuste a los datos 6 de imagen de entrada que el motor 42 de estimación de línea de base debe realizar. Por ejemplo, un usuario puede elegir entre un ajuste polinómico y un ajuste mediante splines de los datos 44 de estimación de línea de base a los datos 6 de imagen de entrada.

Además, el usuario puede elegir entre una variedad de términos P(f(x¡)) de penalización que se utilizan en el esquema de minimización semi-cuadrático. El término de penalización determina la forma del estimado de línea de base al penalizar la representación de componentes de la contribución h(x¡) en foco en los datos de estimación de línea de base.

Por ejemplo, el usuario se le puede presentar una selección de diversos términos de penalización que penalizan características no suavizadas de los datos 44 de estimación de línea de base. Por ejemplo, el término de penalización puede ser un filtro de frecuencia espacial de paso alto para los datos 44 de estimación de línea de base, el cual crece si los datos 44 de estimación de línea de base contienen componentes con alta frecuencia espacial. Otros términos de penalización pueden incluir una inclinación de los datos 44 de estimación de línea de base. Otro ejemplo de un término de penalización puede ser la curvatura de los datos 44 de estimación de línea de base. Además, el usuario puede seleccionar filtros de extracción de características, tal y como un filtro Sobel, un filtro Laplace y/o un filtro FIR de paso de banda, de paso alto o de paso bajo como término de penalización. Además, se puede seleccionar una combinación lineal de cualquiera de los anteriores. Se pueden seleccionar diferentes términos de penalización para diferentes dimensiones o para diferentes canales de los datos 6 de imagen de entrada.

La representación general del término de penalización es la siguiente

donde es un operador general del término de penalización, que define la propiedad del término de penalización.

A continuación, se supone que el usuario selecciona un término de penalización de aspereza basado en inclinación basado en la inclinación de los datos f(x¡,m) o 44 de estimación de línea de base con la siguiente forma

Este término de penalización penaliza grandes inclinaciones en los datos de estimación de línea de base. El operador d¡ representa una derivada de primer orden o inclinación en la dimensión j.

Al utilizar el término de penalización basado en inclinación anterior, los parámetros a especificar por el usuario pueden además comprender una formación y¡ de parámetros de regularización. Para el término de penalización basado en inclinación, la formación de parámetro de regularización puede estar entre 0,3 y 100.

Además, cuando se selecciona un parámetro para el motor de estimación de línea de base, el usuario puede elegir entre un término y(£(x¡)) cuadrático simétrico y asimétrico, que también determina la forma del estimado de línea de base al especificar el efecto de grandes crestas en los datos de estimación de línea de base.

Finalmente, el usuario puede seleccionar un criterio de convergencia y/o un valor t umbral que el criterio de convergencia debe alcanzar.

Por ejemplo, el usuario puede seleccionar el siguiente cuadrático asimétrico truncado:

en el cual s representa un valor umbral que el usuario debe introducir. El valor umbral define una desviación máxima entre los datos de imagen de entrada y los datos de estimación de línea de base. Las crestas por encima del estimado de línea de base no atraen el estimado de línea de base más que una cresta que se desvía por el valor umbral.

T ras haber establecido los parámetros iniciales para el motor 42 de estimación de línea de base, los datos se inicializan en la etapa 64 para el esquema 66 de minimización semi-cuadrático iterativo.

De ahí en adelante, el motor 46 de minimización semi-cuadrático lleva a cabo el esquema 66 de minimización semicuadrático iterativo hasta que se alcanza un criterio 68 de convergencia. En la realización, se utiliza el siguiente criterio de convergencia:

E^pUmlol/ ^{l { x i , m ) ~ f l - l ( x i,m)\} ^ ^

5£oZmLo ^{f l i.x i,m)} ^{+ / ¡ - 1 i x i,m)}

donde l indica la iteración actual y t es un valor umbral escalar constante que puede ser específico del usuario. Si se alcanza el criterio de convergencia 68, se asume que los datos 44 de estimación de línea de base se han calculado con éxito. Por tanto, los datos f(x) de estimación de línea de base se restan de los datos I(x) de imagen de entrada para obtener los datos O(x) de imagen de salida sin borrosidad en la etapa 70.

Tras calcular los datos O(x) de imagen de salida se puede llevar a cabo una operación 72 post-procesamiento en los datos 36 de imagen de salida, tal y como una deconvolución.

Los datos O(x) de imagen de salida se pueden visualizar con o sin post-procesamiento en el visualizador 37.

En la Figura 3, se muestra el detalle III de la Figura 2 para explicar el esquema 66 de minimización semi-cuadrático en mayor detalle. El esquema 66 de minimización semi-cuadrático comprende la primera etapa 48 de iteración y la segunda etapa 50 de iteración.

En principio, el esquema 66 de minimización semi-cuadrático llevado a cabo por el motor 46 de minimización semicuadrático puede ser el algoritmo LEGEND. Sin embargo, según la invención se prefiere modificar la segunda etapa del algoritmo LEGEND para reducir de forma significativa la carga computacional.

En la realización que se muestra, se introduce la segunda etapa 50 iterativa tras inicializar los datos en la etapa 64. En este punto, el primer estimado f1(x) de los datos de estimación de línea de base se calcula al utilizar una convolución de los datos de imagen de entrada con una función G(x) de Green.

/i(x¿) = G(x¿) */(x¿)

Para el término de penalización basado en inclinación utilizado en esta realización, la función de Green se define de la siguiente forma:

donde /=[-■ ■] es la transformada de Fourier N dimensional discreta, F-1[---j es la transformada de Fourier N dimensional discreta inversa, y¡ es el parámetro de regularización del término de penalización de aspereza y

Entonces, en la primera etapa 48 de iteración, una versión actualizada de datos d(xi) auxiliares se puede calcular al utilizar los datos 44 de estimación de línea de base actuales de la siguiente manera:

, ( t a = f ( 2 a - l ) ( / ( x í ) - / í - i ( ^ ) ) si £ (*¿ ) < S

1 1 l — l ( X i ) / j _ i ( x ¿) de 1° contrario '

El parámetro a es una constante que puede haber sido especificada por el usuario.

A continuación, en la segunda etapa 50 iterativa, los datos 44 de estimación de línea de base actualizados se calculan al utilizar los datos d(x) auxiliares actualizados de la iteración l actual de la siguiente manera

En la siguiente etapa, se comprueba si se cumple el criterio 68 de convergencia. Si este no es el caso, el esquema 66 de minimización semi-cuadrático pasa a la etapa 48 iterativa utilizando los datos f(xi) de estimación de línea de base actualizados.

A continuación, se dan dos ejemplos de datos de imagen de salida sin borrosidad, en los cuales se ha utilizado el término de penalización basado en inclinación junto con la segunda etapa iterativa utilizando la convolución con la función de Green tal y como se describe con referencia a las Figuras 2 y 3.

La Figura 4 muestra los datos I(xi) o 6 de imagen de entrada de una foto de ejemplo, la Figura 5 muestra los datos O(xi) o 36 de imagen de salida sin borrosidad. La Figura 4 muestra una foto de mitocondria grabada con un microscopio de campo amplio DM6000 y un HCX PL APO CS 100,0x1,40 OIL en una apertura numérica de 1,4 y una emisión de cresta de 645 nm. El tamaño de un píxel corresponde a 40 nm.

A partir de la comparación de las Figuras 4 y 5 se puede observar que se ha eliminado una parte significativa del componente k(x¡) fuera de foco en los datos de imagen de salida. Esto se verifica en la Figura 6, la cual muestra la distribución de intensidad a lo largo de la línea VI en las Figuras 4 y 5, respectivamente. Se puede observar que los datos f(xi) de estimación de línea de base representan una línea de base suavizada en la distribución de intensidad, mientras que las crestas se mantienen en los datos O(xi) o 36 de imagen de salida.

La eliminación de borrosidad también funciona bien si la distribución de intensidad en los datos I(xi) de imagen de entrada tiene una característica diferente. Esto se demuestra en las Figuras 7, 8 y 10, que muestran un Paramecio. Mientras que la Figura 4 contiene una única estructura de tipo microesfera, en la que es comparativamente fácil distinguir la contribución en foco de la contribución fuera de foco, la Figura 7 contiene una estructura más compleja. En la Figura 7, un píxel corresponde a 65 nm. La imagen fue grabada utilizando un microscopio de campo amplio DM8 con una lente HCX FLUOTAR 100x/1,30 OIL en una apertura numérica de 1,3 y una emisión de cresta de 520 nm.

En la Figura 7, se muestran los datos I(xi) de imagen de entrada. En la Figura 8, se muestran los datos O(xi) de imagen de salida sin borrosidad. En la Figura 10, se indican las distribuciones de intensidad de los datos 6 de imagen de entrada, los datos 44 de estimación de línea de base y los datos 36 de imagen de salida a lo largo de la línea X de las Figuras 7 y 8. Como se puede observar, los datos f(xi) de estimación de línea de base también contienen crestas. Sin embargo, la escala de longitud de estas crestas es significativamente mayor que la variación de intensidad en los datos O(xi) de imagen de salida.

La Figura 9 muestra los datos 36 de imagen de salida tras la deconvolución. Una vez se ha eliminado la borrosidad de los datos de imagen de salida, el resultado de la convolución tiene muy buena calidad casi sin errores de observación.

Por tanto, en definitiva, se ha descrito un aparato 1 y un método para eliminar la borrosidad de datos de imagen de entrada. El aparato y método pueden utilizar un término de penalización de cualquier orden derivado discreto de los datos de estimación de línea de base y/o filtros de extracción de características. Independientemente de si se utiliza o no un término de penalización, puede ser preferible un ajuste mediante splines antes que el ajuste polinómico para crear un estimado de línea de base suavizado. Como un tercer aspecto independiente de la invención, se propone un motor 46 de minimización semi-cuadrático, el cual reduce la carga computacional de manera significativa al introducir una convolución en la segunda etapa 50 iterativa. La eficiencia computacional se puede preservar para un amplio intervalo de términos de penalización.

Números de referencia

1 aparato

2 microscopio

4 sección de formación de imagen

6 datos de imagen de entrada, I(x)

8 cámara

10 canal

12 objeto

14 fluoróforo

16 iluminación

17 lente

18 serie de tiempo de datos de imagen de entrada

sección de almacenamiento de imágenes

CPU

dispositivo informático

GPU

sección de entrada de imagen

medios de conexión de sección de entrada de imagen

sección de salida de imagen

medios de conexión de sección de salida de imagen

datos de imagen de salida, O(xi)

visualizador

procesador de imágenes

sección de eliminación de borrosidad

motor de estimación de línea de base

datos de estimación de línea de base, f(x)

motor de minimización semi-cuadrático

primera etapa de iteración

segunda etapa de iteración

configuración de parámetros de estimación de línea de base interfaz de usuario gráfica

inicialización de motor y esquema de minimización semi-cuadráticos motor y esquema de minimización semi-cuadráticos

criterio de convergencia

cálculo de datos de imagen de salida

operación post-procesamiento

Claims

REIVINDICACIONES

1. Método implementado por ordenador para eliminar la borrosidad de una imagen, estando la imagen representada por datos (I(xi)) de imagen de entrada,

comprendiendo el método las etapas de

- estimar una contribución (fe(x/)) fuera de foco en la imagen para obtener datos (f(xi)) de estimación de línea de base y de

- restar los datos de estimación de línea de base de los datos (I(xi)) de imagen de entrada para obtener datos (O(xi)) de imagen de salida sin borrosidad,

en el que la etapa de estimar la contribución (fe(xi)) fuera de foco comprende la etapa de

- calcular los datos (f(xi)) de estimación de línea de base como un ajuste para al menos un subconjunto de los datos (I(xi)) de imagen de entrada al minimizar un criterio (M(f(xi))) de minimización de mínimos cuadrados, y

en el que el criterio (M(f(xi))) de minimización de mínimos cuadrados comprende un término (P(f(xi))) de penalización, en el que el criterio (M(f(xi))) de minimización de mínimos cuadrados comprende una función (C(f(xi))) de coste que incluye un término (p (s(xi))) cuadrático truncado que representa la diferencia entre los datos (I(xi)) de imagen de entrada y los datos (f(xi)) de estimación de línea de base, en el que los datos (f(xi)) de estimación de línea de base se calculan utilizando un esquema (66) de minimización semi-cuadrático iterativo,

y en el que el esquema (66) de minimización semi-cuadrático iterativo comprende una primera etapa (48) iterativa y una segunda etapa (50) iterativa, en el que,

- en la primera etapa (48) iterativa, los datos (d(xi)) auxiliares se actualizan dependiendo de los datos (f(xi)) de estimación de línea de base de una iteración previa, del término (p(s(xj))) cuadrático truncado y de los datos (I(xi)) de imagen de entrada y,

- en la segunda etapa (50) iterativa, los datos (f(xi)) de estimación de línea de base se calculan directamente utilizando una convolución de una función (G(xi)) de Green discreta con una suma de los datos (I(xi)) de imagen de entrada y los datos (di(xi)) auxiliares actualizados.

2. Método según la reivindicación 1, en el que los datos (f(xi)) de estimación de línea de base se calculan utilizando un ajuste mediante splines a los datos (I(xi)) de imagen de entrada.

3. Método según la reivindicación 1 o 2, en el que el término (p(s(xi))) cuadrático truncado es asimétrico.

4. Método según cualquiera de las reivindicaciones 1 a 3, en el que el término (P(f(xi))) de penalización penaliza datos de estimación de línea de base no suavizados.

5. Método según cualquiera de las reivindicaciones 1 a 4, en el que el término (P(f(xi))) de penalización comprende al menos uno de una derivada de orden arbitrario de los datos (f(xi)) de estimación de línea de base, un filtro lineal de extracción de características, y una combinación lineal de un filtro lineal de extracción de características y derivadas de orden arbitrario de los datos (f(xi)) de estimación de línea de base.

6. Método según cualquiera de las reivindicaciones 1 a 5, en el que se deconvolucionan los datos de imagen de salida.

7. Medio legible por ordenador no transitorio que almacena un programa que hace que un ordenador ejecute el método de procesamiento de imágenes según cualquiera de las reivindicaciones 1 a 6.

8. Aparato (1) para eliminar la borrosidad de una imagen, estando la imagen representada por datos (I(xi)) de imagen de entrada, estando el aparato (1) configurado:

- para estimar una contribución (fe(xi)) fuera de foco en la imagen para obtener datos (f(xi)) de estimación de línea de base, que comprende calcular los datos (f(xi)) de estimación de línea de base como un ajuste para al menos un subconjunto de los datos (I(xi)) de imagen de entrada al minimizar un criterio (M(f(xi))) de minimización de mínimos cuadrados, y

- para restar los datos de estimación de línea de base de los datos (I(xi)) de imagen de entrada para obtener datos (O(xi)) de imagen de salida sin borrosidad,

en el que el criterio (M(f(xi))) de minimización semi-cuadrático comprende un término (P(f(xi))) de penalización y una función (C(f(xi))) de coste que incluye un término (p(s(xi))) cuadrático truncado que representa la diferencia entre los datos (I(xi)) de imagen de entrada y los datos (f(x/)) de estimación de línea de base,

en el que el aparato está además configurado para calcular los datos (f(xi)) de estimación de línea de base utilizando un esquema (66) de minimización semi-cuadrático iterativo,

en el que el esquema (66) de minimización semi-cuadrático iterativo comprende una primera etapa (48) iterativa y una segunda etapa (50) iterativa, en el que el aparato está además configurado

- para actualizar, en la primera etapa (48) iterativa, los datos (d(xi)) auxiliares dependiendo de los datos (f(xi)) de estimación de línea de base de una iteración previa, del término (y(s(xi))) cuadrático truncado y de los datos (I(x)) de imagen de entrada y

- para calcular, en la segunda etapa (50) iterativa, los datos (f(xi)) de estimación de línea de base directamente utilizando una convolución de una función (G(xi)) de Green discreta con una suma de los datos (I(xi)) de imagen de entrada y los datos (di(xi)) auxiliares actualizados.

9. Aparato según la reivindicación 8, en el que el motor de minimización semi-cuadrático comprende un operador (dj) derivado de primer orden discreto del término (P(f(xi))) de penalización.

10. Aparato según la reivindicación 8 o 9, en el que el término (P(f(xi))) de penalización comprende al menos uno de una derivada de orden arbitrario de los datos (f(xi)) de estimación de línea de base, un filtro lineal de extracción de características, y una combinación lineal de un filtro lineal de extracción de características y derivadas de orden arbitrario de los datos (f(xi)) de estimación de línea de base.