ES2338197A1 - Sistema automatizado y procedimiento para obtencion de imagenes totalmente focalizadas con microscopios de elevada magnificacion. - Google Patents

Sistema automatizado y procedimiento para obtencion de imagenes totalmente focalizadas con microscopios de elevada magnificacion. Download PDF

Info

Publication number
ES2338197A1
ES2338197A1 ES200801517A ES200801517A ES2338197A1 ES 2338197 A1 ES2338197 A1 ES 2338197A1 ES 200801517 A ES200801517 A ES 200801517A ES 200801517 A ES200801517 A ES 200801517A ES 2338197 A1 ES2338197 A1 ES 2338197A1
Authority
ES
Spain
Prior art keywords
focused
image
images
automated system
partially
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
ES200801517A
Other languages
English (en)
Other versions
ES2338197B2 (es
Inventor
Joaquin Martin Calleja
Fco. Javier Navas Pineda
Moritz Hubert Gunter Kulawiz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universidad de Cadiz
Original Assignee
Universidad de Cadiz
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universidad de Cadiz filed Critical Universidad de Cadiz
Priority to ES200801517A priority Critical patent/ES2338197B2/es
Priority to PCT/ES2009/000170 priority patent/WO2009141467A1/es
Publication of ES2338197A1 publication Critical patent/ES2338197A1/es
Application granted granted Critical
Publication of ES2338197B2 publication Critical patent/ES2338197B2/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/006Optical details of the image generation focusing arrangements; selection of the plane to be imaged
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

Sistema automatizado y procedimiento para la obtención de imágenes totalmente focalizadas con microscopios de elevada magnificación. La presente invención comprende tanto el procedimiento como la instrumentación para la obtención de imágenes con microscopios de elevada magnificación, enfocadas en todo el rango focal que nos interese, independientemente del objetivo utilizado y manteniendo totalmente estable la cromaticidad del objeto observado. Para ello se utiliza una metodología que permite obtener imágenes parcialmente focalizadas a diferentes distancias objetivo-objeto para luego extraer la parte focalizada de cada imagen y generar por acumulación, la imagen global del objeto. Su ventaja consiste en que permite automatizar los microscopios ópticos monoculares, binoculares o trioculares para obtener imágenes ópticas perfectamente focalizadas y con todo el rango cromático.

Description

Sistema automatizado y procedimiento para la obtención de imágenes totalmente focalizadas con microscopios de elevada magnificación.
Sectores de la técnica
G02B21/00M4A7F, G02B21/00M4A7.
Generalidades
La utilización de un microscopio óptico de elevada magnificación para la realización de micrografías de objetos tridimensionales presenta enormes problemas generados por la escasa profundidad de foco que es posible obtener en el rango de la radiación visible, es decir en el rango de la radiación electromagnética que va de los 370 nanómetros a los 770 nanómetros. En concreto y a modo de ejemplo, mediante un objetivo de 10X (10 aumentos), la profundidad de foco (también llamada DOF del inglés Depth Of Field) tiene un valor aproximado de 6 micrómetros. Esto implica que no será factible la observación focalizada de una muestra que presente rugosidades superficiales con desniveles a lo largo del eje óptico y dentro del campo de observación superiores a 6 micrómetros. Este valor del DOF varía con el cuadrado de la distancia focal por lo que la utilización de objetivos de mayores magnificaciones (menores distancias focales), conlleva una drástica disminución de la profundidad de foco o DOF, de forma que cuanto mayor sea la magnificación tanto mayores serán los requerimientos de planitud en las muestras para su correcta observación focalizada.
La metodología y la instrumentación que aquí se propone consigue salvar esta barrera ya que permite la obtención de imágenes enfocadas en todo el rango focal que nos interese, independientemente del objetivo utilizado y manteniendo totalmente estable la cromaticidad del objeto observado.
Estado de la técnica
Existen algunos sistemas y diseños experimentales que abordan de forma parcial esta problemática tanto en el campo de la microfotografía (imágenes obtenidas a través de un microscopio), como en el de la macrofotografía (fotografía clásica pero utilizando lentes especiales para la fotografía de pequeños objetos).
Algunos de estos sistemas son únicamente aplicables a la obtención de imágenes convencionales, no digitalizadas, que permiten la obtención de imágenes cromáticas de objetos con dimensiones centimétricas. En este caso se encuentra el sistema que utiliza como sistema de iluminación un proyector de luz especialmente adaptado para emitir un plano de luz perpendicular al eje óptico formado por el sistema de observación y el objeto a observar y situado justo a la distancia de focalización del objetivo de forma que sólo están iluminadas las partes del objeto que se encuentran a la distancia de focalización. Para conseguir obtener una imagen focalizada del objeto es preciso efectuar múltiples exposiciones sobre el mismo fotograma sincronizadas con el desplazamiento del objeto a fotografiar a lo largo del eje óptico definido por la cámara. Este sistema presenta severas complicaciones de uso por la necesidad de eliminar vibraciones o movimientos indeseados tanto de la cámara como del objeto así como de la iluminación secundaria de las partes del objeto fuera del plano de iluminación debidas a las reflexiones generadas por las zonas iluminadas y por la difracción de la luz generadas en los elementos limitantes del proyector usados para definir el plano de iluminación. Un ejemplo de este tipo de sistemas es posible encontrar en la patente "Method of and apparatus for the expansión of the range of the depth of focus beyond the limit given by conventional images" (patente nº US4,141,032, 20-02-1979), en el que las imágenes obtenidas de forma convencional son mostradas en un monitor una vez que se le han aplicado filtros para eliminar las zonas no focalizadas de las imágenes obtenidas en cada exposición al sistema de captura de imágenes.
En el caso de la fotografía digital y aplicado a la microfotografía uno de los sistemas más exitosos es el de los microscopios confocales. El microscopio confocal, es un microscopio óptico que utiliza como fuente de iluminación un láser altamente focalizado e incorpora dos diafragmas: (a) un diafragma o pinhole (en terminología inglesa) de iluminación que se encuentra localizado tras la fuente luminosa, cuya utilidad es delimitar la iluminación del objeto a un único punto justo en el punto de focalización y (b) un diafragma o pinhole de detección situando delante del fotodetector cuya utilidad es restringir la captación de luz únicamente a aquella proveniente del punto del objeto situado justo en el punto de iluminación correspondiente al punto focal delimitado por el diafragma de iluminación. Dado que tanto la iluminación como la observación están restringidas a un único punto, la generación de una imagen del objeto a fotografiar implica recorrer toda la superficie del mismo en las tres direcciones del espacio mediante un desplazamiento micrométrico del objeto a fotografiar según una secuencia de planos a diferentes distancias del objetivo, detectando en cada plano únicamente los puntos situados en el punto focal. Las imágenes así obtenidas son muy nítidas pero monocromáticas ya que el sistema utiliza como fuente de iluminación un láser altamente monocromático. Este es un problema de gran importancia de la microscopía confocal y de hecho se han estudiado diversas técnicas para obtener una solución que mejore la calidad de las imágenes obtenidas. Una de las opciones más utilizadas es el uso de reactivos fluorescentes (fluorocromos) para resaltar zonas de interés de la imagen. Los fluorocromos son sustancias que tienen la propiedad de emitir luz de una longitud de onda determinada cuando son iluminados con una radiación de una longitud de onda característica. Aún así, el uso de fluorocromos en microscopía presenta diversos problemas, como son (b1) la pérdida de fluorescencia debido a las grandes intensidades de luz empleadas, por lo que las muestras estudiadas con esta técnica no puede observadas durante largos periodo de tiempo debido a la desaparición de la fluorescencia, proceso denominado "fluorescence fading" y (b2) la imagen obtenida no representa a la cromaticidad real del objeto sino a la cromaticidad del fluorocromo superpuesta a la correspondiente a la de la radiación láser. Por tanto, el problema de obtener imágenes policromáticas utilizando esta técnica no queda resuelto, lo que limita su uso. A pesar de ello, no es raro encontrar artículos científicos en diversos campos de la ciencia, sobre todo en los campos de la biología, la geología y la ciencia de los materiales, en los que el empleo de la microscopía confocal está muy extendido. Como ejemplo, podemos citar las siguientes referencias bibliográficas:
1.
"Viscoelastic properties of high pressure and heat induced tofu gels", Saowapark, S. et al, Food Chemistry, Vol. 107 (\underline{2008}).
2.
"Láser scanning confocal arthroscopy of a fresh cadaveric knee joint", Jones, C.W. Et al, Osteorarthritis and Cartilage, Vol. 15 (\underline{2007}).
3.
"Betanin a betacyanin pigment purified from fruits of Opuntia ficus-indica induces apoptosis in human chronic myeloid leukemia Cell line-K562", Sreekanth, D. et al, Phytomedicine, Vol. 14 (\underline{2007}).
4.
"A triphasic ceramic-coated porous hydroxyapatite for tissue engineering application", Acta Biomaterialia, Vol. 4 (\underline{2008}).
Podemos observar en estas referencias el uso de microscopía confocal para la obtención de imágenes focalizadas. La actualidad de los trabajos citados indica la necesidad de contar con un sistema que proporcione imágenes focalizadas más allá del límite impuesto por la focalización con lentes convexas y, por tanto, el sistema que aquí presentamos y que es objeto de la patente de invención será de gran utilidad en muchos campos científicos.
Además, de estas referencias que nos muestra que el problema que conseguimos resolver con el sistema y procedimiento que presentamos en esta patente es de gran importancia en la investigación actual, también podemos observar en la bibliografía de patentes de las últimas décadas la presencia de varios sistemas que intentan resolver este mismo problema, con lo que se redunda en la idea de que el sistema que en este documento presentamos puede ser un avance de gran interés. Todos estos sistemas aportan unas mejoras con respecto a la microscopía óptica clásica, pero no resuelven en toda su extensión el problema, y presentan ciertas deficiencias que nuestro sistema supera. A continuación, se exponen algunos sistemas que podemos encontrar en la bibliografía, y se comparan con el que aquí se presenta:
1.
Patente nº GB 2 385 481 A: "Automated microscopy at a plurality of depth of focus through the thickness of a sample". (Fecha: 20-08-2003).
\quad
Este sistema permite obtener múltiples imágenes de un objeto en función del grosor de la misma y de la lente objetivo utilizada para obtener imágenes de todas las partes del objeto focalizadas, pero para documentar el objeto es necesario un conjunto de imágenes muy amplio, y en muchas de ellas la zona de interés o zona focalizada puede ser muy pequeña y aportar poca información. Este sistema no permite obtener de forma completamente automatizada una imagen del objeto focalizada en toda su extensión, pues no se aplica ningún algoritmo que sea capaz de discernir cual es la zona focalizada de cada imagen obtenida y con posterioridad unir todas estas zonas para obtener una única imagen del objeto que nos lo definirá en toda su extensión. Nuestro sistema incorpora un algoritmo que sí es capaz de lograr este objetivo.
2.
Patente nº WO 98/57211: "Optical system having an unlimited depth of focus". (Fecha: 17-12-1998).
\quad
En esta patente se describe un sistema compuesto por un sistema de lentes que genera una profundidad de campo mayor que las lentes convencionales, y que gracias a dicho conjunto de lentes y a un movimiento controlado y muy veloz de las mismas genera en el observador una sensación de imagen focalizada en una profundidad de campo mayor que las lentes convencionales. Obviamente, la restricción de este sistema es que la imagen que ve el observador es una sensación y no es capturada por ningún sistema, por lo que este sistema no es comparable al que en este documento se presenta.
3.
Patente nº US4661986: "Depth-of-focus imaging process method". (Fecha: 28-04-1987).
\quad
En esta patente se presenta un sistema que permite obtener imágenes a diferentes distancias objeto-lente objetivo y que posteriormente trata estas imágenes para obtener una imagen lo más focalizada del objeto. El tratamiento de estas imágenes se desarrolla por medio de un método denominado Pirámide de Burt, que es un método basado en la correlación de regiones, a las que se les aplica un operador tipo laplaciano. La limitación de este tipo de métodos es que se desarrolla el análisis sobre regiones de las muestras, pues su principal utilidad reside en el campo de estudios de movimientos, por lo que no llegan al nivel de resolución que el sistema que presentamos en esta patente. El sistema que exponemos en este documento permite obtener imágenes desplazadas una de la siguiente una distancia menor que la profundidad de foco de la lente objetivo utilizada y después realiza un análisis de todas las imágenes capturadas píxel a píxel, lo que permite obtener una imagen final en donde es posible visualizar el objeto focalizado en toda su extensión.
Salvo los sistemas descritos anteriormente, no comparables al que aquí se presenta, no conocemos ningún otro sistema que permita la obtención de microfotografías bien focalizadas de objetos que presenten en su superficie una variación de niveles mayor que la correspondiente a la profundidad de foco del objetivo utilizado, manteniendo además totalmente estable la cromaticidad del objeto observado, condición ésta que, tal y como hemos explicado, no es fácil de obtener utilizando las técnicas descritas anteriormente, y que aporta un valor añadido al sistema que en esta patente se presenta.
Descripción de la invención Introducción
La profundidad de foco con que es posible observar un objeto tridimensional mediante un microscopio compuesto es una propiedad que depende de la magnificación de la lente usada como objetivo, siendo prácticamente independiente de las características del ocular para el caso de una observación directa o de las lentes de conversión en el caso de una observación mediante un dispositivo de registro de imágenes, bien sea digital o analógico. Además, aunque existen en el mercado diversos tipos y calidades de objetivos de microscopio, prácticamente todos ellos presentan unas características ópticas fijas de forma que existe una correlación entre el valor de la magnificación del objetivo y la magnitud denominada Número de Apertura (NA), ésta última relacionada con el valor del ángulo del cono de focalización del objetivo (figura 1) y calculable a través de la expresión
1
donde n es el índice de refracción del medio en el que se efectúa la observación y u es el valor del semiángulo plano del cono focal de la lente. Los valores que toma el Número de Apertura para las magnificaciones más habituales de los objetivos de microscopio son:
2
A partir del valor del Número de Apertura se pueden conocer las características de focalización de la lente objetivo tanto en lo que se refiere al tamaño mínimo de partícula que se puede observar, denominado habitualmente como resolución espacial, como en lo que se refiere al valor del DOF. Así, la resolución se define como
3
donde D_{0} es el diámetro mínimo de luz en el foco o resolución, \pi es el número pi, n es el índice de refracción del medio de observación y \gamma es la longitud de onda de la radiación utilizada como referencia, cuyo valor es de 550 nanómetros, ya que es aquella a la que el ojo humano presenta la máxima sensibilidad y también es la de mayor intensidad en el espectro de irradiación solar. Este valor de D_{0} se utiliza también para la definición del DOF, siendo ésta la distancia hacia adelante y hacia atrás desde el punto focal de la lente objetivo y a lo largo del eje óptico de focalización, entre la cual el valor del área del punto focal no es mayor que dos veces el área en el foco (figura 1). Esta distancia DOF se puede calcular a través de la expresión matemática
4
donde todos los términos han sido previamente definidos. Utilizando esta expresión se pueden calcular los valores de profundidad de foco que presentan los objetivos más usuales:
5
En definitiva, esto significa que, por ejemplo, si se observa con un objetivo de 40X, que presenta una profundidad de foco, DOF, de 0.83 micrómetros, un objeto tridimensional que tenga irregularidades superficiales mayores en tamaño que el valor indicado para la profundidad de foco, sólo podrá ser visible de forma bien focalizada una franja del objeto de espesor equivalente al valor del DOF, situada a cualquier altura del objeto, pero sólo de dicho espesor.
Por otra parte, si se representan los datos de DOF frente a la magnificación es posible encontrar una relación entre ambas magnitudes, que nos permite definir una función genérica para cualquier lente objetivo, lo que nos posibilita poder obtener la distancia máxima de separación entre dos imágenes a capturar por el sistema. Hemos ajustado los datos teóricos a diversas funciones matemáticas encontrando que la que ofrece un mejor ajuste para dichos datos es una función exponencial decreciente de segundo orden, tal y como es posible observar en la figura 2. La función exponencial de segundo orden es
6
donde las variables x e y son la magnificación y DOF, respectivamente y las constantes toman los valores:
y_{0} = 0; A1 = 166,433; t1 = 2,385; A2 = 4,530; t2 = 26,070 y R^{2} = 0,99995
que nos da una idea del buen ajuste entre los datos teóricos y la función definida.
En nuestro sistema las imágenes se espaciarán el valor de DOF que se obtiene multiplicando éste por un factor que oscila entre 0.7 y 0.9 para que exista un solapamiento entre una imagen y la siguiente. Así pues, hemos diseñado el sistema con la característica de que sea capaz de obtener imágenes espaciadas entre ellas, según el eje óptico de observación, una distancia menor que el valor de DOF de la lente objetivo utilizada.
En la figura 3 se muestran dos conjuntos de imágenes, en uno de ellos (figuras 3a) se observa un ejemplo de doce imágenes en las que, desplazando el objeto a lo largo del eje óptico del objetivo, es posible obtener imágenes en los que la franja de focalización se vaya desplazando a lo largo del objeto por lo que, una extracción de la parte focalizada de cada una de ellas y sumando estas franjas entre sí, conducirá a una imagen plenamente focalizada a pesar de que el objeto muestra desniveles superficiales mayores que la profundidad de foco del objetivo utilizado. Las imágenes de la figura 3b serían las imágenes de las franjas que están focalizadas en cada una de las doce imágenes originales. En la figura 4, se observa la imagen que se obtiene como suma de las doce imágenes de la figura 3b, es decir la imagen completamente focalizada obtenida a partir de las doce imágenes de la figura 3a.
Descripción del procedimiento
El objetivo de la presente invención es la obtención de imágenes focalizadas en un rango superior al meramente definido por la profundidad de campo mediante: (a) adquisición de un conjunto de imágenes focalizadas, a diferentes distancias lente objetivo/objeto, con una variación de dicha distancia objetivo/objeto no superior a la definida por el valor del DOF del objetivo utilizado, (b) extracción, para cada imagen, de la parte focalizada mediante un adecuado tratamiento informático de los datos que componen la imagen y la aplicación de un algoritmo matemático basado en la maximización de la varianza de cada punto respecto a los de su entorno más próximo y (c) composición de una nueva imagen completa del objeto como suma de las partes focalizadas extraídas de cada imagen.
\newpage
Para alcanzar esta meta, el dispositivo utilizado consta de diversos componentes que se describen a continuación (figura 5):
(1) Subsistema de captura de imágenes
Se compone de:
(1a) Microscopio óptico
El microscopio debe poseer la capacidad de enviar la imagen observada por el objetivo (1a1) a un dispositivo de captura de imágenes (1b). Dado que el objeto a observar es tridimensional y se supone opaco, el microscopio a usar debe poseer algún tipo de sistema de iluminación azimutal, bien sea de tipo infraocular (1a2) o bien extraocular (1a3), pudiendo ser en este último caso con o sin simetría axial.
(1b) Elemento para la captura de imágenes
El procedimiento que se describirá más adelante para la generación de micrografías de amplia focalización trabaja con imágenes digitalizadas, por lo que el elemento para su captura puede ser un sistema digital de adquisición de imágenes acoplado al microscopio (la) o un sistema de adquisición de imágenes no digital (película, placa, etc), debiéndose en este caso, efectuar una posterior digitalización de las imágenes obtenidas.
(2) Subsistema de modificación de la distancia objeto/lente objetivo
Se dispone de un sistema de traslación a lo largo del eje óptico del microscopio que permita posicionar el objeto a diferentes distancias de la lente objetivo. Esta capacidad de desplazamiento tiene que ser compatible con las resoluciones derivadas de los valores indicados de profundidad de campo, es decir que para trabajar con lentes de 100X el sistema debe ser capaz de avanzar en pasos no mayores de 0.22 micrómetros. Este sistema se compone de: (2a) elemento de movimiento de alta precisión capaz de cumplir con el condicionante anteriormente expuesto, (2b) soportes necesarios para el elemento de movimiento de alta precisión, (2c) conexionado eléctrico necesario con el subsistema informatizado de control (3) y (2d) acoplamientos necesarios para que la aplicación del movimiento desde el elemento de movimiento de alta precisión (2a) hasta el objeto sea óptimo.
(3) Subsistema informatizado de control y tratamiento de imágenes
El subsistema informátizado de control y tratamiento de imágenes (3) consiste en un ordenador (3a) capaz de procesar la información contenida en las imágenes adquiridas, y un elemento compuesto por sentencias organizadas según un criterio lógico de operación (3b) que permite el tratamiento de las imágenes adquiridas para la obtención de micrografías de amplia focalización. El equipamiento utiliza para obtener el resultado buscado de una imagen bien focalizada en un amplio rango de profundidades, un conjunto de imágenes que hayan sido obtenidas a diferentes distancias objeto/lente objetivo.
El subsistema informatizado de control y tratamiento de imágenes (3) se basa principalmente en un algoritmo matemático que permite obtener de cada imagen capturada la zona de la misma que está focalizada. El algoritmo está basado en la determinación de la varianza de un conjunto perimetral de puntos respecto al punto analizado, pudiendo ser definido por el usuario el espesor de dicho perímetro. Este algoritmo se completa con las rutinas lógicas necesarias para que a partir de las zonas focalizadas de cada imagen capturada sea posible obtener una nueva imagen del objeto en toda la extensión de estudio y completamente focalizada.
De esta forma, es el elemento de tratamiento de imágenes el componente principal del sistema que aquí se presenta y que permite obtener imágenes focalizadas en un amplio rango de profundidades con las características descritas en este documento y que mejoran en gran medida a los sistemas que existen actualmente.
Modo de trabajo de la invención
El modo de trabajo del sistema que aquí se presenta se puede resumir en los pasos que a continuación se detallan.
En primer lugar, una vez colocado el objeto a estudiar en el portamuestras del microscopio (1a), se elige el objetivo a utilizar en función del estudio que se desea desarrollar, que poseerá una determinada profundidad de campo en función de su magnificación, tal y como se ha expuesto anteriormente. El valor de la profundidad de campo establecerá los valores del desplazamiento que sufrirá el objeto entre cada una de las imágenes que se adquirirán, y por tanto los valores en que variará la distancia objeto/lente objetivo entre cada imagen capturada, que deberá ser igual o menor que la profundidad de campo. Tomándose un origen de coordenadas para la adquisición de imágenes en el objeto y en función de su morfología en la superficie de estudio (es decir, de la profundidad del objeto que es necesario observar), y del valor de profundidad de campo, el subsistema informatizado de control y tratamiento de imágenes (3) establecerá el número de desplazamientos del objeto y por tanto el número óptimo de imágenes que se deben capturar, utilizando la expresión obtenida anteriormente que relaciona la DOF con la magnificación y aplicando un factor, tal y como se expuso con anterioridad, para que se produzca un cierto solapamiento entre una imagen y la siguiente.
En segundo lugar, una vez determinados estos parámetros, el subsistema informatizado de control y tratamiento de imágenes (3) comenzará el proceso de toma de imágenes, controlando que el sistema de modificación de la distancia objeto/lente objetivo (2) produzca el desplazamiento del objeto hasta situarlo en una posición adecuada para la toma de imágenes. En esta situación, el elemento para la captura de imágenes (1b), adquirirá una imagen que tendrá focalizada una parte del objeto. Esta adquisición puede desarrollarse de forma automática a través del subsistema informátizado de control y tratamiento de imágenes (3) y utilizando un elemento de captura de imágenes automatizado, o bien de forma manual si se utiliza un dispositivo que desarrolle su función de esta forma. En este caso, las imágenes deberán ser transferidas al sistema informatizado y digitalizadas en caso de ser necesario.
El proceso de posicionamiento del objeto en la posición de captura de imágenes y la adquisición de una imagen se repite tantas veces como sea necesario para poder abarcar toda la profundidad del objeto. El desplazamiento que sufrirá éste en cada paso será menor que la profundidad de campo que presente la lente objetivo utilizada, asegurándose de esta forma que el elemento para la captura de imágenes (1b) adquiera tantas como sean necesarias para abarcar todo el objeto.
Por último, una vez adquiridas todas las imágenes necesarias, y transferidas, bien de forma automática o manual, al subsistema informatizado de control y tratamiento de imágenes (3), éste aplicará un procedimiento para obtener una sola imagen en la que todas las partes del objeto estén focalizadas. Este procedimiento es capaz de discernir las zonas focalizadas de las que no lo están dentro de una imagen cualquiera, es decir, se determinará en primer lugar cuales son las zonas del objeto focalizadas en cada una de las imágenes capturadas, y posteriormente se compondrá una imagen global del objeto formada por la superposición de las zonas focalizadas anteriormente determinadas.
De esta forma podemos resumir el procedimiento que desarrolla el elemento de tratamiento de las imágenes (3b) para la generación de imágenes focalizadas a partir del conjunto de imágenes capturadas en los siguientes pasos:
1.
Se parte de un conjunto de N capas, que denominamos "imacapas", de i*j elementos de señal RGB-HSL, que en conjunto forman una matriz tridimensional de datos. Cada "imacapa" se corresponde con los datos númericos de señal RGB-HSL de la imagen proporcionada por el dispositivo de observación (microscopio) y que ha sido capturada mediante el elemento de captura de imágenes (1b), de forma que entre cada imagen existe un desplazamiento k entre el objeto y la lente objetivo. Este desplazamiento deberá ser menor que la profundidad de foco del objetivo utilizado para la observación y obtenido al multiplicar el valor de DOF por un coeficiente en el rango 0.7\leqCoef\leq0.9.
2.
A continuación, cada una de las "n" "imacapas" se descompone en sus componentes primarios R, G, B, H, S y L, generando las subcapas de datos nR, nG, nB, nH, nS y nL. A partir de estas subcapas se compone una nueva capa de datos obtenidos mediante la suma:
7
\quad
donde los elementos uR...uL son unos coeficientes que toman el valor 0 o 1 en función de cuales son las subcapas con las que se va a efectuar el análisis posterior. Cada una de las nuevas capas de datos formada se denomina "anacapa".
3.
Para cada una de las "n" "anacapas" se efectúa un proceso de cálculo que consiste en la extracción consecutiva y organizada por filas y columnas de submatrices de datos de dimensiones (v,v), siendo v un número impar comprendido entre 3 y 9, el cual será fijado con anterioridad, y será además constante durante todo el proceso. Para el conjunto de datos existente en cada una de las submatrices indicadas se calcula la varianza, definida como
8
siendo x_{i} cada uno de los datos de la submatriz, 9
\quad
El conjunto de los valores de la varianza generados para cada una de las "anacapas" y organizado por filas y columnas conforma una nueva matriz de datos que se denomina "varcapa", obteniéndose un total de "n" "varcapas". Cada una de las "varcapas" tendrá como dimensiones ({i-v},{j-v}) y será una representación de la evolución de la similitud de los datos que definen una imagen a lo largo y ancho de capa "imacapa".
\newpage
4.
Del conjunto total de "varcapas" se extrae el vector formado por los elementos (0,0) de cada "varcapa", siendo por lo tanto un vector de "n" datos, tantos como capas existan. Como cada uno de los datos del vector aquí considerado se corresponde con la varianza de una matriz de (v,v) elementos, se considera que el dato de la "imacapa" k que presenta el máximo valor de varianza se corresponde con el de la imagen focalizada. Este proceso se repite de forma consecutiva y organizada a todos los ({i-v},{j-v}) datos que conforman las diferentes "varcapas".
5.
En el caso de que todos los valores del vector (i,j) de "varcapas" sean iguales o su variabilidad sea inferior a un determinado límite, entonces no es posible determinar con precisión cual es la capa de mejor focalización para dicha posición (i,j). En dicho caso, se escoge el dato de la "imacapa" que presente la mejor focalización global, determinada ésta por la "anacapa" que presente la máxima varianza global.
6.
Una vez determinada cual es la capa de mayor focalización para cada posición, se conforma la imagen enfocada en toda la extensión del objeto con los valores originales RGB-HSL en la capa de mejor focalización para cada posición.
Por otra parte, otro aspecto de vital importancia del sistema y procedimiento que aquí se exponen es que no modifica la cromaticidad del objeto a estudiar debido a que trata con datos numéricos de los colores que componen la imagen sin interaccionar con el sistema de iluminación o de detección en ningún momento. De esta forma, este sistema actúa como un microscopio que fuese capaz de observar en una profundidad de campo elegible por el usuario del mismo, constituyendo así un gran avance en el campo de la microscopía óptica en particular, y de la microscopía en general.
Descripción de las figuras
Figura 1. Esquema en el que se definen el número de apertura y la profundidad de campo desde un punto de vista geométrico.
Figura 2. Representación de los valores teóricos de DOF frente a la magnificación y del ajuste de esos datos a una función exponencial decreciente de 2º orden.
Figura 3a. Ejemplo de doce imágenes de un mismo objeto en el que se ha variado la distancia lente objetivo/objeto a través del eje óptico en las que se observa diferentes zonas focalizadas dentro del objeto en cada una de ellas.
Figura 3b. En estas imágenes se observa la zona focalizada de cada una de las doce imágenes mostradas en la figura 3a.
Figura 4. Imagen obtenida como suma de las doce imágenes mostradas en la figura 3b.
Figura 5. Esquema general del sistema automatizado para la obtención de imágenes totalmente focalizadas con microscopios de elevada magnificación, en donde se observan los siguientes componentes del mismo:
(1)
Subsistema de captura de imágenes,
(1a)
Microscopio óptico.
(1a1)
Lentes objetivo.
(1a2)
Sistema de iluminación.
(1b)
Elemento para la captura de imágenes.
(2)
Subsistema de modificación de la distancia objeto/lente objetivo.
(2a)
Sistema de movimiento de alta precisión.
(2b)
Soportes del sistema de movimiento.
(2c)
Conexionado del sistema de movimiento.
(2d)
Acoplamientos.
(3)
Subsistema informatizado de control y tratamiento de imágenes.
(3a)
Ordenador.
(3b)
Software de control y tratamiento de imágenes.

Claims (19)

1. Sistema automatizado para la obtención de imágenes totalmente focalizadas con microscopios de elevada magnificación, basado en la captura secuencial de imágenes digitalizadas parcialmente focalizadas, a través de la óptica del microscopio y a diferentes alturas de observación, con un desplazamiento entre ellas inferior a la profundidad de foco de la lente objetivo, a partir de las cuales se extrae la parte que está focalizada de cada una de las imágenes capturadas y parcialmente focalizadas mediante la aplicación de un algoritmo que contempla la varianza matemática en los valores cromáticos de cada píxel de cada imagen parcialmente focalizada, generando la imagen global focalizada por apilamiento de las partes focalizadas.
2. Sistema automatizado para la obtención de imágenes totalmente focalizadas con microscopios de elevada magnificación, según reivindicación 1, caracterizado porque la instrumentación utilizada comprende:
a) Un subsistema para la captura de imágenes parcialmente focalizadas.
b) Un subsistema de modificación de la distancia objeto/lente objetivo.
c) Un subsistema informatizado de control y tratamiento de imágenes parcialmente focalizadas.
3. Sistema automatizado para la obtención de imágenes totalmente focalizadas con microscopios de elevada magnificación, según reivindicación 1, caracterizado porque el subsistema de captura de imágenes parcialmente focalizadas comprende un microscopio óptico donde se situará el objeto a estudiar, y un elemento para la captura de imágenes parcialmente focalizadas.
4. Sistema automatizado para la obtención de imágenes totalmente focalizadas con microscopios de elevada magnificación, según reivindicación 1, caracterizado porque el microscopio óptico dispone de un sistema de iluminación azimutal, bien sea de tipo infraocular o bien extraocular con o sin simetría axial.
5. Sistema automatizado para la obtención de imágenes totalmente focalizadas con microscopios de elevada magnificación, según reivindicación 1, caracterizado porque el microscopio óptico deberá poseer la capacidad de enviar la imagen parcialmente focalizada observada por el objetivo a un dispositivo de captura de imágenes.
6. Sistema automatizado para la obtención de imágenes totalmente focalizadas con microscopios de elevada magnificación, según reivindicación 1, caracterizado porque el subsistema de captura de imágenes comprende un elemento para la captura de imágenes de forma digital o en su defecto comprenderá un sistema de digitalización de imágenes.
7. Sistema automatizado para la obtención de imágenes totalmente focalizadas con microscopios de elevada magnificación, según reivindicación 1, caracterizado porque el subsistema de modificación de la distancia objeto/lente objetivo permite posicionar el objeto a diferentes distancias de la lente objetivo.
8. Sistema automatizado para la obtención de imágenes totalmente focalizadas con microscopios de elevada magnificación, según reivindicación 1, caracterizado porque el subsistema de modificación de la distancia objeto/lente objetivo comprende un elemento de movimiento de alta precisión y los soportes y acoplamientos necesarios para interactuar con el objeto de forma óptima.
9. Sistema automatizado para la obtención de imágenes totalmente focalizadas con microscopios de elevada magnificación, según reivindicación 1, caracterizado porque el elemento de movimiento de alta precisión se acopla con el objeto de forma que es capaz de producir el movimiento de éste a través del eje de observación de la lente objetivo.
10. Sistema automatizado para la obtención de imágenes totalmente focalizadas con microscopios de elevada magnificación, según reivindicación 1, caracterizado porque el elemento de movimiento de alta precisión es capaz de producir movimientos menores a la profundidad de campo de las lentes objetivo comerciales más comunes.
11. Sistema automatizado para la obtención de imágenes totalmente focalizadas con microscopios de elevada magnificación, según reivindicación 1, caracterizado porque posee los acoplamientos y soportes necesarios para que el elemento de movimiento de alta precisión desarrolle su función según las reivindicaciones 8 y 9.
12. Sistema automatizado para la obtención de imágenes totalmente focalizadas con microscopios de elevada magnificación, según reivindicación 1, caracterizado porque para determinar cual es el desplazamiento óptimo entre dos imágenes parcialmente focalizadas consecutivas utiliza el siguiente procedimiento:
(a)
determina cual es la profundidad de foco de la lente objetivo utilizada en la observación mediante la fórmula matemática DOF= 166.433*EXP[-X/2.385] +4.530*EXP[-(X^{2})/26.070].
(b)
Multiplica el valor de DOF obtenido según el apartado 12.a por un factor en el rango 0.7\leqCoef\leq0.9, siendo el resultado el valor de desplazamiento que debe aplicarse al objeto en la dirección del eje óptico de observación para la captura de la imagen parcialmente focalizada.
13. Sistema automatizado para la obtención de imágenes totalmente focalizadas con microscopios de elevada magnificación, según reivindicación 1, caracterizado porque el subsistema informatizado de control y tratamiento de imágenes consiste en un ordenador capaz de procesar las entradas y salidas de información y un software de control y tratamiento de imágenes que, mediante su lógica estructurada, maneja la información requerida para:
a) Controlar el movimiento que debe producir el elemento de movimiento de alta precisión para situar el objeto en la posición deseada para la adquisición de cada una de las imágenes parcialmente focalizadas.
b) Controlar la adquisición de cada una de las imágenes parcialmente focalizadas, una vez posicionado el objeto en el caso de usar un sistema de captura de imágenes automatizado.
c) Guardar las imágenes parcialmente focalizadas una vez capturadas, y
d) Aplicar el algoritmo para, a partir de todas las imágenes parcialmente focalizadas adquiridas del objeto, obtener una imagen del mismo completamente focalizada en toda su extensión y en toda su profundidad.
14. Sistema automatizado para la obtención de imágenes totalmente focalizadas con microscopios de elevada magnificación, según reivindicación 1, caracterizado porque el software de control y tratamiento de imágenes se compone de un algoritmo matemático capaz de determinar las zonas focalizadas de las imágenes parcialmente focalizadas capturadas y de obtener una imagen totalmente focalizada a partir de todas las imágenes parcialmente focalizadas capturadas, utilizando únicamente la zona focalizada de las mismas.
15. Sistema automatizado para la obtención de imágenes totalmente focalizadas con microscopios de elevada magnificación, según reivindicación 1, caracterizado porque el software de control y tratamiento de imágenes se compone de un algoritmo matemático capaz de discernir cual es la imagen con mejor focalización en cada píxel que componen las imágenes capturadas.
16. Sistema automatizado para la obtención de imágenes totalmente focalizadas con microscopios de elevada magnificación, según reivindicación 1, caracterizado porque el algoritmo usado para la extracción de la parte focalizada de cada imagen parcialmente focalizada se basa en:
(a)
Descompone cada imagen digital parcialmente focalizada en sus componentes RGB (Red, Green y Blue).
(b)
Calcula las componentes HSL (Hue, Saturation y Luminance) de cada imagen a partir de los valores RGB indicados en el apartado 16.a.
(c)
Obtiene una nueva imagen como suma de las componentes R, G, B, H, S y L obtenidos según se indica en los apartados 16.a y 16.b, multiplicando cada componente por un factor de peso estadístico comprendido en el rango 0-1.
(d)
Para la imagen obtenida según el apartado 16.c, se determinan los píxeles que cumplen el criterio de focalización, expresando éste en función del valor estadístico de la varianza de cada uno de los píxeles de la imagen y los de su entorno perimetral, respecto a un determinado límite.
(e)
Extrae de cada imagen parcialmente focalizada los píxeles que han superado el criterio de focalización expresado en el punto 16.d, que por sustitución de los mismos en una imagen negra de referencia, genera la imagen final prefocalizada.
(f)
Determina, de acuerdo con la reivindicación 15, cual de las imágenes parcialmente focalizada presenta la máxima focalización mediante la maximización del valor de la varianza global de cada imagen, calculando dicho valor mediante la aplicación de alguno de los siguientes criterios:
i.
el criterio expuesto en el punto 16.d referido al punto central de la imagen y usando como entorno perimetral todos los píxeles de la imagen.
ii.
La suma de los valores de varianza obtenida para cada uno de los píxeles de la imagen según lo expuesto en el punto 16.d y usando como entorno perimetral los 8 píxeles más próximos al píxel considerado.
iii.
La suma de los valores de varianza obtenida para cada uno de los píxeles de la imagen según lo expuesto en el punto 16.d y usando como entorno perimetral un número de píxeles a determinar por el usuario.
(g)
Rellena los píxeles que un estuviesen cubiertos en la imagen final prefocalizada obtenida según se expresa en el apartado 16.e, con los píxeles equivalentes de la imagen parcialmente focalizada de mejor focalización determinada según el criterio expuesto en el punto 16.f.
17. Sistema automatizado para la obtención de imágenes totalmente focalizadas con microscopios de elevada magnificación, según reivindicación 1, caracterizado porque el algoritmo capaz de conformar una imagen a partir de los píxeles que presenten mejor focalización de cada una de las imágenes parcialmente focalizadas, según lo descrito en la reivindicación 16, permite modificar por el usuario las variables de contorno entre las que se incluyen:
(a)
El peso estadístico de cada una de las componentes R, G, B, H, S y L de las imágenes parcialmente focalizadas.
(b)
La amplitud del número de capas perimetrales que se emplea para determinar la varianza característica de cada píxel.
(c)
El valor umbral que determina cuando la varianza es tal que el píxel debe ser considerado como píxel focalizado.
18. Un procedimiento para la obtención de imágenes totalmente focalizadas con microscopios de elevada magnificación que, haciendo uso de la instrumentación descrita en las reivindicaciones 1 a 17, se caracteriza por:
a) Llevar a cabo, con precisión submicrométrica, el movimiento del objeto a estudiar a lo largo del eje óptico de observación, necesario para colocarlo en la posición de captura de imágenes parcialmente focalizadas según la profundidad de campo de la lente objetivo,
b) Capturar imágenes parcialmente focalizadas del objeto a estudiar en las posiciones adecuadas de forma automatizada o bien de forma manual.
c) Obtener una imagen completamente focalizada del objeto a estudiar en toda su extensión y en toda su profundidad a partir de las imágenes parcialmente focalizadas capturadas.
19. Uso del sistema automatizado para la obtención de imágenes totalmente focalizadas con microscopios de alta magnificación, descrito en las reivindicaciones 1 a 17, para obtener imágenes totalmente focalizadas con lentes objetivo de diversas y altas magnificaciones.
ES200801517A 2008-05-23 2008-05-23 Sistema automatizado y procedimiento para la obtencion de imagenes totalmente focalizadas con microscopios de elevada magnificacion. Active ES2338197B2 (es)

Priority Applications (2)

Application Number Priority Date Filing Date Title
ES200801517A ES2338197B2 (es) 2008-05-23 2008-05-23 Sistema automatizado y procedimiento para la obtencion de imagenes totalmente focalizadas con microscopios de elevada magnificacion.
PCT/ES2009/000170 WO2009141467A1 (es) 2008-05-23 2009-03-26 Sistema automatizado y procedimiento para la obtención de imágenes totalmente focalizadas con microscopios de elevada magnificación

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
ES200801517A ES2338197B2 (es) 2008-05-23 2008-05-23 Sistema automatizado y procedimiento para la obtencion de imagenes totalmente focalizadas con microscopios de elevada magnificacion.

Publications (2)

Publication Number Publication Date
ES2338197A1 true ES2338197A1 (es) 2010-05-04
ES2338197B2 ES2338197B2 (es) 2012-10-15

Family

ID=41339801

Family Applications (1)

Application Number Title Priority Date Filing Date
ES200801517A Active ES2338197B2 (es) 2008-05-23 2008-05-23 Sistema automatizado y procedimiento para la obtencion de imagenes totalmente focalizadas con microscopios de elevada magnificacion.

Country Status (2)

Country Link
ES (1) ES2338197B2 (es)
WO (1) WO2009141467A1 (es)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220351347A1 (en) * 2021-02-25 2022-11-03 California Institute Of Technology Computational refocusing-assisted deep learning

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4661986A (en) * 1983-06-27 1987-04-28 Rca Corporation Depth-of-focus imaging process method
US20020181762A1 (en) * 2001-05-30 2002-12-05 Mitutoyo Corporation Systems and methods for constructing an image having an extended depth of field
EP1336888A1 (en) * 2002-02-13 2003-08-20 Fairfield Imaging Ltd. Microscopy imaging system and data acquisition method
US20060038144A1 (en) * 2004-08-23 2006-02-23 Maddison John R Method and apparatus for providing optimal images of a microscope specimen

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4661986A (en) * 1983-06-27 1987-04-28 Rca Corporation Depth-of-focus imaging process method
US20020181762A1 (en) * 2001-05-30 2002-12-05 Mitutoyo Corporation Systems and methods for constructing an image having an extended depth of field
EP1336888A1 (en) * 2002-02-13 2003-08-20 Fairfield Imaging Ltd. Microscopy imaging system and data acquisition method
US20060038144A1 (en) * 2004-08-23 2006-02-23 Maddison John R Method and apparatus for providing optimal images of a microscope specimen

Also Published As

Publication number Publication date
ES2338197B2 (es) 2012-10-15
WO2009141467A1 (es) 2009-11-26

Similar Documents

Publication Publication Date Title
Guo et al. Imaging through scattering layers exceeding memory effect range by exploiting prior information
ES2561937T3 (es) Sensor para microscopia
Weber et al. Light sheet microscopy
US10539772B2 (en) Multiview light-sheet microscopy
ES2900148T3 (es) Dispositivo de obtención de imágenes basado en láminas de luz con profundidad de campo aumentada
US11226478B2 (en) Microscope and method for viewing a specimen using a microscope
US7723662B2 (en) Microscopy arrangements and approaches
CN109964163A (zh) 使用扫掠共焦对准平面激发进行三维成像以及定制图像分离器
EP3095001A2 (en) Systems and methods for three-dimensional imaging
JPWO2009139058A1 (ja) 生体画像撮影装置
Qian et al. Large-scale 3D imaging of insects with natural color
Li et al. Rapid whole slide imaging via dual-shot deep autofocusing
Wolff et al. Light-sheet enhanced resolution of light field microscopy for rapid imaging of large volumes
Rinsa et al. Simultaneous multiple-level magnification selective plane illumination microscopy (sMx-SPIM) imaging system
JP6847693B2 (ja) 照明装置、及び、顕微鏡装置
ES2338197A1 (es) Sistema automatizado y procedimiento para obtencion de imagenes totalmente focalizadas con microscopios de elevada magnificacion.
US10437038B2 (en) Device and method for creating an optical tomogram of a microscopic sample
Veldhuis et al. Multiview robotic microscope reveals the in-plane kinematics of amphibian neurulation
KR20210038892A (ko) 플렌옵틱 오큘라 장치
Roux et al. Technoreview: Focusing light on infection in four dimensions
Li et al. Rapid whole slide imaging via learning-based two-shot virtual autofocusing
Song et al. Three-dimensional multi-directional light-sheet microscopy with structured illumination
Muthanandam et al. A review on stereomicroscope.
Lin Super-Resolution Structured Illumination Microscopy with Adaptive Optics
Hirata-Miyasaki et al. Ultrafast live 3D imaging with 25-plane camera array multifocus microscopy

Legal Events

Date Code Title Description
EC2A Search report published

Date of ref document: 20100504

Kind code of ref document: A1

FG2A Definitive protection

Ref document number: 2338197

Country of ref document: ES

Kind code of ref document: B2

Effective date: 20121015