ES2203543T3 - Procedimiento para el analisis automatico de imagenes microscopicas. - Google Patents
Procedimiento para el analisis automatico de imagenes microscopicas.Info
- Publication number
- ES2203543T3 ES2203543T3 ES00984953T ES00984953T ES2203543T3 ES 2203543 T3 ES2203543 T3 ES 2203543T3 ES 00984953 T ES00984953 T ES 00984953T ES 00984953 T ES00984953 T ES 00984953T ES 2203543 T3 ES2203543 T3 ES 2203543T3
- Authority
- ES
- Spain
- Prior art keywords
- image
- microscopic
- marked
- segment
- procedure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000004458 analytical method Methods 0.000 title claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000002073 fluorescence micrograph Methods 0.000 claims abstract description 6
- 239000000126 substance Substances 0.000 claims description 5
- 238000004061 bleaching Methods 0.000 claims description 4
- 238000010191 image analysis Methods 0.000 claims description 2
- 238000005406 washing Methods 0.000 claims description 2
- 238000007431 microscopic evaluation Methods 0.000 claims 1
- 238000011156 evaluation Methods 0.000 abstract description 8
- 210000004027 cell Anatomy 0.000 description 46
- 210000004698 lymphocyte Anatomy 0.000 description 16
- 239000003550 marker Substances 0.000 description 10
- 239000013598 vector Substances 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- BFMYDTVEBKDAKJ-UHFFFAOYSA-L disodium;(2',7'-dibromo-3',6'-dioxido-3-oxospiro[2-benzofuran-1,9'-xanthene]-4'-yl)mercury;hydrate Chemical compound O.[Na+].[Na+].O1C(=O)C2=CC=CC=C2C21C1=CC(Br)=C([O-])C([Hg])=C1OC1=C2C=C(Br)C([O-])=C1 BFMYDTVEBKDAKJ-UHFFFAOYSA-L 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 102000004169 proteins and genes Human genes 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 102100024222 B-lymphocyte antigen CD19 Human genes 0.000 description 1
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 1
- 101000980825 Homo sapiens B-lymphocyte antigen CD19 Proteins 0.000 description 1
- 210000001744 T-lymphocyte Anatomy 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004163 cytometry Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000002657 fibrous material Substances 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 210000002865 immune cell Anatomy 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000000527 lymphocytic effect Effects 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1429—Signal processing
- G01N15/1433—Signal processing using image recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Physics & Mathematics (AREA)
- Dispersion Chemistry (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Multimedia (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Investigating Or Analysing Materials By The Use Of Chemical Reactions (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
La presente invención se refiere a un procedimiento para el análisis automático de imágenes microscópicas de objetos biológicos sobre todo para el análisis de imágenes de fluorescencia de células, comprendiendo el procedimiento los pasos siguientes: (a) toma de por lo menos dos imágenes microscópicas de una muestra con muchos objetos biológicos; (b) selección de una primera imagen microscópica y marcaje de la posición de centros de masa de una cantidad n de objetos reconocibles en la primera imagen microscópica, asignando a cada objeto marcado un primer segmento de imagen definido que encierra por completo el objeto marcado y asignando el valor 1 a cada primer segmento de imagen con un objeto marcado, resultando de la cantidad n de primeros segmentos de imagen marcados un set de entrenamiento positivo; (c) selección y marcaje de una cantidad m de segundos segmentos de imagen, respetando cada uno una distancia mínima predefinida a los primeros segmentos de imagen, correspondiendo el tamaño yla forma de un segundo segmento de imagen al tamaño y la forma del primero segmento de imagen y asignando a cada segundo segmento de imagen el valor 0, resultando de la cantidad m de segundos segmentos de imagen así marcados un set de entrenamiento negativo; (d) determinación de características y/o combinaciones de características típicas del set de entrenamiento positivo y negativo y asignación a un valor de clasificación entre 0 y 1, representando el valor de clasificación el grado de probabilidad de que exista un objeto marcado, y almacenaje de las características y/o combinaciones de características determinadas; (e) determinación automática de valores de clasificación de todos los píxeles de la segunda y cada más imagen microscópica por comparación de los datos de imagen de la segunda y cada más imagen microscópica con las características y/o combinaciones de características determinadas en paso d) del procedimiento, determinándose para cada píxel de la segunda y cada más imagen microscópica el valor de clasificación para un segmento de imagen que encierra el píxel, correspondiendo el tamaño y la forma de este segmento de imagen al tamaño y a la forma del primero o segundo segmento de imagen; y (f) reconocimiento de la posición de objetos biológicos en la segunda o cada más imagen microscópica por evaluación de los valores de clasificación determinados, comparándose los valores de clasificación con un valor umbral predefinido, que representa la existencia de un objeto biológico.
Description
Procedimiento para el análisis automático de
imágenes microscópicas.
La presente invención se refiere a un
procedimiento para el análisis automático de imágenes
microscópicas de objetos biológicos sobre todo para el análisis de
tomas de fluorescencia de células.
En la investigación biomedicinal moderna se
emplean en muchos experimentos para el marcaje, entre otras,
técnicas de fluorescencia para hacer visibles objetos significantes
por debajo del microscopio. Estos objetos pueden ser, por ejemplo,
células de un tipo definido o en un estado definido. En los años
pasados el progreso en la automatización de tales experimentos ha
permitido a los laboratorios biomedicinales de realizar grandes
cantidades de tales experimentos con formación de imágenes
completamente automatizada.
Así, se describe en la DE 197 09 348 C1 una
técnica de micoscopía de fluorescencia que entrega un conjunto de
n imágenes de una sola muestra después de haber marcada la muestra
con linfocitos con n fluorocromos diferentes. En cada imagen
fluorescan otros subgrupos de los linfocitos apareciendo con
demarcaciones luminosas. Cada linfocito de la muestra tiene en el
conjunto de imágenes su comportamiento fluorescente específico.
Fluorece en un subgrupo de imágenes y no se ve en los demás
imágenes del conjunto.
Para extraer del conjunto de imágenes los
patrones de fluorescencia primero hay que detectar los linfocitos
fluorescentes en las n imágenes. Los linfocitos marcados con
fluorocromo se distinguen por su número, su locación y su
intensidad. Por la gran cantidad de imágenes y datos de imágenes de
los cuales hay que leer primero las informaciones antes de
interpretarlas biológicamente, se forma un llamado "gollete"
en la evaluación de los experimentos. Una interpretación de las
imágenes por colaboradores humanos no es factible porque tarda
demasiado y da resultados muchas veces inseguros. Esto tiene su
causa en la labor de evaluación visual fatigosa acompañada, después
de poco tiempo, de la pérdida de concentración. Además los objetos
a detectar se distinguen por su número, su locación y su
intensidad. Por eso, parámetros como el contraste y el ruido varían
de imagen a imagen. Además, los objetos como por ejemplo células en
muestras de tejido varían mucho por su forma y su tamaño.
Por eso, es necesario disponer de procedimientos
de evaluación automáticos que localizan los objetos a detectar en
una imagen.
Esfuerzos anteriores se concentran, sobre todo,
en enfoques a base de modelos. Entre estos se encuentra también la
idea de adaptar un modelo geométrico a un conjunto de gradientes
(Mardia y otros, 1997 en: IEEE Transactions on Pattern Analysis and
Machine Intelligence, 19: 1035-1042). Corresponde
también el aprovechamiento de la propagación de ondas (Hanahara y
Hiyane, 1990, en: Machine Visions and Applications, 3:
97-111) o de una transformación Hough para detectar
objetos circulares (Gerig y Klein, 1986, en: Proc. Int. Conf. on
Pattern Recognition, 8: 498-500). Sin embargo,
muchas veces estos enfoques tienen el inconveniente de ser
sensibles frente a variaciones formales del objeto y no expertos
tienen dificultades con la adaptación. Además, muchas veces las
imágenes están ruidosas y las células parcialmente ocultadas lo que
impide una detección por barrido de los bordes marginales
(Galbraith y otros; 1991 en: Cytometry, 12:
579-596).
El documento
US-A-5 287 272 manifiesta un
procedimiento para el análisis automático de tomas microscópicas
de objetos biológicos comprendiendo el procedimiento los pasos
siguientes:
- -
- toma de una imagen microscópica de una muestra con muchos objetos biológicos;
- -
- marcaje de la posición de puntos de masa de una cantidad n de cada uno de los objetos reconocibles en la imagen microscópica, asignando a cada objeto marca- do un segmento de imagen definido que encierra el objeto marcado por completo;
- -
- confección de un set de entrenamiento con segmentos de imágenes de muestras cuyos características o combinaciones de características típicas son conocidas, asignando a cada segmento de imagen un valor de clasificación entre 0 y 1;
- -
- determinación automática de valores de clasificación de todos los segmentos de la imagen microscópica tomada, comparando los datos de imagen de los segmentos de la imagen microscópica tomada con las características y/o combinaciones de características de los segmentos de imagen del set de entrenamiento;
y
- -
- clasificación de los objetos biológicos en la imagen microscópica tomada, evaluando los valores de clasificación determinados por comparación de los valores de clasificación determinados con un valor umbral predefinido.
Por tanto, esta invención tiene el objetivo de
poner a disposición un procedimiento del tipo antes definido que
ofrece un procedimiento de detección de células simple,
automatizado, rápido y fácilmente adaptable.
Este objetivo se consigue por un procedimiento
con las características de la reivindicación 1.
Configuraciones ventajosas se describen en las
reivindicaciones secundarias.
La presente invención se refiere a un
procedimiento para el análisis automático de tomas microscópicas
de objetos biológicos sobre todo para el análisis de tomas de
fluorescencia de células, comprendiendo el procedimiento los pasos
siguientes: (a) toma de por lo menos dos imágenes microscópicas de
una muestra con muchos objetos biológicos; (b) selección de una
primera imagen microscópica y marcaje de la posición de centros de
masa de una cantidad n de objetos reconocibles en la primera imagen
microscópica, asignando a cada objeto marcado un primer segmento de
imágen definido que encierra por completo el objeto marcado y
asignando el valor 1 a cada primer segmento de imagen con un
objeto marcado, resultando de la cantidad n de primeros segmentos
de imagen marcados un set de entrenamiento positivo; (c) selección
y marcaje de una cantidad m de segundos segmentos de imagen,
respetando cada uno una distancia mínima predefinido a los primeros
segmentos de imagen, correspondiendo el tamaño y la forma de un
segundo segmento de imagen al tamaño y la forma del primero
segmento de imagen y asignando a cada segundo segmento de imagen el
valor 0, resultando de la cantidad m de segundos segmentos de
imagen así marcados un set de entrenamiento negativo; (d)
determinación de características y/o combinaciones de
características típicas del set de entrenamiento positivo y
negativo y asignación a un valor de clasificación entre 0 y 1,
representando el valor de clasificación el grado de probabilidad de
que exista un objeto marcado, y almacenaje de las características
y/o combinaciones de características determinadas; (e)
determinación automática de valores de clasificación de todos los
píxeles de la segunda y cada más imagen microscópica por comparación
de los datos de imagen de la segunda y cada más imagen microscópica
con las características y/o combinaciones de características
determinadas en paso (d) del procedimiento, determinándose para
cada píxel de la segunda y cada más imagen microscópica el valor de
clasificación para un segmento de imagen que encierra el píxel,
correspondiendo el tamaño y la forma de este segmento de imagen al
tamaño y a la forma del primero o segundo segmento de imagen; y (f)
reconocimiento de la posición de objetos biológicos en la segunda
o cada más imagen microscópica por evaluación de los valores de
clasificación determinados, comparándose los valores de
clasificación con un valor umbral predefinido que representa la
existencia de un objeto biológico.
El procedimiento según la invención para detectar
objetos biológicos como por ejemplo células en imágenes
microscópicas trabaja con valores de clasificación que asignan un
valor entre 0 y 1 a segmentos de imagen de tamaño y forma fijos y
que indican si en este segmento de imagen puede verse un objeto
biológico (1) o no (0). Todas las células presentes en una imagen
se encuentran, asignando todo los segmentos de imagen a un valor de
clasificación. De esta manera, por medio de una búsqueda
automática fácil de valores altos (análisis de valores umbrales),
las posiciones de los objetos biológicos pueden localizarse
automáticamente y por ejemplo almacenarse en un archivo y
tratarse. El empleo del procedimiento según la invención que
representa una red neural artificial permite el poner a disposición
de tales valores de clasificación o sea de un clasificador
correspondiente y su adaptación sencilla en caso de cambios
significantes de las imágenes microscópicas por modificaciones en
el microscopio, por otras muestras, otros marcadores de
fluorescencia o otros tipos celulares.
El procedimiento según la invención detecta de
manera enteramente automática objetos biológicos como por ejemplo
células en imágenes microscópicas después de haber sido entrenado
por un usuario por el suministro de una cantidad de segmentos de
imagen positivos, es decir con presencia de células. El manejo es
muy confortable, porque para el entrenamiento el usuario solamente
tiene que marcar células en la pantalla, lo que hace de rutina
durante sus demás actividades de laboratorio. En este respecto el
sistema sirve para la evaluación rápida de muchas imágenes
microscópicas para localizar células. Gracias a su gestión el
procedimiento según la invención es muy fácil a operar y a
realizar. Sirve de apoyo a cualquiera labor empírica con imágenes
microscópicas de objetos biológicos en el ámbito universitario así
como industrial donde hayan grandes flujos de muestras y donde sea
necesario una evaluación objetiva y reproducible.
En una configuración ventajosa del procedimiento
según la invención la muestra es una muestra de tejido y el objeto
biológico una célula. Se ha comprobado que, sobre todo para la
detección automática de células, el procedimiento tiene ventajas
respecto a los procedimientos tradicionales conocidos.
En otra configuración ventajosa del procedimiento
según la invención los objetos biológicos a determinar se marcan
con uno o más marcadores químicos antes de tomar las imágenes
microscópicas. Durante la toma de las imágenes microscópicas
individuales se puede ejecutar un proceso de blanqueo o lavado. Los
marcadores químicos pueden ser marcadores de fluorocromo y las
imágenes microscópicas tomas de fluorescencia.
Se emplean, por ejemplo, marcadores de
fluorocromo sobre linfocitos, para determinar la existencia de
proteínas en la superficie celular de linfocitos. Cada marcador se
enlaza a un subgrupo de los linfocitos que depende de la existencia
de la proteína correspondiente en la membrana superficial
linfocítica. A causa de la excitación de fluorescencia los
linfocitos enlazantes se presentan con alta intensidad. Una cámara
CCD toma una imagen microscópica correspondiente. Después, el
marcador se quita de las células por medio de blanqueo y el
procedimiento se repite utilizando otro marcador. En el ejemplo de
ejecución que se describe por la presente el proceso del marcaje,
de la confección de la imagen y del blanqueo puede repetirse con
hasta nueve marcadores. Durante cada repetición las posiciones de
los linfocitos quedan invariables lo que permite un matching o una
comparación de las posiciones entre las imágenes diferentes. En este
setup experimental se analizan sobre todo linfocitos T que en un
caso clínico de una sacoidosis hayan entrado en el tejido muscular.
Los linfocitos se prepararon con n=7 marcadores, se tomaron siete
tomas de fluorescencia y se manifestaron por fluorescencia
diferentes subgrupos de las células. Al final de todos los n pasos
puede evaluarse un conjunto de n imágenes microscópicas con
diferentes subgrupos de linfocitos. La evaluación de las n imágenes
microscópicas se hace con el procedimiento según la invención.
En este caso, por ejemplo, el número n de los
objetos biológicos, sobre todo células, marcados en el paso b) del
procedimiento, es mayor o igual 50. Para cada punto marcado se
decide si este punto es el centro de una célula o no. Dado que en
una situación invasiva, por ejemplo, linfocitos se encuentran en
material de fibra orgánica su forma no es circular sino
longitudinal e irregular y se califica en general de ser convexo.
Para la clasificación de los objetos biológicos se emplea una forma
específica de una red neural, el llamado "Local Linear Map"
(LLM) (Ritter, 1991, en: Artifical Neural Networks, Elsevier
Science Publishers B.V.). El clasificador del LLM se entrena por un
conjunto de segmentos de imagen con presencia de células. Para
entrenar el clasificador del LLM se selecciona según el paso b) del
procedimiento una imagen del conjunto de imágenes. Además, un
grupo de células fluorescentes se marcan por ejemplo por medio de
un ratón de ordenador. El grupo de segmentos de imagen del tamaño N
X N alrededor de estas células suministra el conjunto de ejemplos
de entrenamiento positivos o sea un set de entrenamiento positivo.
En una configuración ventajosa del procedimiento según la
invención, el primer segmento de imagen es un cuadrado,
correspondiendo el tamaño N x N o sea la longitud del lado N del
primer segmento de imagen por lo menos al diámetro máximo de los
objetos biológicos de la primera imagen microscópica.
Según el paso c) del procedimiento se selecciona
cualquier otro conjunto de segundos segmentos de imagen desde la
misma imagen, respetando una distancia de por ejemplo 3 - 5 píxeles
a los primeros segmentos de imágenes ya marcados. Este segundo
conjunto representa el conjunto de segmentos ejemplares de
entrenamiento o sea un set de entrenamiento negativo. El número m de
segundos segmentos de imagen es, en una configuración ventajosa
del procedimiento según la invención, mayor o igual 50, definiéndose
los segundos segmentos de imagen respetando la distancia mínima a
los primeros segmentos de imagen correspondientes.
En un ejemplo de ejecución se calcula para cada
segmento ejemplar de entrena- miento un vector de característica x
d_{in}-dimensional. El conjunto de los segmentos
de imagen seleccionados se somete a un Análisis de Componentes
Principales (ACP). Esto es una técnica conocida para tareas de
clasificación en la visión computerizada. La idea básica del ACP es
que el segmento de imagen de gran dimensión se visualiza en un
ámbito de características de mucha menor dimensión (d_{in} =
aprox. 6). Estas características llevan a los llamados vectores de
características de entrada x. Los vectores de características
tienen mucho menos datos que los segmentos de imagen mismos. Del
calculo de los vectores de características para los ejemplos de
entrada positivos y negativos resulta el set de entrenamiento de
la pareja (de entrada, de salida)
\Gamma =
\{(x_{\alpha},y_{\alpha})\}\alpha
Para el set de entrenamiento positivo y_{a} se
pone igual 1 y para los negativos igual 0.
El LLM está dado por
\{w_{i}{}^{in} \in
R^{d}{}_{in},w_{i}{}^{out} \in R^{d}{}_{out}; A_{i} \in R^{d}_{in}
x^{d}_{out}, i
=1..|\}
Un tripel v_{i} =
(w_{i}^{in},w_{i}^{out}, A_{i}) se llama nudo. Para un
entrenamiento del LLM se selecciona cualquiera pareja de \Gamma y
se siguen las reglas de aprendizaje
(1)\Delta w_{k}{}^{in} =
\in^{in}(x_{\alpha} -
w_{k}{}^{in})
(2)\Delta w_{k}{}^{out} =
\in^{out}(y_{\alpha} - y(x_{\alpha})) + A_{k} \Delta
w_{k}{}^{in}
(3)\Delta A_{k} = \in
A(y_{\alpha} - y(x_{\alpha})) \frac{(x_{\alpha} -
w_{k}{}^{in})T}{||x_{\alpha} -
w_{k}{}^{in}||^{2}}
\in^{in}, \in^{out}, \in^{A}\subset ]0.1[ son magnitudes de pasos de aprendizaje decrecientes
y K vale para \kappa = arg min_{K} {|| x - w_{}^{in}||}.
Por eso, W_{k}^{in} es el vecino más próximo a la entrada x.
Esto se repite l* 10000 veces.
El clasificador de LLM entrenado proyecta una
representación de píxeles fluorescentes sobre valores de
clasificación o evidencia en (0;1). Para calcular el valor de
clasificación para, por ejemplo, una célula fluorescente en un píxel
se calcula el vector de característica x para sus alrededores. La
salida de LLM para la entrada x se calcula por
(4)y(x)=w_{k}{}^{out}
+A_{k}(x-w_{k}{}^{in})
siendo k = arg min_{k} {||x
–
w_{k}^{in}||}
En el ejemplo de ejecución descrito la cantidad
de nudos es l=5 y el tamaño del segmento de imagen es N=15
píxeles.
Para detectar todos los objetos biológicos como,
por ejemplo, células fluorescentes en el segundo o cada más imagen
del conjunto de imágenes, cada píxel se proyecta por (4) sobre su
valor de clasificación. Las regiones alrededor del píxel se
suministran al clasificador calculándose su valor de clasificación.
Por el cálculo de los valores de clasificación para cada punto de
una imagen se forma una llamada proyección de clasificación o de
evidencia de la imagen. Regiones con valores de clasificación altos
o evidencias indican a objetos biológicos como, por ejemplo,
células fluorescentes en la imagen de fluorescencia
correspondiente. Todos los puntos con un valor de clasificación
mayor de, por ejemplo, 0,5 y sin mayores evidencias en su vecindad
forman el grupo de posiciones de objetos biológicos como células
fluorescentes en la imagen. Con todas las demás imágenes
microscópicas del conjunto de imágenes se procede de manera
correspondiente.
La determinación automática de valores de
clasificación de todos los píxeles de la segunda y cada más imagen
microscópica según el paso c) del procedimiento se consigue en una
configuración ventajosa de la invención por un barrido de la
superficie de la segunda y cada más imagen microscópica.
En otra configuración ventajosa del procedimiento
según la invención las posiciones de los objetos determinadas en
los pasos a) hasta f) del procedimiento se comparan en todas las
imágenes microscópicas de manera que resulta un posicionamiento y
reparto tridimensional de los objetos individuales en la
muestra.
Así se pueden determinar, por ejemplo, patrones
de fluorescencia de células. Después del proceso de detección de
las células se encuentran en todas las imágenes lugares de
fluorescencia con coincidencia local en varias imágenes para
proyectar fluorescencias de una misma célula sobre su patrón de
combinación de marcadores. Este análisis de coincidencia se basa
únicamente en las posiciones de las células en las imágenes y es
una tarea difícil, porque las posiciones de una misma célula
determinadas en varias imágenes no son siempre exactamente iguales.
Además en las imágenes varía mucho el número de células
fluorescentes. Ambos aspectos impiden un matching simple solamente
a base de la posición de la célula detectada. Con el procedimiento
según la invención tales problemas se evitan porque se evalúan los
valores de clasificación o sea las evidencias de todas las imágenes
del conjunto de imágenes.
Determinándose de la manera antes descrita los
valores de clasificación o sea las evidencias de todas las n
imágenes, resultan n valores de clasificación o sea de evidencia
para cada punto. Después, se selecciona para cada punto el valor
máximo de evidencia que se inscribe con sus coordenadas en una
nueva proyección de evidencia. Esta proyección se llama "Master
Evidence Map", porque cada objeto biológico como, por ejemplo,
una célula que había en por lo menos una de las imágenes se
representa en esta proyección por un alto valor de evidencia. Por
aplicación del paso f) del procedimiento al "Master Evidence
Map" resultan todas las posiciones de los objetos biológicos.
Este set de M posiciones de células {(x_{i}, y_{i})} se llama
"Masterset". Después, para cada objeto biológico del
"Masterset", se coleccionan los valores binarios de
fluorescencia . f_{j}^{(i)} de f_{j} de p_{i}
(f_{1}^{(i)},....f_{n}^{(1)} se pone a 1, cuando se haya
detectado un objeto biológico como p. ej. una célula en la j^{ta}
imagen de fluorescencia del conjunto de imágenes muy cerca de sus
coordenadas (x_{i}, y_{i}). Un simple proceso de matching local
entre el Masterset y los valores de clasificación de las posiciones
detectados para todas la imágenes de fluorescencia de los objetos
biológicos o posiciones de células da los patrones binarios de
fluorescencia de todos los objetos o células detectados.
El procedimiento nuevo descrito para el análisis
automático de tomas microscópicas de objetos biológicos, empleado
según la invención, es la clasificación automatizada de células
fluorescentes. Así, se tomó por ejemplo un conjunto de siete
imágenes de fluorescencia según el procedimiento inventado. Los
siete marcadores diferentes son cd2, cd3, cd4, cd8, cd11, cd19 y
cd26; en la microscopía de fluorescencia ellos son marcadores
usuales de anticuerpos. El set de entrenamiento de todos los
segmentos celulares se seleccionó a mano, a saber de la imagen de
cd-4. Con ayuda del clasificador de LLM en cada
imagen se detectaron células fluorescentes. Con ayuda de la
condición máxima de los valores de clasificación o de las
evidencias, calculados por el LLM, se generó el "Master Evidence
Map". Del "Master Evidence Map" se extrajeron las
posiciones de M = 550 células fluorescentes. Al final, el paso del
matching local dio los patrones de combinaciones de marcadores
p_{j},j = 1, ... 550.
Para la examinación del reparto de los patrones
de combinaciones de marcadores dentro del grupo de linfocitos sus
patrones binarios (f_{1}^{(1)}, ..., f_{7}^{(1)}) se
proyectaron por una proyección simple desde el sistema dual hacia
el sistema decimal sobre un label numérico. Se contaron las
frecuencias de los patrones y se representaron en un histograma
(histograma de 2^{7} = 128 barras). Resulta que se encontraron
solamente 24 de 128 patrones posibles en el grupo completo de
linfocitos. Dominan 3 patrones por su cantidad (1000000) (=1),
(0010000) (=8) y (1010000) (=9). Son células que se enlazaron
solamente con cd2 y cd4 o solamente con ambos. Las demás
frecuencias están por debajo de 30.
Para poder comparar la coincidencia de un
marcador determinado con los marcado- res restantes, se calculó para
cada marcador un histograma correspondiente. Se representó el
número absoluto de las células que fluorescen con este marcador
elegido. Pudo detectarse que el número absoluto de células
fluorescentes varía mucho. Los más dominantes son los marcadores
cd2 y cd4. Linfocitos, marcados de manera fluorescente con el
marcador cdl9 son raros y coinciden solamente una vez con otro
marcador (cd2). Esto quiere decir que este marcador es altamente
selectivo. Una coincidencia fuerte puede observarse, por ejemplo,
entre las parejas (cd2, cd8), (cd3, cd8) y (cd2, cd3).
En el ejemplo de ejecución descrito se
registraron y analizaron imágenes microscópicas de solamente un
campo visual. Cuando hay un gran número de varios centenares de
imágenes visuales, el procedimiento según la invención permite
presentar, dentro de un período relativamente corto, un análisis
estadístico exacto de los subgrupos de células inmunitarias que
hayan penetrados los puntos en el tejido.
Claims (13)
1. La presente invención se refiere a un
procedimiento para el análisis automático de imágenes
microscópicas de objetos biológicos sobre todo para el análisis de
imágenes de fluorescencia de células, comprendiendo el procedimiento
los pasos siguientes:
- (a)
- toma de por lo menos dos imágenes microscópicas de una muestra con muchos objetos biológicos;
- (b)
- selección de una primera imagen microscópica y marcaje de la posición de centros de masa de una cantidad n de objetos reconocibles en la primera imagen microscópica, asignando a cada objeto marcado un primer segmento de imagen definido que encierra por completo el objeto marcado y asignando el valor 1 a cada primer segmento de imagen con un objeto marcado, resultando de la cantidad n de primeros segmentos de imagen marcados un set de entrenamiento positivo;
- (c)
- selección y marcaje de una cantidad m de segundos segmentos de imagen, respetando cada uno una distancia mínima predefinida a los primeros segmentos de imagen, correspondiendo el tamaño y la forma de un segundo segmento de imagen al tamaño y la forma del primero segmento de imagen y asignando a cada segundo segmento de imagen el valor 0, resultando de la cantidad m de segundos segmentos de imagen así marcados un set de entrenamiento negativo;
- (d)
- determinación de características y/o combinaciones de características típicas del set de entrenamiento positivo y negativo y asignación a un valor de clasificación entre 0 y 1, representando el valor de clasificación el grado de probabilidad de que exista un objeto marcado, y almacenaje de las características y/o combinaciones de características determinadas;
- (e)
- determinación automática de valores de clasificación de todos los píxeles de la segunda y cada más imagen microscópica por comparación de los datos de imagen de la segunda y cada más imagen microscópica con las características y/o combinaciones de características determinadas en paso d) del procedimiento, determinándose para cada píxel de la segunda y cada más imagen microscópica el valor de clasificación para un segmento de imagen que encierra el píxel, correspondiendo el tamaño y la forma de este segmento de imagen al tamaño y a la forma del primero o segundo segmento de imagen; y
- (f)
- reconocimiento de la posición de objetos biológicos en la segunda o cada más imagen microscópica por evaluación de los valores de clasificación determinados, comparándose los valores de clasificación con un valor umbral predefinido, que representa la existencia de un objeto biológico.
2. Procedimiento según reivindicación 1,
caracterizado porque
la muestra es una muestra de tejido y el objeto
biológico es una célula.
3. Procedimiento según reivindicación 1 ó 2,
caracterizado porque
los objetos biológicos a determinar son marcados
con uno o más marcadores químicos antes de tomar las imágenes
microscópicas.
4. Procedimiento según reivindicación 3,
caracterizado porque
los objetos biológicos a determinar son marcados
con uno o varios marcadores químicos antes de tomar las imágenes
microscópicas, realizando entre la toma de las imágenes
microscópicas individuales un proceso de blanqueo o lavado.
5. Procedimiento según reivindicación 3 ó 4,
caracterizado porque
los marcadores químicos son marcadores de
fluorchromo y las imágenes microscópicas tomas de
fluorescencia.
\newpage
6. Procedimiento según una de las reivindicación
precedentes,
caracterizado porque
las imágenes microscópicas se toman con una
cámara CCD y se digitalizan.
7. Procedimiento según una de las reivindicación
precedentes,
caracterizado porque
el número n de los objetos biológicos marcados en
el paso b) del procedimiento es mayor o igual 50.
8. Procedimiento según una de las reivindicación
precedentes,
caracterizado porque
el primer segmento de imagen es un cuadrado,
correspondiendo el tamaño o sea la longitud del lado del primer
segmento de imagen por lo menos al diámetro máximo de los objetos
biológicos de la primera imagen microscópica.
9. Procedimiento según una de las reivindicación
precedentes,
caracterizado porque
el número m de segundos segmentos de imágenes es
mayor o igual 50, definiéndose los segundos segmentos de imagen
automáticamente respetando la distancia mínima a los primeros
segmentos de imagen correspondientes.
10. Procedimiento según una de las reivindicación
precedentes,
caracterizado porque
la determinación automática de valores de
clasificación de todos los puntos de imagen de la segunda y cada
más imagen microscópica según el paso e) del procedimiento se hace
por medio de un barrido de la superficie de la segunda y cada más
imagen microscópica.
11. Procedimiento según una de las reivindicación
precedentes,
caracterizado porque
el valor umbral del valor de clasificación que
representa la existencia de un objeto biológico es por los menos
0,5.
12. Procedimiento según una de las reivindicación
precedentes,
caracterizado porque
las posiciones determinadas de los objetos en los
pasos a) hasta f) del procedimiento se comparan en todas las
imágenes microscópicas, de manera que resulta un posicionamiento y
reparto tridimensional del los objetos individuales en la
muestra.
13. Empleo de un procedimiento según
reivindicación 1 para la clasificación automatizada de células
fluorescentes.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE19953181 | 1999-11-04 | ||
| DE19953181 | 1999-11-04 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2203543T3 true ES2203543T3 (es) | 2004-04-16 |
Family
ID=7927954
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES00984953T Expired - Lifetime ES2203543T3 (es) | 1999-11-04 | 2000-11-03 | Procedimiento para el analisis automatico de imagenes microscopicas. |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US7382909B1 (es) |
| EP (1) | EP1181525B1 (es) |
| JP (2) | JP2003524775A (es) |
| AT (1) | ATE245278T1 (es) |
| DE (1) | DE50002915D1 (es) |
| ES (1) | ES2203543T3 (es) |
| WO (1) | WO2001036939A2 (es) |
Families Citing this family (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7623697B1 (en) * | 2004-07-28 | 2009-11-24 | Genetix Corp. | Linking of images to enable simultaneous viewing of multiple objects |
| US20090305308A1 (en) * | 2005-03-21 | 2009-12-10 | Walter Schubert | Method for identifying cell-specific protein combination patterns |
| JP4728025B2 (ja) * | 2005-03-29 | 2011-07-20 | オリンパス株式会社 | 細胞画像解析装置 |
| JP5244801B2 (ja) | 2006-09-22 | 2013-07-24 | アーエルエス アウトメーテッド ラブ ソルーションズ ゲーエムベーハー | 細胞及び／又は細胞コロニーの自動化した除去のための方法及び装置 |
| US7801358B2 (en) * | 2006-11-03 | 2010-09-21 | Google Inc. | Methods and systems for analyzing data in media material having layout |
| US8135202B2 (en) * | 2008-06-02 | 2012-03-13 | Nec Laboratories America, Inc. | Automated method and system for nuclear analysis of biopsy images |
| EP2403877B1 (en) * | 2009-03-06 | 2015-05-06 | Klaus Tschira Stiftung GgmbH | Pharmaceutical composition and method for identifying a cancerous and/or an inflammatory disease in a patient |
| CN103063498B (zh) * | 2011-10-18 | 2016-01-06 | 中国水利水电科学研究院 | 制备混凝土微观分析试样的两阶段真空浸渍染色方法 |
| EP3037820A1 (en) | 2014-12-27 | 2016-06-29 | Miltenyi Biotec GmbH | Cell detection methods and reagents having a releasable labelling moiety |
| CN107677685B (zh) * | 2015-10-08 | 2020-05-08 | 中国建筑材料科学研究总院 | 混凝土内部裂纹数量的测定装置 |
| DE102016221688A1 (de) | 2016-11-04 | 2018-05-09 | Robert Bosch Gmbh | Verfahren zum Verorten eines Fahrzeugs |
| EP3336546B1 (en) | 2016-12-13 | 2020-07-01 | Miltenyi Biotec B.V. & Co. KG | Reversible cell labelling with conjugates having two releasable binding sites |
| EP3489684A1 (en) | 2017-11-27 | 2019-05-29 | Miltenyi Biotec GmbH | Method for photobleaching stained cells |
| JP7064720B2 (ja) * | 2018-02-16 | 2022-05-11 | 株式会社ニコン | 算出装置、算出プログラム及び算出方法 |
| US20220206005A1 (en) | 2019-04-12 | 2022-06-30 | Miltenyi Biotec B.V. & Co. KG | Conjugates having an enzymmatically releasable detection moiety and a barcode moiety |
| EP3959520A1 (en) | 2019-04-23 | 2022-03-02 | Miltenyi Biotec B.V. & Co. KG | Reversible cell detection with conjugates having a linker for increased fluorescent brightness and an enzymatically releasable fluorescent moiety |
| EP4058806B1 (en) | 2019-11-11 | 2024-01-03 | Miltenyi Biotec B.V. & Co. KG | Serial multichannel microscopy |
| WO2021148465A1 (en) * | 2020-01-22 | 2021-07-29 | Intuity Media Lab GmbH | Method for outputting a focused image through a microscope |
| EP3916393B1 (en) | 2020-05-27 | 2023-01-25 | Miltenyi Biotec B.V. & Co. KG | Method for detection of cells by repetitive staining and destaining |
| US20210403992A1 (en) | 2020-06-29 | 2021-12-30 | Miltenyi Biotec B.V. & Co. KG | METHOD COMBINING SINGLE CELL GENE EXPRESSION MAPPING AND TARGETED RNA OR c-DNA SEQUENCING USING PADLOCK OLIGONUCLEOTIDES COMPRISING A BARCODE REGION |
| US20230287170A1 (en) | 2020-07-16 | 2023-09-14 | Miltenyi Biotec B.V. & Co. KG | Fluorescent dyes comprising m-conjugated 1,1 -binaphthyl-based polymers |
| WO2022043023A1 (en) | 2020-08-27 | 2022-03-03 | Miltenyi Biotec B.V. & Co. KG | Releasable reagents for cell separation |
| US20230324399A1 (en) | 2020-09-07 | 2023-10-12 | Miltenyi Biotec B.V. & Co. KG | Conjugates having an enzymmatically releasable detection moiety and a barcode moiety |
| CN114854838A (zh) | 2021-02-04 | 2022-08-05 | 美天施生物科技有限两合公司 | 结合靶向RNA或cDNA体外测序与原位测序的方法 |
| US20230138285A1 (en) | 2021-11-04 | 2023-05-04 | Miltenyi Biotec B.V. & Co. KG | Bright and releasable labels for cell staining based on the conjugates with several sites of fluorophore release |
| US20230228745A1 (en) | 2022-01-17 | 2023-07-20 | Miltenyi Biotec B.V. & Co. KG | Water-soluble ii-conjugated fluorescent 1,1 -binaphthyl-based polymers with tuneable absorption |
| US20230228746A1 (en) | 2022-01-17 | 2023-07-20 | Miltenyi Biotec B.V. & Co. KG | Water-soluble M-conjugated fluorescent 1,1-binaphthyl-based tandem polymers |
| EP4257702A1 (en) | 2022-04-07 | 2023-10-11 | Miltenyi Biotec B.V. & Co. KG | Method combining in situ target capture and spatial unique molecular identifier (sumi) identification with in vitro sequencing for high density spatial multiomics |
| US20230383343A1 (en) | 2022-05-30 | 2023-11-30 | Miltenyi Biotec B.V. & Co. KG | Method Combining In Situ Target Amplification and Spatial Unique Molecular Identifier (SUMI) Identification Using RT-PCR |
| EP4343326A1 (en) | 2022-09-20 | 2024-03-27 | Miltenyi Biotec B.V. & Co. KG | Biological conjugates having an photogenerated acidic or basic releasable detection moiety on top of biological tissues |
| EP4361286A1 (en) | 2022-10-25 | 2024-05-01 | Miltenyi Biotec B.V. & Co. KG | Method for determining the spatial localisation of rna strands on a surface |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4965725B1 (en) | 1988-04-08 | 1996-05-07 | Neuromedical Systems Inc | Neural network based automated cytological specimen classification system and method |
| US5181259A (en) | 1990-09-25 | 1993-01-19 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | General method of pattern classification using the two domain theory |
| US5257182B1 (en) * | 1991-01-29 | 1996-05-07 | Neuromedical Systems Inc | Morphological classification system and method |
| JP3169635B2 (ja) * | 1991-07-03 | 2001-05-28 | 本田技研工業株式会社 | ニューラルネットワーク及びその学習方法 |
| US5245672A (en) * | 1992-03-09 | 1993-09-14 | The United States Of America As Represented By The Secretary Of Commerce | Object/anti-object neural network segmentation |
| US5733721A (en) * | 1992-11-20 | 1998-03-31 | The Board Of Regents Of The University Of Oklahoma | Cell analysis method using quantitative fluorescence image analysis |
| US6404923B1 (en) * | 1996-03-29 | 2002-06-11 | Microsoft Corporation | Table-based low-level image classification and compression system |
| JP2815045B2 (ja) * | 1996-12-16 | 1998-10-27 | 日本電気株式会社 | 画像特徴抽出装置，画像特徴解析装置，および画像照合システム |
| US6221592B1 (en) * | 1998-10-20 | 2001-04-24 | Wisconsin Alumi Research Foundation | Computer-based methods and systems for sequencing of individual nucleic acid molecules |
-
2000
- 2000-11-03 AT AT00984953T patent/ATE245278T1/de not_active IP Right Cessation
- 2000-11-03 DE DE50002915T patent/DE50002915D1/de not_active Expired - Lifetime
- 2000-11-03 ES ES00984953T patent/ES2203543T3/es not_active Expired - Lifetime
- 2000-11-03 JP JP2001538778A patent/JP2003524775A/ja active Pending
- 2000-11-03 EP EP00984953A patent/EP1181525B1/de not_active Expired - Lifetime
- 2000-11-03 WO PCT/EP2000/010833 patent/WO2001036939A2/de active IP Right Grant
- 2000-11-03 US US09/869,638 patent/US7382909B1/en not_active Expired - Fee Related
-
2010
- 2010-08-02 JP JP2010173657A patent/JP2011007800A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP1181525A2 (de) | 2002-02-27 |
| JP2003524775A (ja) | 2003-08-19 |
| EP1181525B1 (de) | 2003-07-16 |
| WO2001036939A2 (de) | 2001-05-25 |
| DE50002915D1 (de) | 2003-08-21 |
| WO2001036939A3 (de) | 2001-11-01 |
| JP2011007800A (ja) | 2011-01-13 |
| US7382909B1 (en) | 2008-06-03 |
| ATE245278T1 (de) | 2003-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2203543T3 (es) | Procedimiento para el analisis automatico de imagenes microscopicas. | |
| Aramendi et al. | Discerning carnivore agency through the three-dimensional study of tooth pits: Revisiting crocodile feeding behaviour at FLK-Zinj and FLK NN3 (Olduvai Gorge, Tanzania) | |
| US11756318B2 (en) | Convolutional neural networks for locating objects of interest in images of biological samples | |
| Nattkemper et al. | A neural classifier enabling high-throughput topological analysis of lymphocytes in tissue sections | |
| CN106203377B (zh) | 一种煤粉尘图像识别方法 | |
| JP2013033052A (ja) | 合成画像の作成及び分析によって細胞サンプルを分析する方法 | |
| Nagamori et al. | Evaluation of the VETSCAN IMAGYST: an in-clinic canine and feline fecal parasite detection system integrated with a deep learning algorithm | |
| CN112204674A (zh) | 通过显微术识别生物材料的方法 | |
| Deglint et al. | Investigating the automatic classification of algae using the spectral and morphological characteristics via deep residual learning | |
| Tantikitti et al. | Image processing for detection of dengue virus based on WBC classification and decision tree | |
| Fisher et al. | Digital imaging techniques in otolith data capture, analysis and interpretation | |
| Saltalamacchia et al. | Population structure of European sprat (Sprattus sprattus) in the Greater North Sea ecoregion revealed by otolith shape analysis | |
| Pérez-Quiñonez et al. | Detecting Opisthonema libertate (Günther, 1867) phenotypic stocks in northwestern coast of Mexico using geometric morphometrics based on body and otolith shape | |
| Cruz et al. | Microscopic image analysis and counting of red blood cells and white blood cells in a urine sample | |
| Hügl et al. | Increasing the resolution of morphological 3D image data sets through image stitching: application to the temporal bone | |
| Ergun | Segmentation of Rays in Wood Microscopy Images Using the U-Net Model. | |
| Pho et al. | Segmentation-driven retinanet for protozoa detection | |
| Uka et al. | FASTER R-CNN for cell counting in low contrast microscopic images | |
| Nakhaeizadeh et al. | Cognitive bias in sex estimation: The influence of context on forensic decision-making | |
| Sarkar et al. | Classification and detection of white blood cells using enhanced YOLOv5 Algorithm | |
| Fetter et al. | StomataCounter: a deep learning method applied to automatic stomatal identification and counting | |
| Khalid et al. | A review of conventional and machine learning techniques for malaria parasite detection using a thick blood smear | |
| Pho et al. | Protozoa identification using 3D geometric multiple color channel local feature | |
| Krishnadas et al. | S., SK; Prabhu, S. Classification of Malaria Using Object Detection Models. Informatics 2022, 9, 76 | |
| CN113344868B (zh) | 一种基于混合转移学习的无标记细胞分类筛查系统 |