ES2940745T3 - Procedimiento y dispositivo para detectar la presencia de un tipo de patrón de fluorescencia en una sección de órgano mediante microscopía de inmunofluorescencia - Google Patents

Procedimiento y dispositivo para detectar la presencia de un tipo de patrón de fluorescencia en una sección de órgano mediante microscopía de inmunofluorescencia Download PDF

Info

Publication number
ES2940745T3
ES2940745T3 ES21195352T ES21195352T ES2940745T3 ES 2940745 T3 ES2940745 T3 ES 2940745T3 ES 21195352 T ES21195352 T ES 21195352T ES 21195352 T ES21195352 T ES 21195352T ES 2940745 T3 ES2940745 T3 ES 2940745T3
Authority
ES
Spain
Prior art keywords
fluorescence
information
fluorescence image
type
confidence measure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES21195352T
Other languages
English (en)
Inventor
Stefan Gerlach
Jens Krauth
Christian Marzahl
Christian Krause
Jens Hocke
Maick Danckwardt
Melanie Hahn
Jörn Voigt
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Euroimmun Medizinische Labordiagnostika AG
Original Assignee
Euroimmun Medizinische Labordiagnostika AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Euroimmun Medizinische Labordiagnostika AG filed Critical Euroimmun Medizinische Labordiagnostika AG
Application granted granted Critical
Publication of ES2940745T3 publication Critical patent/ES2940745T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/58—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving labelled substances
    • G01N33/582—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving labelled substances with fluorescent label
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
    • G01N33/564—Immunoassay; Biospecific binding assay; Materials therefor for pre-existing immune complex or autoimmune disease, i.e. systemic lupus erythematosus, rheumatoid arthritis, multiple sclerosis, rheumatoid factors or complement components C1-C9
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Hematology (AREA)
  • Urology & Nephrology (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Microbiology (AREA)
  • Cell Biology (AREA)
  • Biotechnology (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Rehabilitation Therapy (AREA)
  • Rheumatology (AREA)
  • Bioinformatics & Cheminformatics (AREA)

Abstract

Se propone un método para detectar la presencia de un patrón de tipo fluorescente en una sección de un órgano mediante microscopía de inmunofluorescencia y procesamiento digital de imágenes. Los pasos incluyen: proporcionar la sección del órgano, incubar la sección del órgano con una muestra líquida del paciente, incubar la sección del órgano con anticuerpos secundarios marcados con un tinte fluorescente, detectar una imagen fluorescente de la sección del órgano en un canal de color que corresponde al tinte fluorescente, y suministro de la imagen de fluorescencia a una red neuronal. Al mismo tiempo, la información de segmentación se determina segmentando la imagen de fluorescencia por medio de la red neuronal, y también se determina una medida de confianza al mismo tiempo, que indica una presencia real del tipo de patrón fluorescente. Además, al menos un área parcial de la imagen de fluorescencia, (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Procedimiento y dispositivo para detectar la presencia de un tipo de patrón de fluorescencia en una sección de órgano mediante microscopía de inmunofluorescencia
La invención se refiere a un procedimiento y un aparato para detectar la presencia potencial de un tipo de patrón de fluorescencia en una sección de órgano mediante microscopía de inmunofluorescencia y mediante procesamiento digital de imágenes.
El documento EP3258247 A1 divulga un procedimiento para detectar al menos una presencia potencial de al menos un tipo de patrón de fluorescencia en una sección de órgano por medio de microscopía de inmunofluorescencia, pero no un procedimiento que utilice redes neuronales,
El documento EP3712618 A1 divulga un procedimiento en el que redes neuronales determinan áreas parciales de una imagen de fluorescencia que son relevantes para una formación de la imagen de fluorescencia, en la que se examinan parásitos.
El documento EP3767587 A1 divulga un procedimiento que utiliza un "sustrato celular" que comprende células epiteliales o de epitelioma humanas (por ejemplo, células HEP-2) para la detección de anticuerpos primarios en muestras líquidas de pacientes.
La microscopía de inmunofluorescencia o microscopía de inmunofluorescencia indirecta es una prueba in vitro para determinar la presencia de anticuerpos humanos contra antígenos específicos con el fin de responder o evaluar una cuestión de diagnóstico. Dichos antígenos están presentes, por ejemplo, en determinadas áreas de cortes de órganos como el estómago de una rata. El sustrato es, por tanto, una sección de órgano que se incuba con una muestra de paciente en forma de sangre o sangre diluida o suero sanguíneo o suero sanguíneo diluido. Por lo tanto, la muestra del paciente tiene potencialmente ciertos anticuerpos primarios, que pueden ser una expresión de la presencia de una enfermedad en el paciente. Dichos anticuerpos primarios o específicos pueden entonces unirse a antígenos del sustrato o de la sección del órgano. Dichos anticuerpos primarios unidos pueden entonces marcarse uniendo los denominados anticuerpos secundarios, preferentemente anticuerpos antihumanos, a los anticuerpos primarios unidos en una etapa de incubación adicional y pueden hacerse visibles posteriormente marcando los anticuerpos secundarios con un colorante fluorescente. Dicho colorante fluorescente es preferentemente un colorante fluorescente verde, en particular el colorante fluorescente FITC. Esta unión de un anticuerpo primario con un anticuerpo secundario marcado con fluorescencia puede visualizarse posteriormente irradiando la sección del órgano con luz de excitación de una longitud de onda específica, excitando así los colorantes fluorescentes unidos para que emitan radiación fluorescente.
Dependiendo de la pregunta diagnóstica, se puede apuntar a la presencia de uno o muy específicos tipos de patrones de fluorescencia en secciones específicas de órganos o subregiones o subáreas muy específicas de las secciones de órganos. Por lo tanto, se plantea la tarea de detectar uno o más tipos de patrones de fluorescencia en una imagen de fluorescencia de una microscopía de inmunofluorescencia mediante el procesamiento digital de imágenes en el curso de una sección de órgano incubada de la manera prescrita.
La Fig. 8 muestra una imagen de fluorescencia de un estómago de rata como ejemplo de una sección de órgano. Una sección de órgano de este tipo muestra diferentes capas de órganos. Las capas orgánicas aquí son, por ejemplo, la llamada capa mucosa SC2 o la mucosa con células parietales y fibrillas contráctiles interglandulares, también llamada túnica mucosa.
Otra capa del órgano es, por ejemplo, el músculo anular y longitudinal, también llamado túnica muscular SC1. Otra capa del órgano es, por ejemplo, la denominada capa de desplazamiento, también llamada submucosa SC3. Otra capa orgánica es, por ejemplo, la muscularis mucosae SC4. Otra capa orgánica, por ejemplo, son los vasos SC5. Para un patrón ejemplar de anticuerpos anti-músculo liso (ASMA), dos capas específicas de órganos son relevantes para la detección del patrón: por un lado, la túnica muscular y, por otro, la túnica mucosa. Al detectar la presencia del patrón ASMA, un médico o experto puede deducir la presencia de hepatitis.
La presencia del denominado patrón ASMA se muestra en que en las dos capas de órganos mencionadas anteriormente se producen patrones de fluorescencia parciales respectivos y específicos, que juntos forman el patrón de fluorescencia ASMA. En concreto, se trata de una combinación de un patrón reticular o enrejado en la capa orgánica de la túnica muscular y también un patrón de líneas finas (fibrillas contráctiles interglandulares) en la capa orgánica de la túnica mucosa. Por lo tanto, es necesario que estas dos capas de órganos antes mencionadas estén presentes en la imagen de fluorescencia en un grado suficiente o con un área parcial suficiente en relación con el área total de la imagen de fluorescencia, de modo que pueda detectarse con fiabilidad la presencia del patrón ASMA mediante el procesamiento digital de imágenes.
Así, los inventores han reconocido que en el principio de la microscopía de inmunofluorescencia basada en cortes de órganos en producción, pueden producirse ciertos efectos negativos que pueden contrarrestar una detección fiable de la presencia de un patrón de fluorescencia mediante el procesamiento de imágenes. Una sección de órgano como la mostrada en la Fig. 8 puede no tener una proporción suficiente de las dos capas de órganos mencionadas anteriormente. Debido a errores de producción, puede ocurrir que al menos una de las dos capas o ambas capas sólo estén presentes en la imagen de fluorescencia en muy pequeña medida. La detección del patrón de fluorescencia mediante procesamiento digital de imágenes y redes neuronales puede dar lugar a resultados erróneos, lo que debe evitarse.
En el proceso de producción, el material necesario para los órganos no está disponible en cantidades ilimitadas. En primer lugar, se aplica una sección de órgano de mayor tamaño a una superficie portadora y, a continuación, la superficie portadora se divide en superficies portadoras parciales sobre vidrio, preferentemente mediante corte, de modo que sólo en determinadas áreas de la sección de órgano pueda producirse una cobertura parcial del portaobjetos. Por lo tanto, en el curso de la producción, es posible que determinadas capas de órganos sólo estén presentes en una pequeña parte de la sección de órganos.
Alternativa o adicionalmente, puede producirse otro efecto técnico negativo: Para mostrar o reconocer suficientemente los patrones en una imagen de fluorescencia, las imágenes de fluorescencia se capturan a veces utilizando ópticas de microscopio de cierto aumento óptico. Esto puede dar lugar a una imagen de fluorescencia que no capte o represente todo el portaobjetos y tampoco toda la sección del órgano. Esto también puede dar lugar a que una determinada capa del órgano sólo esté presente en una pequeña parte en la imagen de fluorescencia de la sección del órgano.
Por lo tanto, se propone un procedimiento según la invención para detectar una presencia potencial de un tipo de patrón de fluorescencia en una sección de órgano mediante microscopía de inmunofluorescencia y mediante procesamiento digital de imágenes.
El procedimiento comprende varias etapas. En primer lugar, se prepara la sección del órgano en un portaobjetos de microscopio. A continuación, la sección del órgano se incuba con una muestra líquida del paciente que potencialmente contiene anticuerpos primarios. Además, la sección del órgano se incuba con anticuerpos secundarios, marcados con un colorante fluorescente. A continuación, se captura una imagen de fluorescencia de la sección del órgano en un canal de color correspondiente al colorante fluorescente. Además, la imagen de fluorescencia se proporciona a una red neuronal.
El procedimiento se caracteriza en que la información de segmentación se determina simultáneamente segmentando la imagen de fluorescencia mediante una red neuronal y en que una medida de confianza, que indica una presencia real del tipo de patrón de fluorescencia, también se determina simultáneamente.
Además, al menos un área parcial de la imagen de fluorescencia relevante para una formación del tipo de patrón de fluorescencia se determina en base a la información de segmentación previamente determinada.
Además, la información de validez que indica un grado de validez de la medida de confianza se determina en base a al menos una subárea previamente determinada.
Finalmente, el grado de confianza en la presencia real del tipo de patrón de fluorescencia se emite en función de la información de validez.
Con el fin de ilustrar una o más ventajas posibles, a continuación se presentarán más detalladamente diversos aspectos del procedimiento según la invención.
Como se ha explicado anteriormente, pueden producirse diversos problemas al preparar secciones de órganos en portaobjetos, de modo que las capas de órganos relevantes para un patrón o patrón de fluorescencia que se vaya a detectar no estén presentes en un grado suficiente de cobertura o en suficientes áreas parciales. Debido a que el procedimiento según la invención comprueba si una cierta capa de órgano está presente en un grado suficiente como área parcial que es relevante para una formación del tipo de patrón de fluorescencia, y que la información de validez se determina entonces en base al área parcial previamente determinada, la generación de la medida de confianza puede ser controlada o influenciada en consecuencia. En otras palabras: La medida de confianza puede comprobarse con el área parcial. Así, una determinada área parcial corresponde a una determinada capa orgánica. El área parcial de la imagen de fluorescencia es, por tanto, en particular, un área parcial que se asigna a una sección de órgano específica o a una capa de órgano específica en base a la información de segmentación. En otras palabras: El área parcial se determina como un área parcial que representa una capa de órganos específica, por lo que esta área parcial o esta capa de órganos se determina en base a la información de segmentación.
De este modo, al comprobar el área parcial, se puede garantizar que la medida de confianza determinada con respecto a la presencia del tipo de patrón de fluorescencia también sea válida, ya que en el caso de que, por ejemplo, el área parcial o la capa del órgano tengan un tamaño o una medida demasiado pequeños, la medida de confianza puede detectarse como no válida.
Por ejemplo, en el caso de que la subárea sea demasiado pequeña, la medida de confianza puede preferentemente no ser emitida.
Además, el procedimiento propuesto es especialmente ventajoso por otra razón. La red neuronal determina simultáneamente la información de segmentación relacionada con la imagen de fluorescencia, así como la medida de confianza para la presencia del tipo de patrón de fluorescencia. De este modo, la red neuronal está diseñada de tal manera que tanto la información sobre el patrón de fluorescencia como al menos una capa específica de órgano visible o su área parcial pueden incluirse simultáneamente en el análisis realizado por la red neuronal en la determinación de la medida de confianza relativa a la presencia del tipo de patrón de fluorescencia. En otras palabras: La red neuronal es una red neuronal preentrenada que ha aprendido durante el entrenamiento tanto medidas de confianza relativas a una presencia del tipo de patrón de fluorescencia como información de segmentación relacionada con la segmentación de la imagen de fluorescencia. En particular, la información de segmentación representa varias informaciones de segmentación parciales, cada una de las cuales representa diferentes capas de órganos de la sección de órganos.
Según la invención, no es precisamente el tratamiento de imágenes lo que se conoce en el estado de la técnica: En el estado actual de la técnica, pueden determinarse primero las denominadas máscaras en forma de segmentos de imagen o información de segmentación, que se superponen a la imagen de fluorescencia real antes de que una red neuronal analice únicamente las subregiones enmascaradas de la imagen de fluorescencia que fueron filtradas por la máscara o la información de segmentación para determinar una medida de confianza. En este caso, primero se determinaría finalmente la información de segmentación, luego se aplicaría a la imagen de fluorescencia como una máscara, y sólo las áreas parciales de la imagen de fluorescencia determinadas por el enmascaramiento encontrarían su camino en el análisis o la determinación de las medidas de confianza con respecto a la presencia del patrón de fluorescencia.
Tal procedimiento de la técnica anterior no se sigue según la invención, puesto que la información de segmentación así como la medida de confianza se determinan por la red neuronal al mismo tiempo. En particular, en el procedimiento según la invención, una transformación de la imagen de fluorescencia en el llamado espacio de características o espacio de características se lleva a cabo preferentemente en primer lugar transformando la imagen de fluorescencia mediante al menos una operación convolucional, por lo que sólo después de esta transformación en el espacio de características se procesa adicionalmente la información de características resultante con el fin de determinar tanto la información de segmentación como la medida de confianza en base a esta información de características. En este procedimiento preferentemente diseñado según una realización preferente, la información de segmentación o las máscaras de segmentación no se superponen a la imagen de fluorescencia, sino que en el procesamiento de la red neuronal, la determinación de la información de segmentación y la determinación de la medida de confianza son mutuamente dependientes. De este modo, se puede influir ventajosamente en la determinación de la medida de confianza, preferentemente en una fase de entrenamiento de la red neuronal, por el hecho de que la información de segmentación, que también se determina al mismo tiempo, influye en la determinación de la medida de confianza y, de este modo, implícitamente se pueden acentuar o tener más en cuenta determinadas informaciones de segmentación o determinadas capas de órganos. Otra ventaja es que el entrenamiento de la red neuronal no tiene lugar en dos etapas separadas, sino que el entrenamiento conduce simultáneamente a una optimización de la red neuronal con respecto a la segmentación, así como a la determinación de la medida de confianza.
Las realizaciones ventajosas de la invención son objeto de las reivindicaciones dependientes y se explican con más detalle en la siguiente descripción con referencia parcial a las figuras.
Preferentemente, el procedimiento comprende otras etapas: determinar una pluralidad de áreas parciales de la imagen de fluorescencia relevantes para una formación del tipo de patrón de fluorescencia en base a la información de segmentación, y determinar información de validez que indique un grado de validez de la medida de confianza en base a las áreas parciales previamente determinadas.
Preferentemente, el procedimiento comprende otras etapas: determinar una fracción de área de la al menos un área parcial relativa al área de la imagen de fluorescencia y determinar la información de validez basada en la fracción de área.
Preferentemente, el procedimiento comprende otras etapas: determinar las fracciones de área respectivas de las áreas parciales respectivas en relación con el área de la imagen de fluorescencia y determinar la información de validez en base a las fracciones de área.
Preferentemente, el procedimiento comprende otras etapas: determinar una pluralidad de áreas parciales de la imagen de fluorescencia relevantes para una formación del tipo de patrón de fluorescencia en base a la información de segmentación, determinar las fracciones de área respectivas de las áreas parciales respectivas en relación con el área de la imagen de fluorescencia, determinar la información de validez en base a las fracciones de área y en base a los valores umbral respectivos, generar la medida de confianza de la presencia real del tipo de patrón de fluorescencia en el caso de que las fracciones de área respectivas superen un valor umbral respectivo.
Preferentemente, la red neuronal está configurada para generar primero un primer conjunto de información de características múltiples en un espacio de características basado en la imagen de fluorescencia mediante al menos una o más operaciones convolucionales y luego determinar la información de segmentación y la medida de confianza en base al primer conjunto de información de características.
Preferentemente, la red neuronal está configurada para generar primero un primer conjunto de una pluralidad de información de características en un espacio de características basado en la imagen de fluorescencia utilizando una o más operaciones convolucionales, luego determinar la información de segmentación en base al primer conjunto de información de características, y luego determinar la medida de confianza en base al primer conjunto de información de características y basada en la información de segmentación.
Preferentemente, la red neuronal está configurada para generar primero un primer conjunto de una pluralidad de información de características en un espacio de características basado en la imagen de fluorescencia mediante una o más operaciones convolucionales, determinar posteriormente la información de segmentación en base al primer conjunto de información de características, generar posteriormente un segundo conjunto de una pluralidad de información de características en un espacio de características basado en la información de segmentación mediante al menos una operación convolucional, y determinar posteriormente la medida de confianza en base al primer conjunto de información de características y el segundo conjunto de información de características.
Preferentemente, el procedimiento comprende otras etapas: Determinar una pluralidad de subáreas de la imagen de fluorescencia relevantes para la formación del tipo de patrón de fluorescencia en base a la información de segmentación, y en el caso de que se determine que el tipo de patrón de fluorescencia está realmente presente, determinar un nivel de brillo de una de las subáreas de la imagen de fluorescencia que es potencialmente relevante para la formación del tipo de patrón de fluorescencia, y estimar un grado máximo de dilución de la muestra del paciente en el que la incubación de la sección del órgano con la muestra del paciente sigue dando lugar a la presencia de uno de los tipos de patrón de fluorescencia.
Se propone además un dispositivo para detectar al menos una presencia potencial de al menos un tipo de patrón fluorescente en una sección de órgano mediante microscopía de inmunofluorescencia y procesamiento digital de imágenes, que comprende un dispositivo de sujeción para un portaobjetos con una sección de órgano que se ha incubado con una muestra del paciente que comprende dichos autoanticuerpos y además con anticuerpos secundarios marcados cada uno con un colorante fluorescente, al menos una unidad de captura de imágenes para capturar una imagen de fluorescencia de dicha sección de órgano en un canal de color correspondiente a dicho colorante fluorescente. El aparato comprende además al menos una unidad de cálculo adaptada para proporcionar la imagen de fluorescencia a una red neuronal, para determinar simultáneamente, mediante la única red neuronal, información de segmentación segmentando la imagen de fluorescencia, y además para determinar una medida de confianza que indique una presencia real del tipo de patrón de fluorescencia, para determinar al menos un área parcial de la imagen de fluorescencia, relevante para una formación del tipo de patrón de fluorescencia basada en la información de segmentación, determinar información de validez que indique un grado de validez de la medida de confianza (KM) basada en la al menos un área parcial previamente determinada, y generar la medida de confianza de la presencia real del tipo de patrón de fluorescencia en función de la información de validez.
Se propone además un procedimiento para el procesamiento digital de imágenes, que comprende las etapas de: recibir una imagen de fluorescencia que represente una tinción de una sección de órgano mediante un colorante fluorescente, proporcionar la imagen de fluorescencia a una red neuronal, determinar simultáneamente información de segmentación segmentando la imagen de fluorescencia y determinar una medida de confianza que indique una presencia real del tipo de patrón de fluorescencia mediante la única red neuronal común, determinar al menos un área parcial de la imagen de fluorescencia relevante para la formación del tipo de patrón de fluorescencia en base a la información de segmentación, determinar la información de validez que indica un grado de validez de la medida de confianza en base al área parcial previamente determinada, generar la medida de confianza de la presencia real del tipo de patrón de fluorescencia en función de la información de validez.
Se propone además un producto de programa de ordenador que comprende instrucciones que, cuando el programa es ejecutado por un ordenador, hacen que el ordenador realice el procedimiento de procesamiento digital de imágenes.
A continuación, la invención se explicará con más detalle en base a realizaciones específicas sin limitar la idea general de la invención con referencia a las figuras. Mostrando:
La Fig. 1 una realización del procedimiento según la invención,
La Fig. 2 etapas preferentes para determinar las respectivas proporciones de superficie,
La Fig. 3 una comprobación de las respectivas áreas parciales con respecto a los respectivos valores umbral,
La Fig. 4 una realización del procedimiento según la invención con etapas de determinación para generar diferentes cantidades de información de características,
L Fig. 5 etapas preferentes para estimar un grado máximo de dilución de una muestra de paciente en el que la incubación de la sección de órgano con la muestra de paciente sigue dando lugar a la presencia del tipo de patrón de fluorescencia,
La Fig. 6 etapas preferentes de un procedimiento propuesto de tratamiento digital de imágenes,
La Fig. 7 una realización de un dispositivo propuesto,
La Fig. 8 una sección de órgano ejemplar con diferentes capas de órganos,
La Fig. 9 una imagen de fluorescencia como la de la Fig. 8 junto con información de segmentación, La Fig. 10 diferentes capas de órganos resaltadas,
La Fig. 11 resultados experimentales,
La Figura 12: estructura general de una realización de una red neuronal, y
La Figura 13 muestra una representación detallada de los distintos bloques de procesamiento de la red neuronal.
La Figura 10 muestra un dispositivo V1 mediante el cual puede llevarse a cabo preferentemente el procedimiento según la invención. El dispositivo V1 puede describirse como un microscopio de fluorescencia. El dispositivo V1 tiene un soporte H para un sustrato S o un portaobjetos que ha sido incubado de la manera descrita anteriormente. La luz de excitación AL procedente de una fuente de luz de excitación LQ se dirige al sustrato S a través de un sistema óptico O. La radiación de fluorescencia FL resultante se transmite de nuevo a través de la óptica O y pasa a través del espejo dicroico SP1 y un filtro óptico opcional F2. Preferentemente, la radiación de fluorescencia FL pasa a través de un filtro óptico Fg, que filtra un canal verde. Una cámara K1 es preferentemente una cámara monocroma, que registra entonces la radiación de fluorescencia FL en un canal verde en presencia de un filtro óptico FG. Según una realización alternativa, la cámara K1 es una cámara en color que no requiere el uso del filtro óptico FG y captura la imagen de fluorescencia en el canal de color correspondiente como canal verde mediante una matriz Bayer. La cámara K1 proporciona la información de imagen BI o la imagen de fluorescencia a una unidad de ordenador R, que procesa esta información de imagen BI. Preferentemente, la unidad de cálculo R puede generar o proporcionar datos ED tales como una imagen de fluorescencia, medidas de confianza y/o información de validez a través de una interfaz de datos DS1.
La Fig. 1 muestra las etapas de una realización del procedimiento propuesto. En la etapa S1, la sección del órgano se coloca en un portaobjetos. En la etapa S2, la sección del órgano se incuba con una muestra líquida del paciente que puede contener anticuerpos primarios. En la etapa S3, la sección del órgano se incuba con anticuerpos secundarios marcados con un colorante fluorescente.
En una etapa S4, se adquiere una imagen de fluorescencia de la sección del órgano en un canal de color correspondiente al colorante fluorescente.
El resultado es entonces la imagen de fluorescencia FB, que también se muestra aquí, por ejemplo, como un elemento de datos FB. Dicha imagen de fluorescencia también se muestra ejemplarmente en la Fig. 8 y en la Fig. 9h.
La Fig. 8 ilustra para la imagen de fluorescencia FB la capa de órgano tunica muscularis o como capa SC1, además la capa de órgano tunica mucosa como capa SC2, además la capa submucosa como capa SC3, además la capa muscularis mucosae como capa SC4 y además la capa vascular como capa SC5.
Según la Figura 1, en una etapa S5, la imagen de fluorescencia se proporciona a una red neuronal.
Por ejemplo, la red neuronal puede utilizarse como una red NN en una etapa S6. En la etapa S6, la información de segmentación SEG se determina simultáneamente segmentando la imagen de fluorescencia FB. Esta información de segmentación SEG se muestra aquí a modo de ejemplo como un elemento de datos SEG y puede tener, por ejemplo, dos informaciones de segmentación parciales SEG1 y SEG2, que también se muestran en las Figs. 9a y 9b. Además, la red neuronal determina simultáneamente una medida de confianza KM con respecto a una presencia real de un tipo de patrón de fluorescencia que debe detectarse.
Preferentemente, la red neuronal NN determina no sólo una única medida de confianza KM con respecto a un único tipo de patrón de fluorescencia o una única presencia de un único tipo de patrón de fluorescencia, sino que la red neuronal NN determina múltiples medidas de confianza con respecto a múltiples tipos de patrones de fluorescencia. En tal caso, el elemento de datos KM de la Fig. 1, mostrado incluye las respectivas medidas de confianza para las respectivas presencias de los respectivos tipos de patrones de fluorescencia. Aquí, por ejemplo, el elemento de datos KM de la Fig. 1 no sólo tiene una única medida de confianza, sino por ejemplo trece medidas de confianza relacionadas con trece tipos diferentes de patrones de fluorescencia. Tal realización preferente con determinación de medidas de confianza respectivas de presencias reales respectivas de tipos de patrón de fluorescencia respectivos es ventajosa en particular porque entonces, durante un análisis de la imagen de fluorescencia FB por la red neuronal NN, una ocurrencia de tipos de patrón de fluorescencia diferentes se considera posible en el curso de la solución y una delimitación o determinación más precisa del tipo de patrón de fluorescencia específico cuya presencia debe determinarse se tiene en cuenta y se hace posible en el curso del análisis por la red neuronal. Esto significa que no se trata de una decisión puramente positiva o negativa con respecto a la presencia del tipo de patrón de fluorescencia específico que debe detectarse como presente, sino que también se tienen en cuenta otros posibles patrones en el espacio de solución.
Preferentemente, entonces, la red neuronal determina medidas de confianza respectivas con respecto a presencias respectivas de tipos de patrones de fluorescencia respectivos, donde una medida de confianza particular de esas medidas de confianza indica la presencia real del tipo de patrón de fluorescencia particular. Luego, más adelante en el proceso, la medida de confianza específica de la presencia real del tipo de patrón de fluorescencia específico se emite preferentemente como una función de la información de validez.
Haciendo referencia a la Fig. 1, puede observarse además que en una etapa S7, se determina un área parcial de la imagen de fluorescencia relevante para una formación del tipo de patrón de fluorescencia en base a la información de segmentación SEG. Por ejemplo, en una realización preferente, la información de segmentación SEG tiene siete diferentes sub-informaciones de segmentación SEG1 a SEG7, como se muestra en las Figs. 9a a 9g. Preferentemente, se puede considerar información de segmentación múltiple relativa a capas adicionales. Por ejemplo, puede proporcionarse información de segmentación relativa a la presencia de una capa orgánica de la cavidad gástrica, información de segmentación adicional relativa a los denominados artefactos, así como información de segmentación adicional relativa a otras estructuras orgánicas. Por ejemplo, se pueden proporcionar hasta once informaciones de segmentación diferentes.
La Fig. 10a muestra en una superposición de manera resaltada patrones de la capa de órgano tunica muscularis basados en la información de segmentación SEG1 previamente determinada de la Fig. 9a. La Fig. 10b muestra una superposición de la formación de patrones en una región de la túnica mucosa de la capa orgánica, utilizando la información de segmentación SEG2 de la Fig. 9b.
Para la presencia de un patrón, en particular sólo se consideran o utilizan aquellas áreas de imagen o áreas parciales que son relevantes para la formación del tipo de patrón de fluorescencia específico. Puede tratarse al menos de un área parcial de la imagen de fluorescencia que corresponda a una determinada capa orgánica correspondiente. En el ejemplo del patrón ASMA, por ejemplo, se utilizan o consideran varias áreas parciales de la imagen de fluorescencia o varias capas de órganos, por ejemplo dos capas de órganos, a saber, la túnica muscular y la túnica mucosa. Estas dos capas son relevantes para la formación del patrón de fluorescencia tipo ASMA. Esta determinación de las áreas parciales de la imagen de fluorescencia o de las áreas parciales de las capas de órganos correspondientes se realiza en base a la información de segmentación correspondiente, por ejemplo en la información de segmentación SEG1 de la Fig. 9a y SEG2 de la Fig. 9b. El área parcial TF1 viene dada, por ejemplo, por los píxeles blancos de la información de segmentación SEG1 de la Fig. 9a. El área parcial TF2 viene dada, por ejemplo, por los píxeles blancos de la información de segmentación SEG2 de la Fig. 9b.
A continuación, en una etapa S8, se determina la información de validez en base a al menos una superficie parcial previamente determinada. En la Fig. 1, la una o más áreas parciales se muestran como un elemento de datos TF. Así, la información de validez se determina en base al área parcial predeterminada TF como una información VI, que se representa aquí como un elemento de datos VI.
En particular, las fracciones de área respectivas de las áreas parciales respectivas o las capas de órganos respectivas se determinan en relación con el área de la imagen de fluorescencia y la información de validez se determina en base a las fracciones de área.
Esta información de validez VI puede ser, por ejemplo, una variable booleana que toma el valor 1 en el caso de que los anteriormente con medida de confianza KM se consideren válidos.
En una etapa S9, dependiendo de la información de validez VI, se emite entonces la medida de confianza KM que es relevante para la presencia real del tipo de patrón de fluorescencia determinado.
Preferentemente, en el caso de que la información de validez VI indique una invalidez de la medida de confianza KM, la medida de confianza KM puede no generarse. En particular, se puede generar un mensaje de error en lugar de la medida de confianza KM, que no se muestra explícitamente.
Preferentemente, la información de validez VI también se genera en la etapa S9.
La medida de confianza KM previamente determinada puede ser, por ejemplo, un vector de múltiples valores escalares, en el que las respectivas entradas del vector representan o indexan las respectivas medidas de confianza relacionadas con los respectivos tipos de patrones de fluorescencia. Preferentemente, en la etapa S9, sólo ese valor escalar puede ser emitido como medida de confianza KM que indica una medida de confianza relacionada con el patrón de fluorescencia a detectar, por ejemplo el patrón ASMA.
La Fig. 2 muestra una etapa S71 alternativa a la etapa S7, en la que una pluralidad de áreas parciales TF1, TF2, que son relevantes para una formación del tipo de patrón de fluorescencia, se determinan en base a la información de segmentación SEG. Especialmente en el ejemplo del patrón ASMA, existe una formación previamente descrita del patrón a través de dos capas de órganos diferentes, la túnica mucosa y la túnica muscular. Ambas capas del órgano deben estar presentes en un grado o área suficientes en la imagen de fluorescencia FB.
Además, la Fig. 2 muestra una etapa S81 alternativa a la etapa S8, en la que la información de validez VI se determina entonces en base a la pluralidad de superficies parciales TF1, TF2.
La Fig. 3 muestra una comprobación de las áreas parciales TF1, TF2 utilizando los respectivos valores umbral SW1, SW2.
La etapa S82 que se muestra aquí es una etapa que puede realizarse alternativamente a la etapa S81 de la Fig. 2 o a la etapa S8 de la Fig. 1. A continuación, se determina la información de validez VI a partir de las distintas áreas parciales TF1, TF2 y los respectivos valores umbral SW1, SW2. Las áreas parciales TF1 y TF2 tienen fracciones de área respectivas en relación con el área de la imagen de fluorescencia.
La información de validez VI resulta entonces, por ejemplo, según la regla
Figure imgf000008_0001
En resumen, utilizando la etapa S82 de la Fig. 3, la medida de confianza de la presencia real del tipo de patrón de fluorescencia determinado se emite en el caso de que las fracciones de área respectivas de las áreas respectivas TF1, TF2 excedan un valor umbral respectivo SW1, SW2. En particular, esto garantiza que no sólo una de las áreas parciales relevantes o una de las capas de órganos relevantes esté presente en un grado suficiente en la imagen de fluorescencia, sino que éste sea el caso para todas las áreas parciales relevantes o todas las capas de órganos relevantes.
La Fig. 4 muestra etapas preferentes para determinar diferentes cantidades de información de características. Según la Fig. 4, se muestran las etapas que pueden realizarse preferentemente en la red neuronal NN.
En una etapa CO, el procesamiento de la imagen de fluorescencia FB se realiza mediante una o más operaciones convolucionales. Así, en la etapa CO, se genera un primer conjunto FI1 de una pluralidad de información de características en un espacio de características basado en la imagen de fluorescencia FB mediante una o más operaciones convolucionales. Posteriormente, la información de segmentación SEG y la medida de confianza KM se determinan más tarde en base a esta cantidad FI1 de información de características.
A diferencia de los procedimientos del estado de la técnica, en los que una imagen de fluorescencia FB se analiza primero en una primera red para determinar la información de segmentación SEG, a fin de superponer a continuación la información de segmentación SEG como una denominada máscara de imagen sobre la imagen de fluorescencia FB, y analizar posteriormente una imagen de fluorescencia enmascarada en otra red para determinar la medida de confianza KM, esto se desvía explícitamente. La red neuronal NN determina simultáneamente la información de segmentación SEG y la medida de confianza KM. Esto significa que tanto la información de segmentación SEG como la medida de confianza KM pueden determinarse simultáneamente en un espacio de características y que se condicionan mutuamente durante una fase de entrenamiento de la red neuronal Nn . Esto significa que la información de segmentación SEG sigue influyendo en la determinación de la medida de confianza KM en el espacio de características.
Después de generar el primer conjunto de información de características FI1, una etapa de determinación BS1 determina entonces la información de segmentación SEG en base al primer conjunto de información de características FI1. Sólo entonces se determina la medida de confianza KM en base al primer conjunto de información de características FI1 y en base a la información de segmentación SEG. También en este caso, la red neuronal NN determina simultáneamente la información de segmentación SEG y la medida de confianza KM.
Preferentemente, la información de segmentación SEG, que se determinó en la etapa de determinación BS1 en base a la información de características FI1, se transforma de nuevo en una etapa de determinación BS2 en el espacio de características en un segundo conjunto de información de características FI2. Así, en base a la información de segmentación SEG, se genera un segundo conjunto de información de características múltiples FI2 en un espacio de características mediante al menos una operación convolucional. Sólo entonces se determina la medida de confianza KM en el espacio de características en una etapa de determinación BS3 en base al primer conjunto de información de características FI1 y el segundo conjunto de información de características FI2.
En otras palabras: La información de segmentación SEG se transforma así en una etapa de determinación BS2 en un espacio de características o información de características FI2, que se utiliza a continuación en el espacio de características junto con la primera información de características FI1 para determinar la medida de confianza KM. Por lo tanto, la información de segmentación SEG no se aplica directamente a la imagen de fluorescencia FB, como se conoce en la técnica anterior, sino que se transforma en el espacio de características como una información de características FI2 y allí, en el espacio de características, la información de segmentación SEG encuentra entonces su camino en la determinación de la medida de confianza KM, en particular junto con el primer conjunto de información de características FI1.
Así, toda la imagen de fluorescencia FB se transforma primero en el espacio de características como información de características FI1 y no se realiza ninguna transformación inversa en el espacio de imágenes antes de determinar la información de segmentación SEG.
La Fig. 5 muestra las etapas preferentes para estimar un grado máximo de dilución de la muestra del paciente en el que la incubación de la sección del órgano con la muestra del paciente todavía conduce a una presencia del tipo de patrón de fluorescencia.
Las áreas parciales TF1 y TF2 se utilizan en una etapa S82, como se ha descrito anteriormente con respecto a la Fig. 3, para determinar la información de validez VI. En la etapa S9 mencionada anteriormente con referencia a la figura 1, la medida de confianza KM puede generarse entonces en función de la información de validez VI.
En la Fig. 5 se muestra otra etapa preferente S10. Si la información de validez VI indica que se ha determinado que el tipo de patrón de fluorescencia está realmente presente, entonces en la etapa S10 se puede determinar un nivel de brillo de un área parcial en la imagen de fluorescencia, siendo el área parcial potencialmente relevante para una formación del tipo de patrón de fluorescencia. Por ejemplo, en el caso de que dos capas de órganos sean relevantes, sólo puede utilizarse una capa de órganos. Puede tratarse, por ejemplo, de la capa de órgano tunica muscularis, de la que se muestra una superficie parcial TF1 en la Fig. 9a.
En la etapa S10, el grado máximo de dilución se estima entonces como una información VG basada en el área parcial TF1 y la imagen de fluorescencia FB. En una realización preferente, por ejemplo, la información de segmentación del área parcial TF1, véase la Fig. 9a, puede colocarse como información de segmentación SEG1 como máscara sobre la imagen de fluorescencia FB y, a continuación, puede determinarse el grado de brillo o intensidad en esta área parcial y estimarse el correspondiente grado máximo de dilución en base a este grado de brillo.
Para ello, se realiza preferentemente una estadística de píxeles en esta área de imagen de fluorescencia relevante de la capa de órgano. Se determina el cuantil del 95% de los valores de brillo de la imagen parcial TF1 de la imagen de fluorescencia. Los valores de luminosidad pueden cuantificarse en el intervalo de 0 a 255, por ejemplo. Toda esta gama de cuantificación de valores de luminosidad de 0 a 255 puede dividirse entonces equidistantemente en cinco gamas de valores parciales. El primer intervalo es entonces de 0 a 51. Los otros intervalos siguen en pasos equidistantes correspondientes, con el quinto intervalo superior terminando en 255. En base al grado de brillo en forma de cuantil del 95%, se puede llevar a cabo una estimación de un grado máximo de dilución de la muestra del paciente en el que la incubación de la sección del órgano con la muestra del paciente todavía conduce a la presencia de uno o el tipo de patrón de fluorescencia. La información HI que debe determinarse como el cuantil del 95 % se asigna entonces a uno de los intervalos de valores parciales en consecuencia. El intervalo de valores parciales determinado o el índice del intervalo de valores parciales determinado determina un tamaño de paso, basado en la dilución actual de la muestra del paciente para la generación de la imagen de fluorescencia, con el fin de determinar un nivel de dilución en el que los grados de la muestra del paciente seguirían dando lugar a un patrón positivo o a la presencia del tipo de patrón de fluorescencia. Así, el grado de dilución VD de la muestra a partir de la incubación se proporciona como información secundaria. A una dilución o un grado de dilución VD de 1 : 10, entonces es posible comenzar con una serie de diluciones de 10, 32, 100, 320, 1.000, 3.200, 10.000, 32.000 basada en un tamaño de paso determinado, por ejemplo 2, e ir dos pasos más allá y entonces determinar una dilución de 100 como un grado de dilución en el que la incubación de la sección del órgano con la muestra del paciente sólo daría lugar a la presencia del tipo de patrón de fluorescencia. Este es entonces el grado de dilución VG determinado. La Fig. 6 muestra etapas preferentes de una realización preferente de un procedimiento propuesto para el procesamiento digital de imágenes. En una etapa S1A, se recibe la imagen de fluorescencia FB. A la etapa S1A le siguen las etapas S5 a S9 de la Fig. 1.
Se propone además un producto de programa de ordenador que comprende instrucciones que, cuando el programa es ejecutado por un ordenador, hacen que el ordenador realice el procedimiento de procesamiento digital de imágenes de la forma propuesta.
Según la Fig. 1, la medida de confianza KM puede comprobarse de nuevo en una etapa adicional S9A. Si la medida de confianza KM tiene un valor que supera un umbral SWX proporcionado, se emite la medida de confianza KM. En este caso, la medida de confianza KM debe tener, por tanto, una certeza mínima con respecto a la presencia del tipo de patrón de fluorescencia específico.
La figura 12 muestra una estructura general de una realización preferente de la red neuronal NN que recibe la imagen de fluorescencia FB. En un bloque de procesamiento B1, se recibe y preprocesa la imagen de fluorescencia FB. A continuación, se realiza un DB en bloque en el que se lleva a cabo un submuestreo.
La salida del bloque DB se alimenta entonces a un bloque de procesamiento VB1 y también a un bloque de sobremuestreo UB. A continuación se disponen otros cuatro bloques en los que la variable de salida de un bloque de procesamiento VB1 se transmite a otro bloque de procesamiento VB1, así como a un bloque de sobremuestreo UB. La salida de los bloques de sobremuestreo UB y la salida del último bloque de procesamiento VB1 se concatenan en un bloque de concatenación CONC.
La variable de salida del Bloque de Concatenación CONC se alimenta entonces a un Bloque de Procesamiento VB1 así como a un Bloque de Procesamiento VB2.
La variable de salida del bloque de procesamiento VB1 se alimenta entonces a un bloque SOB para la salida de un resultado de segmentación SEG. El resultado de la segmentación o la información de segmentación SEG se emite entonces en el bloque SOB.
Esta información de segmentación SEG también se envía a otro bloque de procesamiento VB2. A continuación, el bloque de procesamiento VB2 determina la medida de confianza KM a partir de la variable de salida INF del bloque de concatenación CONC y la información de segmentación SEG, que se emite en un bloque COB.
Los detalles de los bloques mostrados en la Figura 12 se muestran en la Figura 13.
El bloque de entrada B1 comprende un bloque I1, en el que se recibe una variable de entrada, y un bloque posterior C1, en el que se realiza una convolución bidimensional. Esto se hace preferentemente con un tamaño de Stride=2. Un bloque de sobremuestreo UB tiene primero un bloque CB en el que se realiza una convolución bidimensional. A continuación, un bloque LB con una función LeakyReLU. Además, sigue el llamado bloque de remuestreo UPB. Un bloque de submuestreo DB tiene en primer lugar un bloque CB, al que sigue un bloque LB, al que sigue un bloque APB, en el que se realiza una agrupación de medias con tamaño 2, Tamaño=2.
Un bloque de procesamiento VB1 tiene primero un bloque IB en el que se recibe una variable de entrada que luego se suministra a diferentes bloques BAC, ADB. En un BAC de bloque, tiene lugar una secuencia de operaciones Batchnorm, Activación, Convolución. En un bloque ADB, tiene lugar una suma elemento a elemento de las diversas variables de entrada proporcionadas al bloque ADB, aquí a partir del bloque IB y un bloque BAC.
Un Bloque Convolucional de Activación Batchnorm CBNB tiene primero un Bloque CB, luego un Bloque Batchnorm BNB y luego un Bloque LB.
Un Bloque de Convolución de Activación por Lotes BAC tiene primero un Bloque BNB, luego un Bloque LB y luego un Bloque CB.
Un bloque de procesamiento VB2 tiene un bloque de entrada IB1 en el que entra la información de segmentación SEG.
Otro bloque de entrada paralelo IB2 recibe la información INF, que también se muestra en la Figura 12. La información INF es la generada por el bloque de concatenación CONC y transferida al bloque de procesamiento VB2.
A continuación, la información de segmentación SEG se transfiere a un bloque CBNB después del bloque IB1. La información allí generada se transfiere a un MB de Bloque 2D Max Pooling izquierdo y a un MB de Bloque 2D Max Pooling derecho.
En la cadena de procesamiento de la izquierda, el tamaño determinado por el bloque MB se pasa a continuación a un bloque de concatenación CONC. En la cadena del lado derecho, se lleva a cabo una secuencia de un bloque MB, un bloque CONC y un bloque CBNB antes de que la información determinada correspondiente también se transfiera al bloque de concatenación CONC. Siguen dos bloques de tipo CBNB.
Por último, en un bloque GB se realiza la agrupación global de máximos y la activación sigmoidea. Esto determina la medida de confianza de la información KM.
Para una implementación de una o más realizaciones de la Red Neuronal Convolucional NN aquí propuesta, un experto en la materia puede recurrir a una biblioteca de aprendizaje profundo de código abierto denominada "Keras". El experto puede encontrar información detallada en https://keras.io.
Resultados
Los datos de rendimiento se determinaron con 78 muestras de pacientes. Cada muestra se tituló en 3 etapas de titulación y luego se incubó un sustrato o sección de órgano para cada etapa de titulación. Aquí, los sustratos incubados se registraron en forma de imágenes de fluorescencia con el microscopio tipo EURO-Pattern Microscope 1.5. Así, se obtuvieron 3 resultados de cada una de las 3 etapas de titulación para cada muestra. Si se detectaba la presencia del tipo de patrón de fluorescencia como positivo mediante el procedimiento propuesto para al menos una de las 3 imágenes de fluorescencia de la muestra determinada, se decidía que el tipo de patrón de fluorescencia estaba presente en principio.
La tabla TAB de la Figura 11 muestra que de 21 muestras positivas reales, el procedimiento propuesto detectó 19 muestras como positivas y 2 muestras fueron detectadas falsamente como negativas. La tabla de la Figura 11 muestra además que de 57 muestras negativas reales, el procedimiento propuesto detectó 55 muestras como negativas y 2 muestras fueron detectadas erróneamente como positivas. El resultado es una sensibilidad analítica de 0,90. Además, esto se traduce en una especificidad analítica del 0,96.
Aunque algunos aspectos se han descrito en el contexto de un dispositivo, se entiende que estos aspectos son también una descripción de los procesos correspondientes, de modo que un bloque o componente de un dispositivo debe entenderse también como una etapa de proceso correspondiente o como una característica de una etapa de proceso. Del mismo modo, los aspectos descritos en relación con o como una etapa del proceso también constituyen una descripción de un bloque o detalle o característica correspondiente de un dispositivo correspondiente.
Dependiendo de los requisitos particulares de implementación, las realizaciones de la invención pueden implementar la unidad de computación R o el dispositivo de red de datos en hardware y/o en software. Una unidad de cálculo R mencionada aquí puede ser implementada como al menos una unidad de cálculo o por varias unidades de cálculo en una red. La implementación puede llevarse a cabo utilizando un medio de almacenamiento digital, por ejemplo un disquete, un DVD, un disco Blu-Ray, un CD, una ROM, una PROM, una EPROM, una EEPROM o una memoria FLASH, un disco duro o cualquier otra memoria magnética u óptica en la que se almacenen señales de control legibles electrónicamente, que pueden interactuar o cooperar con un componente de hardware programable de tal manera que se lleve a cabo el procedimiento respectivo.
Un componente de hardware programable puede estar formado como unidad de computación por un procesador, un procesador informático (CPU = Unidad Central de Procesamiento), un ordenador, un sistema informático, un circuito integrado de aplicación específica (ASIC), un circuito integrado (IC = Circuito Integrado), un sistema de un solo chip (SOC = Sistema en Chip), un elemento lógico programable o una matriz de puertas programables en campo con un microprocesador (FPGA = Field Programmable Gate Array).
Por lo tanto, el medio de almacenamiento digital puede ser legible por máquina o por ordenador. Así, algunas realizaciones comprenden un soporte de datos que tiene señales de control electrónicamente legibles capaces de interactuar con un sistema informático programable o un componente de hardware programable de tal manera que se realice cualquiera de los procedimientos descritos en el presente documento.
Generalmente, las realizaciones o porciones de realizaciones de la presente invención pueden implementarse como un programa, firmware, programa de ordenador o producto de programa de ordenador que tiene un código de programa o datos, en el que el código de programa o los datos son efectivos para realizar uno de los procedimientos o una porción de un procedimiento cuando el programa se ejecuta en un procesador o componente de hardware programable.

Claims (12)

REIVINDICACIONES
1. Un procedimiento para detectar al menos una presencia potencial de al menos un tipo de patrón de fluorescencia en una sección de órgano mediante microscopía de inmunofluorescencia y mediante procesamiento digital de imágenes, que comprende
- proporcionar la sección del órgano en un portaobjetos,
- incubar la sección del órgano con una muestra líquida del paciente que contenga potencialmente anticuerpos primarios,
- incubar la sección del órgano con anticuerpos secundarios marcados con un colorante fluorescente, - capturar una imagen de fluorescencia (FB) de la sección del órgano en un canal de color correspondiente al colorante fluorescente,
- suministrar la imagen de fluorescencia (FB) a una red neuronal (NN),
- determinar simultáneamente la información de segmentación (SEG) mediante la segmentación de la imagen de fluorescencia (FB) y determinar además una medida de confianza (KM) que indique una presencia real del tipo de patrón de fluorescencia por medio de una red neuronal (NN),
- determinar al menos un área parcial (TF1, TF2) de la imagen de fluorescencia (FB), que es relevante para una formación del tipo de patrón de fluorescencia, en base a la información de segmentación (SEG), - determinar la información de validez (VI) que indica un grado de validez de la medida de confianza (KM) en base a al menos un área parcial (TF1, TF2) previamente determinada,
- generar la medida de confianza (KM) de la presencia real del tipo de patrón de fluorescencia en función de la información de validez (VI).
2. Procedimiento según la reivindicación 1, que comprende además
- determinar varias áreas parciales (TF1, TF2) de la imagen de fluorescencia (FB), que son relevantes para la formación del tipo de patrón de fluorescencia, en base a la información de segmentación (SEG), - determinar la información de validez (VI), que indica un grado de validez de la medida de confianza (KM), a partir de las áreas parciales previamente determinadas (TF1, TF2).
3. Procedimiento según la reivindicación 1, que comprende además
- determinar una fracción de área de la al menos un área parcial (TF1, TF2) en relación con el área de la imagen de fluorescencia (FB), y
- determinar la información de validez (VI) en función de la fracción de área.
4. Procedimiento según la reivindicación 2, que comprende además
- determinar las respectivas fracciones de área de las respectivas áreas parciales (TF1, TF2) en relación con el área de la imagen de fluorescencia (FB), así como
- determinar la información de validez (VI) a partir de las fracciones de área.
5. Procedimiento según la reivindicación 2, que comprende además
- determinar varias áreas parciales (TF1, TF2) de la imagen de fluorescencia (FB), que son relevantes para la formación del tipo de patrón de fluorescencia, en base a la información de segmentación (SEG), - determinar las respectivas cuotas de área de las respectivas áreas parciales (TF1, TF2) en relación con el área de la imagen de fluorescencia (FB),
- determinar la información de validez (VI) en función de las cuotas de superficie y de los valores umbral respectivos,
- generar la medida de confianza (KM) de la presencia real del tipo de patrón de fluorescencia en el caso de que las fracciones de área respectivas superen un valor umbral respectivo (SW1, SW2).
6. Procedimiento según la reivindicación 1, en el que la red neuronal (NN)
- genera primero, a partir de la imagen de fluorescencia (FB), un primer conjunto (FI1) de una pluralidad de información de características en un espacio de características mediante al menos una o más operaciones convolucionales
- y además determina, en base al primer conjunto (FI1) de información de características, la información de segmentación (SEG) y la medida de confianza (KM).
7. El procedimiento según la reivindicación 1, en el que la red neuronal (NN)
- genera primero, a partir de la imagen de fluorescencia (FB), un primer conjunto (FI1) de una pluralidad de información de características en un espacio de características mediante una o más operaciones convolucionales
- determina además la información de segmentación (SEG) en base al primer conjunto (FI1) de información de características
- y además determina la medida de confianza (KM) se determina en base al primer conjunto (FI1) de información de características y en base a la información de segmentación (SEG).
8. El procedimiento según la reivindicación 1, en el que la red neuronal (NN)
- genera primero, a partir de la imagen de fluorescencia (FB), un primer conjunto (FI1) de una pluralidad de información de características en un espacio de características utilizando una o más operaciones convolucionales,
- determina además la información de segmentación en base al primer conjunto (FI1) de información de características,
- genera además, en base a la información de segmentación (SEG), un segundo conjunto (FI2) de una pluralidad de información de características en un espacio de características mediante al menos una operación convolucional
- y además determina, en base al primer conjunto (FI1) de información de características y del segundo conjunto (FI2) de información de características, la medida de confianza (KM).
9. El procedimiento de la reivindicación 1, que comprende además,
- determinar varias áreas parciales (TF1, TF2) de la imagen de fluorescencia (FB), que son relevantes para la formación del tipo de patrón de fluorescencia, en base a la información de segmentación (SEG), - y en el caso de que se determine que el tipo de patrón de fluorescencia está realmente presente, determinar un nivel de brillo de una de las áreas parciales (TF1) en la imagen de fluorescencia (FB) que sea potencialmente relevante para una formación del tipo de patrón de fluorescencia,
- y estimar un nivel de dilución máximo (VG) de la muestra del paciente en el que la incubación de la sección del órgano con la muestra del paciente sigue dando lugar a la presencia de uno de los tipos de patrón de fluorescencia.
10. Dispositivo (V1) para detectar al menos una presencia potencial de al menos un tipo de patrón de fluorescencia en una sección de órgano mediante microscopía de inmunofluorescencia y mediante procesamiento digital de imágenes, que comprende
- un soporte (H) para un portaobjetos que comprende una sección de órgano (S) incubada con una muestra de paciente que comprende los autoanticuerpos primarios y también con anticuerpos secundarios marcados cada uno con un colorante fluorescente,
- al menos una unidad de adquisición de imágenes (K1, K2) para adquirir una imagen de fluorescencia (FB) de la sección del órgano (S) en un canal de color correspondiente al colorante fluorescente,
y que comprende además al menos una unidad de cálculo (R), que está formada,
- para proporcionar la imagen de fluorescencia (FB) a una red neuronal (NN),
- para determinar simultáneamente, por medio de una red neuronal (NN), la información de segmentación (SEG) segmentando la imagen de fluorescencia (FB) y, además, determinar una medida de confianza (KM) que indique una presencia real del tipo de patrón de fluorescencia,
- para determinar al menos un área parcial (TF1, TF2) de la imagen de fluorescencia (FB), que sea relevante para una formación del tipo de patrón de fluorescencia, en base a la información de segmentación (SEG),
- para determinar información de validez (VI) que indique un grado de validez de la medida de confianza (KM) en base a al menos una área parcial (TF1, TF2) previamente determinada,
- y para generar la medida de confianza (KM) de la presencia real del tipo de patrón de fluorescencia en función de la información de validez (VI).
11. Procedimiento de tratamiento digital de imágenes que comprende
- recibir una imagen de fluorescencia que representa una tinción de una sección de órgano (S) por un colorante fluorescente,
- suministrar la imagen de fluorescencia (FB) a una red neuronal (NN),
- determinar simultáneamente la información de segmentación (SEG) segmentando la imagen de fluorescencia (FB) y determinar una medida de confianza (KM) que indique una presencia real del tipo de patrón de fluorescencia mediante la única red neuronal común (n N),
- determinar al menos un área parcial (TF1, TF2) de la imagen de fluorescencia (FB), que es relevante para una formación del tipo de patrón de fluorescencia, en base a la información de segmentación (SEG), - determinar la información de validez (VI) que indica un grado de validez de la medida de confianza (KM) en base a al menos una área parcial (TF1, TF2) previamente determinada,
- generar la medida de confianza (KM) de la presencia real del tipo de patrón de fluorescencia en función de la información de validez (VI).
12. Producto de programa de ordenador que comprende instrucciones que, cuando el programa es ejecutado por un ordenador, hacen que el ordenador realice el procedimiento de procesamiento digital de imágenes de la reivindicación 11.
ES21195352T 2020-12-21 2021-09-07 Procedimiento y dispositivo para detectar la presencia de un tipo de patrón de fluorescencia en una sección de órgano mediante microscopía de inmunofluorescencia Active ES2940745T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP20215995.0A EP4016081B1 (de) 2020-12-21 2020-12-21 Verfahren und vorrichtung zum detektieren einer präsenz eines fluoreszenzmustertyps auf einem organschnitt mittels immunfluoreszenzmikroskopie

Publications (1)

Publication Number Publication Date
ES2940745T3 true ES2940745T3 (es) 2023-05-11

Family

ID=73856130

Family Applications (2)

Application Number Title Priority Date Filing Date
ES20215995T Active ES2942022T3 (es) 2020-12-21 2020-12-21 Procedimiento y dispositivo para detectar la presencia de un tipo de patrón de fluorescencia en una sección de órgano mediante microscopía de inmunofluorescencia
ES21195352T Active ES2940745T3 (es) 2020-12-21 2021-09-07 Procedimiento y dispositivo para detectar la presencia de un tipo de patrón de fluorescencia en una sección de órgano mediante microscopía de inmunofluorescencia

Family Applications Before (1)

Application Number Title Priority Date Filing Date
ES20215995T Active ES2942022T3 (es) 2020-12-21 2020-12-21 Procedimiento y dispositivo para detectar la presencia de un tipo de patrón de fluorescencia en una sección de órgano mediante microscopía de inmunofluorescencia

Country Status (4)

Country Link
US (2) US20220404283A2 (es)
EP (2) EP4016081B1 (es)
CN (2) CN114648761B (es)
ES (2) ES2942022T3 (es)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4345775A1 (de) * 2022-09-30 2024-04-03 Euroimmun Medizinische Labordiagnostika AG Verfahren zur detektion wenigstens eines fluoreszenzmusters auf einem immunfluoreszenzbild eines biologischen zellsubstrats

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006027516B4 (de) * 2006-06-09 2021-10-07 Euroimmun Medizinische Labordiagnostika Ag Verfahren zur Optimierung der automatischen Fluoreszenzmustererkennung in der Immundiagnostik
US8160364B2 (en) * 2007-02-16 2012-04-17 Raytheon Company System and method for image registration based on variable region of interest
US20150032671A9 (en) * 2010-07-23 2015-01-29 General Electric Company Systems and methods for selecting and analyzing particles in a biological tissue
CN107977969B (zh) * 2017-12-11 2020-07-21 北京数字精准医疗科技有限公司 一种内窥镜荧光图像的分割方法、装置及存储介质
EP3712618B1 (de) * 2019-03-18 2023-10-04 Euroimmun Medizinische Labordiagnostika AG Verfahren zum detektieren einer bindung von antikörpern einer patientenprobe an doppelsträngige dns unter verwendung von crithidia luciliae zellen und fluoreszenzmikroskopie
EP3767587A1 (de) * 2019-07-19 2021-01-20 Euroimmun Medizinische Labordiagnostika AG Detektion von präsenzen unterschiedlicher antinukleärer antikörper-fluoreszenzmustertypen und vorrichtung hierfür
CN111862195B (zh) * 2020-08-26 2024-04-09 Oppo广东移动通信有限公司 光斑检测方法和装置、终端和存储介质

Also Published As

Publication number Publication date
CN115775223A (zh) 2023-03-10
CN114648761B (zh) 2024-06-18
CN115775223B (zh) 2024-03-01
EP4016081A1 (de) 2022-06-22
US20220404283A2 (en) 2022-12-22
ES2942022T3 (es) 2023-05-29
US20230071078A1 (en) 2023-03-09
EP4016082B1 (de) 2023-02-22
US20220196553A1 (en) 2022-06-23
CN114648761A (zh) 2022-06-21
EP4016082A1 (de) 2022-06-22
EP4016081B1 (de) 2023-02-22

Similar Documents

Publication Publication Date Title
JP6654634B2 (ja) 不均一なバイオマーカー分布を定量的に分析するための方法、システム及び装置
JP6800152B2 (ja) 組織学画像中の核の分類
US11747319B2 (en) Computer method and system for deriving cell-to-cell spatial proximities
Wählby et al. Sequential immunofluorescence staining and image analysis for detection of large numbers of antigens in individual cell nuclei
US11703454B2 (en) Method and apparatus for multiplexed imaging of spectrally-similar fluorophores
US10580128B2 (en) Whole slide multispectral imaging systems and methods
US8422780B2 (en) Method and apparatus of correcting hybrid flash artifacts in digital images
AU2014236055B2 (en) Referencing in multi-acquisition slide imaging
EP3712618B1 (de) Verfahren zum detektieren einer bindung von antikörpern einer patientenprobe an doppelsträngige dns unter verwendung von crithidia luciliae zellen und fluoreszenzmikroskopie
WO2019118544A1 (en) Generating virtually stained images of unstained samples
US9338408B2 (en) Image obtaining apparatus, image obtaining method, and image obtaining program
ES2940745T3 (es) Procedimiento y dispositivo para detectar la presencia de un tipo de patrón de fluorescencia en una sección de órgano mediante microscopía de inmunofluorescencia
JP7487418B2 (ja) 多重化免疫蛍光画像における自己蛍光アーチファクトの識別
JP5928308B2 (ja) 画像取得装置および画像取得方法
KR102351249B1 (ko) 분자 다중 이미징 방법 및 장치
JP2016164540A (ja) 細胞分析装置、細胞分析装置の制御方法およびプログラム
US20170164836A1 (en) Apparatus and methods for structured light scatteroscopy
JP2020537739A (ja) ポドサイトの足突起消失を決定するための診断ツール
JP7492650B2 (ja) 多重免疫蛍光染色組織のデジタル画像における壊死領域の自動識別
WO2018008136A1 (ja) 画像処理装置および画像処理装置の作動方法
CN114283113A (zh) 检测患者样本自身抗体与双链脱氧核糖核酸的结合的方法
Paletzki et al. Whole mouse brain image reconstruction from serial coronal sections using FIJI (ImageJ)
US9360605B2 (en) System and method for spatial and spectral imaging
US11037294B2 (en) Image processing device, image processing method, and computer-readable recording medium
KR20130042791A (ko) 형광 영상을 촬영하는 장치 및 방법