ES2977199T3

ES2977199T3 - Enfoque en tiempo real en un sistema de escaneo de portaobjetos

Info

Publication number: ES2977199T3
Application number: ES20758049T
Authority: ES
Inventors: Allen Olson; Yunlu Zou; Bharat Annaldas; Leng-Chun Chen
Original assignee: Leica Biosystems Imaging Inc
Current assignee: Leica Biosystems Imaging Inc
Priority date: 2019-08-06
Filing date: 2020-08-05
Publication date: 2024-08-20
Anticipated expiration: 2040-08-05
Also published as: US20240064400A1; EP3884327A1; CN113366364A; US11863867B2; WO2021026278A1; KR20220035867A; US20220159171A1; EP3884327B1; JP2022542625A

Abstract

Enfoque en tiempo real en un sistema de escaneo de diapositivas. En una realización, los puntos de enfoque se agregan a un mapa de enfoque inicializado mientras se adquieren una pluralidad de franjas de imágenes de una muestra en un portaobjetos de vidrio. Para cada franja de imagen, se pueden adquirir una pluralidad de cuadros, que representan colectivamente la franja de imagen, usando tanto una cámara de escaneo de líneas de imágenes como una cámara de escaneo de líneas de enfoque inclinado. Los puntos de enfoque, que representan las posiciones de mejor enfoque para marcos confiables, se agregan al mapa de enfoque. Los puntos de enfoque periféricos se eliminan del mapa de enfoque. En algunos casos, es posible que se vuelvan a adquirir una o más franjas de imágenes. Finalmente, las franjas de la imagen se ensamblan en una imagen compuesta de la muestra. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Enfoque en tiempo real en un sistema de escaneo de portaobjetos

ANTECEDENTES

Campo de la invención

Las realizaciones descritas en el presente documento están dirigidas generalmente al control de un sistema de escaneo de portaobjetos y, más particularmente, al enfoque en tiempo real en un sistema de escaneo de portaobjetos.

Técnica relacionada

La patología digital es un entorno de información basado en imágenes, habilitado por tecnología informática que permite la gestión de la información generada a partir de un portaobjetos físico. La patología digital está habilitada en parte por la microscopía virtual, que es la práctica de escanear un espécimen en un portaobjetos físico de vidrio y crear una imagen de portaobjetos digital que se puede almacenar, ver, administrar y analizar en un monitor de computadora. Con la capacidad de formar imágenes de un portaobjetos de vidrio completo, el campo de la patología digital se ha disparado y actualmente se considera una de las vías más prometedoras de la medicina de diagnóstico para lograr diagnósticos, pronósticos y predicciones aún mejores, más rápidos y más baratos de enfermedades importantes, como el cáncer. Los documentos US 2019/101739 A1 y US 2018/275388 A1 divulgan, ambos, sistemas histopatológicos de escaneo de portaobjetos que comprenden una cámara de escaneo de líneas para formar imágenes y una cámara de escaneo de líneas inclinada para adquirir imágenes para derivar información de enfoque automático. El documento US 2014/300724 A1 divulga un sistema de formación de imágenes de portaobjetos completo que proporciona una evaluación de la calidad de imagen basándose en el mapa de enfoque de una cámara de escaneo de líneas antes y durante la captura de datos de imágenes de un espécimen en un portaobjetos de microscopio. Los valores de enfoque que se encuentran fuera de un rango predefinido se detectan y eliminan del mapa de enfoque.

Un objetivo principal para la industria de la patología digital es disminuir el tiempo de escaneo. Se puede reducir el tiempo de escaneo cambiando al enfoque en tiempo real durante el escaneo real. Para lograr datos de imagen enfocada de alta calidad utilizando el enfoque en tiempo real durante el escaneo real, el dispositivo de escaneo debe poder determinar el siguiente valor Z (por ejemplo, la distancia entre la lente del objetivo y la muestra) para la lente del objetivo. Por lo tanto, lo que se necesita es un sistema y método que supere los importantes problemas de enfoque en tiempo real que se encuentran en los sistemas convencionales.

RESUMEN

Se divulgan sistemas, métodos y soportes no transitorios legibles por computadora para el enfoque en tiempo real en un sistema de escaneo de portaobjetos.

En una realización, se divulga un método que comprende usar al menos un procesador de hardware de un sistema de escaneo para: inicializar un mapa de enfoque; agregar puntos de enfoque al mapa de enfoque mientras se adquiere una pluralidad de franjas de imagen de al menos una porción de una muestra en un portaobjetos de vidrio, adquiriendo, para cada una de la pluralidad de franjas de imagen, cada uno de una pluralidad de cuadros, que representan colectivamente la franja de imagen, usando tanto una cámara de escaneo de líneas de formación de imágenes como una cámara de escaneo de líneas de enfoque inclinado, y agregando puntos de enfoque, que representan posiciones de mejor enfoque para los cuadros de confianza de la pluralidad de cuadros, al mapa de enfoque; eliminar cualquier punto de enfoque periférico del mapa de enfoque; determinar si se deben recrear o no una o más de la pluralidad de franjas de imagen basándose en un error de enfoque para cada uno de la pluralidad de cuadros en la pluralidad de franjas de imagen; cuando se determina recrear una o más franjas de imagen, volver a adquirir las una o más franjas de imagen; y ensamblar la pluralidad de franjas de imagen en una imagen compuesta de la al menos una porción de la muestra.

La pluralidad de franjas de imagen se adquiere, en orden: adquiriendo una franja de referencia; adquiriendo franjas de imagen, en secuencia, desde un primer lado de la franja de referencia hasta un primer borde de un área de escaneo de la muestra; y adquiriendo franjas de imagen, en secuencia, desde un segundo lado de la franja de referencia, que está opuesto al primer lado de la franja de referencia, hasta un segundo borde del área de escaneo, que está opuesto al primer borde del área de escaneo.

El método puede comprender además, antes de iniciar la adquisición de la pluralidad de franjas de imagen, agregar una pluralidad de puntos de enfoque macro al mapa de enfoque. El método puede comprender además, después de la adquisición de una o más de la pluralidad de franjas de imagen, agregar uno o más puntos de enfoque macro al mapa de enfoque.

La agregación de puntos de enfoque al mapa de enfoque mientras se adquiere la pluralidad de franjas de imagen puede comprender además, para cada uno de la pluralidad de cuadros en cada una de la pluralidad de franjas de imagen, determinar si el cuadro es o no de confianza. La determinación de si el cuadro es o no de confianza puede comprender: calcular un vector de gradiente principal que comprende un vector de gradiente promedio para cada columna en el cuadro adquirido por la cámara de escaneo de líneas de formación imágenes; calcular un vector de gradiente de inclinación que comprende un vector de gradiente promedio para cada columna en el cuadro adquirido por la cámara de escaneo de líneas de enfoque inclinado; determinar un número de columnas analizables en el vector de gradiente principal; calcular un vector de razón basado en el vector de gradiente principal y el vector de gradiente de inclinación; determinar si el cuadro es analizable o no basándose en el número de columnas analizables y el vector de razón; al determinar que el cuadro no es analizable, determinar que el cuadro no es de confianza; y, al determinar que el cuadro es analizable, ajustar al menos una función gaussiana a una curva de razón, representada por el vector de razón, identificar un pico de la función gaussiana como una mejor posición de enfoque, identificar una amplitud del vector de razón en la mejor posición de enfoque como máximo de ajuste, determinar si el cuadro es o no fiable basándose en la mejor posición de enfoque y el máximo de ajuste, al determinar que el cuadro no es fiable, determinar que el cuadro no es de confianza y, al determinar que el cuadro es fiable, agregar la mejor posición de enfoque al mapa de enfoque. La determinación del número de columnas analizables puede comprender determinar un número de columnas en el vector de gradiente principal que exceden un umbral. El cálculo del vector de razón puede comprender dividir el vector de gradiente de inclinación por el vector de gradiente principal. La determinación de si el cuadro es o no analizable puede comprender: determinar si el número de columnas analizables excede o no un porcentaje de umbral predefinido; determinar si un valor del vector de razón en una ubicación parafocal está o no dentro de un rango predefinido, en donde la ubicación parafocal es un punto en la cámara de escaneo de líneas de enfoque inclinado que es parafocal con la cámara de escaneo de líneas de formación de imágenes; al determinar que el número de columnas analizables no excede el umbral predefinido o el valor del vector de razón en la ubicación parafocal no está dentro del rango predefinido, determinar que el cuadro no es analizable y, al determinar que el número de columnas analizables excede el porcentaje de umbral predefinido y el valor del vector de razón en la ubicación parafocal está dentro del rango predefinido, determinar que el cuadro es analizable. El ajuste de al menos una función gaussiana a la curva de razón puede comprender: muestrear una pluralidad de posibles funciones gaussianas dentro de un rango de valores medios y un rango de valores sigma; y seleccionar una de la pluralidad de posibles funciones gaussianas, para usarla para identificar la mejor posición de enfoque, con una diferencia que es la más pequeña con respecto a la curva de razón.

La eliminación de cualquier punto de enfoque periférico del mapa de enfoque puede comprender, para uno o más puntos de muestra en el mapa de enfoque: en cada una de las cuatro direcciones, calcular una pendiente lejos del punto de muestra dentro del mapa de enfoque; si un mínimo de las pendientes calculadas excede un umbral predefinido, eliminar el punto de muestra del mapa de enfoque.

La determinación de si recrear o no una o más de la pluralidad de franjas de imagen puede comprender, después de eliminar cualquier punto de enfoque periférico del mapa de enfoque: para cada uno de la pluralidad de cuadros en cada una de la pluralidad de franjas de imagen, calcular el error de enfoque para el cuadro restando una posición real de una lente del objetivo durante la adquisición del cuadro de una mejor posición de enfoque para ese cuadro dentro del mapa de enfoque; para cada una de la pluralidad de franjas de imagen, determinar recrear la franja de imagen cuando un número de cuadros, que tienen un error de enfoque que excede un umbral predefinido, excede un porcentaje de umbral predefinido.

El método puede incorporarse en módulos de software ejecutables de un sistema basado en procesador, tal como un servidor, y/o en instrucciones ejecutables almacenadas en un soporte no transitorio legible por computadora.

BREVE DESCRIPCIÓN DE LOS DIBUJOS

Los detalles de la presente invención, tanto en cuanto a su estructura como a su funcionamiento, pueden obtenerse en parte mediante el estudio de los dibujos adjuntos, en donde números de referencia similares se refieren a partes similares, y en donde:

la FIG. 1A ilustra un ejemplo de dispositivo adaptado para procesador que puede usarse en conexión con las diversas realizaciones descritas en el presente documento, según una realización;

la FIG. 1B ilustra un ejemplo de cámara de escaneo de líneas que tiene una única matriz lineal, según una realización;

la FIG. 1C ilustra un ejemplo de cámara de escaneo de líneas que tiene tres matrices lineales, según una realización;

la FIG. 1D ilustra un ejemplo de cámara de escaneo de líneas que tiene una pluralidad de matrices lineales, según una realización;

la FIG. 1E ilustra un ejemplo de configuración en vista lateral de cámaras de escaneo de líneas en un sistema de escaneo, según una realización;

la FIG. 1F ilustra un ejemplo de configuración en vista superior de un sensor de formación de imágenes con respecto a un camino óptico de formación de imágenes, según una realización;

la FIG. 1G ilustra un ejemplo de configuración en vista superior de un sensor de enfoque, con respecto a un camino óptico de enfoque, según una realización;

la FIG. 1H ilustra un ejemplo de sensor de enfoque, según una realización;

la FIG. 2 ilustra un ejemplo de error de enfoque antes y después de aplicar la corrección de desplazamiento usando un desplazamiento de enfoque macro calculado, según una realización;

la FIG. 3 ilustra un ejemplo de gráfico de una señal filtrada paso bajo y un ajuste, según una realización; la FIG. 4 ilustra un cálculo de parafocal, según una realización;

las FIGS. 5A-5C ilustran un proceso para escanear una imagen de una muestra en un portaobjetos de vidrio, según una realización;

las FIGS. 6A y 6B ilustran cuadros de ejemplo de datos de imagen adquiridos por un sensor de formación de imágenes principal y un sensor de enfoque inclinado, respectivamente, según una realización;

la FIG. 7 ilustra un proceso para calcular un vector de razón, según una realización;

la FIG. 8A ilustra vectores de gradiente de ejemplo para un sensor de formación de imágenes principal y un sensor de enfoque inclinado, según una realización;

la FIG. 8B ilustra un ejemplo de vector de razón para los dos vectores de gradiente en la FIG. 8A, según una realización;

la FIG. 9 ilustra curvas de razón para una muestra de tejido, escaneada con desplazamientos fijos desde la parafocal, según una realización;

la FIG. 10 ilustra ejemplos en un proceso de ajuste gaussiano, según una realización;

la FIG. 11 ilustra un conjunto parcial de funciones de prueba gaussianas para diferentes valores medios y una anchura fija; según una realización;

la FIG. 12 ilustra ejemplos en un proceso de ajuste gaussiano, en donde la curva de razón tiene dos picos, según una realización;

la FIG. 13 ilustra conjuntos de ejemplo de funciones gaussianas, según una realización;

la FIG. 14 ilustra un ejemplo de valor de diferencia de RMS mínimo y ubicación de una función gaussiana de mejor ajuste, según una realización;

la FIG. 15 ilustra un cálculo de pendiente de error, según una realización;

la FIG. 16 ilustra un ejemplo de detección de valores atípicos, según una realización; y

las FIGS. 17A y 17B ilustran mapas de calor de ejemplo que representan errores de enfoque, según una realización.

DESCRIPCIÓN DETALLADA

En una realización, se divulgan sistemas, métodos y soportes no transitorios legibles por computadora para enfoque en tiempo real en un sistema de escaneo de portaobjetos. Después de leer esta descripción, resultará evidente para un experto en la técnica cómo implementar la invención en diversas realizaciones alternativas y aplicaciones alternativas. Sin embargo, aunque en el presente documento se describirán diversas realizaciones de la presente invención, se entiende que estas realizaciones se presentan a modo de ejemplo e ilustración únicamente, y no como limitación. Como tal, esta descripción detallada de diversas realizaciones no debe interpretarse como limitante del alcance o amplitud de la presente invención tal como se establece en las reivindicaciones adjuntas.

1. Ejemplo de sistema de escaneo

La FIG. 1A es un diagrama de bloques que ilustra un ejemplo de sistema de escaneo de portaobjetos adaptado para procesador 100 que puede usarse en conexión con diversas realizaciones descritas en el presente documento. También se pueden usar formas alternativas del sistema de escaneo 100, como entenderá el experto en la técnica. En la realización ilustrada, el sistema de escaneo 100 se presenta como un dispositivo de formación de imágenes digitales que comprende uno o más procesadores 104, una o más memorias 106, uno o más controladores de movimiento 108, uno o más sistemas de interfaz 110, una o más platinas móviles 112, cada una de las cuales soporta uno o más portaobjetos de vidrio 114 con una o más muestras 116, uno o más sistemas de iluminación 118 que iluminan la muestra 116, una o más lentes del objetivo 120, cada una de las cuales define un camino óptico 122 que recorre un eje óptico, uno o más posicionadores de lente del objetivo 124, uno o más sistemas de epiiluminación opcionales 126 (por ejemplo, incluidos en una realización de escaneo de fluorescencia), una o más ópticas de enfoque 128, una o más cámaras de escaneo de líneas 130 y/o una o más cámaras de escaneo de área 132, cada una de las cuales define un campo de visión separado 134 en la muestra 116 y/o portaobjetos de vidrio 114. Los diversos elementos del sistema de escaneo 100 están acoplados comunicativamente a través de uno o más buses de comunicación 102. Aunque puede haber una pluralidad de cada uno de los diversos elementos del sistema de escaneo 100, para simplificar la descripción que sigue, estos elementos se describirán en singular, excepto cuando sea necesario describirlos en plural para transmitir la información apropiada.

El procesador 104 puede incluir, por ejemplo, una unidad central de procesamiento (CPU) y una unidad de procesamiento de gráficos (GPU) separada capaz de procesar instrucciones en paralelo, o un procesador multinúcleo capaz de procesar instrucciones en paralelo. También se pueden prever procesadores separados adicionales para controlar componentes particulares o realizar funciones particulares, tales como procesamiento de imágenes. Por ejemplo, los procesadores adicionales pueden incluir un procesador auxiliar para gestionar la entrada de datos, un procesador auxiliar para realizar operaciones matemáticas en punto flotante, un procesador de propósito especial con una arquitectura adecuada para la ejecución rápida de algoritmos de procesamiento de señales (por ejemplo, procesador de señales digitales), un procesador esclavo subordinado al procesador principal (por ejemplo, procesador dorsal), un procesador adicional para controlar la cámara de escaneo de líneas 130, la platina 112, la lente del objetivo 120 y/o una pantalla (por ejemplo, una consola que comprende una pantalla táctil solidaria con el sistema de escaneo 100). Dichos procesadores adicionales pueden ser procesadores discretos separados o pueden estar integrados en un único procesador.

La memoria 106 proporciona almacenamiento de datos e instrucciones a programas que pueden ser ejecutados por el procesador 104. La memoria 106 puede incluir uno o más soportes de almacenamiento volátiles y/o no volátiles legibles por computadora que almacenan los datos y las instrucciones. Estos soportes pueden incluir, por ejemplo, memoria de acceso aleatorio (RAM), memoria de solo lectura (ROM), una unidad de disco duro, una unidad de almacenamiento extraíble (por ejemplo, que comprende memoria flash) y/o similares. El procesador 104 está configurado para ejecutar instrucciones que se almacenan en la memoria 106 y comunicarse a través del bus de comunicación 102 con los diversos elementos del sistema de escaneo 100 para llevar a cabo la función general del sistema de escaneo 100.

El bus de comunicación 102 puede configurarse para transmitir señales eléctricas analógicas y/o datos digitales. En consecuencia, las comunicaciones desde el procesador 104, el controlador de movimiento 108 y/o el sistema de interfaz 110, a través del bus de comunicación 102, pueden incluir tanto señales eléctricas como datos digitales. El procesador 104, el controlador de movimiento 108 y/o el sistema de interfaz 110 también pueden configurarse para comunicarse con uno o más de los diversos elementos del sistema de escaneo 100 a través de un enlace de comunicación inalámbrica.

El sistema de control de movimiento 108 está configurado para controlar y coordinar con precisión el movimiento X, Y y/o Z de la platina 112 (por ejemplo, dentro de un plano X-Y), el movimiento X, Y y/o Z de la lente del objetivo 120 (por ejemplo, a lo largo de un eje Z ortogonal al plano X-Y, a través del posicionador de lente del objetivo 124), el movimiento de rotación de un carrusel descrito en otra parte del presente documento, el movimiento lateral de un conjunto de vaivén descrito en otra parte del presente documento, y/o cualquier otro componente móvil del sistema de escaneo 100. Por ejemplo, en una realización de escaneo de fluorescencia que comprende el sistema de epiiluminación 126, el sistema de control de movimiento 108 puede configurarse para coordinar el movimiento de filtros ópticos y/o similares en el sistema de epiiluminación 126.

El sistema de interfaz 110 permite que el sistema de escaneo 100 interactúe con otros sistemas y operadores humanos. Por ejemplo, el sistema de interfaz 110 puede incluir una consola (por ejemplo, una pantalla táctil) para proporcionar información directamente a un operador a través de una interfaz gráfica de usuario y/o permitir la entrada directa de un operador a través de un sensor táctil. El sistema de interfaz 110 también puede configurarse para facilitar la comunicación y la transferencia de datos entre el sistema de escaneo 100 y uno o más dispositivos externos que están conectados directamente al sistema de escaneo 100 (por ejemplo, una impresora, un soporte de almacenamiento extraíble, etc.), y/o uno o más dispositivos externos que están conectados indirectamente al sistema de escaneo 100, por ejemplo, a través de una o más redes (por ejemplo, un sistema de almacenamiento de imágenes, un servidor de gestor de administración del escáner (SAM) y/u otro servidor administrativo, una estación de operador, una estación de usuario, etc.).

El sistema de iluminación 118 está configurado para iluminar al menos una porción de la muestra 116. El sistema de iluminación 118 puede incluir, por ejemplo, una o más fuentes de luz y óptica de iluminación. La o las fuentes de luz podrían comprender una fuente de luz halógena de intensidad variable con un espejo reflectante cóncavo para maximizar la salida de luz y un filtro KG-1 para suprimir el calor. La o las fuentes de luz podrían comprender cualquier tipo de lámpara de arco, láser u otra fuente de luz. En una realización, el sistema de iluminación 118 ilumina la muestra 116 en modo de transmisión, de modo que la cámara de escaneo de líneas 130 y/o la cámara de escaneo de área 132 capten la energía óptica que se transmite a través de la muestra 116. Alternativa o adicionalmente, el sistema de iluminación 118 puede configurarse para iluminar la muestra 116 en modo de reflexión, de modo que la cámara de escaneo de líneas 130 y/o la cámara de escaneo de área 132 capten la energía óptica que se refleja desde la muestra 116. El sistema de iluminación 118 puede configurarse para ser adecuado para la interrogación de la muestra 116 en cualquier modo conocido de microscopía óptica.

En una realización, el sistema de escaneo 100 incluye un sistema de epiiluminación 126 para optimizar el sistema de escaneo 100 para el escaneo de fluorescencia. Debe entenderse que, si el sistema de escaneo 100 no admite el escaneo de fluorescencia, se puede omitir el sistema de epiiluminación 126. El escaneo de fluorescencia es el escaneo de muestras 116 que incluyen moléculas de fluorescencia, que son moléculas sensibles a los fotones que pueden absorber luz en una longitud de onda específica (es decir, excitación). Estas moléculas sensibles a los fotones también emiten luz en una longitud de onda más alta (es decir, emisión). Debido a que la eficiencia de este fenómeno de fotoluminiscencia es muy baja, la cantidad de luz emitida suele ser muy baja. Esta baja cantidad de luz emitida normalmente frustra las técnicas convencionales para escanear y digitalizar la muestra 116 (por ejemplo, microscopía en modo de transmisión).

Ventajosamente, en una realización del sistema de escaneo 100 que utiliza escaneo de fluorescencia, el uso de una cámara de escaneo de líneas 130 que incluye múltiples matrices de sensores lineales (por ejemplo, una cámara de escaneo de líneas con retardo temporal e integración (TDI)) aumenta la sensibilidad a la luz de la cámara de escaneo de líneas 130 exponiendo la misma área de la muestra 116 a cada una de la pluralidad de matrices de sensores lineales de la cámara de escaneo de líneas 130. Esto es particularmente útil cuando se escanean muestras de fluorescencia débil con bajos niveles de luz emitida. Por consiguiente, en una realización de escaneo de fluorescencia, la cámara de escaneo de líneas 130 es preferiblemente una cámara de escaneo de líneas TDI monocroma. Las imágenes monocromas son ideales en microscopía de fluorescencia porque proporcionan una representación más precisa de las señales reales de los diversos canales presentes en la muestra 116. Como entenderán los expertos en la técnica, una muestra de fluorescencia se puede marcar con múltiples colorantes de fluorescencia que emiten luz en diferentes longitudes de onda, que también se denominan "canales".

Además, debido a que los niveles límite inferior y superior de señal de diversas muestras de fluorescencia presentan un amplio espectro de longitudes de onda para que los capte la cámara de escaneo de líneas 130, es deseable que los niveles límite inferior y superior de señal que la cámara de escaneo de líneas 130 puede captar sean igualmente amplios. Por consiguiente, en una realización de escaneo de fluorescencia, la cámara de escaneo de líneas 130 puede comprender una cámara de escaneo de líneas TDI monocroma de 10 bits y 64 matrices lineales. Cabe señalar que se pueden emplear una variedad de profundidades de bits para la cámara de escaneo de líneas 130 para su uso con dicha realización.

La platina móvil 112 está configurada para un movimiento X-Y preciso bajo el control del procesador 104 o el controlador de movimiento 108. La platina móvil 112 también puede configurarse para un movimiento Z bajo el control del procesador 104 o el controlador de movimiento 108. La platina móvil 112 está configurada para posicionar la muestra 116 en una ubicación deseada durante la captura de datos de imagen mediante la cámara de escaneo de líneas 130 y/o la cámara de escaneo de área 132. La platina móvil 112 también está configurada para acelerar la muestra 116 en una dirección de escaneo a una velocidad sustancialmente constante y, luego, mantener la velocidad sustancialmente constante durante la captura de datos de imagen mediante la cámara de escaneo de líneas 130. En una realización, el sistema de escaneo 100 puede emplear una cuadrícula X-Y de alta precisión y estrechamente coordinada para ayudar en la ubicación de la muestra 116 en la platina móvil 112. En una realización, la platina móvil 112 es una platina X-Y basada en motor lineal con codificadores de alta precisión empleados en los ejes X e Y. Por ejemplo, se pueden usar codificadores nanométricos muy precisos en el eje en la dirección de escaneo y en el eje que está en la dirección perpendicular a la dirección de escaneo y en el mismo plano que la dirección de escaneo. La platina 112 también está configurada para soportar el portaobjetos de vidrio 114 sobre el cual se dispone la muestra 116.

La muestra 116 puede ser cualquier cosa que pueda examinarse mediante microscopía óptica. Por ejemplo, el portaobjetos de vidrio para microscopio 114 se usa frecuentemente como sustrato de inspección para especímenes que incluyen tejidos y células, cromosomas, ácido desoxirribonucleico (ADN), proteínas, sangre, médula ósea, orina, bacterias, perlas, materiales de biopsia o cualquier otro tipo de material o sustancia biológica que esté viva o muerta, teñida o sin teñir, marcada o sin marcar. La muestra 116 también puede ser una matriz de cualquier tipo de ADN o material relacionado con el ADN, tal como ADN complementario (ADNc) o ácido ribonucleico (ARN), o proteína que se deposita en cualquier tipo de portaobjetos u otro sustrato, incluidas todas y cada una de las muestras comúnmente conocidas como micromatrices. La muestra 116 puede ser una placa de microtitulación (por ejemplo, una placa de 96 pocillos). Otros ejemplos de muestra 116 incluyen placas de circuitos integrados, registros de electroforesis, placas de Petri, películas, materiales semiconductores, materiales forenses y piezas mecanizadas.

La lente del objetivo 120 está montada en el posicionador de objetivo 124, que, en una realización, emplea un motor lineal muy preciso para mover la lente del objetivo 120 a lo largo del eje óptico definido por la lente de objetivo 120. Por ejemplo, el motor lineal del posicionador de lente del objetivo 124 puede incluir un codificador de cincuenta nanómetros. Las posiciones relativas de la platina 112 y la lente del objetivo 120 en los ejes X, Y y/o Z se coordinan y controlan a modo de bucle cerrado usando el controlador de movimiento 108 bajo el control del procesador 104, que emplea la memoria 106 para almacenar información e instrucciones, incluyendo los pasos programados ejecutables por computadora para el funcionamiento general del sistema de escaneo 100.

En una realización, la lente del objetivo 120 es una lente de objetivo plana apocromática ("APO") corregida al infinito que es adecuada para microscopía de iluminación en modo de transmisión, microscopía de iluminación en modo de reflexión y/o microscopía de fluorescencia en modo de epiiluminación (por ejemplo, una Olympus 40X, 0,75 NA o 20X, 0,75 NA). Ventajosamente, la lente del objetivo 120 es capaz de corregir aberraciones cromáticas y esféricas. Debido a que la lente del objetivo 120 está corregida al infinito, la óptica de enfoque 128 se puede colocar en el camino óptico 122 por encima de la lente del objetivo 120 donde el haz de luz que pasa a través de la lente del objetivo 120 se convierte en un haz de luz colimado. La óptica de enfoque 128 enfoca la señal óptica capturada por la lente del objetivo 120 sobre los elementos sensibles a la luz de la cámara de escaneo de líneas 130 y/o la cámara de escaneo de área 132, y puede incluir componentes ópticos tales como filtros, lentes cambiadoras de aumento y/o similares. La lente del objetivo 120, combinada con la óptica de enfoque 128, proporciona el aumento total para el sistema de escaneo 100. En una realización, la óptica de enfoque 128 puede contener una lente de tubo y un cambiador de aumento opcional de 2X. Ventajosamente, el cambiador de aumento de 2X permite que una lente del objetivo nativa de 20X 120 escanee la muestra 116 con un aumento de 40X.

La cámara de escaneo de líneas 130 comprende al menos una matriz lineal de elementos de imagen 142 ("píxeles"). La cámara de escaneo de líneas 130 puede ser monocroma o en color. Las cámaras de escaneo de líneas en color normalmente tienen al menos tres matrices lineales, mientras que las cámaras de escaneo de líneas monocromas pueden tener una única matriz lineal o varias matrices lineales. También se puede utilizar cualquier tipo de matriz lineal singular o plural, ya sea empaquetada como parte de una cámara o integrada de forma personalizada en un módulo electrónico de formación de imágenes. Por ejemplo, también se puede utilizar una cámara de escaneo de líneas en color de tres matrices lineales ("rojo-verde-azul" o "RGB") o una TDI monocroma de noventa y seis matrices lineales. Las cámaras de escaneo de líneas TDI normalmente proporcionan una relación señal-ruido ("SNR") sustancialmente mejor en la señal de salida al sumar datos de intensidad de regiones de un espécimen cuya imagen se ha formado previamente, lo que produce un aumento en la SNR que es proporcional a la raíz cuadrada del número de etapas de integración. Las cámaras de escaneo de líneas TDI comprenden múltiples matrices lineales. Por ejemplo, las cámaras de escaneo de líneas TDI están disponibles con 24, 32, 48, 64, 96 o incluso más matrices lineales. El sistema de escaneo 100 también soporta matrices lineales que se fabrican en una variedad de formatos que incluyen algunos con 512 píxeles, algunos con 1024 píxeles y otros que tienen hasta 4096 píxeles. De manera similar, también se pueden usar matrices lineales con una variedad de tamaños de píxel en el sistema de escaneo 100. El requisito más importante para la selección de cualquier tipo de cámara de escaneo de líneas 130 es que el movimiento de la platina 112 se pueda sincronizar con la velocidad de línea de la cámara de escaneo de líneas 130, de modo que la platina 112 pueda estar en movimiento con respecto a la cámara de escaneo de líneas 130 durante la captura de imágenes digitales de la muestra 116.

En una realización, los datos de imagen generados por la cámara de escaneo de líneas 130 se almacenan en una parte de la memoria 106 y se procesan mediante el procesador 104 para generar una imagen digital contigua de al menos una porción de muestra 116. La imagen digital contigua se puede procesar adicionalmente mediante el procesador 104, y la imagen digital contigua procesada también puede almacenarse en la memoria 106.

En una realización con dos o más cámaras de escaneo de líneas 130, al menos una de las cámaras de escaneo de líneas 130 puede configurarse para funcionar como un sensor de enfoque que opera en combinación con al menos una de las otras cámaras de escaneo de líneas 130 que está configurada para funcionar como un sensor de formación de imágenes 130A. El sensor de enfoque puede ubicarse lógicamente en el mismo eje óptico que el sensor de formación de imágenes 130A, o el sensor de enfoque puede posicionarse lógicamente antes o después del sensor de formación de imágenes 130A con respecto a la dirección de escaneo del sistema de escaneo 100. En tal realización con al menos una cámara de escaneo de líneas 130 funcionando como un sensor de enfoque, los datos de imagen generados por el sensor de enfoque pueden almacenarse en una parte de la memoria 106 y procesarse mediante el procesador 104 para generar información de enfoque, para permitir que el sistema de escaneo 100 ajuste la distancia relativa entre muestra 116 y lente del objetivo 120 para mantener el enfoque en la muestra 116 durante el escaneo. Además, en una realización, la al menos una cámara de escaneo de líneas 130 que funciona como sensor de enfoque puede orientarse de manera que cada uno de una pluralidad de píxeles individuales 142 del sensor de enfoque esté posicionado a una altura lógica diferente a lo largo del camino óptico 122.

En funcionamiento, los diversos componentes del sistema de escaneo 100 y los módulos programados almacenados en la memoria 106 permiten el escaneo y digitalización automáticos de la muestra 116, que está dispuesta en un portaobjetos de vidrio 114. El portaobjetos de vidrio 114 está colocado de forma segura sobre la platina móvil 112 del sistema de escaneo 100 para escanear la muestra 116. Bajo el control del procesador 104, la platina móvil 112 acelera la muestra 116 a una velocidad sustancialmente constante para su captación por la cámara de escaneo de líneas 130, donde la velocidad de la platina 112 está sincronizada con la velocidad de línea de la cámara de escaneo de líneas 130. Después de escanear una franja de datos de imagen, la platina móvil 112 desacelera y detiene sustancialmente por completo la muestra 116. La platina móvil 112 se mueve luego ortogonalmente a la dirección de escaneo para posicionar la muestra 116 para escanear una franja posterior de datos de imagen (por ejemplo, una franja adyacente). Posteriormente, se escanean franjas adicionales hasta que se escanea una porción completa de muestra 116 o la muestra 116 completa.

Por ejemplo, durante el escaneo digital de la muestra 116, se adquiere una imagen digital contigua de la muestra 116 como una pluralidad de campos de visión contiguos que se combinan para formar una franja de imagen. De manera similar, se combina una pluralidad de franjas de imagen adyacentes para formar una imagen digital contigua de una porción o de la muestra completa 116. El escaneo de la muestra 116 puede incluir la adquisición de franjas de imagen verticales o franjas de imagen horizontales. El escaneo de la muestra 116 puede ser de arriba hacia abajo, de abajo hacia arriba o ambos (es decir, bidireccional) y puede comenzar en cualquier punto de la muestra 116. Alternativamente, el escaneo de la muestra 116 puede ser de izquierda a derecha, de derecha a izquierda o ambos (es decir, bidireccional), y puede comenzar en cualquier punto de la muestra 116. No es necesario que las franjas de imagen se adquieran de manera adyacente o contigua. Además, la imagen resultante de la muestra 116 puede ser una imagen de toda la muestra 116 o solo una porción de la muestra 116.

En una realización, las instrucciones ejecutables por computadora (por ejemplo, módulos y software programados) se almacenan en la memoria 106 y, cuando se ejecutan, permiten que el sistema de escaneo 100 realice las diversas funciones (por ejemplo, mostrar la interfaz gráfica de usuario, ejecutar los procesos divulgados, controlar los componentes del sistema de escaneo 100, etc.) descritas en el presente documento. En esta descripción, el término "soporte de almacenamiento legible por computadora" se usa para referirse a cualquier soporte usado para almacenar y proporcionar instrucciones ejecutables por computadora al sistema de escaneo 100 para su ejecución por el procesador 104. Ejemplos de estos soportes incluyen la memoria 106 y cualquier soporte de almacenamiento extraíble o externo (no mostrado) acoplado comunicativamente con el sistema de escaneo 100, ya sea directamente (por ejemplo, a través de un bus serie universal (USB), un protocolo de comunicación inalámbrica, etc.) o indirectamente (por ejemplo, a través de una red cableada y/o inalámbrica).

La FIG. 1B ilustra una cámara de escaneo de líneas 130 que tiene una única matriz lineal 140, que puede implementarse como una matriz de dispositivos de acoplamiento de cargas ("CCD"). La matriz lineal única 140 comprende una pluralidad de píxeles individuales 142. En la realización ilustrada, la matriz lineal única 140 tiene 4096 píxeles 142. En realizaciones alternativas, la matriz lineal 140 puede tener más o menos píxeles. Por ejemplo, los formatos comunes de matrices lineales incluyen 512, 1024 y 4096 píxeles. Los píxeles 142 están dispuestos de forma lineal para definir un campo de visión 134 para la matriz lineal 140. El tamaño del campo de visión 134 varía según el aumento del sistema de escaneo 100.

La FIG. 1C ilustra una cámara de escaneo de líneas 130 que tiene tres matrices lineales 140, cada una de las cuales puede implementarse como una matriz de CCD. Las tres matrices lineales 140 se combinan para formar una matriz de color 150. En una realización, cada matriz lineal individual en la matriz de color 150 detecta una intensidad de color diferente, que incluye, por ejemplo, rojo, verde o azul. Los datos de imagen en color de cada matriz lineal individual 140 en la matriz de color 150 se combinan para formar un único campo de visión 134 de datos de imagen en color.

La FIG. 1D ilustra una cámara de escaneo de líneas 130 que tiene una pluralidad de matrices lineales 140, cada una de las cuales puede implementarse como una matriz de CCD. La pluralidad de matrices lineales 140 se combinan para formar una matriz TDI 160. Ventajosamente, una cámara de escaneo de líneas TDI puede proporcionar una SNR sustancialmente mejor en su señal de salida sumando datos de intensidad de regiones de un espécimen cuya imagen se ha formado previamente, produciendo un aumento en la SNR, es decir, en proporción a la raíz cuadrada del número de matrices lineales 140 (también denominadas etapas de integración). Una cámara de escaneo de líneas TDI puede comprender una variedad mayor de números de matrices lineales 140. Por ejemplo, los formatos comunes de cámaras de escaneo de líneas TDI incluyen 24, 32, 48, 64, 96, 120 e incluso más matrices lineales 140.

La FIG. 1E ilustra un ejemplo de configuración en vista lateral de cámaras de escaneo de líneas 130 en el sistema de escaneo 100, según una realización. En la realización ilustrada, el sistema de escaneo 100 comprende un portaobjetos de vidrio 114, con una muestra de tejido 116 que se coloca en una platina motorizada 112, iluminada por el sistema de iluminación 118 y movida en una dirección de escaneo 170. La lente del objetivo 120 tiene un campo de visión óptico 134 que está orientado sobre el portaobjetos 114 y proporciona un camino óptico 122 para la luz del sistema de iluminación 118 que pasa a través de la muestra 116 sobre el portaobjetos 114, se refleja en la muestra 116 sobre el portaobjetos 114, emite fluorescencia desde la muestra 116 sobre el portaobjetos 114 o pasa de otro modo a través la lente del objetivo 120. La luz viaja por el camino óptico 122 hasta un divisor de haz 174 que permite que parte de la luz pase a través de la lente 176 hasta el sensor de formación de imágenes principal 130A. Opcionalmente, la luz puede curvarse mediante un espejo 178, como se muestra en la realización ilustrada. El sensor de formación de imágenes 130A puede ser, por ejemplo, un dispositivo de acoplamiento de cargas (CCD) lineal.

Otra luz viaja desde el divisor de haz 174 a través de la lente 180 hasta un sensor de enfoque 130B. El sensor de enfoque 130<b>también puede ser, por ejemplo, un CCD lineal. La luz que viaja al sensor de formación de imágenes 130A y al sensor de enfoque 130B representa preferiblemente el campo de visión óptico completo 134 desde la lente del objetivo 120. Basándose en esta configuración del sistema de escaneo 100, la dirección de escaneo 170 del portaobjetos 114 está orientada lógicamente con respecto al sensor de formación de imágenes 130A y al sensor de enfoque 130B, de modo que la dirección de escaneo lógica 172 hace que el campo de visión óptico 134 de la lente del objetivo 120 pase sobre el respectivo sensor de formación de imágenes 130A y el sensor de enfoque 130B.

La FIG. 1F ilustra un ejemplo en vista superior de la configuración del sensor de formación de imágenes 130A con respecto a un camino óptico de formación de imágenes 122A, según una realización. De manera similar, la FIG. 1G ilustra un ejemplo en vista superior de la configuración del sensor de enfoque 130B, con respecto a un camino óptico de enfoque 122B, según una realización. Como puede verse en la FIG. 1G, el sensor de enfoque 130B está inclinado en un ángulo 0 con respecto a una dirección que es perpendicular al camino óptico de enfoque 122B.

La FIG. 1H ilustra un ejemplo de sensor de enfoque 130B, según una realización. En la realización ilustrada, dentro de un rango de enfoque (d) (por ejemplo, 20 |jm) en una muestra de tejido, el sensor de enfoque 130B comprende una pluralidad de píxeles de sensor 142 y puede posicionarse en una ubicación donde todo el rango de enfoque (d) en el eje Z se transfiere mediante la óptica a toda la matriz de sensores de enfoque 130B en el eje Y (ortogonal al eje X, es decir, dirección de escaneo 170), como se muestra. La ubicación de cada píxel de sensor 142 está directamente correlacionada con una posición Z de la lente del objetivo 120. Como se ilustra en la FIG. 1H, cada línea discontinua (es decir, p1, p2,...pi,...pn) a través del rango de enfoque proyectado (d) representa un valor de enfoque diferente y corresponde a una altura de enfoque (es decir, altura Z) de la lente del objetivo 120. El pi que tiene el enfoque óptimo (por ejemplo, la métrica de contraste más alta) para una porción dada de la muestra 116 puede ser usado por el sistema de escaneo 100 para determinar la altura de enfoque óptima para esa porción de la muestra 116.

La relación entre el rango de enfoque proyectado (d) en el sensor de enfoque 130B y el rango de enfoque (z) en la muestra 116 es la siguiente:

donde Menfoque es el aumento óptico del camino de enfoque. Por ejemplo, si z = 20 jm y Menfoque = 20, entonces d = 8 mm.

Para cubrir todo el rango de enfoque proyectado (d) mediante un sensor de enfoque inclinado 130B que comprende una matriz lineal 140, el ángulo de inclinación 0 debería seguir la relación:

donde L es la longitud de la matriz lineal 140 del sensor de enfoque 130B. Usando d = 8 mm y L = 20,48 mm, 0 = 23,0°. 0 y L pueden variar siempre que el sensor de enfoque inclinado 130B cubra todo el rango de enfoque (d).

La resolución de enfoque, o el paso mínimo del movimiento en altura del objetivo Az, es función del tamaño del píxel de sensor 142, e = mínimo(AL). Derivado de las fórmulas anteriores:

Az=e*z/L.

Por ejemplo, si e = 10 jm , L = 20,48 mm y z = 20 jm , entonces Az = 0,0097 jm < 10 nm.

La relación entre la altura del objetivo Zi y la ubicación de enfoque Li en el sensor de enfoque 130B del punto de enfoqueies:

í-i =¿ i x M anf¡¡s,.^ fs iv „ Q

Si la altura de enfoque está determinada por una media de L1 a L2, según el análisis de los datos del sensor de enfoque 130B, la altura de la lente del objetivo 120 debe moverse desde Z1 a Z2 basándose en:

Aunque el campo de visión (FOV) 134 en el eje Y del sensor de enfoque 130B y el sensor de formación de imágenes 130A puede ser diferente, los centros de ambos sensores 130A y 130b están preferiblemente alineados entre sí a lo largo del eje Y.

2. Vista general del proceso

A continuación se describirán en detalle realizaciones de procesos para el enfoque en tiempo real en un sistema de escaneo de portaobjetos. Debe entenderse que los procesos descritos pueden incorporarse en uno o más módulos de software que son ejecutados por uno o más procesadores de hardware 104 dentro del sistema de escaneo 100. Los procesos descritos pueden implementarse como instrucciones representadas en código fuente, código objeto y/o código máquina. Estas instrucciones pueden ser ejecutadas directamente por el o los procesadores de hardware o, alternativamente, pueden ser ejecutadas por una máquina virtual que opera entre el código objeto y los procesadores de hardware.

Alternativamente, los procesos descritos pueden implementarse como un componente de hardware (por ejemplo, procesador de propósito general, circuito integrado (iC), circuito integrado de aplicación específica (ASIC), procesador digital de señales (DSP), matriz de puertas programables en campo (FPGA) u otro dispositivo lógico programable, lógica de puerta discreta o transistor, etc.), combinación de componentes de hardware, o combinación de componentes de hardware y software. Para ilustrar claramente la intercambiabilidad de hardware y software, en el presente documento se describen en general diversos componentes, bloques, módulos, circuitos y pasos ilustrativos en términos de su funcionalidad. El hecho de que dicha funcionalidad se implemente como hardware o software depende de la aplicación particular y de las restricciones de diseño impuestas al sistema general. Los expertos en la técnica pueden implementar la funcionalidad descrita de diversas maneras para cada aplicación particular, pero no debe interpretarse que tales decisiones de implementación lleven a apartarse del alcance de la invención. Además, la agrupación de funciones dentro de un componente, bloque, módulo, circuito o paso está destinada a facilitar la descripción. Se pueden trasladar funciones o pasos específicos de un componente, bloque, módulo, circuito o paso a otro sin apartarse de la invención.

Además, si bien los procesos descritos en el presente documento se ilustran con una determinada disposición y orden de pasos, cada proceso puede implementarse con menos, más o diferentes pasos y una disposición y/u orden de pasos diferente. Además, debe entenderse que cualquier paso, que no dependa de la finalización de otro paso, puede ejecutarse antes, después o en paralelo con ese otro paso independiente, incluso si los pasos se describen o ilustran en un orden particular.

En una realización, el sistema de escaneo 100 usa un mapa de enfoque para predecir la trayectoria de la lente del objetivo 120 durante el escaneo de cada franja de imagen. Los valores de enfoque para el mapa de enfoque se pueden medir usando dos métodos: (1) un método de punto de enfoque macro (MFP); y (2) un método de enfoque en tiempo real (RTF). Los valores de enfoque para el método MFP se calculan antes del escaneo y/o entre adquisiciones de franjas de imagen, mientras que los valores de enfoque para el método RTF se calculan durante la adquisición de franjas de imagen. Ambos métodos pueden usarse en combinación para completar el mapa de enfoque que se usa para predecir una posición focal de la lente del objetivo 120 durante el escaneo. Ventajosamente, el método RTF proporciona muchos más valores de enfoque para el mapa de enfoque que el método MFP solo, pero agrega poco o ningún tiempo al proceso de escaneo.

El método RTF también proporciona mediciones en tiempo real del error de enfoque. Estas mediciones de error de enfoque pueden analizarse durante el escaneo de una muestra 116, para modificar la trayectoria de la lente del objetivo 120, a medida que se escanea una franja de imagen. Esto minimiza el error de enfoque en las alturas de enfoque predichas desde el mapa de enfoque.

2.1. Método MFP

En una realización, el método MFP comprende usar una cámara de escaneo de líneas 130 para capturar datos de imagen a lo largo de todo el eje Z (por ejemplo, moviendo la lente del objetivo 120) mientras la platina 112 se mueve a velocidad constante. Luego, se identifica la fila de la imagen que tiene el máximo contraste dentro de los datos de imagen y se usa una fórmula de temporización para calcular el recuento del codificador correspondiente (por ejemplo, para la lente del objetivo 120) para esa fila. Se puede utilizar un umbral de contraste mínimo, que representa un umbral de ruido, para garantizar que el enfoque esté por encima del umbral de ruido. Históricamente, este umbral de contraste mínimo ha sido aproximadamente 350.

Históricamente, el método MFP necesita un desplazamiento de enfoque macro para proporcionar una buena calidad de imagen. Por lo tanto, en una realización, se calcula un desplazamiento de enfoque macro, probando el valor de enfoque en una medición en bucle cerrado, para garantizar que el método MFP se realice con precisión. Por diseño, el desplazamiento de enfoque macro debería ser cero. Sin embargo, en la práctica, existe un error sistemático en la posición Z de la lente del objetivo 120, según se calcula a partir de una fórmula prescrita y un reglaje de platina en Z.

El desplazamiento de enfoque macro se puede determinar experimentalmente mediante el enfoque macro en una ubicación del tejido y registro de la curva de contraste y el recuento del codificador de contraste máximo. Luego se puede mover la lente del objetivo 120 (es decir, en el eje Z) hasta el recuento registrado del codificador, y se puede registrar una segunda memoria temporal de datos de imagen, junto con el valor de contraste promedio correspondiente. El valor de contraste promedio se puede comparar con la curva de contraste registrada, y la distancia del valor de contraste promedio desde el valor de contraste máximo registrado se puede medir para proporcionar el desplazamiento Z, que se utilizará como desplazamiento de enfoque macro.

La FIG. 2 ilustra un ejemplo de error de enfoque antes y después de aplicar la corrección de desplazamiento usando el desplazamiento de enfoque macro calculado, según una realización. Como se ilustra, el error medio se redujo de 0,6 a 0,0 micrómetros y el error máximo se redujo de 1,0 a 0,4 micrómetros. El impacto en la calidad de la imagen fue una reducción en la tasa de recreación de franjas (es decir, la velocidad a la que se deben volver a adquirir las franjas de imagen debido a un enfoque deficiente). Esta corrección de desplazamiento es importante porque permite agregar puntos de enfoque cuando y donde sean necesarios, y también proporciona la realidad de campo para evaluar el método RTF.

En una realización, los parámetros del MFP se definen de la siguiente manera, mostrándose valores nominales de ejemplo, y pueden almacenarse en un archivo de configuración (por ejemplo, un archivo "scanner.xml" definido usando un lenguaje extensible de marcado (XML)) utilizado por el sistema de escaneo 100 para configuración:

Good _Focus_Threshold = 350. Si el valor de contraste máximo para un punto de enfoque macro es menor que este valor umbral, entonces el intento de enfoque para ese punto de enfoque macro se considerará fallido y el valor de ese punto de enfoque macro se descartará.

Retry_Count = 1. Este es el número de veces que se intentará reenfocar cuando falla un intento de enfoque, debido a que el valor de contraste máximo para un punto de enfoque macro sea menor que el valor de Good_Focus_Threshold.

Macrofocus_Pos_Offset = 0,0006. Este es el valor de desplazamiento de enfoque macro calculado, debido al error en el movimiento Z de la lente del objetivo 120, en milímetros.

2.2. Método RTF

En una realización, el método RTF utiliza dos cámaras de escaneo de líneas 130: sensor de formación de imágenes principal 130A (por ejemplo, cámara RGB trilineal); y un sensor de enfoque de un solo canal 130B (por ejemplo, cámara monocroma). Ambas cámaras de escaneo de líneas 130 están alineadas de modo que sus matrices lineales 140 muestren la misma porción de la muestra 116 (por ejemplo, que puede comprender tejido). Por ejemplo, el sensor de formación de imágenes principal 130A puede ser paralelo al plano de la muestra 116 y funcionar de la misma manera que las cámaras trilineales utilizadas en los productos Aperio ScanScope®. El sensor de enfoque 130B, por otra parte, está inclinado en el eje óptico Z, a lo largo de la matriz lineal 140 del sensor de enfoque 130B (por ejemplo, perpendicular a la dirección de escaneo 170).

2.2.1. Diseño

Las cámaras de escaneo de líneas 130A y 130B pueden alinearse entre sí, de modo que el punto de máximo contraste para el sensor de enfoque inclinado 130B esté cerca del centro de la matriz lineal inclinada 140 cuando el sensor de formación de imágenes principal 130A está en el mejor enfoque. El píxel 142 en este punto en la matriz lineal inclinada 140 del sensor de enfoque 130B se denomina la ubicación parafocal. A medida que la lente del objetivo 120 se mueve hacia arriba y hacia abajo, con respecto a la mejor posición de enfoque, el punto de contraste máximo en el sensor de enfoque inclinado 130B se mueve hacia la derecha e izquierda, respectivamente, de la ubicación parafocal. Esto permite utilizar el sensor de enfoque inclinado 130B para determinar dinámicamente la dirección y la cantidad de error de enfoque en el sensor de formación de imágenes principal 130A. El error de enfoque medido se puede usar para ajustar la posición de la lente del objetivo 120 en tiempo real, de modo que el sensor de formación de imágenes principal 130A esté siempre enfocado.

Uno o más, y preferiblemente todos, de los siguientes problemas pueden abordarse en una realización del método RTF:

Cambios en el contraste de los tejidos a través de una matriz lineal. En una realización, el sensor de enfoque inclinado 130B no se usa solo para determinar la mejor posición de enfoque, ya que los cambios de contraste también surgen del cambio en las características del tejido a través de la matriz lineal 140. Los datos del sensor de enfoque 130B y el sensor de formación de imágenes principal 130A se pueden combinar para eliminar el efecto del tejido utilizando un método de razón. El método de razón divide la función de contraste del sensor de enfoque inclinado 130B por la función de contraste del sensor de formación de imágenes principal 130A. Esta función normalizada alcanzará su punto máximo en la mejor posición de enfoque y eliminará los efectos dependientes del tejido.

Error de ruido y alineación de la cámara. En una realización, las matrices lineales 140 son de 1 x 4096 píxeles, con una dimensión de píxel de imagen nominal de 0,25 micrómetros. Con este nivel de precisión, no es posible alinear exactamente el sensor de formación de imágenes principal 130A y el sensor de enfoque inclinado 130B. Además, el aumento cambia ligeramente a través del sensor de enfoque inclinado 130B debido a su inclinación con respecto al eje óptico. Los valores de contraste de los píxeles individuales 142 también tienen ruido, ya que se calculan diferenciando los valores entre los píxeles vecinos 142. Se puede usar un promediado espacial para reducir estos efectos. Por ejemplo, en una realización, las salidas de cada cámara de escaneo de líneas 130 se agrupan en cuadros consecutivos al escanear una franja de imagen. Un cuadro tiene 1000 líneas por 4096 píxeles. Después de calcular los valores de contraste de píxeles para un cuadro, las líneas se promedian en una sola línea. Luego se aplica un filtro de impulsos rectangulares (por ejemplo, 100 píxeles de ancho) a lo largo de esta única línea. Estas operaciones se realizan para los cuadros tanto del sensor de formación de imágenes principal 130A como del sensor de enfoque inclinado 130B. Estas dos operaciones de promediado reducen en gran medida los efectos del ruido y el error de alineación en el método de razón.

Ubicación parafocal. El valor de la ubicación parafocal se puede conocer y calibrar por separado. Un error en la ubicación parafocal hará que el método<r>T<f>conduzca a una posición que no es el mejor enfoque. En otra parte del presente documento se describe un método para calcular la ubicación parafocal.

Cuadros omitidos. En una realización, uno de cada dos cuadros es un cuadro "omitido", ya que los datos de estos cuadros no se analizan en busca de errores de enfoque. Durante la adquisición de un cuadro omitido, se analizan los datos del cuadro anterior y la lente del objetivo 120 se mueve a la mejor posición de enfoque para el siguiente cuadro no omitido. En otras palabras, la lente del objetivo 120 solo se mueve durante la adquisición de los cuadros omitidos y está estacionaria durante la adquisición de los cuadros no omitidos. En funcionamiento normal, el retraso de cuadro será de un cuadro, lo que significa que el cuadro actual bajo la lente del objetivo 120 (CFUO) es el cuadro siguiente al cuadro que se está analizando.

Sobreencuadre. Sobreencuadre es un término utilizado para el caso en donde el retraso de cuadro es mayor que un cuadro. En una realización, dado que el escaneo de una franja de imagen se realiza a velocidad constante, se implementa un temporizador de software que permite calcular el CFUO. El método RTF comprueba el CFUO al determinar la siguiente mejor posición de enfoque. Normalmente, el CFUO será el cuadro omitido, siguiente al cuadro que se está analizando. Si este no es el caso, entonces el método RTF predecirá la mejor posición de enfoque para el primer cuadro no omitido siguiente al CFUO, e indicará a la lente del objetivo 120 que se mueva a esa posición. Usando esta estrategia, la lente del objetivo 120 siempre se mueve a la mejor posición para la ubicación real actual. El método RTF funcionará correctamente siempre que el retraso de cuadro no sea demasiado grande. Se puede proporcionar un parámetro de configuración, Frame_Lag_Stripe _Abort_Threshold, que provocará que el escaneo de la franja de imagen se cancele y se vuelva a escanear si el retraso de cuadro se vuelve demasiado grande (es decir, excede el valor del parámetro Frame_Lag_Stripe_Abort_Threshold).

Ajuste de la curva de razón. El método de razón produce una curva que alcanza su punto máximo en la mejor posición de enfoque. En una realización, se ajusta una función gaussiana a la curva de razón y el pico de la función gaussiana se identifica como la mejor posición de enfoque. La bondad del ajuste de la función gaussiana se puede evaluar utilizando un conjunto de métricas para calificar la estimación de enfoque como fiable. Solo se agregan valores de enfoque fiables al mapa de enfoque.

Enfoque solo en el tejido. Los puntos agregados al mapa de enfoque deben corresponder a ubicaciones reales de los tejidos en los datos de la imagen. En diseños anteriores, se calculaba un mapa de tejido probable a partir de la imagen macro utilizando un algoritmo de búsqueda de tejido, y los valores de MFP solo se agregaban a las ubicaciones de tejido probable. Sin embargo, una variedad de artefactos en el portaobjetos de vidrio 114 (por ejemplo, bordes del cubreobjetos, marcas más, restos en la parte superior del cubreobjetos, etc.) podrían resultar indeseablemente en un enfoque fuera del plano del tejido. En una realización, el mapa de tejido probable de un algoritmo de búsqueda de tejido puede introducirse en el método RTF y, opcionalmente, usarse para restringir las ubicaciones permitidas para los puntos de enfoque utilizados por el método RTF. El método RTF también puede analizar cada cuadro para determinar si hay tejido presente y solo permitir puntos de enfoque en cuadros en donde hay tejido.

Huecos en el tejido. Para una estimación fiable del error de enfoque, debe estar disponible tejido de suficiente contraste a lo largo de la matriz lineal 140. En una realización, el vector de contraste para el sensor de formación de imágenes principal 130A se utiliza para determinar si hay una suficiente señal disponible para calcular el error de enfoque. Los detalles de implementación de esto se describen en otra parte del presente documento.

Agregar valores de MFP. El método RTF no siempre devolverá un valor de enfoque fiable para cada cuadro de tejido. Esto puede deberse a una insuficiencia de tejido en un cuadro, así como a que el resultado se clasifique como no fiable mediante el proceso de ajuste gaussiano. En una realización, después de escanear una franja de imagen, los cuadros de tejido se consideran en secuencia, y los cuadros que exceden una distancia prescrita (por ejemplo, almacenada como un valor en un parámetro Rmin) desde el valor de enfoque fiable más cercano se identifican para el enfoque mediante el método MFP. Estos puntos pueden enfocarse y agregarse al mapa de enfoque antes de escanear la siguiente franja de imagen.

Rechazar valores atípicos. En una realización, el mapa de enfoque se inspecciona después de que se hayan escaneado todas las franjas de imagen, para determinar si algunos de los puntos de enfoque en el mapa de enfoque son valores atípicos. Los valores atípicos pueden eliminarse, como se analiza en otra parte del presente documento, antes de evaluar la calidad de escaneo.

Nuevo escaneo de franjas de imagen. En una realización, después de que se hayan escaneado todas las franjas de imagen y se haya completado el mapa de enfoque, la ubicación de enfoque real para cada cuadro de tejido se compara con la mejor posición de enfoque del mapa de enfoque, como se describe en el proceso de recreación de franjas analizado en otra parte del presente documento. Las franjas de imagen en donde el 5 % de los cuadros tienen un error de enfoque que excede un umbral prescrito se pueden volver a escanear para producir el mapa de enfoque final.

Inicialización del escaneo. En una realización, se inicializa el mapa de enfoque para escaneo. Un algoritmo de búsqueda de tejido puede identificar una franja de referencia y tres o más valores de MFP para comenzar el escaneo. La franja de imagen con la mayor cantidad de tejido se puede seleccionar como franja de referencia. Se puede medir un punto de enfoque del MFP al comienzo de la franja de referencia y en dos o más ubicaciones adicionales, seleccionadas para proporcionar una buena extensión de tejido. Luego, primero se escanea la franja de referencia, utilizando el valor de enfoque inicial del MFP para la franja y actualizando la posición de enfoque usando el método RTF. El escaneo de la franja de referencia generalmente generará muchos valores de enfoque, que se agregan al mapa de enfoque, junto con los valores de enfoque iniciales del MFP.

Orden de escaneo. En una realización, después de inicializar el mapa de enfoque, se vuelve a escanear la franja de referencia. Luego, el escaneo continúa hacia la derecha o hacia la izquierda de la franja de referencia hasta que se completa ese lado del área de escaneo. Luego, el escaneo continúa desde el otro lado de la franja de referencia hasta el borde opuesto del área de escaneo. Este orden se elige de modo que la franja de imagen que se escanea esté lo más cerca posible de los valores de enfoque en el mapa de enfoque, para maximizar la probabilidad de obtener un enfoque aceptable en la primera pasada.

2.2.2. Ubicación parafocal

En una realización, para determinar la ubicación parafocal, el sensor de formación de imágenes principal 130A y el sensor de enfoque inclinado 130B toman imágenes de un portaobjetos Ronchi vertical simultáneamente, barriendo a través del rango Z de la lente del objetivo 120 a velocidad constante. De esta manera, se adquieren un par de memorias temporales de datos de imagen para los sensores 130A y 130B.

Para el sensor de formación de imágenes principal 130A, se calcula un valor de contraste promedio para cada fila de la memoria temporal, y la fila de contraste máximo se toma como el mejor índice de enfoque. Se puede agregar una comprobación adicional para calificar el par de memorias temporales, basándose en la inclinación en el contraste de los datos de imagen del sensor de formación de imágenes principal 130A. Esta comprobación se puede realizar dividiendo la memoria temporal de datos de imagen del sensor de formación de imágenes principal 130A en cuarenta segmentos (por ejemplo, aproximadamente 100 columnas cada uno) y calculando el mejor índice de enfoque para cada segmento. Si la diferencia en el índice para los segmentos más a la izquierda y más a la derecha es menor que un umbral (por ejemplo, cuatro), entonces se acepta que el par de memorias temporales tiene una inclinación mínima y se usa para estimar la ubicación parafocal. El valor de cuatro para el umbral corresponde a una inclinación de 0,5 micrómetros/milímetro, que puede ser un requisito del sistema para la planitud.

El sensor de enfoque inclinado 130B no tiene un único índice de mejor enfoque (es decir, fila). Las columnas en la memoria temporal de datos de imagen del sensor de enfoque 130B tendrán el máximo contraste cuando el píxel 142 correspondiente a esa columna esté en el mejor enfoque. El procesamiento de la memoria temporal de enfoque continúa calculando el gradiente de cada fila y luego encontrando el índice de fila correspondiente al valor máximo para cada columna. Estos datos pueden tener bastante ruido, como se ilustra en el gráfico de ejemplo de señal filtrada paso bajo y ajuste en la FIG. 3. Así, se puede utilizar un filtro de mediana, en lugar de un filtro de media, para reducir el ruido, debido a la naturaleza asimétrica del ruido. Luego se construye un ajuste lineal a los valores de índice filtrados, como se ilustra mediante la línea de ajuste en la FIG. 3. La columna en donde el ajuste lineal cruza el valor de índice máximo, a partir de los datos de imagen adquiridos por la cámara de formación de imágenes principal, es el punto parafocal en el sensor de enfoque inclinado 130B.

La pendiente del ajuste lineal corresponde al cambio en la distancia Z por píxel y es necesaria para calcular la distancia real para mover la lente del objetivo 120 a la parafocalidad. Sin embargo, se ve que el lado izquierdo desde la ubicación parafocal tiene una pendiente mayor que el lado derecho. Por lo tanto, se calcula un ajuste lineal por separado para los datos a la izquierda de la ubicación parafocal y los datos a la derecha de la ubicación parafocal, como se ilustra en la FIG. 3. Estas dos pendientes proporcionan los factores de escala izquierdo y derecho en unidades de micrómetros/píxel.

En una realización, las salidas del cálculo parafocal comprenden una ubicación parafocal, un factor de escala izquierdo y un factor de escala derecho. La ubicación parafocal es la ubicación del píxel parafocal 142 en el sensor de enfoque inclinado 130B. El factor de escala izquierdo se utiliza para convertir los píxeles 142, en el lado izquierdo de la ubicación parafocal, a micrómetros. De manera similar, el factor de escala derecho se usa para convertir los píxeles 142, en el lado derecho de la ubicación parafocal, a micrómetros.

La FIG. 4 ilustra un cálculo de parafocal 400, según una realización. El cálculo de parafocal 400 puede implementarse en instrucciones de software que se ejecutan mediante procesador(es) 104 del sistema de escaneo o mediante un sistema externo. En los pasos 405A y 405B, las memorias intermedias sincronizadas se reciben desde el sensor de enfoque inclinado 130B y el sensor de formación de imágenes principal 130A, respectivamente. En una realización, cada memoria temporal comprende datos de imagen, adquiridos por su sensor respectivo, durante el escaneo de un portaobjetos Ronchi vertical.

En los pasos 410A y 410B, el gradiente de contraste para cada fila en cada memoria temporal se calcula según un paso predefinido. De forma predeterminada, el paso para ambas memorias temporales puede ser una fila, de modo que no se omita ninguna fila. Alternativamente, el paso puede ser mayor que una fila.

En el paso 415, se encuentra el máximo del gradiente de contraste para el sensor de enfoque 130B, y se identifica el índice de columna correspondiente a ese máximo. Luego, en el paso 420, se aplica un filtro de mediana (por ejemplo, predeterminado = 500) a los puntos del gradiente de contraste. En el paso 425, se encuentra un ajuste lineal para los puntos filtrados por la mediana. La línea, que representa este ajuste lineal, se pasa al paso 470, asumiendo que también se encuentra una línea para la memoria temporal de datos de imagen del sensor de formación de imágenes principal 130A en el paso 465.

En el paso 430, el gradiente de contraste, calculado a partir de la memoria temporal del sensor de formación de imágenes principal 130A en el paso 410B, se promedia en cada fila. Luego, en el paso 435, se promedian los canales de color R, G y B. En el paso 440, se segmenta el gradiente de contraste. De forma predeterminada, el número de segmentos utilizados en el paso 440 puede ser, por ejemplo, cuarenta.

En el paso 445, el segmento más a la izquierda, del paso 440, se compara con el segmento más a la derecha del paso 440. Específicamente, el segmento más a la derecha puede restarse del segmento más a la izquierda, o viceversa. Si el valor absoluto de la diferencia es mayor o igual que un umbral predeterminado T (es decir, "No" en el paso 450), el par de memorias temporales, recibido en los pasos 405, puede descartarse en el paso 455, y el proceso 400 puede reiniciarse usando un nuevo par de memorias temporales. De lo contrario, si el valor absoluto de la diferencia es menor que el umbral predeterminado T (es decir, "Sí" en el paso 450), el proceso 400 continúa con el paso 460. En una realización, el umbral predeterminado T es igual a cuatro.

En el paso 460, se encuentra el máximo del promedio, calculado en los pasos 430 y 435, y se identifica el índice de fila correspondiente a ese máximo. Luego, en el paso 465, se calcula una línea en este punto.

Una vez que se ha encontrado una línea para el sensor de enfoque 130B en el paso 425 y una línea para el sensor de formación de imágenes 130A en el paso 465, la intersección o punto de cruce entre estas dos líneas se encuentra en el paso 470. Este punto de cruce es el punto parafocal. Además, en el paso 475, se encuentra un ajuste lineal, independientemente, tanto para el segmento izquierdo como para el segmento derecho desde el punto parafocal. Finalmente, en el paso 480, la pendiente de la línea de ajuste izquierda se convierte en un factor de escala izquierdo y la pendiente de la línea de ajuste derecha se convierte en un factor de escala derecho.

2.2.3. Flujo de trabajo del método RTF

Las FIGS. 5A-5C ilustran un proceso 500 para escanear una imagen de una muestra 116 en un portaobjetos de vidrio 114, según una realización. Muchos de los pasos ilustrados se describen con más detalle en otra parte del presente documento. Debe entenderse que el proceso 500 puede implementarse en instrucciones de software que son ejecutadas por el o los procesadores 104 del sistema de escaneo 100.

El proceso 500 comienza, en el paso 510, con la adquisición de una franja de imagen, que representa datos de imagen de una porción de la muestra 116. En el paso 590, se determina si se ha adquirido o no la última franja de imagen. Si quedan franjas de imagen por adquirir (es decir, "No" en el paso 590), la siguiente franja de imagen se adquiere en otra iteración del paso 510. De lo contrario, si no quedan franjas de imagen por adquirir (es decir, "Sí" en el paso 590), el proceso 500 continúa con el paso 592. En particular, las franjas de imagen pueden adquirirse en cualquier orden. Ventajosamente, la capacidad de adquirir franjas de imagen en cualquier orden permite al procesador 104 del sistema de escaneo 100 construir el mapa de enfoque de manera más efectiva usando valores de enfoque, adquiridos mediante el método RTF, durante el escaneo.

En el paso 592, los valores atípicos se eliminan como se analiza con más detalle en otra parte del presente documento. En el paso 594, se determina si es necesario o no recrear alguna franja de imagen, como se analiza con más detalle en otra parte del presente documento. Si no es necesario recrear ninguna franja de imagen (es decir, "No" en el paso 594), el proceso 500 finaliza con un conjunto completo de franjas de imagen de al menos una porción de la muestra 116. De lo contrario, si es necesario recrear al menos una franja de imagen (es decir, "Sí" en el paso 594), esa o esas franjas de imagen se vuelven a escanear en el paso 596, y luego el proceso 500 finaliza con un conjunto completo de franjas de imagen de al menos una porción de la muestra 116. Una vez que se ha adquirido el conjunto completo de franjas de imagen, el o los procesadores 104 del sistema de escaneo 100 pueden alinear las franjas de imagen y combinar las franjas de imagen en una imagen compuesta completa de toda la porción escaneada de la muestra 116. Además, el o los procesadores 104 pueden comprimir la imagen compuesta utilizando cualquier técnica de compresión conocida.

Una realización del paso 510 se ilustra con mayor detalle en la FIG. 5B. Específicamente, en el paso 512, se captura un cuadro de la franja de imagen en una posición Z calculada. Luego, en el paso 520, el cuadro capturado se procesa para determinar la posición Z para el siguiente cuadro. Si quedan cuadros por adquirir (es decir, "No" en el paso 580), el siguiente cuadro se captura, en otra iteración del paso 512, en la posición Z determinada en el paso 520. De lo contrario, si no quedan cuadros por adquirir para la franja de imagen (es decir, "Sí" en el paso 580), el proceso 500 continúa con el paso 582.

En el paso 582, se añaden al mapa de enfoque las posiciones Z con mejor enfoque para cuadros analizables y fiables. En el paso 584, se solicitan puntos de enfoque macro adicionales. En el paso 586, se establece la dirección de escaneo. Es decir, el proceso 500 determina si se mueve o no hacia el lado izquierdo o derecho de la franja de imagen actual para capturar la siguiente franja de imagen.

Una realización del paso 520 se ilustra con mayor detalle en la FIG. 5C. En el paso 522, las memorias temporales de datos de imagen, cada una de las cuales representa un cuadro, capturado tanto por el sensor de formación de imágenes principal 130A como por el sensor de enfoque inclinado 130B, se procesan para producir una posición máxima para la memoria temporal del sensor de enfoque inclinado 130B, un cuadrado de gradiente medio para la memoria temporal del sensor de formación de imágenes principal 130A, un número total de columnas analizables en la memoria temporal del sensor de formación de imágenes principal 130A, un vector de peso para el sensor de formación de imágenes principal 130A y un vector de razón (razón en parafocal).

En el paso 524, se determina si la trama capturada es analizable o no. Por ejemplo, como se describe en otra parte del presente documento, se determina que el cuadro es analizable cuando el cuadro tiene suficiente tejido para realizar el proceso de ajuste gaussiano. Si el cuadro es analizable (es decir, "Sí" en el paso 524), el proceso 500 continúa con el paso 525. De lo contrario, si el cuadro no es analizable (es decir, "No" en el paso 524), el proceso 500 continúa con el paso 530.

En el paso 525, se realiza un ajuste gaussiano. En el paso 526, se determina si el proceso de ajuste gaussiano es fiable (es decir, buen ajuste) o no fiable (es decir, mal ajuste). Si el resultado del ajuste gaussiano es fiable (es decir, "Sí" en el paso 526), el proceso 500 proporciona el delta Z predicho resultante (es decir, el cambio predicho en el valor Z para mantener el foco) al paso 528. De lo contrario, si el resultado del ajuste gaussiano no es fiable (es decir, "No" en el paso 526), el proceso 500 establece el cuadro en no analizable y no fiable, y continúa con el paso 530.

En el paso 528, la mejor posición de enfoque se calcula como la suma de la posición Z del cuadro actual y el delta Z predicho a partir del proceso de ajuste gaussiano en el paso 526. Por otro lado, en el paso 530, la mejor posición de enfoque se establece simplemente en la posición Z del cuadro actual. En cualquier caso, en el paso 532, se calcula la posición Z para el siguiente cuadro.

2.2.4. Método de razón

Como se analizó con respecto al proceso 500, en una realización, los datos de imagen de los sensores de formación de imágenes y de enfoque 130A y 130B se capturan en cuadros. Un único cuadro comprende dos memorias temporales: una correspondiente a los datos del sensor de formación de imágenes principal 130A; y la otra correspondiente a los datos del sensor de enfoque inclinado 130B. La FIG. 6A ilustra un ejemplo de memoria temporal de datos de imagen adquiridos por el sensor de formación de imágenes principal 130A, y la FIG. 6B ilustra un ejemplo de memoria temporal de datos de imagen adquiridos por el sensor de enfoque inclinado 130B, según una realización. En la realización ilustrada, cada cuadro consta de dos memorias temporales que tienen cada una 1000 líneas por 4096 píxeles de ancho.

La FIG. 7 ilustra un proceso 700 para calcular el vector de razón, según una realización. Debe entenderse que el proceso 700 puede implementarse en instrucciones de software que se ejecutan mediante un procesador 104 del sistema de escaneo 100. Además, el proceso 700 puede representar al menos una parte de los pasos 522 y/o 524 en el proceso 500.

En los pasos 705A y 705B, se recibe un cuadro de datos de imagen desde el sensor de formación de imágenes principal 130A y el sensor de enfoque inclinado 130B, respectivamente. Luego, en los pasos 710, se aplica la corrección de iluminación a los píxeles de la imagen dentro de cada cuadro respectivo. Por ejemplo, la corrección de iluminación puede utilizar técnicas de no uniformidad de respuesta fotográfica (PRNU) y/o ruido de patrón fijo (FPN). En el paso 715, los canales RGB en el cuadro del sensor de formación de imágenes principal 130A se corrigen por separado y luego se promedian con igual ponderación en un cuadro en escala de grises.

En los pasos 720, se aplica un operador de gradiente cuadrado a cada cuadro en escala de grises, es decir, el cuadro de formación de imagen principal corregido en el paso 710A y convertido en el paso 715, y el cuadro de enfoque inclinado corregido en el paso 710B. Se puede utilizar una diferencia central en ambas dimensiones horizontales, con un espaciado de diferencia de ocho píxeles (D8).

En los pasos 725, las imágenes de gradiente se promedian a lo largo de las columnas. Esto convierte cada cuadro en un único vector. Luego, en los pasos 730, se aplica un filtro de impulsos rectangulares (por ejemplo, ciento un píxeles) a cada vector para reducir el ruido restante. Finalmente, en el paso 735, el vector de razón se calcula dividiendo los valores de píxeles de los dos vectores.

En una realización, el proceso 700 se realiza para cada conjunto de cuadros capturados por el sensor de formación de imágenes 130A y el sensor de enfoque 130B, incluidos los cuadros omitidos. En este caso, aunque solo se analizarán los cuadros no omitidos para determinar la mejor posición de enfoque, sigue siendo útil saber si hay tejido presente en cada cuadro.

Además de los vectores de gradiente y el vector de razón para cada conjunto de cuadros, también se puede calcular la ubicación de píxeles para el máximo en el vector de gradiente de inclinación y el número total de columnas analizables en el vector de gradiente de formación de imágenes principal. Se puede usar el número de columnas analizables (por ejemplo, en el paso 524 del proceso 500) para determinar si hay suficiente señal presente para permitir un análisis adicional con el proceso de ajuste gaussiano.

La FIG. 8A ilustra vectores de gradiente de ejemplo para el sensor de formación de imágenes principal 130A (el gráfico de líneas más oscuras que comienza y termina en la parte superior) y el sensor de enfoque inclinado 130B (el gráfico de líneas más claras que comienza y termina en la parte inferior), según una realización. La estructura en el sensor de enfoque inclinado 130B es irregular debido a las variaciones del tejido a lo largo del cuadro. Por lo tanto, no se puede identificar un único pico en el vector de gradiente para el sensor de enfoque 130B.

La FIG. 8B ilustra el vector de razón de ejemplo de los dos vectores de gradiente en la FIG. 8A, según una realización. En particular, el vector de razón es mucho más suave que cualquiera de los vectores de gradiente. Como se muestra, se puede ajustar una función gaussiana al vector de razón para permitir que se identifique con precisión el pico 800. El pico 800 en la función gaussiana representa la mejor posición de enfoque para este cuadro.

En una realización, las salidas del método de razón, ilustrado por el proceso 700, que representan las entradas al proceso de ajuste gaussiano, pueden comprender uno o más de los siguientes:

Vector de gradiente principal. El vector de gradiente principal es la señal de gradiente promedio para cada columna del cuadro capturado por el sensor de formación de imágenes principal 130A.

Vector de gradiente de inclinación. El vector de gradiente de inclinación es la señal de gradiente promedio para cada columna del cuadro capturado por el sensor de enfoque inclinado 130B.

Vector de razón. El vector de razón es la razón para cada columna del vector de gradiente de inclinación dividido por el vector de gradiente principal.

Razón en parafocal. La razón en parafocal es el valor de la curva de razón, representada por el vector de razón, en la ubicación parafocal.

Razón en la línea de base. La razón en la línea de base es el valor medio de la curva de razón, representada por el vector de razón, cerca de los extremos del vector de razón.

Número de columnas analizables. El número de columnas analizables es el número de columnas en el vector de gradiente principal para las cuales el vector de gradiente principal excede un umbral (por ejemplo, MAIN_IMG_COLM_ANALYZABLE_THRESH = 50).

Vector de peso. El vector de gradiente principal se normaliza a la unidad de área y se utiliza como vector de ponderación para el ajuste gaussiano. A las columnas (es decir, píxeles) que tienen poco tejido (es decir, un valor de gradiente pequeño) se les da poca importancia al ajustar una función gaussiana a la razón, ya que estos valores de razón tendrán bastante ruido. Los valores de gradiente más grandes tienen más señal y, en consecuencia, menos ruido en la razón.

2.2.5. Ajuste gaussiano

El proceso de ajuste gaussiano se representa como el paso 525 en el proceso 500. El objetivo del proceso de ajuste gaussiano es ajustar una función gaussiana suave a la curva de razón y luego determinar el pico de la función gaussiana (por ejemplo, el pico 800 en la FIG. 8B). Este pico representa la mejor posición de enfoque calculada. En una realización, el proceso de ajuste gaussiano solo se intenta si hay suficiente tejido presente y la curva de razón tiene un valor permitido en la parafocal. Por ejemplo, si la razón en la parafocal está entre 0,5 y 1,5 y el número de columnas analizables excede el 85 % del total de columnas (por ejemplo, "Sí" en el paso 524 en el proceso 500), entonces se realiza el proceso de ajuste gaussiano.

Ajustar una función gaussiana a la curva de razón es un problema no lineal. En una realización, el planteamiento para resolver esto es muestrear un conjunto de posibles funciones gaussianas y elegir la función gaussiana con la diferencia cuadrática media (RMS) más pequeña de la curva de razón.

Cada muestra de curva gaussiana tiene cuatro parámetros: amplitud (pico); centro (media); ancho (sigma); y línea de base (desplazamiento). La amplitud se parametriza en función de la distancia desde la parafocal. La FIG. 9 ilustra curvas de razón para una muestra de tejido, escaneada con desplazamientos fijos desde la parafocal. En este ejemplo, la parafocal está en la columna (es decir, el píxel) 1590. En particular, los picos aumentan a medida que aumenta el desplazamiento desde la parafocal. El tamaño del pico también depende del tejido. Por tanto, la tasa de aumento del pico desde la parafocal puede estimarse para cada cuadro.

En una realización, para escalar las funciones de prueba gaussianas, la posición del máximo para el vector de gradiente inclinado se identifica como se muestra en el gráfico más a la izquierda en la FIG. 10. El valor del vector de razón en esta posición y la distancia de esta posición desde la parafocal se pueden usar para definir una pendiente de ajuste como se muestra en el gráfico más a la derecha en la FIG. 10.

En una realización, las funciones de prueba gaussianas están escaladas, de modo que el pico aumenta con la distancia desde la parafocal, con una velocidad igual a la pendiente de ajuste. Una de estas funciones de prueba gaussianas se ilustra en el gráfico más a la derecha de la FIG. 10, como la línea suave que se aproxima a la curva de razón. En particular, no es necesario que la mejor función gaussiana esté centrada en la ubicación del pico, tomada de la curva de razón, ya que este pico no está necesariamente centrado, sino que solo se usa para escalar. La razón en la línea de base en el gráfico más a la izquierda en la FIG. 10 es aproximadamente 3,5. Este valor se estima desde el final de la curva de razón y se utiliza como desplazamiento aplicado a la función de prueba gaussiana para elevar la función de prueba gaussiana al nivel adecuado.

En una realización, se utiliza un conjunto de medias y sigmas para generar las funciones de prueba gaussianas. Los valores medios pueden oscilar entre 100 y 3996 (es decir, 4096-100), en incrementos de 25. Los valores sigma pueden oscilar entre 500 y 1200, en incrementos de 100. La FIG. 11 ilustra un conjunto parcial de funciones de prueba gaussianas para diferentes valores medios y un ancho fijo.

A este conjunto también se le agrega un segundo conjunto de funciones gaussianas modificadas (unilaterales). El motivo de esto es que la curva de razón a veces no tiene una forma única bien definida correspondiente a un solo pico. Por ejemplo, la curva de razón puede ser más ancha con dos picos como se muestra en la FIG. 12. La experiencia ha demostrado que la calidad de la imagen subjetiva es mejor cuando el enfoque se realiza en el pico más a la derecha. En el caso mostrado en la FIG. 12, este es también el pico más grande y prominente. El problema con una función gaussiana simétrica es que a veces dará como resultado un pico amplio, centrado entre los dos picos. En este caso, ningún conjunto de características estará enfocado y la imagen aparecerá "suave" y desenfocada en todo el cuadro. El pico más a la derecha representa una dirección que se aleja del portaobjetos de vidrio 114, de modo que este conjunto de funciones gaussianas preferirá centrarse en las características superiores de la sección de tejido, cuando hay dos posibles profundidades de enfoque.

La FIG. 13 muestra los dos conjuntos de funciones gaussianas, es decir, simétricas y unilaterales, y la media correspondiente a la ubicación parafocal. El complemento completo de funciones de prueba gaussianas que comprenden las posibles soluciones se encuentra en el conjunto de valores medios y sigma indicados anteriormente. Cada una de estas funciones gaussianas está normalizada, como se describió anteriormente, para la amplitud y la línea de base. Luego, se calcula la diferencia RMS para cada función de prueba gaussiana frente al vector de razón. La función gaussiana asociada con el valor de diferencia RMS mínimo se selecciona como la función gaussiana que mejor se ajusta. El punto 1400 en la FIG. 14 indica el valor de diferencia RMS mínimo y la ubicación de la función gaussiana de mejor ajuste.

En una realización, el proceso de ajuste gaussiano devuelve dos números: mejor posición de enfoque; y ajuste al máximo. La mejor posición de enfoque es la columna (es decir, el píxel) correspondiente al mejor enfoque. El error de enfoque es proporcional a la diferencia entre este valor y la parafocal. El máximo de ajuste es la amplitud del vector de razón en la mejor posición de enfoque.

En una realización, los valores de retorno del proceso de ajuste gaussiano se analizan para determinar si son fiables o no. Solo se agregan valores fiables al mapa de enfoque que se utilizará para escanear franjas de imagen posteriores. Por ejemplo, se calcula una pendiente de error y se compara con la pendiente de ajuste definida anteriormente para el ajuste gaussiano. Estas dos pendientes deben ser comparables para que se pueda confiar en los valores de retorno. De lo contrario, no se debe confiar en los valores de retorno. La pendiente de error se puede calcular de la siguiente manera y se ilustra en la FIG. 15:

Pendiente error =<(>Mix.de ajuste — Razón en par a focal') ¡ (Mejor posición enfoque<—>Parafocal)

Hay dos casos posibles:

Caso 1: la pendiente de error y la pendiente de ajuste tienen signos diferentes (es decir, lados opuestos de la parafocal). En este caso, los valores de retorno son fiables si el valor absoluto de (Máximo de ajuste -Razón en parafocal) / (Razón en parafocal) < 0,20. Las pendientes tienen ruido cerca de la parafocal. Por tanto, no se utilizan para invalidar el resultado gaussiano.

Caso 2: la pendiente de error y la pendiente de ajuste tienen el mismo signo (es decir, el mismo lado de la parafocal). En este caso, los valores de retorno son fiables si (Pendiente de ajuste - Pendiente de error) / (Pendiente de ajuste Pendiente de error) < 0,5. La diferencia de pendientes es comparable al promedio de las dos pendientes.

2.2.6. Puntuación analizable del cuadro

En una realización, cada cuadro de datos de imagen recibe una de las siguientes puntuaciones de estado (por ejemplo, en el paso 524 del proceso 500):

Nonanalyzable (p. ej., = -2): el cuadro no tiene tejido.

NonAnalyzableButHasTissue (p. ej., = -1): el cuadro tiene tejido, pero no lo suficiente para el proceso de ajuste gaussiano. En una realización, el cuadro tiene tejido si el promedio de todas las columnas para el vector de gradiente principal es mayor que el valor (por ejemplo, 50) del parámetro MAIN IMG COLM ANALYZABLE THRESH.

AnalyzableButUntrustable (por ejemplo, =0):el resultado del proceso de ajuste gaussiano no es fiable.

AnalyzableButSkipped (por ejemplo, = 1): el cuadro tiene suficiente tejido para el proceso de ajuste gaussiano pero es un cuadro omitido.

AnalyzableAndTrustable (por ejemplo, = 2): el proceso de ajuste gaussiano devolvió un resultado fiable. El punto se agrega al mapa de enfoque que se utilizará para enfocar al escanear franjas de imagen posteriores.

MFPFrame (p. ej., = 3): el cuadro tiene un punto de enfoque macro. En una realización, los cuadros que reciben puntos de enfoque macro, antes de que comience el escaneo, no recibirán valores RTF, ya que solo se permite un valor de enfoque por cuadro.

2.2.7. Rechazo de valores atípicos

Después de haberse escaneado todas las franjas de imagen, el mapa de enfoque estará completo. En una realización, en este punto, el mapa de enfoque se analiza para determinar si alguno de los puntos en el mapa de enfoque (ya sea puntos RTF o MFP) son valores atípicos. Esta determinación se representa como el paso 592 en el proceso 500.

Se puede identificar un valor atípico considerando la pendiente de la superficie alejada del punto de muestra. La pendiente se puede calcular en cuatro direcciones de la superficie, alejadas de cada punto de muestra: arriba, abajo, izquierda y derecha. Si la pendiente mínima excede un valor umbral, entonces ese punto puede designarse como un valor atípico.

Se muestra un ejemplo en la FIG. 16, con una vista lateral a lo largo del plano focal. Se han identificado dos puntos, 1610 y 1620, como valores atípicos. Por lo tanto, estos dos puntos 1610 y 1620 se eliminarán del mapa de enfoque (por ejemplo, en el paso 592 del proceso 500) antes de probar las franjas para una posible recreación de franjas (por ejemplo, en el paso 594 del proceso 500).

2.2.8. Recreación de franjas

En una realización, el error de enfoque para cada cuadro, que comprende tejido, se calcula restando la posición real de la lente del objetivo 120 durante el escaneo del cuadro de la mejor posición de enfoque para ese cuadro, según se determina a partir del mapa de enfoque final. Este cálculo (por ejemplo, representado como el paso 594 en el proceso 500) se realiza después de que se hayan eliminado todos los valores atípicos potenciales del mapa de enfoque (por ejemplo, en el paso 592 en el proceso 500). La FIG. 17A ilustra los errores de enfoque después de que se hayan escaneado todas las franjas de imagen en la primera pasada. Los cuadros rojo y azul oscuro representan errores positivos y negativos, respectivamente, mientras que los cuadros verdes representan errores muy pequeños. Se muestra que la franja siete tiene un área de color rojo oscuro y, por lo tanto, esta franja de imagen puede seleccionarse para recrear franjas. La FIG. 17B ilustra los errores de enfoque después de haberse recreado la franja siete. Después de la recreación de franjas, la franja siete es mayoritariamente verde, lo que indica que la lente del objetivo 120 concuerda sustancialmente con el mapa de enfoque.

Los cuadros omitidos generalmente tendrán un pequeño error de enfoque después de la recreación de franjas, ya que la lente del objetivo 120 se mueve en pasos solo para los cuadros no omitidos. Si persisten grandes errores de enfoque después de la recreación de franjas, esto es indicativo de grandes pendientes a lo largo del eje de escaneo, lo que generalmente indica un enfoque deficiente. Se puede realizar una evaluación final de la calidad de la imagen a partir del mapa de calor (ilustrado en un ejemplo en la FIG. 17B) después de la recreación de franjas.

En una realización, la decisión de recrear franjas o no (por ejemplo, en el paso 594 del proceso 500) se toma para cada franja de imagen en función del número y tamaño de los errores de enfoque para esa franja de imagen. Por ejemplo, si el 5 % de los cuadros, en una franja de imagen, excede un umbral definido (por ejemplo, almacenado como el parámetro Focus_Quality_Restripe_Threshold), entonces se recreará la franja de imagen. Este umbral puede ser una configuración que se puede ajustar a un nivel que sea coherente con las preferencias del usuario. Naturalmente, se conseguirá la mejor calidad de imagen si se recrean franjas de todas las franjas de la imagen. Sin embargo, esto también duplicaría el tiempo de escaneo.

2.2.9. Puntuación de calidad de imagen

La calidad de imagen es función, principalmente, de la precisión de enfoque, siempre que los valores de enfoque se hayan medido en tejido real y no en artefactos (por ejemplo, bordes del cubreobjetos, burbujas, restos en la parte superior del cubreobjetos, etc.). Algunos tejidos también pueden tener grandes inclinaciones, lo que dificulta enfocar todo el cuadro. Esto puede provocar una calidad de imagen deficiente, pero no se puede hacer mucho para solucionar este problema.

En una realización, se asigna una puntuación de calidad de imagen binaria a cada imagen escaneada: aceptado; o fracaso. "Fracaso" equivale a un enfoque muy deficiente en una porción importante del portaobjetos 114. Una puntuación de calidad de imagen de "fracaso" puede basarse en dos métricas:

Porcentaje de cuadros defectuosos. Se informa de un fallo si el porcentaje de cuadros defectuosos excede el parámetro Image_Quality_Bad_Frames_Threshold. En una realización, el porcentaje de cuadros defectuosos será generalmente inferior al 5 %, ya que las franjas de imagen individuales se recrean cuando el porcentaje es superior al 5 %.

Inclinación promedio. La inclinación promedio se calcula a partir del mapa de enfoque. Se puede esperar que los portaobjetos con una inclinación del tejido inferior a 1 micrómetro por milímetro tengan una buena calidad de imagen. Se puede informar de un fallo si la inclinación excede el parámetro Image_Quality_Tilt_Threshold.

En una realización, las imágenes que reciben una puntuación de calidad de imagen aceptable aún pueden ser consideradas inaceptables por un operador del sistema de escaneo 100. Se puede lograr una calidad mejorada reduciendo el parámetro Focus_Quality_Restripe_Threshold, pero esto dará como resultado que se vuelvan a escanear más franjas de imagen para mejorar la calidad. Los portaobjetos fallidos, así como cualquier portaobjetos que el operador considere de mala calidad de imagen, se pueden volver a escanear con el método de enfoque configurado en ReScan. El flujo de trabajo de ReScan agrega puntos MFP adicionales al inicio del escaneo, además de recrear todas las franjas de la imagen, lo que naturalmente requiere más tiempo.

2.2.10. Parámetros RTF

En una realización, el método RTF utiliza un conjunto de parámetros, algunos de los cuales pueden ajustarse para mejorar el rendimiento y acomodar una variedad de muestras 116 y/o portaobjetos de vidrio 114. Muchos de estos parámetros pueden configurarse en tiempo de ejecución desde un archivo de ajustes de configuración (por ejemplo, "scanner.xml" u otro archivo, almacenado en la memoria 106), mientras que otros parámetros pueden fijarse en el software. A continuación, se identifican y describen ejemplos de ambos tipos de parámetros.

2.2.10.1. Parámetros fijos

Ciertos valores de parámetros pueden estar fijados en el código del software. Estos valores de parámetros se pueden determinar en función del escaneo de portaobjetos de prueba y el rendimiento del algoritmo deseado. A continuación, se describen ejemplos ilustrativos y no limitativos de estos parámetros fijos:

MAIN_IMG_COLM_ANALYZABLE_THRESH. Un valor medio del vector de gradiente principal mayor que este umbral indica la presencia de tejido. Un valor de ejemplo de este parámetro es cincuenta. En una realización, el 85 % de las columnas en el vector de gradiente principal deben exceder este valor para proceder al proceso de ajuste gaussiano.

Umbral de parafocal. En una realización, un cuadro puede proceder al proceso de ajuste gaussiano si la razón en parafocal es mayor que 0,5 y menor que 1,5 (es decir, 0,5 < razón en parafocal < 1,5).

Valores de muestra para el ajuste gaussiano. Estos son los puntos centrales (media) y los anchos (sigma) que se deben probar como candidatos para la función gaussiana de mejor ajuste. En una realización, los valores medios oscilan entre 100 y 3996 (4096-100) en incrementos de 25, y los valores sigma oscilan entre 500 y 1200 en incrementos de 100.

2.2.10.2. Parámetros configurables

Los valores de parámetros configurables pueden almacenarse en un archivo XML (por ejemplo, "scanner.xml" u otro archivo, almacenado en la memoria 106) que se utiliza para contener los diversos parámetros necesarios para configurar el sistema de escaneo 100 para su funcionamiento. A continuación, se describen ejemplos ilustrativos y no limitativos de estos parámetros configurables con valores nominales:

Focusing_Method. Este parámetro se puede establecer en uno de los siguientes valores:

RTF: este es el método predeterminado. Si el método RTF se configura como método de enfoque, se usa un cierto número (por ejemplo, tres) de puntos de enfoque macro para comenzar a escanear, y luego se usan el método RTF y valores de puntos de enfoque macro adicionales para crear el mapa de enfoque durante el escaneo. Se puede utilizar un mapa de tejido probable de un algoritmo de búsqueda de tejido para identificar cuadros permitidos para puntos de enfoque. Además, se identifican y eliminan los valores atípicos de los puntos de enfoque, y se realiza una recreación de franjas para las franjas de imagen que exceden el umbral de recreación de franjas.

PointFocus: si el método MFP está establecido como método de enfoque, solo se utilizan puntos de enfoque macro para completar el mapa de enfoque. Estos puntos se evalúan antes de adquirir las franjas de la imagen, por lo que no se realiza ninguna recreación de franjas.

ReScan: este método requiere mucho tiempo, pero está destinado a proporcionar una buena calidad de imagen para los portaobjetos 114 que fallan con el método RTF predeterminado. Se escanea toda el área de escaneo disponible. Por lo tanto, no se utiliza un algoritmo de búsqueda de tejido para restringir la ubicación de los puntos de enfoque durante el escaneo. El escaneo comienza con el complemento completo de puntos de enfoque macro (equivalente a PointFocus) y se recrean todas las franjas de la imagen.

Parfocal. El valor de este parámetro es la ubicación del píxel en el sensor de enfoque inclinado 130B que corresponde a la parafocalidad con el sensor de formación de imágenes principal 130A. De forma predeterminada, el valor de este parámetro puede establecerse en 1766.

Stage_Tilt _Scan. Este puede ser un parámetro que esté disponible para uso futuro y puede tener un valor predeterminado de 0,0.

Stage_Tilt Index. Este puede ser un parámetro que esté disponible para uso futuro y puede tener un valor predeterminado mayor o igual que 0,0.

Image_Data_Number_Rows. El valor de este parámetro es el número de filas que componen un único cuadro. De forma predeterminada, el valor de este parámetro se puede establecer en 1000.

Image_Data_Number_Columns. El valor de este parámetro es el número de columnas que componen un único cuadro, y debe ser menor o igual que el número de píxeles 142 en las cámaras de escaneo de líneas 130. De forma predeterminada, el valor de este parámetro puede establecerse en 4096.

Image_Data_Number_Color_Channels. El valor de este parámetro es el número de canales de color. Para datos RGB, el valor de este parámetro siempre será tres, que representa los tres canales de color rojo, verde y azul. Por tanto, de forma predeterminada, el valor de este parámetro puede establecerse en 3.

Z_Offset. El valor de este parámetro es el desplazamiento de los valores de enfoque cuando se escanea en los métodos X/Y (es decir, tanto en el método MFP como en el RTF). Puede ajustarse experimentalmente escaneando una muestra de tejido 116 en un portaobjetos 114 con una serie de valores, para ver qué valor proporciona la imagen más nítida. Alternativamente, se puede utilizar un guion de prueba para escanear un área pequeña (por ejemplo, 1 mm x 1 mm) con una secuencia de valores de desplazamiento, y se puede calcular un contraste promedio para cada valor de desplazamiento en la secuencia. El valor de desplazamiento con el contraste máximo corresponde al valor óptimo para este parámetro. Por diseño, este valor de desplazamiento debería ser cero. Sin embargo, se ha descubierto que puede haber un error sistemático en la posición Z cuando la platina 112 está en movimiento, en comparación con cuando la platina 112 está estacionaria. De forma predeterminada, el valor de este parámetro se puede establecer en 0,0005 milímetros.

Z_Scaling_Factor_Left. El valor de este parámetro es el factor de escala, multiplicado por 0,01, como unidades de micrómetros por píxel. El factor de escala tiene unidades de recuentos del codificador (para la lente del objetivo 120) por píxel para el caso de 100 recuentos por micrómetro. Este parámetro se usa para convertir píxeles a micrómetros a lo largo del sensor de enfoque inclinado 130B, y se aplica a la distancia Z en dirección hacia abajo (es decir, hacia el portaobjetos de vidrio 114). De forma predeterminada, el valor de este parámetro se puede establecer en 0,38832.

Z_Scaling_Factor_Right. El valor de este parámetro es el factor de escala, multiplicado por 0,01, como unidades de micrómetros por píxel. El factor de escala tiene unidades de recuentos del codificador (para la lente del objetivo 120) por píxel para el caso de 100 recuentos por micrómetro. Este parámetro se usa para convertir píxeles a micrómetros a lo largo del sensor de enfoque inclinado 130B, y se aplica a la distancia Z en dirección hacia arriba (es decir, lejos del portaobjetos de vidrio 114). De forma predeterminada, el valor de este parámetro se puede establecer en 0,31943.

Issue_Move_Every_X_Frames_Modulo. El flujo de trabajo de escaneo implica mover la lente del objetivo 120 solo en ciertos cuadros. Los cuadros en donde no se produce ningún movimiento de la lente del objetivo 120 se analizan con el método RTF. De forma predeterminada, el valor de este parámetro se puede establecer en 2, lo que significa que se omitirá uno de cada dos cuadros.

Frame_Lag_Stripe_Abort_Threshold. El valor de este parámetro es el número de cuadros para los cuales se permite que el procesamiento RTF retrase la posición de la lente del objetivo 120. Un valor grande deshabilita efectivamente esta característica. Si el retraso del cuadro excede el valor de este parámetro, se cancelará el escaneo de la franja de imagen y se iniciará un nuevo escaneo de la franja de imagen. De forma predeterminada, el valor de este parámetro se puede establecer en 300.

Debugging. El valor de este parámetro es booleano. De forma predeterminada, el valor de este parámetro se puede establecer en falso. Si el valor de este parámetro se establece en verdadero, se emitirán los datos de la imagen del cuadro real.

Debug_Frame_Number. El valor de este parámetro es el número del cuadro que se emitirá si el parámetro Debugging está establecido en verdadero. De forma predeterminada, el valor de este parámetro se puede establecer en 1.

Debug_Stripe_Number. El valor de este parámetro es el número de la franja de imagen que se emitirá si el parámetro Debugging está establecido en verdadero. Solo se puede emitir un único cuadro para evitar la interferencia en el procesamiento RTF posterior, así como los cambios en los datos del funcionamiento normal, que se producirían al escribir información en la memoria. De forma predeterminada, el valor de este parámetro se puede establecer en 3.

Focus_Quality_Restripe_Threshold. El valor de este parámetro es un número de recuentos del codificador. Si un cierto porcentaje (por ejemplo, 5 %) de los cuadros con tejido, en una franja de imagen, tiene un error de enfoque que excede este valor, se recreará la franja de imagen. El error de enfoque se puede calcular comparando la posición en real de la lente del objetivo 120 con el mapa de enfoque final. Establecer este parámetro en un valor alto deshabilitará efectivamente la recreación de franjas, mientras que establecer este parámetro en un valor bajo hará que se vuelvan a escanear todas las franjas de imagen con tejido. De forma predeterminada, el valor de este parámetro puede establecerse en 90.

Do_Restripe. El valor de este parámetro es booleano. Si el valor de este parámetro es verdadero, entonces se habilita la recreación de franjas. De lo contrario, si el valor de este parámetro es falso, entonces se deshabilita la recreación de franjas, de modo que no se realiza ninguna recreación de franjas (por ejemplo, se omiten los pasos 594 y 596 en el proceso 500). Además, si el valor de este parámetro es falso, también se pueden omitir otras funciones asociadas (por ejemplo, rechazo de valores atípicos en el paso 592 del proceso 500). De forma predeterminada, el valor de este parámetro se puede establecer en verdadero.

Do_Outlier_Rejection. El valor de este parámetro es booleano. Si, según la invención reivindicada, el valor de este parámetro es verdadero, entonces el mapa de enfoque se analiza en busca de valores atípicos (por ejemplo, en el paso 592 del proceso 500). Cualquier valor atípico detectado se descarta y el mapa de enfoque se vuelve a calcular sin los valores atípicos descartados. Esto se hace antes de determinar si se debe o no realizar una recreación de franjas (por ejemplo, en el paso 594 del proceso 500). Si el valor de este parámetro es falso, entonces el mapa de enfoque no se analiza en busca de valores atípicos y no se realiza ningún rechazo de valores atípicos (por ejemplo, se omite el paso 592 en el proceso 500). Según la invención reivindicada, el valor de este parámetro se establece en verdadero.

Outlier_Rejection_Threshold. El valor de este parámetro está en unidades de micrómetros por milímetro. En una realización del paso 592 en el proceso 500, para cada punto en el mapa de enfoque, se calculan las cuatro pendientes a lo largo de la superficie hacia arriba, hacia abajo, hacia la derecha y hacia la izquierda. Si la pendiente mínima es mayor que el valor de este parámetro, el punto se marca como un valor atípico y no se utilizará posteriormente en el mapa de enfoque. La idea es que un punto periférico tendrá grandes pendientes en todas las direcciones alejadas de ese punto. De forma predeterminada, el valor de este parámetro puede establecerse en 2,0.

Focus_On_Probable_Tissue. El valor de este parámetro es booleano. Si el valor de este parámetro es verdadero, el mapa de tejido probable de un algoritmo de búsqueda de tejido se utiliza como máscara para las ubicaciones de enfoque permitidas en el método RTF. El método RTF es muy sensible a la detección de cuadros con tejido, lo que puede dar lugar a que se agreguen valores de enfoque al mapa de enfoque aunque no estén verdaderamente en el tejido. El uso de la máscara de tejido probable evita esto. Si el valor de este parámetro es falso, el mapa de tejido probable no se utiliza como máscara. De forma predeterminada, el valor de este parámetro se puede establecer en verdadero.

Request_Additional_MFPs. El valor de este parámetro es booleano. Si el valor de este parámetro es verdadero, se pueden solicitar puntos de enfoque macro adicionales (por ejemplo, en el paso 584 del proceso 500) después de escanear cada franja de imagen. Estos puntos de enfoque macro adicionales se utilizan para proporcionar valores de enfoque adicionales al mapa de enfoque en los casos en que el método RTF no puede enfocar de manera fiable. Si el valor de este parámetro es falso, no se solicitarán puntos de enfoque macro adicionales después de escanear cada franja de imagen. De forma predeterminada, el valor de este parámetro se puede establecer en verdadero.

Focus_Point_R_Min. El valor de este parámetro está en unidades de milímetros. Si el valor del parámetro Request_Additional_MFPs es verdadero y un cuadro con tejido está más distante de un valor de enfoque válido que el valor de este parámetro Focus_Point_R_Min, entonces se solicita un punto de enfoque macro para el centro del cuadro (por ejemplo, en el paso 584 del proceso 500). Estos puntos de enfoque macro adicionales se enfocarán y agregarán al mapa de enfoque antes de escanear la siguiente franja de imagen. De forma predeterminada, el valor de este parámetro puede establecerse en 2.

Enable_PredictedZ_Offset. El valor de este parámetro es booleano. Si el valor de este parámetro es verdadero, los valores predichos del mapa de enfoque se restan del mejor valor de enfoque calculado mediante el método RTF. La diferencia resultante se suma al valor de enfoque en el mapa de enfoque que se predice para el siguiente cuadro. Esta funcionalidad está destinada a mejorar la precisión del enfoque, eliminando una tendencia en el error de enfoque, y reducir la tasa de recreación de franjas. Si el valor de este parámetro es falso, esta funcionalidad queda deshabilitada. De forma predeterminada, el valor de este parámetro se puede establecer en verdadero.

Image_Quality_Bad_Frames_Threshold. El valor de este parámetro es un porcentaje. Si el porcentaje de cuadros defectuosos excede el valor de este parámetro, entonces la puntuación de calidad de la imagen se establece en "fracaso". De forma predeterminada, el valor de este parámetro puede establecerse en 10 %.

Image_Quality_Tilt_Threshold. El valor de este parámetro está en unidades de micrómetros por milímetro. Si la inclinación promedio del tejido excede el valor de este parámetro, entonces la puntuación de calidad de la imagen se establece en "fracaso". De forma predeterminada, el valor de este parámetro se puede establecer en 5 micrómetros/mm.

La descripción anterior de las realizaciones divulgadas se proporciona para permitir que cualquier experto en la técnica realice o utilice la invención. Diversas modificaciones a estas realizaciones serán fácilmente evidentes para los expertos en la técnica, y los principios generales descritos en el presente documento se pueden aplicar a otras realizaciones sin apartarse del alcance de las reivindicaciones adjuntas. Por lo tanto, debe entenderse que la descripción y los dibujos presentados en el presente documento representan una realización actualmente preferida de la invención y, por lo tanto, son representativos del objeto que se contempla ampliamente en la presente invención. Se entiende además que el alcance de la presente invención abarca completamente otras realizaciones que pueden resultar obvias para los expertos en la técnica y que, en consecuencia, el alcance de la presente invención solo está limitado por las reivindicaciones adjuntas.

Combinaciones, descritas en el presente documento, tales como "al menos uno de A, B o C", "uno o más de A, B o C", "al menos uno de A, B y C", "uno o más de A, B y C" y "A, B, C o cualquier combinación de los mismos" incluyen cualquier combinación de A, B y/o C, y pueden incluir múltiplos de A, múltiplos de B o múltiplos de C. Específicamente, combinaciones tales como "al menos uno de A, B o C", "uno o más de A, B o C", "al menos uno de A, B y C", "uno o más de A, B y C" y "A, B, C o cualquier combinación de los mismos" pueden ser solo A, solo B, solo C, A y B, A y C, B y C, o A y B y C, y cualquier combinación de este tipo puede contener uno o más elementos de sus constituyentes A, B y/o C. Por ejemplo, una combinación de A y B puede comprender un A y múltiples B, múltiples A y un B, o múltiples A y múltiples B.

Claims

REIVINDICACIONES

1. Un método que comprende usar al menos un procesador de hardware de un sistema de escaneo para:

inicializar un mapa de enfoque;

agregar puntos de enfoque al mapa de enfoque mientras se adquiere una pluralidad de franjas de imagen de al menos una porción de una muestra en un portaobjetos de vidrio, mediante, para cada una de la pluralidad de franjas de imagen,

adquisición de cada uno de una pluralidad de cuadros, que representan colectivamente la franja de imagen, usando tanto una cámara de escaneo de líneas de formación de imágenes (130A) como una cámara de escaneo de líneas de enfoque inclinado (130B), y

adición de puntos de enfoque, que representan posiciones de mejor enfoque para los cuadros de confianza de la pluralidad de cuadros, al mapa de enfoque;

determinar si se deben o no recrear una o más de la pluralidad de franjas de imagen basándose en un error de enfoque para cada uno de la pluralidad de cuadros en la pluralidad de franjas de imagen;

cuando se determina recrear una o más franjas de imagen, volver a adquirir las una o más franjas de imagen; y

ensamblar la pluralidad de franjas de imagen en una imagen compuesta de la al menos una porción de la muestra

caracterizado porque:

cualquier punto de enfoque periférico se elimina del mapa de enfoque; y

la pluralidad de franjas de imagen se adquiere mediante, en orden:

adquisición de una franja de referencia;

adquisición de franjas de imagen, en secuencia, desde un primer lado de la franja de referencia hasta un primer borde de un área de escaneo de la muestra; y

adquisición de franjas de imagen, en secuencia, desde un segundo lado de la franja de referencia, que está opuesto al primer lado de la franja de referencia, hasta un segundo borde del área de escaneo, que está opuesto al primer borde del área de escaneo.

2. El método de la reivindicación 1, que comprende además, antes de iniciar la adquisición de la pluralidad de franjas de imagen, agregar una pluralidad de puntos de enfoque macro al mapa de enfoque.

3. El método de la reivindicación 1, que comprende además, después de la adquisición de una o más de la pluralidad de franjas de imagen, agregar uno o más puntos de enfoque macro al mapa de enfoque.

4. El método de la reivindicación 1, en donde agregar puntos de enfoque al mapa de enfoque mientras se adquiere la pluralidad de franjas de imagen comprende además, para cada uno de la pluralidad de cuadros en cada una de la pluralidad de franjas de imagen, determinar si el cuadro es o no de confianza.

5. El método de la reivindicación 4, en donde determinar si el cuadro es o no de confianza comprende:

calcular un vector de gradiente principal que comprende un vector de gradiente promedio para cada columna en el cuadro adquirido por la cámara de escaneo de líneas de formación de imágenes;

calcular un vector de gradiente de inclinación que comprende un vector de gradiente promedio para cada columna en el cuadro adquirido por la cámara de escaneo de líneas de enfoque inclinado; determinar un número de columnas analizables en el vector de gradiente principal;

calcular un vector de razón basado en el vector de gradiente principal y el vector de gradiente de inclinación; determinar si el cuadro es o no analizable basándose en el número de columnas analizables y el vector de razón;

al determinar que la trama no es analizable, determinar que el cuadro no es de confianza; y,

al determinar que el cuadro es analizable,

ajustar al menos una función gaussiana a una curva de razón, representada por el vector de razón, identificar un pico de la función gaussiana como una mejor posición de enfoque,

identificar una amplitud del vector de razón en la mejor posición de enfoque como un máximo de ajuste, determinar si el cuadro es o no fiable basándose en la mejor posición de enfoque y el máximo de ajuste, al determinar que el cuadro no es fiable, determinar que el cuadro no es de confianza y,

al determinar que el cuadro es fiable, agregar la mejor posición de enfoque al mapa de enfoque.

6. El método de la reivindicación 5, en donde determinar el número de columnas analizables comprende determinar un número de columnas en el vector de gradiente principal que exceden un umbral.

7. El método de la reivindicación 5, en donde calcular el vector de razón comprende dividir el vector de gradiente de inclinación por el vector de gradiente principal.

8. El método de la reivindicación 5, en donde determinar si el cuadro es o no analizable comprende:

determinar si el número de columnas analizables excede o no un porcentaje umbral predefinido; determinar si un valor del vector de razón en una ubicación parafocal está o no dentro de un rango predefinido, en donde la ubicación parafocal es un punto en la cámara de escaneo de líneas de enfoque inclinado que es parafocal con la cámara de escaneo de líneas de formación de imágenes;

al determinar que el número de columnas analizables no excede el umbral predefinido o el valor del vector de razón en la ubicación parafocal no está dentro del rango predefinido, determinar que el cuadro no es analizable, y,

al determinar que el número de columnas analizables excede el porcentaje umbral predefinido y el valor del vector de razón en la ubicación parafocal está dentro del rango predefinido, determinar que el cuadro es analizable.

9. El método de la reivindicación 5, en donde ajustar al menos una función gaussiana a la curva de razón comprende:

muestrear una pluralidad de posibles funciones gaussianas dentro de un rango de valores medios y un rango de valores sigma; y

seleccionar una de la pluralidad de posibles funciones gaussianas, para usarla para identificar la mejor posición de enfoque, con la diferencia más pequeña con respecto a la curva de razón.

10. El método de la reivindicación 1, en donde eliminar cualquier punto de enfoque periférico del mapa de enfoque comprende, para uno o más puntos de muestra en el mapa de enfoque:

en cada una de las cuatro direcciones, calcular una pendiente alejada del punto de muestra dentro del mapa de enfoque;

si un mínimo de las pendientes calculadas excede un umbral predefinido, eliminar el punto de muestra del mapa de enfoque.

11. El método de la reivindicación 1, en donde determinar si recrear o no una o más de la pluralidad de franjas de imagen comprende, después de eliminar cualquier punto de enfoque periférico del mapa de enfoque:

para cada uno de la pluralidad de cuadros en cada una de la pluralidad de franjas de imagen, calcular el error de enfoque para el cuadro restando una posición real de una lente del objetivo durante la adquisición del cuadro de una mejor posición de enfoque para ese cuadro dentro del mapa de enfoque;

para cada una de la pluralidad de franjas de imagen, determinar recrear la franja de imagen cuando un número de cuadros, que tienen un error de enfoque que excede un umbral predefinido, excede un porcentaje umbral predefinido.

12. Un sistema de escaneo que comprende:

una cámara de escaneo de líneas de formación de imágenes (130A);

una cámara de escaneo de líneas de enfoque inclinado (130B);

al menos un procesador de hardware (104); y

uno o más módulos de software configurados para, cuando son ejecutados por el al menos un procesador de hardware (104):

inicializar un mapa de enfoque,

adquisición de cada uno de una pluralidad de cuadros, que representan colectivamente la franja de imagen, usando tanto la cámara de escaneo de líneas de formación de imágenes como la cámara de escaneo de líneas de enfoque inclinado, y

adición de puntos de enfoque, que representan posiciones de mejor enfoque para los cuadros de confianza de la pluralidad de cuadros, al mapa de enfoque,

determinar si recrear o no una o más de la pluralidad de franjas de imagen basándose en un error de enfoque para cada uno de la pluralidad de cuadros en la pluralidad de franjas de imagen, cuando se determina recrear una o más franjas de imagen, volver a adquirir las una o más franjas de imagen, y

ensamblar la pluralidad de franjas de imagen en una imagen compuesta de la al menos una porción de la muestra;

caracterizado porque:

cualquier punto de enfoque periférico se elimina del mapa de enfoque; y

la pluralidad de franjas de imagen se adquiere mediante, en orden:

adquisición de una franja de referencia;

13. Un soporte de almacenamiento no transitorio legible por computadora que tiene instrucciones almacenadas, en donde las instrucciones, cuando son ejecutadas por al menos un procesador de hardware (104) de un sistema de escaneo según la reivindicación 12, hacen que dicho al menos un procesador de hardware (104):

inicialice un mapa de enfoque;

agregue puntos de enfoque al mapa de enfoque mientras se adquiere una pluralidad de franjas de imagen de al menos una porción de una muestra en un portaobjetos de vidrio, mediante, para cada una de la pluralidad de franjas de imagen,

adquisición de cada uno de una pluralidad de cuadros, que representan colectivamente la franja de imagen, usando tanto una cámara de escaneo de líneas de formación de imágenes como una cámara de escaneo de líneas de enfoque inclinado, y

determine si se deben o no recrear una o más de la pluralidad de franjas de imagen basándose en un error de enfoque para cada uno de la pluralidad de cuadros en la pluralidad de franjas de imagen;

cuando se determina recrear una o más franjas de imagen, volver a adquirir una o más franjas de imagen; y ensamblar la pluralidad de franjas de imagen en una imagen compuesta de la al menos una porción de la muestra;

caracterizado porque:

cualquier punto de enfoque periférico se elimina del mapa de enfoque; y

la pluralidad de franjas de imagen se adquiere mediante, en orden:

adquisición de una franja de referencia;