ES2812611T3

ES2812611T3 - Identificación rápida de características para el seguimiento holográfico y la caracterización de partículas coloidales

Info

Publication number: ES2812611T3
Application number: ES15792186T
Authority: ES
Inventors: Aaron Yevick; Mark Hannel; David G Grier; Bhaskar Jyoti Krishnatrya
Original assignee: New York University NYU
Current assignee: New York University NYU
Priority date: 2014-02-12
Filing date: 2015-02-12
Publication date: 2021-03-17
Anticipated expiration: 2035-02-12
Also published as: US20170059468A1; US10983041B2; KR102425768B1; WO2015175046A3; KR20160131023A; WO2015175046A2; EP3105638A2; EP3105638A4; EP3105638B1

Abstract

Método de identificación de características de un objeto esférico, que comprende las etapas de, introducir un haz de láser colimado; dispersar el haz de láser colimado desde el objeto para generar un haz dispersado; registrar una característica de holograma de la interferencia entre el haz de dispersión y el haz de entrada; determinar a partir del holograma registrado una estimación de una posición bidimensional del objeto esférico; y determinar, usando un perfil radial del holograma centrado en la posición bidimensional del objeto esférico b(r) como una entrada a un algoritmo de aprendizaje automático entrenado, una estimación de una posición axial del objeto esférico y un tamaño del objeto y un índice de refracción del objeto esférico; en el que: el entrenamiento del algoritmo de aprendizaje automático usa datos simulados calculados por **(Ver fórmula)** con respecto a un intervalo de valores posibles para zp, ap y np, donde zp es la posición axial de la partícula y donde ap es el radio de la partícula y donde np es el índice de refracción de la partícula y donde**(Ver fórmula)** es la función de dispersión de Lorentz-Mie para una esfera en la posición rp con un radio ap y un índice de refracción np.

Description

DESCRIPCIÓN

Identificación rápida de características para el seguimiento holográfico y la caracterización de partículas coloidales

Campo de la invención

La invención se refiere a un método y sistema de identificación de características mediante seguimiento holográfico. Más particularmente, la invención se refiere a un método y sistema para acelerar el tiempo de identificación de características mediante seguimiento holográfico.

Antecedentes de la invención

La microscopía holográfica registra información sobre la distribución espacial de objetos iluminados a través de su influencia en la distribución de fase e intensidad de la luz que dispersan. Esta información puede obtenerse a partir de un holograma, al menos de manera aproximada, reconstruyendo el campo de luz tridimensional responsable de la distribución de intensidad registrada. Alternativamente, las características de interés en un holograma pueden interpretarse con predicciones de la teoría de dispersión de luz para obtener mediciones extremadamente precisas sobre la posición tridimensional, el tamaño y el índice de refracción de un objeto de dispersión. La disponibilidad de tanta información de alta calidad sobre las propiedades y movimientos de las partículas coloidales individuales ha demostrado ser útil para aplicaciones tan variadas como la evaluación de la calidad del producto, la microrreología, la porosimetría, la microrefractometría y la velocimetría de flujo, así como para ensayos de unión molecular, y como herramienta para la investigación fundamental en física estadística y ciencias de materiales.

Sin embargo, el ajuste de hologramas medidos a predicciones teóricas requiere una estimación inicial para cada posición del dispersor. Esto puede plantear desafíos para los algoritmos de análisis de imágenes convencionales, dado que el holograma de un objeto pequeño consiste en alternar franjas brillantes y oscuras que cubren un área sustancial en el campo de visión.

Sumario de la invención

Con el fin de superar las desventajas de la técnica anterior para establecer rápidamente y de manera precisa las posiciones del dispersor, tales como un centro de simetría rotacional, el método y sistema de la invención aprovechan el concepto de que los gradientes de intensidad en una imagen apuntan o bien hacia o bien en sentido contrario del centro de un dispersor. Los datos de píxeles de una imagen de gradiente proporcionan información sobre dónde se encuentra el centro de una característica del dispersor en el plano de imagen bidimensional. Un algoritmo de votación convencional seleccionado particular hace uso de esa información de gradiente al permitir que cada píxel en la ubicación r emita votos para píxeles a lo largo de su dirección preferida, $r), contabilizándose los votos de píxel en una matriz de acumuladores, acumulando los píxeles en la imagen transformada la mayoría de los votos que son candidatos para posiciones de centro de dispersor. Estas posiciones pueden ubicarse entonces con precisión de subpíxel usando métodos convencionales de identificación de características o, alternativamente, cada intersección entre votos de píxeles puede completarse directamente como un conjunto de ecuaciones simultáneas. Para evitar las ineficacias de los algoritmos de votación discretos, el método y sistema de la invención se basan, por tanto, en una transformada continua de un campo local de dispersor que elimina la necesidad de selección de umbrales y reduce adicionalmente la carga computacional de la localización de las características de imagen circular.

En otra implementación, pueden usarse técnicas de aprendizaje automático para analizar hologramas de objetos, tales como esferas coloidales, que producen estimaciones para las posiciones de las esferas a lo largo de la dirección axial, o fuera de plano, y también para las características de las esferas individuales. Los hologramas de dispersiones coloidales codifican información completa sobre las posiciones tridimensionales, tamaños y propiedades ópticas de las partículas individuales. Normalmente, la extracción de esa información es computacionalmente intensiva, y por tanto lenta. Las técnicas de aprendizaje automático, tales como las redes neuronales y las máquinas de vectores de soporte (SVM), pueden analizar datos de microscopía de vídeo holográfico en tiempo real en ordenadores de baja potencia. El flujo resultante de datos de seguimiento y caracterización con resolución de partículas precisos proporciona información sin precedentes sobre la composición y dinámica de las dispersiones coloidales y permite aplicaciones que van desde la investigación básica hasta el control de procesos y la garantía de calidad.

Estos y otros objetos, ventajas y características de la invención, junto con la organización y forma de funcionamiento de la misma, resultarán evidentes cuando se toman junto con los dibujos adjuntos.

Breve descripción de los dibujos

La figura 1A ilustra un holograma normalizado b(r) de una esfera de poliestireno de radio de 0,8 micrómetros en agua; la figura 1B ilustra la magnitud |Vb(r)| del gradiente de la imagen de la figura 1A; la figura 1C ilustra la orientación, 2$r), de los gradientes con el recuadro mostrando el ángulo de fase del núcleo de convolución de alineación de orientación; la figura 1D ilustra una transformada de alineación de orientación de la imagen de la figura 1A siendo el recuadro una representación esquemática de cómo contribuyen tres píxeles a la parte real de la transformada; la figura 2 ilustra la identificación de características en un holograma de múltiples partículas que muestra un holograma normalizado de 12 esferas coloidales, teniendo cada una 3 micrómetros de diámetro procesados por las transformadas de alineación de orientación para fusionar patrones de anillos concéntricos para dar picos con centros de pico indicados mediante una representación gráfica circular sobre la imagen original (la escala gráfica indica 10 micrómetros); y

la figura 3A ilustra una trayectoria de una esfera coloidal obtenida analizando un vídeo holográfico con la transformada de alineación de orientación (obsérvese la trayectoria “codificada por colores” de la esfera coloidal durante un tiempo de 9,1 m; la figura 3B ilustra el desplazamiento cuadrático medio a lo largo de x e y calculado a partir de la trayectoria en la figura 3A junto con ajustes lineales a la ecuación 8 a continuación en el presente documento y representado gráficamente como curvas discontinuas.

La figura 4 es una representación esquemática del análisis de aprendizaje automático de hologramas coloidales. Se promedia un holograma (recuadro) con respecto a ángulos para obtener un perfil de intensidad radial b(r). Esto se alimenta en la entrada de un sistema de aprendizaje automático entrenado, tal como un sistema de regresión de vectores de soporte, que a continuación produce estimaciones para el radio de partícula ap, su índice de refracción np y su distancia axial desde el plano focal Zp.

La figura 5 muestra un radio de partícula estimado ap, índice de refracción, np trayectoria Zp(t) de una esfera de poliestireno con un diámetro nominal de 1,59 |im difuminada y sedimentada en agua. Las líneas superpuestas muestran el radio medio, el índice de refracción medio y la tendencia lineal en la posición axial calculada a partir de los datos.

La figura 6 ilustra el desplazamiento cuadrático medio Azp(t) en función del tiempo de retardo ^t, junto con un ajuste a la ecuación (15).

La figura 7 ilustra un método y sistema implementado por ordenador de una realización.

Figura 8. Caracterización coloidal por microscopía holográfica y aprendizaje automático. Las esferas coloidales que fluyen hacia abajo por una muestra microfluídica dispersan la luz de un haz de láser colimado para formar un holograma en línea. Se identifican las características del haz, y sus perfiles radiales se presentaron a máquinas de vectores de soporte (SVM) que los comparan con una biblioteca de datos de entrenamiento para estimar cada radio de esfera ap y el índice de refracción np. El diagrama de dispersión muestra los resultados de 2.500 esferas extraídas al azar a partir de una mezcla de cuatro tipos diferentes de esferas. Cada punto está coloreado por la densidad local de los puntos de datos, p(ap, n^p).

Descripción detallada de realizaciones preferidas

Las técnicas de aprendizaje automático pueden usarse para analizar hologramas de objetos, tales como esferas coloidales, que producen estimaciones de las posiciones y características de las esferas. Estas estimaciones pueden proporcionar información sobre los objetos que es lo suficientemente precisa para aplicaciones del mundo real, y que funciona con la suficiente rapidez para funcionamiento en tiempo real.

Una implementación se refiere al uso de la figura 1A que muestra un holograma típico de una esfera de poliestireno coloidal en agua. Este holograma se registró con un microscopio de vídeo holográfico en línea que usa un láser polarizado linealmente colimado para la iluminación (Coherent Cube, longitud de onda en vacío X = 447 nm). La luz dispersada por la esfera interfiere con el resto del haz en el plano focal de un objetivo de microscopio (Nikon Plan Apo, inmersión en aceite 100x, apertura numérica 1,4). El objetivo, en combinación con una lente tubular, transmite el patrón de interferencia a una cámara de vídeo tal como, (n Ec TI- 324A II) con un aumento efectivo de 135 nm/píxel. La distribución de intensidad registrada por la cámara de vídeo se normaliza mediante imagen de fondo para suprimir franjas de interferencia espurias debido a imperfecciones en la iluminación y en el tren óptico. La figura 1A muestra una región de 480 x 480 píxeles de la intensidad normalizada, b(r).

El holograma de la esfera presenta franjas circulares brillantes y oscuras concéntricas centradas en su totalidad en un punto en el plano focal que coincide con el centro de la esfera. Este centro podría identificarse mediante la realización de una transformada de Hough circular, que adicionalmente identificaría los radios de todos los anillos. Las transformadas de Hough, sin embargo, tienen una complejidad computacional de O{N⁴} en el número N de píxeles en el lado de cada imagen N x N, y por tanto son prohibitivamente costosas. Las variantes de las transformadas de Hough que identifican centros pero no radios pueden lograr una complejidad computacional de O{N3logN}.

Búsquedas más eficientes de centros de simetría rotacional aprovechan la observación de que los gradientes en la intensidad de imágenes tales como la figura 1A o bien apunten hacia o bien en sentido contrario de los centros. La figura 1B muestra la magnitud, |Vb(r)|², del gradiente de la imagen. Cada píxel en la imagen de gradiente, Vb(r), está asociado con una dirección,

relativa al eje x de la imagen. La figura 1C muestra K(r) para la imagen en la figura 1A. Por lo tanto, cada píxel ofrece información de que el centro de una característica podría encontrarse en algún lugar a lo largo de la dirección K r) en relación con su posición r. Los algoritmos de votación hacen uso de esta información al permitir que cada píxel emita votos para píxeles a lo largo de su dirección preferida, contabilizándose los votos de todos los píxeles en una matriz de acumuladores. Las transformadas de Hough funcionan basándose en un principio similar, pero también incorporan información sobre distancia. Los píxeles en la imagen transformada que acumulan la mayoría de votos son entonces candidatos para posiciones centrales, y pueden ubicarse con precisión de subpíxel usando métodos convencionales de seguimiento de partículas. Alternativamente, cada intersección entre los votos de los píxeles puede calcularse directamente como la solución de un conjunto de ecuaciones simultáneas. Los algoritmos de votación normalmente identifican los centros de características tales como el ejemplo en la figura 1A a 1/10 de píxel. Las implementaciones eficientes tienen una complejidad computacional de O{N3}. El logro de esta eficacia depende, sin embargo, de distinguir juiciosamente los píxeles que pueden contribuir a los círculos de los píxeles en el fondo. Una alternativa a los algoritmos de votación discretos basados en una transformada continua del campo de orientación local elimina la necesidad de selección de umbrales y, además, reduce la carga computacional de la localización de características circulares en una imagen. La orientación espacialmente variable de los gradientes en b(r) puede describirse con el parámetro de orden de orientación doble

<K r) = |F¿(r)|2e2^W . (2)

El factor de 2 en el exponente explica la naturaleza bidireccional de la información de orientación obtenida a partir de gradientes, tal como puede observarse en la figura 1C. La ponderación del parámetro de orden mediante |Vb(r)|2 garantiza que los píxeles en regiones con gradientes más fuertes contribuyen más a la estimación de la orientación local. Para identificar coincidencias ordenadas de simetría en el campo de orientación, K(r) está convolucionado con el núcleo de transformación simétrica doble,

K ( r ) = ± e ~ 2W, (3)

para obtener la transformada de alineación de orientación

La fase de K(r) complementa la fase de ^r), tal como puede observarse en el recuadro de la figura 1C. La integración de la ecuación (4) por lo tanto, es de valor real y no negativo a lo largo de la línea r' - r que se orienta a lo largo de 9 = K(r'), y es de valor complejo a lo largo de otras direcciones. Las contribuciones de valor real dirigidas a lo largo de los gradientes de b(r) se acumulan en puntos r en Y (r) que son centros de simetría del campo de gradiente, tal como se ilustra de manera esquemática en el recuadro de la figura 1D. Por el contrario, las contribuciones de valor complejo tienden a anularse. Los centros de simetría en b(r) por lo tanto se transforman en centros de brillo en S(r) =|Y(r)|2, tal como puede observarse en la figura 1D. Entonces, puede identificarse y ubicarse el centroide del pico. Las características circulares en un radio más grande desde un centro de simetría delimitan más píxeles en b(r) y por tanto tienden a tener más influencia sobre la posición del centro de brillo en S(r). El factor de 1/r en la ecuación (3) garantiza que todas las franjas de interferencia que comprenden el holograma de una esfera contribuyen con igual peso a estimar el centroide. La separación resultante de las escalas explica el éxito de la identificación y localización de doce esferas coloidales en el holograma reproducido en la figura 2. A pesar de la interferencia entre los patrones de dispersión de las esferas y los artefactos de movimiento no corregidos en el holograma, cada contribución de la esfera al holograma se resuelve en un solo pico mediante la transformada de alineación de orientación. La transformada de alineación de orientación en las ecuaciones (3) y (4) es una forma de la transformada de Fourier-Mellin, que se usa para detectar características geométricamente invariantes en las imágenes. Puede calcularse eficientemente usando el teorema de convolución de Fourier,

'F(k)=^(k)¥ (k) (5)

donde Y (r-) es la transformada de Fourier de Y (r), y donde

£(k)y(k) = K(k)ip(k) = - /c e ~ 2W (6)

es la transformada de Fourier de K(r). Por lo tanto, la transformada de alineación de orientación puede calcularse mediante la realización de una transformada rápida de Fourier (FFT) en Y (r), multiplicando por un núcleo calculado previamente, K(k), y a continuación realizando una FFT inversa. El cálculo de la imagen de gradiente por convolución con un filtro de Savitzky-Golay reduce la sensibilidad al ruido en b(r) y puede realizarse en operaciones de O{N2}. La complejidad computacional general de la transformada se establece por el coste de O{N2 log N} de la FFT directa e inversa, y por lo tanto es más eficaz que los algoritmos de votación. Además, en lugar de requerir un análisis secuencial de píxeles por encima del umbral, la transformada de alineación de orientación conduce por sí misma a la implementación en procesadores paralelos. Una implementación en el lenguaje de programación IDL logra el funcionamiento en tiempo real (30 fotogramas/s) para identificar y localizar múltiples partículas en imágenes tales como la figura 2.

Aplicando el mismo análisis a cada instantánea en una secuencia de vídeo holográfica produce una trayectoria de resolución en el tiempo para cada esfera en el campo de visión. La figura 3A muestra la trayectoria en el plano de la esfera de las figuras 1A-1D obtenida de esta forma a partir de 16.500 fotogramas de vídeo consecutivos. Además, cada fotograma produce dos mediciones de la posición de la partícula porque las líneas de exploración par e impar se registran por separado. Dada la velocidad de grabación de 29,97 fotogramas/s, el intervalo de tiempo entre los campos de vídeo entrelazados es At = 16,68 ms. El tiempo de exposición de la cámara, 0,1 ms, es lo suficientemente rápido como para que la esfera no se haya difundido de manera apreciable durante la adquisición de imágenes. Las 33.000 mediciones de posición representadas gráficamente en la figura 3A registran el movimiento browniano de la partícula durante más de 9 min.

Suponiendo que la esfera se difunde libremente sin un acoplamiento hidrodinámico significativo con superficies circundantes, el desplazamiento cuadrático medio,

Arf(r) = ^{<[r; ( í}+ ^{t )}- rj(t)]2) (7)

debería satisfacer la ecuación de Einstein-Smoluchowski

Arf(j) = 2DjT 2 ef (8)

donde r(t) es la posición de la esfera a lo largo de una de las coordenadas cartesianas con ro(t) = x(t) y ri(t) = y(t), donde Dj, es el coeficiente de difusión a lo largo de esa dirección, y donde e¡ es el error en la medición de posición asociada. El análisis de trayectorias medidas con la ecuación (8) proporciona, por lo tanto, un método para medir la precisión con la que puede medirse la posición de una partícula.

Los datos de la figura 3B muestran los desplazamientos cuadráticos medios a lo largo de la dirección x e y calculados a partir de las trayectorias de la figura 3A usando la ecuación (7). Las barras de error en la figura 3B reflejan incertidumbres estadísticas en los valores calculados. Aunque los resultados a lo largo de las dos direcciones parecen coincidir entre sí dentro de estas incertidumbres, los ajustes de mínimos cuadrados con respecto a la predicción de Einstein-Smoluchowski en la ecuación (8) producen valores ligeramente diferentes para el coeficiente de difusión de la partícula: Dx = 0,292 ± 0,002 pm2/s y Dy = 0,281 ± 0,002 pm2/s. Esta discrepancia puede atribuirse al desenfoque a lo largo de la dirección y que surge cuando las líneas de exploración par e impar se extraen de cada fotograma de vídeo entrelazados. La pérdida resultante de resolución espacial a lo largo de y tiende a suprimir la aparente difusividad a lo largo de esa dirección. Este artefacto puede evitarse usando una cámara de exploración progresiva. El mayor de ^fr f

D = —ü— = 0,296 ± 0,002 los coeficientes de difusión medidos es consistente con la predicción de Stokes-Einstein e,m¡ap

pm2/s para una esfera de radio ap = 0,805 ± 0,001 pm que se difunde a través de agua con una viscosidad de p = 0,912 ± 0,005 mPa s a temperatura absoluta T = 297,1 ± 0,2 K.

Los ajustes a la ecuación (8) también producen estimaciones de errores en la posición de la partícula de Ex = 8 nm y £y =9 nm, o aproximadamente 0,06 píxeles en cada dirección. Este rendimiento es comparable a la precisión obtenida con algoritmos de votación. Debido a su ventaja de velocidad, la transformada de alineación de orientación junto con los algoritmos de localización de centroides deberían ser útiles inmediatamente para aplicaciones de seguimiento de partículas en el plano. En aplicaciones que requieren una mayor precisión, seguimiento tridimensional o seguimiento y caracterización simultáneos, la transformada de alineación de orientación puede proporcionar un punto de partida rápido y fiable para un análisis más detallado. La transformada de alineación de orientación funciona bien para identificar características compuestas por grandes cantidades de franjas concéntricas estrechamente separadas. No funciona tan bien con características en forma de disco sencillas cuyas pocas coincidencias de alineación se producen a intervalos comparativamente grandes. Tales imágenes se analizan mejor con transformadas de Hough, algoritmos de votación o métodos morfológicos relacionados. La transformada de alineación de orientación, por el contrario, se adapta mejor a las imágenes holográficas cuya rica estructura de gradientes crea una carga computacional particular para los métodos convencionales.

Los hologramas de las esferas coloidales obtenidos con microscopio de vídeo holográfico pueden interpretarse con predicciones de la teoría de Lorenz-Mie de dispersión de luz para seguir cada partícula en tres dimensiones, y para medir su tamaño e índice de refracción. Las implementaciones de la técnica anterior pueden localizar una esfera y resolver su radio dentro de unos pocos nanómetros, y pueden determinar su índice de refracción dentro de una parte por mil. El coste de esta potente técnica es la carga computacional del ajuste de cada holograma píxel por píxel a las predicciones teóricas. En el presente documento, se demuestran técnicas de aprendizaje automático que pueden reducir el tiempo de procesamiento en un factor de mil, produciendo un funcionamiento en tiempo real.

Una implementación para la caracterización holográfica rápida, representada de manera esquemática en la figura 8, emplea el algoritmo de máquina de vectores de soporte (SVM) para comparar mediciones experimentales con predicciones calculadas previamente de la teoría de Lorenz-Mie. Aunque el ajuste no lineal requiere normalmente más de un segundo en un ordenador de 1 Gflop, una SVM entrenada puede estimar el tamaño, el índice de refracción o la posición axial de una esfera a escala micrométrica en menos de un milisegundo.

El microscopio holográfico en línea usado para estos estudios ilumina la muestra con un haz de láser colimado polarizado linealmente (Coherent Cube, 20 mW) a una longitud de onda de vacío de X = 447 nm. La fluencia del haz de 3 mm de diámetro es comparable a la de un iluminador de microscopio convencional. Por lo tanto, las fuerzas ópticas y el calentamiento inducido por luz son insignificantes. La luz dispersada por una esfera se propaga al plano focal de un microscopio de vídeo personalizado donde interfiere con la parte no difractada del haz original. El microscopio aumenta este patrón de interferencia en el detector de una cámara de vídeo en escala de grises, que registra su intensidad con un aumento de sistema de 135 nm/píxel. Cada instantánea en el flujo de vídeo constituye un holograma de las partículas en el canal.

El campo eléctrico del haz incidente en la posición r en el plano focal puede modelarse como una onda plana con dependencia espacial E°(r) = u0(r)e'^r) e'kzx, donde /c= 2ji/WX es el número de onda en un medio de índice de refracción nm, y donde U⁰(r) y #)(r) representan pequeñas variaciones en la amplitud del haz y perfiles de fase, respectivamente.

Una partícula ubicada en rP con respecto al centro del plano focal dispersa la iluminación incidente, E⁰(rp), al plano focal como Es(r) = Eo{rP)U{k{r-rP)\aP, A d o n d e H^\aP, np)es la función de dispersión de Lorenz-Mie que describe cómo una esfera de radio aP e índice de refracción nP dispersa una onda plana de polarizada en x. Entonces, la intensidad medida puede modelarse como ^ Es^ 2. La normalización del holograma registrado mediante

suprime la estructura espuria en la iluminación y produce una forma funcional para el holograma normalizado

que puede calcularse con paquetes de software habituales.

La posición de una esfera (xp, yp) en el plano de un holograma puede identificarse fusionando en primer lugar características en forma de anillo en centros de brillo con algoritmos de seguimiento de partículas habituales. Normalmente, este procedimiento produce xp y yp a una décima de píxel, o mejor que 20 nm en cada coordenada.

La interpretación completa del holograma con la ecuación (9) requiere adicionalmente estimaciones para ap, np y la posición axial, Zp. Teniendo en cuenta los valores de partida razonables, un ajuste típico al holograma normalizado de una esfera de sílice de 1,5 pm de diámetro en agua produce xp e yp en 1 nm, Zp en 3 nm, ap en 1 nm, y np en una parte por mil. Desafortunadamente, métodos generales y fiables para estimar los parámetros desconocidos no han estado disponibles. Los enfoques descritos anteriormente basados en comparaciones ad hoc con dispersión Rayleigh o difracción circular no producen estimaciones independientes para el índice de refracción, y a menudo no logran producir Zp y ap con la precisión necesaria para un ajuste no lineal completo para converger. En tales casos, una búsqueda exhaustiva del espacio de parámetros iniciales todavía puede producir buenos resultados, pero a expensas de un tiempo y esfuerzo computacional sustancial. Cada ajuste de una serie de este tipo puede requerir hasta un centenar de evaluaciones de la ecuación (9).

En una realización, en lugar de recurrir a búsquedas computacionalmente costosas o esquemas de aproximación basados en modelos, la estimación de parámetros se trata como un problema de regresión que se resuelve con técnicas de aprendizaje automático. Aunque se describen realizaciones de vectores de soporte en el presente documento como una realización a modo de ejemplo, debe apreciarse que pueden usarse otros esquemas de aprendizaje automático de regresión, tales como el aprendizaje de árbol de decisiones, máquinas de vectores de relevancia, redes neuronales artificiales, programación lógica inductiva y esquemas de aprendizaje basados en el teorema de Bayes. En una realización particular, se usa un enfoque de red neuronal para proporcionar un modelo estadístico no lineal.

Un ejemplo de una realización de vector de soporte se muestra como un proceso indicado de manera esquemática en la figura 4. El perfil radial b(r) del holograma normalizado de una partícula se calcula promediando b(r) con respecto a ángulos alrededor de (xp, yp). Esta traza, compuesta por 100 valores de punto flotante digitalizados a intervalos de 1 píxel, se presenta a cada una de tres máquinas de vectores de soporte que se han entrenado para estimar ap y np, respectivamente. Puede implementarse un enfoque similar con una red neuronal que usa una serie de nodos interconectados.

Las implementaciones anteriores de la microscopía de Lorenz-Mie ajustan la ecuación (9) a hologramas medidos usando ap, np y rp como parámetros ajustables. Estos ajustes son especialmente sensibles a errores en la posición en el plano de la partícula, por lo que deben realizarse con respecto a toda la distribución de intensidad bidimensional.

En su lugar, la ecuación (9) se usa en una implementación para entrenar máquinas de vectores de soporte, que luego son capaces de estimar ap, np y zp a partir del perfil radial unidimensional de un holograma. Estos perfiles se obtienen a partir de hologramas medidos al promediar alrededor de centros de simetría rotacional con resolución de un solo píxel, produciendo vectores de datos de 100 puntos. La reducción asociada en dimensionalidad explica en parte la eficacia computacional de la implementación.

Las SVM descritas se implementan con scikit-learn, un paquete de software de aprendizaje automático de código abierto que se basa en la biblioteca libsvm de algoritmos de máquina de vectores de soporte. Cada SVM calcula un parámetro de salida a partir de un vector de entrada que consiste en un perfil radial, b(r), que se ha digitalizado en 100 agrupaciones de un solo píxel. La caracterización y seguimiento de una partícula coloidal, requiere, por lo tanto, tres SVM, una para cada uno de ap, np y zp. La figura 8 representa de manera esquemática este proceso para estimar ap y np.

Una SVM calcula su salida comparando b(r) con conjuntos de datos de entrenamiento, bn(r), que se obtienen a partir de la ecuación (9) con respecto a un intervalo de valores de ap, np y zp. Cada conjunto de entrenamiento constituye un vector de soporte en el espacio explorado por estos parámetros. Para facilitar estas comparaciones, se construyen

SVM con funciones de base radial = exp{-yj\bn{r)-b(r)\2dr) que cuantifican la similitud de la entrada experimental con el enésimo vector de soporte. La sensibilidad de esta comparación se establece por y, con valores más grandes que favorecen resultados más precisos a costa de requerir más vectores de soporte para abarcar el espacio de parámetros. Teniendo en cuenta un valor de y, el proceso de entrenamiento determina un conjunto de ponderaciones con y un desvío so de manera que la suma ponderada, sfit(ó) ⁼ £ n conkn (ib) sO, constituye una estimación para el parámetro, s. En general, los errores en sfit(b) dependen de manera uniforme de y. El valor óptimo para la presente aplicación se encuentra en el intervalo de 0,1 < y< 10.

Además de la elección de los parámetros usados para construir los vectores de soporte, el entrenamiento de las SVM se rige por dos constantes que se seleccionan antes de que comience el entrenamiento. El primero, normalmente denominado C, es un término de regularización que determina la importancia relativa de la precisión en la estimación de parámetros frente a la varianza en los resultados predichos. Para C >> 1, se hace énfasis particular en la correcta predicción de los parámetros subyacentes a cada conjunto de entrenamiento a costa de asignar ponderaciones grandes a cada vector de soporte. El entrenamiento con grandes valores de C promete resultados precisos, pero conlleva el riesgo de que la SVM pueda funcionar de forma errática cuando se le presentan datos novedosos. El segundo parámetro, y, establece la escala a la que se tolerarán las discrepancias entre datos y vectores de soporte por las funciones de base radial. Al enésimo vector de soporte caracterizado por el perfil de entrenamiento bn(r) se le asigna una ponderación

cuando se presenta con el perfil experimental b(r). El entrenamiento con un valor menor de y permite, por tanto, que cada conjunto de entrenamiento cubra un intervalo de parámetros más amplio y, por tanto, reduce el número de conjuntos de entrenamiento requeridos para cubrir el intervalo de parámetros previsto completamente.

En una realización, para evitar el sobreajuste, las ponderaciones con están limitados a tener magnitudes inferiores a un valor máximo que normalmente se denomina C. Los valores mayores de C mejoran la capacidad de una SVM para reconocer sus datos de entrenamiento, pero la hacen menos capaz de interpolar de manera uniforme entre sus vectores de soporte cuando se le presentan entradas novedosas o con ruido. A algunos vectores de soporte candidatos se les pueden asignar pequeños factores de ponderación para optimizar sfit(b) con respecto a un corpus de datos de entrenamiento; estos se eliminan automáticamente de la SVM. Los valores de yy C determinan, por tanto, qué vectores de soporte están incluidos en la SVM, y su importancia relativa para calcular la salida. Debido a que este proceso no es lineal, los valores óptimos de y y C se obtienen mediante búsqueda exhaustiva. En la presente aplicación se obtienen resultados estadísticamente indistinguibles para valores de y y C que varían de sus valores óptimos en un diez por ciento.

Las SVM se entrenaron con un conjunto de entrenamiento de 5.000 elementos cuyos parámetros se distribuyeron uniformemente con respecto a un volumen en el espacio tridimensional abarcado por 13,5 pm < zp < 75 pm, 0,4 pm < ap < 1,75 pm, y 1,4 < np < 1,8 a una resolución de 1,35 pm en zp, 0,1 pm en ap y 0,1 en seleccionaron valores de C y y que oscilaban entre 10-3 y 105. El tiempo de entrenamiento aumenta drásticamente con el número de conjuntos de entrenamiento, y con los valores de C y y Una vez entrenada, sin embargo, cada SVM puede estimar su parámetro de manera extremadamente rápida, por ejemplo, en menos de un milisegundo.

La calidad de una SVM entrenada puede evaluarse al presentarle nuevos datos de validación cruzada. Los valores óptimos para C y yminimizan las diferencias entre los parámetros estimados y las entradas. Usando un conjunto de validación cruzada de 500 elementos, se obtuvo el mejor rendimiento para estimar Zp con C = 100 y y= 1, el mejor rendimiento para np con C = 10 y y= 0,5, y el mejor rendimiento para ap con C = 10 y y=0,6.

El muestreo de todo el espacio de parámetros accesible a la caracterización holográfica con una resolución comparable a la precisión realizada con ajustes no lineales requeriría más de 1010 conjuntos de entrenamiento. Sin embargo, si el sistema de interés se caracteriza por un intervalo de parámetros más modesto, entonces, los resultados de un análisis inicial de SVM pueden usarse para generar un conjunto relativamente pequeño de datos de entrenamiento que abarcan el intervalo relevante. Este entrenamiento especializado se desarrolla rápidamente y produce mejoras sustanciales en la precisión.

Los datos representados gráficamente en la figura 1 son estimaciones de SVM para los radios y los índices de refracción de 2.500 esferas coloidales que fluyen hacia abajo por un canal microfluídico formado por la unión de los bordes de un cubreobjetos de microscopio de vidrio a la superficie de un portaobjetos de microscopio de vidrio. La velocidad de flujo máxima de 1 mm/s transporta una esfera a través del campo de visión en no menos de dos fotogramas de vídeo, lo que garantiza que cada partícula en el flujo pueda ser analizada. El desenfoque anisotrópico debido al movimiento de 100 nm de una esfera durante el tiempo de exposición de 0,1 ms de la cámara suprime el contraste a lo largo de la dirección de movimiento, pero no influye de manera apreciable en el promedio acimutal, b(r). Los resultados espurios que surgen cuando los patrones de interferencia de múltiples esferas se superponen contribuyen a valores atípicos con respecto a la distribución observada de tamaños de partícula e índices de refracción. Tales artefactos se minimizan diluyendo la muestra hasta que no haya más de tres partículas presentes en ningún fotograma.

La muestra se preparó dispersando proporciones aproximadamente iguales de cuatro tipos de esferas coloidales en agua: esferas de 1 |im de diámetro y 2 |im de diámetro hechas de poliestireno y sílice. Esta mezcla de cuatro componentes se hizo fluir a través del volumen de observación durante un intervalo de 12 minutos, y se analizó partícula por partícula. Cada punto de datos en la figura 1 corresponde a una esfera individual, y está coloreado por la densidad local de las mediciones.

La caracterización holográfica mediada por SVM identifica claramente las cuatro poblaciones de partículas sin suposiciones a priori, y proporciona estimaciones de sus abundancias relativas. La caracterización de dispersiones de múltiples componentes es una capacidad única del análisis de partículas holográfico, y puede realizarse con SVM tan rápido como puedan adquirirse los hologramas de partículas.

Ni el instrumento ni la técnica analítica requieren una calibración extensa. La longitud de onda del láser y el aumento eficaz pueden calibrarse una vez y usarse para todas las muestras. El índice de refracción del medio es el único parámetro libre, y a menudo puede obtenerse por separado. Estos parámetros se usan para entrenar a las SVM de antemano, después de lo cual pueden usarse para analizar muestras aleatorias dispersas en el medio.

Experimentos

El seguimiento de una única esfera coloidal a medida que se sedimenta y difunde proporciona información sobre la precisión y exactitud de la caracterización holográfica mediada por SVM. Los datos de la figura 2 se obtuvieron con una esfera de poliestireno de 1,59 |im de diámetro (Duke Scientific, catálogo 4016A) que se difundió por sedimentación a través de agua desionizada cerca del plano medio de un canal de 120 |im de profundidad. La figura 2(a) muestra la trayectoria de resolución en el tiempo, Zp(t), obtenida a partir de una secuencia de 4.500 fotogramas de vídeo grabados a 29,97 fotogramas/s usando entrenamiento de SVM iterativo.

Debido a que el poliestireno es aproximadamente un 5 por ciento más denso que el agua, la esfera sedimenta más de 10 |im durante el transcurso del experimento. Los recuadros de la figura 2 (a) muestran cómo de marcadamente cambia la apariencia del holograma desde el comienzo de la trayectoria hasta el final. A pesar de estos cambios, las estimaciones de las SVM para el radio y el índice de refracción representadas gráficamente en la figura 2 (b) permanecen agrupadas alrededor de los valores medios ap = 0,79 ± 0,02 |im y np = 1,600 ± 0,006.

Las incertidumbres en los parámetros estimados se calculan como desviaciones estándar de la distribución de los resultados representados gráficamente en la figura 2(b). Estos deben interpretarse con cuidado porque los errores en las estimaciones de SVM no es necesario que sean independientes ni que estén distribuidos normalmente. Los puntos de datos en la figura 2(b) se agrupan alrededor de diferentes valores a medida que desciende la partícula, lo que sugiere que diferentes vectores de soporte dominan las estimaciones de ap y np cuando la esfera se encuentra en diferentes posiciones axiales. Por lo tanto, los errores sistemáticos en los parámetros individuales pueden variar con los cambios en cualquiera de los valores de los parámetros. Aun así, los promedios de las estimaciones de SVM son consistentes con las especificaciones del fabricante, y solo difieren ligeramente de los obtenidos con un análisis de Lorenz-Mie completo del mismo conjunto de datos, que produce ap = 0,805 ± 0,001 |im y np = 1,5730 ± 0,0006. El ajuste no lineal ofrece una precisión y una exactitud diez veces mejores. El análisis de SVM es mil veces más rápido.

La velocidad de sedimentación media, Vp = 66 ± 1 nm/s, estimada a partir de la pendiente de zp(t) es algo menor que el valor medido con ajustes a la teoría de Lorenz-Mie de 75 ± 1 nm/s. Esta discrepancia sugiere, además, que la estimación de SVM para el valor de un parámetro puede depender del propio valor. Tal como se describió anteriormente con respecto a las ecuaciones 7 y 8, si se supone que los errores en Zp se distribuyen normalmente con un valor eficaz cuadrático medio ez, entonces el desplazamiento cuadrático medio de la partícula difusora debería evolucionar a lo largo del intervalo de tiempo \ como

en donde D = kBTI{Q7rrjaP) es e| valor de Stokes-Einstein para el coeficiente de difusión de la partícula. Los datos de la figura 2(c) producen D = 0,319 ± 0,004 pm2/s, que es ligeramente mayor que el valor de 0,292 ± 0,004 pm2/s obtenido con el análisis de Lorenz-Mie completo. El error de seguimiento de mejor ajuste, £z = 107 ± 2 nm, excede el límite de Lorenz-Mie por un orden de magnitud.

Los resultados presentados en el presente documento son típicos del rendimiento de las SVM para caracterizar y seguir esferas coloidales. La velocidad y precisión de la caracterización de SVM es ideal para la monitorización, el control de retroalimentación y la garantía de calidad en cualquier proceso industrial que implique esferas coloidales. Al poderse resolver distribuciones multimodales acumulando rápidamente mediciones de una sola partícula se evitan ambigüedades inherentes a los métodos de promediación de población, tales como la dispersión de luz dinámica. La extracción del índice de refracción así como del tamaño ofrece información sobre la composición de la muestra que de otro modo no estaría disponible. El seguimiento acelerado por SVM puede usarse para la velocimetría de imagen de partículas tridimensionales en tiempo real. Para aplicaciones tales como la microrefractometría, puede estimarse el índice de refracción del medio, nm, en lugar del de la partícula.

Esta combinación de capacidades permite nuevas aplicaciones. Por ejemplo, la distribución de propiedades en mezclas coloidales puede servir como huella para sistemas fluidos complejos, con tamaños, índices de refracción y abundancias relativas que codifican información a la que puede accederse mediante caracterización holográfica mediada por SVM. Por tanto, en una implementación, la huella coloidal incluye añadir una mezcla de partículas coloidales a un producto, donde los diferentes tipos de partículas difieren en sus radios e índices de refracción. Estas propiedades se seleccionan de clases distintas y distinguibles. Como ejemplo, la mezcla de cuatro partes de esferas grandes y pequeñas hechas de sílice y poliestireno descrita anteriormente. La presencia o ausencia de diferentes clases de esferas (por ejemplo, sílice grande) puede usarse para introducir información en el producto. Esa información puede leerse usando las técnicas de caracterización holográfica descritas, incluyendo el análisis rápido con técnicas de aprendizaje automático (por ejemplo, SVR). La información codificada puede incluir la fecha en la que se creó el producto, el lugar de fabricación, el historial de procesamiento, y así sucesivamente. La “huella” coloidal puede añadirse al producto en el momento de la fabricación sin cambiar las otras propiedades deseables del producto. Entonces, esta huella puede leerse posteriormente mediante el presente método. Ningún otro método adicional sería capaz de distinguir todas las propiedades de las partículas dispersadas a la vez, y por tanto ningún otro método sería capaz de “leer” la huella. En una implementación particular, la huella puede usarse como medida de lucha contra la falsificación. Además, las mezclas coloidales podrían seleccionarse para tener propiedades que varían con el tiempo debido a la descomposición de un compuesto para proporcionar adicionalmente una clave para la huella o para actuar como otra variable en la huella.

Tales aplicaciones pueden realizarse con instrumentos comparativamente sencillos que transportan datos de imágenes a ordenadores de baja potencia. Aunque las SVM de entrenamiento pueden ser computacionalmente intensivas, los datos que comprenden un conjunto de SVM entrenadas ocupan menos de 100 Mbytes. Por lo tanto, las SVM precalculadas pueden archivarse y recuperarse rápidamente cuando sea necesario. Este enfoque se presta a su implementación en ordenadores integrados para su integración en instrumentos analíticos de bajo coste.

Otras técnicas de aprendizaje automático también pueden ser eficaces para analizar hologramas de partículas coloidales. Las redes neuronales artificiales, por ejemplo, pueden entrenarse de la misma manera que la presente implementación de SVM para interpretar perfiles radiales de hologramas experimentales. Las SVM tienen la ventaja de que su proceso de entrenamiento avanza de manera determinista y, por lo tanto, tiende a ser más rápido. Sin embargo, una vez entrenadas con éxito, las redes neuronales artificiales son, generalmente, más eficaces computacionalmente. Independientemente de la implementación, los presentes resultados demuestran que los métodos de aprendizaje automático facilitan mediciones rápidas y precisas de las propiedades coloidales.

La figura 7 muestra un diagrama de bloques a modo de ejemplo de un sistema 100 tanto para esta primera realización como para una segunda realización descrita a continuación en el presente documento. Por ejemplo, un procedimiento a modo de ejemplo según estas realizaciones puede realizarse mediante una disposición de procesamiento 110 y/o una disposición de computación 110. Tal disposición de procesamiento/computación 110 puede ser, por ejemplo, por completo o una parte de, o incluir, pero no limitarse a, un ordenador/procesador que puede incluir, por ejemplo, uno o más microprocesadores, y usar instrucciones almacenadas en un medio accesible por ordenador (por ejemplo, RAM, ROM, disco duro u otro dispositivo de almacenamiento).

Tal como se muestra en la figura 7, por ejemplo, un medio accesible por ordenador 120 (por ejemplo, tal como se describe en el presente documento, un dispositivo de almacenamiento tal como un disco duro, un disquete, una tarjeta de memoria, un CD-ROM, RAM, ROM, etc., o un conjunto de los mismos) puede proporcionarse (por ejemplo, en comunicación con la disposición de procesamiento 110). El medio accesible por ordenador 120 puede ser un medio accesible por ordenador no transitorio. El medio accesible por ordenador 120 puede contener instrucciones ejecutables 130 en el mismo. Además, o alternativamente, una disposición de almacenamiento 140 puede proporcionarse de manera independiente con respecto al medio accesible por ordenador 120, que puede proporcionar las instrucciones a la disposición de procesamiento 110 con el fin de configurar la disposición de procesamiento para ejecutar determinados procedimientos, procesos y métodos a modo de ejemplo, tal como se describe en el presente documento, por ejemplo. El sistema 100 incluye un ordenador con un medio no transitorio accesible por ordenador no transitorio que contiene instrucciones ejecutables en el mismo para analizar las características de un objeto, en el que cuando al menos una disposición de computación de hardware 110 ejecuta las instrucciones, la disposición de computación de hardware 110 realiza un método que comprende las etapas del mismo, recibir datos de holograma del objeto; contener información sobre la dirección de los gradientes de intensidad para los datos de holograma y analizar los datos de holograma para determinar la dirección de los gradientes de intensidad, habilitando de este modo la identificación de las características del objeto.

La descripción anteriormente mencionada de realizaciones ilustrativas se ha presentado con fines ilustrativos y de descripción.

Se pretende que el alcance de la invención se defina por las reivindicaciones adjuntas al presente documento.

Claims

REIVINDICACIONES

Método de identificación de características de un objeto esférico, que comprende las etapas de, introducir un haz de láser colimado;

dispersar el haz de láser colimado desde el objeto para generar un haz dispersado;

registrar una característica de holograma de la interferencia entre el haz de dispersión y el haz de entrada; determinar a partir del holograma registrado una estimación de una posición bidimensional del objeto esférico; y

determinar, usando un perfil radial del holograma centrado en la posición bidimensional del objeto esférico b(r) como una entrada a un algoritmo de aprendizaje automático entrenado, una estimación de una posición axial del objeto esférico y un tamaño del objeto y un índice de refracción del objeto esférico;

en el que:

el entrenamiento del algoritmo de aprendizaje automático usa datos simulados calculados por

con respecto a un intervalo de valores posibles para zp, ap y np, donde Zp es la posición axial de la partícula y donde ap es el radio de la partícula y donde np es el índice de refracción de la partícula y donde fsMr - rP)|aP, nP) es la función de dispersión de Lorentz-Mie para una esfera en la posición rP con un radio aP y un índice de refracción np.

Método según la reivindicación 1, en el que la determinación a partir del holograma registrado de la estimación de una posición bidimensional del objeto esférico se realiza mediante una transformada de alineación de orientación.

Método según la reivindicación 1, en el que la determinación a partir del holograma registrado de una estimación de una posición bidimensional del objeto esférico comprende, además:

establecer gradientes de intensidad para los píxeles en el holograma Vb(r);

determinar la dirección de los gradientes de intensidad para cada uno de los píxeles:

determinar una transformada de alineación de orientación:

donde:

e identificar el centro de simetría rotacional como centros de brillo en