ES2958934T3 - Reducción del ruido en una imagen - Google Patents

Reducción del ruido en una imagen Download PDF

Info

Publication number
ES2958934T3
ES2958934T3 ES18723041T ES18723041T ES2958934T3 ES 2958934 T3 ES2958934 T3 ES 2958934T3 ES 18723041 T ES18723041 T ES 18723041T ES 18723041 T ES18723041 T ES 18723041T ES 2958934 T3 ES2958934 T3 ES 2958934T3
Authority
ES
Spain
Prior art keywords
learning
images
image
input images
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES18723041T
Other languages
English (en)
Inventor
Ruiz Carlos Ciller
Zanet Sandro De
Stefanos Apostolopoulos
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Retinai Medical AG
Original Assignee
Retinai Medical AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Retinai Medical AG filed Critical Retinai Medical AG
Application granted granted Critical
Publication of ES2958934T3 publication Critical patent/ES2958934T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

Un método para entrenar una red neuronal para reducir el ruido en una imagen comprende obtener una pluralidad de imágenes de entrada desde un dispositivo de imágenes. El método comprende generar una pluralidad de imágenes de destino combinando un subconjunto de las imágenes de entrada, cada una de las cuales representa un mismo objeto, para reducir el ruido de la imagen de destino. El método comprende generar una pluralidad de pares de entrenamiento, en donde un par de entrenamiento comprende una de las imágenes objetivo y una imagen de entrenamiento basada en al menos una, pero no todas, las imágenes de entrada del subconjunto de imágenes de entrada correspondientes a la de la imagen objetivo. . El método comprende entrenar una red neuronal utilizando la pluralidad de pares de entrenamiento. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Reducción del ruido en una imagen
CAMPO DE LA INVENCIÓN
[0001] La invención se refiere a un método y a un aparato para reducir el ruido, en particular el ruido de manchas (speckle),en imágenes. Más particularmente, la invención se refiere a reducir el ruido de manchas en imágenes OCT.
ANTECEDENTES DE LA INVENCIÓN
[0002] Los dispositivos de formación de imágenes típicamente pueden generar imágenes digitales basadas en señales recibidas de uno o varios sensores. Las imágenes generadas contienen ruido. En el pasado se ha llevado a cabo mucha investigación para reducir el ruido en las imágenes generadas.
[0003] La tomografía de coherencia óptica (OCT por sus siglas en inglés) es una modalidad de formación de imágenes no invasiva que proporciona imágenes multidimensionales a resolución de micrómetro de tejidos biológicos y otras muestras. En la configuración más común, las imágenes OCT se forman a través de la interferencia de dos rayos láser de ancho de banda de amplio: uno reflejado en un espejo estático ("rayo de referencia") y uno reflejado en la muestra bajo investigación ("rayo de muestra"). En terminología OCT, un escáner modo A (A-scan)se refiere a una única columna adquirida por un rayo de muestra estático; un escáner modo B (B-scan)se refiere a una imagen de vista en sección transversal bidimensional adquirida por el movimiento del rayo de muestra lo largo de una línea con respecto a la muestra; y un escáner modo C (C-scan)se refiere a una imagen volumétrica tridimensional adquirida por el movimiento del rayo de muestra con respecto a la muestra en un patrón de trama específico de la aplicación.
[0004] A pesar de los avances significativos en tecnología, las imágenes OCT todavía se ven afectadas por el ruido de manchas. El ruido de manchas puede estar causado por una combinación compleja de efectos térmicos, eléctricos, de dispersión múltiple, así como algoritmos de procesamiento digital. De hecho, en muchas aplicaciones, el 75 % de la energía espectral de la señal OCT reconstruida es ruido.
[0005] Como tal, las técnicas de reducción o eliminación de manchas son materia de investigación intensa. El primer y más simple método implica hacer la media de múltiples escáneres modo B adquiridos de la misma ubicación de muestra. Dado que el ruido de manchas es el resultado de procesos aleatorios, y por lo tanto no está correlacionado, hacer la media de n escáneres modo B tiene como resultado una mejora de la proporción de señal a ruido (S/R) por un factor de Vn. La media se realiza típicamente en la imagen reconstruida final, en lugar de en la señal de interferencia.
[0006] Los algoritmos de eliminación de ruido digital intentan post-procesar las imágenes adquiridas para reducir la cantidad de ruido de manchas sin dañar la información estructural contenida en ellas. Ejemplos de dichos métodos incluyen el filtro de mediana y otras técnicas de difusión isotrópica y anisotrópica.
[0007] Un método de reducción de ruido de manchas que usa un algoritmo de red neuronal artificial se describe en "Speckle reduction using an artificial neural network algorithm", de M.R.N. Avanaki et al., Applied Optics, Vol.
52, No. 21, 2013. Para entrenar la RNA, se necesitan imágenes con ruido con valores de sigma conocidos. Un generador de ruido de Rayleigh se utiliza para producir imágenes con ruido con valores de sigma conocidos.
[0008] Los documentos US2013/051516 A1 y "A neural network-based method for spectral distortion correction in j photon counting x-ray CT", Mengheng Touch et al., describen un método de entrenamiento de una red neuronal para reducir el ruido en una imagen.
RESUMEN DE LA INVENCIÓN
[0009] Sería ventajoso proporcionar un método mejorado para reducir el ruido de imágenes obtenidas mediante una técnica de medición.
[0010] Para abordar este problema, un aspecto de la invención proporciona un método de aprendizaje de una red neuronal para reducir el ruido en una imagen como se describe en las reivindicaciones 1-10.
[0011] El método comprende, entre características adicionales:
obtener una pluralidad de imágenes de entrada a partir de un dispositivo de formación de imágenes; identificar subconjuntos de las imágenes de entrada, donde cada imagen de entrada de un subconjunto de imágenes de entrada representa el mismo objeto que las otras imágenes de entrada de ese subconjunto; generar una pluralidad de imágenes objetivo, donde una imagen objetivo se genera combinando las imágenes de entrada de uno de los subconjuntos, para reducir un ruido;
generar una pluralidad de pares de aprendizaje, donde un par de aprendizaje comprende
una de las imágenes objetivo, y
una imagen de aprendizaje basada en al menos una pero no todas las imágenes de entrada del subconjunto que corresponde a dicha de las imágenes objetivo; y
entrenar una red neuronal que usa la pluralidad de pares de aprendizaje, donde una entrada a la red neuronal comprende la imagen de aprendizaje de un determinado par de aprendizaje de la pluralidad de pares de aprendizaje, y una salida objetivo de la red neuronal comprende la imagen objetivo del determinado par de aprendizaje.
[0012] La red neuronal así entrenada es capaz de reducir el ruido, porque puede asignar una imagen con ruido a una imagen con ruido reducido correspondiente. Dado que la red neuronal se entrena usando las imágenes de aprendizaje que se basan en imágenes en realidad creadas por el dispositivo de formación de imágenes e imágenes objetivo que son versiones con ruido reducido de las mismas, la red neuronal puede aprender las particularidades del dispositivo de formación de imágenes y el ruido que genera y eliminar el ruido detectado en consecuencia. Cuando se usan las técnicas descritas en este documento, no es necesario establecer los detalles (como una desviación estándar) del ruido generado previamente, porque las imágenes de aprendizaje representan de forma inherente el ruido pertinente.
[0013] Si la imagen de aprendizaje está basada en más de una imagen de entrada, la imagen de aprendizaje se genera combinando dichas imágenes pero no todas las imágenes de entrada del subconjunto de imágenes de entrada para reducir el ruido de la imagen de aprendizaje. Esto permite a la red aprender de los pares que tienen una imagen de aprendizaje que contiene ruido parcialmente reducido. Sorprendentemente, con este método se obtiene un resultado mejorado de aprendizaje de la red neuronal.
[0014] El paso de generar la pluralidad de imágenes de aprendizaje puede comprender generar las imágenes de aprendizaje basadas en diferentes números de imágenes de entrada, combinando los diferentes números de imágenes de entrada para obtener las imágenes de aprendizaje.
[0015] La pluralidad de pares de aprendizaje comprende un primer par de aprendizaje que comprende una primera imagen de aprendizaje basada en un primer número K1 de imágenes de entrada, y un segundo par de aprendizaje que comprende una segunda imagen de aprendizaje basada en un segundo número K2 de imágenes de entrada, donde el primer número K1 es diferente al segundo número K2. Este número variable de imágenes que está combinado tiene como resultado niveles variables de ruido en las imágenes de aprendizaje. La primera imagen de aprendizaje tendrá un nivel diferente de difusión que la segunda imagen de aprendizaje. Esto obtiene resultados de aprendizaje de la red neuronal mejorados.
[0016] La pluralidad de pares de aprendizaje comprende pares de aprendizaje con la misma imagen objetivo pero diferentes imágenes de aprendizaje basadas en números diferentes de imágenes de entrada. Así, la misma imagen objetivo puede aparecer en pares de aprendizaje múltiples para entrenar diferentes niveles de ruido. Esto proporciona un resultado de aprendizaje mejorado.
[0017] Para cada imagen objetivo y su subconjunto correspondiente de N imágenes de entrada, las imágenes de aprendizaje se pueden generar en base a K del subconjunto de N imágenes de entrada, para todos los valores enteros positivos K que sean menores que N. Los inventores descubrieron que esto puede mejorar los resultados de aprendizaje de la red neuronal.
[0018] Para cualquier valor K, si existe más de una selección posible de imágenes de entrada K del subconjunto de N imágenes de entrada, entonces las imágenes de aprendizaje se pueden generar para más de una selección de las imágenes de entrada K del subconjunto de N imágenes de entrada. Los inventores descubrieron que esto puede mejorar los resultados de aprendizaje de la red neuronal.
[0019] La combinación de imágenes de entrada puede comprender hacer la media de valores correspondientes de las imágenes de entrada combinadas. Esta es una manera eficaz de reducir el ruido en las imágenes objetivo y en las imágenes de aprendizaje.
[0020] El método puede comprender registrar espacialmente las imágenes de entrada de un subconjunto antes de generar la imagen objetivo y las imágenes de aprendizaje. Esto puede mejorar el resultado de combinar las imágenes.
[0021] El método puede comprender aumentar las imágenes de aprendizaje añadiendo ruido o cambiando una orientación de la imagen de aprendizaje antes de entrenar la red neuronal. Esto puede mejorar el resultado del aprendizaje de la red.
[0022] Las imágenes de entrada se pueden obtener de una tomografía computarizada óptica, OCT. El método descrito en la presente descripción es específicamente adecuado para la reducción del ruido en la formación de imágenes OCT.
[0023] Por ejemplo, las imágenes de entrada de un subconjunto particular de imágenes de entrada son imágenes de escáner modo B extraídas a partir de una única imagen de escáner modo C. Estas imágenes de escáner modo B de un escáner modo C tienen la ventaja de que son adquiridas con una cantidad mínima de tiempo entre escaneados. Así, puede ocurrir menos distorsión de movimiento, lo que hace que sea más fácil combinar las imágenes para reducir el ruido. Por otra parte, además de adquirir escáneres modo B o, de forma alternativa a escáneres modo B, es posible adquirir escáneres modo M. En este documento, los escáneres modo M son escáneres modo B repetidos sobre el mismo punto a través del tiempo. Combinando los escáneres modo M, se puede reducir el ruido en las imágenes.
[0024] Por ejemplo, las imágenes de entrada pueden representar al menos parte de una retina. El método descrito en la presente descripción es específicamente adecuado para la reducción de ruido en la formación de imágenes de retina, en la formación de imágenes de retina mediante OCT en particular.
[0025] Las imágenes de entrada de diferentes subconjuntos pueden comprender imágenes de un mismo tipo de tejido o un mismo tipo de órgano en sujetos diferentes. Esto permite a la red neuronal especializarse en imágenes de un tipo de tejido o tipo de órgano particular. De esta manera, el ruido puede ser más fácil de distinguir de las características reales del propio objeto. De forma similar, las imágenes de entrada de diferentes subconjuntos pueden comprender imágenes de diferentes objetos de un mismo tipo.
[0026] Obtener la pluralidad de imágenes de entrada puede comprender obtener las imágenes de entrada a partir de una pluralidad de diferentes dispositivos de formación de imágenes. Estas imágenes se pueden usar para crear pares de aprendizaje con imágenes de distintos dispositivos de formación de imágenes. Esto puede proporcionar a la red neuronal la capacidad de generalización del dispositivo. El aprendizaje en pares de aprendizaje con imágenes de dispositivos múltiples puede ayudar a descubrir información adicional en la estructura de imagen subyacente. Este es también el caso cuando los diferentes dispositivos de formación de imágenes tienen diferentes capacidades. Por ejemplo, añadir muestras a partir de un dispositivo con mejor penetración de tejido puede permitir a la red neuronal mejorar la calidad de tejido profundo en un dispositivo con peor penetración de tejido.
[0027] Después del aprendizaje, el método puede implicar recibir una nueva imagen a partir de un dispositivo de formación de imágenes y suministrar la nueva imagen como imagen de entrada a la red neuronal y obtener una imagen de salida de la red neuronal. Este es un paso en el que la red neuronal entrenada se puede aplicar para reducir el ruido en cualquier imagen. Según otro aspecto de la invención, se proporciona un aparato de reducción de ruido de un dispositivo de formación de imágenes, como se describe en la reivindicación 11.
[0028] Según otro aspecto de la invención, se proporciona un sistema para entrenar una red neuronal para reducir el ruido en una imagen, como se describe en la reivindicación 12.
[0029] El experto en la técnica entenderá que las características anteriormente descritas se pueden combinar de cualquier manera que se considere útil. Además, pueden asimismo aplicarse modificaciones y variaciones descritas con respecto al método para implementar el aparato y/o un producto de programa informático, y modificaciones y variaciones descritas con respecto al aparato pueden asimismo aplicarse al método y al producto de programa informático. El alcance de la invención se define por las reivindicaciones anexas.
BREVE DESCRIPCIÓN DE LOS DIBUJOS
[0030] A continuación, se dilucidarán aspectos de la invención por medio de ejemplos, con referencia a los dibujos. Los dibujos son esquemáticos y pueden no estar dibujados a escala. En todos los dibujos, los elementos similares se pueden denotar por los mismos números de referencia.
La Fig. 1 muestra un diagrama de flujo de un método para preparar un conjunto de datos de aprendizaje, entrenar una red neuronal y aplicar la red neuronal.
La Fig. 2 muestra un diagrama de flujo de un método de aprendizaje de una red neuronal.
La Fig. 3 muestra una comparación de varios métodos de eliminación de ruido.
La Fig.4 muestra un diagrama de bloques de un aparato de reducción de ruido.
La Fig. 5 muestra ejemplos de diferentes escáneres OCT y teselado de los mismos.
La Fig. 6A muestra un diagrama de una estructura de una red con forma de U ("U-net").
La Fig. 6B muestra un diagrama que ilustra el contenido del bloque de entrada, bloque de salida, bloque D, y bloque u que aparecen en la Fig. 6A.
DESCRIPCIÓN DETALLADA DE LAS FORMAS DE REALIZACIÓN
[0031] Determinadas formas de realización ejemplares se describirán con mayor detalle, con referencia a los dibujos anexos.
[0032] Las cuestiones descritas en la descripción, como la construcción y elementos detallados, se proporcionan para ayudar a una comprensión completa de las formas de realización ejemplares. Por consiguiente, es aparente que las formas de realización ejemplares se pueden realizar sin esas cuestiones específicamente definidas. Tampoco se describen operaciones o estructuras conocidas, ya que oscurecerían la descripción con detalles innecesarios.
[0033] Según un aspecto de la presente descripción, la calidad de imagen se puede mejorar eliminando el ruido de manchas sin dañar la información estructural codificada en un escáner OCT. Según la presente descripción, una red neuronal "aprende" a distinguir los modelos de manchas particulares correspondientes a cada tipo de tejido del ruido de fondo, y es capaz de eliminar el ruido manteniendo la información acerca del tejido. Adicionalmente, la solución descrita en este documento puede ejecutarse casi en tiempo real para reducir el ruido en imágenes adquiridas, lo que la hace pertinente para un entorno clínico.
[0034] Según un aspecto de la presente descripción, el problema de reducción de ruido se trata como una tarea de aprendizaje de máquina supervisado, donde trata de aprender una función de transformación no linealf(N)^Ique asigna una imagen con ruido/corruptaIna una imagen donde se ha eliminado el ruido/limpia I.
[0035] Según un aspecto de la presente descripción, se prepara de forma cuidadosa un conjunto de datos basado en, por ejemplo, imágenes OCT, para capturar la información necesaria para un aprendizaje supervisado. Este conjunto de datos es adquirido usando un protocolo específico y post-procesado de una manera específica, de modo que comprenda pares de imágenes{In, I}con ruido e imágenes limpias, respectivamente.
[0036] Es posible aumentar cada par{In ,I} usando un conjunto amplio de transformaciones matemáticas para conseguir invariancia en variaciones de imagen encontradas comúnmente.
[0037] Según un aspecto de la presente descripción, una función de transformación no lineal de orden superiorfse determina por aprendizaje de una red neuronal convolucional (CNN por sus siglas en inglés) en pares{In,I} hasta la convergencia.
[0038] La Fig. 1 muestra un diagrama de bloques de un método de aprendizaje de una red neuronal para reducir el ruido en una imagen. El conjunto de datos de aprendizaje es un ingrediente importante para entrenar una red neuronal de forma exitosa. Los pasos 101-106 se refieren a preparar un conjunto de datos de aprendizaje, mientras que el paso 107 se refiere al aprendizaje real de la red neuronal usando el conjunto de datos de aprendizaje preparado.
[0039] El método comienza en el paso 101 obteniendo una pluralidad de imágenes de entrada. Este paso puede comprender emplear un dispositivo de detección de imagen para aplicar un sensor para medir los datos de la imagen. Además, el paso 101 puede incluir realizar una técnica de reconstrucción de imagen, como la tomografía computarizada o una técnica relacionada, para obtener las imágenes de entrada. Se pueden adquirir imágenes de diferentes ejemplos de un objeto de tipo similar. Por ejemplo, la retina de diferentes sujetos se puede considerar como un objeto de tipo similar. Una retina diferente del mismo sujeto también se puede considerar como un objeto de tipo similar. Además, se pueden adquirir imágenes de diferentes partes del mismo objeto, si estas partes diferentes tienen características de imagen similares. En algunas aplicaciones, es necesario adquirir todas las imágenes en la misma posición relativa con respecto a cada objeto. En otras aplicaciones, es menos importante qué porción de un objeto se representa. Esto se puede determinar por ensayo y error.
[0040] Las imágenes pueden ser imágenes de tomografía de coherencia óptica (OCT). Estas imágenes OCT pueden haber sido reconstruidas para representar el objeto en su dominio espacial. El tipo de objeto puede ser la retina, por ejemplo, la retina humana. Se puede obtener la imagen de las retinas de una pluralidad de diferentes sujetos (por ejemplo, personas) para obtener imágenes de diferentes sujetos.
[0041] También, se puede representar la imagen del mismo sujeto una pluralidad de veces, con un retraso considerable entre las mediciones, por ejemplo, para detectar un progreso de una enfermedad. En tal caso, estas adquisiciones se pueden considerar como imágenes de diferentes objetos (porque el objeto puede haber cambiado entre las adquisiciones).
[0042] En el paso 101a, las imágenes también se pueden agrupar en subconjuntos de manera que las imágenes del mismo objeto, tal como se ha definido anteriormente, están agrupadas juntas en el mismo subconjunto. Esto hace que sea más fácil ejecutar los pasos de procesamiento siguientes.
[0043] Otras formas de realización pueden implicar, por ejemplo, imágenes de ultrasonido o imágenes CT en vez de imágenes OCT.
[0044] En el paso 102, las imágenes de un subconjunto de imágenes correspondientes al mismo objeto pueden estar registradas entre sí. Este paso puede ser un paso de compensación de movimiento. Imágenes sucesivas del mismo objeto se pueden tomar a partir de una posición ligeramente diferente, o el objeto puede haberse movido entre imágenes sucesivas. El paso de registro empareja las imágenes entre sí para compensar cualquier movimiento de este tipo. Este paso es opcional, porque en determinadas formas de realización la cantidad de movimiento puede ser ignorada. El resultado del paso 102 es una serie de imágenes, donde se compensa el movimiento de diferentes imágenes del mismo objeto las unas respecto a las otras. En otras palabras, el movimiento de las imágenes de cada subconjunto se compensa con respecto a las otras imágenes del subconjunto.
[0045] En el paso 103, se puede realizar un paso opcional para rechazar valores atípicos. Si falla la compensación de movimiento, por ejemplo, o las imágenes dentro de un subconjunto difieren demasiado después de la compensación del movimiento, las imágenes pueden ser descartadas. De forma alternativa, si una imagen por sí misma tiene propiedades anormales (demasiado oscura, picos poco realistas, etc.), dicha imagen puede ser descartada. La salida del paso 103 es un conjunto de datos que se ha compensado por movimiento y limpiado descartando los valores atípicos. Cabe destacar que un paso alternativo o adicional de rechazo de valores atípicos se puede realizar entre los pasos 101 y 102.
[0046] En el paso 104, se generan imágenes de calidad mejorada a partir de las imágenes existentes. Por ejemplo, se puede hacer la media de las imágenes en cada subconjunto de imágenes que representan el mismo objeto o de otro modo combinarlas para obtener una imagen de calidad mejorada. Dado que las imágenes en cada subconjunto son compensadas por movimiento, hacer la media de las imágenes puede reducir el ruido y al mismo tiempo aumentar la información del tejido real. Estas imágenes de calidad mejorada se denominarán de ahora en adelante en este documento como "imágenes objetivo".
[0047] En el paso 105, se generan imágenes con niveles de ruido diferentes. Esto se puede realizar haciendo la media o de otro modo combinando números variables de imágenes de cada subconjunto de imágenes. Es decir, si un subconjunto de imágenes tiene N imágenes, entonces la imagen de la que se ha hecho la media N veces (la media de todas las imágenes en el subconjunto), es la imagen objetivo. Sin embargo, las imágenes medias inferiores a N imágenes constituyen imágenes de aprendizaje. Cualquier número de imágenes K se puede calcular según la media de K=1 a K=N-1. Además, por cada valor de K, hay múltiples selecciones posibles de imágenes K del subconjunto de N imágenes. Todas estas selecciones resultan en imágenes de aprendizaje diferentes. Así, todas estas selecciones se pueden usar para generar muchas imágenes de aprendizaje. En determinadas formas de realización, todos los valores de K de 1 a N-1 se utilizan y todas las posibles selecciones de imágenes K se utilizan para generar tantas imágenes de aprendizaje como sea posible. De forma alternativa, se ha hecho alguna elección en cuanto a qué posibilidades deberían ser usadas realmente. Por ejemplo, el número de selecciones para cualquier valor de K se puede limitar a un número predeterminado de selecciones aleatorias. De forma alternativa, no son usados todos los valores de K sino solamente determinados valores de K. Por ejemplo, se pueden usar valores impares K (K=1, 3, 5,..., donde K<N), o cada tercer valor de K (K=1, 4, 7,..., donde K<N). Otras opciones para las selecciones de imágenes que serán combinadas serán aparentes al experto en la técnica. Cabe destacar que, aunque el presente ejemplo se ha detallado para hacer la media de las imágenes, otros tipos de combinaciones (como el valor de mediana) son posibles también para tanto el paso 104 como el 105.
[0048] En una versión simplificada del paso 105, cada imagen de aprendizaje se basa en al menos una pero no todas las imágenes de entrada del subconjunto de imágenes. Por ejemplo, podría hacerse solamente una imagen de aprendizaje para cada imagen objetivo. O pueden usarse solamente las imágenes de entrada únicas (K=1) como imágenes de aprendizaje. Así, los diferentes números de K pueden ser omitidos.
[0049] En el paso 106, se preparan pares de las imágenes con ruido y las imágenes donde se ha eliminado el ruido. Cada par contiene una imagen de aprendizaje y una imagen objetivo. La imagen de aprendizaje y la imagen objetivo de un par se basan en el mismo subconjunto de imágenes que representan un objeto. Dado que múltiples objetos objetivo fueron creados para cada subconjunto en el paso 105, la misma imagen objetivo será incluida en una pluralidad de diferentes pares. Estos pares se denominan de ahora en adelante en este documento como "pares de aprendizaje".
[0050] En el paso 107, se entrena una red neuronal usando los pares de aprendizaje. Con este fin, se puede usar cualquier topología de red neuronal y proceso de aprendizaje adecuado. La entrada a la red neuronal es una imagen de aprendizaje, y la salida objetivo es la imagen objetivo que corresponde con la imagen de aprendizaje. Un ejemplo de implementación del paso 107 se muestra en la Fig. 2.
[0051] Cuando se completa el proceso de aprendizaje, la red neuronal se puede aplicar para reducir el ruido en las imágenes. Para ese fin, cuando se adquiere una nueva imagen, la imagen se puede aplicar a la red neuronal, como se muestra en el paso 108. La salida de la red neuronal se puede usar como la imagen de ruido reducido.
[0052] La Fig. 2 ilustra un método de aprendizaje de una red neuronal usando un conjunto de datos de aprendizaje preparado como se ha expuesto en esta descripción. Se entenderá que este diagrama solo se proporciona como un ejemplo ilustrativo. Otros esquemas para entrenar una red neuronal los conocerá el experto en la técnica y se pueden aplicar, por consiguiente.
[0053] En el paso 201, n pares de aprendizaje se seleccionan de forma aleatoria a partir de los pares de aprendizaje disponibles. Cada par de aprendizaje comprende una imagen con ruido Scon ruido, referida también como imagen de aprendizaje, y una imagen donde se ha eliminado el ruido Sdonde se ha eliminado el ruido, referida también como imagen objetivo. Un número adecuado n (donde n es menor que el número de pares de aprendizaje disponibles) se pueden determinar por ensayo y error.
[0054] En el paso 202, las imágenes de aprendizaje de los pares de aprendizaje seleccionados de forma aleatoria se aplican a la red neuronal. Esto se puede representar por una fórmula^con ruido= Fen n {S con r u id o ) tdonde F<cnn>denota la red neuronal. La red neuronal F<cnn>puede ser una red neuronal convolucional u otro tipo de red neuronal de aprendizaje supervisado.
[0055] En el paso 203, se determina una función de error; cada salidaFCOnruidode la red neuronal es comparada con la imagen objetivo correspondiente Sdonde se ha eliminado el ruido para determinar un error. El valor de error puede ser determinado, por ejemplo, como la suma de diferencias al cuadrado. Por ejemplo, para cada píxel o vóxel de las imágenes una diferencia al cuadrado puede ser determinada. Estas diferencias al cuadrado pueden ser añadidas. Este proceso se puede repetir para todas las n imágenes seleccionadas de forma aleatoria. La suma de todas las diferencias al cuadrado puede ser computada y dividida por n para compensar el número de imágenes n. Esto puede resultar en la siguiente fórmula de ejemplo:
E = ^(S conruido - Siondesehaeliminadoelruiio)2donde Eese| va|or de error determinado.
[0056] En el paso 204, los parámetros de la red neuronal se pueden adaptar de manera que el valor de error E se reduce. Este paso se puede realizar por un proceso de retropropagación, como se conoce en la técnica por sí mismo.
[0057] En el paso 205, se evalúa si el proceso ha convergido. Esto se puede realizar comparando el valor de error E con un valor de umbral predeterminado. De forma alternativa, se puede hacer un seguimiento de la velocidad a la cual E se reduce y si la velocidad de reducción del valor de error E se ralentiza, se puede decidir que el proceso ha convergido. De forma alternativa, se puede decidir que el proceso ha convergido después de un número predeterminado de iteraciones. Si el proceso no ha convergido, el proceso se repite desde el paso 201. Si el proceso ha convergido, el proceso acaba en el paso 206 y la red neuronal resultante se puede almacenar para uso futuro.
[0058] En un nivel alto, las técnicas descritas en este documento pueden permitir explotar la escasez de imágenes OCT, es decir, el hecho de que el número total de huellas OCT posibles de una muestra específica es muy inferior al número total de imágenes posibles, para aprender una representación eficiente de la función de transformaciónf.Por ejemplo, los escáneres OCT de la retina humana revelan una estructura en capas muy específica, incluso en el caso de ojos altamente patológicos (es decir, el humor vítreo se encuentra por encima de la retina, mientras que la coroides se encuentra por debajo). Al entrenar una CNN con un número suficiente de escáneres de la retina representativos, es posible aprender una función de transformación a partir de un escáner con ruidoInpara una imagen subyacente limpiaIde la estructura subyacente sin ruido de manchas o con ruido de manchas reducido. Dado que el número posible de imágenes válidasIes inferior al número de posibles escáneres con ruido, esta función de transformación puede ser de forma alternativa pensada como una estrategia de compresión, con los coeficientes de compresión codificados en la estructura y los pesos de la CNN.
[0059] El aprendizaje supervisado permite trasvasar informaciones previas acerca de la estructura OCT de muestras específicas en la CNN. El conjunto de datos de aprendizaje{In, I}permite a la CNN descubrir la función de transformaciónf(N)^ I, lo que no sería posible con solamente muestras con ruido o solamente muestras limpias. El aumento del conjunto de datos permite a la CNN aprender invariantes respecto a la función de transformación, mientras se mantiene manejable el número de{In,I} o el número de imágenes de entrada necesarias. Finalmente, el uso de una CNN permite (a) encontrar aproximaciones de parámetro alto eficientes mediante el descenso de gradiente estocástico; (b) a partir del conjunto de datos de aprendizaje, generalizar imágenes similares de diferentes sujetos, adquiridas de distintos dispositivos; (c) usar aceleración de GPU moderna para conseguir rendimiento casi en tiempo real.
[0060] Las técnicas descritas en este documento tienen muchas ventajas. En los siguientes párrafos algunas propiedades y ventajas posibles serán descritas en mayor detalle.
[0061] Tiempo de adquisición. En el caso de la OCT de retina, la técnica puede conseguir una S/R comparable a una media 20-50 veces mayor, dependiendo de la muestra y del dispositivo de formación de imágenes. En esencia, esto permitiría una reducción 20-50 veces mayor en el tiempo de adquisición para la misma calidad de imagen, o un aumento en la calidad de imagen para el mismo tiempo de adquisición.
[0062] Generalización de la muestra. Los inventores descubrieron que entrenar datos de aprendizaje que contienen escáneres modo B 2D de una ubicación de muestra particular permite eliminar el ruido en escáneres modo C 3D completos de muestras similares. Por ejemplo, entrenar escáneres modo B de retina permite eliminar el ruido en escáneres modo C de cualquier otra retina.
[0063] Generalización del dispositivo. Los inventores han descubierto que, al entrenar muestras de un dispositivo específico, es posible eliminar el ruido en imágenes de muestras creadas por otros dispositivos con características similares (como tamaño y resolución de vóxel). El entrenamiento en muestras combinadas de dispositivos múltiples puede ayudar a descubrir información adicional en la estructura OCT subyacente (por ejemplo, añadir muestras de un dispositivo con mejor penetración de tejido puede mejorar la calidad de tejido profundo en un dispositivo con peor penetración de tejido.)
[0064] Rendimiento. A diferencia de métodos reiterativos precedentes, el método de red neuronal descrito en este documento puede eliminar el ruido en una imagen usando una única pasada a través de la CNN. Combinado con una extendida aceleración de GPU, esto permite conseguir rendimiento casi en tiempo real en sistemas actuales.
[0065] Flexibilidad. Con un conjunto de datos apropiado, este método se puede usar para eliminar el ruido en cualquier tipo de tejido biológico (por ejemplo, retina, córnea, piel, tejido cerebral, dientes, arterias/vasos sanguíneos o colon) o muestras no biológicas (por ejemplo, pintura, estructuras metálicas, semiconductores). De hecho, esta técnica se puede aplicar no solo a OCT sino a cualquier modalidad de formación de imágenes afectada por el ruido de manchas (por ejemplo, rayos X, tomografía computarizada (CT), formación de imágenes por resonancia magnética (IRM), ultrasonido, o imágenes de fluorescencia/autofluorescencia).
[0066] Reducción del coste. Las técnicas descritas en este documento pueden permitir construir un dispositivo OCT que puede superar dispositivos clínicos de alto nivel por una fracción del coste.
[0067] Compresión de datos. Al eliminar el ruido de manchas, es posible conseguir una reducción sustancial en el espacio de almacenamiento por escáner modo B adquirido, incluso cuando se usa compresión sin pérdida. Por ejemplo, los inventores fueron capaces de conseguir una proporción de compresión tres veces superior, cuando se usa compresión de PNG sin pérdida.
[0068] En lo siguiente, un proceso de aprendizaje de ejemplo será descrito en gran detalle. Sin embargo, los detalles descritos en este documento solamente pretenden ayudar a la comprensión de la invención, y no pretenden limitar el alcance de la presente descripción. Además, las técnicas se explicarán en asociación con la aplicación específica de formación de imágenes OCT. Sin embargo, donde se menciona OCT, esto se puede reemplazar de forma alternativa por otro tipo de técnica de formación de imágenes. En terminología OCT, un "escáner modo A" denota una imagen unidimensional que representa características a lo largo de una recta de un rayo láser. Un "escáner modo B" denota una imagen bidimensional que representa características en un plano o superficie, obtenida escaneando el rayo láser a lo largo de una cierta trayectoria (que puede ser una recta). Un "escáner modo C" denota una imagen tridimensional obtenida escaneando el rayo láser en un patrón bidimensional. La Fig. 5(a) ilustra un escáner modo B, con el eje Y que indica la dirección a lo largo del rayo de luz, y la dirección X que indica una dirección de escaneado a lo largo de una superficie de escaneado. La Fig. 5(b) ilustra cómo varias teselas que se adquieren en la dirección y pueden ser compuestas para formar un único escáner modo B. Como se muestra en la Fig. 5(b), el teselado se puede realizar de diferentes maneras. Por ejemplo, como se muestra a la derecha en la Fig. 5(b) en el número 1'), una tesela puede cubrir solamente parte de la dirección X, pero la extensión entera de la imagen original en la dirección Y. Como se muestra a la izquierda en la figura 5(b), el teselado también se puede realizar a lo largo de tanto la dirección X como la dirección Y, por ejemplo, para obtener cuatro teselas 1), 2), 3), y 4) a lo largo de la dirección Y. Por ejemplo, teselas cuadradas pueden ser hechas de esta manera. La Fig. 5(c) ilustra un escáner modo C, donde el detector escanea también la dirección z. En toda esta descripción, donde se describen las imágenes de entrada, imágenes de aprendizaje, e imágenes objetivo, dicha imagen puede ser una tesela de una imagen más grande.
[0069] El aprendizaje de la red neuronal implica la creación de un conjunto de datos que comprende pares{In, I}de una imagen con ruidoIny una imagen limpiaIde la misma muestra. En el caso de OCT, estas imágenes pueden ser escáneres modo B, por ejemplo. Se aproxima el escáner modo B conceptual limpioIcomo una media de un conjunto de escáneres modo B con ruido de la misma ubicación de muestra.
[0070] Para obtener conjuntos apropiados de imágenes con ruido de las que se puede hacer la media para obtener un escáner modo B del que se ha hecho la media de alta calidad, diferentes técnicas pueden ser aplicadas. Dado que los dispositivos OCT estándar comerciales pueden proporcionar solamente oIn(un único escáner modo B del que no se ha hecho la media) oI(un único escáner modo B del que se ha hecho la media n veces, post-procesado usando algoritmos propietarios específicos de dispositivo) pero no ambos al mismo tiempo, se describen dos métodos alternativos para adquirir los datos necesarios para crear los pares{In,I}: Como una primera posibilidad, es posible usar un dispositivo OCT adaptado que pueda proporcionar tanto escáneres modo B de los que se ha hecho la media n vecesIcomo escáneres modo B individuales al mismo tiempo. Por ejemplo, al adquirir 10 escáneres modo B de la misma ubicación de muestra en repetición rápida, diez escáneresInmodo B se obtienen y se pueden calcular según la media para obtener un escáner modo B correspondiente de alta calidad I.
[0071] De forma alternativa, es posible adquirir un escáner modo C del que no se ha hecho la media denso. En este caso, cada escáner modo B individual del escáner modo C forma una imagen con ruidoINy bloques de escáneres modo B de los que se ha hecho la media n veces del escáner modo C forman la imagen limpia I. En este caso n debería ser preferiblemente lo suficientemente bajo para evitar un desenfoque de movimiento por hacer la media de escáneres modo B de diferentes ubicaciones de muestra (por ejemplo, n está entre 3 y 5).
[0072] También de forma alternativa, es posible adquirir escáneres modo B de los que se ha hecho la media un gran número de veces como la imagen limpiaIy sintetizar las imágenes con ruidoINusando ruido aditivo o multiplicativo. Aunque esto permite que funcione la eliminación de manchas, este método puede producir resultados cualitativamente inferiores.
[0073] Para entrenar la red para proporcionar reducción de ruido,se pueden llevar a cabo los pasos siguientes.
1. Alinear los escáneres modo B. Un método de ejemplo para alinear los escáneres modo B se describe en Apostolopoulos et al. (Es decir, allanar la curvatura de la retina y todos los escáneres modo B que usan registración basada en intensidad).
2. Después de alinear, hacer la media de conjuntos de n imágenes para construir las muestras limpias I. a. Como ejemplo útil, n=10 funciona bien, cuando está disponible un conjunto de datos en el que 10 escáneres modo B representan la ubicación idéntica.
b. Si los escáneres modo B son extraídos a partir de un escáner modo C, como ejemplo útil, n=5 funciona bien como término medio entre la calidad de imagen de la que se ha hecho la media y el desenfoque de movimiento (dado que cada escáner modo B individual representa una parte diferente de un escáner modo C más grande). En algunas aplicaciones, el conjunto de datos de escáner modo C es tan denso que n=5 equivale a 0,0586 |_im sobre el eje Y, lo cual está razonablemente libre de movimiento y de artefactos.
3. Para cada verdad base de la que se ha hecho la media N veces, producir su colección completa de muestras con ruidoInde las que se ha hecho la media m=1..n veces. Por ejemplo, para una muestra limpiaIcon n=3, la colección completa de muestras con ruidoINcomprende:
a. 3x muestras con m=1
b. 3x muestras con m=2
c. 1x muestra con m=3 (la imagen 'verdad base')
d. Para un total de 6x pares{In,I}.
4. Aumentar el conjunto de datos. Cabe destacar que cada uno de los aumentos siguientes son ejemplos y no son necesarios en todas las aplicaciones. Por otro lado, otros aumentos se pueden usar además de aquellos que se especifican a continuación.
a. Vuelta horizontal aleatoria (para aplicarse a tanto a la imagen de aprendizaje como a la imagen objetivo).
b. Ruido gaussiano aleatorio (para aplicarse a la imagen de aprendizaje, no a la imagen objetivo). c. Ruido de Rayleigh aleatorio (para aplicarse a la imagen de aprendizaje, no a la imagen objetivo). d. Desenfoque gaussiano aleatorio en los ejes x- y z (para aplicarse a la imagen de aprendizaje, no a la imagen objetivo).
e. Desplazamientos aleatorios e inclinaciones (para aplicarse a tanto a la imagen de aprendizaje como a la imagen objetivo) se pueden aplicar para obtener una robustez mejorada.
5. Las imágenes pueden opcionalmente ser divididas en teselas, como se muestra en la Fig. 5(b). Realizar un teselado a lo largo del eje x puede llevar a mejores resultados de aprendizaje y menos artefactos que realizar un teselado a lo largo del eje z (dado que las teselas z pueden contener a veces ruido puro, lo que causa artefactos). En determinadas formas de realización, el teselado es realizado de manera que las imágenes son cuadradas, es decir, el número de píxeles en cada dirección de una tesela es igual o aproximadamente el mismo.
[0074] Como red neuronal, se puede utilizar una red neuronal convolucional. Por ejemplo, una red con forma de U ("U-net"). Una red neuronal convolucional con forma de U profunda para la segmentación de imágenes biomédicas se conoce a partir de, por ejemplo, Ronneberger, O. et al., "U-Net: Convolutional Networks for Biomedical Image Segmentation," Medical Image Computing and Computer-Assisted Intervention (MICCAI), Springer, LNCS, Vol.9351: 234-241, 2015. Este tipo de red puede ser adaptada y entrenada con los conjuntos de datos descritos en este documento para crear una red neuronal de reducción de ruido. Un diagrama de un ejemplo adecuado de una arquitectura de red se muestra en la Fig. 6A. Esta arquitectura comprende convoluciones, unidades lineales rectificadas, y capas de agrupación y de interpolación. La Fig. 6B muestra contenido de ejemplo de los bloques bloque<D>, bloque<U>, de entrada y de salida que se usan en el diagrama de la Fig. 6a. En otras formas de realización, otros tipos y arquitecturas de red neuronal se pueden usar en cambio.
[0075] Por ejemplo, si las imágenes tienen NxM píxeles, y cada píxel tiene un valor de intensidad asociado a este, la red neuronal puede tener NxM unidades de entrada y NxM unidades de salida, una unidad de entrada que corresponda con cada valor de píxel (de la imagen de aprendizaje) y una unidad de salida que corresponda con cada valor de píxel (de la imagen objetivo). Cuando hay más valores de píxel disponibles para cada píxel (por ejemplo, canales de color diferentes), entonces, por consiguiente, pueden proporcionarse más unidades de entrada y unidades de salida en la red neuronal, una unidad de entrada para cada valor de píxel en la imagen y una unidad de salida para cada valor de píxel en la imagen de salida de la red neuronal. Para admitir imágenes de diferentes resoluciones, un paso de remuestreo se puede realizar antes o después de aplicar la red neuronal, para ajustar la resolución deseada de las imágenes al número de unidades de entrada/salida disponibles.
[0076] Las técnicas descritas en este documento permiten a la red neuronal aprender la estructura del tipo de objeto en cuestión, por ejemplo, la retina en diferentes capas, y reconstituir la información que falta infiriendo la estructura más probable a partir de los modelos de manchas OCT. El resultado es una mejora drástica en la calidad de imagen y una eliminación casi completa del ruido de manchas. De hecho, este resultado es a veces mejor que el escáner del que se ha hecho la media N veces equivalente, debido a la ausencia total de desenfoque de artefactos y de movimiento.
[0077] Entrenar en una única ubicación de escáner modo B parece proporcionar información suficiente para eliminar el ruido del escáner modo C entero, incluso si contiene patologías. Sin embargo, se puede esperar que añadir verdades base con patologías al conjunto de aprendizaje mejoraría la calidad del resultado.
[0078] Corromper las imágenes de aprendizaje con cantidades aleatorias de ruido gaussiano y de Rayleigh parece ayudar significativamente en el proceso de aprendizaje y la calidad del resultado (es decir, apariencia mucho más suave con menos ruido).
[0079] Corromper las muestras de aprendizaje con desenfoque gaussiano puede llevar a formas mejor definidas en el resultado. También puede llevar a una imagen general ligeramente más borrosa.
[0080] Usar los escáneres de la que se ha hecho la media m veces para muchos diferentes valores de m (con m<n) puede mejorar la calidad de la imagen considerablemente.
[0081] Reentrenar puede ser útil para adaptar la red neuronal a dispositivos con características de formación de imágenes inmensamente diferentes, en cuanto a resolución o histograma.
[0082] Las redes neuronales están altamente basadas en memoria y computación. Usando la configuración anterior, el entrenamiento se puede realizar con un tamaño de mini-lote de, por ejemplo, 4, y puede conseguir una tasa de inferencia de ~2-4 escáneres modo B/segundo en un Nvidia GeForce GTX 1080 (Nvidia, Santa Clara, California, EEUU).
[0083] Configuraciones de red con niveles menores o parámetros menores se pueden entrenar en mini-lotes de, por ejemplo, 8 o 10 escáneres modo B cada vez, con una tasa de inferencia correspondiente de -8-16 escáneres modo B/segundo.
[0084] La calidad de imagen conseguida con un método basado en teselas parece ser menor que la que se obtiene con el procesamiento de imagen completa. La razón parece ser la falta de contexto mayor. Cuando se usan imágenes enteras, las estructuras vistas en la imagen se pueden relacionar las unas con las otras por la red neuronal. Por ejemplo, las estructuras coroidales aparecen siempre por debajo de la retina. Un buen término intermedio basado en teselas parece implicar teselas verticales finas, cubriendo el eje z entero del escáner. Esto se aplica en particular a la formación de imágenes OCT y de retina, pero se extiende a otros resultados OCT en determinados otros tipos de materiales y tejidos.
[0085] Un método basado en 3D se puede usar para mejorar la calidad de la imagen de la reconstrucción. Esto puede incluir convoluciones 3D o convoluciones multicanal 2D, lo cual combinaría múltiples escáneres modo B de entrada adyacentes en una única salida. De hecho, usar canales múltiples mejora la calidad de imagen con un pequeño coste de memoria. Un ejemplo de esta arquitectura consistirá en un punto de partida similar al presentado en el ejemplo de antes, pero aumentando las convoluciones (conv) a una tercera dimensión, incluyendo escáneres modo B adyacentes.
[0086] En el caso de formación de imágenesin vivo,una media realizada sin pasos anteriores puede resultar en imágenes borrosas debido a artefactos de movimiento. Se pueden conseguir mejores resultados realizando una primera alineación o registro de cada uno de los n escáneres modo B entre ellos mismos (por ejemplo, mediante correlación cruzada o comparación de modelos) o a una imagen de referencia común. Esta última puede obtenerse representando el fondo usando un rastreador ocular, como una oftalmoscopia láser de barrido (SLO) o una cámara infrarroja corriente, y usando el movimiento de ojo detectado para corregir la colocación de cada escáner modo B.
[0087] La Fig. 3 muestra una comparación de varios métodos de eliminación de ruido. La Fig. 3a muestra la imagen original, sin haberse realizado la eliminación de ruido. La Fig. 3b muestra la imagen después de reducir el ruido usando onditas. La Fig. 3c muestra la imagen después de reducir el ruido usando el método de emparejamiento de bloque y filtración 3D (BM3D). La Fig. 3d muestra la imagen después de reducir el ruido haciendo la media veinte veces. La Fig. 3e muestra la imagen después de eliminar el ruido usando un método según la presente descripción.
[0088] La Fig. 4 muestra un diagrama de bloques de un dispositivo de formación de imágenes, que puede reducir el ruido usando una red neuronal. El dispositivo comprende una memoria 400. La memoria 400 puede comprender cualquier tipo de dispositivo de memoria o medios de almacenamiento, incluyendo una memoria volátil o no volátil, o una combinación de diferentes tipos de memoria. La memoria 400 puede comprender una definición de una red neuronal artificial, incluyendo la estructura de la red y los parámetros de la red. Los parámetros de la red neuronal se pueden haber computado por medio de un procedimiento de aprendizaje expuesto en otro lugar en esta descripción con mayor detalle. El procedimiento de aprendizaje puede incluir obtener una pluralidad de imágenes de entrada a partir de un dispositivo de formación de imágenes, identificar subconjuntos de las imágenes de entrada, donde cada imagen de entrada de un subconjunto de imágenes de entrada representa un mismo objeto que las otras imágenes de entrada de este subconjunto, generar una pluralidad de imágenes objetivo donde una imagen objetivo se genera combinando las imágenes de entrada de uno de los subconjuntos para reducir un ruido, generar una pluralidad de pares de aprendizaje donde un par de aprendizaje comprende una de las imágenes objetivo y una imagen de aprendizaje basada en al menos una pero no todas las imágenes de entrada del subconjunto que corresponde con dicha una de las imágenes objetivo, y entrenar la red neuronal usando la pluralidad de pares de aprendizaje.
[0089] La memoria 400 puede ser además usada para memorizar datos de imagen 402. Estos datos de imagen se pueden recibir mediante una unidad de entrada 411 y almacenarse en la memoria 400 bajo el control de la unidad de control 410. También las salidas de la red neuronal 401, como datos de imágenes donde se ha eliminado el ruido, se pueden almacenar en la memoria 400.
[0090] La memoria 400 puede memorizar además un código de programa 403 para configurar la unidad de control 410 para controlar determinadas tareas, como manipular imágenes de entrada recibidas mediante la unidad de entrada 411, accionar la red neuronal 401 para procesar datos de imagen, y producir y el almacenar las imágenes emitidas por la red neuronal.
[0091] El dispositivo puede comprender además una unidad de entrada 411 para recibir datos de imagen a partir de un dispositivo de formación de imágenes 413, posiblemente mediante un sistema de almacenamiento de datos externo 414. La unidad de entrada 411 puede comprender, por ejemplo, un puerto de comunicaciones para comunicación cableada o un transceptor para comunicaciones inalámbricas.
[0092] El dispositivo puede comprender además una unidad de salida 412 para emitir imágenes para, por ejemplo, una pantalla 415 o un sistema de almacenamiento externo 414. Similar a la unidad de entrada, la unidad de salida puede comprender un puerto de comunicación y/o un dispositivo de comunicación inalámbrica. Una pieza de hardware puede implementar tanto la unidad de entrada como la unidad de salida.
[0093] El sistema de almacenamiento externo 414 puede comprender un servidor informático configurado para el almacenamiento y recuperación de datos, por ejemplo, organizado en ficheros de pacientes.
[0094] La pantalla 415 puede comprender cualquier dispositivo de pantalla, tal como un monitor informático, o puede comprender de forma alternativa una estación de trabajo que incluye un ordenador y un monitor.
[0095] El dispositivo de formación de imágenes 413 comprende un sensor configurado para ejecutar determinadas mediciones. Ejemplos de dispositivos de formación de imágenes adecuados son un escáner de tomografía de coherencia óptica (OCT), un escáner de tomografía computarizada, o un escáner de formación de imágenes por resonancia magnética. El dispositivo de formación de imágenes 413 puede comprender una unidad de reconstrucción para reconstituir los datos de imagen en un dominio espacial o espaciotemporal. El dispositivo de formación de imágenes se puede configurar para emitir los datos de la imagen reconstruida al sistema de almacenamiento externo 414 o directamente a la unidad de entrada 411.
[0096] La unidad de control 410 puede ser cualquier procesador o controlador programable, capaz de controlar los componentes del sistema y ejecutar el código informático 403 almacenado en la memoria 400, para implementar las funciones descritas en este documento. La unidad de control 410 se puede programar mediante el código de programa 403, para realizar el aprendizaje de la red neuronal 401, o después del aprendizaje, para procesar nuevos datos de imagen aplicando la red neuronal preparada 401.
[0097] Otras formas de realización, como las aplicaciones basadas en una nube, son posibles también. Algunos o todos los aspectos de la invención son adecuados para ser implementados en forma desoftware,en particular un producto de programa informático. Por ejemplo, los pasos implicados en procesar los subconjuntos de imágenes para generar el conjunto de datos de aprendizaje son adecuados para ser implementados en un programa informático. También el proceso de aprendizaje de la red neuronal se puede realizar por un programa informático. De forma similar, la aplicación de la red neuronal a nuevas imágenes se puede realizar por un programa informático. El producto de programa informático puede comprender un programa informático almacenado en un soporte legibles por ordenador no transitorio. Además, el programa informático se puede representar por una señal, como una señal óptica o una señal electromagnética, transportada por un medio de transmisión como un cable de fibra óptica o el aire. El programa informático puede tener parcialmente o totalmente la forma de código fuente, código objeto, o pseudocódigo, adecuado para ser ejecutado por un sistema informático. Por ejemplo, el código puede ser ejecutable por una unidad de control, que puede comprender uno o varios procesadores o controladores.
[0098] Los ejemplos y formas de realización descritos en este documento sirven para ilustrar y no para limitar la invención. El experto en la técnica será capaz de diseñar formas de realización alternativas sin apartarse del alcance de la presente descripción, tal y como se define por las reivindicaciones anexas. Las señales de referencia colocadas ente paréntesis en las reivindicaciones no deberán ser interpretadas para limitar el alcance de las reivindicaciones. Los artículos descritos como entidades separadas en las reivindicaciones o en la descripción se pueden implementar como un único artículo dehardwareosoftwareque combina las características de los artículos descritos.

Claims (12)

REIVINDICACIONES
1. Método de aprendizaje de una red neuronal para reducir el ruido en una imagen, que comprende obtener (101) una pluralidad de imágenes de entrada a partir de un dispositivo de formación de imágenes; identificar (101a) subconjuntos de las imágenes de entrada, donde cada imagen de entrada de un subconjunto de imágenes de entrada representa el mismo objeto que las otras imágenes de entrada del subconjunto en cuestión;
generar (104) una pluralidad de imágenes objetivo, donde una imagen objetivo se genera combinando las imágenes de entrada de uno de los subconjuntos, para reducir un ruido;
generar (105) una pluralidad de pares de aprendizaje, donde un par de aprendizaje comprende
una de las imágenes objetivo, y
una imagen de aprendizaje basada en al menos una pero no todas las imágenes de entrada del subconjunto que corresponde a dicha de las imágenes objetivo, donde si la imagen de aprendizaje se basa en más de una imagen de entrada, se genera la imagen de aprendizaje combinando dichas imágenes pero no todas las imágenes de entrada del subconjunto de imágenes de entrada para reducir el ruido de la imagen de aprendizaje; y
entrenar (107) una red neuronal usando la pluralidad de pares de aprendizaje, donde una entrada a la red neuronal comprende la imagen de aprendizaje de un determinado par de aprendizaje de la pluralidad de pares de aprendizaje, y una salida objetivo de la red neuronal comprende la imagen objetivo del determinado par de aprendizaje,
donde la pluralidad de pares de aprendizaje comprende un primer par de aprendizaje que comprende una primera imagen de aprendizaje que se basa en un primer número K<1>de imágenes de entrada, y un segundo par de aprendizaje que comprende un segunda imagen de aprendizaje que se basa en un segundo número K<2>de imágenes de entrada, donde el primer número K<1>es diferente del segundo número K<2>, donde la pluralidad de pares de aprendizaje comprenden pares de aprendizaje con la misma imagen objetivo pero diferentes imágenes de aprendizaje que se basan en números diferentes de imágenes de entrada.
2. Método de cualquiera de las reivindicaciones anteriores, donde para cada imagen objetivo y su subconjunto correspondiente de N imágenes de entrada, las imágenes de aprendizaje son generadas según K<3>del subconjunto de N imágenes de entrada, para todos los valores enteros positivos K<3>que son menores que N.
3. Método de cualquiera de las reivindicaciones anteriores, donde para cualquier valor K<4>, si existe más de una selección posible de K<4>imágenes de entrada del subconjunto de N imágenes de entrada, entonces las imágenes de aprendizaje se generan para más de una selección de las K<4>imágenes de entrada del subconjunto de N imágenes de entrada.
4. Método de cualquiera de las reivindicaciones anteriores,
donde la combinación de las imágenes de entrada comprende hacer la media de valores correspondientes de las imágenes de entrada combinadas, o
comprende además registrar espacialmente las imágenes de entrada de un subconjunto antes de generar la imagen objetivo y las imágenes de aprendizaje, o
comprende además aumentar las imágenes de aprendizaje añadiendo ruido o cambiando una orientación de la imagen de aprendizaje antes de entrenar la red neuronal.
5. Método de cualquiera de las reivindicaciones anteriores, donde las imágenes de entrada se obtienen por medio de una tomografía de coherencia óptica, OCT.
6. Método según la reivindicación 5, donde las imágenes de entrada de un subconjunto particular de imágenes de entrada comprenden una pluralidad de imágenes de escáner modo B extraídas a partir de una única imagen de escáner modo C.
7. Método de cualquiera de las reivindicaciones anteriores, donde las imágenes de entrada representan al menos parte de una retina.
8. Método de cualquiera de las reivindicaciones anteriores, donde las imágenes de entrada de diferentes subconjuntos comprenden imágenes de un mismo tipo de tejido o un mismo tipo de órgano de sujetos diferentes, o donde las imágenes de entrada de diferentes subconjuntos comprenden imágenes de diferentes objetos de un mismo tipo.
9. Método de cualquiera de las reivindicaciones anteriores, donde la obtención de la pluralidad de imágenes de entrada comprende obtener las imágenes de entrada a partir de una pluralidad de diferentes dispositivos de formación de imágenes.
10. Método de cualquiera de las reivindicaciones anteriores, que comprende además, después del aprendizaje, recibir una nueva imagen a partir de un dispositivo de formación de imágenes y suministrar (108) la nueva imagen como una imagen de entrada a la red neuronal y obtener una imagen de salida de la red neuronal.
11. Aparato de reducción de ruido de un dispositivo de formación de imágenes, que comprende
una unidad de entrada (411) para recibir una imagen de un dispositivo de formación de imágenes;
una unidad de control (410) para procesar la imagen según una red neuronal entrenada (401) para generar una imagen de salida; y
la red neuronal (401) creada al obtener una pluralidad de imágenes de entrada a partir de un dispositivo de formación de imágenes, identificar subconjuntos de las imágenes de entrada, donde cada imagen de entrada de un subconjunto de imágenes de entrada representa el mismo objeto que las otras imágenes de entrada de este subconjunto, generar una pluralidad de imágenes objetivo donde una imagen objetivo se genera combinando las imágenes de entrada de uno de los subconjuntos para reducir un ruido, generar una pluralidad de pares de aprendizaje donde un par de aprendizaje comprende una de las imágenes objetivo y una imagen de aprendizaje basada en al menos una pero no todas las imágenes de entrada del subconjunto que corresponde con dicha una de las imágenes objetivo, donde si la imagen de aprendizaje se basa en más de una imagen de entrada, generar la imagen de aprendizaje combinando dichas imágenes pero no todas las imágenes de entrada del subconjunto de imágenes de entrada para reducir el ruido de la imagen de aprendizaje, y entrenar la red neuronal usando la pluralidad de pares de aprendizaje, donde una entrada a la red neuronal comprende la imagen de aprendizaje de un determinado par de aprendizaje de la pluralidad de pares de aprendizaje y una salida objetivo de la red neuronal comprende la imagen objetivo del determinado par de aprendizaje, donde la pluralidad de pares de aprendizaje comprende un primer par de aprendizaje que comprende una primera imagen de aprendizaje que se basa en un primer número K<1>de imágenes de entrada, y un segundo par de aprendizaje que comprende un segunda imagen de aprendizaje que se basa en un segundo número K<2>de imágenes de entrada, donde el primer número K<1>es diferente del segundo número K<2>, donde la pluralidad de pares de aprendizaje comprende pares de aprendizaje con la misma imagen objetivo pero diferentes imágenes de aprendizaje que se basan en números diferentes de imágenes de entrada.
12. Sistema para entrenar una red neuronal para reducir el ruido en una imagen, que comprende
una unidad de entrada (411) para obtener una pluralidad de imágenes de entrada a partir de un dispositivo de formación de imágenes; y
una unidad de control (410) configurada para:
identificar (101a) subconjuntos de las imágenes de entrada, donde cada imagen de entrada de un subconjunto de imágenes de entrada representa el mismo objeto que las otras imágenes de entrada de este subconjunto;
generar (104) una pluralidad de imágenes objetivo, donde una imagen objetivo se genera combinando las imágenes de entrada de uno de los subconjuntos, para reducir un ruido;
generar (105) una pluralidad de pares de aprendizaje, donde un par de aprendizaje comprende una de las imágenes objetivo, y
una imagen de aprendizaje basada en al menos una pero no todas las imágenes de entrada del subconjunto que corresponde con dicha de las imágenes objetivo, donde si la imagen de aprendizaje se basa en más de una imagen de entrada, se genera la imagen de aprendizaje combinando dichas imágenes pero no todas las imágenes de entrada del subconjunto de imágenes de entrada para reducir el ruido de la imagen de aprendizaje; y
entrenar (107) una red neuronal (401) usando la pluralidad de pares de aprendizaje, donde una entrada a la red neuronal comprende la imagen de aprendizaje de un determinado par de aprendizaje de la pluralidad de pares de aprendizaje, y una salida objetivo de la red neuronal comprende la imagen objetivo del determinado par de aprendizaje,
donde la pluralidad de pares de aprendizaje comprende un primer par de aprendizaje que comprende una primera imagen de aprendizaje que se basa en un primer número K<1>de imágenes de entrada, y un segundo par de aprendizaje que comprende un segunda imagen de aprendizaje que se basa en un segundo número K<2>de imágenes de entrada, donde el primer número K<1>es diferente del segundo número K<2>, donde la pluralidad de pares de aprendizaje comprende pares de aprendizaje con la misma imagen objetivo pero diferentes imágenes de aprendizaje que se basan en números diferentes de imágenes de entrada.
ES18723041T 2017-05-19 2018-05-16 Reducción del ruido en una imagen Active ES2958934T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17172039.4A EP3404611A1 (en) 2017-05-19 2017-05-19 Reducing noise in an image
PCT/EP2018/062824 WO2018210978A1 (en) 2017-05-19 2018-05-16 Reducing noise in an image

Publications (1)

Publication Number Publication Date
ES2958934T3 true ES2958934T3 (es) 2024-02-16

Family

ID=58994831

Family Applications (1)

Application Number Title Priority Date Filing Date
ES18723041T Active ES2958934T3 (es) 2017-05-19 2018-05-16 Reducción del ruido en una imagen

Country Status (7)

Country Link
US (1) US11170258B2 (es)
EP (2) EP3404611A1 (es)
JP (1) JP7189940B2 (es)
CN (1) CN111095349B (es)
ES (1) ES2958934T3 (es)
PL (1) PL3625759T3 (es)
WO (1) WO2018210978A1 (es)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018119077A1 (en) 2016-12-21 2018-06-28 Acucela Inc. Miniaturized mobile, low cost optical coherence tomography system for home based ophthalmic applications
JP7402866B2 (ja) 2018-06-20 2023-12-21 アキュセラ インコーポレイテッド 家庭用眼科用途のための小型化モバイル低コスト光干渉断層撮影システム
EP3815599A4 (en) * 2018-06-29 2022-03-09 Nidek Co., Ltd. OPHTHALMIC IMAGE PROCESSING DEVICE, OCT DEVICE, OPHTHALMIC IMAGE PROCESSING PROGRAM, AND MATHEMATICAL MODEL CONSTRUCTION METHOD
CN109685743B (zh) * 2018-12-30 2023-01-17 陕西师范大学 基于噪声学习神经网络模型的图像混合噪声消除方法
EP3924931A1 (en) * 2019-02-14 2021-12-22 Carl Zeiss Meditec, Inc. System for oct image translation, ophthalmic image denoising, and neural network therefor
CA3131154A1 (en) * 2019-02-21 2020-08-27 Case Western Reserve University Processing three-dimensional (3d) ultrasound images
US11257190B2 (en) * 2019-03-01 2022-02-22 Topcon Corporation Image quality improvement methods for optical coherence tomography
JP7258604B2 (ja) * 2019-03-05 2023-04-17 キヤノン株式会社 画像処理方法、画像処理装置、プログラム、および学習済みモデルの製造方法
US11315221B2 (en) 2019-04-01 2022-04-26 Canon Medical Systems Corporation Apparatus and method for image reconstruction using feature-aware deep learning
WO2020219915A1 (en) * 2019-04-24 2020-10-29 University Of Virginia Patent Foundation Denoising magnetic resonance images using unsupervised deep convolutional neural networks
DE102019205962A1 (de) * 2019-04-25 2020-10-29 Robert Bosch Gmbh Verfahren zur Generierung von digitalen Bildpaaren als Trainingsdaten für Neuronale Netze
KR102366557B1 (ko) * 2019-05-03 2022-02-23 한국광기술원 컨볼루션 네트워크를 이용한 광단층 이미지 스페클 제어 장치 및 그 방법
US11100612B2 (en) * 2019-05-07 2021-08-24 Fei Company Acquisition strategy for neural network based image restoration
CN112102423A (zh) * 2019-06-17 2020-12-18 通用电气精准医疗有限责任公司 医学成像方法及系统
GB2585232B (en) * 2019-07-04 2021-12-08 Apical Ltd Image data pre-processing for neural networks
JP7469858B2 (ja) 2019-08-06 2024-04-17 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像処理方法、および画像処理装置
WO2021045019A1 (ja) * 2019-09-04 2021-03-11 株式会社ニデック 眼科画像処理プログラムおよび眼科画像処理装置
US11798159B2 (en) * 2019-09-20 2023-10-24 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for radiology image classification from noisy images
JP2021060847A (ja) * 2019-10-08 2021-04-15 株式会社ザクティ ノイズ除去システム
KR20210073135A (ko) * 2019-12-10 2021-06-18 삼성전자주식회사 눈 복원 기반의 눈 추적 방법 및 장치
US11790492B1 (en) * 2019-12-18 2023-10-17 Thales Sa Method of and system for customized image denoising with model interpretations
WO2021134087A1 (en) 2019-12-26 2021-07-01 Acucela Inc. Optical coherence tomography patient alignment system for home based ophthalmic applications
CN111105417B (zh) * 2020-03-17 2023-07-07 珠海欧比特宇航科技股份有限公司 影像噪声定位方法及系统
US20210290191A1 (en) * 2020-03-18 2021-09-23 The Regents Of The University Of California Method and system for denoising ct images using a neural network
US11222406B2 (en) * 2020-06-05 2022-01-11 Canon Medical Systems Corporation Method and system for training a machine learning-based image denoising system
US11468551B1 (en) * 2020-07-24 2022-10-11 Norfolk Southern Corporation Machine-learning framework for detecting defects or conditions of railcar systems
US10959613B1 (en) 2020-08-04 2021-03-30 Acucela Inc. Scan pattern and signal processing for optical coherence tomography
WO2022035809A1 (en) 2020-08-14 2022-02-17 Acucela Inc. System and method for optical coherence tomography a-scan decurving
US11393094B2 (en) * 2020-09-11 2022-07-19 Acucela Inc. Artificial intelligence for evaluation of optical coherence tomography images
CN116322471A (zh) 2020-09-30 2023-06-23 奥克塞拉有限公司 近视预测、诊断、计划和监测设备
EP4226316A1 (en) * 2020-10-07 2023-08-16 Hyperfine Operations, Inc. Deep learning methods for noise suppression in medical imaging
US20220138911A1 (en) * 2020-11-05 2022-05-05 Massachusetts Institute Of Technology Neural network systems and methods for removing noise from signals
CN112487880B (zh) * 2020-11-13 2021-09-24 河北省科学院应用数学研究所 基于最大误差准则的中值滤波器、设备和系统
US11461881B2 (en) * 2020-11-25 2022-10-04 United States Of America As Represented By The Secretary Of The Navy Method for restoring images and video using self-supervised learning
WO2022204622A1 (en) 2021-03-24 2022-09-29 Acucela Inc. Axial length measurement monitor
CN113239980B (zh) * 2021-04-23 2022-07-05 华中科技大学 基于小样本机器学习与超参数优化的水下目标检测方法
WO2022265321A1 (en) * 2021-06-15 2022-12-22 Samsung Electronics Co., Ltd. Methods and systems for low light media enhancement
CN113361455B (zh) * 2021-06-28 2022-09-02 北京百度网讯科技有限公司 人脸鉴伪模型的训练方法、相关装置及计算机程序产品
US20230153957A1 (en) * 2021-11-15 2023-05-18 Samsung Electronics Co., Ltd. System and method for training of noise model using noisy signal pairs
CN114596896A (zh) * 2022-03-15 2022-06-07 雷麟半导体科技(苏州)有限公司 一种基于忆阻器的图像降噪实现方法
CN114529484B (zh) * 2022-04-25 2022-07-12 征图新视(江苏)科技股份有限公司 针对成像中直流分量变化的深度学习样本增强方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11196296A (ja) * 1997-12-26 1999-07-21 Canon Inc 画像処理装置および方法、非線形フィルタ、記録媒体
JP4660980B2 (ja) 2001-06-15 2011-03-30 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US20130051516A1 (en) * 2011-08-31 2013-02-28 Carestream Health, Inc. Noise suppression for low x-ray dose cone-beam image reconstruction
US8971612B2 (en) * 2011-12-15 2015-03-03 Microsoft Corporation Learning image processing tasks from scene reconstructions
CN103971342B (zh) * 2014-05-21 2017-11-03 厦门美图之家科技有限公司 一种基于卷积神经网络的图像噪点检测方法
US9922272B2 (en) * 2014-09-25 2018-03-20 Siemens Healthcare Gmbh Deep similarity learning for multimodal medical images
US20160321523A1 (en) * 2015-04-30 2016-11-03 The Regents Of The University Of California Using machine learning to filter monte carlo noise from images
US10169864B1 (en) * 2015-08-27 2019-01-01 Carl Zeiss Meditec, Inc. Methods and systems to detect and classify retinal structures in interferometric imaging data

Also Published As

Publication number Publication date
PL3625759T3 (pl) 2024-01-29
JP7189940B2 (ja) 2022-12-14
EP3625759C0 (en) 2023-07-05
US20200234080A1 (en) 2020-07-23
WO2018210978A1 (en) 2018-11-22
EP3404611A1 (en) 2018-11-21
CN111095349A (zh) 2020-05-01
EP3625759A1 (en) 2020-03-25
CN111095349B (zh) 2023-05-12
EP3625759B1 (en) 2023-07-05
JP2020521262A (ja) 2020-07-16
US11170258B2 (en) 2021-11-09

Similar Documents

Publication Publication Date Title
ES2958934T3 (es) Reducción del ruido en una imagen
US9978159B2 (en) Method and apparatus for motion correction and image enhancement for optical coherence tomography
US11935241B2 (en) Image processing apparatus, image processing method and computer-readable medium for improving image quality
US20210390696A1 (en) Medical image processing apparatus, medical image processing method and computer-readable storage medium
CN112601487A (zh) 医学图像处理装置、医学图像处理方法和程序
JP6731919B2 (ja) 光コヒーレンス断層撮影像におけるスペックル低減
JP2022520415A (ja) Ｏｃｔ画像変換、眼科画像のノイズ除去のためのシステム、およびそのためのニューラルネットワーク
US8781214B2 (en) Enhanced imaging for optical coherence tomography
ES2706749T3 (es) Método para procesar datos de imagen que representan un volumen tridimensional
JP6841863B2 (ja) Ｏｃｔ網膜画像データレンダリング方法、ｏｃｔ網膜画像データレンダリングプログラムを記憶した記憶媒体、ｏｃｔ網膜画像データレンダリングプログラム及びｏｃｔ網膜画像データレンダリング装置
JP2023543172A (ja) 動き補償されたレーザスペックルコントラストイメージング
WO2021106987A1 (ja) 医用画像処理装置、光干渉断層撮影装置、医用画像処理方法、及びプログラム
RU2747946C1 (ru) Способ и устройство для обработки изображения, полученного с помощью оптоволоконного жгута
JP2023520001A (ja) ニューラルネットワークを用いたｏｃｔａボリュームにおけるフロー投影アーチファクトの補正
JP2022134615A (ja) 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム
CN110610147A (zh) 血管图像提取方法、相关装置及存储设备
WO2016005688A1 (fr) Systeme et procede d&#39;imagerie tridimensionnelle en profondeur
Li Computational Methods for Enhancements of Optical Coherence Tomography
JP2023552394A (ja) Ｏｃｔ／ｏｃｔａデータの位置合わせ及び網膜ランドマークの検出のための複数のサブボリューム、厚さ、及び曲率の使用
CN117315068A (zh) 基于三维卷积神经网络的无散斑光学相干层析成像方法
WO2021219773A1 (en) Real-time ir fundus image tracking in the presence of artifacts using a reference landmark
EP4323958A1 (fr) Procede de traitement d&#39;images d&#39;un tissu biologique vivant avec auto-calibrage
Shubnikov et al. 3D-Reconstruction and Visualization of Blood Vessels Based on the Ultrasound Scan Data
JP2021058285A (ja) 画像処理装置、画像処理方法、及びプログラム
CN115564794A (zh) 一种校正扫描数据的方法和系统