ES2886155T3 - Método de reconstrucción de imágenes basado en un mapeo no lineal entrenado - Google Patents

Abstract

Un método de reconstrucción de imágenes que comprende: - recibir (13) un conjunto de formas de onda como mediciones y desde un objeto de interés; - definir (15) un modelo de medición H que vincula una imagen desconocida x del objeto con las mediciones y; - determinar (17) un funcional de fidelidad de datos D usando el modelo de medición, el funcional de fidelidad de datos mide una distancia entre H(x) y las mediciones y; - determinar (19) un funcional de regularización usando un mapeo no lineal entrenado fθ, el mapeo es no lineal con respecto a sus datos de entrada, el funcional de regularización comprende el conocimiento previo sobre la imagen desconocida; - definir (21) un problema de optimización que involucre el funcional de fidelidad de datos y el funcional de regularización para obtener una primera estimación de imagen x de la imagen desconocida; y - resolver (23) el problema de optimización para obtener la primera estimación de imagen x .

Description

DESCRIPCIÓN

Método de reconstrucción de imágenes basado en un mapeo no lineal entrenado

Campo técnico

La presente invención se refiere a un método de reconstrucción de imágenes. Más específicamente, el método usa un mapeo no lineal entrenado para reconstruir una imagen. El método se puede usar, por ejemplo, en la formación de imágenes por ultrasonidos. La invención se refiere además a un aparato de formación de imágenes correspondiente y a un producto de programa informático para implementar el método.

Antecedentes de la invención

Las técnicas de procesamiento de matrices, tales como las que se usan en el radar, el sonar, la formación de imágenes sísmicas y la formación de imágenes por ultrasonido (US), se usan ampliamente en varios campos técnicos. En aplicaciones médicas, se usan la formación de imágenes por US para ver estructuras internas del cuerpo tales como tendones, músculos, articulaciones, vasos y órganos internos. Sin embargo, la formación de imágenes por US también se usa ampliamente fuera del campo médico. Un uso comercial de la formación de imágenes por US es la prueba no destructiva (NDT), que es un proceso de inspección, prueba o evaluación de materiales, componentes o conjuntos para detectar discontinuidades o diferencias en las características sin destruir la capacidad de servicio de la parte o sistema. En otras palabras, cuando se completa la inspección o prueba, la parte aún puede usarse. Un ejemplo de una NDT sería la formación de imágenes por US en las tuberías de petróleo. En este caso, las ondas de impulso de ultrasonido, por ejemplo, se usan para propagarse por la tubería, y de esta manera, es posible detectar si hay una grieta o defecto como reflejo de las ondas de impulso. Con el conocimiento de la velocidad de la onda acústica en la tubería y el intervalo de tiempo entre el reflejo de la grieta y el envío de las ondas de impulso, puede estimarse la posición del defecto. La misma teoría usada para la detección de grietas en tuberías puede usarse para detectar grietas en estructuras de aeronaves/paneles de ala, etc. y para detectar la acumulación de hielo en la superficie del ala, por ejemplo.

Gracias a su alta flexibilidad, rentabilidad, seguridad y no invasividad, la formación de imágenes por US son una modalidad de imágenes ampliamente usada. Las imágenes por US eco de impulso se realizan tradicionalmente usando una matriz de elementos transductores, también denominados transductores o matrices de transductores, y capaces de convertir señales eléctricas en ondas de presión acústica y viceversa. Esta matriz de elementos se usa para transmitir frentes de onda acústica cortos que se propagan a través del medio de interés. Los ecos retrodispersados, que surgen de variaciones locales en la impedancia acústica, luego se reciben por la misma matriz y se detectan como los denominados datos de radiofrecuencia (RF) de elementos sin procesar. Las imágenes de RF generalmente se reconstruyen en tiempo real a partir de estas mediciones usando el popular algoritmo de retardo y suma (DAS). Las imágenes en modo B, obtenidas mediante la aplicación de detección de envolvente y compresión logarítmica a la formación de imágenes de RF, se usan comúnmente con fines de visualización y almacenamiento. Recientemente, las llamadas imágenes por US ultrarrápidas han despertado mucho interés en la comunidad de investigadores. En comparación con la formación de imágenes por US convencionales, donde se toman múltiples mediciones de pulso-eco usando haces de transmisión enfocados, la formación de imágenes por US ultrarrápidas explota la idea de insonificar todo el campo de visión a la vez transmitiendo frentes de onda desenfocados, como una onda plana (PW) o una onda divergente (DW). Esto puede conducir a velocidades de fotograma extremadamente altas de múltiples kHz, limitadas solo por el tiempo de vuelo de ida y vuelta del frente de onda desenfocado y sus ecos retrodispersados resultantes, y el tiempo de reconstrucción de la imagen. Tales velocidades de fotograma abrieron la formación de imágenes por US a una amplia gama de nuevas modalidades de diagnóstico, como la elastografía, la formación de imágenes de flujo vectorial ultrarrápidas y la formación de imágenes por US funcionales. Los principales inconvenientes de la formación de imágenes por US ultrarrápidas son una relación señal/ruido (SNR) más baja y una calidad de imagen degradada, en comparación con el uso de haces enfocados secuenciales. De hecho, en comparación con un haz de transmisión enfocado donde la energía se concentra en una región de interés específica, la energía de un frente de onda desenfocado se extiende por todo el campo de visión. Una forma común de aumentar la calidad general consiste en promediar múltiples imágenes, reconstruidas a partir de diferentes direcciones de insonificación, en un proceso llamado composición coherente, que es, en cierto sentido, similar a reconstruir una imagen a partir de múltiples proyecciones como en la tomografía computarizada (TC). Si bien la implementación de tal técnica es sencilla, inevitablemente tiene el costo de velocidades de fotograma más bajas, transferencias de datos más grandes y mayores requisitos computacionales, ya que se requieren múltiples eventos de transmisión-recepción y procesos de reconstrucción de imágenes.

El problema de la reconstrucción de imágenes de alta calidad en el contexto de la formación de imágenes por US ultrarrápidas ha suscitado un interés importante en la comunidad de imágenes por US. Los enfoques recientes intentan minimizar el número necesario de frentes de onda transmitidos desenfocados para reconstruir imágenes de alta calidad. Si bien algunos de los enfoques existentes logran imágenes de alta calidad con pocos eventos de transmisión-recepción, adolecen de una importante complejidad computacional, lo que impide su uso en aplicaciones en tiempo real.

Eunhee Kang y otros: "A deep convolutional neural network using directional wavelets for low-dose X-ray CT reconstruction", MEDICAL PHYSICS, vol. 44, núm. 10, 1 de octubre de 2017 describe un método para eliminar el ruido de la formación de imágenes de rayos X usando una red neuronal.

Para resumir, los métodos de reconstrucción de imágenes de procesamiento de matrices actualmente conocidos adolecen de compromisos subóptimos: pueden proporcionar imágenes de alta calidad a una velocidad reducida o imágenes de baja calidad a una velocidad muy rápida.

Resumen de la invención

Un objetivo de la presente invención es superar al menos algunos de los problemas identificados anteriormente relacionados con la reconstrucción de imágenes en el campo de procesamiento de matrices.

De acuerdo con un primer aspecto de la invención, se proporciona un método de reconstrucción de imágenes como se menciona en la reivindicación 1.

La nueva solución propuesta tiene la ventaja de que la formación de imágenes se puede reconstruir muy rápido y tienen una calidad muy alta.

Por tanto, la presente invención propone un método de reconstrucción de imágenes, que puede formularse como un problema inverso, resolviendo un problema de optimización usando un prior controlado por datos altamente eficaz. Tal prior se construye usando un mapeo no lineal, tal como una red neuronal artificial (RNA), entrenada específicamente para el propósito de la tarea de imágenes. Dependiendo de las propiedades del prior controlado por datos, se puede usar en un algoritmo iterativo, tal como el descenso de gradiente, antecedentes de plug-and-play o el descenso de gradiente proyectado. Se propone entrenar un mapeo no lineal a partir de imágenes de baja calidad, por ejemplo, reconstruidas a partir de un solo PW o DW, a imágenes de alta calidad libres de cualquier artefacto, por ejemplo, reconstruidas a partir de mediciones de apertura sintética (SA), consideradas entonces como referencia o método estándar de oro. A diferencia de algunas soluciones existentes, el enfoque actual se centra en reconstruir imágenes de RF de alta calidad y patrones de moteado, preservando su contenido espectral. La solución propuesta en un aspecto se basa en las redes neuronales (RN) ya que han demostrado ser extremadamente eficientes y robustas en tareas similares. Al entrenar adecuadamente a una RN para mapear imágenes de baja calidad a alta calidad, se pueden obtener conocimientos previos muy específicos sobre la estructura general de la formación de imágenes de alta calidad. Además, los requisitos computacionales para lograr tal mapeo pueden ser compatibles con imágenes en tiempo real.

De acuerdo con un segundo aspecto de la invención, se proporciona un aparato de formación de imágenes configurado para llevar a cabo el método de acuerdo con el primer aspecto de la invención como se menciona en la reivindicación 15.

Otros aspectos de la invención se mencionan en las reivindicaciones dependientes adjuntas a la misma.

Breve descripción de los dibujos

Otras características y ventajas de la invención serán evidentes a partir de la siguiente descripción de una modalidad ilustrativa no limitante, con referencia a los dibujos adjuntos, en los que:

• La Figura 1 es un diagrama de bloques que ilustra algunos elementos de un sistema de formación de imágenes, que son útiles para comprender las enseñanzas de la presente invención, de acuerdo con un ejemplo de la presente invención;

• La Figura 2 es un diagrama de flujo que ilustra el método de reconstrucción de imágenes propuesto de acuerdo con un ejemplo de la presente invención;

• La Figura 3 es un diagrama de bloques que ilustra un mapeo no lineal directo de acuerdo con un ejemplo de la presente invención;

• La Figura 4 es un diagrama de bloques que ilustra un mapeo no lineal residual de acuerdo con un ejemplo de la presente invención;

• La Figura 5 es un diagrama de bloques que ilustra un mapeo no lineal residual que tiene una arquitectura de "codificador-decodificador" de acuerdo con un ejemplo de la presente invención;

• La Figura 6 es un diagrama de flujo que ilustra el método de reconstrucción de imágenes propuesto usando un algoritmo de descenso de gradiente de acuerdo con un ejemplo de la presente invención;

• La Figura 7 es un diagrama de flujo que ilustra el método de reconstrucción de imágenes propuesto utilizando un algoritmo genérico basado en proyecciones de acuerdo con un ejemplo de la presente invención; y

• La Figura 8 es un diagrama de bloques que ilustra un ejemplo de red neuronal convolucional residual profunda, que puede usarse en la presente invención.

Descripción detallada de una modalidad de la invención

Ahora se describirá en detalle una modalidad de la presente invención con referencia a las figuras adjuntas. Esta modalidad se describe en el contexto de la formación de imágenes por US de eco de impulso, pero las enseñanzas de la invención no se limitan a este entorno. A los elementos funcionales y estructurales idénticos o correspondientes que aparecen en los diferentes dibujos se les asignan los mismos números de referencia. En la presente descripción, las variables vectoriales y las funciones que generan un vector se indican con una fuente en negrita.

La Figura 1 es un diagrama de bloques simplificado que muestra algunos elementos del sistema o aparato de formación de imágenes 1, que son útiles para comprender las enseñanzas de la presente invención. El sistema de formación de imágenes propuesto, como se muestra en la Figura 1, comprende una sonda de US 3 capaz de transmitir, por medio de un módulo de transmisión y recepción 3, un haz acústico en un medio de interés y recibir ecos retrodispersados. Las imágenes se reconstruyen usando el módulo de reconstrucción de imágenes 7 que aprovecha un mapeo no lineal entrenado o una función no lineal entrenada usada junto con un algoritmo o proceso de reconstrucción de imágenes llevado a cabo por el módulo de reconstrucción de imágenes 7. El mapeo no lineal entrenado es no lineal con respecto a sus datos de entrada (en estas imágenes de ejemplo) y está dispuesto para mapear un espacio vectorial de entrada a un espacio vectorial de salida. Un módulo de procesamiento posterior y visualización 9 está dispuesto para procesar posteriormente la imagen reconstruida. La principal ventaja del método de reconstrucción de imágenes propuesto es su capacidad de reconstruir imágenes de alta calidad, libres de artefactos comunes de procesamiento de matrices, con un número de eventos de transmisión-recepción reducidos drásticamente en comparación con el número de eventos de transmisión-recepción requeridos para obtener una calidad de imagen similar con métodos de reconstrucción de imágenes de última generación.

La sonda de US 3 en este ejemplo tiene una abertura finita que comprende una matriz lineal de elementos piezoeléctricos, también denominados transductores. Tal sonda es adecuada para el propósito de formación de imágenes en 2D, y puede incluir un esquema de enfoque cilindrico para concentrar la energía acústica, en elevación, en las proximidades del plano de la imagen. Sin embargo, este tipo de sonda es simplemente un ejemplo. El método propuesto podría adaptarse fácilmente a diferentes geometrías de sondas (tales como sondas convexas, multielementos en fase, etc.) o tecnologías (que incluyen los copolímeros de fluoruro de polivinilideno (PVDF) y los transductores ultrasónicos capacitivos micromecanizados (CMUT), etc.). De manera similar, el método propuesto puede extenderse a casos que usan sondas de matriz 2D, diseñadas para transmitir haces acústicos y recoger ecos del volumen insonificado para proporcionar imágenes volumétricas, por lo que el proceso de formación de imágenes produce una representación en 3D del volumen bajo escrutinio. En configuraciones de formación de imágenes 2D, se usan convencionalmente sondas con elementos transductores dispuestos a lo largo de una línea recta plana, convexa o cóncava. En las configuraciones de formación de imágenes 3D, se usan convencionalmente sondas de arreglo matricial con elementos transductores dispuestos en una superficie plana, convexa o cóncava. Estos elementos transductores son capaces de convertir la excitación eléctrica en formas de onda de presión acústica y registrar formas de onda de presión acústica en señales eléctricas. Esta propiedad se usa tanto para transmitir haces acústicos en el medio de interés como para recibir los correspondientes ecos retrodispersados, que surgen de las variaciones de impedancia acústica local. La sonda 3 forma por lo tanto una configuración de procesamiento de matriz que tiene una estructura de matriz que comprende un conjunto de transductores, que pueden actuar como sensores o actuadores, que están separados espacialmente.

El módulo de transmisión y recepción 5 en este ejemplo comprende una ruta de transmisión y una ruta de recepción y está conectado a la sonda de US 3. La ruta de transmisión generalmente contiene componentes electrónicos frontales, que pueden incluir un circuito de excitación eléctrica con tiempo controlado, amplitud de la tensión y medios de conformación de forma de onda. Se usa para controlar y conformar los haces de transmisión deseados. La ruta de recepción generalmente contiene circuitos eléctricos con controles de ganancia programables asociados (tal como ganancia fija y compensación de ganancia de tiempo) para contrarrestar la atenuación del objeto (por ejemplo, tejido) y medios de conversión analógico-digital seguidos por medios de procesamiento de señales digitales. Las señales o mediciones recibidas se envían luego al módulo de reconstrucción de imágenes 7.

El objetivo del módulo de reconstrucción de imágenes 7 es reconstruir una imagen del medio bajo escrutinio a partir de las señales recibidas. Con este fin, el módulo de reconstrucción de imágenes 7 implementa un método, proceso o algoritmo de reconstrucción de imágenes, que usa un mapeo no lineal entrenado definido como fe. El mapeo no lineal entrenado puede ser una RNA cuyos parámetros entrenables 9 se han optimizado para reducir o incluso eliminar los artefactos en las imágenes por US comunes. En otras palabras, el mapeo no lineal puede ser una configuración de aprendizaje automático que tiene parámetros entrenables. El entrenamiento de estos parámetros entrenables se lleva a cabo mediante el uso de algoritmos de optimización usando un conjunto de datos dedicado. Una vez entrenado, el mapeo no lineal entrenado se usa en el método de reconstrucción de imágenes para producir imágenes de alta calidad con un número mínimo de eventos de transmisión-recepción.

El método de reconstrucción de imágenes resuelve un problema inverso mal planteado de la forma

y = H ( x ) n, (1)

¡>N m

donde x e (u* que denota números reales) es la Imagen desconocida, siendo N el número de elementos de la

Imagen, es decir, píxeles o vóxeles que componen la Imagen, X ^{V F U M} son las mediciones, siendo M el número de

muestras de medición, H : Rw -» R^m es el modelo de medición, que da cuenta del proceso de medición físico (que en el caso de US puede aprovechar una relación entre el tiempo de llegada y la distancia recorrida por la forma

de onda, determinada por la velocidad del sonido en el medio), y ^ ^ ^ es el ruido de medición. Encontrar la imagen desconocida x o su estimación x se puede realizar usando un algoritmo iterativo para resolver un problema de optimización de la forma:

x = a rgm in {2 )(x ) A32(Y)}, (2)

^x £Rⁿ

donde es el término o funcional de fidelidad de datos (también conocido como funcional de discrepancia de datos),

que denota números reales positivos) es el funcional o término de regularlzaclón comúnmente conocido como

un conocimiento previo de codificación previa sobre la Imagen desconocida x, y ^ ^ ^ es un hlperparámetro que controla la ponderación del funcional de regularlzaclón con respecto al funcional de fidelidad de datos. Se entiende que un funcional se refiere a un mapeo (por ejemplo, lineal) de un espacio vectorial a los números reales^. En lugar de usar priores de procesamiento de imágenes estándares, como la dispersión en bases o fotogramas fijos, que tienen un atractivo limitado en la formación de Imágenes por US, se puede construir un funcional de regularlzaclón basado en datos altamente eficiente y representativa^ usando un mapeo no lineal entrenado fe.

Muchos algoritmos iterativos bien conocidos están disponibles en la literatura para resolver el problema de la Ecuación (2), como el descenso de gradiente, el descenso de gradiente proxlmal y el descenso de gradiente proyectado, dependiendo de las propiedades matemáticas de ambos funcionales ® y 32. Tales algoritmos pueden beneficiarse de la dlferenclabllldad del funcional de regularlzaclón 32, lo que Implica que el mapeo no lineal fg sea diferenciable. En tal escenario, el uso de una RN entrenada como el mapeo no lineal f ⁹ puede ser beneficioso ya que puede construirse de manera diferenciable o puede explotar técnicas estándares para aproximar con precisión su derivada. Además, la evaluación eficiente de su derivada puede aprovecharse fácilmente para acelerar los cálculos involucrados en cada iteración del algoritmo.

El diagrama de flujo de la Figura 2 resume el método de reconstrucción de imágenes propuesto de acuerdo con un ejemplo. En la etapa 11, la sonda 3 transmite usando un conjunto de elementos transmisores de un conjunto de formas de onda en un medio a reconstruir al menos parcialmente. Sin embargo, debe tenerse en cuenta que la etapa 11 es opcional, ya que el objeto de interés podría simplemente exponerse a una excitación física, que puede incluir excitaciones de US (formas de onda acústica), térmicas u otras, tales como pulsos de radiación electromagnética en la formación de imágenes fotoacústicas. En la etapa 13, la sonda 3 o más específicamente su(s) sensor(es) recibe o adquiere mediante el uso de un conjunto de elementos receptores un conjunto de formas de onda (eco) que surgen de la dispersión física del medio insonificado. En otras palabras, en esta etapa se recibe o adquiere un conjunto de formas de onda (o señales) como mediciones del objeto de interés estimulado por (o expuesto a) una excitación física. En la etapa 15, se define, determina o identifica un modelo de medición que vincula la Imagen desconocida del medio con el conjunto de mediciones registradas. En la etapa 17, un funcional de fidelidad de datos ® se construye, determina o Identifica usando el modelo de medición definido como se explicará más adelante. En la etapa 19, un funcional de regularlzaclón controlado por datos 32 o prior se construye, determina o identifica usando un mapeo no lineal entrenado fe como se explicará más adelante. En la etapa 21, un problema de optimización que involucra el funcional de fidelidad de datos ® y el funcional de regularización R. se define, determina o identifica para obtener una estimación significativa o de alta calidad x de la imagen desconocida. En la etapa 23, el problema de optimización se resuelve, por ejemplo, por medio de un algoritmo iterativo o solucionador hasta que se alcanza un criterio de convergencia para obtener la estimación de imagen x del medio bajo escrutinio. El algoritmo puede comprender entre 10 y 100 iteraciones o más específicamente entre 10 y 50 iteraciones o entre 1 y 20 iteraciones. Las etapas 15 a 21 pueden realizarse por el módulo de reconstrucción de imágenes 7.

Después de la reconstrucción de la imagen, los datos reconstruidos (es decir, una imagen) se envían a un módulo de procesamiento posterior y visualización 9, como se muestra en la Figura 1. La etapa de procesamiento posterior cubre una variedad de aplicaciones, tales como:

• Formación de imágenes en modo B;

• conversión de escaneo;

• Formación de imágenes Doppler color;

• Formación de imágenes de flujo vectorial; y

• elastografía.

Para la formación de imágenes en modo B que usa datos de RF, se aplica una detección de envolvente sobre los datos reconstruidos (es decir, la imagen). La detección de envolvente puede lograrse, por ejemplo, mediante la transformación de Hilbert seguida de una detección de magnitud y un filtrado de paso bajo opcional. También puede lograrse al elevar al cuadrado y filtrar la señal en paso bajo. En el caso de formación de imágenes en modo B que usan datos de IQ, se extrae la magnitud de la señal compleja. La etapa de detección de envolvente es seguida por las etapas de ajuste de ganancia y compresión dinámica. Para Doppler y elastografía, los datos de RF o IQ reconstruidos (es decir, la imagen) se usan directamente, sin procesamiento posterior.

En la descripción anterior, se dio una breve descripción de la invención. La invención se describirá a continuación con más detalle con referencia a algunos ejemplos concretos.

La formación de imágenes por US y, de manera más general, el procesamiento de matrices, adolecen de artefactos debido a varios factores, algunos de los cuales se describen a continuación. Las sondas de US típicas tienen una apertura finita que se subdivide en una serie de elementos transductores. Cada uno de estos elementos transductores tienen respuestas de impulso electroacústicas y electroacústicas limitadas por banda, o paso de banda, que les permiten convertir la excitación eléctrica en presión acústica y registrar la presión acústica en una señal eléctrica. Esto implica que un reflector de punto ideal en el tejido solo se puede registrar como una forma de onda de pulso de RF limitada por banda o de paso de banda. La naturaleza de dimensión finita de los elementos transductores los convierte en objetos difractantes con sensibilidad direccional. La apertura de la sonda, la disposición de estos elementos transductores dentro de la apertura, así como los retardos y amplitudes aplicados para conformar el haz transmitido son factores determinantes para que la matriz transmita y reciba respuestas de impulso espacial (SIR). El número y tipo de haces transmitidos y las correspondientes operaciones de formación de haces DAS son factores clave en la calidad de imagen resultante. La sonda, la disposición de los elementos transductores, sus formas y propiedades físicas junto con los ajustes de transmisión y recepción son parámetros que definen una configuración de formación de imágenes por US. Dicha configuración de formación de imágenes se acopla a un método de reconstrucción de imágenes, tal como el conocido DAS, para producir una imagen a partir de las mediciones registradas. Una medida de calidad estándar de una imagen resultante viene dada por la función de dispersión de puntos (PSF). Los efectos de propagación de ondas, como la dispersión y la atenuación, también afectan la calidad general de la imagen. Todo el proceso de formación de imágenes físicas implica la aparición de artefactos en las imágenes, causados principalmente por niveles de lóbulos laterales y lóbulos de rejilla, atenuación, reverberación y dispersión múltiple, que se visualizan como un contraste reducido, imágenes fantasma en localizaciones incorrectas, estructuras de imagen rayadas no físicas, sombras, etc.

Como ejemplo, definamos dos configuraciones de formación de imágenes como se detalla en la Tabla 1. Una configuración de baja calidad, llamada LQ, usa una sonda lineal compuesta por 128 elementos transductores y está centrada en 5,133 MHz con 67 % de ancho de banda. Las imágenes se reconstruyen a partir de una única medición de PW, es decir, todos los elementos de la matriz transmiten una onda acústica en el medio al mismo tiempo, lo que da como resultado un frente de onda cuasi plano desenfocado. Los ecos retrodispersados se miden por todos los elementos de la matriz a partir de la cual DAS reconstruye la imagen en cada localización de píxel de la estimación de imagen. Una configuración de alta calidad, llamada HQ, usa una sonda similar con el doble de elementos transductores dentro de la misma apertura. Las imágenes se reconstruyen a partir de 256 mediciones de SA, que pueden considerarse un estándar de oro en la formación de imágenes por US con una apertura determinada. Las mediciones de SA se obtienen de la siguiente manera. Un solo elemento de la matriz transmite un frente de onda desenfocado en el medio. Los ecos retrodispersados se miden por todos los elementos de la matriz a partir de los cuales DAS reconstruye los píxeles de una imagen de RF intermedia. Este procedimiento se repite para cada elemento de la matriz y la imagen de RF final se obtiene promediando todas las imágenes de RF intermedias.

Tabla 1.

Al evaluar los resultados de la reconstrucción de imágenes, se puede observar que el PSF de la configuración LQ sufre muchos más artefactos que la configuración HQ. Los lóbulos laterales y los artefactos fantasma, que afectan principalmente al contraste de la imagen, se reducen drásticamente en la configuración HQ. El lóbulo principal, que tiene un impacto directo en la resolución de la imagen, está ajustado en la configuración HQ. Los lóbulos de rejilla, que pueden tener efectos devastadores de difuminado y sombreado, están presentes en la configuración LQ. Esto resulta del hecho de que el intervalo entre canales considerado es mayor que la mitad de la longitud de onda. Estos lóbulos de rejilla se eliminan por completo en la configuración HQ, que tiene un paso de media longitud de onda. En general, las imágenes reconstruidas cuando se usa la configuración HQ tienen una calidad mucho mayor que las imágenes reconstruidas a partir de la configuración LQ.

Sea ^ c ^ el subespacio de imágenes de baja calidad reconstruidas a partir de una configuración de formación de imágenes que induce un número sustancial de artefactos, donde N representa la dimensión de una imagen, tal como el número de píxeles en un espacio bidimensional (2D) o el número de vóxeles en un espacio tridimensional 17 ]TOW

(3D). Sea v ^ el subespacio de imágenes de alta calidad. Estas imágenes de alta calidad pueden reconstruirse mediante una configuración de formación de imágenes por US óptima que reduce o incluso elimina por completo estos artefactos. También pueden ser imágenes de alta calidad adquiridas con otra modalidad de formación de imágenes inmune a estos artefactos o las propiedades exactas del medio físico, si están disponibles. Definimos el mapeo F : V ^ W que transforma una imagen de alta calidad o una estimación de imagen de alta calidad (también conocida como una estimación de primera imagen) x e V en una imagen de baja calidad correspondiente o una estimación de imagen de baja calidad (también conocida como una segunda estimación de imagen) x e W de manera que

^{F(x) = X.} (3)

Pueden existir muchos mapeos diferentes F, dependiendo de los subespacios V y W,pero todas ellas están mal planteadas en esencia. De hecho, dado que el nivel de artefactos presentes en imágenes de baja calidad es más alto que el nivel de artefactos presentes en imágenes de alta calidad, esto implica que F conduzca a una pérdida de información. En otras palabras, el mapeo F actúa como un operador de desenfoque sobre la imagen de alta calidad x. Por tanto, no es posible encontrar el mapeo inverso para recuperar una imagen de alta calidad x a partir de su correspondiente imagen de baja calidad x por medio de los métodos más avanzados.

Como ejemplo, consideremos las configuraciones HQ y LQ definidas en la Tabla 1. Para formalizar los subespacios

de imagen resultante 1/1/y V, definamos Y u, ^C y Yh ^C como los subespacios de mediciones adquiridos con las configuraciones Lq y HQ, donde M ^l y M ^h son su número correspondiente de muestras de medición. En este ejemplo, se puede observar que M ^H es sustancialmente mayor que M ^L ya que la configuración HQ está compuesta por el doble de elementos transductores y requiere 256 veces más eventos de transmisión-recepción que la configuración LQ. Equipado con estas definiciones, uno puede expresar una imagen de baja calidad x y una imagen de alta calidad x como,

x = DL(yL), yL e Y L, (4)

donde D ^l : Y ^l ^ W y D ^h : Y ^h ^ V son los operadores de imágenes para las configuraciones LQ y HQ, respectivamente. Por lo tanto, el subespacio de imágenes de baja calidad se puede expresar como W = D ^l (Y ^l ) y el subespacio de imágenes de alta calidad como V = D^h(Y^h). En el ejemplo particular descrito anteriormente, DAS se usa como método de reconstrucción de imágenes, por lo que ambos operadores D ^l y D ^h son operadores lineales. Es interesante observar que el método de reconstrucción usado para reconstruir una imagen a partir del conjunto de mediciones de SA obtenidas con la configuración HQ es de hecho un proceso que promedia coherentemente múltiples vistas de la misma imagen. Dado que las imágenes reconstruidas con la configuración HQ se obtienen con muchas más vistas que las imágenes reconstruidas a partir de las mediciones obtenidas con la configuración LQ, contienen inherentemente más información. Por lo tanto, es posible expresar el mapeo F como se define en la Ecuación (3), que, en este ejemplo, es lineal, por ejemplo, por medio del análisis de componentes principales (PCA). Sin embargo, está claro que encontrar su mapeo inverso mediante métodos de última generación no es posible ya que equivale a recuperar información perdida.

Para sortear esta limitación, es común formular una tarea de reconstrucción de imágenes como un problema

inverso. Definamos una imagen desconocida ^{y <} c^{= M} ^ ⁿ y las mediciones ^V J ^{G K m} detectadas por una configuración de formación de imágenes por US, donde M representa el número de muestras de medición registradas por los elementos transductores de la sonda. El problema inverso correspondiente se puede escribir como

y = H(x) + n, (6)

Donde es el modelo de medición o modelo directo (que tiene x como una de sus entradas) que sM

representa el proceso de medición físico y ^{TI F Ira} es el ruido de medición. Es importante tener en cuenta que el modelo de medición puede no ser lineal. Aunque la formulación propuesta se expresa con un modelo de medición tomando valores en ^ N (números reales), se puede ampliar fácilmente al caso en el que el modelo de medición tp ⁿ

toma valores en ^ (números complejos). En el caso especial de un problema lineal inverso, el modelo de medición

se puede expresar como una matriz H e M.MxN de manera que H{x) = Hx. En este contexto, el problema de la ecuación (6) se convierte en

y = Hx n. (7)

Dado que el problema de la ecuación (6) generalmente está mal planteado, se puede resolver formulando el problema de optimización sin restricciones

x = argmin{X>(jt:) ÁJl(x)}. (8)

xemN

En el caso donde ambos funcionales ® y^2 son convexos, el problema de la Ecuación (8) se puede formular de manera equivalente como el problema de minimización restringida

x — argminD(x), (9)

^x EC^ji

donde

CK = { x e Ew|^ (x ) < ^t]

es un conjunto convexo cerrado y ^t está definido únicamente por el parámetro de regularización A.

El funcional de fidelidad de datos ® , que mide la distancia entre H{x) y las mediciones y, a menudo se expresa como la norma £2 al cuadrado

Diferentes funcionales de regularización 32, que a menudo se denominan priores, se usan comúnmente en la literatura según la naturaleza de la imagen desconocida x. Algunos priores populares son la norma £2 al cuadrado, la norma £1 al cuadrado, dispersión de ondículas o variación total (TV). A pesar de que estos priores han demostrado su eficacia en las tareas de procesamiento de imágenes estándar, siguen estando lejos de ser óptimos en el contexto de la formación de imágenes por US debido a la naturaleza altamente específica de las imágenes de US. Los diccionarios aprendidos combinados con una norma adecuada también se usan comúnmente como funciones de regularización. Sin embargo, son computacionalmente exigentes y solo se pueden aplicar a parches de una imagen, lo que limita claramente el atractivo de tales técnicas.

La presente invención propone una estrategia que implica el uso de un mapeo no lineal adecuadamente entrenado f • mN

• 0 ' fe con parámetros entrenables e para construir un prior controlado por datos altamente efectivo para la imagen desconocida x. La Figura 3 muestra un diagrama de bloques simplificado de tal mapeo no lineal fe. El mapeo no lineal entrenado puede ser típicamente una red neuronal profunda (RNP) cuyos parámetros entrenables 9 han sido entrenados para reducir o incluso eliminar artefactos en las imágenes por US comunes.

Equipado con el mapeo no lineal entrenado fe, un a prior controlado por datos se puede expresar a través de un funcional de regularización 32. Un ejemplo típico de 32 puede definirse como el producto Interno entre la Imagen x y el término residual [x - fe(x)] de manera que

⁽ 11^;

T X E € N ,

donde x ' representa la transpuesta de x. En el caso de un vector complejo la operación de transposición debe ser reemplazada por la traspuesta conjugada (o traspuesta hermitiana) denotada x H Otra forma de definir tal funcional de regularización puede ser la norma £2 al cuadrado de dicho residuo, que se expresa explícitamente como

Está claro que en ambos ejemplos dados en las ecuaciones (11) y (12),

52 (x )

tenderá a cero cuando la imagen x tiende a fe(x). En algunos escenarios, especialmente cuando se consideran RNP, puede ser conveniente diseñar un mapeo no lineal fe como mapeo residual de manera que

f B{x) = x r 9(x ), (13)

Y •

roN

donde ' 9 ' m es un mapeo no lineal entrenado para predecir el ruido negativo que se aplicará a x.

La Figura 4 muestra un diagrama de bloques de tal mapeo no lineal residual. En este caso, el funcional de regularización definido en la Ecuación (12) se puede simplificar, por ejemplo, para convertirse en

Está claro que, en este caso,

tenderá a cero cuando el ruido negativo predicho re(x) tiende a cero.

Otra arquitectura RN popular es la arquitectura "codificador-decodificador", donde un codificador ege con parámetros

entrenables 6e primero mapea la Imagen de entrada x a un espacio latente de manera que

donde E representa la dimensión del espacio latente, que generalmente es más pequeña que la dimensión del espacio de la Imagen N. El decodificador dad con parámetros entrenables Qd luego mapea el espacio latente de

nuevo al espacio de la imagen de manera que En su forma residual, tal arquitectura se puede expresar como

f g ( x ) = x r e(x ) = x d Gd(ege(x ) ) , (15)

donde los parámetros entrenables 9 incluyen tanto 6e como 9d. La Figura 5 muestra un diagrama de bloques de un mapeo no lineal residual con una arquitectura de "codificador-decodificador". Para tal mapeo no lineal entrenado fa se puede expresar el funcional de regularización como

lo que podría ser ventajoso en términos de complejidad computacional.

Equipado con el funcional de regularización basada en datos 32 expresado en términos de un mapeo no lineal fe apropiadamente entrenado para una aplicación dada, uno puede usarlo en un método de reconstrucción de imágenes adecuado para producir imágenes de alta calidad a partir de una configuración de formación de imágenes por US solo capaz de producir imágenes de baja calidad con un método de reconstrucción de imágenes tradicional como el conocido DAS. El método de reconstrucción de imágenes propuesto normalmente requiere la resolución y optimización de un problema tal como el Problema (8) mediante un algoritmo iterativo. Se pueden implementar muchos algoritmos para resolver el problema (8) dependiendo de las propiedades matemáticas, como la convexidad

y la diferenciabilidad, tanto de ® como 321 algunos de los cuales se describen en las siguientes secciones. En lo que respecta al funcional de fidelidad de datos, en aras de la brevedad y la claridad, pero sin restricción, limitaremos los siguientes ejemplos al funcional de fidelidad de datos expresado en términos de la norma £2 al cuadrado como se describe en la Ecuación (10).

Consideremos primero los métodos de descenso de gradientes. En este caso consideramos el problema de la Ecuación (8), donde se busca encontrar x e que minimiza el costo funcional

T(x) = T)(x) X'R(x).

Asumiendo que ^ es diferenciare con respecto a x, lo que implica que tanto ® como 32 son diferenciadles con respecto a x, se puede expresar la siguiente iteración de descenso de gradiente

x k + 1 «" x k ~ Y k [V x © (*k) AVxR ( x k)\, k > 0, (17)

donde ^ ^ es un tamaño de paso que puede variar en cada Iteración &^ £ t N ixi ( fMy qUe denota números naturales). Con ¡nlclallzaclón adecuada x0 y secuencia de tamaño de paso |a secuencia ( “*'fc)fceN puede

converger al mínimo local o incluso global deseado del costo funcional ^ El algoritmo de descenso de gradiente consiste en aplicar la iteración definida en la Ecuación (17) de forma recursiva hasta que se cumpla un criterio de convergencia. El diagrama de flujo de la Figura 6 resume el proceso de reconstrucción de imágenes propuesto usando el algoritmo de descenso de gradiente. En la etapa 30, la sonda 3 recibe o adquiere un conjunto de formas de onda que surgen del objeto de interés. En otras palabras, en esta etapa se recibe o adquiere un conjunto de formas de onda (o señales) como mediciones del objeto de interés estimulado por (o expuesto a) una excitación física. En la etapa 31, se define un modelo de medición que vincula la imagen desconocida del medio con el conjunto de mediciones registradas. En la etapa 32, un funcional de fidelidad de datos diferenciable T u> se construye usando H. En la etapa 33, una regularización funcional diferenciable 32 se construye usando fe. En la etapa 35, el algoritmo o la solución se inicializa como x0. En la etapa 37, el gradiente de fidelidad de datos ^x^(.x k) Se evalúa o determina. En la etapa 39, el gradiente de regularización

V *32(*fc) i

se evalúa o determina. En la etapa 41, se evalúa o determina el tamaño de la etapa de iteración Yk. En la etapa 43, la estimación o solución se actualiza calculando Xk+1 ^

x k ~ Yk [V *3 )(x fe) ÁVxR ( x k)].

En la etapa 45, se determina si se cumple o no un criterio de convergencia. En caso afirmativo, el proceso llega a su fin. Por otro lado, si no se ha cumplido el criterio, entonces el proceso continúa en la etapa 37.

Bajo supuestos estrictos sobre el funcional de costo , como la convexidad y el gradiente de Lipschitz, junto con (y 'j

una elección adecuada de la secuencia de tamaño de paso kJkem> se pUec|e garantizar la convergencia del

algoritmo de descenso de gradiente. Estas estrictas suposiciones sobre R puede ser difícil de satisfacer. En algunas situaciones ® ytoR puede no ser diferenciare para cualquier x G MN . En tal caso, se puede reemplazar el degradado ^x^(.x k) (y/o

v * # ( x k );

) en la Ecuación (17) por su subgradiente s » ( x k) e dxT)(x k ) (y/o

Sji(xk) e dx'R(xk))

) si ® (y/o^2) es un funcional convexo no diferenciare. Si ® (y/o R ) es un funcional no diferenciare no convexo con continuidad local de Lipschitz, se puede reemplazar el gradiente ^xR(.x k) (y/0

v o k);

) en la Ecuación (17) por su gradiente generalizado 9v(.x k) e 3xD(arfc) (y/o

) según lo definido por Clarke F., (2013) Generalized gradients, "Functional Analysis, Calculus of Variations and Optimal Control", Textos de Posgrado en Matemáticas, vol. 264. Springer, Londres.

Es común construir el funcional de fidelidad de datos como un funcional de gradiente de Lipschitz, convexo y con buen comportamiento, usando un modelo de medición lineal, pero tales propiedades pueden no ser fácilmente verificadas al construir un funcional de regularizaron R con un mapeo no lineal entrenado fe, como una RN. En este caso, se puede reforzar la diferenciabilidad de fe usando exclusivamente funciones de activación diferenciables. Si se usan funciones de activación no diferenciables, como la unidad lineal rectificada popular (ReLU), y se puede hacer cumplir la continuidad local de Lipschitz, uno puede beneficiarse del gradiente generalizado definido anteriormente. Si no se puede hacer cumplir la continuidad local de Lipschitz, aún se puede aproximar el gradiente

en posiciones discontinuas como se hace comúnmente para el entrenamiento de tales RN. Tener una inicialización xo bien calculada también puede ser particularmente ventajoso. Por ejemplo, el uso de la imagen obtenida por el DAS bien conocido puede proporcionar una inicialización eficiente xo a la iteración definida en la Ecuación (17). Se han desarrollado muchas variantes del algoritmo de descenso de gradiente para acelerar su ritmo o relajar las suposiciones relativas a R para garantías de convergencia dadas. Por supuesto, tales variantes pueden aplicarse fácilmente.

La iteración de descenso de gradiente descrita en la Ecuación (17) Involucra los gradientes tanto de® como R.

Como ejemplo, consideramos la fidelidad de los datos de norma £2 al cuadrado definida en la Ecuación (10) para la cual el gradiente se puede expresar como

^{V M x k) = VxH ( x ) [ H ( x ) - y \ .} ( 18)

Se puede observar que VxH(x) es la traspuesta de la matriz jacobiana definida como

En el caso lineal, el gradiente del funcional de fidelidad de datos normalizado t2 al cuadrado ® se convierte en VxV ( x k) = H J[ H x - y ] . (20)

El gradiente del funcional de regularlzaclón 32 es de especial Interés. Consideremos por ejemplo el funcional de regularlzaclón 32 definido en la Ecuación (11). Su gradiente

V*32

se puede expresar como

i

V*32(x) = ^{X - ~} [fg(x) Vxfg(x)x], (21)

donde V xfe(x)x es la derivada direccional del mapeo no lineal entrenado fe en la posición x a lo largo de la dirección x, donde V xfe(x) es la traspuesta de la matriz jacobiana definida como

Sin embargo, construir la matriz jacobiana Jfe(xk) en cada iteración k sería computacionalmente prohibitivo. Se puede ver que solo se requiere la evaluación del término Vxfe(xk)xk en cada iteración como se describe en la Ecuación (17). Siempre que esta evaluación sea posible sin tener que construir la matriz jacobiana, la iteración podría manejarse de manera eficiente. Un aspecto notable de usar una RN como fe radica en el hecho de que es diferenciable en esencia, o que al menos los medios para aproximar eficientemente su gradiente están fácilmente disponibles. Esta diferenciación es un componente clave de su estrategia de entrenamiento que se basa en el poderoso enfoque de retropropagación, que se basa en la regla de la cadena. Por lo tanto, uno puede aprovechar los algoritmos de retropropagación computacionalmente eficientes para evaluar directamente el producto matrizvector Vxfe(xk)xk sin tener que construir explícitamente la matriz jacobiana Je(xk). Esta estrategia puede verse como una evaluación "sin matriz" de la derivada direccional y es una clara ventaja cuando se usa una RN para el mapeo no lineal entrenado fe.

Como segundo ejemplo, consideremos el funcional de regularlzaclón 32 definido en la Ecuación (14). Su gradiente se puede expresar como

Vx32(*) = Vxr 9 ( x ) r e(x), (23)

donde Vxre(x)re(x) es la derivada direccional del mapeo residual no lineal entrenado re en la posición x a lo largo de la dirección re(x). De manera similar al ejemplo anterior, se puede evaluar el producto matriz-vector Vxre(xk)re(xk) en cada iteración k aprovechando los algoritmos eficientes de retropropagación.

Los métodos basados en proyecciones se consideran a continuación. Primero Introduzcamos los métodos de gradiente proxlmal, que pueden usarse para resolver el problema de la Ecuación (8) cuando tanto33 como32 son funcionales convexos, 33 es diferenciable y 32 no es diferenciable. La Iteración del algoritmo correspondiente viene dada por

x k 1 «- p roxA* ( x fc - ykVxV ( x k)) , k > 0 (24)

donde Yk ^ ^ es el tamaño de paso del gradiente en la Iteración ^ ^ La ecuación (24) primero realiza un paso de gradiente con respecto a la fidelidad de los datos asegurando la cercanía a las mediciones y luego un paso proximal, que da cuenta del conocimiento previo sobre la imagen desconocida. El operador proximal involucrado en la Ecuación (24) se define como

prox^Cz) = argmin{||* - z\\\ i¿R(x)}, (25)

xemN

para algunos ^ ^{u E IR+} y donde £ ^{7 F} c

se refiere a una Imagen Intermedia. Dependiendo del mapeo no lineal entrenado fe usado en la construcción del funcional de regularlzaclón 321 el problema (25) puede tener una solución de forma cerrada, en cuyo caso se puede aplicar fácilmente. Si no se dispone de una solución de forma cerrada de este tipo, se podría resolver la Ecuación (25) de forma iterativa, lo que, sin embargo, podría ser computacionalmente exigente.

Mirando más de cerca el operador proximal definido en la Ecuación (25) e involucrado en la Ecuación (24), se puede notar que esta operación es conceptualmente una eliminación de ruido de la imagen x. Aprovechando el enfoque de antecedentes de plug-and-play como se explica, por ejemplo, en SV Venkatakrishnan, cap. A. Bouman y fr. Wohlberg, "Plug-and-Play priors for model based reconstruction", en 2013, Conferencia Global IEEE sobre Procesamiento de Señales e Información, 2013, págs. 945-94, se puede reemplazar el operador proximal por un eliminador de ruido adecuado. Por lo tanto, reemplazar el operador proximal por un mapeo no lineal entrenado fg puede proporcionar mejoras significativas en la calidad de imagen resultante. La iteración definida en la Ecuación (24) se convierte en

Se puede observar que en el caso especial en el que fg es un proyector en un conjunto convexo cerrado ^c la iteración descrita en la Ecuación (26) corresponde al conocido algoritmo de descenso de gradiente proyectado y puede usarse para resolver el problema de optimización restringida definido en la Ecuación (9). Por lo tanto, la iteración definida en la Ecuación (26) puede usarse para formar un algoritmo genérico basado en proyección, que se reduce al algoritmo de descenso de gradiente proyectado cuando fg es un proyector en algún conjunto convexo

cerrado. ^Cv . El algoritmo genérico basado en proyecciones consiste en aplicar la iteración definida en la Ecuación (26) de forma recursiva hasta que se cumpla un criterio de convergencia. El diagrama de flujo de la Figura 7 muestra un proceso de reconstrucción de imágenes propuesto usando un algoritmo genérico basado en proyección. En la etapa 50, la sonda 3 recibe o adquiere un conjunto de formas de onda que surgen del objeto de interés. En otras palabras, en esta etapa se recibe o adquiere un conjunto de formas de onda (o señales) como mediciones del objeto de interés estimulado por (o expuesto a) una excitación física. En la etapa 51, se define el modelo de medición vinculando la imagen desconocida del medio con el conjunto de mediciones registradas. En la etapa 52, se

construye o define un funcional de fidelidad de datos diferenciable o subdiferenciable £ u > usando H. En la etapa 53,

el algoritmo o la solución se inicializa como xo. En la etapa 55, el gradiente de fidelidad de datos ^V * ⁷⁾ y^(x kJ ⁾ se evalúa o determina. En la etapa 57, se evalúa o determina el tamaño de la etapa de iteración y*. En la etapa 59, la

estimación o solución se actualiza aplicando la proyección ^Xk+ 1 |a etapa 61, se determina si se cumple o no un criterio de convergencia dado. En caso afirmativo, el proceso llega a su fin. Por otro lado, si no se ha cumplido el criterio, entonces el proceso continúa en la etapa 55. Cuando el mapeo no lineal entrenado fg es un mapeo general, es similar al enfoque de conectar y usar. Cuando el mapeo no lineal entrenado fg es un proyector en un conjunto convexo cerrado, el algoritmo basado en proyección es equivalente al conocido algoritmo de descenso de gradiente proyectado.

Surge un caso especial de interés cuando se considera una sola iteración k = 0 de la Ecuación (26) con tamaño de paso yo = 1 e inicialización xo = 0. Suponiendo un caso de medición lineal con un funcional de fidelidad de datos de norma de fe al cuadrado ® como se define en la Ecuación (10), para la cual el gradiente se expresa en la Ecuación (20), la estimación x viene dada por

* = f o ( x o - y0HJ[Hxo - y]) (27)

Se ha demostrado que la operación HT y es de hecho la conocida operación DAS aplicada a las mediciones y cuando se realizan supuestos específicos sobre el operador de medición lineal H. Por lo tanto, en este caso muy específico, se puede obtener una estimación de imagen de alta calidad x a partir de una estimación de imagen de baja calidad x reconstruida por DAS de manera que x = HT y mediante un simple mapeo directo

* = fo(x) . (29)

Por lo tanto, la estimación de la imagen de baja calidad x = HT y se calcula primero y luego la estimación se calcula aplicando el mapeo, de modo que x = fg(x).

Esta simplificación tiene la gran ventaja de que solo requiere la reconstrucción de una imagen de baja calidad mediante DAS seguida de una única evaluación de fg. Por lo tanto, el mapeo no lineal entrenado fg se aproxima al inverso del mapeo F definido en la Ecuación (3). Aunque simplista, este caso especial ya puede proporcionar mejoras significativas en la imagen de alta calidad reconstruida x, que se mejora significativamente en comparación con la imagen de baja calidad x.

Puede observarse que los dos ejemplos de reconstrucción de imágenes presentados anteriormente (métodos basados en proyección y descenso de gradiente) se basan en cada iteración de un algoritmo iterativo en un mapeo no lineal fg entrenado globalmente. Sin embargo, se puede especializar fácilmente este enfoque con un conjunto de

artefactos presentes en cada iteración k E M de un algoritmo iterativo. En este caso, el método de reconstrucción de imágenes se basaría en al menos dos mapeos no lineales entrenados (una multiplicidad de mapeos no lineales entrenados).

Arriba se describió un método general para resolver un problema de optimización, tal como el descrito en la Ecuación (8), donde el funcional de regularización^ se construye usando un mapeo no lineal entrenado fg. A continuación, se proporcionan algunas ideas sobre cómo diseñar y entrenar un mapeo no lineal de este tipo para beneficiarse plenamente del enfoque propuesto.

Como ejemplo no limitativo, se considera la arquitectura de "codificador-decodificador" residual que se muestra en la Figura 5. Dicha arquitectura puede implementarse como una RN convolucional residual profunda, como la que se presenta en la Figura 8. La codificación de una imagen de entrada x se realiza a través de la ruta descendente de la arquitectura RN (desde la parte superior izquierda a la parte inferior central) y la decodificación se realiza en la ruta ascendente de la arquitectura RN (desde la parte inferior central hasta la parte superior derecha) hasta la salida residual intermedia ré(x). La salida residual luego se suma a la imagen de entrada para formar la salida final fe(x) = x + ré(x). Las flechas sólidas especifican operaciones, mientras que las flechas discontinuas especifican conexiones de salto intrínsecas. Las flechas con puntos discontinuos no representan una operación, sino una transferencia de cantidad. Cada uno de los fotogramas de puntos enmarca un nivel de descomposición. En este ejemplo específico, se consideran tres niveles de descomposición, específicamente, l = 0, 1,2. Los rectángulos con contornos sólidos representan mapas de características, es decir, la salida de una operación o capa, en las respectivas profundidades de la RN. El ancho (es decir, la dimensión a lo largo de una línea horizontal) de cada fotograma indica el número de canal presente en el mapa de características. La primera operación se expande el número de canal de la imagen de entrada x a un número de canal definible por el usuario Nc usando una operación de convolución con un tamaño de núcleo de (1 x 1). La última operación antes de la salida residual re(x) realiza una contracción del número de canal Nc de nuevo al número de canal de la imagen de entrada usando una operación convolucional con un tamaño de núcleo de (1 * 1). Dentro de cada nivel de descomposición, se realiza una operación convolucional (3 * 3) seguida de una activación no lineal (nl. en la Figura 8) entre cada mapa de características sin cambiar la dimensión del mapa de características. Una activación no lineal de este tipo puede ser, por ejemplo, la conocida unidad lineal rectificada (ReLU), la unidad lineal exponencial (ELU) o la función sigmoidea. Entre cada nivel de descomposición en la ruta descendente, se realiza una operación de reducción de muestreo usando una operación convolucional multiescala (3 * 3) con (o sin) una expansión del número de canales, seguida de una activación no lineal. Tal operación multiescala puede ser, por ejemplo, la combinación de una operación de agrupación máxima seguida de una operación de convolución. También puede ser una convolución espaciada con (o sin) una expansión del número de canales. Entre cada nivel de descomposición en la ruta ascendente, se realiza una operación de muestreo ascendente usando una operación convolucional multiescala (3 * 3) seguida de una activación no lineal. Tal operación multiescala puede ser, por ejemplo, una operación de convolución traspuesta y espaciada con (o sin) una contracción del número de canales.

Todos los coeficientes de filtro de la arquitectura RN son parámetros entrenables. Estos parámetros, también llamados ponderaciones, pueden entrenarse minimizando el riesgo empírico.

0 = argm injX}=i l ( f e ( x j ) ,X j ) , (30)

6 L

donde ^ , es una función de pérdida de entrenamiento, f r t , Y { * / } 1 L son conjuntos de imágenes L. Es f t l L [ * j } Lj=1

común construir los conjuntos 1 y 1 muestreando respectivamente un subespacio V de alta calidad y un subespacio W de baja calidad. Tales muestras pueden adquirirse, por ejemplo, experimentalmente o mediante

simulación nu ^{f e ' * / } /= !} mérica. El conjunto J a menudo se denomina conjunto de entrenamiento. Los algoritmos de optimización, como el descenso de gradiente estocástico (SGD), el SGD por lotes o el optimizador Adam (DP Kingma y J. Ba, "Adam: A Method for Stochastic Optimization", págs. 1-15, 2014. arXiv: 1412.6980), que es una variante de SGD que usa el impulso evaluado de iteraciones anteriores, puede usarse, por ejemplo, para resolver el problema de minimización definido en la Ecuación (30). Para ello, el gradiente de la función de pérdida con respecto a los parámetros entrenables ^V G ^JL por ejemplo, puede calcularse mediante retropropagación usando la popular regla de la cadena. Una función de pérdida típica es el error cuadrático medio (MSE) definido como

£(/»(*;).*;)= j||íy - / * ( * , ) |£ (31)

Sin embargo, se pueden usar una función de pérdida, una función de minimización de riesgos y un algoritmo de optimización diferentes.

Para el mapeo no lineal fe, se puede usar una arquitectura de red neuronal llamada U-Net (entre otras posibilidades) que fue introducida por primera vez por O. Ronneberger, Ph. Fischer y Th. Brox, "U-Net: Convolutional Networks for Biomedical Image Segmentation", págs. 1-8, 2015. arXiv: 1505.04597 para fines de segmentación de imágenes biomédicas y recientemente adaptado en el contexto de la reconstrucción de imágenes de TC de vista dispersa. En esencia, es muy similar al mapeo no lineal residual presentado en la Figura 8. Los parámetros e de fe se optimizan usando el optimizador de Adam mientras que el MSE, que se describió anteriormente, se usa como una pérdida de entrenamiento.

El conjunto de entrenamiento puede estar compuesto por aproximadamente 1000 a 100 000 o 10 000 a 30 000 imágenes generadas usando un simulador específico, por ejemplo. Pueden usarse fantasmas sintéticos para este propósito y pueden generarse aleatoriamente con inclusiones de tamaño y ecogenicidad variables. Las distribuciones de probabilidad para el tamaño de inclusión y la ecogenicidad pueden modelarse para imitar de cerca la distribución presente en el objeto de interés. Pueden diseñarse y usarse fantasmas numéricos para obtener un patrón de moteado completamente difusivo en toda la imagen con una ecogenicidad que varía de -~ dB (regiones anecoicas) a 30 dB (regiones hiperecoicas). Las principales ventajas de usar datos simulados en lugar de datos experimentales son las siguientes. Proporciona un control total sobre la distribución de artefactos e inclusiones de diferente ecogenicidad. Esto es útil para entrenar una red neuronal porque, si un artefacto específico está escasamente representado en el conjunto de entrenamiento, la red neuronal se concentrará muy poco en eliminarlo. También es posible imponer una diversidad más amplia en el conjunto de entrenamiento de lo que sería posible con datos experimentales. El hecho de que el entorno de simulación esté completamente controlado también evita los efectos de desenfoque inducidos por el movimiento de los tejidos. Otra ventaja es la posibilidad de simular configuraciones de formación de imágenes por US no existentes. Por ejemplo, la configuración LQ definida en la Tabla 1 se basa en una sonda realista, pero la sonda usada en la configuración HQ no existe y permite la reconstrucción de imágenes ideales para la apertura dada. La principal desventaja de utilizar un conjunto de entrenamiento simulado es que no es evidente si los resultados se trasladarán o no a los datos experimentales.

Una vez entrenado, el enfoque de mapeo directo dado en la Ecuación (29) puede usarse, por ejemplo. Por tanto, se puede obtener una estimación de imagen de alta calidad x simplemente aplicando el mapeo no lineal entrenado fe a una estimación de imagen de baja calidad x

En resumen, la presente invención está motivada por el hecho de que la reconstrucción de imágenes a partir de una configuración de formación de imágenes por US de alta calidad, en un contexto de imágenes por US ultrarrápido, tiene un precio y puede que ni siquiera sea factible en la práctica. De hecho, la formación de imágenes ultrarrápidas de alta calidad generalmente se obtiene promediando o componiendo múltiples imágenes de menor calidad reconstruidas secuencialmente. Un ejemplo de esta estrategia es la combinación de PW coherente bien conocida en la que los PW dirigidos se transmiten secuencialmente y la imagen final se obtiene promediando todas las imágenes reconstruidas para cada PW dirigido. Dado que los eventos de transmisión-recepción son secuenciales, el tiempo de vuelo de ida y vuelta de la onda acústica ya puede ser un factor limitante en escenarios donde se requieren velocidades de fotograma muy altas. Los requisitos computacionales para reconstruir muchas imágenes a componer también pueden no ser viables en algunas situaciones, como en la formación de imágenes en 3D o en entornos de bajo consumo de energía. Además, el movimiento del objeto (por ejemplo, un tejido humano) puede inducir una borrosidad sustancial de la imagen resultante cuando se promedian imágenes secuenciales reconstruidas en diferentes instantes de tiempo. Por tanto, uno de los objetivos de la presente invención es reconstruir imágenes de alta calidad con una única o muy pocas mediciones de PW.

Si bien la invención se ha ilustrado y descrito en detalle en los dibujos y la descripción anterior, dicha ilustración y descripción deben considerarse ilustrativas o ejemplares y no restrictivas, la invención que no se limita a la modalidad descrita. Se entienden otras modalidades y variantes, y los expertos en la técnica pueden lograrlas al llevar a cabo la invención reivindicada, en base a un estudio de los dibujos, la descripción y las reivindicaciones adjuntas. Por ejemplo, las enseñanzas de la presente invención pueden aplicarse a la formación de imágenes fotoacústicas, donde las ondas acústicas transmitidas se reemplazan con pulsos de radiación electromagnética.

En las reivindicaciones, la palabra "que comprende" no excluye otros elementos o etapas, y el artículo indefinido "un" o "una" no excluye una pluralidad. El simple hecho de que se mencionen características diferentes en reivindicaciones dependientes mutuamente diferentes no indica que una combinación de estas características no pueda usarse ventajosamente.

Claims (15)

REIVINDICACIONES

1. Un método de reconstrucción de imágenes que comprende:

• recibir (13) un conjunto de formas de onda como mediciones y desde un objeto de interés;

• definir (15) un modelo de medición H que vincula una imagen desconocida x del objeto con las mediciones y;

• determinar (17) un funcional de fidelidad de datos D usando el modelo de medición, el funcional de fidelidad de datos mide una distancia entre H(x) y las mediciones y;

• determinar (19) un funcional de regularización 32 usando un mapeo no lineal entrenado fe, el mapeo es no lineal con respecto a sus datos de entrada, el funcional de regularización comprende el conocimiento previo sobre la imagen desconocida;

• definir (21) un problema de optimización que involucre el funcional de fidelidad de datos y el funcional de regularización para obtener una primera estimación de imagen x de la imagen desconocida; y

• resolver (23) el problema de optimización para obtener la primera estimación de imagen x.

2. El método de acuerdo con la reivindicación 1, en donde el método comprende, antes de definir el funcional de fidelidad de datos ® y el funcional de regularización 321 entrenar el mapeo no lineal usando un conjunto de datos de entrenamiento.

3. El método de acuerdo con la reivindicación 2, en donde el conjunto de datos de entrenamiento comprende imágenes adquiridas experimentalmente o mediante simulación numérica.

4. El método de acuerdo con cualquiera de las reivindicaciones anteriores, en donde el mapeo no lineal entrenado es una red neuronal artificial entrenada.

5. El método de acuerdo con cualquiera de las reivindicaciones anteriores, en donde el problema de optimización se expresa como

x = argmin{D(X) A52(x)},

x£Rn

donde es un parámetro de regularización que controla la ponderación del funcional de regularización 32

6. El método de acuerdo con cualquiera de las reivindicaciones anteriores, en donde el funcional de fidelidad de datos ® y/o el funcional de regularización 32 tienen al menos una de las siguientes propiedades: convexidad, no convexidad, diferenciabilidad e indiferenciabilidad.

7. El método de acuerdo con cualquiera de las reivindicaciones anteriores, en donde resolver el problema de optimización comprende ejecutar un algoritmo iterativo.

8. El método de acuerdo con la reivindicación 7, en donde el algoritmo iterativo usado para resolver el problema de optimización es un método de descenso de gradiente o un método genérico basado en proyección.

9. El método de acuerdo con la reivindicación 7 u 8, en donde el método comprende establecer un tamaño de paso de iteración en uno, establecer un parámetro de inicialización en cero e incluir solo una iteración en el algoritmo iterativo y luego aplicar el mapeo no lineal directamente a una segunda estimación de imagen x para obtener la primera estimación de imagen x del objeto de interés, en donde la segunda estimación de imagen x tiene una calidad menor en términos de artefactos en las imágenes que la primera estimación de imagen x.

10. El método de acuerdo con cualquiera de las reivindicaciones 7 a 9, en donde el mapeo no lineal entrenado varía de un paso de iteración a otro.

11. El método de acuerdo con la reivindicación 7 u 8, en donde el método comprende además transmitir (11) un conjunto de formas de onda a un objeto de interés.

12. El método de acuerdo con la reivindicación 11, en donde el número de formas de onda transmitidas está entre una y cinco, y más específicamente entre una y tres, y más específicamente una.

13. El método de acuerdo con cualquiera de las reivindicaciones anteriores, en donde el método de reconstrucción de imágenes es un método de reconstrucción de imágenes por ultrasonidos.

14. El método de acuerdo con cualquiera de las reivindicaciones anteriores, en donde el funcional de regularización se define como uno de los siguientes:

donde r 9 : RN -» WNrg es un mapeo no lineal entrenado para predecir el ruido negativo que se aplicará a x, y

J¿(x)= 2 lle®eWH _{donde eee es un codificador con parámetros entrenables de.}

15. Un aparato de reconstrucción de imágenes que comprende medios para:

• recibir un conjunto de formas de onda como mediciones y de un objeto de interés;

• definir un modelo de medición H que vincule una imagen desconocida x del objeto con las mediciones; • determinar un funcional de fidelidad de datos ® usando el modelo de medición, el funcional de fidelidad de datos mide una distancia entre H(x) e y

• determinar un funcional de regularización 32 usando un mapeo no lineal entrenado, el mapeo es no lineal con respecto a sus datos de entrada, el funcional de regularización que comprende el conocimiento previo sobre la imagen desconocida;

• definir un problema de optimización que involucre el funcional de fidelidad de datos y el funcional de regularización para obtener una primera estimación de imagen x de la imagen desconocida; y

• resolver el problema de optimización para obtener la primera imagen estimada x.