ES3071196T3 - Method for visualizing at least a zone of an object in at least one interface - Google Patents

Abstract

La invención se refiere a un método implementado por medios informáticos para visualizar al menos una zona de un objeto en al menos una interfaz, dicho método comprende los siguientes pasos: obtener al menos una imagen de dicha zona, dicha imagen comprende al menos un canal, dicha imagen es una imagen bidimensional o tridimensional que comprende píxeles o vóxeles, estando asociado un valor a cada canal de cada píxel o vóxel de dicha imagen, mostrando una representación de dicha imagen en la interfaz, obtener al menos una anotación de un usuario, dicha anotación define un grupo de píxeles o vóxeles seleccionados de dicha imagen, calcular una función de transferencia basada en dichos píxeles o vóxeles seleccionados y aplicar dicha función de transferencia a los valores de cada canal de la imagen, actualizando dicha representación de la imagen en la interfaz, en la que el color y la transparencia de los píxeles o vóxeles de dicha representación dependen de la función de transferencia. (Traducción automática con Google Translate, sin valor legal)

Description

[0001] DESCRIPCIÓN

[0002] Método para visualizar al menos una zona de un objeto en al menos una interfaz

[0003] La invención se refiere a un método para visualizar al menos una zona de un objeto, más particularmente, para visualizar al menos una zona de un paciente, en al menos una interfaz.

[0004] La medicina aprovecha las técnicas de imagen médica para generar imágenes del interior del cuerpo de un paciente con fines de análisis clínico e intervención médica, así como la representación visual de algunos órganos o tejidos. La imagen médica pretende revelar estructuras internas del cuerpo ocultas, por ejemplo, por la piel y los huesos, para diagnosticar y tratar enfermedades o para preparar cualquier intervención quirúrgica.

[0005] Las imágenes médicas, generadas, por ejemplo, por tomografía computarizada (CT), imagen de resonancia magnética (MRI), tomografía por emisión de positrones (PET) o los ultrasonidos pueden ser imágenes bidimensionales (2D) o tridimensionales (3D). Una imagen 3D puede calcularse a partir de una pila de imágenes 2D u obtenerse directamente. Cada imagen comprende píxeles (para imágenes 2D) o vóxeles (para imágenes 3D), asociando un valor a cada canal de cada píxel o vóxel de dicha imagen. Una imagen puede comprender sólo un canal, en el caso de una imagen monocromática, por ejemplo. Por el contrario, una imagen puede comprender múltiples canales, por ejemplo, uno para cada color primario (rojo, verde, azul), en el caso de imagen en color. Pueden usarse los términos vóxeles y píxeles, por extensión o analogía, a cualquiera de las imágenes 2D o 3D.

[0006] Las imágenes médicas 2D suelen ser representaciones basadas en cortes que permiten a los radiólogos realizar diagnósticos, medir las estructuras de interés y evaluar las estrategias de tratamiento. Los cirujanos, sin embargo, se benefician de las representaciones a escala, detallas de los pacientes como "avatares" o "gemelos digitales" en un contexto de visualización 3D natural tal como el que proporcionan las tecnologías de visualización inmersiva de realidad virtual y aumentada.

[0007] El renderizado volumétrico de imágenes médicas 3D se utiliza a menudo en diversos contextos sanitarios, pero la calidad de la imagen renderizada, junto con el contraste entre las estructuras anatómicas de interés, depende en gran medida del tipo de función de transferir que se aplique a la imagen.

[0008] Una función de transferir aplicada a una imagen tiene por objeto modificar la representación o renderizado de dicha imagen, modificando el color (es decir, una característica de emisión) y la transparencia (también llamada opacidad, es decir, una característica de absorción) de los píxeles o vóxeles de dicha representación.

[0009] Los programas convencionales permiten aplicar funciones de transferir predefinidas, que atribuyen propiedades ópticas a los píxeles o vóxeles. Estas funciones de transferir predefinidas no siempre se adaptan al análisis correspondiente.

[0010] A veces, el programa permite ajustar manualmente algunos hiperparámetros de las funciones de transferir. Sin embargo, el diseño manual de dicha función de transferir puede ser una tarea tediosa y lenta, y no conduce necesariamente a la mejor optimización de la función de transferir para el caso en cuestión. Un ejemplo es el programa informático "3D slicer" donde aparece el vídeo titulado "Volume Rendering in 3D Slicer | Introduction to Digital Preparation Video 9" del autor "The Virtual Paleontologist", URL https://www.youtube.com/watch?v=l8wlaCfYWG4, publicado en línea el 24-06-2020 muestra la aplicación y modificación de una función de transferir en una vista 3D. También es necesario facilitar la comunicación entre especialistas médicos que utilicen distintas interfaces. En particular, los radiólogos están formados para usar una interfaz de visualización 2D, mientras que los cirujanos usan una interfaz 3D que se asemeja exactamente al paciente en el quirófano. Dicha interacción podría beneficiarse de la experiencia de ambos para facilitar el diagnóstico de enfermedades o la preparación de intervenciones quirúrgicas. Con estos objetivos, la invención propone un método implementado por medios informáticos para visualizar al menos una zona de un objeto en al menos una interfaz, especificándose las etapas del método en la reivindicación 1. La invención es aplicable tanto a la imagen médica como a otros tipos de imágenes. La invención no se limita a visualizar al menos una zona del cuerpo del paciente.

[0011] Contrariamente a la técnica anterior, en el caso de la invención, la función de transferir no está predefinida o sólo se modifica ajustando manualmente los hiperparámetros de dicha función de transferir. De hecho, en la invención, las anotaciones de la imagen se utilizan para adaptar la función de transferir y, por tanto, la representación resultante de la imagen. Este proceso se denomina definición o parametrización semiautomática de la función de transferir.

[0012] Tal modificación ergonómica y dinámica de la función de transferir es particularmente eficaz para modificar rápida y óptimamente la función de transferir en función del contenido de la imagen.

[0013] La interfaz puede ser una interfaz gráfica de usuario (GUI). El usuario puede interactuar con la interfaz a través de al menos un controlador, por ejemplo, un ratón, un teclado y/o un mando de realidad virtual.

[0014] Dicho método puede comprender las siguientes etapas:

[0015] - obtener al menos una imagen bidimensional o 2D de dicha zona, comprendiendo dicha imagen 2D píxeles y al menos un canal, estando un valor asociado a cada canal de cada píxel de dicha imagen bidimensional, mostrándose una representación de dicha imagen 2D en una primera interfaz,

[0016] - obtener al menos una imagen tridimensional o 3D de dicha zona, comprendiendo dicha imagen 3D vóxeles y al menos un canal, estando un valor asociado a cada canal de cada vóxel de dicha imagen 3D, correspondiendo al menos algunos de los vóxeles de la imagen 3D a algunos píxeles de la imagen 2D, mostrándose una representación de dicha imagen 3D en una segunda interfaz,

[0017] - obtener al menos una anotación de un usuario, definiendo dicha anotación un grupo de píxeles seleccionados de dicha imagen 2D o un grupo de vóxeles seleccionados de dicha imagen 3D,

[0018] - propagar la selección de dicho grupo de píxeles o vóxeles seleccionados en la imagen 2D o 3D a la imagen 3D o 2D, respectivamente, seleccionando los vóxeles o los píxeles de dicha imagen 3D o 2D que correspondan a los píxeles o vóxeles seleccionados de dicha imagen 2D o 3D, respectivamente,

[0019] - calcular una primera función de transferir basándose en dichos píxeles seleccionados de dicha imagen 2D y aplicar dicha primera función de transferir a los valores de cada canal de la imagen 2D,

[0020] - actualizar la representación de la imagen 2D en la primera interfaz, en la que el color y la transparencia de los píxeles de dicha representación dependen de la primera función de transferir,

[0021] - calcular una segunda función de transferir basándose en dichos vóxeles seleccionados de dicha imagen 3D y aplicar dicha segunda función de transferir a los valores de cada canal de la imagen 3D,

[0022] - actualizar la representación de la imagen 3D en la segunda interfaz, en la que el color y la transparencia de los vóxeles de dicha representación dependen de la segunda función de transferir, en donde el grupo de píxeles o vóxeles seleccionados de la imagen correspondiente se actualiza obteniendo al menos una anotación adicional de un usuario a través de la al menos una interfaz, transfiriéndose la anotación adicional de una interfaz a otra y recalculándose la función de transferir en cada anotación adicional del usuario y para cada interfaz, dando lugar a una actualización de las representaciones de las imágenes en ambas interfaces de forma interactiva.

[0023] De acuerdo con estas características, la primera interfaz y la representación de la imagen 2D (o representación 2D) pueden adaptarse a las necesidades de un primer usuario, por ejemplo, un radiólogo, y la segunda interfaz y la representación de la imagen 3D (o representación 3D) pueden adaptarse a las necesidades de un segundo usuario, por ejemplo, un cirujano.

[0024] De esta manera, un elemento a detectar que pudiera pasar desapercibido en una de las representaciones 2D o 3D tendría más posibilidades de ser detectado en la otra representación. Esta doble verificación, que utiliza las interfaces 2D y 3D, mejora por tanto la detección. Por su puesto, el mismo usuario puede usar tanto la primera como la segunda interfaz para visualizar e interactuar tanto con representaciones 2D como 3D.

[0025] La propagación del grupo de píxeles o vóxeles seleccionados de una imagen a otra permite una adaptación dinámica y simultánea de la primera y la segunda función de transferir. En otras palabras, las anotaciones en una interfaz tienen un efecto sobre las representaciones de las imágenes en ambas interfaces.

[0026] Es más, de acuerdo con las características mencionadas anteriormente, una anotación (por ejemplo, una región de interés) se transfiere de una interfaz a otra. Sin embargo, la función de transferir no se transfiere, esta función de transferir se recalcula en cada anotación del usuario y para cada interfaz. Esto permite obtener de forma interactiva y dinámica la mejor función de transferir para cada una de las interfaces 2D y 3D.

[0027] Tal comportamiento facilita las interacciones entre interfaces, por ejemplo, entre dos usuarios.

[0028] El grupo de píxeles o vóxeles seleccionados de la imagen correspondiente puede actualizarse obteniendo al menos una anotación adicional de un usuario a través de al menos una interfaz.

[0029] En otras palabras, la actualización de las representaciones de las imágenes en ambas interfaces puede ser un proceso interactivo donde cada anotación sucesiva tiene un efecto sobre dichas representaciones.

[0030] Puede seleccionarse un grupo de píxeles en la interfaz 2D o primera interfaz y un grupo de vóxeles en la interfaz 3D o segunda interfaz, la unión de los píxeles y vóxeles correspondientes seleccionados en ambas interfaces puede usarse para calcular la primera y segunda funciones de transferir correspondientes.

[0031] En este contexto, si la parametrización inicial de la función de transferir no es óptima, se pueden reajustar las posiciones de las anotaciones, en la primera o en la segunda interfaz, y la función de transferir se vuelve a parametrizar, lo que permite una convergencia hacia la representación óptima de la imagen.

[0032] Dichas anotaciones pueden referirse a añadir o eliminar píxeles o vóxeles del grupo de píxeles o vóxeles seleccionados.

[0033] Más particularmente, algunos píxeles o vóxeles pueden añadirse mediante anotaciones en una interfaz, mientras que algunos píxeles o vóxeles previamente añadidos pueden eliminarse mediante anotaciones en la otra interfaz.

[0034] Al menos una de las funciones de transferir puede calcularse de acuerdo con las siguientes etapas:

[0035] - seleccionar un primer y un segundo dominio de interés A y B, comprendiendo cada dominio un grupo de píxeles o vóxeles basados en dichos píxeles seleccionados,

[0036] - crear un primer tensor de características y un segundo tensor de características a partir de los píxeles o vóxeles del primer y segundo dominios de interés A y B, respectivamente,

[0037] - definir una prueba estadística que diferencie el primer dominio A del segundo dominio B mediante la máxima discrepancia de medias (MMD) óptima de las estadísticas de las características asociadas al primer dominio A y al segundo dominio B,

[0038] - definir, para cada píxel o vóxel de la imagen, el color C de dicho píxel o vóxel con la siguiente ecuación:

[0041]

[0043] donde f* (v) es la función testigo del valor del píxel o vóxel v, definido por

[0046]

[0048] donde k es un kernel que define un valor representativo de la distancia entre las características asociadas al píxel o vóxel x<i>perteneciente al dominio A y yj y las características asociadas al píxel o vóxel v, siendo m el número de píxel o vóxel en A y n el número de píxel o vóxel en el dominio B

[0049] - definir, para cada píxel o vóxel de la imagen, la transparencia T de dicho píxel o vóxel con la siguiente ecuación:

[0052]

[0054] donde:

[0055] hA(v)= (k * p)(v)es la densidad suavizada, convolución del kernel con la densidad de las características, de las características asociadas al vóxel v del primer dominio A con el kernel k,

[0056] hB(v)= (k * p)(v)es la densidad suavizada, convolución del kernel con la densidad de las características, de las características asociadas al vóxel v delsegundo dominio Bcon el kernel k, y

[0057] ZA,Bes una constante normalizadora que garantiza que máx(ZA,B

) = c con c ≤ 1 una constante predeterminada que define el factor de transparencia máximo.

[0058] Dicho método para calcular la función de transferir requiere poca potencia de cálculo y es adecuado para un gran número de aplicaciones.

[0059] Al menos una de las funciones de transferir puede calcularse de acuerdo con las siguientes etapas:

[0060] - seleccionar un primer y un segundo dominio de interés A y B, comprendiendo cada dominio un grupo de píxeles o vóxeles basados en dichos píxeles seleccionados,

[0061] - crear un primer tensor de características y un segundo tensor de características a partir del primer y segundo dominios de interés A y B, respectivamente,

[0062] - muestrear píxeles o vóxeles en el primer y segundo dominios de interés A y B para que tengan

2nA≤nmáx,dondenAes el número de píxeles o vóxeles de muestra en el primer dominio A ynBes el número de píxeles o vóxeles de muestra en el segundo dominio B y dondenmáxes un valor predeterminado,

[0063] - definir, para cada píxel o vóxel de la imagen, el color C de dicho píxel o vóxel

conf*(v) =(βpA(v)+ 1)g(v)como el producto normalizado de la probabilidad desplazada de que dicho píxel o vóxel pertenezca al dominio A por el valor de una característica,g(v)de dicho píxel o vóxel v.βes una constante predefinida.

[0064] - definir, para cada píxel o vóxel de la imagen, la transparencia T de dicho píxel o vóxel con la siguiente ecuación:

[0065]

[0067] donde:

[0068] hA(v)= (k * p)(v)es la densidad suavizada, convolución del kernel con la densidad de las características, de las características asociadas al vóxel v del primer dominio A con el kernel k,

[0069] hB(v)= (k * p)(v)es la densidad suavizada, convolución del kernel con la densidad de las características, de las características asociadas al vóxel v delsegundo dominio Bcon el kernel k, y

[0070] ZA,Bes una constante normalizadora que garantiza que máx(ZA,B

) = c con c ≤ 1 una constante predeterminada que define el factor de transparencia máximo.

[0071] Dicho método para calcular la función de transferir ofrece prestaciones que permiten a un usuario identificar mejor las porciones de interés en la representación, incluso cuando dicha identificación parezca particularmente difícil o ambigua en la imagen 2D o 3D.

[0072] El primer dominio de interés puede definirse como el grupo de píxeles o vóxeles seleccionados basándose en la anotación.

[0073] El segundo dominio de interés puede definirse automáticamente como otro grupo de píxeles o vóxeles que no contiene los píxeles o vóxeles del grupo de píxeles o vóxeles seleccionados basándose en la anotación.

[0074] Como alternativa, el segundo dominio de interés puede definirse como otro grupo de píxeles o vóxeles que son seleccionados por el usuario, basándose en una anotación complementaria.

[0075] Cada tensor de características puede definir, para cada píxel del correspondiente dominio de interés, al menos un valor de característica seleccionado de la siguiente lista de características:

[0076] • el valor del píxel o vóxel v,

[0077] ∇lvel gradiente regularizado (sobre la escalal) de los valores de píxel o vóxel, la regularización se realiza mediante la convolución Gaussiana ∇lv =∇ (?<?>?<? *>I

) siendo N la Gaussiana de valor medio nulo y desviación estándar deleIes la pila de imágenes,

[0078] •Sl(v) la entropía de un parche de tamañolalrededor del píxel o vóxel v,

[0079] •

diferencia de imágenes convolucionadas en el píxel o vóxelυ,

[0080] donde (l1,l2

) son las dos escalas asociadas a la Gaussiana

[0081] Ies la pila de imágenes,

[0082] •σl(v) la desviación estándar del parche de tamañolcentrado en el píxel o vóxel v,

[0083] •KLl,m(v) la distancia de Kullback-Liebler entre el parche de tamañoly el parche circundante de tamañol+ m centrada en el píxel o vóxel v,

[0084] •µ̃l(v) los valores medios de los vóxeles del parche de tamañolcentrado en el píxel o vóxel v,

[0085] • ∇

la derivada logarítmica de la imagen convolucionada en el píxel o vóxel v,

[0086] •dp-UMAP,l,m(v) la distancia euclídea de baja dimensión en el espacio latente generada por un UMAP paramétrico para un parche de tamañoly el parche circundante de tamañol+ m centrado en el píxel o vóxel v. Esta función se usa en soluciones especializadas donde se ha reunido una base de datos de imágenes médicas. Se ha entrenado una UMAP paramétrica en un conjunto predefinido de parches de tamaño sobre cortes de imagen 2D en los 3 ejes principales (Sagital, Coronal y Axial). El entrenamiento se ha realizado para reducir la dimensión del parche a un espacio latente 2D. Al evaluar la distancialyl+ m se aproximan al valor más cercano utilizado para el entrenamiento.

[0087] •(r, θ)p-UMAP(v) las coordenadas polares del píxel o vóxel en el espacio latente generadas por un UMAP paramétrico se centra en el píxel o vóxel v,

[0088] •Sp-UMAP,l(v) la superficie convexa del dominio de tamañolalrededor del píxel v

[0089] Dicho kernel k puede seleccionarse de entre la siguiente lista de núcleos:

[0090] -

[0092] -

[0093] -

[0096]

[0098] -

[0100]

[0102] -

[0104] donde:

[0105] - x y x' son características de los píxeles o vóxeles correspondientes, vectores de tamaño hasta 8,

[0106] - {σ, l, p, σb, σv, α,γ} son hiperparámetros de los núcleos, estos parámetros pueden estar predefinidos, o establecerse automáticamente o por el usuario.

[0107] Los hiperparámetros mencionados pueden ser modificados o configurados por al menos un usuario a través de al menos una interfaz.

[0108] Una misma imagen médica o serie de imágenes médicas puede usarse para obtener una imagen 2D basada en cortes y una imagen 3D de acuerdo con la invención.

[0109] Dicha serie de imágenes médicas puede ser una serie de imágenes DICOM (Digital Imaging and Communications in Medicine).

[0110] La representación de la imagen 3D puede obtenerse mediante métodos de fundición de rayos en volumen.

[0111] La primera interfaz puede visualizarse en la pantalla de un ordenador.

[0112] La segunda interfaz puede mostrarse en la pantalla de un ordenador y/o en la pantalla de un dispositivo de realidad virtual (VR). Dicho dispositivo de VR puede comprender una pantalla montada en la cabeza con seguimiento de movimiento estereoscópica y un controlador de VR. Dicho dispositivo de VR permite una visualización 3D natural y la interacción con la representación de la imagen 3D.

[0113] El mencionado proceso semiautomático de definición o parametrización de la función de transferir es compatible con opciones manuales adicionales. Un usuario también puede interactuar con la función de transferir y/o añadir o eliminar porciones de la función de transferir. El usuario puede modificar la forma de la función de transferir en un espacio de características de la función de transferir y puede sustituir la función optimizada por una función personalizada. Todos los parámetros asociados a la función de transferir optimizada pueden ser accesibles.

[0114] En esta situación manual, un usuario puede determinar manualmente la transparencia y las características de color de la función de transferir, por ejemplo, en una interfaz especializada o área especializada de la primera o segunda interfaz. Esta interfaz o zona consiste en una curva de absorción interactiva y su correspondiente asignación de colores.

[0115] La forma más sencilla de función de transferir es la versión unidimensional, que asocia una opacidad y un color basándose en el valor de intensidad del píxel. Para esta función de transferir es fundamental la suavidad en la opacidad y la variación de color entre los valores de intensidad de los píxeles. Por consiguiente, se puede utilizar un perfil unidimensional spline o gaussiano para la transición entre colores y una variedad de funciones para definir las opacidades.

[0116] Una interfaz o área 1D (en este caso D se refiere a la dimensión de la función de transferir) puede permitir construir la función de transferir utilizando una spline controlada por el usuario, o un conjunto de funciones de plantilla predefinidas, incluida la Gaussiana, Gaussiana asimétrica, log-normal, Mezcla Gaussiana, etc. La transparencia y el color pueden renderizarse independientemente.

[0117] Aunque apropiado en muchos casos, las descripciones unidimensionales tan simples de la función de transferir pueden suscitar inquietudes, especialmente en datos médicos muy heterogéneos. Efectivamente, las funciones de transferir unidimensionales, como se ha descrito anteriormente, no pueden distinguir entre las distintas partes de los datos de volumen, si resulta que tienen el mismo valor bruto de intensidad de píxel o vóxel.

[0118] Por este motivo, pueden usarse funciones de transferir bidimensionales, considerando dicha función de transferir tanto el valor de los datos (valor de píxel o vóxel) como la magnitud del gradiente. Este enfoque permite ver las interfaces entre partes del volumen (p. ej. entre hueso y tejido) y también distingue mejor las regiones homogéneas.

[0119] La forma más común de función de transferir bidimensional es la que relaciona la intensidad del píxel o vóxel con la magnitud del gradiente (es decir, la primera derivada de la intensidad del píxel o vóxel) o la laplaciana (es decir, la segunda derivada de la intensidad del píxel o vóxel). En el caso de las imágenes de CT, por ejemplo, estos tipos de funciones de transferir son particularmente útiles para aislar tejidos tales como la piel y el hueso. Las interfaces entre regiones homogéneas en este tipo de función de transferir aparecen como arcos en el histograma bidimensional correspondiente. Esto permite un aislamiento (no segmentación) más completo de las estructuras de la imagen, ya que el gradiente o laplaciano es un parámetro adicional a la intensidad del píxel o vóxel para optimizar las representaciones.

[0120] Una interfaz o área 2D puede permitir construir la función de transferir de forma similar a la interfaz o área 1D con un diccionario más complejo. La interfaz o zona puede permitir el uso combinado de la forma, funciones y delimitación geométrica para diseñar la función de transferir.

[0121] De acuerdo con una realización de la invención, una sincronización entre la primera interfaz y la segunda interfaz puede obtenerse mediante al menos un gestor que comprenda un conjunto de procedimientos, clases y programas generadores de mensajes que interconectan y sincronizan dichas interfaces y almacenan variables que controlan información relevante para su visualización (es decir, anotaciones, funciones de transferir, transformaciones de imagen) entre dichas interfaces de usuario.

[0122] El gestor puede comprender un almacenamiento de datos que contenga información en un formato universal legible para todas las interfaces de usuario.

[0123] Puede existir un gestor distinto para cada tipo de información relevante para la visualización. Cada gestor implementa al menos una o cada una de las siguientes funciones genéricas:

[0124] - exportar datos desde un almacenamiento de datos del gestor a un formato legible fuera de una aplicación (por ejemplo, texto CSV, Imagen PNG, malla STL),

[0125] - importar datos desde fuera de la aplicación al almacenamiento de datos del gestor (por ejemplo, texto CSV, Imagen PNG, malla STL),

[0126] - recibir datos desde al menos una interfaz y almacenar dichos datos en el almacén de datos del gestor y actualizar todas las demás interfaces con una lectura visual de esta inclusión de datos,

[0127] - eliminar datos desde al menos una interfaz y eliminar dichos datos del almacén de datos del gestor y actualizar todas las demás interfaces con una lectura visual de esta eliminación de datos,

[0128] - actualizar la lectura visual de una determinada interfaz con la adición de un nuevo elemento visual (es decir, un punto de referencia, medición con regla, medición volumétrica),

[0129] - eliminar la lectura visual de una interfaz determinada con la eliminación de un elemento visual existente (por ejemplo, un punto de referencia, medición con regla, medición volumétrica).

[0130] Cada elemento de datos almacenado (por ejemplo, punto de referencia, medición con regla, medición volumétrica, etc.) puede tener asociado un identificador único que se utiliza para garantizar la sincronización entre cada interfaz. Los usuarios pueden introducir los datos utilizando un ratón o el controlador de VR en la interfaz 2D o 3D correspondiente. La información posicional, así como las pulsaciones de botones del ratón o del mando de VR, pueden ser recibidas por un gestor de entradas que las transcribe en una acción. Por ejemplo, un usuario que haga clic en una región específica de un corte de imagen 2D puede provocar una acción definida por la creación de un punto de referencia. Un usuario que anota con el ratón puede provocar tanto la creación de anotaciones en la representación 2D como, a través de la propagación, una anotación correspondiente en la representación 3D, y viceversa para la creación de anotaciones con el controlador de VR.

[0131] Todas las acciones de una interfaz pueden tener sus acciones correspondientes en la otra. Las acciones pueden incluir transformaciones de la imagen tales como el recorte de regiones, supresión de la región, ajustes de orientación y escala o zoom. Otro tipo de acción puede ser añadir anotaciones a una imagen, tales como puntos de referencia, mediciones con regla y etiquetado por píxel. De manera similar, la eliminación de la anotación puede constituir una acción. Una acción puede corresponder a ajustes de la función de transferir, que controla las características visuales de la representación 2D o de la representación 3D. Esto es, ajustar el brillo, color y transparencia de la imagen en función de las características asociadas al píxel o vóxel.

[0132] Después de su creación, puede efectuarse una lectura visual de una acción sobre la interfaz respectiva en una actualización de interfaz. Por ejemplo, una acción en la primera interfaz que crea un punto de referencia puede representar gráficamente el punto de referencia en la primera interfaz.

[0133] La actualización de interfaz puede ir seguida de la activación de un evento mediante un activador de eventos que notifique al gestor la acción del usuario.

[0134] Las interfaces pueden estar perfectamente sincronizadas para garantizar la coherencia de los datos y una comunicación ágil entre ambas interfaces y sus respectivos usuarios. Un medio para hacerlo es usar un gestor, que puede tener dos funciones principales. El gestor puede conectar ambas interfaces mediante invocaciones de eventos para garantizar que las acciones de una interfaz se manifiesten en la otra. La creación de una acción puede lanzar un evento en la interfaz correspondiente que notifica al gestor que a continuación gestiona. A continuación, el gestor puede recibir argumentos de eventos de la interfaz correspondiente y realizar dos operaciones en secuencia. Primero puede guardar la información almacenada en los argumentos en un almacenamiento de datos interno centralizado en un formato legible por ambos tipos de interfaz. Por ejemplo, estos datos pueden ser la posición de una anotación o una transformación de la imagen. Como segunda etapa, el gestor puede lanzar un evento en la otra interfaz y puede enviar los argumentos pertinentes. La unidad de actualización de interfaz puede recibir estos argumentos y transcribirlos directamente en los elementos gráficos adecuados.

[0135] Como se ha mencionado anteriormente, se puede asociar un gestor a cada tipo de anotación. Por ejemplo, un gestor puede encargarse de añadir y eliminar puntos de referencia y otro gestor puede encargarse de los cambios en la función transferir.

[0136] Tal gestor es un medio óptimo para la coherencia, consistencia, sincronización y seguridad de datos entre múltiples interfaces de usuario.

[0137] El hecho de tener toda la información visual relevante de las distintas interfaces de usuario almacenada en un formato universal en una ubicación centralizada elimina los conflictos entre los tipos de datos presentados en la interfaz respectiva.

[0138] El efecto de una acción (adición, eliminación, transformación de datos) en una interfaz de usuario se representa inmediatamente en todas las demás interfaces.

[0139] La exportación de datos es siempre coherente, ya que las anotaciones de todas las interfaces de usuario se almacenan en una ubicación centralizada.

[0140] Las funciones que necesitan acceder a varios tipos de datos (por ejemplo, la función de transferir que necesita acceder a información de píxeles o vóxeles etiquetados) pueden hacerlo directamente accediendo al tipo de gestor correspondiente.

[0141] Un radiólogo puede hacer una anotación en la primera interfaz (la interfaz de usuario a la que está acostumbrado) y exactamente la misma anotación aparecerá representada en 3 dimensiones en la segunda interfaz para que la aprecie un cirujano, para que no haya ambigüedad en la anotación que se visualiza. De forma adicional, un cirujano puede hacer una anotación en la segunda interfaz y la misma anotación aparecerá en la primera interfaz. La navegación del usuario por los datos de la primera interfaz puede visualizarse dentro de la segunda interfaz en forma de 3 planos 2D en movimiento. La posición del ratón en la primera interfaz puede indicarse dentro de la segunda interfaz como una esfera resaltada.

[0142] La navegación del usuario por los datos de la interfaz 3D puede visualizarse dentro de la interfaz 2D en forma de movimiento autónomo del de los planos sagital, axial y coronal. La posición del controlador de VR puede indicarse en forma de un círculo de color en movimiento.

[0143] Más generalmente, la posición del ratón o del controlador de VR en una interfaz puede verse inmediatamente en la otra interfaz.

[0144] La función de datos centralizados garantiza que los datos visualizados en las distintas interfaces de usuario son los correctos. El gestor puede adaptarse para garantizar una aplicación modular. El modelo de gestor puede garantizar que se acceda a cada información relevante para la visualización con la misma interfaz. La integración de nuevas funciones puede no requerir cambios en el gestor. Esta abstracción permite una implementación sencilla de nuevos tipos de datos que se sincronizarán a través de las interfaces de usuario.

[0145] El gestor puede usar un activador de eventos para actualizar toda la interfaz con la adición o eliminación de un tipo de dato relevante para la visualización en tiempo real. Esto garantiza la visualización instantánea de los tipos de datos en todas las interfaces.

[0146] Las anotaciones pueden ser información que se superpone a las representaciones visuales. En concreto, las anotaciones idénticas pueden representarse en la primera o en la segunda interfaz de usuario. Aunque son idénticas en precisión de posición y orientación, su aspecto puede adaptarse a cada interfaz. A continuación se describen algunas de las anotaciones que puede añadir o eliminar un usuario en la interfaz correspondiente.

[0147] Un punto de referencia es una anotación colocada por un usuario en una ubicación específica de píxel o vóxel en una imagen o en una representación. Puede representarse mediante una esfera, bandera o flecha.

[0148] Una anotación con regla es una medición de distancia 2D o 3D superpuesta a una imagen o representación. Normalmente se representa mediante una línea entre los dos extremos que definen la medición.

[0149] Una anotación de volumen es una medición de volumen dentro de una imagen 3D o dentro de una representación 3D. Puede mostrarse mediante una esfera, elipsoide u otra forma geométrica 3D. Una anotación de volumen también puede servir como medio para medir la superficie de una región.

[0150] Una etiqueta es una anotación que representa un píxel o vóxel individual en una imagen o representación. Puede mostrarse mediante un color semitransparente que se superpone al píxel o vóxel original de la imagen.

[0151] Un recuadro delimitador es una anotación que se usa para identificar una región u objeto en una imagen o representación. Puede mostrarse mediante el contorno de un recuadro en una imagen 2D o en una representación 2D y mediante un recuadro 3D en una imagen 3D o en una representación 3D.

[0152] Una trayectoria es una curva interpolada por splines definida en cualquiera de la primera y segunda interfaces, que permite crear un procedimiento de visualización automatizado a lo largo de la misma. La trayectoria puede aparecer en todas las interfaces como una línea coloreada.

[0153] Las anotaciones pueden usarse para añadir información de posición dentro de una pila de imágenes volumétricas y asegurar su correcta visualización en imagen 2D o representación 2D e imagen 3D o representación 3D. Dichas anotaciones pueden contener información relativa al número de tumores (por ejemplo, con puntos de referencia), el tamaño de un tumor (es decir, con la medición con regla), el volumen de un tumor (por ejemplo, mediante una anotación de volumen), la posición de un punto de referencia, la segmentación automatizada o semiautomatizada de una estructura de interés y de un objeto segmentado (instrumento quirúrgico, objeto extraño).

[0154] El uso de anotaciones, tales como puntos de referencia y mediciones con regla, es un medio para que el radiólogo comunique al cirujano la información clínica contenida en una imagen médica. Dicha información puede incluir el tamaño, volumen y número de tumores, así como los márgenes de escisión. Los puntos de referencia también pueden indicar áreas de interés, tal como vasos sanguíneos candidatos para procedimientos oncoplásticos, la presencia de defectos congénitos del corazón y la posición justamente de las fracturas óseas.

[0155] El cirujano puede anotar la imagen médica para planificar los gestos quirúrgicos. Por ejemplo, la ubicación de los planos de incisión puede determinarse con el uso de la regla y las herramientas de marcado. Para procedimientos laporascópicos, las anotaciones de trayectoria permiten una visualización intuitiva de la trayectoria quirúrgica.

[0156] Las anotaciones de etiquetas y recuadros delimitadores en la representación 2D o imagen 2D desempeñan un papel fundamental en la definición de la función de transferir óptima para la otra interfaz. Efectivamente, como se ha mencionado anteriormente, la información local contenida en la región etiquetada o delimitada indica la región de interés (grupo de píxeles o vóxeles) que puede integrarse fácilmente en la parametrización de la función de transferir. Una transformación de imagen, como se ha mencionado anteriormente, es una edición geométrica realizada sobre una imagen.

[0157] La transformación de imagen puede comprender su recorte o supresión.

[0158] El recorte de imagen consiste en eliminar el exterior de una región de una imagen. Una región recortada se selecciona normalmente mediante formas geométricas comunes, tales como un cuadrado, cubo o esfera.

[0159] Los dominios de recorte pueden aparecer tanto en la primera como en la segunda interfaz y pueden modificarse desde ambas interfaces. La sincronización de la interfaz permite que la región de recorte se mueva simultáneamente en todas las interfaces.

[0160] La supresión de imágenes consiste en eliminar el interior de una región de una imagen. Normalmente, una región suprimida puede seleccionarse de formas geométricas comunes, tales como un cuadrado, cubo o esfera.

[0161] Las transformaciones de imagen preparan las imágenes médicas para que los especialistas las visualicen sin trabas. Con rutinas de recorte, por ejemplo, se puede aislar una región u órgano concreto de interés. La rutina de supresión puede permitir eliminar regiones que no sean pertinentes para el estado o la patología del paciente.

[0162] Las imágenes médicas, como los escáners MRI y CT, normalmente captan información significativa de la imagen que no es relevante para el estado o la patología del paciente. Por ejemplo, un escáner CT hepático capta señales del corazón, intestinos, pulmones y caja torácica que, de otro modo, pueden oscurecer la visualización deseada del hígado. Al recortar o suprimir las partes irrelevantes de la imagen, puede ser posible una visualización médica no oscurecida tanto en la primera como en la segunda interfaz.

[0163] Es más, en muchas situaciones, las imágenes (y, en particular, las imágenes médicas) son multicanal. Por ejemplo, la misma zona de un mismo paciente puede visualizarse varias veces con distintos parámetros de adquisición o modalidades de imagen. Cada imagen de dicha zona puede constituir entonces un canal de una imagen. Este puede ser el caso de múltiples ponderaciones de MRI obtenidas en la misma sesión (por ejemplo, T1, T1-inyectado, T2, etc.). También puede corresponder al caso de que al mismo paciente se le haga una MRI y un escáner CT.

[0164] La fusión multimodal de imágenes es el acto de relacionar la información de estos múltiples canales entre sí.

[0165] La fusión de imágenes puede realizarse utilizando canales. Cada canal puede estar asociado a una función de transferir dedicada.

[0166] Los canales y las funciones multitransferir pueden ser gestionados por el gestor.

[0167] Todos los canales de imagen pueden visualizarse de forma independiente activando canales individuales.

[0168] Un subconjunto de canales de imagen puede visualizarse conjuntamente activando múltiples canales.

[0169] Las funciones de transferir asociadas pueden aplicarse a la imagen 3D en la segunda interfaz para obtener la representación 3D.

[0170] En la primera interfaz, se pueden fusionar los múltiples canales de imagen. Sin embargo, lo habitual es mostrar sólo un canal en la primera interfaz.

[0171] Las anotaciones realizadas en un canal de la imagen pueden transmitirse simultáneamente a todos los canales de dicha imagen. Las anotaciones en un canal pueden usarse para generar funciones de transferir en todos los canales. Una función de transferir definida en un canal puede aplicarse a otros canales.

[0172] Cuando la alineación de las imágenes multimodales no está garantizada por la tecnología de grabación o cuando la morfología del paciente se alteró entre las distintas imágenes, el procedimiento puede actualizarse utilizando puntos de referencia que pueden posicionarse en la representación o imagen 2D o 3D en múltiples canales, dichos canales se realinean unos con otros utilizando dichas anotaciones.

[0173] La fusión multimodal de imágenes es útil para consolidar conjuntamente la información contenida en diferentes secuencias o modalidades de imágenes, definiendo cada secuencia o modalidad un canal. Al alinear estos tipos de información se obtiene una imagen mejorada del estado del paciente.

[0174] Un ejemplo multisecuencia incluiría relacionar la información complementaria contenida en una MRI ponderada en T1 con la de una MRI ponderada en T2 en el contexto de la obtención de imágenes de la próstata. En la imagen ponderada en T2, normalmente, la próstata está bien delimitada. En la imagen ponderada en T1, se representa la visualización de los efectos del tratamiento en relación con los vasos sanguíneos en particular. Combinar estos dos tipos de información en una única visualización, utilizando las mismas anotaciones, puede mejorar la comprensión de los especialistas a la hora de evaluar una opción de tratamiento.

[0175] Un ejemplo de secuencias múltiples también puede incluir la relación de imágenes de MRI de un mismo paciente tomadas en distintos momentos de un tratamiento. Por ejemplo, una MRI mamaria previa a un tratamiento neoadyuvante puede relacionarse con la quimioterapia posterior para evaluar la respuesta tumoral. Relacionar estos dos tipos de información en la misma visualización ayuda a los cirujanos de cáncer de mama a definir los márgenes adecuados de escisión del tumor.

[0176] Un ejemplo de adquisición múltiple incluiría la fusión de una secuencia de escáners MRI y CT. Una aplicación en este contexto sería para evaluar la infiltración de un tumor en el tejido óseo. La MRI con contraste tisular mejorado permite visualizar el tumor, mientras que el escáner CT permite visualizar claramente el tejido óseo.

[0177] La invención también se refiere a un programa informático, que comprende instrucciones para poner en práctica al menos una parte del método antes mencionado cuando el programa informático es ejecutado por un procesador. La invención también se refiere a un dispositivo informático que comprende:

[0178] - medios de entrada para recibir al menos una imagen de una zona de un objeto,

[0179] - una memoria para almacenar al menos las instrucciones del citado programa informático,

[0180] - un procesador que accede a la memoria para leer dichas instrucciones y ejecutar a continuación dicho método, - medios de interfaz para visualizar la representación de la imagen obtenida mediante la ejecución de dicho método. La invención también se refiere a un medio de grabación no transitorio legible por ordenador en el que se registra un programa informático para poner en práctica dicho método, cuando el programa informático es ejecutado por un procesador.

[0181] La invención también se refiere a un método de generación de un modelo 3D de una estructura anatómica de interés médico de un paciente, en donde el método comprende:

[0182] - aplicar por medios informáticos el método para visualizar al menos una zona de un objeto como se ha descrito en el presente documento, en el que el objeto se muestra en una imagen médica 3D y es una estructura anatómica del paciente que comprende una zona de interés médico y la imagen médica 3D es una imagen de resonancia magnética (MRI), una imagen de tomografía computarizada (CT), una imagen de tomografía por emisión de positrones (PET) o una imagen de registros ecográficos procesada numéricamente y

[0183] - mostrar un modelo 3D de la estructura anatómica del paciente que incluye la zona de interés médico, por ejemplo, usando medios de realidad virtual, preferentemente un casco de realidad virtual.

[0184] En algunas realizaciones del método de generación de un modelo 3D, un usuario proporciona al menos una anotación en la imagen médica 3D en donde la al menos una anotación selecciona píxeles o vóxeles en la zona de interés médico para mejorar la visualización de dicha zona y/o la visualización de los límites de la zona de interés y/o la al menos una anotación selecciona píxeles o vóxeles fuera de la zona de interés médico para permitir la transformación de imagen mediante el recorte o supresión de estructuras que interfieren, tales como tejidos circundantes en la zona de interés, huesos, músculos o vasos sanguíneos.

[0185] En algunas realizaciones, la zona de interés es o abarca la imagen médica de una lesión o un grupo de lesiones, un tumor, especialmente un cáncer, o una anomalía anatómica.

[0186] El usuario puede ser una persona, en particular, personal médico, entrenado para visualizar, anotar y/o interactuar con los datos recogidos de la imagen médica.

[0187] En algunas realizaciones del método, el modelo 3D se genera utilizando datos de imágenes 3D sin procesar o, alternativamente, utilizando datos de imágenes 3D segmentadas.

[0188] En algunos ejemplos, las características geométricas abarcan la relación de volumen de la zona de interés, en particular, de la lesión o lesiones o del tumor o de las anomalías anatómicas con respecto al volumen de la estructura anatómica. En algunas realizaciones, las características de posición de la zona de interés abarcan la posición relativa de la zona con respecto a los contornos de la estructura anatómica o elementos constitutivos de la misma.

[0189] En algunos ejemplos, las características morfológicas, geométricas o de posición permiten detectar o visualizar una zona de interés multicéntrica o multifocal, en particular, de lesiones multicéntricas o multifocales.

[0190] En algunos ejemplos, las características morfológicas, geométricas o de posición se evalúan en el contexto natural de la zona de interés visualizada en el modelo 3D, tal como en presencia de vasos sanguíneos, músculos u otros tejidos representados, es decir, sin tratamiento previo de los datos mostrados. En otras realizaciones, las características morfológicas, geométricas o de posición se evalúan después de haber realizado la transformación de la imagen antes de mostrar el modelo 3D, tal transformación implica o consiste en recortar o suprimir estructuras que interfieren, como los tejidos circundantes de la zona de interés, huesos, músculos o vasos sanguíneos

[0191] En algunos ejemplos son para la detección o monitorización de una zona de interés que es un tumor (incluido un tumor que abarca múltiples lesiones) en un paciente en donde las métricas visualizadas o medidas se seleccionan en el grupo de localización espacial del tumor en el órgano específico o en una parte específica del mismo, determinación del número de lesiones, posición del tumor en relación con los contornos de la estructura anatómica o parte del cuerpo afectada, en particular, del órgano afectado, especialmente la determinación de los límites (márgenes) del tumor, la determinación del volumen del tumor o de la relación de volúmenes respectivamente del tumor y del volumen de residencia del órgano que lo contiene. En un ejemplo particular, el tumor es un cáncer de mama.

[0192] Los métodos de la invención pueden usarse para ayudar en la toma de decisiones médicas relacionadas con la enfermedad o el estado de salud de un paciente, para ayudar en la planificación médica preoperatoria, incluyendo, ayudar en la preparación de la cirugía. En particular, los métodos pueden usarse para aplicaciones en radiología, temas específicos de la cirugía, en el diagnóstico clínico o el seguimiento del estado o la enfermedad del paciente. Las aplicaciones en el campo de la cirugía demostraron mejorar la precisión de la visualización y el análisis de imágenes médicas y, por consiguiente, proporcionar datos e información valiosos para diseñar o llevar a cabo una estrategia quirúrgica. En consecuencia, la invención puede aplicarse en el campo del tratamiento del cáncer, en particular, en el diagnóstico del cáncer o en la planificación de la cirugía oncoplástica, en particular, en el campo del tratamiento quirúrgico del cáncer de mama, pero también más ampliamente en el campo del tratamiento del trauma, especialmente en la planificación de la cirugía traumatológica, en el campo del tratamiento de las enfermedades anatómicas, tales como las cardiopatías, en particular las que afectan a la anatomía cardíaca, en el campo de las enfermedades hepáticas. También puede aplicarse en el campo de la cirugía pediátrica o la cirugía ortopédica. Otras características, detalles y ventajas se mostrarán en la siguiente descripción detallada y en las figuras, en las que:

[0193] - la figura 1 muestra un ejemplo de la primera interfaz que muestra una representación 2D de una imagen 2D antes de la selección de píxeles o vóxeles mediante anotaciones,

[0194] - la figura 2 muestra un ejemplo de la segunda interfaz que muestra una representación 3D de una imagen 3D antes de la selección de píxeles o vóxeles mediante anotaciones,

[0195] - la figura 3 corresponde a la figura 1, tras actualizar la representación 2D de la imagen 2D a partir de una definición o parametrización semiautomática de una función de transferir, seleccionando píxeles o vóxeles mediante anotaciones,

[0196] - la figura 4 corresponde a la figura 2, tras actualizar la representación 3D de la imagen 3D a partir de dicha definición o parametrización semiautomática de la función de transferir correspondiente.

[0197] Las figuras 1 y 2 representan la primera y la segunda interfaz mostrando, respectivamente, una primera representación o representación 2D de una imagen 2D de una zona específica de un paciente y una segunda representación o representación 3D de una imagen 3D de dicha zona específica. La zona de interés en estas figuras es un tumor de cáncer de mama situado en la mama derecha de una paciente. El tumor es claramente visible en la representación 2D de la interfaz, sin embargo, para visualizar el tumor 3D se requiere una parametrización precisa de la función transferir. Las figuras 3 y 4 ilustran las mismas zonas del paciente, tras actualizar las funciones de transferencia en dichas interfaces. El primer y segundo dominios de interés A y B están representados en la figura 3. En la figura 3 se han añadido las letras y las líneas (líneas sombreadas y líneas continuas) que designan dichos dominios de interés A y B.

[0198] Como se ha mencionado anteriormente, dichas imágenes 2D y 3D pueden obtenerse mediante los mismos datos de imagen volumétrica, que pueden ser multicanal. La imagen 2D puede ser una imagen basada en cortes de dicha imagen volumétrica.

[0199] En la primera y/o la segunda interfaz, un primer usuario (por ejemplo, un radiólogo) y un segundo usuario (por ejemplo, un cirujano) pueden seleccionar un grupo de píxeles o vóxeles en dichas representaciones 2D y 3D, mediante anotaciones. Dicha selección puede ser creada y modificada por ambos usuarios a medida que las anotaciones se actualizan, se hacen visibles y modificables tanto en las interfaces como en las representaciones.

[0200] Se puede calcular una función de transferir para cada interfaz o para una sola interfaz (por ejemplo, para la segunda interfaz), en función de dicha selección.

[0201] La función de transferir se define para optimizar una función objetivo ℒ. Una función de transferir se define como un mapeo Φ:V→𝒢⁡siendo V el espacio de las características de píxel o vóxel y 𝒢⁡un conjunto de espacio de funciones (que depende en su naturaleza de la aplicación) en el que se definen dos funciones:T(v)la función de transparencia yC(v)la función de asignación de colores, siendoυlas características asociadas a un píxel o un vóxel.

[0202] En las realizaciones o aplicaciones descritas a continuación, definiremos la función objetivo optimizar ℒ⁡y el procedimiento para obtener(T, C).

[0203] En una primera realización o aplicación, se utiliza una prueba estadística para definir la función de transferir. Más particularmente, dicha prueba se basa en la discrepancia media máxima (MMD).

[0204] Se define la siguiente lista de núcleos:

[0205] -

[0207] -

[0210]

[0212] -

[0214] -

[0217]

[0219] -

[0221] donde:

[0222] - x y x' son características de los píxeles o vóxeles correspondientes-- {σ, l, p, σb, σv, α,γ} son hiperparámetros de los núcleos, estos parámetros pueden estar predefinidos, o establecerse automáticamente o por el usuario.

[0223] Los hiperparámetros mencionados pueden ser modificados o ajustados por el usuario a través de al menos una interfaz.

[0224] La Máxima Discrepancia de Medias se basa en la noción de incrustación de medidas de probabilidad en un Espacio de Hilbert de Núcleos Reproducibles (RKHS). La incrustación de medidas de probabilidad es una generalización de los métodos kernel que tratan la incrustación de puntos de un espacio de entrada como elementos de un RKHS. Tenemos una probabilidad P y un kernel continuo definido positivo de valor realk(ℋ⁡que es el RKHS correspondiente) definidos en un espacio topológico separableξ, P se incrusta en ℋ⁡comoµP =∫k(., x)dP(x), denominado media del kernel.

[0225] Basándonos en la incrustación anterior de P, definimos una distancia, la máxima discrepancia de medias (MMD), en el espacio de las medidas de probabilidad como la distancia entre los elementos medios correspondientes, es decir,

[0228]

[0230] Definimos la densidad regularizada como la convolución del histograma de características con el kernelK(x, x')= kG(x - x')comoh(v)

[0231] Aunque las características pueden adaptarse a una aplicación específica, las características comunes asociadas a los vóxeles de una pilalson:

[0232] • el valor del píxel o vóxel v,

[0233] ∇lvel gradiente regularizado (sobre la escalal) de los valores de píxel o vóxel, la regularización se realiza mediante la convolución Gaussiana

siendo N la Gaussiana de valor medio nulo y desviación estándar deleIes la pila de imágenes,

[0234] •Sl(v) la entropía de un parche de tamañolalrededor del píxel o vóxel v,

[0235] •

diferencia de imágenes convolucionadas en el píxel o vóxelυ,

[0236] donde (l1,l2

) son las dos escalas asociadas a la Gaussiana

[0237] Ies la pila de imágenes,

[0238] •-σl(v) la desviación estándar del parche de tamañolcentrado en el píxel o vóxel v,

[0239] •KLl,m(v) la distancia de Kullback-Liebler entre el parche de tamañoly el parche circundante de tamañol+ m centrada en el píxel o vóxel v,

[0240] •µ̃l(v) los valores medios de los vóxeles del parche de tamañolcentrado en el píxel o vóxel v,

[0241] • ∇l<*>I

) la derivada logarítmica de la imagen convolucionada en el píxel o vóxel v,

[0242] •dp-UMAP,l,m(v) la distancia euclídea de baja dimensión en el espacio latente generada por un UMAP paramétrico para un parche de tamañoly el parche circundante de tamañol+ m centrado en el píxel o vóxel v. Esta función se usa en soluciones especializadas donde se ha reunido una base de datos de imágenes médicas. Se ha entrenado una UMAP paramétrica en un conjunto predefinido de parches de tamaño sobre cortes de imagen 2D en los 3 ejes principales (Sagital, Coronal y Axial). El entrenamiento se ha realizado para reducir la dimensión del parche a un espacio latente 2D. Al evaluar la distancialyl+ m se aproximan al valor más cercano utilizado para el entrenamiento.

[0243] •(r, θ)p-UMAP(v) las coordenadas polares del píxel o vóxel en el espacio latente generadas por un UMAP paramétrico se centra en el píxel o vóxel v,

[0244] •Sp-UMAP,l(v) la superficie convexa del dominio de tamañolalrededor del píxel v

[0245] En función del tiempo de ejecución previsto, las características se evalúan en la imagen 2D o en el corte de interés (el corte donde el radiólogo decidió anotar los datos) o en la imagen 3D volumétrica completa. No provoca cambios en el siguiente algoritmo.

[0246] Al menos una de las funciones de transferencia se calcula según los pasos siguientes:

[0247] - seleccionar un primer y un segundo dominio de interés A y B, comprendiendo cada dominio un grupo de píxeles o vóxeles basados en dichos píxeles seleccionados,

[0248] - crear un primer tensor de característicasvAy un segundo tensor de característicasvBa partir de los píxeles o vóxeles del primer y segundo dominios de interés A y B, respectivamente. Cada tensor de característicasvAovBdefine, para cada píxel del correspondiente dominio de interés A o B, al menos un valor de característica seleccionado de la lista de características antes mencionada. Si se usa una tarjeta gráfica de 16 bits, el número total de características de ambos tensores de característicasvAovBpuede ser de hasta 4 características. Si se usa una tarjeta gráfica de 32 bits, el número total de características de ambos tensores de característicasvAovBpuede ser de hasta 8 características.

[0249] vAovBtienen un tamaño respectivo de (nA, mA) y (nB, mB) donde

[0250] nAes el número de píxeles o vóxeles del dominio A

[0251] mAes el número de características de cada píxel o vóxel del dominio A

[0252] nBes el número de píxeles o vóxeles del dominio B

[0253] mBes el número de características de cada píxel o vóxel del dominio B

[0254] nApuede ser diferente denBymApuede ser diferente demB.

[0255] - en función de la limitación de la máquina, definirnmáx, número máximo de píxeles o vóxeles (A y B) a considerar - elegir un kernel de la lista predefinida de núcleos anterior y calcular la prueba MMD óptima para diferenciar A y B utilizando la definición y ecuación siguientes:

[0257] Tenemos la función testigof*(v)∝µP - µQy

la media empírica de características para P:

[0258] ϕ(x)=[...ϕi(x) ...] es el mapa de característicasϕ(x) ∈ ℱ, k(x,x')=

y ℱ⁡la clase de las funciones. - definir, para cada píxel o vóxel de la imagen, el color C de dicho píxel o vóxel con la siguiente ecuación: donde f*(v) es la función testigo del valor del píxel o vóxel v, definida por

[0261]

[0263] donde k es un kernel que define un valor representativo de la distancia entre las características asociadas al píxel o vóxelxiperteneciente al dominio A yyjy las características asociadas al píxel o vóxel v, siendo m el número de píxel o vóxel en A y n el número de píxel o vóxel en el dominio B,

[0264] - calcular el color C y T definidos por las siguientes ecuaciones:

[0267]

[0271]

[0273] donde:

[0274] hA(v)= (k * p)(v)es la densidad suavizada, convolución del kernel con la densidad de las características, de las características asociadas al vóxel v del primer dominio A con el kernel k,

[0275] hB(v)= (k * p)(v)es la densidad suavizada, convolución del kernel con la densidad de las características, de las características asociadas al vóxel v del segundo dominio B con el kernel k, y

[0276] ZA,Bes una constante normalizadora que garantiza que máx(ZA,B

) = c con c ≤ 1 una constante predeterminada que define el factor de transparencia máximo.

[0277] En una segunda realización o aplicación, se utiliza una distribución de probabilidad sobre las características para definir la función de transferir.

[0278] El algoritmo define el color del píxel o vóxel a partir del producto de una característica de interés y la probabilidad desplazada de que el vóxel pertenezca a una de las estructuras (A, B) realizado por aprendizaje de una sola vez. En el presente documento, el aprendizaje se realiza sólo sobre los datos con los que trabajan el radiólogo y los cirujanos. El aprendizaje no se realiza a partir de un conjunto de datos. Algunas características utilizadas para el aprendizaje en una sola toma pueden derivarse de inferencias entrenadas en conjuntos de datos específicos.

[0279] Se define la siguiente lista de núcleos:

[0280] -

[0282] -

[0285]

[0287] -

[0289] -

[0291] -

[0293] Definimos el clasificador binario utilizando un proceso Gaussiano. Asociamos al dominio A la "etiqueta" y = 1 y al dominio B la "etiqueta" y = -1. Definimos las variables latentesf(v)y la función logística π(v) ≡p(y =+1|v) =𝒮⁡(f(v)) Siendo 𝒮⁡ la función logística. Definimos V el conjunto de píxeles o vóxeles etiquetados (correspondientes a los dominios (A,B) en lo siguiente)

[0294] Tenemos para un píxel o vóxelv*

[0297]

[0299] con

[0302]

[0304] donde

[0305] Al menos una de las funciones de transferencia se calcula según los pasos siguientes:

[0306] - seleccionar un primer y un segundo dominio de interés A y B, comprendiendo cada dominio un grupo de píxeles o vóxeles basados en dichos píxeles seleccionados,

[0307] - definir en la plataforma de cálculo el número máximo de píxeles o vóxelesnmáxque pueden usarse en el procedimiento

[0308] - definir la lista de características de interés {...gi(v) ... }

[0309] - crear un primer tensor de característicasvAy un segundo tensor de característicasvBa partir de los píxeles o vóxeles del primer y segundo dominios de interés A y B, respectivamente. Cada tensor de característicasvAovBdefine, para cada píxel del correspondiente dominio de interés A o B, al menos un valor de característica seleccionado de la lista de características antes mencionada para la primera realización o aplicación.

[0310] -vAovBtienen un tamaño respectivo de(nA, mA) y (nB, mB) donde

[0311] -nAes el número de píxeles o vóxeles del dominio A

[0312] -mAes el número de características de cada píxel o vóxel del dominio A

[0313] -nBes el número de píxeles o vóxeles del dominio B

[0314] -mBes el número de características de cada píxel o vóxel del dominio B

[0315] -nApuede ser diferente denBymApuede ser diferente demB.

[0316] - muestrear vóxeles o píxeles para (A, B) que tiene

donde:

[0317]

es el número de píxeles o vóxeles muestreados en el dominio A

[0318]

es el número de píxeles o vóxeles muestreados en el dominio B

[0319] - definir un clasificador como un clasificador de proceso Gaussiano binario (P,π)

[0320] - calcular la aproximación de Laplace

[0321] - calcular el color C y T definidos por las siguientes ecuaciones:

[0324]

[0326] como el producto normalizado de la probabilidad desplazada de que dicho píxel o vóxel pertenezca al dominio A por el valor de una característica,g(v)de dicho píxel o vóxel v.βes una constante predefinida.

[0329]

[0331] donde:

[0332] hA(v)= (k * p)(v)es la densidad suavizada, convolución del kernel con la densidad de las características, de las características asociadas al vóxel v del primer dominio A con el kernel k,

[0333] hB(v)= (k * p)(v)es la densidad suavizada, convolución del kernel con la densidad de las características, de las características asociadas al vóxel v del segundo dominio B con el kernel k, y

[0334] ZA,Bes una constante normalizadora que garantiza que máx(ZA,B

) = c con c ≤ 1 una constante predeterminada que define el factor de transparencia máximo.

[0335] En la aplicación informática, el procedimiento mencionado se ejecuta para el conjunto de núcleos definidos anteriormente. Dentro de al menos una interfaz, el usuario correspondiente puede cambiar el kernel. Por defecto, puede aparecer el kernelkG.

[0336] Este enfoque bayesiano permite generalizar mejor el resultado si los píxeles o vóxeles marcados son muy pocos. Si hay numerosos píxeles o vóxeles etiquetados, La MMD (primera realización o aplicación) permitirá cálculos más rápidos y una mayor eficacia que el enfoque bayesiano (segunda realización o aplicación).

Claims (16)

1. REIVINDICACIONES

1. Método implementado por medios informáticos para visualizar al menos una zona de un objeto en al menos una interfaz, comprendiendo dicho método las siguientes etapas:

- obtener al menos una imagen de dicha zona, comprendiendo dicha imagen al menos un canal, siendo dicha imagen una imagen bidimensional o tridimensional que comprende píxeles o vóxeles, estando un valor asociado a cada canal de cada píxel o vóxel de dicha imagen, mostrándose una representación de dicha imagen en la interfaz,

- obtener al menos una anotación de un usuario, definiendo dicha anotación un grupo de píxeles o vóxeles seleccionados de dicha imagen,

- calcular una función de transferir basándose en dichos píxeles o vóxeles seleccionados y aplicar dicha función de transferir a los valores de cada canal de la imagen,

- actualizar dicha representación de la imagen en la interfaz, en la que el color y la transparencia de los píxeles o vóxeles de dicha representación dependen de la función de transferir,

en el que dicho método comprende las siguientes etapas:

- obtener al menos una imagen bidimensional o 2D de dicha zona, comprendiendo dicha imagen 2D píxeles y al menos un canal, estando un valor asociado a cada canal de cada píxel de dicha imagen bidimensional, mostrándose una representación de dicha imagen 2D en una primera interfaz,

- obtener al menos una imagen tridimensional o 3D de dicha zona, comprendiendo dicha imagen 3D vóxeles y al menos un canal, estando un valor asociado a cada canal de cada vóxel de dicha imagen 3D, correspondiendo al menos algunos de los vóxeles de la imagen 3D a algunos píxeles de la imagen 2D, mostrándose una representación de dicha imagen 3D en una segunda interfaz,

- obtener al menos una anotación de un usuario, definiendo dicha anotación un grupo de píxeles seleccionados de dicha imagen 2D o un grupo de vóxeles seleccionados de dicha imagen 3D,

- propagar la selección de dicho grupo de píxeles o vóxeles seleccionados en la imagen 2D o 3D a la imagen 3D o 2D, respectivamente, seleccionando los vóxeles o los píxeles de dicha imagen 3D o 2D que correspondan a los píxeles o vóxeles seleccionados de dicha imagen 2D o 3D, respectivamente,

- calcular una primera función de transferir basándose en dichos píxeles seleccionados de dicha imagen 2D y aplicar dicha primera función de transferir a los valores de cada canal de la imagen 2D,

- actualizar la representación de la imagen 2D en la primera interfaz, en la que el color y la transparencia de los píxeles de dicha representación dependen de la primera función de transferir,

- calcular una segunda función de transferir basándose en dichos vóxeles seleccionados de dicha imagen 3D y aplicar dicha segunda función de transferir a los valores de cada canal de la imagen 3D,

- actualizar la representación de la imagen 3D en la segunda interfaz, en la que el color y la transparencia de los vóxeles de dicha representación dependen de la segunda función de transferir,

en donde el grupo de píxeles o vóxeles seleccionados de la imagen correspondiente se actualiza obteniendo al menos una anotación adicional de un usuario a través de la al menos una interfaz, transfiriéndose la anotación adicional de una interfaz a otra y recalculándose la función de transferir en cada anotación adicional del usuario y para cada interfaz, dando lugar a una actualización de las representaciones de las imágenes en ambas interfaces en una forma interactiva.

2. Método de acuerdo con cualquiera de las reivindicaciones anteriores, en donde al menos una de las funciones de transferencia se calcula según los pasos siguientes:

- seleccionar un primer y un segundo dominio de interés A y B, comprendiendo cada dominio un grupo de píxeles o vóxeles basados en dichos píxeles seleccionados,

- crear un primer tensor de características y un segundo tensor de características a partir de los píxeles o vóxeles del primer y segundo dominios de interés A y B, respectivamente,

- definir una prueba estadística que diferencie el primer dominio A del segundo dominio B mediante la máxima discrepancia de medias (MMD) óptima de las estadísticas de las características asociadas al primer dominio A y al segundo dominio B,

- definir, para cada píxel o vóxel de la imagen, el color C de dicho píxel o vóxel con la siguiente ecuación:

donde f* (v) es la función testigo del valor del píxel o vóxel v, definida por

donde k es un kernel que define un valor representativo de la distancia entre las características asociadas al píxel o vóxel x<i>perteneciente al dominio A y yj y las características asociadas al píxel o vóxel v, siendo m el número de píxel o vóxel en A y n el número de píxel o vóxel en el dominio B

donde k es un kernel que define un valor representativo de la distancia entre las características asociadas al píxel o vóxelxioyiy las características asociadas al píxel o vóxel v,

- definir, para cada píxel o vóxel de la imagen, la transparencia T de dicho píxel o vóxel con la siguiente ecuación:

donde:

hA(v) es la densidad suavizada de las características asociadas al vóxel v del primer dominio A con el kernel k,hB(v)es la densidad suavizada de las características asociadas al vóxel v del segundo dominio B con el kernel k, y

ZA,Bes una constante normalizadora que garantiza que máx(ZA,B

) = c con c ≤ 1 una constante predeterminada que define el factor de transparencia máximo.

3. Método de acuerdo con cualquiera de las reivindicaciones anteriores, en donde al menos una de las funciones de transferencia se calcula según los pasos siguientes:

- seleccionar un primer y un segundo dominio de interés A y B, comprendiendo cada dominio un grupo de píxeles o vóxeles basados en dichos píxeles seleccionados,

- crear un primer tensor de características y un segundo tensor de características a partir del primer y segundo dominios de interés A y B, respectivamente,

- muestrear píxeles o vóxeles en el primer y segundo dominios de interés A y B que tengan?<?>?<∗>?

=𝒏<?>∗<?>⁡y2nA≤nmáx,dondenAes el número de píxeles o vóxeles de muestra en el primer dominio A ynBes el número de píxeles o vóxeles de muestra en el segundo dominio B y dondenmáxes un valor predeterminado,

- definir, para cada píxel o vóxel de la imagen, el color C de dicho píxel o vóxel

conf*(v) =(βpA(v)+ 1)g(v)como el producto normalizado de la probabilidad desplazada de que dicho píxel o vóxel pertenezca al dominio A por el valor de una característica, g(v) de dicho píxel o vóxel v.

- definir, para cada píxel o vóxel de la imagen, la transparencia T de dicho píxel o vóxel con la siguiente ecuación: -

- donde:

-hA(v)= (k * p)(v)es la densidad suavizada, convolución del kernel con la densidad de las características, de las características asociadas al vóxel v del primer dominio A con el kernelk,

- hB(v)= (k * p)(v)es la densidad suavizada, convolución del kernel con la densidad de las características, de las características asociadas al vóxel v del segundo dominio B con el kernel k, y

- ZA,Bes una constante normalizadora que garantiza que máx(ZA,B

) = c con c ≤ 1 una constante predeterminada que define el factor de transparencia máximo.

4. Método de acuerdo con la reivindicación 2 o 3, en donde cada tensor de características define, para cada píxel del correspondiente dominio de interés, al menos un valor de característica seleccionado de la siguiente lista de características:

• el valor del píxel o vóxel v,

• ∇lvel gradiente regularizado (sobre la escalal) de los valores de píxel o vóxel, en donde la regularización se realiza mediante la convolución Gaussiana ∇lv =∇ (𝓝<𝒍>⁡<*>I

) siendo𝓝 la Gaussiana de valor medio nulo y desviación estándar del

•Sl(v) la entropía de un parche de tamañolalrededor del píxel o vóxel v,

•d(v) =(𝓝<𝒍𝟏>⁡* I)(v)-(𝓝<𝒍𝟐>⁡* I)(v) diferencia de imágenes convolucionadas en el píxel o vóxel v,

donde (l1, l2

) son las dos escalas asociadas a la Gaussiana

Ies la pila de imágenes,

•σl(v) la desviación estándar del parche de tamañolcentrado en el píxel o vóxel v,

•KLl,m(v) la distancia de Kullback-Liebler entre el parche de tamañoly el parche circundante de tamañol+ m centrada en el píxel o vóxel v,

•µ̃l(v) los valores medios de los vóxeles del parche de tamañolcentrado en el píxel o vóxelυ,

• ∇log(𝓝<𝒍>⁡<*>I

) la derivada logarítmica de la imagen convolucionada en el píxel o vóxel v,

•dp-UMAP,l,m(v) la distancia euclídea de baja dimensión en el espacio latente generada por un UMAP paramétrico para un parche de tamañoly el parche circundante de tamañol+ m centrado en el píxel o vóxel v.

•(r, θ)p-UMAP(v) las coordenadas polares del píxel o vóxel en el espacio latente generadas por un UMAP paramétrico se centra en el píxel o vóxel v,

•Sp-UMAP,l(v) la superficie convexa del dominio de tamañolalrededor del píxel v

5. El método de acuerdo con cualquiera de las reivindicaciones 2 a 4, en donde dicho kernel k se selecciona de la siguiente lista de núcleos:

-

-

-

-

-

donde:

- x y x' son características de los píxeles o vóxeles correspondientes-{σ, l, p, σb, σv, α, γ} son hiperparámetros de los núcleos, estos parámetros pueden estar predefinidos, o establecerse automáticamente o por el usuario.

6. Método de acuerdo con cualquiera de las reivindicaciones anteriores, en donde la acción generada en una de la primera y segunda interfaces se transmite a la otra interfaz a través de al menos un gestor que almacena datos en una memoria, comprendiendo dichos datos al menos un parámetro representativo de dicha acción, actualizándose la primera y/o segunda representación en función de los datos almacenados y del conjunto de imágenes originales.

7. Método de acuerdo con la reivindicación anterior, en donde cada gestor implementa al menos una o cada una de las siguientes funciones genéricas:

- exportar datos desde un almacenamiento de datos del gestor a un formato legible fuera de una aplicación, - importar datos desde fuera de la aplicación al almacén de datos del gestor,

- recibir datos desde al menos una interfaz y almacenar dichos datos en el almacén de datos del gestor y actualizar todas las demás interfaces con una lectura visual de esta inclusión de datos,

- eliminar datos desde al menos una interfaz y eliminar dichos datos del almacén de datos del gestor y actualizar todas las demás interfaces con una lectura visual de esta eliminación de datos,

- actualizar la lectura visual de una determinada interfaz con la adición de un nuevo elemento visual,

- eliminar la lectura visual de una interfaz determinada con la eliminación de un elemento visual existente.

8. Método de acuerdo con la reivindicación anterior, en donde cada elemento de datos almacenado tiene asociado un identificador único que se utiliza para garantizar la sincronización entre cada interfaz.

9. Método de acuerdo con cualquiera de las reivindicaciones anteriores, en donde la representación de la imagen 3D se obtiene mediante métodos de fundición de rayos en volumen.

10. Método de acuerdo con cualquiera de las reivindicaciones anteriores, en donde la primera interfaz se muestra en la pantalla de un ordenador y la segunda interfaz se muestra en la pantalla de un ordenador y/o en la pantalla de un dispositivo de realidad virtual.

11. Un programa informático, que comprende instrucciones para implementar al menos una parte del método de acuerdo con cualquiera de las reivindicaciones anteriores cuando el programa informático es ejecutado por un procesador.

12. Dispositivo informático que comprende:

- medios de entrada para recibir al menos una imagen de una zona de un objeto,

- una memoria para almacenar al menos instrucciones de un programa informático de acuerdo con la reivindicación anterior,

- un procesador que accede a la memoria para leer las citadas instrucciones y ejecutar a continuación el método de acuerdo con cualquiera de las reivindicaciones 1 a 10,

- medios de interfaz para visualizar la representación de la imagen obtenida mediante la ejecución de dicho método.

13. Un soporte de registro no transitorio legible por ordenador en el que se registra un programa informático para aplicar el método de acuerdo con cualquiera de las reivindicaciones 1 a 10, cuando el programa informático es ejecutado por un procesador.

14. Un método para generar un modelo 3D de la estructura anatómica de un paciente, en donde el método comprende: - implementar por medios informáticos el método de acuerdo con cualquiera de las reivindicaciones 1 a 10 en una imagen médica 3D de un objeto, en donde el objeto es una estructura anatómica del paciente que comprende una zona de interés médico y la imagen médica 3D es una imagen de resonancia magnética (MRI), una imagen de tomografía computarizada (CT), una imagen de tomografía por emisión de positrones (PET) o una imagen de registros ecográficos procesada numéricamente y

- mostrar un modelo 3D de la estructura anatómica del paciente que incluye la zona de interés médico.

15. El método de acuerdo con la reivindicación anterior, en donde un usuario proporciona al menos una anotación en la imagen médica 3D en donde la al menos una anotación selecciona píxeles o vóxeles en la zona de interés médico para mejorar la visualización de dicha zona y/o la visualización de los límites de la zona de interés y/o la al menos una anotación selecciona píxeles o vóxeles fuera de la zona de interés médico para permitir la transformación de imagen mediante el recorte o supresión de estructuras que interfieren, tales como tejidos circundantes en la zona de interés, huesos, músculos o vasos sanguíneos.

16. El método de acuerdo con la reivindicación 14 o 15, que se realiza sobre datos de imágenes 3D sin procesar o sobre datos de imágenes 3D segmentados.