ES2973190T3

ES2973190T3 - Sistema y método, para formar a un intervencionista para realizar una intervención percutánea invasiva o una intervención endoscópica

Info

Publication number: ES2973190T3
Application number: ES21171373T
Authority: ES
Inventors: Hussein Ballan; Pascal Fua; Georges Caron; Juerg Schwitter; Luigi Bagnato
Original assignee: Adis Sa
Current assignee: Adis Sa
Priority date: 2021-04-29
Filing date: 2021-04-29
Publication date: 2024-06-18
Anticipated expiration: 2041-04-29
Also published as: US20220346878A1; EP4083769B1; EP4083769A1

Abstract

El sistema (100) para entrenar a un intervencionista para realizar una intervención percutánea o endoscópica invasiva en un órgano, mediante el uso de una herramienta (20) en este órgano, comprende: - un tubo (30) que comprende una entrada (32) y una salida (36).) y que tiene un tamaño y/o una forma similar a un vaso corporal o a una cavidad corporal tubular, estando conectado el vaso corporal o la cavidad corporal tubular al órgano, en donde la salida del tubo simula físicamente o representa la salida del vaso o de la cavidad corporal tubular en su unión con el órgano; - dicha herramienta (20), dispuesta para ser insertada por el intervencionista en la entrada (32) del tubo (30) y para ser empujada por el intervencionista a través del tubo (30); - al menos una cámara estereoscópica (50) dispuesta para adquirir imágenes de una porción extrema (26) de la herramienta (20) a partir del momento en que esta porción extrema (26) comienza a salir por la salida (36) del tubo (30); - una unidad generadora de modelo 3D en tiempo real, dispuesta para generar un modelo 3D (26') en tiempo real de esta parte extrema (26) de la herramienta (20) a partir de dichas imágenes, - una unidad de fusión unidad, dispuesta para fusionar en tiempo real en un entorno común dicho modelo 3D en tiempo real (26') y un modelo 3D precalculado (10') de al menos una parte del órgano (10); - una pantalla (40) para recibir esos datos para mostrar al intervencionista dicho entorno común, de modo que el intervencionista pueda ver en tiempo real en la pantalla (40) dónde está ubicado el modelo 3D en tiempo real (26') de la herramienta (26) con respecto al modelo 3D precalculado (10') de la porción del órgano (10), posibilitando así el entrenamiento del intervencionista. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Sistema y método, para formar a un intervencionista para realizar una intervención percutánea invasiva o una intervención endoscópica

Campotécnico

La presente invención se refiere a un sistema y un método, para formar a un intervencionista para realizar una intervención percutánea invasiva o una intervención endoscópica en un órgano de un cuerpo humano o de un cuerpo animal (“órgano”, en adelante), utilizando una herramienta.

Técnica relacionada

Actualmente, se realizan de manera rutinaria intervenciones percutáneas invasivas o endoscópicas en un órgano utilizando una herramienta. Durante tales intervenciones, un intervencionista (es decir, un médico especializado en realizar intervenciones percutáneas invasivas o endoscópicas) inserta una herramienta en un vaso corporal de la circulación del paciente o en otro sistema tubular del paciente (por ejemplo, aparato genitourinario, tráquea y bronquios o el tracto gastrointestinal) para acceder al objetivo, es decir, la anomalía del órgano que va a tratarse mediante la herramienta. Ejemplos no limitativos de tales herramientas son catéteres e hilos guía, o dispositivos como válvulas o endoprótesis vasculares (para abrir un vaso) o espirales para bloquear un vaso (que, por ejemplo, irriga un tumor). Las herramientas son sustancialmente filiformes. Su diámetro es del orden de unos pocos milímetros, normalmente tres. Dado que los vasos corporales no son necesariamente rectos ni lineales, esas herramientas son flexibles para que puedan seguir una trayectoria en el vaso corporal que incluye torsiones o deformaciones. Por tanto, las herramientas también deben ser deformables.

Durante una intervención percutánea invasiva o endoscópica, una vez que la herramienta ha entrado en el cuerpo a través de un vaso corporal conectado al órgano que va a tratarse en el caso de una intervención percutánea o a través de una entrada corporal natural o conducto corporal o cavidad corporal tubular en el caso de una intervención endoscópica (por ejemplo, aparato genitourinario, aparato respiratorio, tracto gastrointestinal), el intervencionista empuja la herramienta a través de este vaso o conducto hasta que alcanza el órgano. Una vez que la herramienta ha entrado en el órgano, el intervencionista utiliza la herramienta para el tratamiento, por ejemplo, realizando una extirpación, tomando una muestra histológica, colocando una endoprótesis vascular o desplegando un dispositivo o una espiral. Durante la intervención, el intervencionista puede mover y deformar la herramienta en el interior del órgano.

Los catéteres se utilizan habitualmente para tratar el corazón. Por ejemplo, las técnicas de manejo del estado de la técnica proporcionadas de los pacientes con infartos agudos de miocardio, una proporción cada vez mayor de ellos sobrevive a este evento traumático. Desafortunadamente, algunos pacientes pueden desarrollar cicatrizaciones no homogéneas que se asocian con arritmias malignas y muerte súbita de origen cardiaco.

Para prevenir este desenlace clínico, los pacientes normalmente se someten a pruebas electrofisiológicas seguidas de la extirpación de tejido cicatricial del corazón “semiviable”, también conocido como canales de conducción, utilizando un catéter. Estas intervenciones se realizan por electrofisiólogos altamente experimentados, pero sólo del 40 % al 60 % de los pacientes se curan verdaderamente cuando se les trata con las técnicas de extirpación del estado de la técnica actuales.

Un factor que contribuye a esta baja tasa de éxito es que actualmente no existe ningún procedimiento de formación eficiente que permita a los intervencionistas practicar este tipo de intervenciones percutáneas invasivas antes de realizarlas de verdad. Esta necesidad insatisfecha de capacidades de formación no sólo se aplica a las intervenciones cardiacas sino también a las intervenciones en otros órganos. Esto incluye, pero no se limita a, el cerebro y la angioplastia de muchos vasos sanguíneos, pero también intervenciones, por ejemplo, en el aparato genitourinario (próstata y otros órganos), el aparato respiratorio o el aparato gastrointestinal (hígado y otros órganos).

En el caso de intervenciones electrofisiológicas, que es un ejemplo de intervención percutánea invasiva, otro factor que contribuye a esta baja tasa de éxito es la visualización limitada del tejido cicatricial objetivo proporcionada por las técnicas de mapeo de tensión actuales. Además, las técnicas de mapeo de tensión actuales sólo permiten un control imperfecto de la formación de lesiones por extirpación. El documento US2010167249 A1 divulga un dispositivo de formación quirúrgico que incluye una forma corporal, un sistema de seguimiento óptico dentro de la forma corporal y una cámara configurada para ser seguida ópticamente y para obtener imágenes de al menos un instrumento quirúrgico ubicado dentro de la forma corporal.

Breve divulgación de la invención

Un objetivo de la presente invención, que se define en las reivindicaciones 1 y 15, es proporcionar un sistema y un método que superan los defectos y las limitaciones del estado de la técnica.

Otro objetivo de la invención es proporcionar un sistema y un método que permiten que los intervencionistas se formen a fondo, sin riesgo para los pacientes, y a un bajo coste, antes de realizar intervenciones reales en pacientes reales.

Otro objetivo de la invención es proporcionar un sistema y un método que permiten reducir el tiempo de ocupación de las salas de intervención endoscópica permitiendo una planificación antes de la intervención eficaz.

Según la invención, estos objetivos se alcanzan mediante el objetivo de las reivindicaciones adjuntas, y especialmente mediante el sistema según la reivindicación 1 y mediante el método según la reivindicación 15.

El sistema según la invención, para formar a un intervencionista para realizar una intervención percutánea invasiva o endoscópica en un órgano, utilizando una herramienta en este órgano, comprende:

- un tubo que comprende una entrada y una salida y que presenta un tamaño y/o una forma similar a un vaso corporal o a una cavidad corporal tubular, estando conectados el vaso corporal y la cavidad corporal tubular al órgano, en el que la salida del tubo simula o representa físicamente la salida del vaso o de la cavidad corporal tubular en su zona de unión con el órgano;

- esta herramienta, dispuesta para ser insertada por el intervencionista en la entrada del tubo y para ser empujada por el intervencionista a través del tubo;

- por lo menos una cámara estereoscópica dispuesta para adquirir imágenes de una parte de extremo de la herramienta que comienzan desde el momento en el que esta parte de extremo comienza a emerger desde la salida del tubo;

- una unidad de generación de modelos 3D en tiempo real, dispuesta para generar un modelo 3D en tiempo real de esta parte de extremo de la herramienta a partir de las imágenes,

- una unidad de fusión, dispuesta para fusionar en tiempo real en un entorno común el modelo 3D en tiempo real de la herramienta y un modelo 3D calculado previamente de al menos una parte del órgano;

- una pantalla para recibir estos datos para mostrar al intervencionista este entorno común, de modo que el intervencionista puede ver en tiempo real en la pantalla dónde está ubicado el modelo 3D en tiempo real de la herramienta con respecto al modelo 3D calculado previamente de la parte del órgano, haciendo así posible la formación del intervencionista.

En este contexto, el término “vaso” indica no solo un vaso sanguíneo, tal como, una vena o una arteria, por ejemplo, puede ser cualquier otro tipo de vaso corporal o una cavidad corporal tubular, tal como la uretra u otros conductos que no transportan sangre.

En este contexto, la expresión “cámara estereoscópica” indica una cámara que comprende por lo menos dos sensores desplazados entre sí para que vean sustancialmente la misma escena pero desde un ángulo diferente, permitiendo de ese modo una reconstrucción estereoscópica.

En este contexto, la expresión “modelo 3D en tiempo real de la parte de extremo de la herramienta” indica que este modelo 3D cambio a lo largo del tiempo. Estos cambios pueden capturarse a una velocidad de fotogramas dadas las imágenes de la herramienta “real” (o “física” o “concreta”) que son adquiridas por la(s) cámara(s) estereoscópica(s) mientras que el intervencionista la mueve o deforma durante la intervención simulada. Durante la formación el usuario mueve la herramienta y esas imágenes cambian a lo largo del tiempo, de modo que también cambia el modelo 3D correspondiente. Dicho de otro modo, el modelo 3D en tiempo real de la parte de extremo de la herramienta es un modelo 3D basado en vídeo o un modelo 3D dinámico, en oposición al estático. Por ejemplo, si el intervencionista manipula la herramienta para moverla o deformarla, entonces el modelo 3D, tal como se muestra en la pantalla del sistema según la invención, se moverá o deformará, respectivamente, en tiempo real para reproducir el movimiento o la deformación real de la herramienta, respectivamente, de la herramienta “real” tal como se observa por la(s) cámara(s) estereoscópica(s).

Con respecto a la técnica anterior conocida, la invención presenta la ventaja de suministrar un sistema de formación inmersivo que presentará un fin doble. En primer lugar, permitirá a los intervencionistas practicar una intervención percutánea invasiva y endoscópica en modelos 3D de órganos con fines de formación. En segundo lugar, en un contexto más operativo, ayudará a los intervencionistas a planear las intervenciones antes de realizarlas realmente.

El sistema según la invención hará posible optimizar el tiempo, la precisión y la tasa de éxito de las intervenciones reales. De la misma manera que los simulados de formación de vuelo reducen los costes de formación de los pilotos, el sistema según la invención reducirá de manera drástica los costes de intervención reduciendo los tiempos de intervención a todos los niveles a través de una planificación operativa previa más más exhaustiva.

En una forma de realización, el modelo 3D de la parte del órgano es un modelo 3D estático, lo que significa que este modelo 3D no cambia a lo largo del tiempo. En una forma de realización, este modelo 3D estático de la parte del órgano se genera mediante un módulo basado en aprendizaje automático que toma como imágenes de entrada de un escáner de obtención de imágenes por resonancia magnética, un escáner de TAC (escáner de tomografía computarizada), o cualquier otro dispositivo capaz de generar imágenes volumétricas de órganos. Este (primer) módulo basado en aprendizaje automático se denominará a continuación “módulo de generación de modelos 3D en tiempo real”.

En este contexto, la expresión “módulo basado en aprendizaje automático” indica un módulo que necesita ser entrenado para aprender, es decir, para mejorar progresivamente el rendimiento en una tarea específica. En una forma de realización preferida, el módulo basado en aprendizaje automático es una red neuronal artificial, o red para abreviar. Comprende un conjunto de neuronas artificiales que están conectadas entre sí para formar un gráfico dirigido ponderado. Las neuronas reciben elementos de entrada de otras neuronas que se alimentan de ellas, operan en estos elementos de entrada y transmiten los resultados a las neuronas a las que se alimentan. Los pesos de los bordes indican la influencia que presenta una neurona sobre aquellas a las que está conectada y se calculan mediante un procedimiento denominado aprendizaje que implica minimizar una función de pérdida.

Aunque una red neuronal es una implementación preferida del módulo basado en aprendizaje automático, podría implementarse utilizando otras técnicas de aprendizaje automático, por ejemplo y de manera no limitativa procesos gaussianos y bosques de decisión.

En una forma de realización, el sistema comprende un segundo módulo basado en aprendizaje automático dispuesto para calcular y/o seguir en tiempo real una posición de la parte de extremo de la herramienta con respecto a la salida del tubo. Este segundo módulo basado en aprendizaje automático se denominará a continuación “módulo de seguimiento de herramienta”.

En una forma de realización, la unidad de generación de modelos 3D en tiempo real y la unidad de fusión están integradas en una única unidad de cálculo, por ejemplo, para formar una única canalización de cálculo.

En una forma de realización, la unidad de generación de modelos 3D en tiempo real está dispuesta para tomar como elementos de entrada las imágenes capturadas por la(s) cámara(s) estereoscópica(s) y para generar una nube de puntos 3D, que indica la posición de la parte de extremo de la herramienta con respecto a la salida del tubo.

En una forma de realización, el módulo de seguimiento de herramienta está dispuesto para tomar la nube de puntos 3D como elementos de entrada y generar una retícula de ocupación 3D cuyas celdas contienen las probabilidades de ser cruzadas por la herramienta. Con este fin, puede utilizarse una arquitectura de aprendizaje profundo conocida como Unet, que calcula una representación latente de la nube de puntos.

En una forma de realización preferida, la unidad de generación de modelos 3D en tiempo real comprende el módulo de seguimiento de herramienta. En esta realización, el módulo de seguimiento de herramienta está dispuesto para extraer, de la representación latente mencionada anteriormente, la posición 3D de varios nodos que definen la posición 3D de la línea central de la herramienta, con respecto a la salida del tubo. En general, esta posición 3D se denomina elemento de salida de la unidad de generación de modelos 3D en tiempo real.

En este contexto, el término “línea central” indica el eje central de (por lo menos una parte de) la herramienta, que se modela como un conjunto de N nodos, y un conjunto de segmentos o curvas que unen los puntos.

En una forma de realización, el número de esos nodos depende de la longitud de la herramienta. Por ejemplo, cuanto mayor sea el número de nodos, más larga será la herramienta.

En una forma de realización, los nodos son marcadores visibles para la fuente de imágenes, que no es necesariamente una cámara estereoscópica, sino que puede ser, por ejemplo, un escáner de IRM o un escáner de TAC.

En una forma de realización, el módulo de seguimiento de herramienta está dispuesto para extraer a partir de esta fuente de imágenes, la posición 3D de varios marcadores (visibles) que define la posición 3D de la línea central de la herramienta, con respecto a la salida del tubo.

En una forma de realización, el módulo de seguimiento de herramienta comprende una unidad que utiliza la representación latente mencionada anteriormente, para extraer la posición 3D de los nodos (o marcadores) de la línea central con respecto a la salida del tubo. En una forma de realización, esta unidad es un perceptrón multicapa (MLP). En otra realización, es una arquitectura completamente conectada (más sofisticada), tal como ResNet. En todavía otra forma de realización, está unidad es una unidad no basada en aprendizaje automático, dispuesta para ejecutar una extracción mediante algoritmo de línea central convencional para el ajuste de curvas.

En una forma de realización, el modelo 3D sintético o calculado previamente del órgano comprende al menos un elemento que caracteriza una lesión que va a operarse.

En una forma de realización, el tubo físico contiene un gel o un líquido que simula las propiedades físicas del líquido contenido por el órgano real, tal como sangre en el caso de un vaso, u orina en el caso del aparato genitourinario, o bilis en el caso del aparato gastrointestinal, o aire en el caso de la tráquea y los bronquios, etc. En una forma de realización, el modelo 3D calculado previamente del órgano mostrado en la pantalla se aumenta con objetivos que designan zona(s) objetivo del órgano que se han tratado y/o que van a tratarse. Los objetivos son de diferentes formas y colores para evitar confusiones.

En una forma de realización, la unidad de fusión está dispuesta para ejecutar una etapa de calibración que garantiza una alineación adecuada entre la salida del tubo físico desde el cual emerge la herramienta (tal como se adquiere mediante las cámaras estereoscópicas) y el punto de entrada en el modelo 3D calculado previamente del órgano.

La presente invención también se refiere a un método para formar a un intervencionista para una intervención percutánea invasiva o endoscópica en un órgano, utilizando una herramienta en este órgano, comprende:

- proporcionar un tubo, comprendiendo este tubo una entrada y una salida y presentando un tamaño y/o una forma similar a un vaso corporal o una cavidad corporal tubular, estando conectado el vaso corporal o la cavidad corporal tubular al órgano, en el que la salida del tubo simula o representa físicamente la salida del vaso o de la cavidad corporal en su zona de unión con el órgano;

- insertar esta herramienta mediante el intervencionista en la entrada del tubo y empujar la herramienta mediante el intervencionista a través del tubo;

- adquirir mediante por lo menos una cámara estereoscópica imágenes de una parte de extremo de la herramienta que comienzan desde el momento en el que esta parte de extremo comienza a salir desde la salida del tubo;

- generar, mediante una unidad de generación de modelos 3D en tiempo real, un modelo 3D en tiempo real de esta parte de extremo de la herramienta a partir de las imágenes,

- fusionar, mediante una unidad de fusión, en tiempo real en un entorno común el modelo 3D en tiempo real de la herramienta y un modelo 3D calculado previamente de al menos una parte del órgano;

- presentar visualmente en una pantalla para recibir esos datos, este entorno común, de modo que el intervencionista pueda observar en tiempo real en la pantalla dónde está ubicado el modelo 3D en tiempo real de la herramienta con respecto al modelo 3D calculado previamente de la parte del órgano, haciendo así posible la formación del intervencionista.

Breve descripción de los dibujos

Las formas de realización ejemplificativas de la invención se divulgan en la descripción y se ilustran mediante los dibujos en los que:

La figura 1 ilustra una vista en perspectiva de una forma de realización del sistema según la invención.

La figura 2 ilustra una vista en perspectiva de un modelo 3D de una parte de entrada en el órgano y de un modelo 3D de una parte de extremo de la herramienta, para mostrar el resultado de la etapa de calibración según una forma de realización de la invención.

La figura 3 ilustra una vista frontal de una forma de realización de la pantalla del sistema según la invención. La figura 4 es un diagrama de flujo esquemático que muestra algunas etapas de una forma de realización del método según la invención.

La figura 5 es una representación esquemática de la línea central de una forma de realización de una parte de extremo de una herramienta del sistema según la invención.

La figura 6 ilustra un ejemplo de la retícula de ocupación que puede producirse según una forma de realización del método según la invención.

La figura 7 es una representación esquemática y parcial del módulo de generación de modelos 3D en tiempo real del sistema según una forma de realización de la invención.

La figura 8 es una representación esquemática del módulo de seguimiento de herramienta y de su módulo de formación, del sistema según una forma de realización de la invención.

La figura 9 ilustra un ejemplo de la retícula de ocupación de resolución (GT) que puede producirse según una forma de realización del método según la invención.

Ejemplos de formas de realización de la presente invención

La figura 1 ilustra una vista en perspectiva de una forma de realización del sistema 100 según la invención. El sistema 100 puede utilizarse para formar a un intervencionista para realizar una intervención percutánea invasiva o endoscópica en un órgano físico, utilizando una herramienta 20 en el órgano físico. El sistema 100 también puede utilizarse para planear intervenciones. Aunque las figuras 1 y 3 representan el modelo 3D de un corazón, la invención también puede aplicarse a todo el aparato cardiovascular (incluyendo vasos en cualquier otra parte del cuerpo) u otros aparatos de órganos, tales como el aparato genitourinario, el aparato respiratorio o el aparato gastrointestinal y otros. Aunque las técnicas endoscópicas actuales pueden guiar la herramienta al órgano a tratar, la técnica tal como se describe en esta invención no sólo permite guiar la herramienta al órgano sino que una vez allí, permite visualizar el objetivo incluso cuando está incrustado profundamente en el órgano y permite controlar el efecto del tratamiento incluso para objetivos ubicados profundamente en el órgano objetivo.

El sistema 100 de la figura 1 comprende:

- un tubo 30,

- una herramienta 20, tal como un catéter en el ejemplo de la figura 1, dispuesta para ser insertada por el intervencionista en la entrada 32 del tubo 30 a través de una lámina de introducción (no ilustrada), que está ubicada en la entrada 32 del tubo 30,

- dos cámaras estereoscópicas 50,

- una unidad de generación de modelos 3D en tiempo real y una unidad de fusión no mostradas en este caso, - una pantalla 40.

El tubo 30 del sistema 100 según la invención comprende una entrada 32, una salida 36 y un cuerpo 33 que conecta la entrada 32 con la salida 36. Según la invención, el tubo 30 presenta un tamaño y/o una forma similar o igual al tamaño y/o la forma de un vaso conectado al órgano físico que va a operarse de manera virtual durante una sesión de formación. En particular, la salida 36 del tubo 30 simula o representa la salida del vaso en una zona de unión entre el vaso y el órgano.

La finalidad del tubo 30 es simular un vaso sanguíneo, tal como una vena o una arteria, o cualquier otra cavidad corporal tubular, tal como la uretra o uréter y otros (en el aparato genitourinario), tráquea y bronquios (en el aparato respiratorio), o las vías biliares y otros (en el tracto gastrointestinal), a través del cual un intervencionista puede acceder al órgano que va a tratarse utilizando la herramienta 20.

En una forma de realización, el tubo 30 es transparente, de modo que el intervencionista puede observar el movimiento de la herramienta 20 en el interior del tubo 30.

En una forma de realización, el tubo 30 está fabricado a partir de un material polimérico, o de cualquier otro material que presente características mecánicas similares o iguales a las características mecánicas del vaso físico correspondiente.

En una forma de realización, el sistema comprende dos o más tubos 30, conectados entre sí para formar una disposición ramificada. Esto permite simular un vaso ramificado, como una arteria o vena que se separa en dos. En una forma de realización, el diámetro del tubo 30 es similar o igual al diámetro del vaso físico correspondiente o de otras cavidades corporales tubulares.

En una forma de realización, la longitud del tubo 30 es similar o igual a la longitud correspondiente del vaso. En otra forma de realización, el tubo 30 es más corto que el vaso físico correspondiente.

En una forma de realización preferida, el tubo 30 es más corto que la herramienta 20, sin su empuñadura 22. En una forma de realización, el tubo 30 contiene un gel o un líquido que simula las propiedades físicas del líquido contenido en el vaso real del cuerpo, tal como sangre u orina. En una forma de realización preferida, esta sustancia es o comprende silicona. Por tanto, los intervencionistas recibirán la misma retroalimentación háptica cuando muevan la herramienta 20 en el tubo 30, como si lo estuvieran haciendo en un cuerpo real.

En el ejemplo de la figura 1, el tubo 30 está soportado por dos pies 33 sobre una base 60 (sustancialmente plana). Sin embargo, los pies no son necesarios. Además, puede estar presente solo un pie, siempre que no se comprometa la estabilidad del tubo 30 sobre la base 60. Los pies 33 de la figura 1 presentan diferentes alturas, de modo que el tubo 30 está inclinado con respecto a la base 60 plana. Puesto que el sistema 100 ilustrado en la figura 1 comprende dos cámaras estereoscópicas 50 en la base 60, que son equidistantes desde la salida 36 del tubo 30, esto impide que haya un ángulo muerto cuando las cámaras 50 estereoscópicas adquieren imágenes de una parte de la herramienta 20, que comienzan desde el momento en el que sale desde la salida 36 del tubo 30.

En otra forma de realización que no se ilustra, el sistema 100 comprende dos cámaras estereoscópicas 50 sobre la base 60. Están equidistantes desde la salida 36 del tubo 30, ya que las dos cámaras estereoscópicas 50 de la figura 1, y el tubo 30 se encuentran sobre la base 60 o en un plano paralelo a la base 60. Esta configuración garantiza que las líneas epipolares de las dos cámaras estereoscópicas no serán paralelas y eliminar cualquier posible ángulo muerto.

En otra forma de realización que no se ilustra, el tubo 30 se encuentra sobre la base 60 o en un plano paralelo a esta base 60 y el sistema 100 comprende dos cámaras estereoscópicas 50 sobre la base 60, que están equidistantes desde la salida 36 del tubo 30, ya que las dos cámaras 50 estereoscópicas de la figura 1, y una tercera cámara sobre el tubo 30 y formando con la salida 36 del tubo 30 y las otras dos cámaras un tetraedro. Esto será incluso más eficaz que la disposición de 0043 en eliminar cualquier posible ángulo muerto.

Aunque en la figura 1 hay dos cámaras estereoscópicas 50, sólo se requiere una para el sistema 100 según la invención para funcionar.

En el ejemplo de la figura 1, la herramienta 20 es un catéter. Sin embargo, la herramienta 20 del sistema 100 según la invención también puede ser cualquier otra herramienta dispuesta para ser insertada por el intervencionista en la entrada 32 del vaso, para alcanzar el órgano. Por ejemplo, y de una manera no limitativa, la herramienta 20 puede ser un hilo guía.

La herramienta 20 de la figura 1 comprende una empuñadura 22 dispuesta para ser sujetada por el intervencionista, para manipular la herramienta 20, y, en particular, para insertarla en la entrada del tubo 30 y para empujarla a través del tubo 30. También comprende una parte de extremo 26 y un cuerpo 24 entre la empuñadura 22 y la parte de extremo 26. La parte de extremo 26 comprende un extremo libre 260.

En el ejemplo ilustrado, la empuñadura 22 presenta diferentes diámetros y su diámetro más bajo posible es más pequeño que el diámetro del cuerpo principal 24 y de la parte de extremo 26. En el ejemplo ilustrado, el diámetro del cuerpo principal 24 es igual al diámetro de la parte de extremo 26. Sin embargo, en otras formas de realización, los diámetros pueden ser diferentes. Por ejemplo, el diámetro del cuerpo principal 24 puede ser más pequeño que el diámetro de la parte de extremo 26.

En una forma de realización preferida, la herramienta 20 sin su empuñadura es más largo que el tubo 30. Por tanto, una vez que la parte de extremo 26 se ha insertado en la entrada 32 del tubo 30 y es empujado por el intervencionista hacia su salida 36, el extremo libre 260 y luego la parte de extremo 26 de la herramienta 20 emergerán eventualmente desde la salida 36 de tubo 30.

La herramienta 20 flexible es sustancialmente filiforme. Los diámetros del cuerpo principal 24 y del extremo libre 26 son del orden de pocos milímetros, normalmente tres milímetros. La herramienta 20 es flexible. Puede deformarse, doblarse o retorcerse, para seguir la forma del vaso corporal, o la cavidad corporal tubular y/o del órgano. Por ejemplo, la parte de extremo 26 de la figura 1 está curvada, para seguir una trayectoria curvada en el órgano 10 virtual.

El sistema 100 según la invención también comprende una unidad de generación de modelos 3D en tiempo real, no ilustrado en la figura 1. Es una unidad de cálculo diseñada para generar en tiempo real un modelo 3D de la parte terminal de la herramienta 20 que comienza desde el momento en el que emerge desde la salida 36 del tubo 30 dadas las imágenes adquiridas por la(s) cámara(s) 50 estereoscópica(s), ya que el intervencionista la deforma durante intervención simulada. Dicho de otro modo, el modelo 3D en tiempo real de la parte de extremo 26 de la herramienta es un modelo 3D basado en vídeo o un modelo 3D dinámico, en oposición a uno estático.

En una forma de realización preferida, la unidad de generación de modelos 3D en tiempo real comprende un módulo de generación de modelos 3D en tiempo real, que es un módulo basado en aprendizaje automático, es decir un módulo que necesita entrenarse para mejorar progresivamente su rendimiento en una tarea específica.

En una forma de realización preferida, el módulo de generación de modelos 3D en tiempo real es una red neuronal artificial, o red para abreviar. Aunque una red neuronal es una implementación preferida del módulo de basado en aprendizaje automático, el módulo de generación de modelos 3D en tiempo real podría implementarse utilizando otras técnicas de aprendizaje automático que pueden hacer retroceder la posición 3D de los nodos de la línea central de la herramienta 20 flexible desde de la salida de la(s) cámara(s) 50 estereoscópica(s). Estos incluyen, pero no se limitan a, procesos gaussianos y bosques de decisión.

En otra forma de realización, la unidad de generación de modelos 3D en tiempo real comprende un módulo no basado en aprendizaje automático. En cambio, está dispuesto para ejecutar algoritmos de ajuste de curvas.

El modelo 3D en tiempo real de la parte de extremo 26 de herramienta 20 cambia a lo largo del tiempo, ya que depende de las imágenes tomadas en tiempo real de la herramienta 20 “real” (o “física” o “concreta”), tal como puede observarse mediante la(s) cámara(s) 50 estereoscópica(s). A medida que el usuario mueve la herramienta 20 en el espacio de modo que trata virtualmente el órgano corporal, esas imágenes cambian a lo largo del tiempo y también cambia el modelo 3d correspondiente. Dicho de otro modo, el modelo 3D en tiempo real de la parte de extremo 26 de la herramienta 20 es un modelo 3D basado en vídeo o un modelo 3D dinámico, en oposición a uno estático.

La unidad de generación de modelos 3D en tiempo real está conectada a la(s) cámara(s) 50 estereoscópica(s). La conexión puede ser por cable o inalámbrica. Puede ser a través de Internet, WLAN, red de telefonía móvil o cualquier otro protocolo de comunicación inalámbrica y/u otras técnicas de comunicación.

En una forma de realización preferida, la unidad de generación de modelos 3D en tiempo real es un dispositivo distinto de los otros dispositivos del sistema 100. Sin embargo, en una forma de realización, puede estar integrado, al menos parcialmente, en uno de los otros dispositivos del sistema 100, por ejemplo en la pantalla 40 o en una cámara estereoscópica 50.

En otra forma de realización, la unidad de generación de modelos 3D en tiempo real está integrada al menos parcialmente en un servidor remoto.

El sistema 100 según la invención también comprende una unidad de fusión que no se ilustra. Es una unidad de cálculo diseñada para fusionar en tiempo real en un entorno común el cambio del modelo 3D en tiempo real de la parte de extremo 26 de la herramienta 20 y un modelo 3D calculado previamente de al menos una parte del órgano objetivo. Emite los datos que representan este entorno común.

La unidad de fusión puede conectarse a la unidad de generación de modelos 3D en tiempo real, para formar una canalización de cálculo. La conexión puede ser por cable o inalámbrica. Puede ser a través de Internet, WLAN, red de telefonía móvil o cualquier otro protocolo de comunicación inalámbrica y/u otras técnicas de comunicación.

En una forma de realización preferida, la unidad de fusión es un dispositivo distinto de los otros dispositivos del sistema 100. Sin embargo, en una forma de realización, puede estar integrado, al menos parcialmente, en uno de los otros dispositivos del sistema 100, por ejemplo, en la unidad de generación de modelos 3D en tiempo real, en la pantalla 40, o en una cámara estereoscópica 50.

En otra forma de realización, la unidad de fusión está integrada por lo menos parcialmente en un servidor remoto.

En una forma de realización, el modelo 3D de la parte del órgano es un modelo 3D estático, lo que significa que el modelo 3D no cambio a lo largo del tiempo. En una forma de realización, este modelo 3D estático de la parte del órgano se genera mediante un módulo basado en aprendizaje automático, denominado a continuación “módulo de generación de modelos 3D estáticos”, que toma como imágenes de entrada de un escáner de obtención de imágenes por resonancia magnética, un escáner de TAC, o cualquier otro dispositivo capaz de generar imágenes volumétricas de órganos.

En una forma de realización, el modelo 3D de la parte del órgano no es estático. En el paciente real, muchos órganos tales como el corazón se mueven predominantemente en la dirección pies-cabeza durante la respiración. Para simular el movimiento respiratorio de la de parte del órgano dentro del paciente en el sistema 100, puede añadirse un movimiento pies-cabeza al modelo 3D de la parte del órgano. Este movimiento pies-cabeza puede seguir una función sinuosidal simple, funciones más complejas, o pueden utilizarse patrones de movimiento respiratorio de un paciente específico.

El módulo de generación de modelos 3D estáticos puede pertenecer a una unidad de cálculo del sistema 100, o a una unidad de cálculo externa conectada al sistema 100.

En una forma de realización preferida, el modelo 3D de por lo menos una parte del órgano es “virtual” ya que no se genera analizando imágenes en tiempo del órgano “real”. Dicho de otro modo, el órgano “real” no está presente en el sistema 100 según la invención. De hecho, el órgano 10 representado como un corazón en la figura 1 está ahí para fines de ilustración únicamente. El intervencionista no puede observarlo cuando mira, por ejemplo, a la parte de extremo 36 del tubo 30. El intervencionista sólo puede observar el modelo 3D (estático) correspondiente 10' cuando mira a la pantalla 40. En la pantalla 40, el intervencionista también puede observar el modelo 3D en tiempo real 26' de la parte de extremo 26 de la herramienta 20 lineal, presentándose visualmente este modelo 3D en tiempo real 26' en el modelo 3D 10' del (una parte de) órgano 10.

De hecho, según la invención, la unidad de fusión está dispuesta para fusionar en un entorno común tanto el modelo 3D en tiempo real 26' como el modelo 3D estático 10'. Además, la pantalla 40 está dispuesta para recibir esos datos para presentar visualmente este entorno común, de modo que el intervencionista observa en la pantalla 40 el modelo 3D en tiempo real 26' de la parte de extremo 26 de la herramienta 20 lineal, que se presenta visualmente como colocado en el modelo 3D (virtual) 10' de la parte del órgano 10, permitiendo así la formación del intervencionista.

El modelo 3D en tiempo real 26' presentado visualmente se mueve en el modelo 3D (virtual) 10' según los movimientos de la parte terminal o de extremo 26 real de la herramienta 20 lineal tal está manejado por el intervencionista. Durante la formación, el intervencionista mira a la pantalla 40, para aprender y comprender cómo mover la herramienta 20 para tratar el órgano.

En una forma de realización preferida, la unidad de fusión, antes de fusionar en el entorno común tanto el modelo 3D en tiempo real 26' como el modelo 3D (virtual) 10', realiza una etapa de calibración para alinear la posición de un extremo 360 del tubo 30, con la posición de una parte de entrada del modelo 3D (virtual). Dicho de otro modo, la salida 36 del tubo 30, que simula o representa físicamente el extremo del vaso corporal (real) (o de la cavidad corporal tubular real) antes de entrar en el órgano, se considera como referencia: la posición del extremo libre 260 de la herramienta 20 tal como se observa mediante la(s) cámara(s) estereoscópica(s) se calcula con respecto a esa referencia.

La parte de entrada 12 del órgano (real), que es la parte conectada al vaso corporal (real) (o a la cavidad corporal tubular), presenta en general una forma cilíndrica o de cilindroide, tal como se ilustra en la figura 1. El modelo 3D 12' de esta parte se ha ilustrado de manera esquemática también en la figura 2, junto con la salida 36 del tubo. Para mayor simplicidad, en la figura 2 la parte de extremo del tubo 30 se ha representado como un cilindro. En la figura 2, la parte de extremo 36 está separada espacialmente de la parte de entrada 12' por motivos de claridad únicamente. Durante la etapa de calibración, si la parte de entrada 12' presenta una forma cilíndrica como en la figura 2, este cilindro está cortado por un plano paralelo a su base, para hallar el centro de geometría CG1 de la sección cortada. Luego, este punto se alinea y se superpone con un centro de geometría CG2 calculado previamente del extremo 360 de la salida 36 del tubo 30. En este contexto, el centro de geometría (o centro geométrico o centroide) de una figura plana como la sección cortada mencionada, es la posición media aritmética de todos los puntos en la figura.

Si la parte de entrada 12' presenta una forma de cilindroide, luego durante la etapa de calibración este cilindroide se corta con dos planos inclinados de manera diferente, para hallar el centro de geometría de una primera sección cortada y el centro de gravedad de la segunda sección cortada. Luego se alinean esos centros entre sí, para hallar el punto que va a alinearse y superponerse a un centro de geometría calculado anteriormente o el centro de gravedad CG2 del extremo 360 del tubo 30. En este contexto, el centro de gravedad (correspondiente en este contexto al centro de masa, ya que el campo gravitacional en el que el objeto existe se supone que es uniforme) es la media aritmética de todos los puntos ponderados por una densidad o peso específico local. Si un objeto físico presenta una densidad uniforme, su centro de masa es igual que la del centroide de su forma.

La figura 3 ilustra una vista frontal de una forma de realización de la pantalla 40 del sistema 100 según la invención. En una forma de realización preferida, la pantalla 40 del sistema 100 según la invención es una pantalla táctil. En la forma de realización ilustrada, la pantalla 40 comprende una interfaz de intervencionista, con algunos botones B (táctiles) que puede ser activados por el intervencionista, por ejemplo, para presentar visualmente secciones cortadas de los modelos 3D presentados visualmente, cambiar la perspectiva, ampliar, etc.

En la forma de realización de la figura 3, la pantalla 40 también comprende tres zonas principales, es decir, una primera zona 40', en la que el intervencionista puede observar el modelo 3D en tiempo real 26' de la parte de extremo 26 de la herramienta 20 en el modelo 3D (virtual) 10' del órgano, un corazón en el ejemplo ilustrado. Mediante el movimiento o la manipulación de la herramienta 20 (real), el modelo 3D correspondiente se mueve en la (primera zona 40' de la) pantalla, de modo que el intervencionista puede observar cómo su parte de extremo se coloca en el modelo 3D 10' del órgano.

En la segunda zona 40” ilustrada, el intervencionista observa una vista (en perspectiva) del modelo 3D de la parte de extremo 26' y del extremo libre 260'. En una forma de realización preferida, el intervencionista también puede observar con un primer color el modelo 3D de la(s) zona(s) 14' en el interior del órgano que va a tratarse y con un segundo color el modelo 3D de la(s) zona(s) 16' en el interior del órgano ya tratados mediante el modelo 3D del extremo libre 260'. De hecho, en una forma de realización preferida, el modelo 3D virtual comprende al menos un elemento que caracteriza una lesión que va a operarse, como el canal de conducción o las cicatrices en el corazón. Dicho de otro modo, el modelo 3D calculado previamente 10' del órgano mostrado en la pantalla 40 está aumentado por los objetivos que designan zona(s) objetivo del órgano que se han tratado y/o que van a tratarse. Los objetivos son de diferentes formas y colores para evitar confusiones.

En la tercera zona 40”', el intervencionista puede observar algunas imágenes de un escáner de IRM o de un escáner de TAC del órgano. Estas imágenes pueden ser todavía fotogramas que representan imágenes anatómicas del órgano o imágenes de electrocardiogramas o bucles de radiocinematografía (que consisten en muchas imágenes que representan, por ejemplo, la contracción del corazón o un electrocardiograma a lo largo del tiempo). Estas imágenes y bucles de radiocinematografía pueden cargarse desde un archivo externo, donde distintas posiciones del modelo 3D calculado previamente 10' del órgano pueden unirse a imágenes o bucles de radiocinematografía específicos. Las imágenes o bucles de radiocinematografía también pueden adquirirse durante la intervención y pueden cargarse directamente en la pantalla 40 para su visualización. Con las imágenes, el intervencionista puede controlar el efecto de su tratamiento o puede comprobar el estado del paciente en caso de complicaciones se simulan en el sistema 100.

La ordenación de las tres zonas de la pantalla 40 de la figura 3 no es importante. Además, las zonas segunda y tercera 40”, 40''' no son necesarias para el funcionamiento del sistema.

La figura 4 es un diagrama de flujo esquemático que muestra algunas etapas de una forma de realización del método según la invención.

La herramienta 20 está ubicada en un tubo 30 y está observada por una o más cámaras 50 estereoscópicas (N en el ejemplo de la figura 4). La unidad de generación de modelos 3D en tiempo real está dispuesta para generar una nube de puntos 3D en una retícula 300, que indique la posición de la herramienta 20, en particular, la posición con respecto a la salida 36 del tubo 30.

En el ejemplo de la figura 4, esta nube de puntos 3D es alimentada a un módulo de seguimiento de herramienta 400, que es un módulo basado en aprendizaje automático, tal como una red neuronal, que emite una retícula de probabilidades de que la línea central de la herramienta cruce las celdas de retícula correspondientes. Esa retícula de probabilidades entonces puede umbralizarse para producir la retícula de ocupación binaria 500, con unos donde está la herramienta 20 y cero en otra parte. La misma red también emite las coordenadas 600 de puntos 3D en el mundo real 3D. Estos puntos 3D definen la posición 3D de la línea central de la herramienta 20, con respecto a la salida 36 del tubo 30.

Por lo menos una parte de la herramienta 20 se modela como un conjunto de N nodos o puntos P, y un conjunto de segmentos o curvas que unen los puntos. En una forma de realización preferida N es un número entero igual a o mayor de dos. En una forma de realización preferida, N = 4, tal como se ilustra en la figura 4. Al ajustar N = 4 permite representar una parte (de extremo) de la herramienta 20, presentado esta parte una longitud de 6 cm a 10 cm. En una forma de realización, el número de esos nodos depende de la longitud de la herramienta. Por ejemplo, cuanto mayor sea el número de nodos, más larga será la herramienta.

Dicho de otro modo, el módulo de seguimiento de herramienta 400 de la Figura 4 produce una representación latente que se descodifica en una retícula de ocupación 500. La posición de los nodos 3D que definen la posición 3D de la línea central de la herramienta se deduce de esta representación latente (referencia 600 en la figura 6).

La figura 5 es una representación esquemática de la línea central CL de una forma de realización de una parte de extremo 26 de una herramienta 20 del sistema según la invención. Los círculos representan los nodos mencionados anteriormente que definen la posición de la línea central de la herramienta CL. En una forma de realización, el sistema 100 comprende un módulo de seguimiento de herramienta, que es un módulo basado en aprendizaje automático dispuesto para calcular y/o seguir en tiempo real una posición de la herramienta con respecto a la salida 36 del tubo 30.

En una forma de realización, este módulo de seguimiento de herramienta pertenece a la unidad de generación de modelos 3D en tiempo real. En otra realización pertenece a otra unidad de cálculo.

En una forma de realización, este módulo de seguimiento de herramienta está dispuesto para detectar la deformación y/o la torsión de la herramienta 20.

En una forma de realización preferida, el módulo de seguimiento de herramienta es una red neuronal profunda que aprende un mapa y nodos de ocupación o un punto P de la línea central CL que pertenece a una herramienta 20. En el ejemplo de la figura 5, el número de puntos Pi es N, donde N = 0, 1, ..., N -1. En una forma de realización preferida, el punto P0, que presenta las coordenadas (x0, y0,<zü>), es el punto de referencia para el sistema coordenadas de los otros puntos. En una forma de realización preferida, el punto Po pertenece a la salida (superficie) 36 del tubo 30.

La figura 6 es una representación discreta volumétrica 300 de la herramienta 20 representada por una línea central CL en la figura 4. Aunque se ha ilustrado un cubo en la figura 6, son posibles otro tipo de volúmenes, tal como paralelepípedos entre otros.

La representación discreta volumétrica 300 de la figura 6 comprende unos elementos de mapa de características 310: los representados en la figura 6 corresponden a la presencia de (una parte de la) la herramienta 20 en ese subvolumen en la representación discreta volumétrica 300. Aunque se han ilustrado cubos (pequeños) en la figura 6 para representar los elementos 310 de mapa de características, son posibles otro tipo de volúmenes, tal como paralelepípedos entre otros. En general, la forma de la representación discreta volumétrica 300 corresponde a la forma de los elementos de mapa de característica 310s.

Los cubos de la figura 6 presentan diferentes patrones, indicando diferentes probabilidades de que la herramienta 20 cruce un cubo particular, o diferentes números de puntos 3D dentro de diferentes cubos. Idealmente, la línea central CL predicha debe pasar a través de la parte de la representación discreta volumétrica 300 donde se han hallado muchos puntos 3D.

La red neuronal profunda está dispuesta para aprender de una representación discreta volumétrica (manualmente anotada) de la herramienta 20 como en la figura 6. El volumen de representación discreta volumétrica 300 de datos se obtiene a partir de al menos una cámara estereoscópica 50. En una forma de realización, cámara(s) 50 estereoscópica(s) emite(n) mapas de disparidad que se convierten en nubes de puntos 3D y se utilizan para calcular una retícula de recuento de puntos 3D en la que se registra el número de puntos dentro de cada celda de retícula, como se ilustra, por ejemplo, en la figura 6. Esta retícula se alimenta como elemento de entrada a un módulo de seguimiento de herramienta 400 que luego emite una descripción de la herramienta 20 en cuanto al número de puntos de control unidos mediante una curvaspline.En una forma de realización, el módulo de seguimiento de herramienta 400 es una red neuronal profunda entrenada sobre datos anotados manualmente.

La figura 7 es una representación esquemática y parcial de un módulo de seguimiento de herramienta 400, y en particular de la red neuronal profunda en este caso anterior, del sistema 100 según una forma de realización de la invención.

La red neuronal profunda 400 de la Figura 7 comprende algunos elementos de la arquitectura 3D Unet, tal como se describe en el artículo3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation, Ozgün Qigek, Ahmed Abdulkadir, Soeren S. Lienkamp, Thomas Brox, y Olaf Ronneberger,en este caso incorporado como referencia.

Tal como se propone en este artículo, una arquitectura de codificador-descodificador 410-430 se utiliza para extraer un mapa de probabilidad-ocupación volumétrico de la herramienta 20. La referencia “L” es el número de etapas de submuestreo. En la forma de realización de la figura 7, L = 4.

Tal como se describe en el artículo, como la u-net conocida, la arquitectura ilustrada en la figura 7 presenta una ruta de análisis con cuatro etapas de submuestreo y una ruta de síntesis con cuatro etapas de muestreo ascendente. En la ruta de submuestreo, cada etapa de submuestreo implica dos convoluciones cada una seguida de una unidad lineal rectificada (ReLu), y finalmente una máxima agrupación(max pooling).En la ruta de síntesis, cada etapa implica una convolución transpuesta, seguida de dos convoluciones cada una seguida por una ReLu. Cabe señalar que el número de etapas de submuestreo, etapas de muestreo ascendente, convoluciones y/u otras funciones tal como se ilustra en la figura 7 pueden cambiarse dentro del alcance de la invención.

En el ejemplo de la figura 7, las cajas 310 grises (cubos o paralelepípedos) representan mapas de características. El número de canales se indica encima de cada mapa de características.

En el ejemplo de la figura 7, el elemento de entrada es una tesela de 32 *32 x 32 vóxeles de la imagen con un canal. El elemento de salida en la capa final son 32 *32 * 32 vóxeles en las direcciones x, y y z respectivamente. El tamaño de 32 *32 * 32 de la tesela de vóxeles no es limitativo y son posibles otros tamaños. Cuanto mayor sea el tamaño, mayor será la precisión de competición pero también será mayor el tiempo de simulación.

El solicitante ha añadido a la arquitectura propuesta en este artículo una unida 420 que utiliza la representación latente en el elemento de salida del codificador 410 para extraer la posición 3D de los nodos de la línea central Pi. La posición 3D se refiere a la salida 36 del tubo 30.

En una forma de realización preferida, esta unidad 420 es un perceptrón multicapa (MLP).

Las diferentes líneas o flechas en la figura 7 indican las funciones matemáticas aplicadas en los datos procesados, en particular:

- Concat: Concatenación de mapas de características

- Conv Relu: convolución 3 * 3 * 3, seguida de una unidad lineal rectificada

- Max pool: máxima agrupación de 2 * 2 * 2

- Up-cov: convolución transpuesta de 2 x 2 x 2

- Conv: convolución 1 x 1 x 1

- Linear Relu: capa completamente conectada seguida de una unidad lineal rectificada

La figura 8 es una representación esquemática del módulo de seguimiento de herramienta 400 del sistema 100 según una forma de realización de la invención, junto con una forma de realización de su módulo de formación 700.

La unidad de resolución (GT) 720 representa el elemento de salida deseado de la red; en una forma de realización preferida, se genera mediante una anotación humana manual. La unidad de resolución 720 comprende:

- una retícula de ocupación de GTyog

- una línea central de GT yc/.

Tal como se ilustra en la figura 9, en una forma de realización preferida, la retícula de ocupación de GTyog(referencia 500’) es una retícula de ocupación de GT binaria yog, es decir:

yog (i, j, k)= 1, si la línea central pasa a través del vóxel(i, j, k),(1)

yog (i, j, k)= 0 en caso contrario.

En una forma de realización, la retícula de ocupación de GT 500’ es de una dimensión de 32 x 32 x 32 y las celdas de retícula, también conocidas como vóxeles, son de un tamaño de 4 mm x 4mm x 4mm. De nuevo, la dimensión de la retícula de ocupación de GT 500’ y el tamaño 32 del vóxel no son limitativos y son posibles otras dimensiones o tamaños.

La línea central de GTyc/se construye concatenando las coordenadas (x,y,z) de los N nodos de la línea central. Tal como se ilustra en la figura 5:

y ci - (,xo> yo> zo> xi> yi> zi>—> xn> yN> zn)(2)

donde N es el número de nodos de puntos de la línea central. El elemento de entrada al módulo de seguimiento de herramienta 400 se forma a partir de una nube de puntos de la herramienta 20. En una forma de realización, la nube de puntos 3D se calcula a partir de mapas de disparidad obtenidos a partir de los pares de imágenes por las cámaras 50 estereoscópicas. En una forma de realización, la nube de puntos 3D se utiliza para representar una retícula de recuento de puntos de 32 x32 x 32xde modo quex(/, j, k)es el número de punto de la nube dentro de un vóxel(/,j,k),tal como se representa mediante la figura 6. En una forma de realización, los vóxeles presentan el mismo tamaño que aquellos de la retícula de ocupación de GT 500’.

El módulo de seguimiento de herramienta 400 presenta dos elementos de salida:

- una retícula de ocupación (binaria) predichayog(referencia 500 en la figura 4), y

- una línea central predicha yc/, es decir, una representación 3D de la herramienta 20 por N puntos 3D (referencia 600 en la figura 4).

En una forma de realización preferida, la retícula de ocupación predichayogy la línea central predichayc/están en el mismo formato que sus homólogos de GTyogy yc/.

Tal como se muestra en la figura 8, el elemento de salida del descodificador 430 es una retícula 3D de 2 canales, (z0,zi). Cada canal presenta el mismo formato que la retícula de ocupación predichayog.

En la forma de realización de la figura 8, la retícula de ocupación predichayogse obtiene aplicando una función softmax utilizando una unidad softmax 440 en el elemento de salida del descodificador 430:

Durante el proceso de aprendizaje, en una forma de realizaciónyogyyc/se fuerzan para ser lo más similares posibles ayogy yc/, minimizando la siguiente pérdida:

Pérdida = loss_cl A,*loss_og (4)

donde 2 es un peso y donde:

loss_og es la entropía cruzada definida como

y loss_cl es el error cuadrático medio sobre los nodos, definido de la siguiente manera:

V (xj - % )2 (yt ~ yj)2+ fe; - i j) 2

¿ U3* N(6)

En la forma de realización de la figura 8, la retícula de probabilidades predichayogtambién se alimenta a una unidad de entropía cruzada 740 que la compara con la retícula de ocupación de GTyogobservada por la(s) cámara(s) 50 estereoscópica(s), tal como se proporciona mediante una unidad de resolución 720.

Durante el entrenamiento del módulo de seguimiento de herramienta 400, la línea central predichayctal como se calcula mediante el MLP 420 se alimenta a una unidad de error cuadrático medio regularizado 730 que la compara con la línea central de GTyciobservada mediante la(s) cámara(s) 50 estereoscópica(s), tal como se proporciona mediante una unidad de resolución 720.

El elemento de salida de la unidad de entropía cruzada 740 luego se multiplica por el pesoAy se añade al elemento de salida de la unidad de error cuadrático medio regularizado 730, para calcular la pérdida según la fórmula (4). Según un aspecto independiente de la invención, un escáner de obtención de imágenes por resonancia magnética o un escáner de TAC, conectado a una unidad de cálculo del sistema 100, toma en tiempo real las imágenes de un paciente durante una intervención (real). En este caso, esas imágenes se utilizan para actualizar un modelo 3D de órgano (estático) disponible previamente del órgano en tiempo real, por ejemplo, de 5 a 10 fotogramas por segundo, y el modelo 3D actualizado del órgano cambia en tiempo real en la pantalla 40. Según este aspecto independiente de la invención, el sistema 100 no comprende un tubo, ya que la herramienta es insertada por el intervencionista en un vaso corporal (real) (o en una cavidad corporal tubular real) del paciente. Según este aspecto independiente de la invención, las imágenes de una parte de la herramienta no se toman mediante la(s) cámara(s) estereoscópica(s), sino que pueden tomarse a partir de las imágenes del escáner de obtención de imágenes por resonancia magnética o a partir del escáner de TAC. Por tanto, esas imágenes permiten determinar la posición y posiblemente seguir la posición de la herramienta en el cuerpo del paciente. Por tanto, la unidad de generación de modelos 3D en tiempo real no es necesaria para este aspecto independiente de la invención. En una forma de realización preferida, el modelo 3D en tiempo real de la parte del órgano se genera mediante un módulo de aprendizaje automático.

Según un aspecto de este aspecto independiente de la invención, en lugar de calcular el modelo 3D dinámico de la parte de extremo de la herramienta en tiempo real y alimentar los datos en el sistema 100, pueden descargarse los datos de posición reales de la parte de extremo de la herramienta durante intervenciones reales a partir de un escáner de resonancia magnética o un escáner de TAC, equipado con un software dedicado que se comunica con herramientas que están equipadas con una tecnología de seguimiento, por ejemplo, basándose en una herramienta activa (es decir, que comprende una punta activa) y/o una herramienta pasiva (es decir, una herramienta con marcadores visibles de IRM). Estos datos de posición real de la parte de extremo de la herramienta pueden alimentarse al sistema 100 lo que permite al intervencionista observar en tiempo real la posición de la parte de extremo de la herramienta en la anatomía del paciente durante una intervención real.

Dicho de otro modo, según un aspecto de este aspecto independiente de la invención, no es necesaria la unidad de generación de modelos 3D en tiempo real. En cambio los datos de salida de esta unidad se reemplazan por los datos de posición tomados a partir de un escáner de resonancia magnética o un escáner de TAC durante intervenciones reales. En este caso, el sistema 100 está conectado al escáner de resonancia magnética o al escáner de TAC durante una intervención. En este caso, el escáner de resonancia magnética o el scanner de TAC, y la herramienta utilizada durante la intervención están equipados con una tecnología de seguimiento.

Si el sistema 100 está conectado a un escáner de resonancia magnética o un escáner de TAC durante una intervención real, puede recogerse la información de movimiento pies-cabeza en tiempo real mediante el escáner y puede alimentarse al sistema 100.

Según un aspecto de este aspecto independiente de la invención, el intervencionista puede utilizar el mismo sistema 100 durante una intervención real en la que se formó el intervencionista y en la que el intervencionista planificó previamente la intervención en un paciente dado.

Este aspecto independiente de la invención permite ayudar a los intervencionistas durante una intervención verdadera o real. La forma de realización descrita previamente de la invención puede aplicarse a este aspecto independiente de la invención, mutatis mutandis.

Signos de referencia utilizados en las figuras

10 Órgano

10' Modelo 3D (virtual) del órgano

12 Parte del órgano (real) conectado al vaso corporal (real)

12' Modelo 3D (virtual) de la parte 12

14' Modelo 3D (virtual) de una zona que va a tratarse

16' Modelo 3D (virtual) de una zona ya tratada

20 Herramienta

22 Empuñadura de la herramienta

24 Cuerpo de la herramienta

26 Parte de extremo de la herramienta

26' Modelo 3D en tiempo real de la parte de extremo de la herramienta

260 Extremo libre de la herramienta

260' Modelo 3D en tiempo real de extremo libre de la herramienta

30 Tubo

32 Entrada del tubo

33 Pie/soporte del tubo

34 Cuerpo del tubo

36 Salida del tubo

40 Pantalla

40' Primera zona de la pantalla

40” Segunda zona de la pantalla

40''' Tercera zona de la pantalla

50 Cámara estereoscópica

60 Base plana

100 Sistema

300 Retícula que comprende una nube de puntos 3D

310 Mapa de características elemento

360 Extremo del tubo

400 Módulo de seguimiento de herramienta

410 Codificador

420 Perceptrón multicapa (MPL)

430 Descodificador

440 Unidad softmax

500 Retícula de ocupación predicha

500' Retícula de ocupación de GT

600 Representación 3D predicha de la herramienta

700 Módulo de formación

720 Unidad de resolución

730 Unidad de error cuadrático medio regularizado

740 Unidad de entropía cruzada

750 Unidad de suma

760 Unidad de producto

B Botón de la pantalla

CL Línea central

CG1 Centro de gravedad / centro de geometría

CG2 Centro de gravedad / centro de geometría

720/GT Unidad de resolución

A Peso

x Elemento de entrada del (segundo) módulo de aprendizaje automáticoycLínea central

yogRetícula de ocupación (binaria) observada

T Umbral

ycLínea central calculada

yogRetícula de ocupación (binaria) calculada

yog,TRetícula de ocupación (binaria) calculada después del umbral (xi, yi, Zi) Coordenadas 3D

Claims

REIVINDICACIONES

1. Sistema (100) para formar a un intervencionista para realizar una intervención percutánea invasiva o una intervención endoscópica sobre un órgano, utilizando una herramienta (20) en este órgano, que comprende: - un tubo (30) que comprende una entrada (32) y una salida (36) y que presenta un tamaño y/o una forma similar a un vaso corporal o una cavidad corporal tubular, estando el vaso corporal o la cavidad corporal tubular conectado al órgano, en el que la salida del tubo simula o representa físicamente la salida del vaso o de la cavidad corporal tubular en su zona de unión con el órgano;

- dicha herramienta (20), dispuesta para ser insertada por el intervencionista en la entrada (32) del tubo (30) y para ser empujada por el intervencionista a través del tubo (30);

- por lo menos una cámara estereoscópica (50) dispuesta para adquirir imágenes de una parte de extremo (26) de la herramienta (20) que comienzan desde el momento en el que esta parte de extremo (26) comienza a emerger desde la salida (36) del tubo (30);

- una unidad de generación de modelos 3D en tiempo real, dispuesta para generar un modelo 3D en tiempo real (26') de esta parte de extremo (26) de la herramienta (20) a partir de dichas imágenes,

- una unidad de fusión, dispuesta para fusionar en tiempo real en un entorno común dicho modelo 3D en tiempo real (26') y un modelo 3D (10') calculado previamente de por lo menos una parte del órgano (10); - una pantalla (40) para recibir estos datos con el fin de mostrar al intervencionista dicho entorno común, de modo que el intervencionista pueda ver en tiempo real en la pantalla (40) dónde está ubicado el modelo 3D en tiempo real (26') de la herramienta (26) con respecto al modelo 3D (10') calculado previamente de la parte del órgano (10), haciendo así posible la formación del intervencionista.

2. Sistema (100) según la reivindicación 1, siendo el modelo 3D (10') de la parte del órgano un modelo 3D estático.

3. Sistema (100) según una de las reivindicaciones 1 o 2, que comprende un módulo de generación de modelos 3D en tiempo real, que es un módulo basado en aprendizaje automático dispuesto para generar dicho modelo 3D estático a partir de imágenes de un escáner de obtención de imágenes por resonancia magnética, un escáner de TAC, o cualquier otro dispositivo capaz de generar imágenes volumétricas de órganos.

4. Sistema (100) según una de las reivindicaciones 1 a 3, que comprende un módulo de seguimiento de herramienta (400) dispuesto para calcular y/o seguir en tiempo real una posición de la parte de extremo (26) de la herramienta (20) con respecto a la salida (36) de dicho tubo (30).

5. Sistema (100) según una de las reivindicaciones 1 a 4, en el que dicha unidad de generación de modelos 3D en tiempo real está dispuesta para generar a partir de las imágenes tomadas por la cámara estereoscópica (50) una nube de puntos 3D que indican la posición de la parte de extremo (26) de la herramienta (20) con respecto a la salida (36) de dicho tubo (30).

6. Sistema (100) según una de las reivindicaciones 4 a 5, en el que dicho módulo de seguimiento de herramienta (400) está dispuesto para utilizar dicha nube de puntos 3D para emitir una retícula de ocupación binaria (500') predicha, con unos donde está la herramienta (20) y cero en otra parte.

7. Sistema (100) según una de las reivindicaciones 4 a 6, en el que dicho módulo de seguimiento de herramienta (400) está dispuesto para utilizar dicha nube de puntos 3D para emitir las coordenadas de puntos 3D (P<i>) que definen la posición 3D de una línea central (CL) de la herramienta, con respecto a la salida (36) de dicho tubo (30).

8. Sistema (100) según una de las reivindicaciones 4 a 7, en el que dicho módulo de seguimiento de herramienta (400) comprende una unidad (420) dispuesta para utilizar una representación latente en la salida de un codificador (410) para extraer la posición 3D de los puntos 3D (P<i>).

9. Sistema (100) según la reivindicación 8, en el que dicha unidad (420) es un perceptrón multicapa (MLP).

10. Sistema (100) según la reivindicación 8, en el que dicha unidad (420) es una arquitectura completamente conectada, tal como ResNet.

11. Sistema (100) según una de las reivindicaciones 1 a 10, en el que dicho modelo 3D (10') de la parte del órgano comprende por lo menos un elemento que caracteriza una lesión que va a operarse.

12. Sistema (100) según una de las reivindicaciones 1 a 11, en el que dicho tubo (30) comprende un gel o un líquido que simula por lo menos una propiedad física del líquido físico contenido en la sangre física o el conducto, tal como sangre u orina.

13. Sistema (100) según una de las reivindicaciones 1 a 12, en el que dicho modelo 3D (10') de la parte del órgano tal como se presenta visualmente mediante dicha pantalla (40) está aumentado por el/los objetivo(s) (14', 16') que designa(n) unas(s) zona(s) objetivo del órgano que se han tratado y/o que van a tratarse.

14. Sistema (100) según una de las reivindicaciones 1 a 13, en el que dicha unidad de fusión, antes de la fusión en el entorno común tanto del modelo 3D en tiempo real (26') como del modelo 3D (10') de la parte del órgano, realiza una etapa de calibración para alinear una posición de un extremo (360) del tubo (30) con una posición de una parte de entrada (12') del modelo 3D (10') de la parte del órgano.

15. Método para formar a un intervencionista en una intervención percutánea invasiva o endoscópica en un órgano, utilizando una herramienta (20) en este órgano, comprende:

- proporcionar un tubo (30), comprendiendo dicho tubo (30) una entrada (32) y una salida (36) y presentando un tamaño y/o una forma similar a un vaso corporal o a una cavidad corporal tubular, estando el vaso corporal o la cavidad corporal tubular conectado al órgano, en el que la salida (36) del tubo (30) simula o representa físicamente la salida del vaso o de la cavidad corporal tubular en su zona de unión con el órgano;

- insertar dicha herramienta (20) mediante el intervencionista en la entrada (32) del tubo (30) y empujar dicha herramienta (20) mediante el intervencionista a través del tubo (30);

- adquirir mediante por lo menos una cámara estereoscópica (50) unas imágenes de una parte de extremo (26) de la herramienta (20) que comienzan desde el momento en el que dicha parte de extremo (26) comienza a salir desde la salida (36) del tubo (30);

- generar, mediante una unidad de generación de modelos 3D en tiempo real, un modelo 3D en tiempo real (26') de esta parte de extremo (26) de la herramienta (20) a partir de dichas imágenes,

- fusionar, mediante una unidad de fusión, en tiempo real en un entorno común dicho modelo 3D en tiempo real (26') y un modelo 3D (10') calculado previamente de por lo menos una parte del órgano;

- presentar visualmente en una pantalla (40) dispuesta para recibir esos datos de dicho entorno común, de modo que el intervencionista pueda observar en tiempo real en dicha pantalla (40) dónde está ubicado el modelo 3D en tiempo real (26') de la herramienta con respecto al modelo 3D (10') calculado previamente de la parte del órgano, haciendo así posible la formación del intervencionista.