ES2649789A1

ES2649789A1 - Sistema de visualización de imágenes médicas

Info

Publication number: ES2649789A1
Application number: ES201630967A
Authority: ES
Inventors: Eduardo MIRPURI MERINO; Álvaro PÉREZ SALA; Aratz SETIÉN GUTIÉRREZ; Jorge Rafael LÓPEZ BENITO; Enara ARTETXE GONZÁLEZ
Original assignee: Creativitic Innova Sl; Creativitic Innova S L; Fundacion Rioja Salud
Current assignee: Creativitic Innova Sl; Creativitic Innova S L; Fundacion Rioja Salud
Priority date: 2016-07-14
Filing date: 2016-07-14
Publication date: 2018-01-15
Anticipated expiration: 2036-07-14
Also published as: ES2649789B1

Abstract

Sistema para visualizar una imagen médica que comprende una unidad de extracción (10) para extraer una pluralidad de imágenes 2D compatibles de una pluralidad de ficheros de entrada almacenados en una unidad de almacenamiento (12); una unidad de procesamiento (18) para generar modelos 3D en función de las preferencias establecidas; una unidad de visualización 4D (14) para visualizar los modelos 3D generados; una unidad de control gestual y táctil (14) para recibir una entrada táctil o un gesto realizado por un usuario y enviar una instrucción a la unidad de procesamiento (18) o a la unidad de visualización (14).

Description

Campo técnico de la invención

La invención pertenece a los sistemas de visualización inmersiva 40. En particular, se aplica para microscopía e imagen médica. También en el área educativa, de investigación e industrial.

Antecedentes de la invención o Estado de la Técnica

Aunque las tecnologias 3D están cada vez más extendidas (televisores 3D, videoconsolas etc.) la tridimensionalidad proviene siempre de una interfaz bidimensional, lo que limita la inmersión en la imagen 3D, así como el manejo realista

15 de los objetos que se muestran.

Las mesas de trabajo se encuentran ahora mismo en fase de desarrollo y se basan generalmente en retroproyectores en lugar de pantallas 3D como en la presente invención .

Microscopía confocal

20 La microscopia confocal es una técnica de observación microscópica cuyo éxito se debe a las indudables ventajas que ofrece frente a la microscopia óptica y, sobre todo, a la posibilidad de obtener "secciones ópticas" de la muestra, lo que permite su estudio tridimensional.

Las muestras observadas con microscopía óptica convencional son traslúcidas. La luz

25 interacciona con la muestra a varias profundidades por lo que la imagen que llega al observador presenta áreas borrosas debidas a la luz procedente de zonas fuera del plano de enfoque, lo que produce una degradación en el contraste y resolución de la imagen. El principio de la microscopia confocal se basa en eliminar la luz reflejada o fluorescente procedente de los planos fuera de foco. Para ello se ilumina una pequeña

30 zona de la muestra con un haz de luz láser y se toma el haz luminoso que proviene del plano focal, eliminándose los haces procedentes de los planos inferiores y superiores. De este modo se consigue una imagen en la que aparece únicamente el plano que está enfocado (sin ninguna interferencia de los planos que están por encima o por debajo). El proceso se puede repetir en diversos planos de la muestra, de modo que la información que se obtiene permite desentrañar la forma tridimensional de la estructura que se está observando.

Aplicaciones de la microscopía confocal

La microscopía confocal se aplica al estudio de muestras marcadas fluorescentemente. Esos marcados ponen de manifiesto estructuras celulares tridimensionales que de otro modo sería imposible observar, siendo la reconstrucción 3D una de las aplicaciones destacadas de la técnica a las muestras biológicas.

Limitaciones de la microscopía confocal

Las limitaciones de la microscopía confocal se pueden agrupar, fundamentalmente en dos:

El empleo de láser y el largo tiempo de exposición de la muestra hace que la flu orescencia se apague.

Si bien las imágenes que se capturan son tridimensionales, la visualización de las mismas está limitada al uso de monitores 2D con lo cual el análisis de las imágenes lo realiza un observador que ve las muestras en 2D. Como medio para visualizar estructuras 3D, se generan vídeos en los cuales la imagen tiene un movimiento de rotación. De este modo, el investigador tiene una idea del aspecto 3D de la muestra. De todas formas, a día de hoy no existe un sistema que permita la visualización directa en 4D.

Tomografía por Emisión de Positrones (PET)

La PET, Tomografía por Emisión de Positrones, es una técnica de imagen molecular ampliamente extendida en el sistema sanitario como herramienta de diagnóstico y evaluación de procesos neoplásicos (cáncer) así como de la evolución de los mismos tras el inicio del tratamiento. En esta técnica la imagen se genera por la detección de fotones tras la introducción de un compuesto radiactivo (radiofármaco!marcador!radionúclido), en el interior del cuerpo. Este marcador, al desintegrarse por su inestabilidad y por tener una vida media corta, emitirá positrones que a su vez producirán fotones que serán capturados por un detector.

Aplicaciones de la PET

Las aplicaciones de esta tecnología se pueden resumir en las siguientes: Contribución al diagnóstico diferencial, identificación y caracterización patológica, seguimiento de la enfermedad y tratamiento.

Limitaciones de la PET

A pesar de la potencia y las bondades técnicas, esta tecnología tiene sus limitaciones:

La forma de visualización final pasa por obtener imágenes en 3D: la detección del radiofármaco permite obtener imágenes en diferentes planos (axial, sagital y coronal) y mediante un software especializado integra todas esas capturas para obtener una imagen final en 3D.

A pesar de contar con imágenes 3D y de que el profesional clínico pueda desplazarse por las diferentes secciones (niveles), lo que se observa en todo momento son secciones planares (un único plano). Aunque se obtenga información de volúmenes, el desplazamiento a través de la imagen (pantallas de visualización), es en un único plano por lo que resulta complicado y más laborioso realizar un diagnóstico adecuado y localizar topográficamente una estructura tumoral dentro de la propia estructura corporal.

El desarrollo de la nueva tecnologia permitiría obtener imágenes más realistas y accesibles para los profesionales sanitarios, lo que contribuiría a un mejor diagnóstico y tratamiento y en general a una clara mejora de la práctica clínica. Más en detalle, las ventajas detectadas son:

•: Se permitiría describir y detallar más la imagen de los pacientes derivados a Cirugía (Cirugia Radioguiada), lo que contribuiria a: Reducir los tiempos de intervención.

•: Disminuir la aparición de complicaciones.

•: Ofrecería una clara ventaja y mejora a la hora de realizar la obtención de biopsias para determinar con más exactitud la región de captura y el entorno corporal.

•: Mejoraría la valoración de la respuesta de los tumores al tratamiento de quimioterapia o radioterapia.

•: La presentación de las imágenes sería más intuitiva, rápida y accesible. No se requeriría una experiencia previa intensiva en análisis de imagen molecular.

•: Facilitaría las labores de Formación y Docencia de los profesionales con imágenes más comprensibles e intuitivas.

Sector educación

Son numerosas las casas editoriales que ofrecen soluciones online o software con imágenes 3D, aunque la visualización final se realiza siempre en dispositivos 2D.

La presente propuesta es ventajosa porque supone una herramienta que puede sustituir modelos "naturales" más costosos, introduciendo un elemento realista, económico, innovador, amigable y que facilita el aprendizaje. Un ejemplo de uso puede ser en las aulas de disección en el estudio de anatomia.

Sistemas de visualización 3D

Dentro de los sistemas hardware conocidos con anterioridad, cabe mencionar los siguientes:

W020100621 17A2 propone un sistema para interactuar con contenido 3D. El sistema proporciona un entorno inmersivo para interactuar gestualmente mediante sensores de seguimiento del usuario (mediante cámaras de 3D y 2D). Los medios de visualización se pueden implementar con varios monitores de pantalla plana o curva. Hay una realización de dos pantallas planas dispuestas en planos aproximadamente perpendiculares. Propone sensores táctiles cómo guantes.

La presente invención a diferencia no necesita el uso de gafas electrónicas ni cámaras como sensores, reduciendo el cansancio ocular del usuario y simplifica el control gestual ya que mediante un dispositivo sencillo permite el manejo a distancia con ambas manos.

US2004109022A1 propone la formación de imágenes en tres dimensiones mediante procesador con un "generador de inmersión" con datos procedentes de la posición y orientación de un usuario. El generador de inmersión a partir de gráficos no-inmersivos de un modelo de imagen genera una representación virtual del modelo de imagen.

La presente invención a diferencia cuenta con un motor automatizado que genera los modelos inmersivos a partir de gráficos estandarizados 2D, resultando en modelos 3D conformados por M modelos parciales, exportables y distribuibles, no una representación virtual del mismo.

Así mismo cabe destacar que la presente invención permite el empleo de un hardware específico de menor tamaño formado por dos pantallas 3D que pueden ser comerciales.

Software existente Dadas las aplicaciones actuales del prototipo tanto para imágenes médicas como de microscopia confocal, se procede a exponer por separado las solu ciones software existentes para cada tipo. Existen dos estándares importantes uno es DICOM y el otro es BIOFORMATS. DICOM (Digital Imaging and Communication in Medicine) es el estándar reconocido mundialmente para el intercambio de pruebas médicas, pensado para su manejo, visualización , almacenamiento, impresión y transmisión . Los ficheros DICOM pueden intercambiarse entre dos entidades que tengan capacidad de recibir imágenes y datos de pacientes en formato DICOM. DICOM permite la integración de escáneres, servidores, estaciones de trabajo, impresoras y hardware de red de múltiples proveedores dentro de un sistema de almacenamiento y comunicación de imágenes. BIOFORMATS es una herramienta software que permite leer y escribir ficheros provenientes de microscopios usando un formato libre y estandarizado.

Soluciones para la visualización de imágenes DICOM:

• Slicer 30 -Software de visualización de imágenes OICOM gratuito y opensource. Además de incluir las características generales de cualquier visor de imágenes médicas presenta ciertos aspectos relevantes de cara al prototipo desarrollado. En primer lugar, es capaz de mostrar reconstrucciones 3D planas (no estereoscópicas) de las imágenes de los pacientes. Sin embargo, estas imágenes carecen de relevancia al no ser modelados en sí, si no renderizados de los sets de imágenes que componen la serie OICOM. En ningún caso realizan una segmentación y reconstrucción automática de modelados 3D exportables a un formato estándar.

No obstante, sí permite reconstrucción de modelos a partir de la segmentación manual por parte del usuario, los cuales sí son exportables mediante formatos de modelado estandarizados.

• OsiriX -Visor de imágenes médicas OICOM avanzado, uno de los más comunes para el uso en estaciones fuera del comercializado por los fabricantes. Su licencia es costosa y dispone de una versión "Lite" gratuita para usos no médicos. Esta versión de pago además está certificada para su uso en diagnóstico médico. Respecto a las funcionalidades que nos competen dispone de renderizado 3D plano no estereoscópico de la serie de imágenes, y generación semi-automática de modelados 3D exportables en formatos estándar. En este caso el proceso de segmentación está más automatizado y solo hay que trabajar definiendo una serie de parámetros que en cualquier caso requieren conocimientos sobre técnicas de segmentación.

Soluciones para la visualización de imágenes de microscopia confocal

• Fiji (ImageJ) -Visor de imágenes opensource con funcionalidades para la visualización de imágenes de microscopia. Yendo al campo que nos ocupa de reconstrucción de imágenes 3D en varios planos es bastante limitado. Nos

5 permite crear una simulación de reconstrucción 3D en forma de video. La cual es un renderizado de los diferentes planos y no es exportable como modelo, únicamente en formato .avi como video.

• Vaa30 -Software opensource para visualización 3D de imágenes de microscopia. Ofrece la visión 20 de la imagen creando cortes laterales además

10 de la imagen principal. Es capaz de renderizar una reconstrucción 3D de las imágenes a partir de los diferentes planos y genera modelados exportables

• Volocity -Visor de imágenes de microoscopia de pago por licencia. Incluye visionado en 3D avanzado, permite realizar multitud de ajustes en el visionado, a pesar de no generar modelos exportables. Sí permite en cambio la

15 generación de contenidos multimedia exportables y personalizables a gusto del usuario, siendo estas recreaciones mucho más avanzadas que en los softwares anteriores.

• Imaris -Software de visualización 3D de imágenes, renderiza imágenes de microscopia con varios planos con opciones avanzadas para la generación

20 como para la exportación de contenidos multimedia a partir de los trabajos realizados. No permite la exportación completa del modelo como tal.

Interfaz gestual

En cuanto a tecnologías de captación de movimiento nos encontramos por un lado con dispositivos de seguimiento (mandos) basados en sensores infrarrojos situados en los

25 laterales de las pantallas, y por otro, con tecnologías como kinect o leap motion, siendo estas últimas las más atractivas dada su versatilidad y su expansión constante.

Breve descripción de la invención

Sería deseable disponer de un sistema para la visualización directa en 4D que

30 resolviera las limitaciones identificadas en el estado de la técnica, con capacidad para cambiar los planos de imagen que asista para localizar topográficamente una estructura tumoral dentro de la propia estructura corporal.

El sistema de visualización propuesto es inmersivo y mejora la precisión, la velocidad y la eficiencia en el diagnóstico clínico en Medicina, así como en la Investigación Biomédica. Permite acceso a imágenes realistas en 3D para un trabajo colaborativo y permite su manipulación gestual. Además del uso de imágenes 3D reales añadimos el componente temporal, ya que estas imágenes son dinámicas e interaccionan con el usuario. Por ello se nombra como sistema de visualización 4D mejorando las soluciones 3D convencionales.

Estas ventajas se logran en el sistema propuesto gracias a una serie de unidades. Hay una unidad de extracción para extraer una pluralidad de imágenes 2D compatibles de una pluralidad de ficheros de entrada almacenados en una unidad de almacenamiento; una unidad de procesamiento para generar modelos 3D en función de las preferencias establecidas; una unidad de visualización 4D para visualizar los modelos 3D generados con información temporal asociada; una unidad de control gestual y táctil para recibir una entrada táctil o un gesto realizado por un usuario y enviar una instrucción a la unidad de procesamiento o a la unidad de visualización.

Opcionalmente, la unidad de extracción, en cooperación con la unidad de procesamiento, comprueba si los ficheros de entrada a extraer son compatibles con un estándar médico determinado.

Opcionalmente, el estándar es BIOFORMATS o DICOM.

Opcionalmente, si el formato es BIOFORMAT, la unidad de extracción extrae una capa asociada a un tejido de interés de acuerdo con rango de intensidad de la imagen 2D.

Opcionalmente, si el formato es DICOM, la unidad de extracción extrae una capa asociada a un tejido de interés de acuerdo con su valor en la escala Hounsfield.

Opcionalmente, la unidad de procesamiento extrae un contorno en la imagen 2D.

Opcionalmente, la unidad de visualización comprende una pantalla superior y una pantalla inferior acopladas para combinar esteroscópicamente cuatro imágenes asociadas al modelo 3D generado en dos planos correspondientes a cada pantalla y con dos imágenes estereoscópicas por pantalla .

Opcionalmente, para cada pantalla, la pareja de imágenes estereoscópica asociada ha sido generada por renderización con una distancia interaxial y a una distancia focal que es función del ángulo formado entre ambas pantallas.

Opcionalmente, la unidad de control gestual y táctil se acopla con la pantalla inferior.

Preferentemente, el ángulo entre la pantalla superior y la pantalla inferior está en el rango de 90° a 120°.

Más preferentemente, el ángulo es 105°.

Breve descripción de las figuras

Fig. 1: Diagrama de bloques esquemático del funcionamiento de la invención.

Fig. 2: Ángulos de disposición pantallas inferior y superior.

Fig. 3: Ángulos de visión.

Fig. 4: Ángulo pantalla inferior.

Fig. 5: Disposición final del prototipo.

Fig. 6: Flujo de procesamiento de la información

Fig. 7: Extracción ordenada de datos de ficheros.

Fig. 8: Disposición virtual de las cámaras artefacto.

Descripción detallada de la invención

Para una mejor comprensión de la invención, en referencia a las figuras anteriores, se describen diferentes realizaciones que han de considerarse no limitantes del alcance del sistema objeto de la invención.

En la Fig. 1 se ilustra un diagrama esquemático con bloques funcionales que representan las principales unidades en las que puede estructurarse la presente realización. Como se puede apreciar una unidad de almacenamiento 12 contiene la información de partida. Una unidad de extracción 10 se encarga de acceder a la misma y de extraer imágenes 20 con las que una unidad de procesamiento 18 realiza las tareas necesarias para poder mostrarlas en una unidad de visualización 40 14.

Las tareas que lleva a cabo la unidad de procesamiento 18 generan modelos 3D interactivos de manera automatizada. Por modelo se debe entender una colección de puntos en el espacio dentro de un espacio tridimensional, conectados por varias entidades geométricas tales como triángulos, lineas, superfiCies curvas, etc, esto es, una representación matemática de cualquier objeto tridimensional (ya sea inanimado o vivo). Los modelos 3D pueden ser hechos a mano, a través de algoritmos O bien escaneados.

La unidad de procesamiento 18 se acopla con una unidad de control gestual y táctil 16 que permite manipular gestualmente las imágenes 3D que se muestran en un visor 4D

La presente realización toma como punto de entrada la unidad de almacenamiento 12. La unidad de extracción 10 escanea los archivos almacenados en una ubicación determinada mostrando las imágenes detectadas que son compatibles. Por compatibles entendemos todas aquellas que cumplen el protocolo DICOM o aquellas provenientes de aparatos de microscopia estandarizados como BIOFORMATS. Con la selección de los archivos de entrada al sistema comienza un proceso automático y optimizado en términos de rendimiento, que analiza las imágenes contenidas y divide la misma en diferentes imágenes temporales (solo la primera vez) en función de la estructura interna de la misma.

Es necesario diferenciar las características del análisis realizado en función del tipo de imagen de entrada:

BIOFORMATS

Es habitual encontrarnos con imágenes de microscopia de gran tamaño que contienen en un solo archivo diferentes series de estudio S, cada una de ellas con e canales y a su vez con K imágenes 2D en el eje Z.

El procesamiento previo en este caso consiste en la separación en S ficheros temporales en formato TlFF, cada una de las cuales con los C*K imágenes mencionadas previamente.

DICOM

Todos los ficheros presentes de este tipo pasan a ser clasificados siguiendo un criterio que los separa en base a conceptos como paciente, estudio, serie dentro del estudio y disposición espacial. De esta manera el sistema es capaz de generar S ficheros temporales de K imágenes cada uno, perfectamente ordenados espacialmente.

Para la generación de los modelos 3D se plantean dos diferencias fundamentales en función del tipo de imagen a procesar.

BIOFORMATS

El sistema habilita la selección del número capas a extraer (a mayor número, mayor detalle) y permite la determinación de los valores umbrales de intensidad para la

misma. Estos valores se tomarán como punto de partida para la generación de las superlicies. El número total de modelos parciales M generados es:

M = e (canales contenidos) * N (número de capas a extraer)

5: El sistema permite la selección de los tejidos de interés y la particularización de los umbrales HU que caracterizan un tejido concreto mediante la modificación de las preferencias del mismo.

El número total de modelos parciales M generados es:

M= N (número de tejidos seleccionados)

lO

15: Independientemente del tipo de imagen procesada, se facilita la selección del nivel de compresión del modelo resultante, así como de valores determinantes en el algoritmo de extracción . Una vez finalizado este proceso paralelo, una unidad de visualización 4D 14 reconstruye de manera dinámica el modelo 3D total como suma de todas estas partes adaptando la geometría. Para conseguir la realidad inmersiva solo es necesario disponer de unas gafas 3D pasivas, fácilmente adquiribles y de bajo coste.

20: Una unidad de control gestual y táctil 16 facilita el control dinámico del modelo generado, permitiendo la modificación al vuelo del mismo; dada la técnica de procesamiento desarrollada y explicada más adelante en el desarrollo software, no existe la necesidad de regenerar el mismo para cambiar el nivel de detalle. Así mismo, la unidad de control gestual y táctil 16 permite la rotación-translación-escalado del mismo pudiendo modificar el punto de vista a necesidad. Esto permite multitud de ámbitos de uso.

25: Los modelos generados pasan a formar parte del historial, pudiendo ser recargados a necesidad , sin tener que generarlos de nuevo. Así mismo, se posibilita la deslocalización del entorno de trabajo al disponer de la capacidad de importación/exportación desde/a dispositivos externos en un formato estandarizado.

Desarrollo hardware

30: El prototipo desarrollado incluye dos pantallas 50a, 50b duales dispuestas en forma de libro respecto a la horizontal de las mismas y formando un ángulo de 105° entre ellas como mu estra la FIG. 2 (o también la FIG. 5). La presente realización habilita en la

pantalla inferior táctil 50a para ayudarnos como mesa de trabajo e integrando los sistemas de reconocimiento gestual LeapMotion® y Myo®.

Se procede a continuación a detallar el proceso seguido para la confección del dispositivo consiguiendo todas las características técnicas que se esperaban del mismo, y cómo se ha resuelto cada una de ellas.

Visualización

La unidad de visualización 14 permite una visión inmersiva que se basa en la tecnología de visionado 3D estereoscópica. Concretamente, se basa en la tecnología de visión FPR (Film Patterned Reader) impulsada por LG® en sus televisiones con su marca registrada Cinema3D.

Este tipo de tecnología permite visionar imágenes 3D mediante un principio óptico de polarización de la luz. Esto posibilita ser observado usando unas lentes corrientes con una polarización determinada. Cada lente polarizada bloquea una de las dos imágenes que emite la unidad de visualización 14 haciendo que ha cada ojo le llegue la imagen correspondiente de su plano de visión.

La decisión de emplear esta tecnología radica en que no se necesitan sistemas electrónicos en las lentes usadas para observar las imágenes, y en que permiten una visión fluida sin cansancio ocular. Las tecnologías 3D alternativas basan su funcionamiento en el uso de imágenes oscilantes: cada fotograma se divide temporalmente para mostrar dos imágenes correspondientes a los dos planos de visión oscilando entre ambos de una manera imperceptible para el ojo humano. Este proceso de oscilación se sincroniza con un dispositivo electrónico acoplado a las lentes de visionado que oscurece el cristal correspondiente alojo opuesto al del plano de visión , haciendo que a cada ojo solo le lleguen sus imágenes. Sin embargo, esto genera un cansancio producido por la continua oscilación de imagen que a pesar de ser imperceptible es continua y en tiempo prolongado dañina para nuestros ojos. Además, requiere el uso de lentes electrónicas más pesadas e incómodas.

El desarrollo del prototipo se puede llevar a cabo con dos pantallas SOa, SOb FPR LG® modelo LG49UB850V en un tamaño de 16:9 y 49" en diagonal. El desarrollo en este tamaño no condiciona otros tamaños de pantalla. Se puede escalar tanto a tamaños menores como mayores, siempre que no lo limite la tecnología base.

Dadas las especificaciones del fabricante para la óptima visualización de la imagen se estudia el montaje para asegurar que el usuario quede dentro del rango de visión recomendado. La condición para ello es que el ángulo de visión de cada una de las horizontales de la pantalla [00 ... On] según se indica en la Fig. 3 nunca sea menor de 75°.

El montaje de la pantalla superior 50a no es complicado ya que solo se requiere el ajuste en altitud de la pantalla y el usuario. En caso de la pantalla inferior 50b, mostrado en la FIG. 4, en diagonal se idea un sistema por el cual se trabaja con una buena visión en otro rango de valores para los ángulos [00 ... on).

Se realiza para ello un seguimiento de cómo evoluciona el visionado a lo largo de un amplio rango de ángulos de incidencia, desde el horizontal 90° hasta un ángulo de 30°.

Basándose en esta experiencia se concluye que el rango [90°, 75j proporciona una polarización correcta y sin sombras (tal y como adelanta el fabricante), a partir de 75° se observa el progresivo acople de ambas imágenes. Sin embargo, se descubre que a partir de los 60° y hasta los 30° de inclinación se vuelven a desacoplar (como se indica esquemáticamente en la Fig. 4) permitiendo la separación de las imágenes por las lentes polarizadas, con el inconveniente de que se produce una inversión: la imagen que debería llegar alojo derecho llega al izquierdo y viceversa.

Para solventarlo, se dispone la pantalla inferior 50b volteada horizontalmente, pero manteniendo el sentido de la imagen. De esta manera, el rango [90°, 75j deja de funcionar correctamente y pasa a estar invertido, siendo el rango [60°, 30j el que en este caso funciona de manera correcta.

Así como muestra la Fig. 2 disponiendo las pantallas en un ángulo de 105° se puede observar la pantalla superior 50a desde los extremos 00=75° hasta 0,=75°, y la pantalla inferior 50b desde ¡3o=30° hasta ¡31=45° (cumpliendo totalmente con el rango de visión ideado para la pantalla inferior). Concluyendo así, que el usuario dispondrá de un campo óptimo de visión 3D en ambas pantallas.

Montaje físico del sistema de visión

Para disponer las pantallas en su posición correcta se confecciona una eslructura de sujeción a medida para la colocación del sistema sobre una mesa convencional.

En la Fig. 5 se muestra la disposición final del prototipo y como las pantallas 50a 50b quedan integradas gracias a una estructura de sujeción 51 con los parámetros especificados anteriormente. En el montaje se distingue la estructura integral de sujeción 51 , una serie de juntas plásticas atornilladas entre la estructura 51 y las propias pantallas 50a, 50b.

Integración de dispositivos de control La realización incluye una unidad de control gestual y táctil 16 que integra la tecnología de control gestual LeapMotion®.

Además del control gestual, se especifica que la pantalla inferior 50b sea multitáctil para permitir su uso como una mesa de trabajo interactiva. Con el fin de satisfacer esta necesidad se hace un estudio de las tecnologías existentes para permitir la entrada táctil en una pantalla de gran dimensión.

Finalmente se dispone que la entrada táctil por marcos de infrarrojos resulta conveniente. Esta tecnología consiste en la superposición de un marco exterior por encima de la superfiCie de la pantalla que emite una malla de señales infrarrojas. Las que al ser interrumpidas por los dedos captan los puntos exactos en los que están tocando la pantalla. Esta tecnología táctil además nos asegura no tener ningún tipo de interferencia electro-magnética con los paneles de visión 3D FPR. El componente usado puede ser un marco táctil "PQLabs G5S Overlay" que incorpora un cristal templado para proteger el panel de golpes y presiones. Este marco se integra a la pantalla inferior mediante una serie de adhesivos en los bordes del dispositivo táctil, quedando así fijado al panel inferior creando una pantalla 3D multitáctil.

Equipo informático para el control del dispositivo

Se incluye como unidad de procesamiento 18 un equipo informático encargado de gestionar el hardware y procesar las imágenes. Para un rendimiento óptimo en el procesado y visionado de imagen es necesario un equipo con un mínimo de potencia, para el prototipo desarrollado se usó un PC con las siguientes características:

•: Procesador Intel i7-5930K 6 núcleos, 12 hilos a 3,5 Ghz

•: Memoria RAM Fury 32GB 00R4 2133

•: Disco duro SSD M.2 SATA de 256GB

•: Placa Gigabyle GA-X99-G5

•: Gráfica NVIDIA TITAN X 12GB DDR5 x2

La presente realización admite cualquier configuración con salida HoMI para dos pantallas. La elección de este hardware radica en la potencia del software de visionado de imágenes médicas que se ha desarrollado específicamente para este sistema y que se detallará a continuación.

Desarrollo software El software es el encargado, por un lado, del acondicionamiento previo de las imágenes de entrada en la unidad de extracción 10 y de la generación y extracción de los modelos asociados en la unidad de procesamiento 18 y por el otro, de la carga y visualización de los modelos 3D en la unidad de visualización 14 que se han obtenido como resultado en el proceso previo. Todo este proceso se realiza de manera automatizada (siempre bajo las especificaciones del usuario) pero no requiere interacción con el usuario salvo para avanzar en las etapas del proceso, evitando de esta manera que el usuario tenga necesidad de conocimientos técnicos acerca de software de segmentación y extracción de modelos.

Para la generación de los modelos 3D asociados a una serie de entrada elegida por el usuario, se siguen 3 etapas principalmente. La Fig. 6 nos ayuda a seguir el proceso descrito a continuación.

1. ANALlSIS

El proceso de reconstrucción 3D comienza cuando el usuario mediante la interfaz de control del visor 601 selecciona en la unidad de almacenamiento 12 un directorio de entrada 611 .

Una unidad de extracción 10 inicia la operación "scan" 621 que escanea recursivamente cada una de las rutas posibles detectando todas aquellas imágenes compatibles con el sistema. Por imágenes compatibles con el sistema entendemos, por un lado, todo grupo de imágenes que cumpla con el protocolo DI COM y por otro lado todas aquellas que cumplan con el standard de metadatos de OpenMicroscopy.

La tarea principal de esta fase es por un lado detectar las imágenes de microscopia y por otro lado agrupar las series de imágenes DICOM que contienen en si un volumen 3D. Aquellas que no contengan un volumen serán descartadas.

Para las comprobaciones de compatibilidad de los formatos citados anteriormente, nos apoyamos en dos librerías básicas: GDCM para la lectura de ficheros DCM y BIOFORMATS para aquellos del estándar Openmicroscopy. La unidad de extracción 10 en cooperación con la unidad de proceso 18 lanza varios hilos (dependiendo del procesador del HW) que escanean todas las posibles rutas dentro del directorio de entrada 811 seleccionado en la unidad de almacenamiento 12.

Estas unidades de servicio son las encargadas de comprobar la compatibilidad de cada uno de los ficheros.

BIOWorker:

En este caso, la unidad de servicio se encarga de gestionar los ficheros BIOFORMATS verificando la validez de la extensión del mismo.

DICOM Worker:

Para el caso de los ficheros oCM, la unidad de servicio asociada realiza una serie de tareas más complejas debido a las características propias de este tipo de ficheros.

Esta unidad es responsable de:

1.: Agrupación: Debemos agrupar todos los DCM que pertenecen a un mismo paciente.

2.: Separación: Debemos separar los grupos oCM que pertenecen al mismo estudio/serie identificando el número de los mismos contenidos en toda la serie de entrada.

3.: Ordenación: Debemos asegurarnos que cada uno de esos grupos se encuentra correctamente ordenado para que la recomposición del volumen 3D sea exacta.

En la FIG. 7 se ilustra la extracción ordenada de datos de ficheros. El criterio caracterización depende de las etiquetas marcadas por el protocolo DICOM al efecto, a saber: ID paciente 701, Nombre de paciente, UID Estudio 702, Ulo Serie 703, Descripción serie, UID Frame de referencia, IOP Orientación de la imagen con respecto al paciente 710, Posición Imagen, Modalidad adquisición, Número de adquisición y Número de imagen.

Para ello debemos seguir un proceso iterativo que además se encargue de comprobar una serie de casos "especiales".

Este proceso representado en la Fig. 7, se inicia comprobando si encuentra el ID del paciente 701 en los ficheros, después el id del estudio 702 y el de la serie 703 en este orden. Tras ello comprueba si el set de imágenes contiene la etiqueta IOP 704. Si contiene esta etiqueta organiza las imágenes según la misma 706 y comprueba si tiene la etiqueta IPP 708. De estar presente ordena según esta etiqueta 710. De no estar IPP o IOP anteriormente ordena según el número de imagen 705 y comprueba si hay duplicados 707. Si existen tratamos de eliminarlos 709. Una vez completo el proceso el último paso es comprobar si consideramos correcta la ordenación 711. De serlo consideramos ordenado 712 y de lo contrario descartamos 713. Finalmente comprobamos si hay más series 714 y de haberlas reinicia el proceso, de lo contrario finalizamos 715.

Los DCM se agrupan iterativamente para cada paciente, cada estudio, cada serie y dentro de cada una de ellas debemos agrupar en función de la imagen de referencia en los casos en que se pueda. En aquellos que no, se opta por una ordenación basada en el index que contiene cada DCM teniendo especial atención a la posibilidad de encontrarnos con DCM repetidos.

Todo este proceso tiene como resultado un fichero XML 612 que contiene información relevante para el sistema, incluyendo aquellos metadatos relevantes como pueden ser la separación espacial entre imágenes consecutivas, separación entre píxeles, etc .. Todos los ficheros compatibles son indexados mediante una clave alfanumérica, que será la que sirva de referencia para todo el proceso.

2. PROCESAMIENTO

Volviendo a la FIG. 6, se puede ver que la información relevante se le presenta al usuario 602 para que sirva como punto de entrada a la imagen a tratar por la unidad de procesamiento 18 y una vez que el usuario selecciona la imagen que desea tratar, se lanza el procesado de la imagen deseada 622.

Esta fase se centra en el análisis de la imagen seleccionada y en la de su estructura interna. Debido a las diferencias conceptuales de los dos tipos de imágenes que la presente realización es capaz de tratar, debemos separar el comportamiento en dos apartados:

BIOFORMATS

Es habitual encontrarnos con imágenes de microscopia que contienen N series de K imágenes cada una; la unidad de procesamiento 18 es la encargada de analizar las características propias de la imagen en cuestión y por medio de un proceso paralelo obtener N imágenes temporales en formato TIFF 613a, cada una con K agrupadas en un directorio 613. Para ello, y por medio de la JVM (Java Virtual Machine) nos comunicamos con el paquete desarrollado al efecto. Este paquete es el encargado de manejar los ficheros BIO apoyándose en la librería java de bioformats. De forma paralela, divide en los diferentes ficheros objeto que contendrá cada una de las series de las que se compone la imagen original. Cada fichero TIFF 613a resultante contendrá todos los planos Z asociados a esa serie en concreto para cada uno de sus C canales.

DICOM

Para el caso de ficheros DCM , el procesado discurre de la siguiente manera: Se lee la estructura de las series DCM del fichero validPaths.xml 612 y se aglutinan en un único fichero TIFF de salida 613a (por cada serie ), ya que ya están ordenados.

Al finalizar el proceso de análisis de cada uno de los tipos de imágenes el resultado es similar: obtenemos un directorio de salida 613 codificado que contiene todas esas imágenes temporales 613a y un fichero splitter.xml 614 que contiene una descripción de cada una de esas imágenes y sus caracteristicas.

3. GENERACION DE MODELOS 3D

Una vez finalizado el proceso de procesamiento de las imágenes de entrada 622 y cuando ya se han generado las imágenes temporales, podemos empezar con la generación del modelo 3D.

El usuario establece entonces la serie que desea generar 603 y comienza el proceso de extracción 623. Este proceso difiere un poco en función del tipo de imagen a tratar.

BIOFORMATS

Partiendo de la imagen temporal de entrada 613a, el software estudia el rango de intensidades disponibles dentro de la misma y en función de las preferencias del usuario (número de capas a extraer) o en su defecto del valor establecido en el fichero de settings, divide el rango de intensidades en tramos iguales. Estos valores serán los que utilice el algoritmo de extracción de las superficies para delimitar los valores de entre los que se debe crear la superficie .

Para cada imagen de entrada obtenemos un total de:

M modelos = I canales x S superficies a extraer

Una vez decididos el número de superficies a extraer y sus valores asociados, los mismos se reparten entre las colas que contienen los diferentes extractores, que irán procesando iterativamente hasta finalizar con la obtención de los M modelos parciales deseados. Pudiera darse el caso de que alguno de las superficies no se genere finalmente ya que pudiera darse el caso de que durante el proceso se generen valores nulos.

DICOM

En este caso, lo que busca la unidad de extracción 10 es la extracción de K capas asociadas a cada uno de los tejidos de interés (hueso, tejido muscular, tejido graso, etc .... ). Para ello, se toma como punto de partida los valores establecidos como en la escala Hounsfield .

En función de las preferencias que el usuario haya seleccionado, el software toma estos estos valores como entrada y determina el número de modelos a extraer, tomando los valores por defecto (en su caso) de las H.U. (Hounsfield Units) como entrada para el algoritmo de extracción de las superficies.

Cada uno de estos modelos se guarda en la carpeta correspondiente a su serie 616 dentro de una subcarpeta con el nombre asociado al tejido, correspondiente en la unidad de almacenamiento 12.

Para la generación de cada modelo y su posterior almacenamiento en ficheros obj 616a, el algoritmo de extracción sigue un proceso común para ambos tipos de imágenes. Lo detallamos a continuación:

•: Extracción de los contornos (en función del valor mínimo y valor máximo)

•: Eliminación de puntos duplicados

•: Reducción del número de polígonos

•: Cálculo de normales

•: Generación de triángulos

•: Suavizado

•: Almacenado

Todo el algoritmo esta implementado en base a la librería VTK

En el directorio raíz de cada una de las series 616 que hayamos extraído (independientemente de si se trata de un fichero DCM o SIO) se genera también un fichero xml asociado model.xml 617. Este fichero contiene la información relativa al número de modelos parciales M que se han generado, así como información relativa a su geometría y características que es necesario tener en cuenta al realizar la composición total de la geometría.

4. VISUALIZACiÓN

Por último, la visualización 604 se produce en la parte de software desarrollada para tal fin sobre Unity3D (motor de desarrollo gráfico) que se implementa en la unidad de procesamiento 18. Este software es el "frontend" con el que interactúa el usuario.

Una vez disponibles todos los ficheros del modelo 616a, la unidad de visualización 4D 14 carga toda la información del fichero mode/.xm/617 y analiza todos los datos de los que dispone para proceder a la carga de la imagen. Acto seguido calcula el número de ficheros individuales que deberá reconstruir, y crea un pool de hilos de tamaño variable, según la especificación de la unidad de procesamiento 18 en el que se ejecute. Con toda esta información lanza en el pool de ejecución tantos hilos como ficheros a leer, reconstruyendo cada uno de ellos en memoria la geometría almacenada en los diferentes ficheros obj 616a. Esta concurrencia permite realizar una carga mucho más eficiente ya que la mayoría de las veces disponemos de un número elevado de ficheros de tamaño moderado, y rara vez pocos ficheros de gran tamaño.

Al finalizar todos los trabajos del pool de ejecución tenemos accesibles la reconstrucción geométrica (malla de polígonos) en memoria. En este momento se ejecuta un algoritmo diseñado para agrupar cada una de las mallas acorde a la información leída en el fichero mode/.xm/617, calculando también los límites, el centro y la posición del modelo completo reconstruido y la posición interna de cada una de las mallas de polígonos. Una vez terminado este proceso disponemos de una estructura jerárquica de objetos, que parten de un nodo raíz que compone el modelo completo y contiene todas y cada una de las partes por separado.

Una vez realizada la reconstrucción física del objeto se lanza un nuevo proceso para asignar a cada una de sus partes las propiedades de visualización adecuadas (color, intensidad, transparencia, textura). Estas propiedades también están definidas en el fichero de información del modelo 617 y se leen al comienzo.

Terminados todos los procesos de carga tenemos el modelo listo para visualizar, por lo que se sitúa en una escena virtual del motor gráfico, que es el encargado de generar las imágenes que finalmente visualizaremos. En el motor Unity3D, esta escena se dibuja mediante artefactos cámara 803 del motor gráfico. Estos artefactos son componentes internos que generan un renderizado (imagen de la escena virtual captada como si de una cámara de video en la vida real se tratase) desde un punto definido. Estos quedarán enfocadas a la parte de la escena que nos interese.

Evidentemente en nuestro caso no solo se tiene que dibujar la escena de forma corriente, sino que se tiene que combinar el dibujado de los dos planos de visión (pantallas 50a y 50b), Y además que este sea estereoscópico.

Para conseguir un renderizado estereoscópico se requiere la toma de dos imágenes desde dos puntos separados horizontalmente por una distancia que denominaremos interaxial 802. Estas imágenes serán generadas por dos artefactos cámara 803 dispuestos como acabamos de describir (ver Fig.8) y enfocando a un punto lejano común llamado foco. La distancia entre cada uno de los artefactos y el foco se denomina distancia focal 801 y es igual para ambos artefactos. Posteriormente denominaremos este sistema de artefactos cámara "artefacto cámara 3D".

Cada uno de los planos de visión requiere ser renderizado de forma estereoscópica por lo que las imágenes correspondientes a cada uno de ellos se generaran mediante dos artefactos cámara 3D.

Los planos de visión se corresponden a cada una de las pantallas (50. y 50b). Que como hemos mencionado anteriormente, forman un ángulo de 105° entre ellas haciendo que las normales de los correspondientes planos de visión se crucen con un ángulo de 75°. Por tanto, ambos planos de visión se observan desde el mismo punto con un ángulo de 75° de diferencia entre cada uno de ellos.

Para realizar el renderizado entonces usaremos dos artefactos cámara 3D situados en el mismo punto origen y enfocados en dos direcciones separadas 75° la una de la otra. Llamaremos a este conjunto "sistema de cámaras finar.

El sistema de cámaras final cambia el comportamiento de los artefactos cámara que contiene, capturando la imagen de cada una de ellos y combinándolas en una única imagen de salida. Obviamente esta imagen tiene una disposición adecuada para que la visualización en las pantallas sea la deseada.

Esta imagen de salida logra que la parte superior genere las dos imágenes de la imagen superior correspondientes a cada uno de los planos de visión , mientras que la parte inferior lo haga para la pantalla inferior.

Finalmente, el visionado completa sus funcionalidades con la unidad de control gestual y táctil 16 para la gestión de los dispositivos de control especificados en el apartado hardware. Toda la interacción con el usuario se realiza mediante la interacción con la pantalla táctil 50b y el reconocimiento gestual.

Claims

REIVINDICACIONES

1_ Sistema para visualizar una imagen médica caracterizada por que comprende:

-

una unidad de extracción (10) configurada para extraer una pluralidad de imágenes 2D compatibles de una pluralidad de ficheros de entrada almacenados en una unidad de almacenamiento (12);

-

una unidad de procesamiento (18) configurada para generar modelos 3D en función de las preferencias establecidas;

-

una unidad de visualización 4D (14) configurado para visualizar los modelos 3D generados con información temporal asociada;

-

una unidad de control gestual y táctil (14) configurada para recibir una entrada táctil o un gesto realizado por un usuario y enviar una instrucción a la unidad de procesamiento (18) o a la unidad de visualización (14).
2.

Sistema según la reivindicación 1, caracterizado por que la unidad de extracción (10), en cooperación con la unidad de procesamiento (18), está configurada para comprobar si los ficheros de entrada a extraer son compatibles con un estándar médico determinado.
3.

Sistema según la reivindicación 2, caracterizado por que el estándar es BIOFORMATS o DICOM.
4.

Sistema según la reivindicación 3, caracterizado por que si el formato es BIOFORMAT, la unidad de extracción (10) está configurada para extraer una capa asociada a un tejido de interés de acuerdo con rango de intensidad de la imagen 2D.
5.

Sistema según la reivindicación 3, caracterizado por que si el formato es DICOM, la unidad de extracción (10) está configurada para extraer una capa asociada a un tejido de interés de acuerdo con su valor en la escala Hounsfield.
6.

Sistema según una cualquiera de las reivindicaciones anteriores, caracterizado por que la unidad de procesamiento (18) está configurada para extraer un contorno en la imagen 2D.

5 7. Sistema según una cualquiera de las reivindicaciones anteriores, caracterizado por que la unidad de visualización comprende una pantalla superior (50a) y una pantalla inferior (50b) acopladas para combinar esteroscópicamente cuatro imágenes asociadas al modelo 3D generado en dos planos correspondientes a cada pantalla y con dos imágenes estereoscópicas por pantalla.
8. Sistema según la reivindicación 7, caracterizado por que para cada pantalla (50a,50b) la pareja de imágenes estereoscópica asociada es generada por renderización a una distancia interaxial (802) y a una distancia focal (801) de acuerdo con el ángulo formado entre ambas pantallas (50a,50b).
9. Sistema según una cualquiera de las reivindicaciones anteriores, caracterizado por que la unidad de control gestual y táctil (14) se acopla con la pantalla inferior (50b).
10. Sistema según la reivindicación 4, caracterizado por que el ángulo entre la pantalla 20 superior (50a) y la pantalla inferior (50b) está en el rango de 90° a 120°.
11. Sistema según la reivindicación 5, caracterizado porque el ángulo es 105°.