ES3030740T3

ES3030740T3 - A method and system for machine learning classification based on structure or material segmentation in an image

Info

Publication number: ES3030740T3
Application number: ES20177226T
Authority: ES
Inventors: Yu Peng
Original assignee: Curvebeam AI Ltd
Current assignee: Curvebeam AI Ltd
Priority date: 2019-06-21
Filing date: 2020-05-28
Publication date: 2025-07-01
Anticipated expiration: 2040-05-28
Also published as: EP3754600C0; EP4592952A2; US20220147757A1; JP2021002339A; EP4592952A3; US20200401843A1; US11263497B2; JP2025013801A; JP7623795B2; CN112116609A; EP3754600A1; EP3754600B1; US12217418B2

Abstract

Un sistema y un método para clasificar una estructura o material en la imagen de un sujeto. El sistema comprende: un segmentador configurado para formar una o más segmentaciones de una estructura o material en una imagen y generar, a partir de ellas, uno o más mapas de segmentación de la imagen, incluyendo categorizaciones de píxeles o vóxeles de los mapas de segmentación asignados a partir de uno o más conjuntos de categorías predefinidos; un clasificador que implementa un modelo de aprendizaje automático de clasificación entrenado, configurado para generar, a partir de los mapas de segmentación, una o más clasificaciones y asignarles puntuaciones que indican la probabilidad de que la estructura o el material, o el sujeto, se ajusten a las clasificaciones correspondientes; y una salida para generar un resultado indicativo de las clasificaciones y puntuaciones. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Un método y sistema para la clasificación del aprendizaje automático basados en la segmentación de estructuras o materiales en una imagen

Solicitud relacionada

[0001] La presente solicitud se basa y reivindica la prioridad de la solicitud de patente de Estados Unidos N° 16/448.474 presentada el 21 de junio de 2019.

Campo de la invención

[0002] La presente invención se refiere a un sistema de visión por ordenador, un método y un medio legible por ordenador, que emplea aprendizaje automático y, en particular, redes neuronales profundas, para clasificar (y monitorizar cambios en) una imagen (como una imagen médica), basándose en la segmentación estructural y material. Las posibles aplicaciones de imagenología médica incluyen la tomografía computarizada (TC), la resonancia magnética (MR), ultrasonidos, HRpQCT (tomografía computarizada cuantitativa periférica de alta resolución) y la imagenología de escáner de patología.

Antecedentes

[0003] Al análisis de imágenes médicas se han aplicado técnicas de visión por ordenador y de procesamiento de imágenes. Algunos sistemas asistidos por ordenador realizan el análisis en dos pasos: segmentación y cálculo cuantitativo. La segmentación es el proceso de segmentar (o diferenciar) estructuras u objetos en una imagen, como una imagen médica, entre sí diferenciando píxeles (en imágenes 2D) o vóxeles (en imágenes 3D) en la imagen. Basándose en la segmentación, se calculan características cuantitativas como el volumen, la forma y la densidad. Por ejemplo, el tamaño y la forma de una lesión se calculan después de que la lesión se haya segmentado en una CT o MRI cerebral; la densidad mineral ósea puede calcularse después de que se haya segmentado el cuello femoral en una DXA (absorciometría de rayos X de energía dual) de cadera. Un médico puede realizar un diagnóstico o tomar una decisión de tratamiento después de que haya comparado esos valores calculados con datos de referencia sanos.

[0004] Por ejemplo, una puntuación T es la puntuación estándar de la densidad mineral ósea de un paciente comparada con la media de referencia normal joven. La OMS (Organización Mundial de la Salud) define la osteoporosis como una puntuación T de -2,5 o menor, es decir, una densidad ósea que está dos desviaciones estándar y media o más por debajo de la media de un hombre/mujer sano/a de 30 años de edad.

[0005] La segmentación puede realizarse manual, semimanual o automáticamente. En un ejemplo de segmentación manual, un usuario maneja un ordenador para mover una caja rectangular sobre una exploración DXA de cadera y seleccionar de este modo la región del cuello femoral.

[0006] La segmentación semimanual puede ser realizada por un programa de procesamiento de imágenes empleando una inicialización o entrada del usuario. Por ejemplo, un usuario puede manejar un ordenador para dibujar un límite óseo aproximado en una tomografía computarizada de la muñeca; a continuación, el programa ajusta el límite aproximado en un contorno que segmenta el hueso de los tejidos circundantes.

[0007] La segmentación automática puede realizarse utilizando las características del objeto de interés, como los valores de intensidad, bordes y formas. En un ejemplo existente, se usa un método de umbralización basado en valores de vóxel para segmentar el hueso de los tejidos circundantes en exploraciones CT. Otros programas usan algoritmos de aprendizaje automático para entrenar un clasificador con el fin de segmentar tejidos anómalos en imágenes médicas. Por ejemplo, como clasificador puede usarse un algoritmo de aprendizaje automático basado en características, como una máquina de vectores de soporte y un árbol de decisión, usando imágenes tumorales e imágenes normales como datos de entrenamiento. El clasificador entrenado se desliza a través de la nueva imagen "ventana" a "ventana" para segmentar cualquier región de la imagen de tejidos tumorales.

[0008] Los algoritmos de aprendizaje automático han demostrado una precisión y eficacia prometedoras en este campo. Sin embargo, recopilar suficientes datos de entrenamiento y anotar los datos de entrenamiento constituye un desafío significativo. Las imágenes de entrenamiento deben ser anotadas por expertos, lo cual es un proceso tedioso y que lleva mucho tiempo. Además, en algunas aplicaciones puede ser muy difícil o casi imposible anotar con precisión las imágenes de entrenamiento, incluso para los expertos. Por ejemplo, en la evaluación de la calidad ósea, hay una zona de transición en cualquier muestra compuesta por huesos tanto corticales como trabeculares. La zona de transición comprende la corteza interna adyacente al canal medular y las trabéculas que se apoyan contra la corteza contigua con la superficie endocortical. La zona de transición es un lugar de remodelación ósea vigorosa. Es importante identificar y segmentar esta región en la evaluación de la microestructura ósea pero, debido a las limitaciones en la resolución de la imagen, es esencialmente imposible para un experto anotar esta región de manera tanto precisa como consistente. Sin imágenes anotadas como datos de entrenamiento, no es posible entrenar el modelo de segmentación.

[0009] En los últimos años, el aprendizaje profundo o las redes neuronales profundas han superado a los humanos en muchas tareas de reconocimiento visual, como la clasificación de imágenes naturales. En una implementación ejemplar de CNN (red neuronal convolucional), la red consta de una capa de entrada, capas ocultas y una capa de salida. Se introduce una imagen en la red a través de la capa de entrada. La imagen se muestrea y se le aplican operaciones convolucionales para generar capas ocultas. La salida de cada capa se usa como entrada para la siguiente capa de la red. Al final, la capa de salida está totalmente conectada y generará un resultado de clasificación. Los datos de entrenamiento son imágenes con etiquetas de clasificación. El proceso de entrenamiento obtiene los parámetros de la red neuronal. Después de que se haya finalizado el entrenamiento, la red neuronal procesará una nueva imagen con los parámetros obtenidos para generar un resultado de clasificación. Por ejemplo, puede usarse un algoritmo de red neuronal profunda para entrenar un modelo que determine el estado (por ejemplo, no, leve, moderado, grave) de la retinopatía diabética a partir de imágenes de OCT (tomografía de coherencia óptica).

[0010] Sin embargo, esta solución integral plantea dos problemas en la práctica clínica. En primer lugar, la solución integral es una caja negra: la entrada es la imagen médica y la salida, la clasificación de enfermedades o afecciones. Es difícil interpretar el proceso por el que la red neuronal toma su decisión, por lo que al usuario le resulta difícil evaluar la fiabilidad de los resultados de la clasificación. En segundo lugar, esta solución requiere una cantidad sustancial de datos de entrenamiento. Como ya se ha analizado con anterioridad, en las aplicaciones médicas, anotar o etiquetar los datos de entrenamiento es un proceso tedioso y que lleva mucho tiempo. Recopilar suficientes datos de entrenamiento para cada categoría de cada tipo de resultado de clasificación supone, por tanto, un desafío significativo.

[0011] Deniz et al. en Segmentation of the Proximal Femur from MR Images using Deep Convolutional Neural Networks (Cornell University Library, pub. 20 de abril de 2017) divulgan un método de segmentación automática del fémur proximal basado en redes neuronales convolucionales profundas (CNN) construidas usando un conjunto de datos de imágenes de MR estructurales volumétricas segmentadas manualmente del fémur proximal, probadas en experimentos usando dos arquitecturas de CNN entrenadas diferentes con múltiples cantidades de mapas de características y capas iniciales.

[0012] Arun et al. en Simulating Dual-Energy X-Ray Absorptiometry in CT Using Deep-Learning Segmentation Cascade (Journal Of The American College Of Radiology, 16(10) (2019) págs. 1473-1479) divulgan un método para simular puntuaciones de DEXA lumbar a partir de estudios de CT usando un algoritmo de aprendizaje automático, basado en la columna vertebral y la segmentación multiclase desarrollado usando estudios de CT de abdomen y pelvis.

[0013] El documento WO 2019/106061 A1 (UCB Biopharma SPRL) divulga un método de aprendizaje basado en máquina para estimar una probabilidad de fracturas óseas vertebrales en una imagen 3D, utilizando un modelo computacional basado en datos para aprender características de imágenes 3D para clasificar fracturas vertebrales.

Sumario

[0014] De acuerdo con un primer aspecto de la invención, se proporciona un sistema para clasificar una estructura o material en una imagen (que comprende, por ejemplo, una imagen médica) de un sujeto, como se define en la reivindicación 5.

[0015] En una realización, el clasificador genera las una o más clasificaciones basadas en los mapas de segmentación y los datos no de imagen pertenecientes al sujeto.

[0016] El sistema puede configurarse para entrenar el modelo de aprendizaje automático de clasificación.

[0017] En una realización, el segmentador comprende:

i) un segmentador de estructuras configurado para generar mapas de segmentación de estructuras que incluyan categorizaciones de los píxeles o vóxeles asignados a partir de un conjunto predefinido de categorías de estructuras,

ii) un segmentador de materiales configurado para generar mapas de segmentación de materiales que incluyan categorizaciones de los píxeles o vóxeles asignados a partir de un conjunto predefinido de categorías de materiales, y

iii) un segmentador de anomalías configurado para generar mapas de segmentación de anomalías que incluyan categorizaciones de los píxeles o vóxeles asignados a partir de un conjunto predefinido de categorías de anomalía o normalidad.

[0018] En una realización, el sistema comprende además un procesador de mapas de segmentación configurado para procesar los mapas de segmentación antes de que los mapas de segmentación sean introducidos por el clasificador. En un ejemplo, el procesador del mapa de segmentación se configura para submuestrear los mapas de segmentación.

[0019] En una realización, el modelo de aprendizaje automático de clasificación comprende una red neuronal, una máquina de vectores de soporte, un árbol de decisión o una combinación de los mismos. Por ejemplo, el modelo de aprendizaje automático de clasificación puede comprender una red neuronal que incluya capas de red neuronal convolucionales y capas de red neuronal totalmente conectadas.

[0020] En una realización, la imagen es una imagen médica, y las clasificaciones corresponden a probabilidades de que la estructura o material, o el sujeto, padezcan una afección o síntoma específico en marcos temporales respectivos. En un ejemplo, los marcos temporales incluyen un marco temporal a corto plazo, un marco temporal a largo plazo y por lo menos un marco temporal intermedio entre el marco temporal a corto plazo y el marco temporal a largo plazo. En otro ejemplo, la afección o síntoma es una fractura ósea.

[0021] En una realización, la imagen es una imagen médica, y las clasificaciones corresponden a probabilidades de que la estructura o material, o el sujeto, padezcan las afecciones o síntomas respectivos. En un ejemplo, las afecciones o síntomas son afecciones óseas.

[0022] En una realización, la imagen es una imagen médica, y las clasificaciones corresponden a probabilidades de tasas respectivas de progresión de enfermedad o patología. Por ejemplo, las clasificaciones pueden comprender clasificaciones correspondientes a una o más de: estable, deterioro modesto y deterioro acelerado.

[0023] En una realización, la imagen es una imagen médica, y las clasificaciones corresponden a probabilidades de eficacia de las opciones de tratamiento respectivas. Por ejemplo, las opciones de tratamiento pueden incluir un tratamiento antirresortivo y/o un tratamiento anabólico.

[0024] En una realización, la imagen es una imagen médica, y las clasificaciones corresponden a condiciones médicas respectivas. Por ejemplo, las afecciones médicas pueden incluir una o más de las siguientes: osteomalacia, tumor, osteonecrosis e infección.

[0025] En una realización, el modelo de aprendizaje automático de clasificación es un modelo entrenado con datos de imagen y datos no de imagen relativos a sujetos de entrenamiento, y genera las puntuaciones respectivas basándose en datos de imagen (típicamente constituidos por una o más imágenes) y datos no de imagen relativos al sujeto.

[0026] De acuerdo con el primer aspecto de la invención, también se proporciona un método implementado por ordenador para clasificar una estructura o material en una imagen de un sujeto, como se define en la reivindicación 10.

[0027] En una realización, el modelo de aprendizaje automático de clasificación se usa para generar las una o más clasificaciones sobre la base de los mapas de segmentación y los datos no de imagen pertenecientes al sujeto.

[0028] El método puede incluir el entrenamiento del modelo de aprendizaje automático de clasificación.

[0029] En una realización, la generación de los uno o más mapas de segmentación comprende:

i) generar mapas de segmentación de estructuras que incluyan categorizaciones de los píxeles o vóxeles asignados a partir de un conjunto predefinido de categorías de estructuras,

ii) generar mapas de segmentación de materiales que incluyan categorizaciones de los píxeles o vóxeles asignados a partir de un conjunto predefinido de categorías de materiales, y

iii) generar mapas de segmentación de anomalías que incluyan categorizaciones de los píxeles o vóxeles asignados a partir de un conjunto predefinido de categorías de anomalía o normalidad.

[0030] Por ejemplo, el método puede incluir emplear un modelo de aprendizaje automático de segmentación de estructuras para generar los mapas de segmentación de estructuras, un modelo de aprendizaje automático de segmentación de materiales para generar los mapas de segmentación de materiales, y un modelo de segmentación de anomalía para generar los mapas de segmentación de anomalías. En particular, el método puede incluir el entrenamiento del modelo de aprendizaje automático de segmentación de estructuras, el modelo de aprendizaje automático de segmentación de materiales y el modelo de segmentación de anomalías.

[0031] De acuerdo con un segundo aspecto de la invención, se proporciona un método implementado por ordenador para entrenar un modelo de aprendizaje automático de clasificación para clasificar una estructura o material en una imagen de un sujeto, como se define en la reivindicación 1.

[0032] Este aspecto puede usarse junto con o en combinación con (o como parte de) el primer aspecto, por ejemplo para entrenar el modelo de aprendizaje automático de clasificación del primer aspecto.

[0033] El método puede incluir segmentar las una o más imágenes (como en el curso de la generación de los mapas de segmentación anotados).

[0034] En una realización, el método incluye, cuando se encuentra que el rendimiento en el paso d no es satisfactorio, recibir y usar más datos de imagen y no de imagen para entrenar el modelo de aprendizaje automático de clasificación.

[0035] El modelo de clasificación puede entrenarse mediante varios algoritmos de aprendizaje automático, por lo que puede comprender, por ejemplo, una red neuronal, una máquina de vectores de soporte, un árbol de decisión o una combinación de los mismos.

[0036] Así, en una realización, el modelo de aprendizaje automático de clasificación comprende una red neuronal que tiene una pluralidad de capas que comprenden neuronas artificiales, en donde los parámetros comprenden cantidades de capas, cantidades de neuronas, pesos de neuronas y parámetros de función de neuronas.

[0037] En una realización, la actualización de los parámetros incluye determinar un gradiente de una función de pérdida.

[0038] En una realización, las imágenes son imágenes médicas y los datos no de imagen comprenden historiales clínicos.

[0039] En una realización, el método incluye dividir los mapas de segmentación anotados y los datos no de imagen anotados en el conjunto de entrenamiento, un conjunto de desarrollo y el conjunto de prueba, y usar los datos de desarrollo para investigar el procedimiento de aprendizaje y para ajustar los parámetros (y, cuando el modelo de aprendizaje automático de clasificación comprende una red neuronal, ajustar las capas).

[0040] De acuerdo con este aspecto, también se proporciona un sistema para entrenar un modelo de aprendizaje automático de clasificación para clasificar una estructura o material en una imagen de un sujeto, como se define en la reivindicación 4.

[0041] De acuerdo con un tercer aspecto de la invención, se proporciona un medio legible por ordenador que comprende un programa informático que comprende código de programa configurado, cuando es ejecutado por uno o más dispositivos informáticos, para implementar el método de cualquiera del primer y el segundo aspectos.

[0042] Cabe señalar que cualquiera de las varias características individuales de cada uno de los aspectos anteriores de la invención, y cualquiera de las varias características individuales de las realizaciones descritas en la presente, incluyendo las reivindicaciones, pueden combinarse según se adecuado y se desee.

Dibujos

[0043] Para que la invención pueda comprenderse con mayor claridad, se describirán ahora a continuación, a modo de ejemplo, realizaciones con referencia al siguiente dibujo, en el que:

La Figura 1 es una vista esquemática de un sistema de clasificación de acuerdo con una realización de la presente invención;

La Figura 2 es un diagrama esquemático de alto nivel que ilustra el funcionamiento del sistema de clasificación de la Figura 1, en el cálculo del riesgo de fractura ósea de un sujeto a partir de una exploración de imágenes médicas; La Figura 3 es una vista esquemática del funcionamiento del segmentador del sistema de clasificación de la Figura 1;

La Figura 4 es una ilustración esquemática del funcionamiento del clasificador del sistema de clasificación de la Figura 1;

La Figura 5 es un diagrama de flujo del entrenamiento de la red neuronal de clasificación del sistema de clasificación de la Figura 1.

Descripción detallada

[0044] La Figura 1 es una vista esquemática de un sistema de clasificación 10 para clasificar una estructura o material en una imagen médica (sobre la base de la segmentación estructural y material), de acuerdo con una realización de la presente invención.

[0045] En referencia a la Figura 1, el sistema 10 comprende un controlador de clasificación 12 y una interfaz de usuario 14 (incluyendo una GUI 16). La interfaz de usuario 14 se proporciona para representar la información a un usuario y para recibir la entrada (incluyendo la retroalimentación) de un usuario; típicamente comprende una o más pantallas (en una o más de las cuales pueda mostrarse el GUI 16), un navegador web, un teclado y un ratón, y opcionalmente una impresora. El controlador de clasificación 12 incluye por lo menos un procesador 18 y una memoria 20. El sistema 10 puede implementarse, por ejemplo, como una combinación de software y hardware en un ordenador (como un ordenador personal o un dispositivo informático móvil), o como un sistema de segmentación de imágenes dedicado. El sistema 10 puede estar opcionalmente distribuido; por ejemplo, algunos o todos los componentes de la memoria 20 pueden estar situados remotamente del procesador 18; la interfaz de usuario 14 puede estar situada remotamente de la memoria 20 y/o del procesador 18. Por ejemplo, el sistema 10 puede implementarse en una arquitectura orientada a servicios, con sus componentes comunicándose entre sí a través de una red de comunicación como una LAN (red de área local), WAN (red de área amplia) o Internet. El sistema 10 puede desplegarse en la nube y su uso puede ser compartido por usuarios de diferentes ubicaciones.

[0046] En ciertas otras realizaciones, el sistema 10 se implementa como un sistema independiente (de software y hardware) o como software independiente ejecutable por un ordenador, y desplegado en una ubicación; por ejemplo, el sistema 10 puede desplegarse en un hospital, clínica médica u otro entorno clínico.

[0047] La memoria 20 está en comunicación de datos con el procesador 18, y típicamente comprende memoria tanto volátil como no volátil (y puede incluir más de una de cada tipo de memoria), incluyendo RAM (Memoria de Acceso Aleatorio), ROM y uno o más dispositivos de almacenamiento masivo.

[0048] Como se analiza con mayor detalle a continuación, el procesador 18 incluye un segmentador 22 (que incluye un segmentador de estructuras 24a, un segmentador de materiales 24b, y un segmentador de anomalías en forma de un segmentador de materiales anómalos 24c), un procesador de mapas de segmentación 26, y un procesador de datos no de imagen 28. El procesador 18 también incluye un clasificador 30, una interfaz de I/O 32 y una salida de resultados 34. El procesador 18 también incluye un clasificador 30, una interfaz de I/O 32 y una salida de resultados 34.

[0049] La memoria 20 incluye código de programa 36, datos de imagen 38, datos no de imagen 40, modelos de segmentación 42 (incluyendo, en este ejemplo, modelos de segmentación de estructuras 44, modelos de segmentación de materiales 46, y modelos de segmentación de anomalía en forma de modelos de segmentación de materiales anómalos 48), mapas de segmentación 50 (incluyendo, en este ejemplo, mapas de segmentación de estructuras 52, mapas de segmentación de materiales 54, y mapas de segmentación de anomalía en forma de mapas de segmentación de materiales anómalo 56). El segmentador de estructuras 24a, el segmentador de materiales 24b y el segmentador de materiales anómalos 24c entrenan los modelos de segmentación 44, 46, 48 respectivos, y usan los modelos de segmentación 44, 46, 48 para realizar la segmentación en las imágenes entrantes y generar los mapas de segmentación de estructuras 52, los mapas de segmentación de materiales 54, y los mapas de segmentación de materiales anómalo 56, respectivamente.

[0050] La memoria 20 también incluye un modelo de aprendizaje de máquina de clasificación en forma de una red neuronal de clasificación 58, que es entrenada y usada por el clasificador 30 para realizar la clasificación usando mapas de segmentación 50 y datos no de imagen 40. El controlador de clasificación 12 se implementa, por lo menos en parte (y en algunas realizaciones por completo), por el procesador 18 que ejecuta el código de programa 36 desde la memoria 20.

[0051] Cabe señalar que, como la presente realización se refiere a la clasificación de estructuras y materiales en una imagen médica, el segmentador de materiales anómalos 24c también puede denominarse segmentador de tejidos anómalos, y los mapas de segmentación de materiales anómalos 56 también pueden denominarse mapas de segmentación de tejidos anómalos.

[0052] En términos generales, la interfaz de I/O 32 está configurada para leer o recibir datos de imágenes médicas y datos no de imágenes pertenecientes a un sujeto, y para almacenar estos datos como datos de imagen 38 y datos no de imagen 40 de la memoria 20 para su procesamiento. Los datos de imagen 38 son típicamente, en esta realización, una imagen médica de, por ejemplo, una región del cuerpo de un sujeto. Los datos no de imagen 40 incluyen típicamente información del sujeto o del paciente procedente de varias fuentes de datos estructurados y no estructurados, recopilada a lo largo de las consultas médicas, el tratamiento y las consultas de seguimiento de un sujeto. Los datos estructurados del sujeto pueden incluir información básica del sujeto como sexo, edad, peso, altura; resultados de pruebas de laboratorio como resultados de análisis de sangre y resultados de pruebas de ADN; datos de tratamiento como tipos de medicación y dosis; y datos de cuestionarios como hábitos de fumar y beber e historial de fracturas. Los datos no estructurados del sujeto pueden incluir documentos de texto de resultados de laboratorio, notas de médicos e informes radiológicos. Los datos no de imágenes 40 pueden tener una variedad de formatos, como datos numéricos, texto, voz y vídeo.

[0053] El segmentador 22 procesa los datos de imagen 38 (que constituyen una o más imágenes médicas) y usa modelos de segmentación de estructuras 44, modelos de segmentación de materiales 46 y modelos de segmentación de materiales anómalos 48 para generar, a partir de los datos de imagen 38, mapas de segmentación de estructuras 52, mapas de segmentación de materiales 54 y mapas de segmentación de materiales anómalo 56, respectivamente, que caracterizan los datos de imagen 38 de diferentes maneras. A continuación, el clasificador 30 introduce los mapas de segmentación 50 resultantes y los datos no de imagen 40, y genera a partir de ellos resultados en forma de una salida de clasificación. En esta realización, el resultado de la clasificación se presenta a los usuarios o se usa para un análisis adicional a través de la interfaz de I/O 32 y en la salida de resultados 34 y/o la interfaz de usuario 14.

[0054] La salida de clasificación del clasificador 30 (en esta realización, generada usando la red neuronal de clasificación 58) comprende una puntuación de condición respectiva para cada una de una o más clasificaciones (y preferiblemente para cada una de una pluralidad de clasificaciones posibles). Cada puntuación representa una probabilidad prevista de que el sujeto caiga en la clasificación correspondiente. En el presente ejemplo de evaluación de la fragilidad ósea, las clasificaciones son "riesgo de fractura insignificante", "riesgo de fractura inminente", "riesgo de fractura a medio plazo" y "riesgo de fractura a largo plazo". El resultado de la clasificación se describe con más detalle a continuación.

[0055] En una realización alternativa, el clasificador emite una puntuación respectiva de progresión de la enfermedad para cada uno de los uno o más estados de progresión de la afección. Cada puntuación representa una probabilidad predicha de que una afección actual progrese a otra afección. Por ejemplo, en la evaluación de la fragilidad ósea, las progresiones de la enfermedad pueden incluir "estable", "deterioro modesto" y "deterioro acelerado".

[0056] En otra realización más, el clasificador emite una puntuación respectiva de tratamiento para cada una de las múltiples opciones de tratamiento. Cada puntuación representa una probabilidad prevista de que el tratamiento sea el más eficaz para el paciente. Por ejemplo, en una evaluación de fragilidad ósea, las opciones de tratamiento pueden incluir "antirresortivo", "anabólico" y "antirresortivo anabólico".

[0057] En una realización adicional, la salida de clasificación comprende una puntuación para cada una de las una o más clasificaciones posibles correspondientes a afecciones médicas o patologías conocidas. Por ejemplo, en una evaluación de fragilidad ósea, estas clasificaciones podrían ser "osteomalacia", "tumor", "osteonecrosis" e "infección". En tal realizaciones, las puntuaciones resultantes representan el grado en que la muestra (por ejemplo, ósea) del sujeto se ajusta a esa clasificación/afección. Si sólo una clasificación tiene una puntuación significativa, o una clasificación tiene una puntuación que es significativamente mayor que todas las demás puntuaciones, esa clasificación puede considerarse un diagnóstico, o un diagnóstico sugerido, de la afección o patología correspondiente.

[0058] En ciertas realizaciones, el resultado de la clasificación comprende dos o más conjuntos de tales puntuaciones (seleccionadas de los ejemplos mencionados anteriormente o de otra manera).

[0059] Volviendo a la Figura 1, como apreciarán los expertos en la materia, los datos de imagen 38, que constituyen una o más imágenes mediales, comprenden datos generados por una o más de una variedad de modalidades de imágenes médicas (como HRpQCT, o Tomografía Computarizada Cuantitativa Periférica de Alta Resolución) implementadas por uno o más dispositivos de imagenología médica (como un escáner HRpQCT). Cada uno de estos dispositivos escanea una muestra (ya sea in vivo o in vitro) y crea una representación visual, generalmente de una parte del interior del cuerpo de un sujeto. Las imágenes médicas pueden representar, por ejemplo, una parte del cuerpo o el cuerpo entero de un sujeto (por ejemplo, el cerebro, la cadera o la muñeca). Las imágenes médicas podrían adquirirse escaneando la misma muestra o parte del cuerpo usando diferentes modalidades de imagenología, ya que las diferentes modalidades de imagenología pueden revelar diferentes características de la misma muestra o parte del cuerpo. Las imágenes médicas podrían adquirirse escaneando diferentes partes del cuerpo usando las mismas modalidades de imagen, ya que diferentes partes del cuerpo de los mismos pacientes podrían proporcionar diferentes perspectivas para un mejor diagnóstico de enfermedades o afecciones. Por ejemplo, en la evaluación de la fragilidad ósea, pueden escanearse tanto la muñeca como la pierna de un paciente con un escáner HRpQCT (o, de hecho, adquirirse escaneando las diferentes muestras o partes del cuerpo usando diferentes modalidades de imagenología) para proporcionar información que se usará en la evaluación de la calidad ósea de un sujeto.

[0060] Los datos de imagen 38 pueden constituir una imagen 2D (bidimensional) que puede representarse como una matriz 2D de píxeles, o una imagen 3D (tridimensional) que puede representarse como una matriz 3D de vóxeles. Por conveniencia, las imágenes médicas descritas a continuación son imágenes 3D que pueden ser representadas como una matriz 3D de vóxeles.

[0061] Como se ha mencionado anteriormente, las una o más imágenes médicas recibidas, almacenadas en los datos de imagen 38, son segmentadas por el segmentador 22, usando modelos de segmentación entrenados 42, en mapas de segmentación 50 respectivos. Cada mapa de segmentación 52, 54, 56 caracteriza la imagen médica respectiva de manera diferente. Un mapa de segmentación de estructuras 52 representa la imagen médica como una o más estructuras anatómicas diferentes de un conjunto predefinido de estructuras. Por ejemplo, una tomografía computarizada de la muñeca puede segmentarse en corteza compacta, zona de transición y región trabecular. El mapa de segmentación de materiales 54 representa la imagen médica en múltiples materiales diferentes a partir de un conjunto predefinido de materiales. Por ejemplo, una tomografía computarizada de muñeca podría segmentarse en material mineralizado, material completamente mineralizado, médula roja en la región trabecular y médula amarilla en la región trabecular. Un mapa de segmentación de materiales anómalo 56 representa la imagen médica como material normal y material anómalo (o, en este ejemplo, tejido normal y tejido anómalo). Por ejemplo, un tumor o una fractura podrían segmentarse a partir de una tomografía computarizada de la muñeca y representarse en un mapa de segmentación de materiales anómalo 56 como "anómalo".

[0062] Los mapas de segmentación 50 se introducen en el clasificador 30, en combinación con los datos no de imagen 40. El clasificador 30 genera una o más salidas de clasificación basándose en los mapas de segmentación 50 y los datos no de imagen 40. Los datos de entrada del clasificador 30 son generalmente multidimensionales, por lo que el clasificador 30 se implementa con algoritmos de aprendizaje automático, como una red neuronal, una máquina de vectores de soporte, un árbol de decisión o una combinación de los mismos.

[0063] En esta realización, el clasificador 30 emplea o se implementa como la red neuronal de clasificación 58 (aunque en otras realizaciones pueden ser aceptables otros algoritmos de aprendizaje automático), que incluye, en este ejemplo, capas de red neuronal convolucionales y capas de red neuronal totalmente conectadas. La red neuronal de clasificación 58 se entrena con datos de entrenamiento, como se describe a continuación.

[0064] Como se ha mencionado anteriormente, la salida de clasificación final es emitida por el sistema 10 a un usuario a través de la salida de resultados 34 o la interfaz de usuario 14. La salida de clasificación puede incluir opcionalmente una presentación visual de uno o más de los mapas de segmentación 50 correspondientes. Los mapas de segmentación 50 pueden presentarse en caso de que puedan ayudar a un usuario a interpretar la salida de clasificación, como por ejemplo para evaluar la fiabilidad de los resultados.

[0065] La Figura 2 es un diagrama esquemático de alto nivel 60 que ilustra el funcionamiento del sistema 10 para calcular el riesgo de fractura ósea de un sujeto a partir de una exploración de imágenes médicas, en este ejemplo una exploración HRpQCT de muñeca 62 (también mostrada en negativo en 62'). Como se muestra en la Figura 2, el sistema 10 recibe la exploración HRpQCT de muñeca 62 que comprende una pluralidad de fragmentos. (Como apreciará el experto, una exploración HRpQCT puede comprender 100 o más fragmentos, pero en la figura se representan cuatro fragmentos por simplicidad).

[0066] El segmentador 22 segmenta la exploración 62 en un mapa de segmentación de estructuras 52 en el que la exploración se segmenta en corteza compacta, zona de transición externa, zona de transición interna, y región trabecular. El segmentador 22 segmenta la exploración 62 en un mapa de segmentación de materiales 54, en el que la exploración 62 se segmenta en músculo circundante, grasa circundante, tejido adiposo de la médula ósea amarilla y tejido adiposo de la médula ósea roja. Los datos 64 que comprenden los mapas de segmentación 52, 54, los mapas de segmentación de materiales anómalo 56 y los datos no de imagen 40 (por ejemplo, factores clínicos que incluyen el sexo y la edad) son procesados por el clasificador entrenado 30 para generar salidas de clasificación. Las salidas de clasificación incluyen los mapas de segmentación 52, 54 y una tabla o informe 66. La tabla o informe 66 incluye, en forma numérica y/o gráfica, las probabilidades de fractura en cada categoría de riesgo de fractura: riesgo de fractura inminente 68a (fractura en el plazo de dos años:t< 2 años), riesgo de fractura a medio plazo 68b (fractura en el plazo de dos a cinco años: 2 <t< 5 años), riesgo de fractura a largo plazo 68c (fractura en el plazo de cinco a diez años, 5 <t<10 años), y riesgo de fractura insignificante 68d. En el ejemplo ilustrado, la probabilidad de que la muñeca presente riesgo de fractura en el plazo de dos años es del 95,6%, de que la muñeca presente riesgo de fractura en el plazo de dos a cinco años es del 2,4%, de que la muñeca presente riesgo de fractura en el plazo de cinco a diez años es del 1,6% y de que la muñeca presente un riesgo de fractura insignificante es del 0,3%. En otras palabras, la probabilidad de que el sujeto no sufra una fractura de muñeca en los próximos cinco años (ya sea porque la muñeca tiene un riesgo insignificante de fractura o porque sólo existe un riesgo de fractura a largo plazo) es sólo del 4,4%. La tabla o informe 66 no incluye un diagnóstico (por ejemplo, que el sujeto tenga osteoporosis), pero se apreciará que estas probabilidades pueden ser de gran valor incluso, por ejemplo, para incitar al sujeto a buscar un diagnóstico, como someterse a un examen o consulta médica.

[0067] La Figura 3 es una vista esquemática en 70 del funcionamiento del segmentador 22. El segmentador 22 está configurado para recibir entradas que incluyen una o más imágenes médicas (de los datos de imagen 38) y para procesar las imágenes para generar mapas de segmentación 50. Las imágenes médicas podrían adquirirse usando la misma modalidad de imagenología escaneando diferentes partes del cuerpo del paciente. Por ejemplo, en algunas aplicaciones de evaluación de la calidad ósea, para la evaluación podrían escanearse tanto la muñeca como la pierna de un paciente mediante un escáner HRpQCT. Las imágenes médicas podrían adquirirse usando diferentes modalidades de imagenología escaneando la misma parte del cuerpo o diferentes partes del cuerpo de un paciente. Por ejemplo, en algunas otras aplicaciones de evaluación de la calidad ósea, se adquieren para la evaluación tanto la exploración HRpQCT de la muñeca como la exploración DXA de la cadera de un paciente (aunque de nuevo teniendo en cuenta que las imágenes médicas pueden adquirirse escaneando las diferentes muestras o partes del cuerpo usando otras modalidades de imagenología).

[0068] En referencia a la Figura 3, el segmentador 22 implementa una o más ramas de procesamiento 1 an,(etiquetadas 721,..., 72nen la figura) correspondientes a imágenes médicas 1 andel sujeto (etiquetadas 381,..., 38n). En el caso de ramas de procesamiento plurales, las imágenes médicas 38(1),..., 38npueden deberse, por ejemplo, a diferentes modalidades de imagen (etiquetadas 741,..., 74n), como es el caso en el ejemplo ilustrado, a diferentes partes del cuerpo, a diferentes exploraciones de una única parte del cuerpo, o a una combinación de dos o más de estas. Las ramas de segmentación respectivas 721,..., 72n están configuradas para recibir una imagen, segmentar la imagen de acuerdo con el tipo de imagen (por ejemplo, con diferente código de programa 36), y generar la salida de rama (que comprende los mapas de segmentación 50 de la imagen de entrada).

[0069] Para procesar una imagen médica de entrada respectiva, el segmentador 22 está configurado primero para seleccionar una rama de procesamiento de las ramas de procesamiento 1ande acuerdo con el tipo de la imagen de entrada. El segmentador 22 determina el tipo de imagen de acuerdo con la muestra (por ejemplo, la parte del cuerpo escaneada) y la modalidad de imagenología, información que puede determinarse a partir de la imagen respectiva, incluyendo a partir de metadatos almacenados en un archivo de encabezamiento de la imagen médica y/o a partir del tipo de archivo. Por ejemplo, puede accederse a la información de la parte del cuerpo escaneada y la modalidad de imagen a partir de los metadatos.

[0070] Cada imagen médica de entrada 1anes procesada por uno o más de los tres programas de segmentación (concretamente, segmentador de estructuras 24a, segmentador de materiales 24b, y segmentador de materiales anómalos 24c) en los mapas de segmentación 52, 54, 56 correspondientes. El segmentador 22 emplea por tanto hastancasos de cada uno de los segmentadores 24a, 24b, 24c (etiquetados 24a1,..., 24an, 24b1,..., 24bn, y 24c1,..., 24cn, respectivamente), ya sea en paralelo o secuencialmente, aunque la cantidad de tales casos de cada segmentador 24a, 24b, 24c (siendo de 0 anen cada caso) puede diferir.

[0071] El segmentador de estructuras 24a, el segmentador de materiales 24b, y el segmentador de materiales anómalos 24c pueden generar mapas de segmentación respectivos en cada rama de procesamiento 721,..., 72". En

[0072] la Figura 3, por ejemplo, el segmentador de estructuras 24a, el segmentador de materiales 24b y el segmentador de materiales anómalos 24c generan mapas de segmentación respectivos correspondientes a las modalidades de imagenología médica 1 an;los mapas de segmentación de estructuras, los mapas de segmentación de materiales y los mapas de segmentación de tejidos anómalos resultantes se etiquetan correspondientemente como mapas de segmentación de estructuras 521,..., 52n, los mapas de segmentación de materiales 541,..., 54ny los mapas de segmentación de tejidos anómalos 561,..., 56n. Cabe señalar, sin embargo, que en algunas aplicaciones puede no ser posible o deseable generar los tres tipos de mapas de segmentación. Esto puede deberse, por ejemplo, a las limitaciones de las imágenes, de las modalidades de imagenología o de los segmentadores 24a, 24b, 24c (derivadas, por ejemplo, de las limitaciones en los datos de entrenamiento del segmentador).

[0073] El segmentador de estructuras 24a, el segmentador de materiales 24b, y el segmentador de materiales anómalos 24c asignan a cada vóxel de estos mapas de segmentación 50 uno o más 'tipos' (o 'categorías') de conjuntos respectivos predeterminados de tipos (o categorías). Así, en esta realización, el segmentador de estructuras 24a asigna un tipo de estructura respectivo (a partir de un conjunto predeterminado de tipos de estructura) a cada vóxel de la exploración. Por ejemplo, una exploración HRpQCT de muñeca se segmenta en un mapa de segmentación de estructuras 52 en el que a cada vóxel de la exploración se le asigna un tipo de estructura (o categoría) del conjunto de "tejidos circundantes", "corteza compacta", "zona de transición" y "región trabecular".

[0074] El segmentador de materiales 24b asigna un tipo de material respectivo (a partir de un conjunto predefinido de tipos de material) a cada vóxel. Por ejemplo, en esta realización, el segmentador de materiales 24b segmenta una exploración HRpQCT de muñeca en un mapa de segmentación de materiales 54 en el que a cada vóxel de la exploración se le asigna un tipo de material del conjunto de "material mineralizado", "material totalmente mineralizado", "tejido adiposo de la médula ósea roja" y "tejido adiposo de la médula ósea amarilla".

[0075] El segmentador de materiales anómalos 24c asigna una anomalía o tipo de normalidad respectiva (a partir de un conjunto predefinido de anomalías o tipos de normalidad, como un conjunto que comprende "normal" y "anómalo") a cada vóxel. Por ejemplo, en esta realización, el segmentador de materiales anómalos 24c segmenta una exploración HRpQCT de muñeca en un mapa de segmentación de tejidos anómalos 56 en el que a cada vóxel de la exploración se le asigna "normal" o "anómalo". Opcionalmente, en ciertas otras realizaciones, el segmentador de materiales anómalos 24c puede distinguir diferentes tipos de anomalías, y el conjunto predefinido de tipos de anomalía o normalidad puede incluir, además de "normal", y una o más anomalías específicas particulares del tipo de muestra que se esté examinando; si la muestra es hueso, éstas pueden incluir, por ejemplo, "grieta de fractura" o "tumor óseo". En una realización de este tipo, el conjunto puede incluir opcionalmente "anómalo" para los casos en los que el segmentador de materiales anómalos 24c no pueda determinar un tipo específico de anomalía.

[0076] En algunas implementaciones, el segmentador de estructuras 24a, el segmentador de materiales 24b, y el segmentador de materiales anómalos 24c asignan tipos respectivos con límites de confianza o probabilidades a cada vóxel en la imagen médica. En algunas otras implementaciones, el segmentador de estructuras 24a, el segmentador de materiales 24b, y el segmentador de materiales anómalos 24c pueden asignar una pluralidad de tipos (cada uno opcionalmente con un límite de confianza o probabilidad) a cada vóxel en la imagen médica. Por ejemplo, el segmentador de estructuras 24a,-al segmentar una exploración HRpQCT de muñeca, puede asignar tanto "zona de transición" como "región trabecular" a los vóxeles ambiguos, pero con límites de confianza o probabilidades respectivos (y típicamente diferentes).

[0077] El segmentador 22 genera mapas de segmentación 50 usando los modelos de segmentación entrenados 42 (que incluyen modelos de segmentación de estructuras, modelos de segmentación de materiales y modelos de segmentación de materiales anómalos). Los modelos de segmentación se entrenan usando algoritmos de aprendizaje automático (como una red neuronal, una máquina de vectores de soporte, un árbol de decisión o una combinación de los mismos). En esta realización, los modelos de segmentación se entrenan usando redes neuronales profundas que comprenden múltiples capas, incluyendo capas de redes neuronales convolucionales, capas de redes neuronales totalmente conectadas, capas de normalización y capas multiplicativas.

[0078] El segmentador 22 también puede (o alternativamente) realizar la segmentación usando métodos basados en aprendizaje no automático, como un método basado en la localización de bordes, esquinas y pendientes transicionales, o en características globales como histograma y valores de intensidad de la imagen. Por ejemplo, la Publicación de Solicitud de Patente de Estados Unidos N° 2012/0232375 A1 ("Method and System for Image Analysis of Selected Tissue Structures") divulga un método para segmentar la zona de transición entre la región cortical compacta y la región trabecular a partir de una tomografía computarizada de muñeca, basándose en características locales y globales de un hueso: en muchas aplicaciones, sería adecuado implementar este método en el segmentador 22.

[0079] La Figura 4 es una ilustración esquemática de la operación 80 del clasificador 30. El clasificador 30 está configurado para recibir una entrada que incluye mapas de segmentación 50 (generados por el segmentador 22) y datos del sujeto no de imagen 40, y para procesar esa entrada para generar uno o más resultados de clasificación.

[0080] Sin embargo, tanto los mapas de segmentación 50 como los datos del sujeto no de imagen 40 son procesados antes de ser pasados al clasificador 30 por el procesador de mapas de segmentación 26 y el procesador de datos no de imagen 28, respectivamente. Por ejemplo, en algunas implementaciones, puede ser conveniente submuestrear los mapas de segmentación 50 de muestra a mapas de menor resolución, de tal manera que se permita un procesamiento de imágenes más rápido por parte del clasificador 30; dicho procesamiento, si se desea o es necesario, es realizado por el procesador de mapas de segmentación 26. En algunas implementaciones, el procesador de mapas de segmentación 26 establece el tipo de cualquier vóxel (en un mapa de segmentación particular) al que se le haya asignado más de un tipo (aunque típicamente con diferentes límites de confianza o probabilidades), por ejemplo asignando al vóxel el tipo que tenga la probabilidad más alta.

[0081] Los datos no de imagen pueden incluir datos estructurados y no estructurados. El procesador de datos no de imagen 28 está configurado para emplear una variedad de técnicas para procesar cualquier dato estructurado extrayendo características del mismo, en cada caso de acuerdo con la estructura y la forma de los datos. Por ejemplo, los datos estructurados se almacenan típicamente y se mantienen en un almacenamiento de datos estructurados, como tablas de bases de datos, archivos .json, archivos .xml y archivos .csv. El procesador de datos no de imagen 28 extrae características de los datos estructurados consultando los parámetros y atributos necesarios de las respectivas fuentes de los datos.

[0082] El procesador de datos no de imagen 28 procesa los datos no estructurados en dos pasos: en primer lugar convirtiéndolos en datos estructurados, y a continuación extrayendo las características de los datos convertidos. El método de conversión empleado por el procesador de datos no de imagen 28 es específico para cada fuente. Por ejemplo, para convertir las notas de un médico en datos estructurados, el procesador de datos no de imagen 28 emplea un modelo entrenado de reconocimiento óptico de caracteres (OCR) para convertir las notas en texto reconocible por un ordenador. A continuación, el procesador de datos no de imagen 28 analiza el texto convertido usando palabras clave como, en este ejemplo, "fracturas", "dolor", "caída", etc. Una vez que los datos no estructurados se han convertido en datos estructurados, el procesador de datos no de imagen 28 extrae características de los datos ahora estructurados.

[0083] Los datos no de imagen procesados 40 y los mapas de segmentación 22 se pasan al clasificador 30, que usa estas entradas para generar una salida de clasificación que comprende una puntuación de clasificación (como puntuaciones de condición de enfermedad 82, puntuaciones de progresión de enfermedad 84, y/o puntuaciones de tratamiento 86).

[0084] La Figura 5 es un diagrama de flujo 90 del entrenamiento de la red neuronal de clasificación 58 del clasificador 30 con una red neuronal profunda, de acuerdo con una realización de la presente invención. Como se muestra en la figura, en el paso 92, los datos, que incluyen datos de imágenes médicas y datos no de imágenes, se recopilan o introducen para el entrenamiento y las pruebas. En el paso 94, las imágenes recogidas son segmentadas por el segmentador 22 para generar mapas de segmentación (como se ha descrito anteriormente).

[0085] En el paso 96, los datos de imagen 38 y los datos no de imagen 40 se anotan con etiquetas proporcionadas por expertos cualificados con conocimientos del dominio. En una aplicación médica, las salidas de la clasificación de entrenamiento pueden determinarse basándose en los registros clínicos del sujeto. Por ejemplo, si la salida de clasificación debe incluir una puntuación de probabilidad de fractura, entonces la salida de entrenamiento es el momento (posterior a la exploración) de una fractura, determinado a partir del historial médico del sujeto y, cuando no hay fractura aparente, registrado como "riesgo insignificante" (o alguna designación equivalente). Si la salida de clasificación debe incluir una puntuación para las categorías que corresponden a afecciones médicas conocidas, entonces la salida de entrenamiento es la afección médica real del sujeto, también determinada a partir de los registros clínicos del sujeto.

[0086] En el paso 98, los datos (que comprenden los mapas de segmentación 50 y los datos no de imagen 40) se dividen en un conjunto de entrenamiento, un conjunto de desarrollo o "dev" (que en algunas implementaciones puede omitirse) y un conjunto de prueba, cada uno para un uso diferente. El conjunto de entrenamiento son los datos sobre los que se ejecutará el algoritmo de aprendizaje; el conjunto de desarrollo son los datos usados para ajustar los parámetros; el conjunto de prueba son los datos que se usarán para evaluar el rendimiento del modelo entrenado.

[0087] En el paso 100, se implementan las capas de la red neuronal profunda. Cada capa consiste en neuronas artificiales. Una neurona artificial es una función matemática que recibe una o más entradas y las suma para producir una salida. Habitualmente, cada entrada se pondera por separado y la suma se pasa a través de una función no lineal. A medida que la red neuronal aprende, las ponderaciones del modelo se ajustan en respuesta al error (la diferencia entre la salida de la red y las anotaciones) que produce hasta que el error no puede reducirse más.

[0088] En el paso 102, se inician los parámetros de la red neuronal de clasificación 58, incluyendo cantidades de capas, cantidades de neuronas, pesos de neuronas, y parámetros de función de neuronas, etc. En el paso 104, el algoritmo de aprendizaje se ejecuta en el conjunto de datos de entrenamiento para actualizar los parámetros de la red neuronal de clasificación 58. Por ejemplo, los parámetros podrían actualizarse determinando el gradiente de una función de pérdida. La función de pérdida se calcula mediante la salida de clasificación etiquetada y la salida generada por la red neuronal de clasificación 58. Los datos de desarrollo pueden usarse para investigar el procedimiento de aprendizaje y ajustar las capas y los parámetros.

[0089] En el paso 106, el clasificador 30, provisto de la red neuronal de clasificación 58, se prueba con los datos de prueba. En el paso 108, se realiza una evaluación sobre si el rendimiento del clasificador 30 es satisfactorio. Si el rendimiento no es satisfactorio, el procesamiento vuelve al paso 92 donde se recopilan más datos de entrenamiento.

[0090] Si, en el paso 108, se considera que el rendimiento es satisfactorio, el procesamiento continúa en el paso 110, donde el clasificador entrenado 30 se emite o se marca para su implementación, o se libera para su uso. Entonces finaliza el procesamiento.

[0091] Los expertos en la materia de la invención entenderán que pueden realizarse muchas modificaciones sin apartarse del alcance de la invención, en particular, será evidente que ciertas características de las realizaciones de la invención se pueden emplear para formar realizaciones adicionales.

[0092] Debe entenderse que, si en la presente se hace referencia al estado de la técnica, dicha referencia no constituye una admisión de que el estado de la técnica forma parte del conocimiento general común en la técnica en cualquier país.

[0093] En las reivindicaciones que siguen y en la descripción anterior de la invención, excepto cuando el contexto requiera lo contrario debido a lenguaje expreso o implicación necesaria, la palabra "comprender" o variaciones como "comprende" o "que comprende" se usa en un sentido inclusivo, es decir, para especificar la presencia de las características indicadas pero no para excluir la presencia o adición de características adicionales en varias realizaciones de la invención.

Claims

REIVINDICACIONES

1. Un método implementado por ordenador para entrenar un modelo de aprendizaje automático de clasificación para clasificar una estructura o material en una imagen de un sujeto, el método comprendiendo:

anotar cada una de una o más imágenes (62), cada una comprendiendo un mapa de segmentación (50) que comprende una o más segmentaciones de estructuras o materiales en la imagen (62), para formar mapas de segmentación anotados respectivos;

dividir (98) los mapas de segmentación anotados y los datos de no de imagen anotados (40) pertenecientes a los respectivos sujetos en un conjunto de entrenamiento y un conjunto de prueba;

a. implementar (100) un modelo de aprendizaje automático de clasificación (58), incluyendo la inicialización (102) de los parámetros del modelo de aprendizaje automático de clasificación (58);

b. actualizar (104) los parámetros del modelo de aprendizaje automático de clasificación (58) ejecutando un algoritmo de aprendizaje en el conjunto de entrenamiento que comprende generar, basándose en los mapas de segmentación anotados (50), de una o más clasificaciones de estructuras, materiales o sujetos respectivos, y asignar a las clasificaciones puntuaciones respectivas (82, 84, 86) indicativas de una probabilidad de que la estructura o el material, o el sujeto, caigan en las clasificaciones respectivas;

c. probar (106) el modelo de aprendizaje automático de clasificación (58) en el conjunto de pruebas, que comprende generar, basándose en los mapas de segmentación anotados (50), una o más clasificaciones de las estructuras, materiales o sujetos respectivos, y asignar a las clasificaciones puntuaciones respectivas (82, 84, 86) indicativas de una probabilidad de que la estructura o el material, o el sujeto, caigan en las clasificaciones respectivas;

d. evaluar (108) si el modelo de aprendizaje automático de clasificación (58) tiene un rendimiento satisfactorio;

repetir los pasos a a d cuando en el paso d se descubre que el rendimiento no es satisfactorio; y

emitir (110) el modelo de aprendizaje automático de clasificación (58) para su despliegue como un modelo de aprendizaje automático de clasificación entrenado, o marcar el modelo de aprendizaje automático de clasificación (58) como modelo de aprendizaje automático de clasificación entrenado;

en donde

cada uno de los mapas de segmentación anotados es un mapa de segmentación anotado de una imagen respectiva (62); y

los mapas de segmentación (50) comprenden cada uno:

un mapa de segmentación de estructuras (52) que incluye categorizaciones de píxeles o vóxeles asignadas a partir de un conjunto predefinido de categorías de estructuras; y

un mapa de segmentación de materiales (54) que incluye categorizaciones de píxeles o vóxeles asignados a partir de un conjunto predefinido de categorías de materiales; y

un mapa de segmentación de anomalías (56) que incluye categorizaciones de píxeles o vóxeles asignados a partir de un conjunto predefinido de categorías de anomalía o normalidad.

2. Un método como se reivindica en la reivindicación 1, que incluye, cuando se considera que el rendimiento es insatisfactorio, recopilar (92) más datos de imagen (38) y no de imagen (40) para entrenar el modelo de aprendizaje automático de clasificación (58).

3. Un método como se reivindica en la reivindicación 1 o 2, en donde el modelo de aprendizaje automático de clasificación (58) comprende una red neuronal que tiene una pluralidad de capas que comprenden neuronas artificiales, en donde

los parámetros comprenden cantidades de capas, cantidades de neuronas, pesos de neuronas y parámetros de función de neuronas; y

probar el modelo de aprendizaje automático de clasificación (58) incluye probar el modelo de aprendizaje automático de clasificación (58) en el conjunto de pruebas.

4. Un sistema para entrenar un modelo de aprendizaje automático de clasificación para clasificar una estructura o material en una imagen de un sujeto, el sistema comprendiendo un procesador configurado para:

recibir una o más imágenes anotadas (62), cada una obtenida segmentando una imagen respectiva (62) en una o más segmentaciones de estructuras o materiales en la imagen (62), generando a partir de las segmentaciones uno o más mapas de segmentación (50) de la imagen (62), y anotando la imagen (62), para formar mapas de segmentación anotados respectivos;

dividir (98) los mapas de segmentación anotados y los datos no de imagen anotados (40) pertenecientes a los respectivos sujetos en un conjunto de entrenamiento y un conjunto de prueba;

a. implementar (100) un modelo de aprendizaje automático de clasificación (58), que incluye inicializar (102) los parámetros del modelo de aprendizaje automático de clasificación (58);

b. actualizar (104) los parámetros del modelo de aprendizaje automático de clasificación (58) ejecutando un algoritmo de aprendizaje en el conjunto de entrenamiento que comprende generar, basándose en los mapas de segmentación anotados (50), una o más clasificaciones de estructuras, materiales o sujetos respectivos, y asignara las clasificaciones de puntuaciones respectivas (82, 84, 86) indicativas de una probabilidad de que la estructura o el material, o el sujeto, caiga en las clasificaciones respectivas;

c. probar (106) el modelo de aprendizaje automático de clasificación (58) en el conjunto de pruebas que comprende generar, basándose en los mapas de segmentación anotados (50), una o más clasificaciones de las estructuras, materiales o sujetos respectivos, y asignar a las clasificaciones puntuaciones respectivas (82, 84, 86) indicativas de la probabilidad de que la estructura o el material, o el sujeto, caiga en las clasificaciones respectivas;

en donde

los mapas de segmentación (50) comprenden cada uno:

un mapa de segmentación de estructuras (52) que incluye categorizaciones de píxeles o vóxeles asignados a partir de un conjunto predefinido de categorías de estructuras; y

5. Un sistema para clasificar una estructura o material en una imagen de un sujeto, que comprende:

un segmentador (22) configurado para segmentar una imagen (62) en una o más segmentaciones de estructuras o materiales en la imagen (62), y para generar a partir de las segmentaciones uno o más mapas de segmentación (50) de la imagen (62) que incluyen categorizaciones de píxeles o vóxeles de los mapas de segmentación (50) asignados a partir de uno o más conjuntos de categorías predefinidos respectivos;

un clasificador (30) que implementa un modelo de aprendizaje automático de clasificación entrenado (58); y una salida (34) para emitir un resultado indicativo de las clasificaciones y puntuaciones (82, 84, 86);

en donde

el clasificador (30) está configurado para generar, basándose en los mapas de segmentación (50), dichas una o más clasificaciones de la estructura, el material o el sujeto, y para asignar a las clasificaciones puntuaciones respectivas (82, 84, 86) indicativas de la probabilidad de que la estructura o el material, o el sujeto, caiga en las clasificaciones respectivas;

en donde cada uno de los mapas de segmentación (50) representa la imagen (62); y

el modelo de aprendizaje automático de clasificación entrenado (58) es un modelo entrenado mediante el método de cualquiera de las reivindicaciones 1 a 3.

6. El sistema como se reivindica en la reivindicación 5, en donde el clasificador (30) genera las una o más clasificaciones basándose en los mapas de segmentación (50) y en los datos no de imagen (40) pertenecientes al sujeto.

7. Un sistema como se reivindica en la reivindicación 5 o 6, en donde el segmentador (22) comprende:

i. un segmentador de estructuras (24a) configurado para generar mapas de segmentación de estructuras (52) que incluyan categorizaciones de píxeles o vóxeles asignados a partir de un conjunto predefinido de categorías de estructuras, como con un modelo de aprendizaje automático de segmentación de estructuras (44);

ii. un segmentador de materiales (24b) configurado para generar mapas de segmentación de materiales (54) que incluyan categorizaciones de píxeles o vóxeles asignados a partir de un conjunto predefinido de categorías de materiales, como con un modelo de aprendizaje automático de segmentación de materiales (46); y/o iii. un segmentador de anomalías (24c) configurado para generar mapas de segmentación de anomalías (56) que incluyan categorizaciones de píxeles o vóxeles asignados a partir de un conjunto predefinido de categorías de anomalía o normalidad, como con un modelo de segmentación de anomalías (48).

8. Un sistema como se reivindica en cualquiera de las reivindicaciones 5 a 7, que comprende además un procesador de mapas de segmentación (26) configurado para submuestrear o procesar de otro modo los mapas de segmentación (50) antes de que el clasificador (30) introduzca los mapas de segmentación (50).

9. Un sistema como se reivindica en cualquiera de las reivindicaciones 5 a 8, en donde la imagen (62) es una imagen médica, y las clasificaciones corresponden a

i. probabilidades de que la estructura o el material, o el sujeto, padezcan una afección o un síntoma específicos en los marcos temporales respectivos;

ii. probabilidades de que la estructura o el material, o el sujeto, padezcan una afección o un síntoma específicos en los marcos temporales respectivos que incluyen un marco temporal más corto, un marco temporal más largo y por lo menos un marco temporal intermedio entre el marco temporal más corto y el marco temporal más largo; iii. probabilidades de que la estructura o el material, o el sujeto, padezcan las afecciones o los síntomas respectivos; iv. probabilidades de las tasas respectivas de progresión de la enfermedad o la patología;

v. probabilidades de las tasas respectivas de progresión de la enfermedad o patología, las clasificaciones comprendiendo clasificaciones correspondientes a una o más de: estable, deterioro modesto y deterioro acelerado; vi. probabilidades de eficacia de las opciones de tratamiento respectivas;

vii. probabilidades de eficacia de las opciones de tratamiento respectivas, las opciones de tratamiento incluyendo un tratamiento antirresortivo y/o un tratamiento anabólico;

viii. afecciones médicas respectivas; y/o

ix. afecciones médicas respectivas que incluyan una cualquiera o más de: osteomalacia, tumor, osteonecrosis e infección.

10. Un método implementado por ordenador para clasificar una estructura o material en una imagen de un sujeto, que comprende:

segmentar una imagen (62) en una o más segmentaciones de estructuras o materiales en la imagen (62); generar a partir de las segmentaciones uno o más mapas de segmentación (50) de la imagen (62) que incluyan categorizaciones de píxeles o vóxeles de los mapas de segmentación (50) asignados a partir de conjuntos predefinidos respectivos de categorías de la estructura o material;

usar un modelo de aprendizaje automático de clasificación entrenado (58) para generar, basándose en los mapas de segmentación (50), una o más clasificaciones de la estructura, el material o el sujeto y asignar a las clasificaciones puntuaciones respectivas (82, 84, 86) indicativas de la probabilidad de que la estructura o el material, o el sujeto, caiga dentro de las clasificaciones respectivas; y

emitir un resultado indicativo de las clasificaciones y puntuaciones (82, 84, 86);

11. Un método como se reivindica en la reivindicación 10, en donde el modelo de aprendizaje automático de clasificación entrenado (58) genera:

las una o más clasificaciones sobre la base de los mapas de segmentación (50) y los datos no de imagen (40) pertenecientes al sujeto, y/o

las puntuaciones respectivas (82, 84, 86) sobre la base de los datos de imagen (38) y datos no de imagen (40) relativos al sujeto que ha sido entrenado con datos de imagen (38) y datos no de imagen (40) relativos a sujetos de entrenamiento.

12. Un método como se reivindica en la reivindicación 10 u 11, en donde generar los uno o más mapas de segmentación (50) comprende:

i. generar mapas de segmentación de estructuras (52) que incluyan categorizaciones de píxeles o vóxeles asignados a partir de un conjunto predefinido de categorías de estructuras, como con un modelo de aprendizaje automático de segmentación de estructuras (44);

ii. generar mapas de segmentación de materiales (54) que incluyan categorizaciones de píxeles o vóxeles asignados a partir de un conjunto predefinido de categorías de materiales, como con un modelo de aprendizaje automático de segmentación de materiales (46); y

iii. generar mapas de segmentación de anomalías (56) que incluyan categorizaciones de píxeles o vóxeles asignados a partir de un conjunto predefinido de categorías de anomalía o normalidad, como con un modelo de segmentación de anomalías (48).

13. Un medio legible por ordenador, que comprende un código de programa informático configurado, cuando es ejecutado por uno o más dispositivos informáticos, para implementar el método de cualquiera de las reivindicaciones 1 a 3 y 10 a 12.