ES2914415T3

ES2914415T3 - Segundo lector

Info

Publication number: ES2914415T3
Application number: ES19744778T
Authority: ES
Inventors: Tobias Rijken; Michael O'neill; Andreas Heindl; Joseph Elliot Yearsley; Dimitrios Korkinof; Galvin Khara; Peter Kecskemethy; Edith Karpati
Original assignee: Kheiron Medical Technologies Ltd
Current assignee: Kheiron Medical Technologies Ltd
Priority date: 2018-06-14
Filing date: 2019-06-14
Publication date: 2022-06-10
Anticipated expiration: 2039-06-14
Also published as: EP3806746B1; ES2914873T3; SI3806744T1; JP2021527478A; JP2021527472A; CA3102174A1; DK3806745T3; EP3806745A1; DK3806744T3; SI3806746T1; HUE058907T2; AU2019285394A1; US11455723B2; CA3102174C; JP2021527473A; CA3102173A1; AU2019285392A1; US11410307B2; CA3102170A1; DK3806746T3

Abstract

Un método asistido por ordenador para analizar imágenes mamográficas, el método que comprende las etapas de: recibir una pluralidad de mamografías (10); realizar un primer análisis (30) sobre la pluralidad de mamografías (10) que comprende identificar una clasificación de malignidad para cada una de las mamografías; determinar un valor de salida de malignidad (30Y) para cada una de las mamografías dependientes del primer análisis (30); determinar un valor de salida de malignidad promedio al promediar los valores de salida de malignidad para la pluralidad de mamografías; establecer un umbral del valor de salida de malignidad promedio para generar un valor de malignidad binario de salida (60Y); realizar un segundo análisis (40) sobre la pluralidad de mamografías para determinar una pluralidad de parámetros de datos de localización (40X) para cada mamografía; y generar (70) datos de localización de salida para la pluralidad de mamografías en dependencia del valor binario de malignidad de salida, caracterizado porque el segundo análisis se realiza mediante el uso de una red neuronal convolucional regional de máscara (máscara RCNN) y comprende: generar un conjunto de cuadros delimitadores, en donde generar el conjunto de cuadros delimitadores comprende retirar cualquier cuadro delimitador que no tenga un umbral predeterminado de intersección sobre la unión e interpolar entre las coordenadas del cuadro delimitador; generar puntuaciones de lesiones promediadas, en donde generar las puntuaciones de lesiones promediadas comprende promediar las puntuaciones de lesiones para el conjunto de cuadros delimitadores; y generar una máscara de segmentación promediada, en donde la máscara de segmentación promediada se genera al promediar una pluralidad de máscaras de segmentación sin procesar, antes de establecer el umbral con un umbral predeterminado.

Description

DESCRIPCIÓN

Segundo lector

Campo

La presente invención se refiere a un método y sistema que determina de forma sustancialmente automática la malignidad en mamografías en paralelo con un operador humano. Más particularmente, la presente invención se refiere a proporcionar una determinación de malignidad automatizada confiable en paralelo con un operador humano para reducir la necesidad de dos operadores humanos en un flujo de trabajo de análisis de mamografía.

Antecedentes

La mamografía es una modalidad de imagen médica ampliamente usada para la detección del cáncer de mama. La mamografía hace uso de rayos X "suaves" para producir imágenes detalladas de la estructura interna de la mama humana. Estas imágenes se denominan mamografías y el uso de la mamografía se considera el estándar de oro en la detección temprana de anomalías mamarias (que pueden proporcionar un diagnóstico válido de un cáncer en una fase curable).

Desafortunadamente, el procedimiento de análisis de mamografías suele ser un desafío. La densidad y el tipo de tejido de las mamas son muy variados y a su vez presentan una gran variedad de características visuales debido a la genética de las pacientes. Estos patrones visuales de fondo pueden oscurecer los signos, a menudo diminutos, de malignidades que el ojo humano puede pasar fácilmente por alto. Por lo tanto, los análisis de las mamografías a menudo conducen a resultados de diagnóstico falsos positivos o falsos negativos que pueden provocar la omisión del tratamiento (en el caso de los falsos negativos), así como también consecuencias psicológicas no deseadas y subóptimas posteriores al diagnóstico y el tratamiento (en el caso de falsos positivos).

La mayoría de los países desarrollados mantienen un programa de detección en toda la población, es decir, un sistema integral para llamar a mujeres de un determinado grupo de edad, sin síntomas, para hacerse exámenes de mama regulares. Estos programas de detección requieren protocolos altamente estandarizados que deben seguir médicos especialistas entrenados y experimentados que puedan analizar de manera confiable una gran cantidad de mamografías de forma rutinaria. La mayoría de las pautas profesionales sugieren fuertemente la lectura de cada mamografía por dos radiólogos igualmente expertos (un enfoque conocido como doble lectura). Hoy en día, con el número de radiólogos altamente especializados disponibles que es escaso, y disminuye, el enfoque de doble lectura a menudo es poco práctico o imposible.

La participación de dos radiólogos expertos aumenta significativamente el costo de cada caso y también prolonga el tiempo para que un paciente reciba los resultados de un escaneo. En algunos casos, ambos radiólogos expertos pueden incluso pasar por alto una lesión sospechosa.

Por lo tanto, existe la necesidad de mejorar, si no al menos mantener, la calidad de los resultados de la mamografía mientras se adhiere a las pautas que requieren o sugieren fuertemente un proceso de doble lectura.

El documento de DEZSO RIBLI Y OTROS: "Detecting and classifying lesions in mammograms with Deep Learning", ARXIV.ORG, BIBLIOTECA DE LA UNIVERSIDAD DE CORNELL, 201 BIBLIOTECA OLIN DE LA UNIVERSIDAD DE CORNELL ITHACA, NY 14853, 26 de julio de 2017 (2017-07-26), describe un método de acuerdo con el preámbulo de la reivindicación 1.

Resumen de la invención

Los aspectos y/o modalidades buscan proporcionar un método para evaluar de forma sustancialmente automática los datos de mamografía en paralelo con un operador humano. Los aspectos y/o modalidades también buscan abordar los problemas que se refieren a proporcionar un segundo lector sustancialmente confiable para permitir que un solo operador analice y diagnostique datos de mamografía. De acuerdo con un primer aspecto, se proporciona un método asistido por ordenador para analizar imágenes mamográficas, de acuerdo con la reivindicación 1.

De esta forma, puede eliminarse la necesidad de que un profesional médico altamente especializado adicional realice una segunda lectura de la mamografía y la segunda lectura puede realizarse de forma automática y sustancialmente instantánea. El método también puede reducir el riesgo de error humano.

Al recibir múltiples imágenes de entrada, los radiólogos pueden realizar un análisis por caso para los pacientes y determinar sustancialmente la posibilidad de una lesión maligna después de analizar múltiples vistas mamográficas. Para combatir la generación de múltiples falsos positivos que pueden limitar la eficacia/confiabilidad de los métodos actuales basados en el aprendizaje automático, el método solo puede proporcionar datos de localización de las lesiones si el análisis de la revisión de las mamografías por caso sugiere que existe una lesión maligna. Opcionalmente, puede realizarse la etapa adicional de preprocesamiento de una pluralidad de mamografías para mejorar la clasificación de malignidad para cada una de las mamografías, la etapa de preprocesamiento que comprende además el uso de una o más redes neuronales entrenadas. Principalmente, pueden usarse redes neuronales convolucionales, pero pueden usarse otros tipos, tales como redes de cápsula.

Opcionalmente, la etapa de realizar el primer análisis en la pluralidad de mamografías se lleva a cabo mediante el uso de uno o más clasificadores de redes neuronales convolucionales entrenadas. Como un ejemplo, las redes neuronales convolucionales (o las CNN) pueden ser ConvNets.

Opcionalmente, los pesos del clasificador de red neuronal convolucional entrenada se congelan en dependencia de los datos usados para entrenar el clasificador de red neuronal convolucional.

Opcionalmente, la pluralidad de mamografías comprende: una mamografía caudal craneal del lado izquierdo, L-CC; una mamografía caudal craneal del lado derecho, R-CC; una mamografía medio-lateral-oblicua del lado izquierdo, L-MLO; y una mamografía medio-lateral-oblicua del lado derecho, R-MLO. Opcionalmente, el valor promedio de salida de malignidad comprende cualquier combinación de; un valor promedio para todos los valores de salida de malignidad de L-CC; un valor promedio para todos los valores de salida de malignidad de R-CC; un valor promedio para todos los valores de salida de malignidad de L-MLO; un valor promedio para todos los valores de salida de malignidad de R-MLO; un valor promedio para todos los valores de salida de malignidad de la mamografía del lado izquierdo; y un valor promedio para todos los valores de salida de malignidad de la mamografía del lado derecho. Opcionalmente, se realiza un operador máximo entre el valor promedio de todos los valores de salida de malignidad de la mamografía del lado izquierdo y el valor promedio de todos los valores de salida de malignidad de la mamografía del lado derecho para determinar el valor de salida de malignidad promedio.

La etapa de realizar un segundo análisis sobre la pluralidad de mamografías se lleva a cabo mediante el uso de una o más redes neuronales convolucionales regionales entrenadas, RCNN.

Opcionalmente, la una o más RCNN entrenadas comprenden una pluralidad de redes subdivisionales para determinar la pluralidad de parámetros de datos de localización, las redes subdivisionales proporcionan cualquiera o una combinación de: un modelo de generación de cuadro delimitador; un modelo de segmentación; y un modelo de tipo de clasificación de malignidad.

Opcionalmente, la una o más RCNN se acoplan a una capa convolucional de salida de la una o más redes neuronales convolucionales usadas para realizar el primer análisis. Opcionalmente, la una o más RCNN se entrenan mediante el uso de los pesos de la una o más redes neuronales convolucionales usadas para realizar el primer análisis.

Opcionalmente, la una o más RCNN entrenadas generan una máscara superpuesta que indica una lesión de interés, la máscara comprende además un valor de probabilidad de malignidad.

Opcionalmente, el modelo de generación de cuadro delimitador genera una regresión de cuadro delimitador con supresión no máxima para localizar las lesiones de interés.

Opcionalmente, el modelo de segmentación proporciona contornos de segmentación de regiones anatómicas y/o lesiones, el modelo de segmentación comprende además características de localización. Opcionalmente, el modelo de tipo de clasificación de malignidad identifica un tipo de tejido y una clasificación de categoría de densidad para la mama.

Opcionalmente, las redes subdivisionales comprenden un conjunto de máscaras creadas por las redes de subdivisión. Opcionalmente, la una o más RCNN se ensamblan con supresión no máxima y/o conglomeración de cuadros ponderados.

Opcionalmente, la etapa de establecer el umbral de los valores de salida de malignidad promedio comprende seleccionar múltiples puntos operativos de la mamografía, opcionalmente, seleccionar al menos seis puntos operativos.

De acuerdo con un segundo aspecto, se proporciona un método para entrenar una o más redes neuronales convolucionales para realizar las etapas del método del primer aspecto, $ el método que comprende: recibir una o más mamografías; entrenar una o más redes neuronales convolucionales para analizar completamente la una o más mamografías y determinar un valor de malignidad; congelar los pesos para la una o más redes neuronales convolucionales; agregar las RCNN a la última capa convolucional de la una o más redes neuronales convolucionales; y entrenar a las RCNN mediante el uso de los pesos congelados de la una o más redes neuronales convolucionales.

Las RCNN comprenden cabezas de la máscara-RCNN.

Opcionalmente, la una o más mamografías se restringen a 4000x4000 píxeles.

Opcionalmente, las mamografías se preprocesan mediante el uso de cualquiera o una combinación de: selección de ventanas; remuestreo; y normalización.

De acuerdo con un tercer aspecto, se proporciona un aparato operable para realizar el método de cualquier característica anterior.

De acuerdo con un cuarto aspecto, se proporciona un producto de programa de ordenador operable para realizar el método de cualquier característica anterior.

Breve descripción de los dibujos

Las modalidades se describirán ahora a manera de ejemplo solamente, y con referencia a los dibujos acompañantes que tienen números de referencia similares, en los cuales:

La Figura 1 ilustra un diagrama de flujo que muestra un contorno del método de una modalidad;

la Figura 2 ilustra la porción del diagrama de flujo de la Figura 1 centrada en proporcionar una salida de malignidad en base a la imagen de entrada y la red neuronal de detección de malignidad pre-entrenada, que muestra opcionalmente el preprocesamiento que puede aplicarse a la imagen de entrada;

la Figura 3 ilustra la Máscara-RCNN de la modalidad de la Figura 1 en más detalle;

la Figura 4 ilustra la porción del diagrama de flujo de la Figura 1 que muestra el proceso de las operaciones media y máxima realizadas por la modalidad; y

la Figura 5 ilustra cómo se determina la salida final de la modalidad de la Figura 1.

Descripción específica

La Figura 1 representa una modalidad de ejemplo que ahora se describirá en más detalle más abajo con referencia a las Figuras 2 a 5 según corresponda.

Con referencia primero a la Figura 1, se muestra un método para recibir imágenes de mamografía de entrada 10 y generar una salida de malignidad, por ejemplo, una salida binaria si/no o una salida más detallada que muestra regiones de interés junto con una salida binaria.

En un escaneo médico de un paciente (mamografía), las imágenes escaneadas se recopilan en formato DICOM, que es un formato de archivo comúnmente usado para almacenar imágenes médicas. El método usa datos preprocesados que se almacenan en un Sistema de Comunicación de Archivo de Imágenes (PACS) que usan los departamentos de radiología en los hospitales. La salida de este método también enriquece la base de datos de PACS para mejorar futuras aplicaciones de análisis de imágenes mamográficas.

En algunos casos, las imágenes pueden preprocesarse 20 mediante el uso de una variedad de métodos, que incluyen, entre otros, selección de ventanas, remuestreo y normalización. Las imágenes de entrada también pueden someterse a técnicas de adaptación de dominio y/o transferencia de estilo para mejorar además los resultados.

Las mamografías, preprocesadas o no, luego se alimentan en un clasificador de red neuronal convolucional (CNN) 30 que ha sido entrenada para analizar las imágenes y evaluar si la imagen muestra una lesión maligna. En algunas modalidades, hay uso de más de una CNN entrenada para completar esta tarea. También pueden usarse métodos convencionales de detección de lesiones malignas en una mamografía.

Para que una CNN opere como un modelo de malignidad, primero se debe entrenar a la red. Similar a los métodos de preprocesamiento mencionados anteriormente, las imágenes de entrada con el fin de entrenar la red pueden someterse a selección de ventanas, remuestreo, normalización, etc., antes de que se usen las imágenes. En algunos casos, las imágenes usadas para entrenar la red se proporcionan o tienen un tamaño de hasta 4000 x 4000 píxeles.

A medida que las imágenes se alimentan a través de la CNN, se realizan un número de operaciones matemáticas apiladas. Al hacerlo, la CNN aplica tensores variables a la capa anterior de manera que se produce una puntuación maligna o no como resultado de estas operaciones. Luego actualizamos las variables en base al gradiente de la función de costo (entropía cruzada) haciendo uso de la regla de la cadena para calcular las actualizaciones de gradiente que se aplicarán. De esta forma, pueden entrenarse múltiples CNN para usarlas con los aspectos/modalidades descritas.

Adicionalmente, el entrenamiento de las CNN puede incluir la concatenación de una imagen anterior tomada de la misma vista mamográfica y ejecutarla a través de las redes junto con la imagen actual que se alimenta a la red. Esto permite el ajuste fino de las últimas pocas capas de la CNN de manera que puedan dar cuenta de múltiples imágenes.

Una vez que se entrena(n) el(los) modelo(s) de malignidad, la red y sus pesos se congelan. Luego tomamos una de las salidas de la capa convolucional que luego se alimenta a las cabezas de la máscara desde una Máscara RCNN 40. En la figura 3 se ilustra una Máscara RCNN ilustrativa. Estas cabezas incluyen un predictor de cuadros delimitadores 41, donde los cuadros delimitadores pueden usarse para cortar una parte de la imagen original. Además de, o encima del parche cortado, se colocan un clasificador maligno 42 y unas cabezas de segmentación 43. Al igual que con el modelo de malignidad, con este sistema puede usarse cualquier cuadro delimitador convencional, clasificador de malignidad o modelos de segmentación. En "Máscara r-cnn". Visión por ordenador (ICCV), 2017 Conferencia Internacional IEEE en. IEEE, 2017, He, Kaiming, y otros describe una RCNN tradicional que puede usarse en al menos algunas modalidades.

Hay varios métodos de entrenamiento de las RCNN. En primer lugar, conectar el modelo de malignidad a la máscara RCNN, las cabezas de la máscara RCNN pueden entrenarse al mismo tiempo que el modelo de malignidad de imagen completa. En segundo lugar, también es posible entrenar la Máscara RCNN sin congelar la red del modelo de malignidad. Finalmente, las cabezas de la Máscara RCNN pueden entrenarse con múltiples modelos de malignidad. Por lo tanto, el método de entrenamiento de las cabezas de la Máscara RCNN no se restringe a un determinado tipo, lo que permite adaptar el enfoque para usos específicos.

Una vez que se entrenan las redes neuronales, durante el uso o en el momento de la inferencia, el modelo de malignidad se congela en base a los datos de entrenamiento.

Como un ejemplo, durante el tiempo de ejecución, el sistema de la modalidad recibe cuatro tipos de imágenes de mamografía: vista caudal craneal izquierda (L-CC) 51, vista caudal craneal derecha (R-CC) 53, medio-lateral-oblicua izquierda (L-MLO) 52 y medio-lateral-oblicua derecha (R-MLO) 54. Esta combinación de imágenes se conoce que se denomina como un caso. Al pasar a través del modelo o modelos de malignidad, el sistema de la modalidad produce un caso completo de salidas. Estas salidas luego se promedian para generar una sola salida 60Y.

Como se ve en la Figura 4, 51 representa una puntuación promedio de todas las vistas caudales craneales izquierdas, 52 representa una puntuación promedio de todas las vistas medio-laterales-oblicuas izquierdas (L-MLO), 53 representa una puntuación promedio de todas las vistas caudales craneales derechas (R-CC) y 54 representa una puntuación promedio de todas las vistas medio-laterales-oblicuas derechas (R-MLO). Como se representa por 61a y 62a, el sistema de la modalidad luego calcula una media de las respectivas vistas del lado izquierdo 61 y del lado derecho 62. Esto da como resultado una salida de malignidad para cada lado. Luego se realiza una operación máxima 63 para las salidas de malignidad promedio para cada lado.

Aunque no se representa en las figuras, en la modalidad descrita, el método entonces establece el umbral de este resultado con un umbral predeterminado que proporciona una puntuación binaria de malignidad o no 60Y.

Finalmente, con referencia a la Figura 5, la puntuación 60Y se usa para determinar si mostrar o no las segmentaciones de Máscara RCNN o los cuadros delimitadores 40X. De esta forma, en lugar de mostrar absolutamente todas las lesiones detectadas solo por la Máscara RCNN, lo que conduce a numerosos falsos positivos, las salidas de Máscara R-CNN resultantes solo se muestran si la puntuación binaria maligna es positiva, es decir, indica malignidad. Cuando 60Y no indica que el caso sea maligno, las salidas de Máscara RCNn se ignoran y no se producen datos de localización como una salida del sistema.

Los resultados de Máscara RCNN se ensamblan mediante la interpolación entre las coordenadas del cuadro delimitador (de forma [N, M, x1, x2, y1, y2] donde N representa el número de modelos y M el número máximo de cuadros delimitadores) que tienen una intersección suficiente sobre la unión (IOU), que se predetermina. Cualquier cuadro delimitador que no tenga una IOU suficiente con los demás se elimina de la consideración. Con los cuadros delimitadores resultantes, las máscaras de segmentación sin procesar luego se promedian antes de establecer un umbral con un umbral predeterminado, y también se promedian las puntuaciones de lesión para todos los cuadros delimitadores suficientes.

Estas operaciones dan como resultado un conjunto final de cuadros delimitadores de forma [1, M, x1, x2, y1, y2] junto con una máscara de segmentación de forma [1, H, W] y puntuaciones de lesión de forma [1, M]. Una mejor manera es usar la conglomeración de cuadros ponderados (WBC) que se describe por Paul F. Jaeger y otros en "Retina U-Net: Embarrassingly Simple Exploitation of Segmentation Supervision for Medical Object Detection" (https://arxiv.org/pdf/1811.08661.pdf).

Como se mencionó anteriormente, la doble lectura es el estándar de oro en la detección del cáncer de mama con mamografía. En este escenario, dos radiólogos informarán sobre un caso. El arbitraje ocurrirá cuando los dos lectores no estén de acuerdo acerca de llamar a un paciente para pruebas de detección adicionales.

En la presente modalidad, el sistema descrito puede operar como un segundo lector independiente. En el pasado, los sistemas de diagnóstico asistidos por ordenador no podían actuar como tales debido a una alta tasa de falsos positivos. Similar a un radiólogo humano, el sistema descrito de la modalidad puede tener una baja tasa de falsos positivos, lo que significa que puede usarse en al menos de las dos formas siguientes:

1. Como un segundo lector verdaderamente independiente: un primer radiólogo (humano) mira el caso y el presente sistema evalúa el caso independientemente. Si los dos no están de acuerdo, el sistema de la modalidad muestra los contornos para las lesiones de interés para que las considere el radiólogo humano, y si están de acuerdo, el radiólogo no ve las salidas del sistema; o

2. Como un segundo lector no independiente donde el radiólogo humano y el sistema de la modalidad analizan ambos el caso, en el sentido de que el radiólogo humano se soporta por el sistema de la modalidad. El radiólogo puede hacer clic para ver los resultados generados por el sistema de la modalidad cuando lo desee.

Muchos enfoques que imitan las técnicas usadas por los radiólogos humanos pueden incorporarse en el sistema en algunas modalidades, tal como mediante el uso de una imagen anterior como una referencia para buscar cualquier cambio desde el último escaneo y también un operador medio y luego máximo para imitar la forma en que los radiólogos humanos intercambian si vuelven a llamar un caso.

El aprendizaje automático es el campo de estudio donde un ordenador u ordenadores aprenden a realizar clases de tareas mediante el uso de la retroalimentación generada a partir de la experiencia o los datos recopilados que el proceso de aprendizaje automático adquiere durante la ejecución de esas tareas por parte del ordenador.

Típicamente, el aprendizaje automático puede clasificarse en términos generales como enfoques supervisados y no supervisados, aunque existen enfoques particulares, tales como el aprendizaje de refuerzo y el aprendizaje semisupervisado, que tienen reglas, técnicas y/o enfoques especiales. El aprendizaje automático supervisado se ocupa de que un ordenador aprenda una o más reglas o funciones para mapear entre entradas de ejemplo y salidas deseadas según lo predeterminado por un operador o programador, generalmente donde se etiqueta un conjunto de datos que contiene las entradas.

El aprendizaje no supervisado se ocupa de determinar una estructura para los datos de entrada, por ejemplo, cuando se realiza el reconocimiento de patrones y, típicamente, usa conjuntos de datos no etiquetados. El aprendizaje de refuerzo se ocupa de permitir que un ordenador u ordenadores interactúen con un entorno dinámico, por ejemplo, al jugar un juego o conducir un vehículo.

Son posibles varios híbridos de estas categorías, tal como el aprendizaje automático "semisupervisado", donde un conjunto de datos de entrenamiento solo se ha etiquetado parcialmente. Para el aprendizaje automático no supervisado, existe una gama de aplicaciones posibles, tal como, por ejemplo, la aplicación de técnicas de visión por ordenador al procesamiento de imágenes o la mejora de videos. El aprendizaje automático no supervisado típicamente se aplica para resolver problemas donde una estructura de datos desconocida puede estar presente en los datos. Como los datos no se etiquetan, se requiere que el proceso de aprendizaje automático opere para identificar relaciones implícitas entre los datos, por ejemplo, al derivar una métrica de conglomeración en base a la información derivada internamente. Por ejemplo, puede usarse una técnica de aprendizaje no supervisado para reducir la dimensionalidad de un conjunto de datos e intentar identificar y modelar las relaciones entre los conglomerados en el conjunto de datos y, por ejemplo, puede generar medidas de pertenencia del conglomerado o identificar centros o nodos en o entre los conglomerados (por ejemplo, mediante el uso de una técnica denominada como análisis de red de correlación ponderada, que puede aplicarse a conjuntos de datos de alta dimensión, o mediante el uso de conglomeración de kmedios para conglomerar datos por una medida de la distancia euclidiana entre cada dato).

El aprendizaje semisupervisado típicamente se aplica para resolver problemas donde hay un conjunto de datos parcialmente etiquetado, por ejemplo, donde solo se etiqueta un subconjunto de los datos. El aprendizaje automático semisupervisado hace uso de etiquetas y funciones objetivas proporcionadas externamente, así como también cualquier relación de datos implícita. Cuando se configura inicialmente un sistema de aprendizaje automático, particularmente cuando se usa un enfoque de aprendizaje automático supervisado, el algoritmo de aprendizaje automático puede proporcionarse con algunos datos de entrenamiento o un conjunto de ejemplos de entrenamiento, en los que cada ejemplo es típicamente un par de señales/vectores de entrada y un valor de salida deseado, etiqueta (o clasificación) o señal. El algoritmo de aprendizaje automático analiza los datos de entrenamiento y produce una función generalizada que puede usarse con conjuntos de datos no vistos para producir valores de salida deseados o señales para los vectores/señales de entrada no vistos. El usuario debe decidir qué tipo de datos se usarán como datos de entrenamiento y preparar un conjunto de datos representativo del mundo real. Sin embargo, el usuario debe tener cuidado de asegurarse de que los datos de entrenamiento contengan suficiente información para predecir con precisión los valores de salida deseados sin proporcionar demasiadas características (lo que puede dar como resultado que el proceso de aprendizaje automático considere demasiadas dimensiones durante el entrenamiento, y también podría significar que el proceso de aprendizaje automático no converge a buenas soluciones para todos o los ejemplos específicos). El usuario también debe determinar la estructura deseada de la función aprendida o generalizada, por ejemplo, si usar máquinas de vectores de soporte o árboles de decisión.

El uso de enfoques de aprendizaje automático no supervisados o semisupervisados se usan a veces cuando los datos etiquetados no están fácilmente disponibles, o donde el sistema genera nuevos datos etiquetados a partir de datos desconocidos dadas algunas etiquetas de semilla iniciales.

El aprendizaje automático puede realizarse a través del uso de uno o más de: un algoritmo jerárquico no lineal; red neuronal; red neuronal convolucional; red neuronal recurrente; red de memoria a corto largo plazo; red convolucional multidimensional; una red de memoria; red totalmente convolucional o una red recurrente cerrada permite un enfoque flexible al generar el bloque predicho de datos visuales. El uso de un algoritmo con una unidad de memoria tal como una red de memoria a corto largo plazo (LSTM), una red de memoria o una red recurrente cerrada puede mantener el estado de los bloques predichos de los procesos de compensación de movimiento realizados en el mismo cuadro de entrada original. El uso de estas redes puede mejorar la eficiencia computacional y también mejorar la consistencia temporal en el proceso de compensación de movimiento a través de un número de cuadros, ya que el algoritmo mantiene algún tipo de estado o memoria de los cambios en el movimiento. Esto puede resultar adicionalmente en una reducción de las tasas de error.

Desarrollar un sistema de aprendizaje automático típicamente consta de dos etapas: (1) entrenamiento y (2) producción. Durante el entrenamiento, los parámetros del modelo de aprendizaje automático se cambian iterativamente para optimizar un objetivo de aprendizaje particular, conocido como función objetiva o pérdida. Una vez que se entrena el modelo, puede usarse en producción, donde el modelo toma una entrada y produce una salida mediante el uso de los parámetros entrenados.

Cualquier característica del sistema como se describe en la presente descripción también puede proporcionarse como una característica del método, y viceversa. Como se usa en la presente, las características de los medios más la función pueden expresarse alternativamente en términos de su estructura correspondiente.

Cualquier característica en un aspecto puede aplicarse a otros aspectos, en cualquier combinación apropiada. En particular, los aspectos del método pueden aplicarse a aspectos del sistema, y viceversa. Además, cualquiera, algunas y/o todas las características de un aspecto pueden aplicarse a cualquiera, algunas y/o todas las características de cualquier otro aspecto, en cualquier combinación adecuada.

También debe apreciarse que las combinaciones particulares de las diversas características descritas y definidas en cualquier aspecto pueden implementarse y/o suministrarse y/o usarse independientemente.

Claims

REIVINDICACIONES

1. Un método asistido por ordenador para analizar imágenes mamográficas, el método que comprende las etapas de:

recibir una pluralidad de mamografías (10);

realizar un primer análisis (30) sobre la pluralidad de mamografías (10) que comprende identificar una clasificación de malignidad para cada una de las mamografías;

determinar un valor de salida de malignidad (30Y) para cada una de las mamografías dependientes del primer análisis (30);

determinar un valor de salida de malignidad promedio al promediar los valores de salida de malignidad para la pluralidad de mamografías;

establecer un umbral del valor de salida de malignidad promedio para generar un valor de malignidad binario de salida (60Y);

realizar un segundo análisis (40) sobre la pluralidad de mamografías para determinar una pluralidad de parámetros de datos de localización (40X) para cada mamografía; y

generar (70) datos de localización de salida para la pluralidad de mamografías en dependencia del valor binario de malignidad de salida, caracterizado porque el segundo análisis se realiza mediante el uso de una red neuronal convolucional regional de máscara (máscara RCNN) y comprende:

generar un conjunto de cuadros delimitadores, en donde generar el conjunto de cuadros delimitadores comprende retirar cualquier cuadro delimitador que no tenga un umbral predeterminado de intersección sobre la unión e interpolar entre las coordenadas del cuadro delimitador;

generar puntuaciones de lesiones promediadas, en donde generar las puntuaciones de lesiones promediadas comprende promediar las puntuaciones de lesiones para el conjunto de cuadros delimitadores; y generar una máscara de segmentación promediada, en donde la máscara de segmentación promediada se genera al promediar una pluralidad de máscaras de segmentación sin procesar, antes de establecer el umbral con un umbral predeterminado.

2. El método de la reivindicación 1, que comprende además la etapa de preprocesamiento a una pluralidad de mamografías para mejorar la clasificación de malignidad para cada una de las mamografías, la etapa de preprocesamiento que comprende además el uso de una o más redes neuronales entrenadas.

3. El método de las reivindicaciones 1 o 2, en donde la etapa de realizar el primer análisis en la pluralidad de mamografías se lleva a cabo mediante el uso de uno o más clasificadores de redes neuronales convolucionales entrenadas.

4. El método de la reivindicación 3, en donde los pesos del clasificador de red neuronal convolucional entrenada se congelan en dependencia de los datos usados para entrenar el clasificador de red neuronal convolucional.

5. El método de cualquier reivindicación anterior, en donde la pluralidad de mamografías comprende:

una mamografía caudal craneal del lado izquierdo, L-CC;

una mamografía caudal craneal del lado derecho, R-CC;

una mamografía medio-lateral-oblicua del lado izquierdo, L-MLO; y

una mamografía medio-lateral-oblicua del lado derecho, R-MLO.

6. El método de la reivindicación 5, en donde el valor promedio de salida de malignidad comprende cualquier combinación de:

un valor promedio para todos los valores de salida de malignidad de L-CC;

un valor promedio para todos los valores de salida de malignidad de R-CC;

un valor promedio para todos los valores de salida de malignidad de L-MLO;

un valor promedio para todos los valores de salida de malignidad de R-MLO;

un valor promedio para todos los valores de salida de malignidad de la mamografía del lado izquierdo; y un valor promedio para todos los valores de salida de malignidad de la mamografía del lado derecho,

y opcionalmente se realiza un operador máximo entre el valor promedio para todos los valores de salida de malignidad de la mamografía del lado izquierdo y el valor promedio para todos los valores de salida de malignidad de la mamografía del lado derecho para determinar el valor de salida de malignidad promedio.

7. El método de la reivindicación 1, en donde la máscara RCNN es una RCNN entrenada y comprende una pluralidad de redes subdivisionales para determinar la pluralidad de parámetros de datos de localización, las redes subdivisionales proporcionan cualquiera o una combinación de:

un modelo de generación de cuadro delimitador;

un modelo de segmentación; y

un modelo de tipo de clasificación de malignidad.

8. El método de las reivindicaciones 1 y 7, en donde la máscara RCNN se acopla a una capa

convolucional de salida de la una o más redes neuronales convolucionales usadas para realizar el primer análisis, opcionalmente en donde la máscara RCNN se entrena mediante el uso de los pesos de la una o más

redes neuronales convolucionales usadas para realizar el primer análisis.

9. El método de acuerdo con la reivindicación 7, en donde la máscara RCNN genera una máscara superpuesta que indica una lesión de interés, la máscara comprende además un valor de probabilidad de malignidad, opcionalmente, en donde el modelo de generación de cuadro delimitador genera una regresión de cuadro delimitador con supresión no máxima para localizar lesiones de interés, además opcionalmente en donde el modelo de segmentación proporciona contornos de segmentación de regiones anatómicas y/o lesiones, el modelo de segmentación comprende además características de localización y/u opcionalmente en donde el modelo de tipo de clasificación de malignidad identifica una clasificación de tipo de tejido y categoría de densidad para la mama y/u opcionalmente en donde las redes subdivisionales comprenden un conjunto de máscaras creadas por las redes de subdivisión, opcionalmente en donde la máscara RCNN se combina con supresión no máxima y/o conglomeración de cuadros ponderados.

10. El método de cualquier reivindicación anterior, en donde la etapa de establecer el umbral de los valores promedio de salida de malignidad comprende seleccionar múltiples puntos operativos de la mamografía, opcionalmente, seleccionar al menos seis puntos operativos.

11. Un método de entrenar una o más redes neuronales convolucionales para realizar las etapas de cualquier reivindicación anterior, el método que comprende:

recibir una o más mamografías;

entrenar una o más redes neuronales convolucionales para analizar completamente la una o más mamografías y determinar un valor de malignidad;

congelar los pesos para la una o más redes neuronales convolucionales; agregar las máscaras RCNN a la última capa convolucional de la una o más redes neuronales convolucionales;

y entrenar las máscaras RCNN mediante el uso de los pesos congelados de la una o más redes neuronales convolucionales.

12. El método de acuerdo con la reivindicación 11, en donde la una o más mamografías se restringen a 4000x4000 píxeles.

13. El método de cualquiera de las reivindicaciones 11 a 12, en donde las mamografías se preprocesan mediante el uso de cualquiera o una combinación de: selección de ventanas; remuestreo; y normalización.

14. Un aparato adaptado para realizar el método de cualquier reivindicación anterior.

15. Un producto de programa de ordenador que, cuando se ejecuta en un ordenador, se adapta para realizar el método de cualquiera de las reivindicaciones 1 a 13.