ES2873073T3 - Aparato de diagnóstico y método de procesamiento de imágenes en el mismo aparato - Google Patents

Aparato de diagnóstico y método de procesamiento de imágenes en el mismo aparato Download PDF

Info

Publication number
ES2873073T3
ES2873073T3 ES15202418T ES15202418T ES2873073T3 ES 2873073 T3 ES2873073 T3 ES 2873073T3 ES 15202418 T ES15202418 T ES 15202418T ES 15202418 T ES15202418 T ES 15202418T ES 2873073 T3 ES2873073 T3 ES 2873073T3
Authority
ES
Spain
Prior art keywords
image
component
color
captured image
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES15202418T
Other languages
English (en)
Inventor
Yoshiharu Houjou
Nobuhiro Aoki
Shigeki Mineo
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Application granted granted Critical
Publication of ES2873073T3 publication Critical patent/ES2873073T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20028Bilateral filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

Un método para procesar una imagen en un aparato de diagnóstico para diagnosticar una lesión usando una imagen capturada de un área afectada a diagnosticar, que comprende las etapas de: (i) clasificar la imagen capturada, basándose en la fase de progresión de la lesión, en al menos dos clasificaciones que comprenden una fase de progresión baja y una fase de progresión alta, donde la fase de progresión baja está caracterizada por que el área afectada está compuesta sustancialmente por color negro o marrón y la fase de progresión alta está caracterizada por que el área afectada está compuesta totalmente por vasos rojizos; y (ii) realizar un proceso de conversión de imagen sobre la imagen capturada, para generar una imagen convertida, realizando selectivamente sobre la imagen capturada, basándose en la clasificación obtenida en la etapa de clasificación, ya sea un primer proceso de conversión de imagen, correspondiente a la clasificación de fase de progresión baja, o un segundo proceso de conversión de imagen, correspondiente a la clasificación de fase de progresión alta; donde el primer proceso de conversión de imagen es un proceso de conversión por clarificación de estructura y el segundo proceso de conversión de imagen es una conversión por coloración fluorescente de región; y donde el primer proceso de conversión de imagen comprende: una primera etapa de separación para separar la imagen capturada en un componente de brillo y un componente de información de color; una segunda etapa de separación para separar el componente de brillo en un componente de base y un componente de detalle; una etapa de resaltado para realizar un procesamiento de resaltado en el componente de base; y una etapa de generación para restaurar el brillo basándose en un componente de base procesado por resaltado y el componente de detalle, y usando el componente de información de color para generar una imagen resaltada, donde la etapa de resaltado comprende al menos una de una primera etapa de resaltado, que comprime el componente de base de una manera más brillante que un valor central, y una segunda etapa de resaltado que realiza un procesamiento de filtro de nitidez sobre el componente de base, donde, en la etapa de generación, el componente de base procesado por resaltado se agrega al componente de detalle para restaurar el brillo, y se realiza una conversión a un segundo espacio de color basándose en el brillo restaurado y el componente de información de color correspondiente a la dirección de un color basado en rojo y a la dirección de un color basado en azul en un primer espacio de color para generar la imagen resaltada.

Description

DESCRIPCIÓN
Aparato de diagnóstico y método de procesamiento de imágenes en el mismo aparato
Campo de la invención
La presente invención se refiere a un aparato de diagnóstico y a un método de procesamiento de imágenes adecuado para su uso en el aparato de diagnóstico.
Técnica anterior
Generalmente, para diagnosticar una legión cutánea es necesario efectuar una inspección visual, obteniendo así una cantidad de información. Sin embargo, no solo la discriminación entre un lunar y una mancha, sino también la discriminación entre un tumor benigno y un tumor maligno, son sustancialmente difíciles con una inspección a simple vista e incluso con una lupa. Por estas razones, se efectúan convencionalmente inspecciones dermatoscópicas en las que se usa una cámara equipada con un dermatoscopio para capturar una imagen de la enfermedad.
El dermatoscopio es un dispositivo de diagnóstico no invasivo con el que una enfermedad irradiada con la luz de, por ejemplo, una lámpara halógena, y sin obstrucción por la luz reflectante debida a un gel de ecografía o un filtro de polarización, es ampliada (típicamente x10) y sometida a observación. Un diagnóstico dermatoscópico puede definirse como la inspección de enfermedades de la piel con el dermatoscopio. Para más detalles, véase la URL de Internet (http://www.twmu.ac.jp/DNH/department/dermatology/dermoscopy.html) (accesible desde el 1 de septiembre de 2014). De acuerdo con el diagnóstico dermatoscópico, se elimina el reflejo disperso que se produce debido a una cutícula, lo que hace que la distribución de la pigmentación desde la epidermis hasta una capa intradérmica superficial resulte más visible.
Por ejemplo, la Literatura de Patente 1 (publicación de patente japonesa n°. 2005-192944 (A)) divulga la tecnología de un aparato de diagnóstico remoto, para diagnosticar una enfermedad cutánea pigmentada, que emplea valores tales como color, textura, asimetricidad y circularidad basándose en una imagen de la piel capturada por el dermatoscopio. De acuerdo con la Literatura de Patente 1, se usa un teléfono móvil provisto de una cámara equipada con un dermatoscopio, y el dermatoscopio captura una imagen de una piel que tenga una enfermedad tal como un nevo pigmentado benigno, etc. y que suponga un riesgo de melanoma. El teléfono móvil está conectado a Internet mediante su función de conexión a la red, y la imagen de la piel capturada se transmite a través de Internet al aparato de diagnóstico remoto para solicitar un diagnóstico. Al recibir la imagen de la piel correspondiente a la solicitud, el aparato de diagnóstico remoto utiliza un programa de diagnóstico de melanomas para determinar si, basándose en la imagen de la piel, la enfermedad es un melanoma o no, o en el caso de que la enfermedad sea un melanoma, en qué fase está el melanoma. El resultado de la determinación se transmite al médico que haya solicitado el diagnóstico.
Si bien el diagnóstico basado en la imagen dermatoscópica anteriormente mencionado es ampliamente utilizado en la actualidad, para obtener un cambio de forma o patrón claro, convencionalmente se le aplica HDR (tratamiento de imagen de alto rango dinámico) a la imagen dermatoscópica capturada. En este caso, como se realiza una conversión de imagen de manera uniforme, independientemente del tipo de lesión o de la etapa o grado de progresión, es difícil obtener una precisión diagnóstica satisfactoria y el diagnóstico depende realmente de la habilidad del médico clínico.
El artículo “Segmentation and classification of dermatological lesions” (MEDICAL IMAGING 2010: COMPUTER-AIDED DIAGNOSIS, San Diego, (13-02-2010) vol.7624) por Aurora Sáez, Begoña Acha y Carmen Serrano divulga una técnica de procesamiento de imágenes para segmentar y clasificar lesiones dermatológicas. Los resultados de la clasificación se codifican en color en la imagen original.
[Lista de citas]
[Literatura de Patente 1] Publicación de patente japonesa n°. 2005-192944 (A)
Es un objeto de la presente invención solucionar los inconvenientes anteriormente mencionados y proporcionar un aparato de diagnóstico, un método para procesar una imagen en el mismo aparato de diagnóstico y un programa para llevar a cabo el mismo método, que pueden hacer que un médico realice fácilmente un diagnóstico y mejoran la precisión del diagnóstico. Esto se consigue mediante las características de las reivindicaciones independientes. Las realizaciones preferidas constituyen el contenido de las reivindicaciones dependientes.
Breve descripción de los dibujos
La FIG. 1 es un diagrama de bloques que muestra una configuración de una realización de un aparato de diagnóstico de acuerdo con la invención.
La FIG. 2 es un diagrama de flujo que ilustra una operación de procesamiento básica de una realización de un aparato de diagnóstico de acuerdo con la invención.
La FIG. 3 muestra un procedimiento detallado de un procesamiento de clasificación basado en un análisis de componentes de color según se ha definido en la FIG. 2.
La FIG. 4 es un diagrama de flujo que ilustra un procedimiento detallado de procesamiento de conversión por clarificación de estructura se ha definido en la FIG. 2.
La FIG. 5 es un diagrama de flujo que ilustra un procedimiento detallado para extraer una probabilidad de vaso como probabilidad A según se ha definido en la FIG. 4.
La FIG. 6 muestra un diagrama de flujo que ilustra un procedimiento detallado de conversión por resaltado de una región y de procesamiento de conversión por coloración fluorescente de una región según se ha definido en la FIG.
2.
La FIG. 7 es un diagrama de flujo que ilustra un procedimiento detallado para realizar un procesamiento de bottom-hat (procesamiento de sombrero de copa de negros) sobre una imagen con brillo para obtener una imagen con brillo resaltada según se ha definido en la FIG. 6.
Las FIGS. 8A-8C son ejemplos de imágenes procesadas por dilatación.
La FIG. 9 es un diagrama de flujo que ilustra un procedimiento detallado para extraer una probabilidad de vaso como probabilidad A según se ha definido en la FIG. 6.
La FIG. 10 es un ejemplo de configuración de pantalla de visualización de una realización de un aparato de diagnóstico de acuerdo con la invención.
La FIG. 11 muestra una configuración de red en la que se sistematiza una realización de un aparato de diagnóstico de acuerdo con la invención.
Las FIGS. 12A-12H muestran los patrones básicos de una lesión cutánea.
Descripción de las realizaciones
Con referencia a los dibujos adjuntos, a continuación se describirá en detalle una realización de la invención. Adicionalmente, se asigna el mismo número de referencia al mismo elemento o parte en toda la memoria descriptiva.
[Configuración de la realización]
La FIG. 1 es un diagrama de bloques que muestra una configuración de un aparato de diagnóstico 100 que es una realización del aparato de diagnóstico de acuerdo con la invención. Con referencia a la FIG. 1, un dispositivo de captura de imágenes 110 equipado con un dermatoscopio, que en lo sucesivo puede designarse a lo largo de la memoria descriptiva como "dispositivo de captura de imágenes 110" o "dispositivo de captura de imágenes 110 equipado con dermatoscopio", está conectado al aparato de diagnóstico 100. El dispositivo de captura de imágenes 110 equipado con dermatoscopio está configurado para capturar una imagen de acuerdo con una instrucción procedente del aparato de diagnóstico 100 (en particular, una unidad de procesamiento 101), memorizar la imagen capturada, tal como una imagen dermatoscópica, en una unidad 102 de memorización de imágenes y mostrar la imagen capturada en un área predeterminada de un dispositivo de visualización 120. Adicionalmente, la imagen capturada es resaltada por la unidad de procesamiento 101 y luego memorizada en la unidad de memorización de imágenes 102 y mostrada en el área predeterminada del dispositivo de visualización 120. Un dispositivo de entrada 130 está configurado para realizar una instrucción para comenzar a capturar una imagen, tal como una imagen dermatoscópica, y realizar una selección de una región en la imagen dermatoscópica, lo cual se describirá a continuación.
El dispositivo de visualización 120 puede ser un monitor LCD (pantalla de cristal líquido) y el dispositivo de entrada 130 puede ser un ratón.
La unidad de procesamiento 101 está configurada para procesar la imagen capturada según fue memorizada en la unidad de memorización de imágenes 102. Haciendo referencia a la FIG. 1, la unidad de procesamiento 101 tiene un medio de clasificación 101a, un primer medio de separación 101b, un segundo medio de separación 101c, un medio de resaltado 101d, un medio de generación 101e y un medio de extracción 101f.
El medio de clasificación 101a sirve como medio para clasificar la imagen capturada de un área afectada a diagnosticar, basándose en la fase de progresión del área afectada. El medio de clasificación 101a de la unidad de procesamiento 101 realiza un procesamiento de conversión de imagen correspondiente a la clasificación realizada por el medio de clasificación 101a, para generar una imagen convertida.
En este caso, la unidad de memorización de imágenes 102 memoriza las imágenes capturadas basándose en la clasificación de las mismas, y el medio de clasificación 101a clasifica la imagen capturada del área afectada a diagnosticar basándose en la fase de progresión, con referencia a la imagen capturada según fue memorizada por la unidad de memorización de imágenes 102.
Adicionalmente, el procesamiento de conversión de imagen, realizado por la unidad de procesamiento 101, puede incluir un procesamiento de conversión por clarificación de estructura (es decir, un procesamiento de conversión por clarificación de tejido), que es un procesamiento de conversión de imagen correspondiente a la clasificación de una fase de progresión baja; un procesamiento de conversión por resaltado de región, que es un procesamiento de conversión de imagen correspondiente a la clasificación de una fase de progresión intermedia; y un procesamiento de ,conversión por coloración fluorescente de región que es un procesamiento de conversión de imagen correspondiente a la clasificación de una fase de progresión alta.
El medio de clasificación 101a clasifica una imagen en la que el área afectada tenga forma de lunar y esté compuesta sustancialmente de color negro o marrón como clasificación de fase de progresión baja (Tipo I).
El medio de clasificación 101a clasifica una imagen en la que el área afectada tenga forma de lunar y esté parcialmente compuesta por vasos como clasificación de fase de progresión media (Tipo II).
El medio de clasificación 101a etiqueta una imagen en la que el área afectada tenga forma de lunar y esté totalmente compuesta por vasos rojizos como clasificación de fase de progresión alta (Tipo III).
[Conversión por clarificación de estructura]
Cuando la unidad de procesamiento 101 realiza el procesamiento de conversión por clarificación de estructura, el primer medio de separación 101b sirve de medio para separar la imagen capturada en un componente de brillo y un componente de información de color, y el segundo medio de separación 101c sirve de medio para separar el componente de brillo en un componente de base (también llamado "componente de gran escala") y un componente de detalle. Como referencia, el término "componente de base" según se usa en el presente documento significa un componente de brillo que tiene propiedades que varían globalmente, y el término "componente de detalle" según se usa en el presente documento significa un componente de brillo que tiene propiedades que varían localmente.
El medio de resaltado 101d tiene al menos un primer medio de resaltado 101f-1, que sirve de medio para realizar un procesamiento de resaltado sobre el componente de base para comprimir el componente de base con un brillo mayor que un valor central, y un segundo medio de resaltado 101f-2 que sirve de medio para realizar un procesamiento de filtro de nitidez en el componente de base. Durante el procesamiento de resaltado según se define en el presente documento, el término "comprimir" es intercambiable con el término "atenuar".
El medio de generación 101e sirve de medio para restaurar el brillo de un componente de base resaltado y del componente particular y usar el componente de información de color para generar una imagen resaltada. El medio de generación 101e agrega el componente de base resaltado al componente de detalle para restaurar el brillo y realiza una conversión a un segundo espacio de color basándose en el brillo restaurado y en el componente de información de color correspondiente a la dirección de un color basado en rojo y la dirección de un color basado en azul de un primer espacio de color, para generar la imagen resaltada.
[Conversión por resaltado de región]
Cuando la unidad de procesamiento 101 realiza el procesamiento de conversión por resaltado de región, el primer medio de separación 101b sirve de medio para separar la imagen capturada en el componente de brillo y el componente de información de color, y el medio de extracción 101f sirve de medio para extraer una región a diagnosticar.
A este respecto, el medio de extracción 101f tiene al menos uno de un primer medio de extracción 101f-1 para extraer una región candidata, basándose en el componente de brillo, y un segundo medio de extracción 101f-2 para extraer la probabilidad de la región, basándose en un espacio de color compuesto por el componente de brillo y el componente de información de color. En el procesamiento de conversión por resaltado de región, el segundo medio de extracción 101f-2 usa el componente de información de color correspondiente a la dirección del color basado en rojo en el espacio de color durante la extracción.
[Conversión por coloración fluorescente de región]
Cuando la unidad de procesamiento 101 realiza el procesamiento de conversión por resaltado de región, el primer medio de separación 101b sirve de medio para separar la imagen capturada en un componente de brillo y un componente de información de color, y el medio de extracción 101f sirve de medio para extraer una región a diagnosticar.
A este respecto, el medio de extracción 101f tiene al menos uno de un primer medio de extracción 101f-1 para extraer una región candidata, basándose en el componente de brillo, para realizar un procesamiento bottom-hat (procesamiento sombrero de copa de negros) en la región candidata extraída y un segundo medio de extracción 101f-2 para extraer una probabilidad de la región, basándose en un espacio de color compuesto por el componente de brillo y el componente de información de color. En la región del procesamiento de conversión por coloración fluorescente, el segundo medio de extracción 101f-2 usa el componente de información de color correspondiente a la dirección de un color basado en verde en el espacio de color durante la extracción.
Tanto el medio de clasificación 101a como el primer medio de separación 101b, el segundo medio de separación 101c, el medio de resaltado 101d (es decir, el primer medio de resaltado 101d-1 y el segundo medio de resaltado 101d-2), el medio de generación 101e y el medio de extracción 101f (es decir, el primer medio de extracción 101f-1 y el segundo medio de extracción 101f-2), según se ha descrito anteriormente, pueden ejecutar la función original mencionada anteriormente para los mismos cuando la unidad de procesamiento 101 lee secuencialmente un programa, de acuerdo con una realización de la invención, que posee la unidad de procesamiento 101.
[Operación de la realización]
La operación (es decir, un método de procesamiento de imágenes) del aparato de diagnóstico 100, según se muestra en la FIG. 1, se describe con detalle a continuación con referencia a la FIG. 2. Adicionalmente, cada una de las operaciones o etapas que se describirán a continuación puede hacer que un ordenador ejecute una función correspondiente utilizando un programa de procesamiento de imágenes en el aparato de diagnóstico 100.
La FIG. 2 representa el flujo de la operación de procesamiento básica del aparato de diagnóstico 100 de acuerdo con la realización de la invención. Con referencia a la FIG. 2, la unidad de procesamiento 101 adquiere en primer lugar una imagen de un área afectada (por ejemplo, una lesión cutánea) que es capturada por el dispositivo de captura de imágenes 110 equipado con dermatoscopio (Etapa S11). Entonces, la imagen capturada tal como se ha adquirido se memoriza en el área predeterminada de la unidad de memorización de imágenes 102, y se visualiza en el dispositivo de visualización 120 (Etapa S12).
A continuación, en una etapa de clasificación, el medio de clasificación 101a de la unidad de procesamiento 101 hace una clasificación, basándose en el análisis de componentes de color (Etapa S13), y clasifica la imagen en al menos tres tipos que incluyen Tipo I, Tipo II y Tipo III (Etapa S14).
Basándose en el tipo determinado en la Etapa S14, se realiza el procesamiento de conversión de imagen (es decir, la etapa de conversión de imagen) seleccionado desde el procesamiento de conversión por clarificación de estructura (es decir, la etapa de conversión por clarificación de estructura) (Etapa S15), el procesamiento de conversión por resaltado de región (es decir, la etapa de conversión por resaltado de región) (Etapa S16), y el procesamiento de conversión por coloración fluorescente de región (es decir, la etapa de conversión por coloración fluorescente de región) (Etapa S17), y la imagen procesada y la imagen capturada aparecen en paralelo en el dispositivo de visualización 120. El diagnóstico se deja para el médico (Etapa S18).
A este respecto, el medio de clasificación 101a clasifica una imagen en la que el área afectada tenga forma de lunar y esté compuesta sustancialmente por color negro o marrón como clasificación de fase de progresión baja (Tipo I). El medio de clasificación 101a clasifica una imagen en la que el área afectada tenga forma de lunar y esté parcialmente compuesta por vasos como clasificación de fase de progresión intermedia (Tipo II).
El medio de clasificación 101a clasifica una imagen en la que el área afectada tenga forma de lunar y esté totalmente compuesta por vasos rojizos como clasificación de fase de progresión alta (Tipo III).
En caso de que la imagen sea clasificada como Tipo I, se realiza el procesamiento de conversión por clarificación de estructura, que es el procesamiento de conversión de imagen correspondiente a la clasificación de fase de progresión baja.
En caso de que la imagen sea clasificada como Tipo II, se realiza el procesamiento de conversión por resaltado de región, que es el procesamiento de conversión de imagen correspondiente a la clasificación de fase de progresión intermedia.
En caso de que la imagen sea clasificada como Tipo III, se realiza el procesamiento de conversión por coloración fluorescente de región, que es el procesamiento de conversión de imagen correspondiente a la clasificación de fase de progresión alta.
En la FIG. 10 se muestra un ejemplo de imagen de una pantalla de visualización que aparece en el dispositivo de visualización 120. En la pantalla de la FIG. 10, una sección de visualización de imágenes capturadas 121, en la que se visualiza la imagen capturada, está dispuesta en un lado izquierdo y una sección de visualización de imágenes procesadas 122, en la que se visualiza la imagen procesada, está dispuesta en un lado derecho.
Cuando el médico hace clic en el botón 123 de "comenzar a capturar la imagen" que se encuentra en la parte inferior derecha de la pantalla del dispositivo de visualización 120, el dispositivo de captura de imágenes 110 equipado con dermatoscopio comienza a capturar la imagen del área afectada.
Adicionalmente, la imagen capturada aparece en la sección de visualización de imágenes capturadas 121 y la imagen procesada, que se obtiene realizando el procesamiento de conversión de imagen (es decir, el procesamiento de conversión por clarificación de estructura, el procesamiento de conversión por resaltado de región y el procesamiento de conversión por coloración fluorescente de región) correspondiente al Tipo I-III de acuerdo con la clasificación de la unidad de procesamiento 101, aparece en la sección de visualización de imágenes procesadas 122, junto a la sección de visualización de imágenes capturadas 121, en la pantalla del dispositivo de visualización 120.
Además, puede añadirse un área de miniaturas en la que se muestre cada una de las imágenes procesadas en una ubicación arbitraria de la pantalla. En este caso, la imagen procesada correspondiente a la miniatura seleccionada y operada puede visualizarse en la sección de visualización de imágenes procesadas 122. Puede visualizarse en paralelo una pluralidad de imágenes procesadas.
La FIG. 3 muestra un procedimiento detallado de procesamiento de clasificación basado en el análisis de componentes de color según se define en la Etapa S13 de la FIG. 2. Con referencia a la FIG. 3, el primer medio de separación 101b de la unidad de procesamiento 101 convierte en primer lugar la imagen capturada, obtenida por el dispositivo de captura de imágenes 110 equipado con dermatoscopio, de espacio de color RGB a espacio de color Lab (más exactamente, espacio de color L*a*b* CIE 1976). Los detalles del espacio de color Lab se describen, por ejemplo, en la URL de Internet (http://Ja.wikipedia.org/wiki/lab%E8%89%B2%E7%A9%BA%E9%96%93) (accesible desde el 1 de septiembre de 2014). De aquí en adelante, L, a y b de los ejes de coordenadas del espacio de color Lab se escriben en negrita y cursiva.
Adicionalmente, el medio de clasificación 101a de la unidad de procesamiento 101 prepara un histograma que indica la distribución de color en una lesión (Etapa S141) y determina o juzga si un ochenta por ciento o más del área está ocupada o no por un componente de color basado en rojo (Etapa S142).
A este respecto, si se determina que casi toda el área está ocupada por el componente de color basado en rojo (es decir, "SÍ" en la Etapa S142), el medio de clasificación 101a clasifica el caso como Tipo II o Tipo III.
Para este propósito, el medio de clasificación 101a determina o juzga si la mayor parte de la lesión tiene forma de vaso o no (Etapa S143). Si la mayor parte del área afectada tiene forma de vaso (es decir, "SÍ" en la Etapa S143), el caso se clasifica como Tipo III (Etapa S144).
Si la Etapa S143 es "NO", el caso se clasifica como Tipo II (Etapa S145).
Por otro lado, en caso de que el área de la lesión no esté ocupada por el componente de color basado en rojo (es decir, "NO" en la Etapa S142), el medio de clasificación 101a determina o juzga adicionalmente si el componente o componentes de color distintos del componente de color basado en rojo están distribuidos uniformemente o no (Etapa S146) y si el componente o componentes de color distintos del componente de color basado en rojo están dispersos o no.
Si el componente o componentes de color distintos del componente de color basado en rojo están distribuidos uniformemente (es decir, "SÍ" en la Etapa S146) o dispersos (es decir, "SÍ" en la Etapa S148), el caso se clasifica como Tipo I (Etapa S147).
Si el componente o componentes de color distintos del componente de color basado en rojo no están distribuidos uniformemente ("NO" en la Etapa S146) o no están dispersos ("NO" en la Etapa S147), el caso se clasifica como otros (Etapa S149).
[Conversión por clarificación de estructura]
A continuación se describirá, con referencia al diagrama de flujo de la FIG. 4, el procesamiento de conversión por clarificación de estructura (es decir, la etapa de conversión por clarificación de estructura) que se realiza cuando el caso se ha clasificado como Tipo I. Con referencia a la FIG. 4, el primer medio de separación 101b de la unidad de procesamiento 101 convierte la imagen capturada, obtenida por el dispositivo de captura de imágenes 110 equipado con dermatoscopio, de espacio de color RGB a espacio de color Lab en una primera etapa de separación de las etapas de separación. Posteriormente, el segundo medio de separación 101c de la unidad de procesamiento 101 realiza un procesamiento de filtro de preservación de borde en una imagen L para separar la imagen capturada en el componente de base y el componente de detalle (Etapa S162). Un filtro de preservación de borde que puede utilizarse en este procesamiento de filtro de conservación de borde puede ser un filtro bilateral. Los detalles del filtro bilateral se describen, por ejemplo, en la URL de Internet (http://en.wikipedia.org/wiki/Bilateral filter) (accesible desde el 1 de septiembre de 2014).
Aunque en la realización la imagen capturada se convierte de espacio de color RGB a espacio de color Lab y luego se somete a procesamiento, la imagen capturada se puede convertir de espacio de color RGB a un espacio de color HSV (tono, saturación, luminosidad) y luego someterla a procesamiento. En este caso, el componente V corresponde al componente de brillo y el componente HS corresponde al componente de información de color. El espacio de color HSV es un espacio de color compuesto por tres componentes, es decir, el espacio de color HSV tiene tono, saturación (croma) y valor (luminosidad o brillo). El espacio de color HSV también se puede llamar espacio de color HSL (tono, saturación, luminosidad) o espacio de color HSB (tono, saturación, brillo).
A continuación, en una etapa de resaltado, el medio de resaltado 101d de la unidad de procesamiento 101 adquiere una imagen B (B = filtro bilateral (L)) que se obtiene realizando el procesamiento de filtro bilateral sobre la imagen L. En este sentido, la imagen B es una imagen de componente de base. A continuación, el medio de resaltado 101d adquiere una imagen D del componente de detalle. La imagen D se puede obtener restando la imagen B de la imagen L (Etapa S163).
Posteriormente, el medio de resaltado 101d (en particular, el primer medio de resaltado 101d-1) adquiere una imagen resaltada B1 del componente de base elevando la imagen B del componente de base a la pésima potencia en la primera etapa de resaltado de las etapas de resaltado (Etapa S164). A este respecto, p es igual o inferior a 1. El medio de resaltado 101d realiza el procesamiento de resaltado de manera que el máximo y el mínimo que pueda tener la imagen B del componente de base no cambien antes y después de la modificación. Concretamente, dado que el valor del brillo L en el espacio de color Lab está comprendido entre 0 y 100, se puede determinar B1 de acuerdo con la siguiente fórmula matemática: B1=(BAp) / (100Ap)*100. A continuación, el medio de resaltado 101c multiplica B1 por K1 empleando el valor Z como base o estándar para adquirir una imagen comprimida B2 (Etapa 165).
La imagen comprimida B2 puede ser determinada de acuerdo con la siguiente fórmula matemática: B2=(B1-Z)*K1+Z. En la fórmula matemática anterior, el coeficiente K1 representa una relación de compresión igual o inferior a 1, en la realización un intervalo entre 0,2 y aproximadamente 0,8. Se ajusta Z para que sea más brillante que el centro C. C es una ubicación central donde se efectúa la compresión y se puede calcular de acuerdo con la siguiente fórmula matemática: C=(50Ap) / (100Ap)*100. Z tiene un valor entre 5% y 50% mayor que C. En otras palabras, el medio de resaltado 101c comprime el componente de base con un brillo mayor que el valor central para resaltar el componente de base.
A continuación, el medio de resaltado 101d (en particular, el segundo medio de resaltado 101d-2) realiza un procesamiento de filtro de nitidez sobre la imagen comprimida B2, para generar una imagen B3 enfocada, en la segunda etapa de resaltado de las etapas de resaltado (Etapa S166: B3 ^ filtro de nitidez (B2)). Durante el procesamiento de filtro de nitidez, el segundo medio de resaltado 101d-2 realiza la operación de convolución de la siguiente M kernel sobre la imagen comprimida B2. Adicionalmente, se muestra un ejemplo de matriz de convolución (valor de M kernel de convolución), como sigue:
|-0,1667 -0,6667 -0,1667|
M= |-0,6667 4.3333 -0,6667|
|-0,1667 -0,6667 -0,1667|
De acuerdo con la realización, el procesamiento de resaltado por compresión mencionado anteriormente es realizado por el primer medio de resaltado 101d-1 en la primera etapa de resaltado, y el procesamiento de filtro de nitidez subsiguiente es realizado por el segundo medio de resaltado 101d-2 en la segunda etapa de resaltado. Sin embargo, el medio de resaltado 101d no necesariamente realiza ambos procesamientos, el de resaltado por compresión como primera etapa de resaltado y el de de filtro de nitidez como segunda etapa de resaltado, sino que puede realizar ya sea el procesamiento de resaltado por compresión o el procesamiento de filtro de nitidez.
A continuación, el medio de resaltado 101d extrae una probabilidad de vaso como probabilidad A para reflejar la probabilidad de vaso en un grado de resaltado de la imagen de componente de detalle D (Etapa S167). La probabilidad de vaso (probabilidad A) tiene la misma información dimensional que la imagen comprimida B2 del componente de base en la que se ha eliminado el ruido, y tiene la información de probabilidad de vaso (probabilidad A) que está comprendida entre 0 y 1 para cada píxel. A medida que aumenta la probabilidad de vaso, el valor se aproxima a 1. El procesamiento de extracción de la probabilidad de vaso como probabilidad A, según se define en la Etapa S167, está ilustrado en el diagrama de flujo de la FIG. 5.
Con referencia a la FIG. 5, el medio de resaltado 101d adquiere el valor de un eje a que corresponde a la dirección de color basado en rojo en el espacio de color Lab (Etapa S167a) y, con respecto a la probabilidad de vaso (la probabilidad A), fija el valor de a dentro del rango de 0 a 1 mediante normalización con el rango limitado de 0 a S (Etapa S167b, Etapa S167c). A este respecto, S es, por ejemplo, 80. En la realización, la normalización se realiza con limitación del valor de 0 a 80. Sin embargo, el valor anterior es solo un ejemplo no restrictivo. Adicionalmente, el procesamiento antes mencionado de extraer la probabilidad de vaso como probabilidad A puede realizarse de acuerdo con el diagrama de flujo de la FIG. 9, que se describirá a continuación.
Volviendo a la FIG. 4, se describirá a continuación una etapa de generación. Después de determinar la probabilidad de vaso como probabilidad A de acuerdo con el procedimiento mencionado anteriormente (Etapa S167), el segundo medio de resaltado 101f-2 determina un coeficiente de resaltado K3 de la imagen D del componente de detalle usando la probabilidad A (Etapa S168). El coeficiente de resaltado K3 se puede determinar de acuerdo con la siguiente fórmula matemática: K3=A*K2. En la fórmula matemática anterior, se obtiene un límite inferior del coeficiente de resaltado K3 multiplicando el coeficiente K2 por LM1. En la fórmula matemática anterior, LM1 está comprendido entre 0 y 1 y puede ser, por ejemplo, 0,5. En otras palabras, K3 se puede representar mediante la siguiente fórmula matemática: K3=máx(K3, LM1). En la fórmula matemática anterior, "máx()" es una función que devuelve un máximo de dos factores por elemento. Dado que "LM1" es un escalar, es sometido a expansión con el mismo valor y dimensión que el coeficiente de resaltado K3 (Etapa S169).
Posteriormente, el medio de resaltado 101d realiza el procesamiento de resaltado sobre la imagen D del componente de detalle, usando el coeficiente de resaltado K3 para generar la imagen resaltada D1 de la imagen D del componente de detalle (Etapa S170). En otras palabras, la imagen resaltada D1 se puede determinar de acuerdo con la siguiente fórmula matemática: D1=D*K3. En la fórmula matemática anterior, "*" representa una multiplicación por un elemento.
Posteriormente, el medio de generación 101e de la unidad de procesamiento 101 agrega la imagen resaltada (modificada) B1 del componente de base a la imagen resaltada (modificada) D1 del componente de detalle para adquirir una imagen de brillo modificada L" (L" = B3 D1). Posteriormente, basándose en la imagen de brillo modificada L" adquirida, en el valor del eje a correspondiente al componente de color basado en rojo y en el valor del eje b correspondiente al componente de color basado en azul, se realiza la conversión al espacio de color RGB para generar una imagen resaltada final E (Etapa S171).
En otras palabras, el medio de generación 101e restaura el brillo del componente de base resaltado y de la imagen del componente de detalle, y utiliza el componente de información de color para generar la imagen resaltada. Adicionalmente, según se aprecia en la pantalla de visualización de la FIG. 10, la unidad de procesamiento 101 muestra la sección de visualización de imágenes capturadas 121 y la sección de visualización de imágenes resaltadas 122, en paralelo, en el dispositivo de visualización 120.
Adicionalmente, según se describió anteriormente, el medio de resaltado 101d puede realizar el procesamiento de resaltado en el componente de base o en el componente de detalle. Más detalladamente, el componente de base es sometido al procesamiento de resaltado mediante una compresión más brillante o el procesamiento de filtro de nitidez, y el componente de detalle es sometido al procesamiento de resaltado de acuerdo con la probabilidad de vaso. A este respecto, el medio de generación 101e no requiere necesariamente tanto el componente de base resaltado como el componente de detalle resaltado, sino que puede restaurar el brillo de al menos uno del componente de base resaltado y el componente de detalle resaltado. Por ejemplo, el medio de generación 101e puede agregar el componente de base, que ha sido resaltado por el medio de resaltado 101d (imagen B2 o B3), al componente de detalle, que ha sido separado por el segundo medio de separación 101c (imagen D), para obtener la imagen L” de brillo modificada.
De acuerdo con el procesamiento de conversión por clarificación de estructura antes mencionado, la unidad de procesamiento 101 separa la imagen capturada, tal como está memorizada en la unidad de memoria de imagen 102, en el componente de brillo y el componente de información de color; separa el componente de brillo en el componente de base y el componente de detalle; realiza un procesamiento de compresión más brillante o el proceso de filtrado de nitidez sobre el componente de base; restaura el brillo del componente de base resaltado y del componente de detalle; y genera la imagen resaltada utilizando el componente de información de color. Como resultado, según se muestra en la pantalla de visualización de la FIG. 10, la unidad de procesamiento 101 muestra la sección de visualización de imágenes capturadas 121 y la sección de visualización de imágenes resaltadas 122, en paralelo.
Si se resalta el componente de base sometiéndolo a compresión de una manera más brillante que el valor central, el color del vaso se mantiene. Por otro lado, si se resalta el componente de base sometiéndolo al procesamiento de filtro de nitidez, el componente de base de la imagen se vuelve nítido sin ir acompañado de ningún aumento de ruido mínimo. Por estas razones, el médico puede comprobar visualmente una imagen clara con respecto, por ejemplo, a un vaso lineal o un vaso puntiforme, lo que permite al médico hacer un diagnóstico fácil y correcto. Como resultado, se mejora la precisión del diagnóstico.
En la realización, se usa el filtro bilateral para separar el componente de brillo en el componente de base y el componente de detalle. Sin embargo, el filtro bilateral puede ser reemplazado por otro filtro suavizante que preserve los bordes, tal como un filtro épsilon. Adicionalmente, aunque en la realización se usa el espacio de color Lab para adquirir la imagen de brillo, se puede usar una señal de brillo Y en el espacio de color YUV que está representado por la señal de brillo y dos señales de diferencia de color, sin el uso del espacio de color Lab. En lo que respecta al espacio de color y Uv , véase la URL de Internet: https://ja.wikipedia.org/wiki/YUV (accesible desde el 1 de septiembre de 2014).
Aunque se utiliza el eje a del espacio de color Lab como probabilidad de vaso (probabilidad A), se puede usar un eje obtenido por rotación del eje a en la dirección positiva del eje b alrededor de (a1, b1). En este caso, a1 puede tener un valor comprendido entre 10 y 50, b1 puede ser 0 y la magnitud de la rotación puede ser aproximadamente de 0,3 a 0,8 radianes.
[Conversión por resaltado de región] [Conversión por coloración fluorescente de región]
A continuación se describe el procesamiento de conversión por resaltado de región (es decir, la etapa de conversión por resaltado de región) y el procesamiento de conversión por coloración fluorescente de región (es decir, la etapa de conversión por coloración fluorescente de región) con referencia a la FIG. 6. Haciendo referencia a la FIG. 6, el primer medio de separación 101b de la unidad de procesamiento 101 convierte la imagen capturada de espacio de color RGB a espacio de color Lab en la primera etapa de separación (Etapa S171). A continuación, el medio de extracción 101f de la unidad de procesamiento 101 extrae la región seleccionada como objeto a diagnosticar.
Específicamente, el primer medio de extracción 101f-1 extrae del componente de brillo el candidato para la región seleccionada (es decir, el vaso candidato). Con este fin, el primer medio de extracción 101f-1 realiza un procesamiento de morfología (en esta realización, un procesamiento bottom-hat (sombrero de copa de negros)) sobre la imagen L que corresponde al brillo en el espacio de color Lab que ha sufrido la conversión de espacio de color debido al primer medio de separación 101b para obtener una imagen BH resaltada por contraste (Etapa S172). Dado que el procesamiento de morfología se realiza aplicando elementos de estructuración a una imagen de entrada, para generar la imagen BH de vaso candidato como imagen de salida con el mismo tamaño que la imagen de entrada, cada valor de la imagen de salida está basado en la comparación entre el correspondiente píxel y el píxel o píxeles vecinos dentro de la imagen de entrada.
La mayor parte del procesamiento morfológico básico está representado por dilatación y erosión. La dilatación se realiza agregando un píxel al límite del objeto dentro de la imagen de entrada, y la erosión se realiza eliminando un píxel del límite del objeto. El número de píxeles agregados o eliminados en el objeto depende del tamaño y la forma del elemento estructurante utilizado en el procesamiento de imagen.
En este caso, se describirá el proceso de cómo se realiza el procesamiento de morfología usando un procesamiento bottom-hat y se extrae del componente de brillo la región seleccionada como objeto a diagnosticar (es decir, el vaso candidato). En la FIG. 7 se ilustra el procedimiento detallado del procesamiento bottom-hat.
Con referencia a la FIG. 7, el primer medio de extracción 101f-1 realiza la dilatación sobre la imagen L para obtener una imagen de brillo procesada L1 en la primera etapa de extracción de las etapas de extracción (Etapa S172-1). Los detalles de la dilatación se describen, por ejemplo, en la URL de Internet (http://www.mathworks.co.jp/jp/help/images/morphology-fundamentals-dilation-and-erosion.html) (accesible desde el 1 de septiembre de 2014)
A continuación, el primer medio de extracción 101f-1 realiza la erosión sobre la imagen de brillo procesada por dilatación L1 para obtener una imagen de brillo L2 (Etapa S172b). Posteriormente, el primer medio de extracción 101f-1 resta la imagen L de la imagen de brillo procesada por erosión L2 para obtener la imagen procesada por bottom-hat BH (BH = L2 - L) (Etapa S172c), que se muestra en las FIGS. 8A-8C. La FIG. 8A es la imagen L; la FIG. 8B es la imagen procesada por dilatación L1; y la FIG. 8C es la imagen procesada por bottom-hat BH.
La dilatación se explica con mayor detalle. Por ejemplo, se considera un elemento de estructuración que tenga un diámetro de cinco puntos. La dilatación significa realizar sobre todos los píxeles un procesamiento en el que el valor máximo de un píxel de aviso, dentro del rango de los elementos de estructuración, se convierte en un valor del píxel de aviso. En otras palabras, el valor de salida del píxel de aviso corresponde al valor máximo de todos los píxeles vecinos al píxel de entrada. Por otro lado, la erosión significa el procesamiento en el que el valor mínimo de un píxel de aviso dentro del rango del elemento de estructuración se convierte en un valor del píxel de aviso. En otras palabras, el valor del píxel de aviso corresponde al valor mínimo de todos los píxeles vecinos al píxel de entrada. Según se ha mencionado anteriormente, puede realizarse el procesamiento por bottom-hat sobre la imagen L para obtener la imagen resaltada por contraste BH.
Volviendo a la FIG. 6, el segundo medio de extracción 101f-2 de la unidad de procesamiento 101 extrae la probabilidad de la región seleccionada (es decir, la probabilidad de vaso) basándose en el espacio de color compuesto por el componente de brillo y el componente de información de color en la segunda etapa de extracción de las etapas de extracción. Con este fin, el segundo medio de extracción 101f-2 calcula la probabilidad de vaso como probabilidad A (Etapa S173).
La FIG. 9 representa un procedimiento detallado de extracción de la probabilidad de vaso como probabilidad A según se define en la Etapa S173. Con referencia a la FIG. 9, después de que el primer medio de separación 101b de la unidad de procesamiento 101 haya realizado una conversión de la imagen capturada a espacio de color Lab (Etapa S167h), el segundo medio de extracción 101f-2 de la unidad de procesamiento 101 realiza una extracción usando el valor del eje a, que es el componente de información de color correspondiente a una dirección de color basado en rojo del espacio de color, y el valor del eje b, que es el componente de información de color correspondiente a una dirección de color basado en azul del espacio de color. En otras palabras, el segundo medio de extracción 101f-2 realiza la siguiente operación usando el valor del eje a y el valor del eje b del espacio de color Lab para generar LH1 (Etapa S167i).
ad = (a - ca) * cos (r) b * sen (r) ca
bd = -(a - ca) * sen (r) b * cos (r)
LH 1 = exp (-((ad * ad) / sa / sa (bd * bd) / sb / sb))
En la operación anterior, "ad" y "bd" se obtienen girando un plano ab sobre una extensión de r radianes en dirección contraria a las agujas del reloj alrededor de (ca, 0). A este respecto, el valor de "r" puede estar comprendido entre 0,3 radianes y 0,8 radianes. El valor de "ca" puede estar comprendido entre 0 y 50. En cuanto a "sa" y "sb", son la inversa de la sensibilidad en la dirección del eje a y la inversa de la sensibilidad en la dirección del eje b, respectivamente. En esta realización, "sa" es mayor que "sb".
A continuación, el segundo medio de extracción 101b-2 pone una restricción sobre el LH1 resultante con el brillo L. Si el brillo L es igual o superior a un umbral TH1, LH1 (L=0) es LH2 (Etapa S167j). Si el brillo L es igual o inferior al umbral TH2, LH2 es LH3 (Etapa S167k). El umbral TH1 es un valor comprendido entre 60 y 100, y el umbral TH2 es un valor comprendido entre 0 y 40. El LH3 así obtenido se convierte en la probabilidad A que indica la probabilidad de vaso (Etapa S167l). Adicionalmente, en caso de haber extraído la probabilidad de vaso como probabilidad A, el procedimiento puede seguir el diagrama de flujo que se muestra en la FIG. 5 utilizando el procesamiento de conversión por clarificación de estructura, según se describió anteriormente. En la realización, el primer medio de extracción 101f-1 realiza la primera etapa de extracción y luego el segundo medio de extracción 101f-2 realiza la segunda etapa de extracción. Sin embargo, no necesariamente se realizan tanto la primera etapa de extracción como la segunda etapa de extracción, sino que se puede realizar ya sea la primera etapa de extracción o la segunda etapa de extracción.
Volviendo a la FIG. 6, después de extraer la probabilidad de vaso como probabilidad A de acuerdo con el procedimiento mencionado anteriormente (Etapa S173), el segundo medio de extracción 101b-2 multiplica la imagen procesada por bottom-hat BH por cada elemento de la probabilidad A, que indica la probabilidad de vaso, y divide el resultado por un coeficiente N (Etapa S174). Adicionalmente, se genera una imagen resaltada E de la extracción de vaso recortando con 1 (Etapa S175).
De acuerdo con la realización, la imagen de vaso extraído E es una imagen multivalor que tiene un valor comprendido entre 0 y 1. Sin embargo, como la imagen de vaso extraído E ha sido sometida al procesamiento bottom-hat, el límite del vaso extraído se hace empinado. Si se desea un límite más empinado, se puede realizar una binarización con un umbral deseado.
Según se describió anteriormente, el segundo medio de extracción 101f-2 calcula la probabilidad A, que indica la probabilidad de vaso de la región seleccionada, girando las coordenadas del plano, compuestas por la dirección de color basado en rojo y la dirección de color basado en azul del espacio de color, sobre una extensión angular predeterminada en dirección contraria a las agujas del reloj alrededor de un punto predeterminado en el eje de la dirección de color basado en rojo, y poniendo una restricción sobre el componente de brillo con el margen predeterminado del valor. La región seleccionada se resalta multiplicando la imagen de brillo, obtenida al realizar el procesamiento bottom-hat sobre la imagen del componente de brillo, por la probabilidad A calculada.
Por último, el medio de generación 101e de la unidad de procesamiento 101 combina el resultado extraído de la región con una imagen de fondo para generar una imagen reconstruida, que se muestra en el dispositivo de visualización 120. A este respecto, la imagen de fondo puede ser cualquiera de las imágenes capturadas o una imagen en escala de grises de la imagen capturada.
En el procesamiento de conversión por resaltado de región, el resultado extraído de la región se combina con una imagen de fondo del espacio de color RGB para proporcionar la imagen de vaso resaltado.
En el procesamiento de conversión por coloración fluorescente de región, el resultado extraído de la región se combina con una imagen de fondo del espacio de color RGB para expresar el vaso en color verde.
De acuerdo con el procesamiento de conversión por resaltado de región antes mencionado y el procesamiento de conversión por coloración fluorescente de región, el primer medio de extracción 101f-1 de la unidad de procesamiento 101 extrae el candidato para la región seleccionada, basándose en el componente de brillo, y el segundo medio de extracción 101f- 2 de la unidad de procesamiento 101 extrae la probabilidad de la región seleccionada basándose en el espacio de color compuesto por el componente de brillo y el componente de información de color. La unidad de procesamiento 101 también muestra el resultado extraído en el dispositivo de visualización 120. Por estas razones, el médico puede verificar visualmente la pantalla en la que se resalta la región seleccionada como objeto a diagnosticar, lo que hace que el médico realice un diagnóstico fácil y correcto. Como resultado, se mejora la precisión del diagnóstico.
Adicionalmente, el primer medio de extracción 101f-1 de la unidad de procesamiento 101 extrae el vaso candidato utilizando el procesamiento de morfología (es decir, el procesamiento bottom-hat) y el segundo medio de extracción 101f-2 de la unidad de procesamiento 101 calcula la probabilidad del vaso. A medida que la unidad de procesamiento 101 extrae el área del vaso basándose en la probabilidad A y el vaso candidato, se puede reproducir un cambio claro de forma, patrón, etc. del vaso.
Adicionalmente, el medio de generación 101e de la unidad de procesamiento 101 combina el resultado extraído de la región con la imagen de fondo para generar la imagen reconstruida, que se muestra en el dispositivo de visualización 120. A este respecto, el médico recibe la imagen capturada o la imagen en escala de grises de la imagen capturada, pudiendo modificar dinámicamente el tipo de presentación de acuerdo con el propósito específico del diagnóstico, permitiendo que el médico haga un diagnóstico fácil y correcto. Como resultado, se mejora aún más la precisión del diagnóstico.
Si bien en la presente realización el aparato de diagnóstico 100 está dotado de una configuración autónoma, puede estar dotado de un tipo de red que use un servidor como sitio de diagnóstico. La FIG. 11 representa una configuración ejemplar de tal sistema de diagnóstico.
Con referencia a la FIG. 11, un sistema tiene un servidor de diagnóstico 200, que es operado y administrado por un sitio de diagnóstico, y un terminal de PC 300 en el lado del usuario (por ejemplo, un hospital o clínica), conectado a través de una red 400, tal como una red de protocolo de Internet (IP), al servidor de diagnóstico 200. El terminal de PC 300 carga una imagen capturada de un área afectada, que es capturada por un dispositivo de captura de imágenes equipado con dermatoscopio (no mostrado), y transmite una solicitud de diagnóstico. Después de recibir la solicitud de diagnóstico, el servidor de diagnóstico 200 realiza un servicio de diagnóstico reconociendo un patrón de la imagen capturada para clasificar el patrón de la imagen capturada en Tipo I, II o III; realizando un procesamiento de conversión de imagen, tal como la conversión por clarificación de estructura, la conversión por resaltado de vaso y la conversión por coloración fluorescente de vaso, de acuerdo con la clasificación (es decir, Tipo I, II, III); y transmitiendo una imagen así obtenida al terminal de PC 300, después de haber realizado la solicitud de diagnóstico a través de la red 400, según se describió anteriormente en relación con el aparato de diagnóstico 100. En este caso, el usuario o el lado del usuario puede obtener automáticamente una imagen convertida, que coincide con un análisis de imagen y la clasificación del síntoma, con menos recursos.
Aunque en la realización la clasificación se realiza en función de la fase de progresión de la lesión, la clasificación se puede realizar en función del patrón de la lesión sospechosa de melanoma que se observe en la piel. Los patrones básicos de la lesión sospechosa de melanoma pueden incluir, en términos de la construcción o configuración general, un patrón reticular, un patrón esférico pequeño, un patrón adoquinado, un patrón uniforme, un patrón paralelo, un patrón de araña, un patrón multiárea y un patrón no específico (véase la "Dermoscopy super easy guide", publicada por Ltd. Gakken Medical Shujunsha Co., Ltd. y cuyo autor es Masaru Tanaka).
Estos patrones se clasifican basándose en el estado de un nevo (es decir, un parche pigmentado). Más detalladamente, el patrón reticular, según se muestra en la FIG. 12A, es un patrón en el que la totalidad del parche pigmentado es similar a una red (es decir, una red pigmentada); el patrón esférico pequeño, según se muestra en la FIG. 12B, es un patrón en el que la totalidad del parche pigmentado se compone de glóbulos pigmentados de color negro, marrón o azul; el patrón adoquinado, según se muestra en la FIG. 12c , es un patrón en el que los glóbulos pigmentados, colocados próximos y en ángulo entre sí, se acumulan para formar un parche pigmentado en su totalidad; el patrón regular, según se muestra en la FIG. 12D, es un patrón en el que sustancialmente no existe una estructura y con una distribución de color menos sistemática; el patrón paralelo, según se muestra en la FIG. 12E, es un patrón en el que se observa una distribución lineal y paralela a lo largo de la forma de la piel en eritemas de palmas y plantas; el patrón de estrella, según se muestra en la FIG. 12F, es un patrón en el que el parche pigmentado está rodeado circunferencialmente por estrías; el patrón multiárea, según se muestra en la FIG. 12G, es un patrón que está compuesto irregularmente por tres o más de los patrones mencionados anteriormente; y el patrón no específico, según se muestra en la FIG. 12H, es un patrón en el que no se observa ningún rasgo característico en la totalidad del parche pigmentado y que no pertenece a ninguno de los patrones descritos anteriormente.
El procesamiento de conversión de imagen se puede realizar sobre la imagen capturada de acuerdo con el patrón observado. Sin embargo, con respecto al patrón reticular, con el fin de resaltar la forma reticular o de rejilla dentro de la lesión, se puede realizar una conversión para clarificar el patrón o intervalo reticular; con respecto al patrón esférico pequeño, con el fin de resaltar la pequeña esfera (es decir, un punto) dentro de la lesión y clarificar la diferencia de disposición y tamaño entre las pequeñas esferas, se puede realizar una conversión que, debido a las imágenes de alta sensibilidad capaces de suprimir el cambio de color, puede clarificar incluso una pequeña esfera con un color tenue; con respecto al patrón paralelo, se puede realizar una conversión que resalte los patrones lineales ubicados en paralelo dentro de la lesión; y con respecto al patrón de estrella, para resaltar el contorno de la lesión y clarificar la forma ciliar que se extiende desde el exterior del mismo, puede realizarse una conversión basada en el resaltado de bordes y resaltado de contorno, respectivamente.
[Efecto de la realización]
Según se describió anteriormente, de acuerdo con el aparato de diagnóstico 100 de la realización de la invención, el medio de clasificación 101a de la unidad de procesamiento 101 clasifica la imagen capturada del área afectada a diagnosticar basándose en la fase de progresión o el patrón de la lesión, y se realiza el procesamiento de conversión de imagen correspondiente a la clasificación así obtenida. Por ejemplo, si la fase de progresión se clasifica como fase baja, se realiza el procesamiento de conversión por clarificación de la estructura; si la fase de progresión se clasifica como fase intermedia, se realiza el procesamiento de conversión por resaltado de la región; y si la fase de progresión se clasifica como fase alta, se realiza el procesamiento de conversión por coloración fluorescente de la región. Así pues, se puede obtener una imagen procesada apropiada u óptima dependiendo de la fase de progresión o del tipo de lesión, por lo que el médico puede hacer un diagnóstico fácilmente y se mejora la precisión del diagnóstico. Adicionalmente, el usuario o el lado del usuario se benefician de la configuración del sistema de diagnóstico utilizando la red con menos recursos.
La presente invención estará limitada únicamente por las reivindicaciones adjuntas.
100 ... aparato de diagnóstico; 101 ... unidad de procesamiento; 101a ... medio de clasificación; 101b ... primer medio de separación; 101c ... segundo medio de separación; 101d ... medio de resaltado (101d-1 ... primer medio de resaltado; 101d-2 ... segundo medio de resaltado); 101e ... medio de generación; 101f ... medio de extracción (101f-1 ... primer medio de extracción; 101f-2 ... segundo medio de extracción); 110 ... dispositivo de captura de imágenes equipado con dermatoscopio; 120 ... dispositivo de visualización; 121 ... sección de visualización de imágenes capturadas; 122 ... sección de visualización de imágenes procesadas.

Claims (12)

REIVINDICACIONES
1. Un método para procesar una imagen en un aparato de diagnóstico para diagnosticar una lesión usando una imagen capturada de un área afectada a diagnosticar, que comprende las etapas de:
(i) clasificar la imagen capturada, basándose en la fase de progresión de la lesión, en al menos dos clasificaciones que comprenden una fase de progresión baja y una fase de progresión alta, donde la fase de progresión baja está caracterizada por que el área afectada está compuesta sustancialmente por color negro o marrón y la fase de progresión alta está caracterizada por que el área afectada está compuesta totalmente por vasos rojizos; y
(ii) realizar un proceso de conversión de imagen sobre la imagen capturada, para generar una imagen convertida, realizando selectivamente sobre la imagen capturada, basándose en la clasificación obtenida en la etapa de clasificación, ya sea un primer proceso de conversión de imagen, correspondiente a la clasificación de fase de progresión baja, o un segundo proceso de conversión de imagen, correspondiente a la clasificación de fase de progresión alta;
donde el primer proceso de conversión de imagen es un proceso de conversión por clarificación de estructura y el segundo proceso de conversión de imagen es una conversión por coloración fluorescente de región; y
donde el primer proceso de conversión de imagen comprende:
una primera etapa de separación para separar la imagen capturada en un componente de brillo y un componente de información de color;
una segunda etapa de separación para separar el componente de brillo en un componente de base y un componente de detalle;
una etapa de resaltado para realizar un procesamiento de resaltado en el componente de base; y
una etapa de generación para restaurar el brillo basándose en un componente de base procesado por resaltado y el componente de detalle, y usando el componente de información de color para generar una imagen resaltada, donde la etapa de resaltado comprende al menos una de una primera etapa de resaltado, que comprime el componente de base de una manera más brillante que un valor central, y una segunda etapa de resaltado que realiza un procesamiento de filtro de nitidez sobre el componente de base,
donde, en la etapa de generación, el componente de base procesado por resaltado se agrega al componente de detalle para restaurar el brillo, y se realiza una conversión a un segundo espacio de color basándose en el brillo restaurado y el componente de información de color correspondiente a la dirección de un color basado en rojo y a la dirección de un color basado en azul en un primer espacio de color para generar la imagen resaltada.
2. El método de acuerdo con la reivindicación 1, donde la imagen capturada se memoriza basándose en la clasificación, y donde la imagen capturada se clasifica basándose en la fase de progresión de la lesión con referencia a la imagen capturada memorizada.
3. El método de acuerdo con la reivindicación 1, donde en la etapa (i), la imagen capturada en la que el área afectada está compuesta sustancialmente por color negro o marrón pertenece a la clasificación de fase de progresión baja.
4. El método de acuerdo con la reivindicación 1 o 2, donde las al menos dos clasificaciones incluyen adicionalmente una tercera clasificación correspondiente a una fase de progresión intermedia, y que realiza, basándose en la clasificación, un tercer proceso de conversión de imagen que es un proceso de conversión por resaltado de región, donde la etapa (ii) comprende adicionalmente realizar una etapa para extraer manchas en forma de vasos de la imagen capturada como procesamiento de conversión de imagen correspondiente a la clasificación de fase de progresión intermedia, y donde la fase de progresión intermedia está caracterizada por que el área afectada tiene forma de lunar y está parcialmente compuesta por vasos.
5. El método de acuerdo con la reivindicación 4, donde en la etapa (i), la imagen capturada en la que el área afectada está parcialmente compuesta por vasos pertenece a la clasificación de fase de progresión intermedia.
6. El método de acuerdo con la reivindicación 4 o 5, donde el tercer proceso de conversión de imagen comprende:
una primera etapa de separación para separar la imagen capturada en un componente de brillo y un componente de información de color; y
una etapa de extracción para extraer una región a diagnosticar,
donde la etapa de extracción comprende al menos una de una primera etapa de extracción, para extraer un candidato para la región basándose en el componente de brillo, y una segunda etapa de extracción, para extraer una probabilidad de la región basándose en un espacio de color compuesto por el componente de brillo y el componente de información de color.
7. El método de acuerdo con la reivindicación 6, donde en la segunda etapa de extracción, la probabilidad de la región se extrae utilizando el componente de información de color correspondiente a la dirección de un color basado en rojo en un espacio de color.
8. El método de acuerdo con cualquiera de las reivindicaciones 1 a 7, donde en la etapa (i), la imagen capturada en la que el área afectada está totalmente compuesta de vasos rojizos pertenece a la clasificación de fase de progresión alta.
9. El método de acuerdo con cualquiera de las reivindicaciones 1 a 8, donde el segundo proceso de conversión de imagen comprende:
una primera etapa de separación para separar la imagen capturada en un componente de brillo y un componente de información de color; y
una etapa de extracción para extraer una región a diagnosticar, donde la etapa de extracción comprende al menos una de una primera etapa de extracción, para extraer un candidato para la región basándose en el componente de brillo para realizar un proceso bottom-hat (sombrero de copa de negros) sobre el candidato para la región extraída, y una segunda etapa de extracción para extraer una probabilidad de la región basándose en un espacio de color compuesto por el componente de brillo y el componente de información de color.
10. El método de acuerdo con la reivindicación 9, donde en la segunda etapa de extracción, la probabilidad de la región se extrae utilizando el componente de información de color correspondiente a la dirección de un color basado en verde en el espacio de color.
11. Un aparato de diagnóstico para diagnosticar una lesión utilizando una imagen capturada de un área afectada a diagnosticar, que comprende:
una unidad de memorización de imágenes configurada para memorizar la imagen capturada; y
una unidad de procesamiento configurada para procesar la imagen capturada memorizada en la unidad de memoria de imágenes, ejecutando todas las etapas de un método de acuerdo con cualquiera de las reivindicaciones 1 a 10.
12. Un programa para procesar una imagen en un aparato de diagnóstico, para diagnosticar una lesión utilizando una imagen capturada de un área afectada a diagnosticar que, cuando es ejecutado en un ordenador, hace que el ordenador ejecute todas las etapas de un método de acuerdo con cualquiera de las reivindicaciones 1 a 10.
ES15202418T 2014-12-26 2015-12-23 Aparato de diagnóstico y método de procesamiento de imágenes en el mismo aparato Active ES2873073T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014263717A JP6361501B2 (ja) 2014-12-26 2014-12-26 診断装置

Publications (1)

Publication Number Publication Date
ES2873073T3 true ES2873073T3 (es) 2021-11-03

Family

ID=55070766

Family Applications (1)

Application Number Title Priority Date Filing Date
ES15202418T Active ES2873073T3 (es) 2014-12-26 2015-12-23 Aparato de diagnóstico y método de procesamiento de imágenes en el mismo aparato

Country Status (6)

Country Link
US (1) US9852503B2 (es)
EP (1) EP3038051B1 (es)
JP (1) JP6361501B2 (es)
AU (1) AU2015275262B2 (es)
CA (1) CA2915651C (es)
ES (1) ES2873073T3 (es)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6662246B2 (ja) * 2016-09-01 2020-03-11 カシオ計算機株式会社 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム
JP6361776B2 (ja) * 2016-09-02 2018-07-25 カシオ計算機株式会社 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム
US10425633B2 (en) * 2016-12-30 2019-09-24 Konica Minolta Laboratory U.S.A., Inc. Method and system for capturing images for wound assessment with moisture detection
US10423819B2 (en) * 2017-10-31 2019-09-24 Chung Yuan Christian University Method and apparatus for image processing and visualization for analyzing cell kinematics in cell culture

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08266480A (ja) * 1995-03-31 1996-10-15 Hitachi Medical Corp 医用画像処理装置
JP3947151B2 (ja) * 2003-10-14 2007-07-18 東芝医用システムエンジニアリング株式会社 マンモグラフィ装置
JP4437202B2 (ja) 2004-01-09 2010-03-24 学校法人慶應義塾 色素沈着部位の遠隔診療システム
CA2674854A1 (en) * 2007-01-05 2008-07-17 Myskin, Inc. System, device and method for dermal imaging
US8213695B2 (en) * 2007-03-07 2012-07-03 University Of Houston Device and software for screening the skin
JP2009211313A (ja) * 2008-03-03 2009-09-17 Fujitsu Ltd 画像処理装置、画像処理方法および画像処理プログラム
JP2008289923A (ja) * 2008-08-11 2008-12-04 Fujifilm Corp 画像表示方法および装置並びにプログラム
US8908936B2 (en) * 2009-10-14 2014-12-09 Carestream Health, Inc. Method for extracting a carious lesion area
KR101618298B1 (ko) * 2009-10-23 2016-05-09 삼성전자주식회사 고감도 영상 생성 장치 및 방법
US8571271B2 (en) * 2011-05-26 2013-10-29 Microsoft Corporation Dual-phase red eye correction
JP6021468B2 (ja) * 2012-06-26 2016-11-09 東芝メディカルシステムズ株式会社 医用画像表示装置
JP5465291B2 (ja) * 2012-08-28 2014-04-09 キヤノン株式会社 画像処理装置及び画像処理方法
US9881368B2 (en) * 2014-11-07 2018-01-30 Casio Computer Co., Ltd. Disease diagnostic apparatus, image processing method in the same apparatus, and medium storing program associated with the same method

Also Published As

Publication number Publication date
US9852503B2 (en) 2017-12-26
EP3038051B1 (en) 2021-04-14
AU2015275262B2 (en) 2020-10-08
CA2915651A1 (en) 2016-06-26
JP6361501B2 (ja) 2018-07-25
EP3038051A2 (en) 2016-06-29
CA2915651C (en) 2021-09-21
AU2015275262A1 (en) 2016-07-14
JP2016123420A (ja) 2016-07-11
US20160189377A1 (en) 2016-06-30
EP3038051A3 (en) 2016-09-21

Similar Documents

Publication Publication Date Title
Celebi et al. Dermoscopy image analysis: overview and future directions
Zhang et al. Detection of microaneurysms using multi-scale correlation coefficients
Okur et al. A survey on automated melanoma detection
ES2873073T3 (es) Aparato de diagnóstico y método de procesamiento de imágenes en el mismo aparato
Karargyris et al. DERMA/care: An advanced image-processing mobile application for monitoring skin cancer
CN102314604B (zh) 图像处理装置和图像处理方法
JP4218347B2 (ja) 画像診断支援装置
JP2005192944A (ja) 色素沈着部位の遠隔診療システム
Tang et al. Splat feature classification: Detection of the presence of large retinal hemorrhages
JP6580446B2 (ja) 画像処理装置及び画像処理方法
Firmansyah et al. Detection melanoma cancer using ABCD rule based on mobile device
Bareiro Paniagua et al. Computerized Medical Diagnosis of Melanocytic Lesions based on the ABCD approach
ES2669606T3 (es) Aparato de diagnóstico y procedimiento de procesamiento de imágenes en el mismo aparato
KR102208087B1 (ko) 피부 질환 자동 분류 장치 및 피부 질환 자동 분류 방법
Figueiredo et al. Unsupervised segmentation of colonic polyps in narrow-band imaging data based on manifold representation of images and Wasserstein distance
Cao et al. Deep learning based lesion detection for mammograms
Razazzadeh et al. A high performance algorithm to diagnosis of skin lesions deterioration in dermatoscopic images using new feature extraction
JP6838549B2 (ja) 診断支援装置並びに画像処理方法及びそのプログラム
JP6503733B2 (ja) 診断支援装置並びに当該診断支援装置における画像処理方法及びそのプログラム
Gadermayr et al. Getting one step closer to fully automatized celiac disease diagnosis
Ciobanu et al. Steps towards computer-assisted classification of colonoscopy video frames
Mishra et al. Automatic separation of basal cell carcinoma from benign lesions in dermoscopy images with border thresholding techniques
Breneman Towards early-stage malignant melanoma detection using consumer mobile devices
Coimbra et al. Segmentation for classification of gastroenterology images
US11210848B1 (en) Machine learning model for analysis of 2D images depicting a 3D object