ES2918751T3 - Aparato de apoyo al diagnóstico y método de procesamiento de imágenes en el mismo aparato - Google Patents

Aparato de apoyo al diagnóstico y método de procesamiento de imágenes en el mismo aparato Download PDF

Info

Publication number
ES2918751T3
ES2918751T3 ES15202420T ES15202420T ES2918751T3 ES 2918751 T3 ES2918751 T3 ES 2918751T3 ES 15202420 T ES15202420 T ES 15202420T ES 15202420 T ES15202420 T ES 15202420T ES 2918751 T3 ES2918751 T3 ES 2918751T3
Authority
ES
Spain
Prior art keywords
image
processing
morphological
probability
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES15202420T
Other languages
English (en)
Inventor
Mitsuyasu Nakajima
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Application granted granted Critical
Publication of ES2918751T3 publication Critical patent/ES2918751T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

Primera extracción significa 101B-1 de una unidad de procesamiento 101, basado en un componente de brillo y un componente de información de color de una imagen capturada separada por separar medias 101a, extraer una región candidata utilizando un primer procesamiento de morfología basado en el componente de brillo y la segunda extracción significa 101b-2 de la unidad de procesamiento 101 extraer una probabilidad de una región desde un espacio de color compuesto por el componente de brillo y el componente de información de color y realizar un segundo procesamiento de morfología para generar una imagen extraída de la región, que se muestra en el dispositivo de visualización 120. En este caso, el procesamiento de la morfología, incluido el procesamiento del filtro de suavizado, se realiza en una región candidata extraída y una probabilidad extraída de la región. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Aparato de apoyo al diagnóstico y método de procesamiento de imágenes en el mismo aparato
La presente invención se refiere a un aparato de apoyo al diagnóstico y a un método de procesamiento de imágenes en el aparato de apoyo al diagnóstico.
En general, se realiza esencialmente una exploración visual para diagnosticar lesiones cutáneas, obteniendo así una cantidad de información. Sin embargo, no solo diferenciar entre un lunar y una mancha, sino también diferenciar un tumor benigno de un tumor maligno es sustancialmente complicado con una exploración a simple vista e incluso con una lupa. Por estas razones, convencionalmente se realiza una exploración dermatoscópica en la que se utiliza una cámara equipada con un dermatoscopio para capturar una imagen de una enfermedad.
El dermatoscopio es un dispositivo de diagnóstico no invasivo en el que se amplía (normalmente x10) y se observa una enfermedad a la que se irradia luz, por ejemplo, con una lámpara halógena, y que se ve sin problemas gracias a la luz reflectante producida por el gel de ecografía o un filtro de polarización. Un diagnóstico dermatoscópico se puede definir como la exploración de enfermedades de la piel con el dermatoscopio. Para más detalles, consúltese la URL de Internet (http://www.twmu.ac.jp/DNH/department/dermatology/dermoscopy.html) (visitada el 1 de septiembre de 2014). De acuerdo con el diagnóstico dermatoscópico, se elimina la reflexión difusa que se produce debido a una cutícula, haciendo así cada vez más visible la distribución de la pigmentación desde la epidermis hasta una capa intradérmica superficial.
Por ejemplo, la Literatura de patente 1 (publicación de patente japonesa n.° 2005-192944 (A)) divulga las tecnologías de un aparato de diagnóstico a distancia para diagnosticar una enfermedad de la piel pigmentada empleando un valor, tal como un color, una textura, una asimetría y una circularidad a partir de una imagen de piel captada por el dermatoscopio. De acuerdo con la Literatura de patente 1, se utiliza un teléfono móvil provisto de una cámara equipada con dermatoscopio y el dermatoscopio captura una imagen de una piel que tiene una enfermedad como el nevo pigmentoso benigno, etc. y que tiene riesgo de melanoma. El teléfono móvil está conectado a Internet debido a su función de conexión a la red, y la imagen de la piel capturada se transmite a través de Internet al aparato de diagnóstico a distancia para solicitar un diagnóstico. Al recibir la imagen de la piel en función de la solicitud, el aparato de diagnóstico remoto utiliza un programa de diagnóstico de melanoma para determinar si, basándose en la imagen de la piel, la enfermedad es un melanoma o no, o en caso de que la enfermedad sea melanoma, en qué etapa está el melanoma. La determinación como resultado se transmite a un médico que haya solicitado el diagnóstico. Así mismo, se divulgan ejemplos de métodos de procesamiento de imágenes morfológicas en las Publicaciones de patente 2 y 3 y en las Publicaciones de no patente 1 a 3.
Si bien el diagnóstico basado en la imagen dermatoscópica antes mencionada se ha convertido en uno de los más utilizados en el campo de las enfermedades cutáneas, a menudo es difícil apreciar un cambio evidente de forma o patrón. Además, la observación de la imagen y la determinación de una lesión dependen realmente de la habilidad del médico o facultativo. Si bien se puede tener en cuenta un algoritmo para realizar un procesamiento morfológico Top-Hat para extraer claramente un vaso lineal o un vaso punteado, cuando se aplica en un vaso con un gradiente de imagen irregular, genera un patrón falso, como un muaré, deteriorando así la precisión del diagnóstico.
[Literatura de patentes]
[Literatura de patente 1] Publicación de patente japonesa n.° 2005-192944 (A)
[Literatura de patente 2] Documento US 2012/195481 A1
[Literatura de patente 3] Documento US 2007/002275 A1
[Literatura de no patentes]
[Literatura de no patente 1] MENDIOLA-SANTIBAÑEZ JORGE D. ETAL., "Filtering of mixed Gaussian and impulsive noise using morphological contrast detectors", IET IMAGE PROCESSING, IET, Reino Unido, (20140301), vol. 8, n.°3, DOI: 10.1049/IET-IPR.2012.0615, ISSN: 1751-9659, páginas 131-141
[Literatura de no patente 2] SALEMBIER ET AL., "Morphological multiscale segmentation for image coding1', SIGNAL PROCESSING, ELSEVIER SCIENCE PUBLISHERS B.V. AMSTERDAM, Países Bajos, vol. 38, n.° 3, DOI: 10.1016/0165-1684 (94)90155-4, ISSN: 0165-1684, (19940801), páginas 359-386
[Literatura de no patente 3] ANNIE EDEL QUINN E. ET AL., "Retinal blood vessel segmentation using curvelet transform and morphological reconstruction", EMERGING TRENDS IN COMPUTING, COMMUNICATION AND NANOTECHNOLOGY (ICE-CCN), 2013 INTERNATIONAL CONFERENCE ON, IEEE, (20130325), DOI:10.1109/ICE-CCN.2013.6528564, ISBN: 978-1-4673-5037-2, páginas 570-575
La invención se proporciona para resolver los inconvenientes y problemas mencionados anteriormente. El objetivo de la invención es proporcionar un aparato de apoyo al diagnóstico, un método de procesamiento de imágenes en el mismo aparato, y un programa asociado al mismo método, mediante el cual se disminuye un patrón falso y se mejora la precisión diagnóstica.
Esto se consigue mediante las características de las reivindicaciones independientes.
El aparato inventivo de apoyo al diagnóstico, el método de procesamiento de imágenes inventivo en el mismo aparato y el medio inventivo que almacena un programa asociado al mismo método pueden hacer que un médico saque fácilmente un diagnóstico y mejore la precisión del diagnóstico.
La figura 1 es un diagrama de bloques que muestra una configuración de una primera realización de un aparato de apoyo al diagnóstico de acuerdo con la invención.
La figura 2 es un diagrama de flujo que ilustra una operación de procesamiento básica de la primera realización del aparato de diagnóstico de acuerdo con la invención.
La figura 3 es un diagrama de flujo que ilustra un procesamiento de extracción de vaso E ilustrativo de la figura 2. La figura 4 es un diagrama de flujo que ilustra un procesamiento ilustrativo para obtener una imagen candidata de un vaso a partir de una imagen de brillo de la figura 3
La figura 5 es un diagrama de flujo que ilustra una operación de procesamiento ilustrativa en la que se extrae una probabilidad de vaso como la probabilidad A, tal y como se define en la figura 3.
La figura 6 es un diagrama de flujo que ilustra otra operación de procesamiento ilustrativa en la que se extrae una probabilidad de vaso como una probabilidad A, tal y como se define en la figura 3.
La figura 7 es un diagrama de flujo que ilustra otro procesamiento de extracción de vaso E ilustrativo de la figura 2. La figura 8 es un diagrama de flujo que ilustra una operación de procesamiento para realizar la extracción de vaso E en función de la probabilidad de vaso de la figura 7.
La figura 9 muestra una configuración de pantalla de visualización ilustrativa de la primera realización del aparato de apoyo al diagnóstico de acuerdo con la invención.
La figura 10 es un diagrama de flujo que ilustra una operación de procesamiento básica de una segunda realización del aparato de diagnóstico de acuerdo con la presente invención.
La figura 11 es un diagrama de flujo que ilustra un procesamiento ilustrativo para obtener una imagen de un vaso candidato a partir de una imagen de brillo de acuerdo con la segunda realización de la invención.
La figura 12 muestra una configuración de pantalla de visualización ilustrativa de la segunda realización del aparato de apoyo al diagnóstico de acuerdo con la invención.
La figura 13 es un diagrama de flujo que ilustra una operación de procesamiento básica de una tercera realización del aparato de diagnóstico de acuerdo con la presente invención.
La figura 14 es un diagrama de flujo que ilustra un procesamiento ilustrativo para obtener una imagen de vaso candidato a partir de una imagen de brillo de acuerdo con la tercera realización de la invención.
La figura 15 es un diagrama de flujo que ilustra un procesamiento ilustrativo para aclarar la imagen de brillo de la figura 14 y obtener una imagen HDR.
Con referencia a los dibujos adjuntos, a continuación se describirá en detalle una realización de la invención. Además, los mismos números de referencia se asignan a los mismos elementos o partes a lo largo de toda la memoria descriptiva.
[Primera realización]
[Configuración de la primera realización]
La figura 1 es un diagrama de bloques que muestra una configuración de un aparato de apoyo al diagnóstico 100, una primera realización del aparato de apoyo al diagnóstico de acuerdo con la invención. Haciendo referencia a la figura 1, un dispositivo de captura de imágenes 110 equipado con un dermatoscopio, que puede denominarse en lo sucesivo "dispositivo de captura de imágenes 110" o "dispositivo de captura de imágenes equipado con dermatoscopio 110" a lo largo de toda la memoria descriptiva, está conectado al aparato de apoyo al diagnóstico 100. El dispositivo de captura de imágenes equipado con dermatoscopio 110 está configurado para capturar una imagen (es decir, una imagen dermatoscópica o una imagen original) de un área afectada de acuerdo con una instrucción del aparato de apoyo al diagnóstico 100 (en concreto, una unidad de procesamiento 101), memorizar la imagen capturada en una unidad de memorización de imágenes 102 y presentar la imagen capturada en un área predeterminada de un dispositivo de visualización 120. Además, la unidad de procesamiento 101 resalta la imagen capturada y luego la unidad de memorización de imágenes 102 la memoriza y se presenta en el área predeterminada del dispositivo de visualización 120. Un dispositivo de entrada 130 está configurado para realizar la orden de comenzar a capturar una imagen, tal como una imagen dermatoscópica, y la selección de una región en la imagen dermatoscópica, que se describirá más adelante.
El dispositivo de visualización 120 puede ser un monitor LCD (pantalla de cristal líquido) y el dispositivo de entrada 130 puede ser un ratón.
La unidad de procesamiento 101 está configurada para procesar la imagen capturada tal como se memoriza en la unidad de memorización de imágenes 102 y tiene unos medios de separación 101a y unos medios de extracción 101b. La unidad de procesamiento 101 puede tener, además, unos medios de aclarado 101c y, más adelante, se describe como una tercera realización una realización en la que la unidad de procesamiento 101 está provista de unos medios de aclarado 101c.
Los medios de separación 101a funcionan como un medio para dividir la imagen capturada en una componente de brillo y una componente de información de color.
Los medios de extracción 101b funcionan como un medio de extracción de una región que deba ser diagnosticada, y tiene al menos uno de unos primeros medios de extracción 101b-1 para extraer una región candidata en función de la componente de brillo y de unos segundos medios de extracción 101b-2 para extraer una probabilidad de región en función de un espacio de color compuesto por la componente de brillo y la componente de información de color. Los medios de extracción 101b realizan un procesamiento morfológico que incluye un procesamiento con filtro de suavizado en la región candidata o la probabilidad de región recién extraída.
En el caso de que los medios de extracción 101b extraigan una forma que indique la región candidata o la probabilidad de región a partir de elementos estructurales en la imagen capturada, los primeros medios de extracción 101b-1 pueden realizar un primer procesamiento morfológico usando la componente de brillo para extraer la región candidata, y los segundos medios de extracción 101b-2 pueden extraer la probabilidad de región usando el espacio de color. Los medios de extracción 101b pueden combinar una región candidata extraída con una probabilidad extraída de la región para generar una imagen extraída.
En el caso de que los medios de extracción 101b extraigan una forma que indique la región candidata o la probabilidad de región a partir de elementos estructurales en la imagen capturada, los segundos medios de extracción 102b-2 pueden extraer la probabilidad de la región utilizando el espacio de color, y los medios de extracción 101b pueden realizar un segundo procesamiento morfológico utilizando una probabilidad extraída de la región para generar una imagen extraída de la región.
En este sentido, el primer procesamiento morfológico incluye un cierre donde se realizan repetidamente, en este orden, una dilatación y una erosión en la componente de brillo extraída, un procesamiento con filtro de suavizado que se realiza en la componente de brillo procesada con cierre y un procesamiento de sustracción en el que se resta la componente de brillo de la imagen capturada de la componente de brillo procesada con filtro de suavizado. El segundo procesamiento morfológico incluye una apertura donde se realizan repetidamente, en este orden, la erosión y dilatación en la probabilidad extraída de la región, un procesamiento con filtro de suavizado que se realiza en la probabilidad procesada con apertura de la región y un procesamiento de sustracción para restar la probabilidad procesada con filtro de suavizado de la región de la probabilidad extraída de la región. Además, la imagen que se obtiene como resultado del cierre se define como "imagen A"; la unidad de procesamiento con la que se prepara la imagen A se define como "primer módulo de procesamiento"; la imagen que se obtiene como resultado de la apertura se define como "imagen B"; y la unidad de procesamiento mediante la cual se prepara la imagen B se define como "segundo módulo de procesamiento".
Cada uno de los medios de separación 101a y los medios de extracción 101b (es decir, los primeros medios de extracción 101b-1 y los segundos medios de extracción 101b-2), como se describió anteriormente, pueden ejecutar la función original mencionada anteriormente haciendo que la unidad de procesamiento 101 lea secuencialmente un programa de acuerdo con la primera realización de la invención, que tiene la unidad de procesamiento 101.
[Operación de la primera realización]
La operación (es decir, método de procesamiento de imágenes) del aparato de apoyo al diagnóstico 100 de acuerdo con la primera realización mostrada en la figura 1 se describe en detalle con referencia a la figura 2 y más adelante. La operación del aparato de apoyo al diagnóstico 100 descrita a continuación se puede realizar haciendo que un ordenador ejecute cada función correspondiente. La misma lógica se aplicará en una segunda realización y en una tercera realización que se describirán más adelante.
La figura 2 representa el flujo de la operación de procesamiento básico del aparato de apoyo al diagnóstico 100 de acuerdo con la primera realización de la invención. Haciendo referencia a la figura 2, la unidad de procesamiento 101 adquiere primero una imagen de un área afectada (es decir, una lesión cutánea) que es capturada por el dispositivo de captura de imágenes equipado con dermatoscopio 110 (etapa S11). Después, la imagen capturada recién adquirida se memoriza en el área predeterminada de la unidad de memorización de imágenes 102 y se presenta en el dispositivo de visualización 120 (etapa S12). Posteriormente, la unidad de procesamiento 101 realiza el procesamiento de extracción de vaso E en la imagen capturada (etapa S13), realiza el procesamiento de resalte en el vaso extraído y presenta la imagen procesada y la imagen capturada como se presentaron previamente en paralelo en el dispositivo de visualización 120. Se deja que un médico realice el diagnóstico (etapa S14).
En la figura 9 se muestra una imagen ilustrativa de una pantalla de visualización presentada en el dispositivo de visualización 120. En la pantalla de la figura 9, al lado izquierdo se dispone una sección de visualización de imágenes capturadas 121 en la que se presenta la imagen capturada y al lado derecho se dispone una sección de visualización de imágenes resaltadas 122 en la que se muestra la imagen resaltada del vaso. Por ejemplo, después de que el médico haga clic con el dispositivo de entrada 130 en el botón de "comenzar a capturar imagen" 123, que se encuentra en la parte inferior derecha de la pantalla del dispositivo de visualización 120, el dispositivo de captura de imágenes equipado con dermatoscopio 110 comienza a capturar la Imagen del área afectada. Debido al procesamiento de extracción de vaso realizado por la unidad de procesamiento 101, la imagen capturada y la imagen resaltada del vaso extraída de la imagen capturada se presentan respectivamente en las secciones 121 y 122 dispuestas en paralelo.
Los detalles del procesamiento de extracción E de vaso definidos en la etapa S13 de la figura 2 se muestran en la figura 3. Haciendo referencia a la figura 3, en primer lugar, los medios de separación 101a de la unidad de procesamiento 101 pasan la imagen capturada del espacio de color RGB al espacio de color Lab (espacio de color CIE 1976 L*a*b*) (etapa S131a). Los detalles del espacio de color Lab se describen, por ejemplo, en la URL de Internet (http://Ja.wikipedia.org/wiki/Lab%E8 %89 %b2 %E7 %A9 %BA%E9 %96 %93) (visitada el 1 de septiembre de 2014). En lo sucesivo, L, a y b de ejes de coordenadas en el espacio de color Lab se escriben en negrita cursiva. A continuación, los medios de extracción 101b de la unidad de procesamiento 101 extraen la región seleccionada como el objeto que debe diagnosticarse. Específicamente, los primeros medios de extracción 101b-1 extraen el candidato para la región seleccionada (es decir, un vaso candidato) de la componente de brillo dividida en el espacio de color Lab. Para tal fin, los primeros medios de extracción 101b-1 realizan el procesamiento morfológico A (es decir, el primer procesamiento morfológico) en una imagen L correspondiente al brillo en el espacio de color Lab que se obtiene como resultado de la conversión de espacio de color que se realiza con los medios de separación 101a para generar una imagen de vaso candidato BH (etapa S132a). En este sentido, ya que el procesamiento morfológico se realiza aplicando un elemento o elementos estructurales en una imagen de entrada para generar la imagen de vaso candidato BH como una imagen de salida que tiene el mismo tamaño que la imagen de entrada, cada valor de la imagen de salida se basa en la comparación entre el píxel correspondiente y los píxeles vecinos de la imagen de entrada.
La mayor parte del procesamiento morfológico básico está representada por la dilatación y erosión. La dilatación se realiza añadiendo un píxel al límite del objeto dentro de la imagen de entrada y la erosión se realiza eliminando un píxel del límite del objeto. El número de píxeles añadidos o eliminados del objeto depende del tamaño y la forma del elemento estructural utilizado en el procesamiento de la imagen.
En este caso, se describirá el proceso de cómo se realiza el procesamiento morfológico A y cómo se extrae de la componente de brillo la región seleccionada como el objeto que debe diagnosticarse (es decir, el vaso candidato). El procedimiento detallado del procesamiento Bottom-Hat se ilustra en la figura 4.
Haciendo referencia a la figura 4, los primeros medios de extracción 101b-1 realizan la dilatación sobre la imagen L para obtener una imagen de brillo procesada L1 (etapa S132-1). Los detalles de la dilatación se describen, por ejemplo, en la URL de Internet (http://www.mathworks.co.jp/jp/help/images/morphology-fundamentals-dilation-anderosion.html) (visitada el 1 de septiembre de 2014)
A continuación, los primeros medios de extracción 101b-1 realizan la erosión en la imagen de brillo procesada por dilatación L1 para obtener una imagen de brillo procesada por erosión L2 (etapa S132a-2). Posteriormente, los primeros medios de extracción 101b-1 realizan un procesamiento con filtro de suavizado en la imagen de brillo procesada por erosión L2 para obtener una imagen de brillo suavizado L3 en la que se suaviza el brillo (etapa S132a-3). En este procesamiento con filtro de suavizado se utiliza filtro gaussiano.
El suavizado con el filtro gaussiano se representa mediante la siguiente ecuación aritmética:
f (x, y) = (1 / (2 n aA2)) exp ( -(xA2 yA2) / (2 aA2))
En el filtro gaussiano, la ponderación debida a la distribución gaussiana se utiliza como ruta predeterminada. El nivel de suavizado se puede controlar mediante el tamaño de a en la ecuación aritmética anterior y se puede conseguir estableciendo el valor predeterminado. Además, el filtro de suavizado no se limita al filtro gaussiano y pueden usarse otros filtros, tales como un filtro de la mediana y un filtro de la media. La imagen procesada Bottom-Hat BH se obtiene restando la imagen L de la imagen de brillo suavizado L3 (BH - L3 - L) (etapa S132a-4),
El procesamiento mencionado anteriormente se repite en ciertos momentos predeterminados. Cuando ya se hayan repetido los momentos predeterminados, la imagen BH así obtenida es una imagen extraída del vaso E. Si el número de veces no alcanza los tiempos predeterminados, el procesamiento, tal como la dilatación (etapa S132a-1) y la erosión (etapa S132a-2) se realiza repetidamente en la imagen BH como la imagen L.
A continuación se explica la dilatación con más detalle. Por ejemplo, se tiene en cuenta el elemento estructural que tiene un diámetro de cinco puntos. La dilatación significa que el procesamiento en el que un valor máximo de un píxel de aviso dentro del rango del elemento o elementos estructurales se convierte en un valor del píxel de aviso que se realiza en todos los píxeles. Dicho de otra forma, un valor de salida del píxel de aviso corresponde al valor máximo de todos los píxeles vecinos al píxel de entrada. Por otro lado, la erosión significa el procesamiento en el que un valor mínimo de un píxel de aviso dentro del rango del elemento estructural se convierte en un valor del píxel de aviso. Dicho de otra forma, el valor del píxel de aviso corresponde al valor mínimo de todos los píxeles vecinos al píxel de entrada. Aunque en esta realización el elemento estructural es circular, puede ser rectangular. Sin embargo, el elemento estructural circular puede disminuir el grado de suavizado del filtro de suavizado.
Volviendo a la figura 3, los segundos medios de extracción 101b-2 de la unidad de procesamiento 101 extraen la probabilidad de la región seleccionada (es decir, la probabilidad de vaso) en función del espacio de color compuesto por la componente de brillo y la componente de información de color. Para tal fin, los segundos medios de extracción 101b-2 calculan la probabilidad de vaso como la probabilidad A (etapa S133a). La probabilidad A puede determinarse de acuerdo con, por ejemplo, el diagrama de flujo de la figura 5.
Haciendo referencia a la figura 5, los segundos medios de extracción 101b-2 de la unidad de procesamiento 101 realizan una extracción utilizando el valor de un eje a, que es la componente de información de color correspondiente a una dirección de color basada en rojo en el espacio de color y el valor de un eje b que es la componente de información de color correspondiente a una dirección de color basada en azul en el espacio de color. Dicho de otra forma, los segundos medios de extracción 101b-2 realizan la siguiente operación utilizando el valor del eje a y el valor del eje b del espacio de color Lab para generar LH1 (etapa S133b).
ad = (a - ca) * cos (r) b * sen (r) ca
bd = -(a - ca) * sen (r) b * cos (r)
LH1 = exp (-((ad * ad) / sa / sa (bd * bd) / sb / sb))
En la operación anterior, "ad" y "bd" se obtienen girando un plano ab hasta un nivel de r radián o radianes en sentido levógiro alrededor de (ca, 0). En este sentido, el valor de "r" puede estar dentro del rango de 0,3 radianes a 0,8 radianes. El valor de "ca" puede estar dentro del rango de 0 a 50. Los valores "sa" y "sb" son un recíproco de la sensibilidad en la dirección de eje a y un recíproco de la sensibilidad en la dirección del eje b, respectivamente. En esta realización, "sa" es mayor que "sb". Además, en la operación anterior, significa la multiplicación entre los elementos de una matriz.
A continuación, los segundos medios de extracción 101b-2 imponen una restricción en el LH1 resultante con el brillo L. Si el brillo L es un umbral TH1 o superior, LH1 (L = 0) se convierte en LH2 (etapa S133c). Si el brillo L es el umbral TH2 o inferior, el LH2 se convierte en LH3 (etapa S133d). El umbral TH1 es un valor en el rango de 60 a 100, y el umbral TH2 es un valor en el rango de 0 a 40. El LH3 así obtenido se convierte en la probabilidad A que indica la probabilidad de vaso (etapa S133e).
Volviendo a la figura 3, después de extraer la probabilidad de vaso como la probabilidad A de acuerdo con el procedimiento mencionado anteriormente (etapa S133a), los segundos medios de extracción 101b-2 multiplican la imagen procesada Bottom-Hat BH por cada elemento de la probabilidad A que indica la probabilidad del caso, y dividen el resultado por un coeficiente N (etapa S134a). Así mismo, la imagen resaltada y extraída del vaso E se genera recortando con 1 (etapa S135a).
De acuerdo con la realización, la imagen extraída del vaso E es una imagen multivaluada que tiene un valor en el rango de 0 a 1. Sin embargo, ya que la imagen E extraída del vaso se ha sometido al procesamiento Bottom-Hat, el límite del vaso extraído se vuelve pronunciado. Si se desea un límite más pronunciado, se puede realizar la binarización con un umbral deseado.
Como se ha descrito con anterioridad, los segundos medios de extracción 101b-2 calculan la probabilidad A que indica la probabilidad de vaso de la región seleccionada mediante el giro de las coordenadas del plano que se componen de la dirección de color basada en rojo y la dirección de color basada en azul del espacio de color en un nivel del ángulo predeterminado en sentido levógiro, alrededor de un punto predeterminado en el eje de la dirección de color basada en rojo, y poniendo una restricción en la componente de brillo con el rango predeterminado del valor. La región seleccionada se resalta multiplicando la imagen de brillo que se obtiene al realizar el procesamiento Bottom-Hat en la imagen de la componente de brillo por la probabilidad A calculada.
Una realización modificada en la que la probabilidad de vaso se extrae como la probabilidad A se describe con referencia al diagrama de flujo de la figura 6. Los medios de extracción adquieren el valor de un eje a que corresponde a una dirección de color basada en rojo en el espacio de color Lab (etapa S133x), y establecer el valor de la probabilidad de vaso (es decir, la probabilidad A) dentro del rango de 0 a 1 a través de la normalización (A^máx(mín(a, S), 0)/S) con el rango limitado de 0 a 80 (etapa S133z). En esta realización, el valor de la probabilidad A se somete a la limitación del valor de 0 a 80 aplicando, por ejemplo, el valor 80 en S (etapa S133y). Sin embargo, el valor anterior es solo un ejemplo no limitante.
A continuación, se describe un método para extraer directamente el vaso de la información de color con referencia al diagrama de flujo de las figuras 7 y 8. En la siguiente descripción, se genera una imagen de la probabilidad de vaso a partir de la información de color, y el vaso se extrae debido al procesamiento Bottom-Hat mejorado de la técnica que también se denomina "procesamiento morfológico B". Además, en la imagen de la probabilidad de vaso, mayor probabilidad significa mayor valor de la imagen.
En el procesamiento morfológico A, como se muestra en la figura 4, la dilatación se realiza en una imagen fuente, y luego se realiza la erosión de la imagen así obtenida. El procesamiento en el que la dilatación y la erosión se realizan repetidamente al mismo tiempo se denomina cierre. Dicho de otra forma, con el aparato de apoyo al diagnóstico 100 de acuerdo con la primera realización de la invención, el procesamiento del filtro de suavizado se realiza en la imagen procesada con cierre y la imagen así obtenida se resta de la imagen fuente (es decir, procesamiento Black-Hat). En este sentido, la imagen fuente es la imagen de brillo L y el valor de la imagen en el vaso se convierte en relativamente bajo. De este modo, cuando se pretende extraer una forma cuyo valor es bajo en la imagen, se utiliza el procesamiento morfológico A mostrado en la figura 4.
A continuación, se describe el procesamiento II de extracción de vaso E que utiliza la morfología B. Haciendo referencia a la figura 7, los medios de separación 101a de la unidad de procesamiento 101 primero convierten la imagen capturada del espacio de color RGB en el espacio de color Lab (etapa S131b). A continuación, los segundos medios de extracción 101b-2 de la unidad de procesamiento 101 extraen la probabilidad de la región seleccionada (es decir, la probabilidad de vaso) en función de la componente de información de color dividida en el espacio de color Lab. Para tal fin, los segundos medios de extracción 101b-2 calculan la probabilidad de vaso como la probabilidad A (etapa S132b). La probabilidad A se puede determinar como se describe anteriormente en relación con las figuras 5 y 6.
Posteriormente, los segundos medios de extracción 101-b adquieren la imagen extraída del vaso E de la imagen A que indica la probabilidad de vaso (es decir, la imagen A de la probabilidad de vaso) (etapa S133b). El procedimiento de adquisición de la imagen extraída del vaso E a partir de la imagen A de la probabilidad de vaso (es decir, la probabilidad de la imagen de vaso A) se muestra en la figura 8.
Haciendo referencia a la figura 8, los segundos medios de extracción 101b-2 hacen que el elemento o elementos estructurales adecuados realicen el procesamiento por erosión en la imagen A de la probabilidad de vaso para obtener la imagen procesada por erosión A1 de la probabilidad de vaso (etapa S133b-1). A continuación, la imagen procesada por erosión A1 de la probabilidad de vaso se somete a procesamiento por dilatación para obtener una imagen procesada por dilatación A2 de la probabilidad de vaso (etapa S133b-2). Los segundos medios de extracción 101b-2 realizan además el procesamiento del filtro de suavizado (es decir, EL filtrado gaussiano) sobre la imagen A2 de la probabilidad de vaso que se ha sometido al procesamiento de dilatación para obtener una imagen procesada con suavizado A3 de la probabilidad de vaso (etapa S133b-3). Por último, la imagen procesada con suavizado A3 de la probabilidad de vaso se resta de la imagen A de la probabilidad de vaso para obtener la imagen extraída del vaso E (etapa S133b-4).
Como se ha descrito con anterioridad, la erosión se realiza en la imagen fuente (es decir, la imagen A de la probabilidad de vaso) y luego se realiza la dilatación en la imagen así obtenida para obtener la imagen procesada por apertura. Los segundos medios de extracción 101b-2 realizan el procesamiento con filtro de suavizado en la imagen procesada con apertura y restan la imagen procesada con apertura de la imagen fuente (es decir, el procesamiento Top-Hat), extrayendo así la forma del vaso de la imagen fuente. En este sentido, como la imagen fuente es la imagen de probabilidad de vaso, el valor de la imagen que se parece al vaso se convierte en alto.
Volviendo a la figura 7, después de obtener la imagen extraída del vaso E de la imagen A de la probabilidad de vaso, los segundos medios de extracción 101b-2 multiplican la imagen extraída del vaso E por el coeficiente N adecuado (etapa S134b) y realizan el procesamiento de recorte con 1 para generar una imagen extraída del vaso E resaltada (etapa S135b).
Como se ha descrito con anterioridad, como el aparato de apoyo al diagnóstico 100 de acuerdo con la primera realización de la invención logra la forma a partir de las imágenes multivaluadas, en el caso de lograr una forma cuyo valor en la imagen sea alto, realiza un procesamiento con filtro de suavizado en la imagen procesada con cierre y resta la imagen fuente de la imagen así obtenida para obtener la imagen extraída del vaso E. Por otro lado, en el caso de obtener una forma cuyo valor en la imagen sea bajo, el aparato de apoyo al diagnóstico 100 de acuerdo con la primera realización de la invención realiza el procesamiento con filtro de suavizado en la imagen procesada con apertura y resta la imagen así obtenida de la imagen fuente para obtener la imagen extraída del vaso E. En este sentido, el procesamiento por apertura se define como un procesamiento en el que la erosión y la dilatación se realizan una o varias veces en este orden, y el procesamiento por cierre se define como un procesamiento en el que la dilatación y la erosión se realizan una o varias veces en este orden. Tanto en el procesamiento por apertura como en el procesamiento por apertura, la forma del elemento estructural utilizado es preferentemente circular. El filtro de suavizado que se puede emplear en la realización incluye, aunque no de forma limitante, un filtro gaussiano, un filtro de la media, un filtro de la mediana, etc.
El aparato de apoyo al diagnóstico 100 mencionado anteriormente se puede utilizar para adquirir la forma con el termoscopio. En este caso, la forma del vaso se extrae de la imagen de brillo y/o de la imagen de probabilidad de vaso, permitiendo así la adquisición segura de la forma sin que vaya acompañada de ningún patrón falso, como un muaré, incluso en el caso de la adquisición del vaso con cualquier forma irregular o una forma cuyo cambio de valor sea relativamente grande o alto. Por lo tanto, el aparato de apoyo al diagnóstico 100 puede ayudar a un médico a realizar un diagnóstico fácil y correcto.
[Segunda realización]
Mientras que la primera realización utiliza la imagen dermatoscópica de la lesión cutánea, la invención se puede aplicar en la imagen capturada de regiones distintas a la región cutánea. A continuación, se describirá la segunda realización en la que se utiliza la imagen capturada de un fondo de ojo.
Dado que el análisis por imagen de fondo de ojo se puede realizar convenientemente a un coste relativamente módico, se utiliza mucho en los diagnósticos de salud o revisiones médicas. El análisis por imagen de fondo de ojo se puede realizar mediante la observación del fondo de ojo ubicado detrás de la pupila a través de una lente mediante el uso de una cámara de fondo de ojo o un espejo de fondo de ojo, método que sirve para analizar un vaso sanguíneo, una retina y un nervio óptico del fundo de ojo de manera no invasiva. El análisis por imagen de fondo de ojo se utiliza para observar si existen enfermedades oculares como un desprendimiento de retina, una hemorragia del fondo de ojo y un glaucoma. Así mismo, dado que un vaso del fondo de ojo es la única porción del cuerpo humano en la que se puede observar directamente un vaso, se pueden hacer conjeturas, en función de la observación de estos vasos del fondo de ojo, sobre enfermedades de todo el cuerpo como la hipertensión, que es una de las enfermedades del sistema circulatorio sanguíneo, la arteriesclerosis y los tumores cerebrales. Por estas razones, el análisis por imagen del fondo de ojo es una herramienta eficaz para hallar enfermedades relacionadas con el estilo de vida.
Un aparato de apoyo al diagnóstico 100 de acuerdo con la segunda realización de la invención tiene la misma configuración que el aparato de apoyo al diagnóstico 100 de acuerdo con la primera realización de la invención, excepto por que el dispositivo de captura de imágenes 110 equipado con termoscopio se sustituye por una cámara de fondo de ojo 110.
La operación del aparato de ayuda al diagnóstico 100 de acuerdo con la segunda realización de la invención es básicamente similar al del aparato de ayuda al diagnóstico 100 de acuerdo con la primera realización de la invención, y la(s) diferencia(s) entre el aparato de ayuda al diagnóstico 100 de acuerdo con la primera realización y el aparato de apoyo al diagnóstico 100 de acuerdo con la segunda realización se describirán a continuación con referencia a las figuras 10-12.
La figura 10, que corresponde a la figura 2 con respecto a la primera realización, representa el flujo de la operación de procesamiento básico del aparato de apoyo al diagnóstico 100 de acuerdo con la segunda realización de la invención. La unidad de procesamiento 101 adquiere en primer lugar una imagen de fondo de ojo I que captura la cámara de fondo de ojo 110 (etapa S21). Después, la imagen capturada 1 recién adquirida se memoriza en el área predeterminada de la unidad de memorización de imágenes 102 y se presenta en el dispositivo de visualización 120 (etapa S22). Posteriormente, la unidad de procesamiento 101 realiza el procesamiento de extracción de vaso E en la imagen capturada I (etapa S23) y el procesamiento de resalte en el vaso extraído así obtenido. La imagen procesada por resalte así obtenida y la imagen capturada I tal como se presentó con anterioridad se presentan en paralelo en el dispositivo de visualización 120. Se deja que un médico realice el diagnóstico (etapa S24).
En la imagen capturada I del fondo de ojo, la intensidad reflectante del vaso es más débil que la del entorno, y el valor de la misma es relativamente bajo. Aunque la cámara de fondo de ojo 110 generalmente proporciona una imagen monocromática, esta imagen monocromática (es decir, una imagen de brillo) puede ser generada por una cámara a color.
La figura 11, que corresponde a la figura 4 de la primera realización, representa el flujo para obtener la imagen extraída del vaso E de la imagen capturada I. En primer lugar, la imagen capturada I del fondo de ojo es una imagen L (etapa S231). Posteriormente, los primeros medios de extracción 101b-1 realizan el procesamiento de dilatación en la imagen L para obtener una imagen de brillo procesada L1 (etapa S232).
A continuación, los primeros medios de extracción 101b-1 realizan el procesamiento por erosión en la imagen de brillo procesada por dilatación L1 para obtener una imagen de brillo procesada por erosión L2 (etapa S233). Posteriormente, los primeros medios de extracción 101b-1 realizan el procesamiento con filtro de suavizado en la imagen de brillo procesada por erosión L2 para obtener una imagen de brillo suavizado L3 (etapa S234). En este sentido, el suavizado se puede realizar mediante un filtro gaussiano. Los detalles del filtro gaussiano se describen anteriormente en relación con la primera realización. La imagen procesada Bottom-Hat BH se obtiene restando la imagen L de la imagen de brillo suavizado L3 (BH = L3 - L) (etapa S235).
El procesamiento mencionado anteriormente se realiza repetidamente predeterminadas veces. Si se completa el procesamiento antes mencionado, la imagen BH así obtenida es una imagen extraída del vaso E. En los momentos predeterminados, la imagen BH como imagen L se somete repetidamente al procesamiento de dilatación (etapa S232), al procesamiento de erosión (etapa S233), etc.
En la realización anterior, como se muestra en la figura 11, ya que el valor del vaso de la imagen capturada I es menor que el del entorno, se puede utilizar el procesamiento Bottom-Hat acompañado del procesamiento con filtro de suavizado. De lo contrario, en caso de que la imagen capturada en la que el valor del vaso sea superior al del entorno, se puede utilizar el procesamiento Top-Hat acompañado del procesamiento con filtro de suavizado, como se ilustra en la figura 8 en relación con la primera realización.
Para obtener la imagen capturada del fondo de ojo, se puede usar un oftalmoscopio de láser de barrido (Scanning Laser Ophthalmoscope, SLO) en lugar de la cámara de fondo de ojo 110 mencionada anteriormente. En este caso, se puede utilizar preferentemente el procesamiento Bottom-Hat acompañado del procesamiento con filtro de suavizado.
La figura 12 muestra una configuración de pantalla de visualización ilustrativa de un aparato de apoyo al diagnóstico 120 de acuerdo con la segunda realización. En la pantalla de la figura 12, en el lado izquierdo hay una sección de visualización de imágenes capturadas 121 en la que se muestra la imagen capturada y en el lado derecho hay una sección de visualización de imágenes resaltadas 122 en la que se muestra la imagen resaltada del vaso. Debido al procesamiento de extracción de vaso de la unidad de procesamiento 101, la imagen capturada y la imagen resaltada en la que el vaso extraído se resalta fuera de la imagen capturada se presentan respectivamente en paralelo en la sección de visualización de imágenes capturadas 121 y la sección de visualización de imágenes resaltadas 122 del dispositivo de visualización 120. Esta configuración es la misma que la de la primera realización, exceptuando que la imagen del área afectada sea capturada por la cámara de fondo de ojo 110.
[Tercera realización]
En una tercera realización, la unidad de procesamiento 101 también está provista de medios de aclarado 101c. Si bien la tercera realización se puede aplicar tanto en la primera realización como en la segunda realización, a continuación se describirá un ejemplo de aplicación de los medios de aclarado en la primera realización. La operación de procesamiento básica de la unidad de procesamiento 101 del aparato de apoyo al diagnóstico 100 se describirá con referencia al diagrama de flujo de la figura 13
Los medios de aclarado 101c, como se muestra en la figura 13, funcionan como medios para realizar un procesamiento de aclarado en una componente de brillo utilizando la formación de imágenes por alto rango dinámico (High Dynamic Range, HDR).
Si bien la forma del vaso puede extraerse clara y nítidamente con el procesamiento de extracción de vaso candidato que se basa en el procesamiento morfológico utilizando el procesamiento Bottom-Hat o el procesamiento Top-Hat antes mencionados, se pueden generar patrones falsos, como un muaré, al extraer un vaso irregular o un vaso débil (borroso) que solo se vislumbre ligeramente. En vista de lo anterior, en esta realización, para extraer el vaso que aparece como un ligero cambio en la imagen capturada, el procesamiento de aclarado va seguido de un procesamiento tal como el procesamiento morfológico mencionado anteriormente. En este sentido, el procesamiento de aclarado se define por un procesamiento en el que se marca un cambio sutil mientras se obtiene el mismo efecto que el conseguido con HDR. Dicho de otra forma, se hace que el vaso que solo se reconoce ligeramente en la imagen sobresalga una cantidad predeterminada y luego se somete a un procesamiento tal como el procesamiento morfológico. Como resultado, el vaso se puede extraer clara y nítidamente.
La formación de imágenes de alto rango dinámico (HDR) es un tipo de técnica fotográfica para expresar un rango dinámico más amplio en comparación con la fotografía convencional. En una fotografía normal, el rango dinámico es más estrecho que el de un ojo humano. Es decir, incluso en el caso de que se fotografíe el mismo objeto que es visible para el ojo humano, el objeto no puede grabarse de la misma manera que como lo ve el ojo humano. Dado que el rango dinámico es estrecho, el contraste se reduce significativamente en un lugar brillante o en un lugar oscuro, o en ambos, y se graba la imagen con el contraste significativamente reducido. Ya que se reduce el contraste, el cambio es difícil o apenas se reconoce. En vista de lo anterior, la HDR es una tecnología en la que se hacen tres disparos bajo tres exposiciones diferentes que incluyen, por ejemplo, una exposición adaptada al lugar brillante, otra exposición adaptada a un lugar brillante de grado medio y otra exposición adaptada a un lugar oscuro, y se combinan entre sí, ampliando de esta manera el rango dinámico. La imagen obtenida de esta forma se graba. Debido a la HDR, la imagen de captura se puede grabar en la impresión que está cerca del ojo humano.
Haciendo referencia a la figura 13, la unidad de procesamiento 101 realiza un procesamiento con filtro de ruido en una imagen capturada (es decir, una imagen dermatoscópica) que deba ser diagnosticada (bloque B01), y luego convierte la imagen capturada del espacio de color RGB, que es un espacio de color de la imagen original, a espacio de color Lab (bloque B02). A continuación, la unidad de procesamiento 101 divide el espacio de color Lab en una componente de brillo L y en componentes de información de color a y b; extrae la componente de brillo o la componente de información de color de una región seleccionada; combina la imagen extraída con una imagen procesada por HDR, que se describirá a continuación, para generar la imagen de vaso resaltada que se presenta en el dispositivo de visualización 120, como se muestra, por ejemplo, en la figura 9.
Los medios de aclarado 101c de la unidad de procesamiento 101 realizan el procesamiento de aclarado basado en HDR usando la imagen L que corresponde a la componente de brillo en el espacio de color Lab (bloque B04: aclarado de la estructura) y realizando el procesamiento morfológico en la imagen procesada con aclarado L para extraer la forma del vaso (bloque B05). Al mismo tiempo, el procesamiento morfológico también se realiza en las componentes de información de color a y b para extraer una imagen de probabilidad de vaso (bloque B03: extracción de probabilidad de vaso).
La unidad de procesamiento 101 realiza el procesamiento morfológico en la imagen procesada por apertura de probabilidad de vaso que haya sido sometida al procesamiento con filtro de suavizado, así como también, en una imagen que se obtiene restando la imagen de brillo de la imagen procesada por cierre de la componente de brillo que haya sido sometida al procesamiento con filtro de suavizado (bloque B05-3). En este sentido, el procesamiento por apertura se define como un procesamiento en el que la erosión y la dilatación se realizan una o varias veces en este orden, y el procesamiento por cierre se define como un procesamiento en el que la dilatación (B05-1: dilatación multivaluada) y la erosión (B05-2: erosión multivaluada) se realizan una o varias veces en este orden, como se muestra en la figura 13. El filtro de suavizado que se puede emplear en la realización puede ser un filtro gaussiano, como se mencionó con anterioridad.
El procesamiento de aclarado se realiza en una porción de la imagen y la imagen HDR también se obtiene a partir de una porción de la imagen capturada. Un método para obtener una imagen HDR a partir de una porción de la imagen incluye las etapas de obtener una imagen de la componente base utilizando un filtro de separación de componentes compuesto por un filtro de suavizado que conserva los bordes; y atenuar la imagen de la componente base para obtener una imagen reconstruida. Durante el procesamiento de extracción de vaso candidato como se muestra en la figura 4 (es decir, generar el vaso candidato BH a partir de la imagen L), la imagen L puede someterse al procesamiento de aclarado para obtener una imagen LHDR, cuyo flujo se proporciona en la figura 14.
Haciendo referencia a la figura 14, el procesamiento (etapas S132b-2 - S143b-5) distinto del procesamiento de generación de imagen LHDR (etapa S132b-1) como primera etapa es el mismo que el procesamiento de generación de vaso candidato BH a partir de la imagen L basada en el procesamiento Bottom-Hat (etapas S132-1 - S132a-4), como se muestra en la figura 4. Por consiguiente, se omite su descripción duplicada e innecesaria. El procesamiento de aclarado para obtener la imagen LHDR, como se muestra en la etapa S132b-1, lo realiza la unidad de procesamiento 101 (un primer módulo de procesamiento), como se muestra en la figura 1, y el primer módulo de procesamiento tiene medios de aclarado para realizar el procesamiento de aclarado sobre la imagen original. El flujo del procesamiento de aclarado realizado por los medios de aclarado 101c se describirá a continuación con referencia al diagrama de flujo de la figura 15.
Haciendo referencia a la figura 15, los medios de aclarado 101c realizan en primer lugar el procesamiento de filtrado en la imagen L para obtener una imagen de la componente base (imagen B) (etapa S132b-11). Durante el procesamiento de filtrado se utiliza un filtro de separación de componentes compuesto por un filtro bilateral que es un filtro de suavizado que conserva los bordes. Posteriormente, los medios de aclarado 101c restan la imagen B de la imagen L para obtener la imagen de la componente de detalle (imagen D) (etapa S132b-12). A continuación, se resta un desplazamiento Z a la imagen B y el resultado así obtenido se amplifica con un coeficiente K1 para obtener una imagen Bx (etapa S132b-13), En este sentido, el efecto de la HDR se puede lograr en una condición en la que KJ < 1. Posteriormente, debido a los medios de aclarado 101c, la imagen D se amplifica con un coeficiente K2 para obtener una imagen Dx, y la imagen D se amplifica para resaltar el cambio sutil de la forma con la condición de que K2 sea 1 o superior (etapa S132b-14).
Los medios de aclarado 101c añaden finalmente la imagen B a la imagen Dx para obtener una imagen LHDR y envían la imagen LHDR a los primeros medios de extracción 101b-1 (etapa S132-15). Los primeros medios de extracción 101b-1 que han recibido la imagen LHDR realizan el procesamiento de extracción de vasos en la imagen LHDR en función del procesamiento morfológico Bottom-Hat, como se describe anteriormente y se proporciona en la etapa S132a-1 - S132a-4 de la figura 4 y la etapa S132b-2 - S132b-5 de la figura 14.
Como se mencionó con anterioridad, de acuerdo con la tercera realización, la unidad de procesamiento 101 (el primer módulo de procesamiento) realiza el procesamiento de aclarado en la imagen original y luego realiza el procesamiento de extracción de vaso candidato en la imagen resultante en función del procesamiento morfológico, lo que permite una adquisición segura del vaso que aparece solo como un ligero cambio en la imagen capturada, sin ir acompañado de ningún patrón falso, incluso en el caso de que se adquiera un vaso que tenga cualquier forma o forma irregular cuyo cambio de valor sea relativamente elevado o alto. Por lo tanto, la forma del vaso se puede extraer clara y nítidamente.
Así mismo, el procesamiento de aclarado como se muestra en la figura 15 es solo un ejemplo no limitante. Como procesamiento de aclarado que se puede utilizar en esta realización, existe un método de aclarado que incluye las etapas de: dividir una componente de brillo en una componente base y una componente de detalle utilizando el filtro de separación de componentes y realizar un procesamiento de resalte por contraste de manera brillante en la componente base, como se describe en la Solicitud de patente japonesa n.° 2014-227528, y un método para aclarar una imagen original mediante la combinación de los resultados procesados por dos filtros de separación de componentes que tienen propiedades diferentes entre sí, como se describe en la Solicitud de patente japonesa n.° 2015-054328. Estos pertenecen al aclarado que utiliza la imagen de brillo L. Estas dos solicitudes de patente han sido presentadas por el mismo solicitante. Además, existe un método para aclarar la imagen original que incluye la realización de un procesamiento de resalte teniendo en cuenta la probabilidad de vaso de la componente de detalle, como se describe en la Solicitud de patente japonesa n.° 2014-227530. Este pertenece al aclarado con el uso de la información de color así como el brillo L. En consecuencia, en la realización se pueden practicar los aclarados antes mencionados, solos o en combinación.
[Efecto de la realización]
Como se ha descrito con anterioridad, según el aparato de apoyo al diagnóstico 100 de acuerdo con la primera realización de la invención, los primeros medios de extracción 101b-1 de la unidad de procesamiento 101, basándose en la componente de brillo y la componente de información de color de la imagen capturada, divididas por los medios de separación 101a, extraen la región candidata usando el primer procesamiento morfológico basado en la componente de brillo (figura 3), y los segundos medios de extracción 101b-2 de la unidad de procesamiento 101 extraen la probabilidad de la región del espacio de color compuesto por la componente de brillo y la componente de información de color, y realizan el segundo procesamiento morfológico (figura 7) para generar una imagen extraída de la región, que se presenta en el dispositivo de visualización 120. En este caso, dado que el procesamiento morfológico, que incluye el procesamiento con filtro de suavizado, se realiza en la región candidata extraída y en la probabilidad de región (figuras 4 y 7), la forma se puede adquirir de forma segura sin que vaya acompañada de ningún patrón falso, incluso en el caso de la adquisición de cualquier forma o forma irregular cuyo cambio de valor sea relativamente elevado o alto. Por estas razones, el médico puede comprobar visualmente una pantalla en la que se resalta la región que debe diagnosticarse, haciendo así que el médico haga un diagnóstico sencillo y correcto. Como resultado, se mejora la precisión diagnóstica. La misma lógica se puede aplicar en el aparato de apoyo al diagnóstico 100 de acuerdo con la segunda realización. En el caso del aparato de apoyo al diagnóstico 100 de acuerdo con la tercera realización, la HDR se realiza en la componente de brillo con los medios de aclarado 101c antes del procesamiento morfológico, lo que permite una imagen más resaltada para el diagnóstico.
LISTA DE SÍMBOLOS DE REFERENCIA
100: aparato de apoyo al diagnóstico; 101: unidad de procesamiento; 101a: medios de separación; 101b: medios de extracción (101b-1: primeros medios de extracción; 101b-2: segundos medios de extracción); 101c: medios de aclarado; 110: dispositivo de captura de imágenes equipado con dermatoscopio; 120: dispositivo de visualización; 121: sección de visualización de imágenes capturadas; 122: sección de visualización de imágenes resaltadas; 130: dispositivo de entrada.

Claims (7)

REIVINDICACIONES
1. Un aparato de apoyo al diagnóstico para diagnosticar una lesión en función de una imagen capturada compuesta por una imagen multivaluada, que comprende:
una unidad de procesamiento, configurada para procesar la imagen capturada como una imagen original, caracterizado por que la unidad de procesamiento comprende:
una unidad de separación (101a), configurada para dividir la imagen capturada en una componente de brillo y una componente de información de color;
unos primeros medios de extracción (101b-1); y
unos segundos medios de extracción (101b-2); en donde
los primeros medios de extracción (101b-1) están adaptados para realizar un primer procesamiento morfológico que realiza un procesamiento Bottom-Hat, en donde el procesamiento Bottom-Hat incluye una dilatación, una erosión, un procesamiento con filtro de suavizado y un procesamiento de sustracción, en este orden, con respecto a una imagen (L) que representa la componente de brillo, para generar una primera imagen (BH), en donde los primeros medios de extracción (101b-1) se utilizan para realizar el primer procesamiento morfológico cuando se adquiere una forma de regiones que tienen valores de píxel bajos de la imagen (L) que representa la componente de brillo; y la imagen obtenida como resultado del primer procesamiento morfológico se extrae como región candidata (BH); y
los segundos medios de extracción (101b-2) están adaptados para realizar un segundo procesamiento morfológico que realiza un procesamiento Top-Hat, en donde el procesamiento Top-Hat incluye una erosión, una dilatación, un procesamiento con filtro de suavizado y un procesamiento de sustracción, en este orden, con respecto a una imagen (A) que indica la probabilidad de una región obtenida a partir de un espacio de color compuesto por la componente de brillo y la componente de información de color para extraer una segunda imagen (E), en donde los segundos medios de extracción se utilizan para realizar el segundo procesamiento morfológico cuando se adquiere una forma de regiones que tienen valores de píxel altos a partir de la imagen (A) que indica la región de probabilidad, y la imagen obtenida como resultado del segundo procesamiento morfológico se extrae como una imagen de probabilidad (E) de una región.
2. El aparato de apoyo al diagnóstico según la reivindicación 1, en donde
la unidad de procesamiento realiza el primer procesamiento morfológico y/o el segundo procesamiento morfológico, en donde
el primer procesamiento morfológico comprende un procesamiento por cierre donde la dilatación y la erosión se realizan en la imagen (L) en este orden;
el procesamiento con filtro de suavizado se realiza en la imagen procesada por cierre (L2); y
la imagen (L) se resta de la imagen procesada con filtro de suavizado (L3) en el procesamiento de sustracción; y en donde el segundo procesamiento morfológico comprende un procesamiento por apertura en donde la erosión y la dilatación se realizan en la imagen (A) en este orden;
el procesamiento con filtro de suavizado se realiza en la imagen procesada por apertura (A2); y
la imagen procesada con filtro de suavizado (A3) se resta de la imagen (A) en el procesamiento de sustracción.
3. El aparato de apoyo al diagnóstico según las reivindicaciones 1 o 2, en donde
los primeros medios de extracción (101b-1) comprenden además medios de aclarado (101c) para realizar un procesamiento de aclarado en la imagen original, y en donde
los primeros medios de extracción (101b-1) están adaptados para extraer la región candidata basándose en la imagen original procesada con aclarado.
4. El aparato de apoyo al diagnóstico según la reivindicación 3, en donde los medios de aclarado (101c) están adaptados para realizar el procesamiento de aclarado basado en HDR.
5. Un método para procesar una imagen en un aparato de apoyo al diagnóstico para diagnosticar una lesión en función de una imagen capturada compuesta por una imagen multivaluada, que comprende la etapa de: dividir la imagen capturada en una componente de brillo y una componente de información de color; en donde al adquirir una forma de regiones que tienen valores de píxel bajos a partir de la imagen (L) que representa la componente de brillo, el método comprende, además, realizar un primer procesamiento morfológico que realiza un procesamiento Bottom-Hat,
en donde el procesamiento Bottom-Hat incluye una dilatación, una erosión, un procesamiento con filtro de suavizado y un procesamiento de sustracción, en este orden, con respecto a la imagen (L) que representa la componente de brillo, para generar una primera imagen (BH); y extraer la imagen, obtenida como resultado del primer procesamiento morfológico, como región candidata (BH); y
al adquirir una forma de regiones que tienen valores de píxel altos a partir de una imagen (A) que indica una región de probabilidad, el método comprende también
realizar un segundo procesamiento morfológico que realiza un procesamiento Top-Hat,
en donde el procesamiento Top-Hat incluye una erosión, una dilatación, un procesamiento con filtro de suavizado y un procesamiento de sustracción, en este orden, con respecto a la imagen (A) que indica una probabilidad de una región obtenida a partir de un espacio de color compuesto por la componente de brillo y la componente de información de color para extraer una segunda imagen (E); y
extraer la imagen obtenida como resultado del segundo procesamiento morfológico como una imagen de probabilidad (E) de una región.
6. El método de procesamiento de imágenes según la reivindicación 5, en donde
se realizan el primer procesamiento morfológico y/o el segundo procesamiento morfológico;
el primer procesamiento morfológico comprende un procesamiento por cierre donde la dilatación y la erosión se realizan en la imagen (L) en este orden;
el procesamiento con filtro de suavizado se realiza en la imagen procesada por cierre (L2); y
la imagen (L) se resta de la imagen procesada con filtro de suavizado (L3) en el procesamiento de sustracción; y el segundo procesamiento morfológico comprende un procesamiento por apertura donde la erosión y la dilatación se realizan en la imagen (A) en este orden;
el procesamiento con filtro de suavizado se realiza en la imagen procesada por apertura (A2); y
la imagen procesada con filtro de suavizado (A3) se resta de la imagen (A) en el procesamiento de sustracción.
7. Un programa de procesamiento de una imagen en un aparato de apoyo al diagnóstico para adquirir una forma a partir de una imagen multivaluada como imagen original, estando el programa caracterizado por hacer que un ordenador ejecute las etapas del método según la reivindicación 5 o 6.
ES15202420T 2014-12-25 2015-12-23 Aparato de apoyo al diagnóstico y método de procesamiento de imágenes en el mismo aparato Active ES2918751T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014261572 2014-12-25
JP2015098708A JP6187535B2 (ja) 2014-12-25 2015-05-14 診断支援装置並びに当該診断支援装置における画像処理方法及びそのプログラム

Publications (1)

Publication Number Publication Date
ES2918751T3 true ES2918751T3 (es) 2022-07-20

Family

ID=56326606

Family Applications (1)

Application Number Title Priority Date Filing Date
ES15202420T Active ES2918751T3 (es) 2014-12-25 2015-12-23 Aparato de apoyo al diagnóstico y método de procesamiento de imágenes en el mismo aparato

Country Status (4)

Country Link
EP (1) EP3038052B1 (es)
JP (1) JP6187535B2 (es)
AU (1) AU2015275264B2 (es)
ES (1) ES2918751T3 (es)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6164238B2 (ja) * 2015-03-18 2017-07-19 カシオ計算機株式会社 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
JP7322948B2 (ja) * 2019-04-17 2023-08-08 株式会社ニコン 動画処理装置、動画処理方法、および動画処理プログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1229734A1 (en) * 2001-01-31 2002-08-07 GRETAG IMAGING Trading AG Automatic colour defect correction
AUPR509601A0 (en) * 2001-05-18 2001-06-14 Polartechnics Limited Diagnostic feature extraction in dermatological examination
FR2829268A1 (fr) * 2001-09-04 2003-03-07 Koninkl Philips Electronics Nv Procede de traitement d'images pour angiographie soustractiv e numerisee
JP2003079606A (ja) * 2001-09-13 2003-03-18 Fuji Photo Film Co Ltd 異常陰影検出装置
JP4437202B2 (ja) 2004-01-09 2010-03-24 学校法人慶應義塾 色素沈着部位の遠隔診療システム
JP2005211439A (ja) * 2004-01-30 2005-08-11 Fuji Photo Film Co Ltd 異常陰影表示装置およびそのプログラム
US8098907B2 (en) * 2005-07-01 2012-01-17 Siemens Corporation Method and system for local adaptive detection of microaneurysms in digital fundus images
JP2011090431A (ja) * 2009-10-21 2011-05-06 Seiko Epson Corp 画像処理装置、印刷システム、画像処理方法、およびプログラム
US8355544B2 (en) * 2011-02-01 2013-01-15 Universidade Da Coruna-Otri Method, apparatus, and system for automatic retinal image analysis
JP5631339B2 (ja) * 2012-01-06 2014-11-26 キヤノン株式会社 画像処理装置、画像処理方法、眼科装置、眼科システム及びコンピュータプログラム
JP6108680B2 (ja) * 2012-04-19 2017-04-05 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記憶媒体
US20140316235A1 (en) * 2013-04-18 2014-10-23 Digimarc Corporation Skin imaging and applications
JP6160241B2 (ja) 2013-05-27 2017-07-12 東洋インキＳｃホールディングス株式会社 太陽電池保護シート用接着剤組成物
JP2014227530A (ja) 2013-05-27 2014-12-08 イズミ物産株式会社 温度抑制塗料組成物
JP2015054328A (ja) 2013-09-10 2015-03-23 パナソニック株式会社 バンプ接合用フラックス及び電子部品実装方法

Also Published As

Publication number Publication date
EP3038052B1 (en) 2022-05-18
AU2015275264B2 (en) 2020-08-20
JP2016120262A (ja) 2016-07-07
EP3038052A1 (en) 2016-06-29
AU2015275264A1 (en) 2016-07-14
JP6187535B2 (ja) 2017-08-30

Similar Documents

Publication Publication Date Title
JP5628839B2 (ja) 眼球表面疾患を検出するシステムおよび眼球表面検査装置
ES2743618T3 (es) Sistema y método para obtener imágenes de una parte del cuerpo del paciente
US20150078642A1 (en) Method and system for non-invasive quantification of biologial sample physiology using a series of images
KR102267509B1 (ko) 달팽이관에서의 미세 혈류 측정 방법 및 장치
JP5127897B2 (ja) 眼科用画像処理装置及びその方法
US9241622B2 (en) Method for ocular surface imaging
Jung et al. Active blood detection in a high resolution capsule endoscopy using color spectrum transformation
US20060155194A1 (en) Method for detecting occlusions and leakages in subcutaneous blood vessels
JP6671946B2 (ja) 情報取得装置、撮像装置及び情報取得方法
JP2011218090A (ja) 画像処理装置、内視鏡システム及びプログラム
ES2669606T3 (es) Aparato de diagnóstico y procedimiento de procesamiento de imágenes en el mismo aparato
WO2020005053A1 (es) Sistema portátil para la identificación de casos potenciales de edema macular diabético mediante procesamiento de imagen e inteligencia artificial
JP2007068928A (ja) 眼球表面解析システム
ES2873073T3 (es) Aparato de diagnóstico y método de procesamiento de imágenes en el mismo aparato
ES2918751T3 (es) Aparato de apoyo al diagnóstico y método de procesamiento de imágenes en el mismo aparato
WO2015167005A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2018515187A (ja) Ｏｃｔ画像の修正
JP2014157428A (ja) 画像表示装置、画像表示方法、及び、プログラム
US10291893B2 (en) Diagnosis support apparatus for lesion, image processing method in the same apparatus, and medium storing program associated with the same method
Wolffsohn et al. Anterior ophthalmic imaging
JP6771968B2 (ja) 情報取得装置、撮影装置及び情報取得方法
KR101663376B1 (ko) 망막 혈관 매핑 방법 및 장치
JP2019162336A (ja) 眼科手術装置および眼科撮影装置
JP7494855B2 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
Van Tran et al. Design and enhance the vein recognition using near infrared light and projector