DE112017002943T5 - Elektronische Endoskopverarbeitungseinrichtung und elektromisches Endoskopsystem - Google Patents

Elektronische Endoskopverarbeitungseinrichtung und elektromisches Endoskopsystem Download PDF

Info

Publication number
DE112017002943T5
DE112017002943T5 DE112017002943.0T DE112017002943T DE112017002943T5 DE 112017002943 T5 DE112017002943 T5 DE 112017002943T5 DE 112017002943 T DE112017002943 T DE 112017002943T DE 112017002943 T5 DE112017002943 T5 DE 112017002943T5
Authority
DE
Germany
Prior art keywords
color
electronic endoscope
image
types
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE112017002943.0T
Other languages
English (en)
Other versions
DE112017002943T8 (de
Inventor
Takao Makino
Yousuke IKEMOTO
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Publication of DE112017002943T5 publication Critical patent/DE112017002943T5/de
Application granted granted Critical
Publication of DE112017002943T8 publication Critical patent/DE112017002943T8/de
Active legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/02Affine transformations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6002Corrections within particular colour systems
    • H04N1/6008Corrections within particular colour systems with primary colour signals, e.g. RGB or CMY(K)
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/64Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/644Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor using a reduced set of representative colours, e.g. each representing a particular range in a colour space
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

Diese Verarbeitungseinrichtung für ein elektronisches Endoskop ist dazu eingerichtet, zu umfassen: eine Umwandlungseinrichtung, die Bildelementdaten, die ein Farbbild eines Inneren einer Körperhöhle bilden und aus n (n ≥ 3) Farbkomponenten gebildet sind, in Bildelementdaten umwandelt, die aus m (m ≥ 2) Farbkomponenten gebildet sind, wobei m kleiner n ist, eine Farbkomponentenkorrektureinrichtung, die einen vorgeschriebenen Farbkomponentenkorrekturkoeffizienten zum Korrigieren der umgewandelten Bildelementdaten aus den m Farbkomponenten verwendet, und eine Beschaffungseinrichtung, die ein Bewertungsergebnis hinsichtlich einer Zielerkrankung auf der Grundlage der korrigierten Bildelementdaten aus den m Farbkomponenten beschafft.

Description

  • Technisches Gebiet
  • Die vorliegende Erfindung bezieht auf eine elektronische Endoskopverarbeitungseinrichtung und ein elektronisches Endoskopsystem.
  • Technischer Hintergrund
  • Ein elektronisches Endoskopsystem wird zur Betrachtung und Behandlung des Inneren eines menschlichen Körpers verwendet. Wenn eine endoskopische Betrachtung unter Verwendung eines elektronischen Endoskopsystems durchgeführt wird, müssen Läsionsstellen und normale Stellen genau identifiziert werden. Eine Läsionsstelle hat aufgrund einer Gefäßneubildung oder dergleichen oft einen anderen Farbton als eine normale Stelle. Das Patentdokument 1 offenbart ein elektronisches Endoskopsystem, das eine Funktion zur Unterstützung einer endoskopischen Bilddiagnose enthält, indem eine Stelle, die eine hohe Wahrscheinlichkeit aufweist, dass sie eine Läsionsstelle ist, beruhend auf Farbinformationen in einem endoskopischen Bild bestimmt wird und die bestimmte Stelle auf hervorgehobene Weise angezeigt wird.
  • Zur genauen Bestimmung einer Läsionsstelle oder dergleichen beruhend auf Farbinformationen in einem endoskopischen Bild wie vorstehend beschrieben muss ein endoskopisches Bild beschafft werden, das zumindest in der Farbregion genaue Farbinformationen aufweist, die beim Bestimmen der Läsionsstelle oder dergleichen verwendet wird. Herkömmliche elektronische Endoskopsysteme enthalten eine Weißabgleichkorrekturfunktion als Funktion zum Korrigieren von Farbinformationen in einem endoskopischen Bild.
  • Zitierliste
  • Patentdokument
  • [Patentdokument 1] JP 2010-115243A
  • Kurzzusammenfassung der Erfindung
  • Technische Aufgabe
  • Eine Weißabgleichkorrektur dient zur Durchführung einer Farbkorrektur für lediglich einen Punkt (beispielsweise weiß) auf einer achromatischen Farbachse, und kann keine chromatischen Farbfehler korrigieren. Aus diesem Grund sind bei herkömmlichen elektronischen Endoskopsystemen, die lediglich eine Weißabgleichkorrekturfunktion als Funktion zum Korrigieren von Farbinformationen enthalten, große Fehler in den Farbinformationen vorhanden, und dies verursacht eine geringe Genauigkeit beim Identifizieren einer Läsionsstelle oder dergleichen.
  • Die vorliegende Erfindung wurde in Anbetracht der vorstehend beschriebenen Umstände verwirklicht, und eine Aufgabe vorliegender Erfindung besteht in der Bereitstellung einer elektronischen Endoskopverarbeitungseinrichtung und eines elektronischen Endoskopsystems, die zum Verbessern einer Identifizierungsgenauigkeit beim Identifizieren einer Läsionsstelle oder dergleichen beruhend auf Farbkomponenten in einem endoskopischen Bild vorteilhaft sind.
  • Lösung der Aufgabe
  • Eine elektronische Endoskopverarbeitungseinrichtung gemäß einem Ausführungsbeispiel vorliegender Erfindung umfasst eine Umwandlungseinrichtung zur Umwandlung jedes Stücks einer Vielzahl von Stücken von Bildelementdaten, die aus n (n≥3) Typen von Farbkomponenten gebildet sind und ein Farbbild eines biologischen Gewebes in einer Körperhöhle bilden, in Stücke von Bildelementdaten, die aus m (m≥2) Typen von Farbkomponenten gebildet sind, wobei m kleiner als n ist, eine Farbkomponentenkorrektureinrichtung zum Korrigieren der umgewandelten Stücke von Bildelementdaten aus m Typen von Farbkomponenten unter Verwendung eines vorbestimmten Farbkomponentenkorrekturkoeffizienten, und eine Beschaffungseinrichtung zur Beschaffung eines Bewertungsergebnisses hinsichtlich einer Zielerkrankung beruhend auf den korrigierten Stücken von Bildelementdaten aus m Typen von Farbkomponenten.
  • Eine elektronische Endoskopverarbeitungseinrichtung gemäß einem Ausführungsbeispiel vorliegender Erfindung umfasst auch eine Umwandlungseinrichtung zur Umwandlung jedes einer Vielzahl von Stücken von Bildelementdaten, die aus n (n≥3) Typen von Farbkomponenten gebildet sind und ein Farbbild eines biologischen Gewebes in einer Körperhöhle bilden, in ein Stück von Bildelementdaten, das aus m (m≥2) Typen von Farbkomponenten gebildet ist, wobei m kleiner als n ist, eine Beschaffungseinrichtung zur Beschaffung eines Bewertungsergebnisses hinsichtlich einer Zielerkrankung beruhend auf den umgewandelten Stücken von Bildelementdaten aus m Typen von Farbkomponenten und einer Bewertungsergebniskorrektureinrichtung zum Korrigieren des beschafften Bewertungsergebnisses unter Verwendung eines vorbestimmten Bewertungsergebniskorrekturkoeffizienten.
  • Das heißt, vorzugsweise umfasst eine elektronische Endoskopverarbeitungseinrichtung gemäß einem Ausführungsbeispiel vorliegender Erfindung
    eine Umwandlungseinrichtung zur Umwandlung jedes einer Vielzahl von Stücken von Bildelementdaten, die aus n (n≥3) Typen von Farbkomponenten gebildet sind und ein Farbbild eines biologischen Gewebes in einer Körperhöhle bilden, in ein Stück von Bildelementdaten, das aus m (m≥2) Typen von Farbkomponenten gebildet ist, wobei m kleiner als n ist,
    eine Beschaffungseinrichtung zur Beschaffung eines Bewertungsergebnisses hinsichtlich einer Zielerkrankung beruhend auf den umgewandelten Stücken von Bildelementdaten aus m Typen von Farbkomponenten und
    zumindest eine Korrektureinrichtung aus einer Farbkomponentenkorrektureinrichtung zum Korrigieren der Stücke von Bildelementdaten aus m Typen von Farbkomponenten, die durch die Umwandlungseinrichtung umgewandelt wurden, unter Verwendung eines vorbestimmten Farbkomponentenkorrekturkoeffizienten und einer Bewertungsergebniskorrektureinrichtung zum Korrigieren des durch die Beschaffungseinrichtung beschafften Bewertungsergebnisses unter Verwendung eines vorbestimmten Bewertungsergebniskorrekturkoeffizienten.
  • Gemäß einem Ausführungsbeispiel enthält die elektronische Endoskopverarbeitungseinrichtung mit dieser Konfiguration vorzugsweise ferner eine Farbkomponentenkorrektureinrichtung zum Korrigieren der Stücke von Bildelementdaten aus m Typen von Farbkomponenten unter Verwendung eines vorbestimmten Farbkomponentenkorrekturkoeffizienten. Gemäß einem Ausführungsbeispiel beschafft auch in diesem Fall die Beschaffungseinrichtung vorzugsweise das Bewertungsergebnis hinsichtlich der Zielerkrankung beruhend auf den Stücken von Bildelementdaten aus m Typen von Farbkomponenten, die unter Verwendung des Farbkomponentenkorrekturkoeffizienten korrigiert sind.
  • Gemäß einem Ausführungsbeispiel vorliegender Erfindung ist der Farbkomponentenkorrekturkoeffizient ferner vorzugsweise zum Beispiel ein vorbestimmter Korrekturmatrixkoeffizient, der die Stücke von Bildelementdaten aus m Typen von Farbkomponenten korrigiert.
  • Gemäß einem Ausführungsbeispiel vorliegender Erfindung ist der Bewertungsergebniskorrekturkoeffizient ferner vorzugsweise ein affiner Transformationskoeffizient, der eine affine Transformation bei dem Bewertungsergebnis durchführt.
  • Gemäß einem Ausführungsbeispiel vorliegender Erfindung sind die Farbkomponenten, die einer durch die Farbkomponentenkorrektureinrichtung durchgeführten Farbkorrektur unterzogen werden, ferner vorzugsweise die m Typen von Farbkomponenten unter den n Typen von Farbkomponenten, und enthalten keine (n-m) Typen von Farbkomponenten.
  • Gemäß einem Ausführungsbeispiel vorliegender Erfindung stellt die Beschaffungseinrichtung ferner vorzugsweise eine Referenzrichtung ein, die sich auf die Zielerkrankung bezieht und sich von einem vorbestimmten Referenzpunkt in einem durch die m Typen von Farbkomponenten definierten Farbraum erstreckt, und beschafft für jedes einer Vielzahl von Bildelementen des Farbbildes das Bewertungsergebnis hinsichtlich der Zielerkrankung beruhend auf einem Ausmaß, mit dem eine Richtung von dem Referenzpunkt zu einem Bildelemententsprechungspunkt, der dem umgewandelten Stück von Bildelementdaten in dem Farbraum entspricht, von der Referenzrichtung abweicht.
  • Gemäß einem Ausführungsbeispiel vorliegender Erfindung stellt die Beschaffungseinrichtung ferner vorzugsweise eine Referenzachse ein, die sich auf die Zielerkrankung bezieht und durch einen vorbestimmten Referenzpunkt in einem durch die m Typen von Farbkomponenten definierten Farbraum läuft, und beschafft für jedes einer Vielzahl von Bildelementen das Bewertungsergebnis hinsichtlich der Zielerkrankung beruhend auf einem Winkel, der durch die Referenzachse und ein Liniensegment gebildet wird, das den Referenzpunkt und einen Bildelemententsprechungspunkt verbindet, der dem Stück von Bildelementdaten entspricht.
  • Gemäß einem Ausführungsbeispiel vorliegender Erfindung wird ferner bevorzugt, dass die Referenzachse zu einer ersten Referenzachse gemacht wird,
    die Beschaffungseinrichtung eine zweite Referenzachse einstellt, die sich auf eine gesunde Stelle bezieht, die die Zielerkrankung nicht aufweist, und durch den Referenzpunkt in dem Farbraum läuft, und
    der Winkel θ unter Verwendung eines Schnittwinkels der ersten Referenzachse und der zweiten Referenzachse als maximaler Winkel vor Berechnung des Bewertungswertes normalisiert wird.
  • Gemäß einem Ausführungsbeispiel vorliegender Erfindung projiziert die Umwandlungseinrichtung ferner vorzugsweise die Stücke von Bildelementdaten in einem durch die n Typen von Farbkomponenten definierten Farbraum orthographisch auf die Farbebene.
  • Gemäß einem Ausführungsbeispiel vorliegender Erfindung ist die Referenzachse ferner vorzugsweise eine Achse, die beispielsweise eine entzündete Stelle mit dem höchsten Symptomniveau der Zielerkrankung ist. Das heißt, vorzugsweise ist die Referenzachse eine Achse, zu der die umgewandelten Bildelemententsprechungspunkte stärker konvergieren, wenn eine Symptomebene der Zielerkrankung ansteigt.
  • Gemäß einem Ausführungsbeispiel vorliegender Erfindung ist die Farbebene ferner vorzugsweise eine Ebene, die beispielsweise eine R-Komponentenachse und eine G-Komponentenachse enthält.
  • Gemäß einem Ausführungsbeispiel vorliegender Erfindung sind die m Typen von Farbkomponenten der umgewandelten Stücke von Bildelementdaten ferner vorzugsweise Farbkomponenten, die derart eingestellt sind, dass sie gegenseitig verschiedene Wellenlängenbereiche aufweisen.
  • Gemäß einem Ausführungsbeispiel vorliegender Erfindung enthält das Bewertungsergebnis ferner vorzugsweise zum Beispiel einen Wert, der eine Bewertung hinsichtlich der Zielerkrankung angibt, und/oder ein Farbbild, das eine Bewertung hinsichtlich der Zielerkrankung angibt.
  • Ein elektronisches Endoskopsystem gemäß einem Ausführungsbeispiel vorliegender Erfindung umfasst auch eine beliebige der vorstehenden elektronischen Endoskopverarbeitungseinrichtungen und eine Farbkomponentenkorrekturkoeffizientenberechnungseinrichtung zur Berechnung eines Farbkomponentenkorrekturkoeffizienten beruhend auf zumindest zwei oder mehr Typen realer Abbildungsdaten, die durch Aufnehmen von Bildern von zumindest zwei oder mehr Indikatoren hinsichtlich einer Zielerkrankung erhalten werden.
  • Ein elektronisches Endoskopsystem gemäß einem Ausführungsbeispiel vorliegender Erfindung umfasst ferner eine beliebige der vorstehenden elektronischen Endoskopverarbeitungseinrichtungen und eine Bewertungsergebniskorrekturkoeffizientenberechnungseinrichtung zur Beschaffung eines Bewertungsergebnisses für jeden einer Vielzahl von Indikatoren durch Aufnehmen von Bildern der Indikatoren und Berechnen eines Bewertungsergebniskorrekturkoeffizienten unter Verwendung der beschafften Bewertungsergebnisse der Indikatoren.
  • Ein elektronisches Endoskopsystem gemäß einem Ausführungsbeispiel vorliegender Erfindung umfasst ferner eine beliebige der vorstehenden elektronisches Endoskopverarbeitungseinrichtungen und eine Anzeigevorrichtung zur Anzeige eines durch die elektronische Endoskopverarbeitungseinrichtung erhaltenen Bewertungsergebnisses auf einem Anzeigeschirm.
  • Gemäß einem Ausführungsbeispiel vorliegender Erfindung umfasst die elektronische Endoskopverarbeitungseinrichtung ferner vorzugsweise eine Beschaffungseinrichtung zur Beschaffung eines Farbabbildungsbildes durch Umwandeln von Farben von Bildelementen des Farbbildes in Farben, die den Bewertungswerten entsprechen, die als die Bewertungsergebnisse der Bildelemente berechnet werden, und eine Anzeigeeinrichtung zur Anzeige des Farbabbildungsbildes auf dem Anzeigeschirm der Anzeigevorrichtung, und die Anzeigevorrichtung, die beispielsweise ein Monitor ist, ist zum Anzeigen eines repräsentativen Werts der Bewertungswerte und des Farbabbildungsbildes beispielsweise gleichzeitig eingerichtet.
  • Gemäß einem Ausführungsbeispiel vorliegender Erfindung sind Farbton und Sättigung aus den Farbkomponenten ausgenommen.
  • Vorteilhafte Wirkungen der Erfindung
  • Gemäß der vorstehend beschriebenen elektronischen Endoskopverarbeitungseinrichtung und dem vorstehend beschriebenen elektronischen Endoskopsystem kann eine Identifizierungsgenauigkeit beim Identifizieren einer Läsionsstelle oder dergleichen beruhend auf Farbkomponenten in einem endoskopischen Bild verbessert werden.
  • Figurenliste
    • 1 zeigt ein Blockschaltbild einer Konfiguration eines elektronisches Endoskopsystems gemäß einem Ausführungsbeispiel vorliegender Erfindung.
    • 2 zeigt eine Darstellung eines Ablaufdiagramms einer speziellen Bilderzeugungsverarbeitung, die in einem speziellen Modus gemäß einem Ausführungsbeispiel vorliegender Erfindung ausgeführt wird.
    • 3 zeigt eine Darstellung einer RG-Ebene gemäß einem Ausführungsbeispiel vorliegender Erfindung, in der Bildelemententsprechungspunkte aufgetragen sind.
    • 4 zeigt eine Darstellung von Referenzachsen, die in der RG-Ebene eingestellt sind.
    • 5 zeigt eine Darstellung eines Beispiels eines Anzeigeschirms, der auf einem Anzeigeschirm eines Monitors in einem speziellen Modus gemäß einem Ausführungsbeispiel vorliegender Erfindung angezeigt wird.
    • 6 zeigt eine Darstellung eines Ablaufdiagramms einer Kalibrierverarbeitung, die in einem Kalibrierungsmodus gemäß einem Ausführungsbeispiel vorliegender Erfindung ausgeführt wird.
    • 7 zeigt eine Darstellung einer schematischen Konfiguration einer Kalibriervorrichtung gemäß einem Ausführungsbeispiel vorliegender Erfindung.
  • Beschreibung der Ausführungsbeispiele
  • Nachstehend werden Ausführungsbeispiele vorliegender Erfindung unter Bezugnahme auf die Zeichnungen beschrieben. Im Folgenden wird das Beispiel eines elektronischen Endoskopsystems als Ausführungsbeispiel vorliegender Erfindung beschrieben.
  • 1 zeigt ein Blockschaltbild der Konfiguration eines elektronischen Endoskopsystems 1 gemäß einem Ausführungsbeispiel vorliegender Erfindung. Wie es in 1 gezeigt ist, ist das elektronische Endoskopsystem 1 ein System, das für eine medizinische Verwendung spezialisiert ist, und ein elektronisches Endoskop 100, eine Verarbeitungseinrichtung 200 und einen Monitor 300 enthält.
  • Die Verarbeitungseinrichtung 200 umfasst eine Systemsteuereinrichtung 202 und eine Zeitsteuereinrichtung 204. Die Systemsteuereinrichtung 202 führt verschiedene Programme aus, die in einem Speicher 222 gespeichert sind, und führt eine Gesamtsteuerung des elektronischen Endoskopsystems 1 durch. Die Systemsteuereinrichtung 202 ist auch mit einem Bedienfeld 218 verbunden. Die Systemsteuereinrichtung 202 ändert den Betrieb des elektronischen Endoskopsystems 1 und Parameter für den Betrieb gemäß Anweisungen von einem Bediener, die das Bedienfeld 218 empfängt. Ein Beispiel derartiger durch den Bediener eingegebener Anweisungen ist eine Anweisung zum Umschalten des Betriebsmodus des elektronischen Endoskopsystems 1. Bei diesem Ausführungsbeispiel umfassen die Betriebsmodi einen normalen Modus, einen speziellen Modus und einen Kalibriermodus. Die Zeitsteuereinrichtung 204 gibt Taktimpulse zur Anpassung der Zeitvorgabe des Betriebs verschiedener Einheiten zu Schaltungen in dem elektronischen Endoskopsystem 1 aus.
  • Nachdem sie durch ein Lampenstromversorgungszündgerät 206 gestartet wurde, emittiert eine Lampe 208 weißes Licht L. Die Lampe 208 ist eine Hochenergielampe, wie eine Xenonlampe, eine Halogenlampe, eine Quecksilberlampe oder eine Halogenmetalldampflampe. Das durch die Lampe 208 emittierte weiße Licht L wird durch eine Kondensatorlinse 210 kondensiert und über eine Blende 212 auf eine geeignete Lichtmenge eingeschränkt. Es wird angemerkt, dass die Lampe 208 durch ein lichtemittierendes Halbleiterelement wie eine LD (Laser Diode) oder eine LED (lichtemittierende Diode) ersetzt werden kann. Ein lichtemittierendes Halbleiterelement weist Merkmale auf, wie einen geringeren Stromverbrauch und eine geringere Wärmeabstrahlung als andere Lichtquellen, und hat daher den Vorteil, dass helle Bilder beschafft werden können, während der Energieverbrauch und die Wärmeabstrahlung unterdrückt werden. Die Möglichkeit der Beschaffung von hellen Bildern führt zu einer Verbesserung der Präzision eines nachstehend beschriebenen Entzündungsbewertungswerts. Das lichtemittierende Halbleiterelement ist nicht darauf beschränkt, dass es in der Verarbeitungseinrichtung 200 vorgesehen ist, und kann in dem elektronischen Endoskop 100 vorgesehen sein. Das lichtemittierende Halbleiterelement kann beispielsweise am distalen Endabschnitt des elektronischen Endoskops 100 vorgesehen sein.
  • Ein Motor 214 ist über Übertragungseinrichtungen, wie einen Arm und ein Getriebe, die nicht gezeigt sind, mit der Blende 212 mechanisch verbunden. Der Motor 214 ist beispielsweise ein DC-Motor, und wird beispielsweise unter einer Ansteuerung einer Ansteuereinrichtung 216 angesteuert. Die Blende 212 wird durch den Motor 214 betrieben, und der Öffnungsgrad wird zum Einstellen der auf dem Anzeigeschirm eines Monitors 300 angezeigten Bilder auf eine geeignete Helligkeit verändert. Die durch die Lampe 208 emittierte Lichtmenge des weißen Lichts L wird gemäß dem Öffnungsgrad der Blende 212 begrenzt. Die geeignete Bildhelligkeitsreferenz wird gemäß einem Intensitätsanpassungsvorgang eingestellt und verändert, der durch den Bediener auf dem Bedienfeld 218 durchgeführt wird. Es wird angemerkt, dass die Lichtsteuerschaltung zur Durchführung einer Intensitätsanpassung durch Steuerung der Ansteuereinrichtung 216 eine bekannte Schaltung ist, und hier nicht beschrieben wird.
  • Das weiße Licht L, das durch die Blende 212 läuft, wird an der Eingangsseite eines LCB (Lichtträgerbündels) 102 kondensiert und tritt in das LCB 102 ein. Das weiße Licht L, das über die Eingangsseite in das LCB 102 eingetreten ist, breitet sich in dem LCB 102 aus.
  • Nach Ausbreitung in dem LCB 102 tritt das weiße Licht L über eine Austrittsseite des LCB 102 aus, die an dem vorderen Ende des elektronischen Endoskops 100 angeordnet ist, geht durch eine Lichtverteilungslinse 104 und beleuchtet biologisches Gewebe. Zurückkehrendes Licht von dem durch das weiße Licht L beleuchteten biologischen Gewebe geht durch eine Objektivlinse 106 und erzeugt ein optisches Bild auf der Lichtaufnahmefläche eines Festkörperbildsensors 108.
  • Der Festkörperbildsensor 108 ist ein Ein-Platten-Farb-CCD (Ladungskopplungsbaustein) -Bildsensor, der ein kariertes Komplementärfarbfilter aufweist. Der Festkörperbildsensor 108 akkumuliert eine Ladung gemäß der Lichtmenge eines auf Bildelementen auf der Lichtaufnahmefläche erzeugten optischen Bildes, erzeugt Bildelementdaten Gelb Ye, Cyan Cy, Grün G und Magenta Mg, und gibt die Bildelementdaten aus. Es wird angemerkt, dass der Festkörperbildsensor 108 nicht auf einen CCD-Bildsensor beschränkt ist, und durch einen CMOS (Komplementärmetalloxidhalbleiter) -Bildsensor oder eine andere Art Abbildungsvorrichtung ersetzt werden kann.
  • Der Festkörperbildsensor 108 kann auch ein Primärfarbfilter (Bayer-Anordnungsfilter) enthalten. Ein Primärfarb (RGB) -Filter weist bessere Farbentwicklungseigenschaften als ein Komplementärfarbfilter auf. Wenn ein RGB-Formatbildsignal, das durch einen Bildsensor erhalten wird, der ein Primärfarbfilter aufweist, zur Berechnung eines nachstehend beschriebenen Entzündungsbewertungswerts verwendet wird, ist es daher möglich, die Genauigkeit dieser Bewertung zu verbessern. Die Verwendung eines Primärfarbfilters beseitigt auch das Erfordernis der Durchführung einer Signalumwandlung bei der Verarbeitung zur Berechnung des Entzündungsbewertungswerts. Dies macht es daher möglich, den Verarbeitungsaufwand bei der Entzündungsbewertungswertberechnung zu unterdrücken.
  • Eine Ansteuersignalverarbeitungsschaltung 112 ist in einem Verbindungsabschnitt des elektronischen Endoskops 100 vorgesehen. Bildelementdaten von Bildelementen, die durch weißes Licht L beleuchtetes biologisches Gewebe aufgenommen haben, werden durch den Festkörperbildsensor 108 zu der Ansteuersignalverarbeitungsschaltung 112 mit einem Bildzyklus eingegeben. Die von dem Festkörperbildsensor 108 eingegebenen Bildelementdaten werden durch die Ansteuersignalverarbeitungsschaltung 112 in eine Signalverarbeitungsschaltung 220 der Verarbeitungseinrichtung 200 ausgegeben. Es wird angemerkt, dass der Ausdruck „Bild“ in der folgenden Beschreibung durch „Halbbild“ ersetzt werden kann. Bei diesem Ausführungsbeispiel sind der Bildzyklus und der Halbbildzyklus jeweils 1/30 Sekunden und 1/60 Sekunden.
  • Die Ansteuersignalverarbeitungsschaltung 112 greift auch auf einen Speicher 114 zu und liest eindeutige Informationen hinsichtlich des elektronischen Endoskops 100 aus. Die eindeutigen Informationen hinsichtlich des elektronischen Endoskops 100, die in dem Speicher 114 aufgezeichnet sind, umfassen beispielsweise den Bildelementzählwert, die Empfindlichkeit, die funktionsfähige Bildfrequenz und eine Modellnummer des Festkörperbildsensors 108. Die aus dem Speicher 114 ausgelesenen eindeutigen Informationen werden durch die Ansteuersignalverarbeitungsschaltung 112 in die Systemsteuereinrichtung 202 ausgegeben.
  • Die Systemsteuereinrichtung 202 erzeugt Steuersignale durch Durchführen verschiedener Arithmetikoperationen beruhend auf den eindeutigen Informationen hinsichtlich des elektronischen Endoskops 100. Die Systemsteuereinrichtung 202 verwendet die erzeugten Steuersignale zur Steuerung der Betriebsabläufe und der Zeitvorgabe verschiedener Schaltungen in der Verarbeitungseinrichtung 200, um eine für das elektronische Endoskop geeignete Verarbeitung durchzuführen, das mit der Verarbeitungseinrichtung 200 verbunden ist.
  • Eine Zeitsteuereinrichtung 204 führt der Ansteuersignalverarbeitungsschaltung 112 gemäß einer durch die Systemsteuereinrichtung 202 durchgeführten Zeitsteuerung einen Taktimpuls zu. Gemäß dem von der Zeitsteuereinrichtung 204 zugeführten Taktimpuls steuert die Ansteuersignalverarbeitungsschaltung 112 die Ansteuerung des Festkörperbildsensors 108 gemäß einer Zeitvorgabe, die mit der Bildfrequenz der durch die Verarbeitungseinrichtung 200 verarbeiteten Bilder synchronisiert ist.
  • Betriebsabläufe im normalen Modus
  • Im Folgenden werden Signalverarbeitungsbetriebsabläufe in der Verarbeitungseinrichtung 200 in dem normalen Modus beschrieben.
  • Die in der Verarbeitungseinrichtung 200 enthaltene Signalverarbeitungsschaltung 220 weist eine Vorverarbeitungsschaltung 220A, eine Verarbeitungsschaltung 220B, eine Ausgabeschaltung 220C, eine Korrekturschaltung 220D, eine Scoring-Schaltung 220E und eine Abbildungsschaltung 220F auf.
  • Die Vorverarbeitungsschaltung 220A führt eine Demosaikverarbeitung bei von der Ansteuersignalverarbeitungsschaltung 112 mit dem Bildzyklus empfangenen RAW-Bildelementdaten durch, führt eine Umwandlung in RGB-Bildelementdaten durch, führt eine Farbmatrixverarbeitung, Weißabgleichanpassung, Farbtonverstärkungsanpassung, und dergleichen durch, und gibt die resultierenden Bildelementdaten zu der Verarbeitungsschaltung 220B aus.
  • Die Verarbeitungsschaltung 220B führt eine Verbesserungsverarbeitung, Gammakorrektur und dergleichen bei von der Vorverarbeitungsschaltung 220A empfangenen Bildelementdaten durch, erzeugt normale Farbbilddaten und gibt die Bilddaten zu der Ausgabeschaltung 220C aus.
  • Die Ausgabeschaltung 220C führt eine Verarbeitung bei den von der Verarbeitungsschaltung 220B empfangenen Farbbilddaten durch, wie eine Y/C-Trennung und Farbdifferenzkorrektur, und führt eine Umwandlung in ein vorbestimmtes Videoformatsignal durch. Das umgewandelte Videoformatsignal wird zum Monitor 300 ausgegeben. Dementsprechend werden auf dem Anzeigeschirm des Monitors 300 normale Farbbilder des biologischen Gewebes angezeigt.
  • Betriebsabläufe im speziellen Modus
  • Als nächstes werden Signalverarbeitungsvorgänge in der Verarbeitungseinrichtung 200 im speziellen Modus beschrieben. 2 zeigt ein Ablaufdiagramm einer speziellen Bilderzeugungsverarbeitung, die im speziellen Modus ausgeführt wird. Die spezielle Bilderzeugungsverarbeitung in 2 startet zu der Zeit, wenn der Betriebsmodus des elektronischen Endoskopsystems 1 in den speziellen Modus umgeschaltet wird.
  • S11 (Eingabe von Bildelementdaten eines aktuellen Bildes) in FIG. 2
  • Bei diesem Verarbeitungsschritt S11 werden Bildelementdaten für jedes Bildelement des aktuellen Bildes in die Vorverarbeitungsschaltung 220A eingegeben. Die Bildelementdaten für jedes Bildelement werden einer Signalverarbeitung durch die Vorverarbeitungsschaltung 220A unterzogen und dann in die Verarbeitungsschaltung 220B und in die Korrekturschaltung 220D eingegeben.
  • S12 (orthographische Projektion auf RG Ebene) in FIG. 2
  • 3 zeigt eine Darstellung zur schematischen Veranschaulichung eines Betriebs der Korrekturschaltung 220D, und zeigt eine RG-Ebene, die durch eine R-Achse und eine G-Achse definiert ist, die zueinander orthogonal sind. Es wird angemerkt, dass die R-Achse die Achse für die R-Komponente (R-Bildelementwerte) ist, und die G-Achse die Achse für die G-Komponente (G-Bildelementwerte) ist.
  • In diesem Verarbeitungsschritt S12 werden für jedes Bildelement Bildelementdaten in dem RGB-Farbraum, der durch die drei Primärfarben RGB definiert ist (dreidimensionale Bildelementdaten, die durch drei Farbkomponententypen gebildet sind) in RG-Bildelementdaten (zweidimensionale Bildelementdaten, die durch zwei Farbkomponententypen gebildet sind) umgewandelt. Wie es in 3 schematisch gezeigt ist, werden die Bildelementdaten für jedes Bildelement in dem RGB-Farbraum gemäß dem R- und G-Bildelementwerten auf der RG-Ebene aufgetragen (insbesondere in einem Abschnitt der RG-Ebene aufgetragen, der die Werte von R = 0 bis 255 und G = 0 bis 255 annimmt). Nachstehend werden der Einfachheit halber die Punkte, die den Bildelementdaten von Bildelementen in dem RGB-Farbraum entsprechen, und die Punkte, die den auf der RG-Ebene aufgetragenen Bildelementdaten entsprechen, als „Bildelemententsprechungspunkte“ bezeichnet. Es wird angemerkt, dass in 3 aus Klarheitsgründen Bildelemententsprechungspunkte lediglich für einige Bildelemente anstelle aller Bildelemente gezeigt sind.
  • Es wird angemerkt, dass bei vorliegender Erfindung die Farbkomponenten den Farbraum (auch einschließlich der Farbebene) bilden. Ferner sind Farbton und Sättigung aus dem Ausdruck „Farbkomponente“ ausgenommen.
  • Auf diese Weise werden im Verarbeitungsschritt S12 Stücke von Bildelementdaten im RGB-Farbraum (dreidimensionale Daten) auf die RG-Ebene orthographisch projiziert, sodass für jedes Stück von Bildelementdaten die Basis einer vertikalen Linie, die sich von dem entsprechenden Punkt im RGB-Farbraum herunter auf die RG-Ebene erstreckt, als Bildelemententsprechungspunkt (zweidimensionale Daten) betrachtet wird.
  • Es wird angemerkt, dass der Vorgang, durch den die Bildelementdaten von Bildelementen im RGB-Farbraum in Bildelementdaten in der RG-Ebene umgewandelt werden (das heißt, die orthographische Projektion), der im Verarbeitungsschritt S12 durchgeführt wird, durch eine Umwandlungseinrichtung durchgeführt wird. Gemäß einem Ausführungsbeispiel handhabt vorzugsweise die in 2 gezeigte Korrekturschaltung 220D die Funktionen der Umwandlungseinrichtung.
  • S13 (Einstellen einer Referenzachse) in FIG. 2
  • In diesem Verarbeitungsschritt S13 wird eine zur Berechnung des Entzündungsgrads einer Zielerkrankung, wie Gastritis, erforderliche Referenzachse durch die Korrekturschaltung 220D in der RG-Ebene eingestellt. 4 zeigt eine Darstellung zur Unterstützung der Beschreibung der Referenzachse.
  • Aufgrund von Einflüssen, wie eines Hämoglobinpigments, ist die R-Komponente gegenüber den anderen Komponenten (G-Komponente und B-Komponente) in biologischem Gewebe in der Körperhöhle des Patienten, die abzubilden ist, dominant, und je intensiver die Entzündung ist, erhöht sich typischerweise die Rötung (R-Komponente) relativ zu den anderen Farbtönen (G-Komponente und B-Komponente). In im Inneren einer Körperhöhle aufgenommenen Bildern von biologischem Gewebe verändert sich der Farbton allerdings gemäß Abbildungsbedingungen, die Helligkeit beeinflussen (beispielsweise Grad einer Beleuchtung mit weißem Licht L). Beispielsweise erscheinen beschattete Abschnitte, die vom weißen Licht L nicht erreicht werden, schwarz (achromatisch, beispielsweise mit R, G und B -Werten an oder nahe Null), und Abschnitte, wo das weiße Licht L intensiv auftrifft und spiegelartig reflektiert wird, erscheinen weiß (achromatisch, mit R, G und B -Werten an oder nahe 255). Das heißt, selbst wenn dieselbe entzündete anormale Stelle abgebildet wird, ist der Bildelementwert in dem Bild der anormalen Stelle höher, je intensiver das weiße Licht L darauf fällt. Aus diesem Grund kann in Abhängigkeit vom Grad der Beleuchtung mit dem weißen Licht L der Bildelementwert einen Wert annehmen, der keine Korrelation mit dem Grad der Entzündung hat.
  • Im Allgemeinen sind normale Stellen innerhalb einer Körperhöhle, die nicht entzündet sind, ausreichend mit Schleimhaut bedeckt. Wenn sich ein Blutgefäß erweitert, treten Blut und Körperflüssigkeit aus dem Blutgefäß aus, und daher wird die Schleimhaut relativ dünner, und insbesondere wird die Farbe von Blut leichter sichtbar. Eine Schleimhaut hat grundlegend eine weiße Farbe, hat jedoch einen etwas gelblichen Farbton, und der Farbton (gelbe Farbton), der in einem Bild erscheint, verändert sich entsprechend der Dunkelheit/Helligkeit (Schleimhautdicke). Dementsprechend wird die Dunkelheit/Helligkeit der Schleimhaut auch als Bewertungsbestimmungsreferenz zur Bewertung des Entzündungsgrads betrachtet.
  • Angesichts dessen wird im Verarbeitungsschritt S13 wie in 4 gezeigt eine Gerade, die durch (50,0) und (255,76) in der RG-Ebene läuft, als eine Referenzachse eingestellt, und eine Gerade, die durch (0,0) und (255,192) läuft, wird als eine Referenzachse eingestellt. Der Einfachheit halber wird die erstgenannte Referenzachse „Hämoglobinvariationsachse AX1“ genannt, und die zweitgenannte Referenzachse wird „Schleimhautvariationsachse AX2“ genannt.
  • Die in 4 gezeigte Zeichnung ist das Ergebnis nach dem Erfinder dieser Erfindung, der eine große Anzahl von Musterbildern von biologischem Gewebe in Körperhöhlen analysiert hat. Die bei der Analyse verwendeten Musterbilder enthielten Beispiele von Bildern verschiedener Stufen einer Entzündung, einschließlich Beispielen von Bildern einer Entzündung auf höchstem Symptomniveau (Beispiele von Bildern einer Entzündung mit dem schwersten Grad) und Beispiele von Bildern einer Entzündung auf niedrigstem Symptomniveau (Beispiele von Bildern, die als im Wesentlichen normale Stellen oder gesunde Stellen erachtet werden). Es wird angemerkt, dass im Beispiel in 4 aus Klarheitsgründen lediglich ein Teil der Punkte in der Darstellung gezeigt ist, die als Analyseergebnisse erhalten wurden. Die tatsächlichen Punkte, die als Analyseergebnisse erhalten wurden, sind viel mehr als die Anzahl der in 4 gezeigten Punkte.
  • Je höher der Entzündungsgrad an einer anormalen Stelle ist, desto intensiver ist wie vorstehend beschrieben die R-Komponente relativ zu den anderen Komponenten (G-Komponente und B-Komponente). Aus diesem Grund wird eine Achse an der Grenzlinie, die Regionen, wo Punkte verteilt sind, und nicht verteilt sind, trennt, und die näher an der R-Achse als an der G-Achse ist, die die Grenzlinie ist, die durch (50,0) und (255,76) im Beispiel in 4 läuft, als die Achse mit einer hohen Korrelation mit einer Läsionsstelle eingestellt, die das höchste Symptomniveau (eine entzündete Stelle (anormale Stelle) mit dem höchsten Symptomniveau) aufweist. Diese Achse ist die Hämoglobinvariationsachse AX1. Aufgetragene Punkte, die entzündeten Stellen entsprechen, die das höchste Symptomniveau aufweisen, und unter verschiedenen Abbildungsbedingungen abgebildet wurden, wie einem Beleuchtungsgrad mit dem weißen Licht L, überlappen die Hämoglobinvariationsachse AX1.
  • Je geringer das Ausmaß der Entzündung ist, und je näher eine Stelle einer normalen Stelle ist, desto intensiver ist andererseits die G-Komponente (oder B-Komponente) relativ zu der R-Komponente. Aus diesem Grund ist eine Achse auf der Grenzlinie, die Regionen, wo aufgetragene Punkte verteilt sind, und nicht verteilt sind, trennt, und die näher an der G-Achse als der R-Achse ist, die die Grenzlinie ist, die durch (0,0) und (255,192) in dem Beispiel in 4 läuft, als die Achse mit einer hohen Korrelation mit einer Läsionsstelle mit dem niedrigsten Symptomniveau (eine entzündete Stelle (anormale Stelle) mit dem niedrigsten Symptomniveau, die als im Wesentlichen normale Stelle oder in anderen Worten gesunde Stelle erachtet wird) eingestellt. Diese Achse ist die Schleimhautvariationsachse AX2. Aufgetragene Punkte, die entzündeten Stellen entsprechen, die das niedrigste Symptomniveau haben (das heißt, Stellen, die als im Wesentlichen normale Stellen erachtet werden), und unter verschiedenen Abbildungsbedingungen abgebildet wurden, wie einem Grad einer Beleuchtung mit dem weißen Licht L, überlappen mit der Schleimhautvariationsachse AX2.
  • Als weitergehende Erläuterung wird eine entzündete Stelle mit der höchsten Symptomebene für eine Zielerkrankung von einer Blutung begleitet. Andererseits ist eine entzündete Stelle mit dem niedrigsten Symptomniveau eine im Wesentlichen normale Stelle, und ist daher durch ausreichend Schleimhaut bedeckt. Aus diesem Grund ist ersichtlich, dass die Punkte in der in 4 gezeigten RG-Ebene in der Region verteilt sind, die zwischen der Achse, die die höchste Korrelation mit Blut (Hämoglobinpigment) hat, und der Achse liegt, die die höchste Korrelation mit dem Farbton von Schleimhaut hat. Aus diesem Grund entspricht aus den Grenzlinien, die Regionen, wo aufgetragene Punkte verteilt sind, und nicht verteilt sind, trennen, die der R-Achse (größeren R-Komponente) näher liegende Grenzlinie der Achse, die eine entzündete Stelle mit dem höchsten Symptomniveau angibt, das heißt, der Hämoglobinvariationsachse AX1, und die näher an der G-Achse (größere G-Komponente) liegende Grenzlinie entspricht der Achse, die eine entzündete Stelle mit dem niedrigsten Symptomniveau angibt, das heißt, der Schleimhautvariationsachse AX2.
  • S14 (Korrektur von Bildelementdaten) in FIG. 2
  • Ein Korrekturmatrixkoeffizient, der im nachstehend beschriebenen Kalibriermodus berechnet wird, ist in einem Speichermedium, wie einem Speicher in der Korrekturschaltung 220D oder dem Speicher 222 gespeichert. Zur Unterdrückung einer Schwankung in Scorewerten, wenn dieselbe Läsionsstelle mit unterschiedlichen elektronischen Endoskopsystemen abgebildet wird, oder anders gesagt, zur Unterdrückung individueller Unterschiede zwischen elektronischen Endoskopen, werden die Bilddaten (R, G) am Bildelemententsprechungspunkt jedes Bildelements in diesem Verarbeitungsschritt S14 durch die Korrekturschaltung 220D unter Verwendung eines Korrekturmatrixkoeffizienten korrigiert.
  • Korrekturmatrixbeispiel ( R new G new ) = ( M 00 M 01 M 10 M 11 ) ( R G )
    Figure DE112017002943T5_0001
  • Rnew:
    korrigierte Bilddaten (R-Komponente)
    Gnew:
    korrigierte Bildelementdaten (G-Komponente)
    M00-M11:
    Korrekturmatrixkoeffizient
    R:
    Unkorrigierte Bildelementdaten (R-Komponente)
    G:
    Unkorrigierte Bildelementdaten (G-Komponente)
  • Es wird angemerkt, dass der Vorgang der Korrektur des Bildelemententsprechungspunkts jedes Bildelements unter Verwendung eines Korrekturmatrixkoeffizienten, der in diesem Verarbeitungsschritt S14 ausgeführt wird, durch eine Farbkomponentenkorrektureinrichtung durchgeführt wird. Gemäß einem Ausführungsbeispiel handhabt vorzugsweise die in 2 gezeigte Korrekturschaltung 220D die Funktionen der Farbkomponentenkorrektureinrichtung.
  • S15 (Winkelberechnung) in FIG. 2
  • In diesem Verarbeitungsschritt S15 wird ein Winkel zur Berechnung eines Entzündungsgrads für die Bildelementdaten (Rnew, Gnew) jedes Bildelements im aktuellen Bild berechnet, das durch die Korrektur erhalten wird, die durch die Scoring-Schaltung 220E im Verarbeitungsschritt S14 durchgeführt wird (Farbkorrektur von Bildelementdaten). Dieser Verarbeitungsschritt S15 ist insbesondere eine Verarbeitung zur Berechnung eines Winkels für jedes Bildelement, der durch die Hämoglobinvariationsachse AX1 und ein Liniensegment L gebildet wird, das den Bildelemententsprechungspunkt (Rnew, Gnew) und einen Schnittpunkt (Referenzpunkt) O' der Hämoglobinvariationsachse AX1 und der Schleimhautvariationsachse AX2 verbindet (vgl. 3). Es wird angemerkt, dass sich der Referenzpunkt O' an den Koordinaten (-150, -75) befindet.
  • S16 (Normalisierungsverarbeitung) in FIG. 2
  • Wenn sich die Helligkeit des aufgenommenen Bildes von biologischem Gewebe in einer Körperhöhle gemäß dem Beleuchtungsgrad mit dem weißen Licht L ändert, wird der Farbton des aufgenommenen Bildes durch individuelle Unterschiede, den abgebildeten Ort, den Zustand der Entzündung und dergleichen beeinflusst, jedoch ändert sich in der RG-Ebene der Farbton ungefähr entlang der Hämoglobinvariationsachse AX1 an einer entzündeten Stelle mit dem höchsten Symptomniveau, und der Farbton ändert sich ungefähr entlang der Schleimhautvariationsachse AX2 an einer entzündeten Stelle mit dem niedrigsten Symptomniveau, das heißt, einer gesunden Stelle. Es wird auch gefolgert, dass sich der Farbton des aufgenommenen Bildes an einer entzündeten Stelle mit einem moderaten Symptomniveau auch mit derselben Tendenz ändert. Wenn sich ein einer entzündeten Stelle entsprechender Bildelemententsprechungspunkt gemäß dem Grad der Beleuchtung mit dem weißen Licht L ändert, tritt eine Verschiebung in der Azimutwinkelrichtung auf, wobei der Referenzpunkt O' als Ursprung dient. Das heißt, wenn sich ein einer entzündeten Stelle entsprechender Bildelemententsprechungspunkt gemäß dem Grad der Beleuchtung mit dem weißen Licht L ändert, ändert sich die Entfernung vom Ursprung O', während der Winkel θ konstant bleibt. Dies bedeutet, dass der Winkel θ ein Parameter ist, der im Wesentlichen nicht durch eine Änderung in der Helligkeit des aufgenommenen Bildes beeinflusst wird.
  • Je kleiner der Winkel θ ist, desto intensiver ist die R-Komponente relativ zur G-Komponente, was angibt, dass das Symptomniveau der entzündeten Stelle höher ist. Je größer der Winkel θ ist, desto intensiver ist die G-Komponente relativ zur R-Komponente, was angibt, dass das Symptomniveau der entzündeten Stelle geringer ist.
  • In Anbetracht dessen normalisiert die Scoring-Schaltung 220E in diesem Verarbeitungsschritt S16 für all die Bildelemente in dem aktuellen Bild den Winkel θ derart, dass er einen Wert von 255 annimmt, wenn der Winkel θ Null ist, und einen Wert Null annimmt, wenn der Winkel θ θMAX ist. Es wird angemerkt, dass θMAX äquivalent zu dem Winkel ist, der durch die Hämoglobinvariationsachse AX1 und die Schleimhautvariationsachse AX2 gebildet wird. Dies liefert daher Informationen, die einen Entzündungsgrad angeben, der in den Bereich von 0 bis 255 fällt, das heißt, 8-Bit Informationen.
  • S17 (Berechnung von Entzündungsbewertungswert) in FIG. 2
  • In diesem Verarbeitungsschritt S17 berechnet die Scoring-Schaltung 220E den Mittelwert des Grads der Entzündung all der Bildelemente in dem aktuellen Bild, oder berechnet einen integrierten Wert des Grads der Entzündung all der Bildelemente als vorläufigen Entzündungsbewertungswert des gesamten aufgenommenen Bildes.
  • Es wird angemerkt, dass der Vorgang der Berechnung des Entzündungsbewertungswerts, der in diesem Verarbeitungsschritt S17 ausgeführt wird, durch eine Beschaffungseinrichtung durchgeführt wird. Gemäß einem Ausführungsbeispiel handhabt vorzugsweise die in 2 gezeigte Scoring-Schaltung 220E die Funktionen der Beschaffungseinrichtung.
  • S18 (Bestimmung von Entzündungsbewertungswert) in FIG.2
  • Affine Transformationskoeffizienten α und β, die im nachstehend beschriebenen Kalibriermodus berechnet werden, sind in einem Speichermedium, wie einem Speicher in der Korrekturschaltung 220D oder dem Speicher 222 gespeichert. Zur Unterdrückung einer Schwankung in Scorewerten, wenn dieselbe Läsionsstelle mit verschiedenen elektronischen Endoskopsystemen abgebildet wird, oder anders gesagt, zur Unterdrückung individueller Unterschiede zwischen elektronischen Endoskopen wird in diesem Verarbeitungsschritt S18 der vorläufige Entzündungsbewertungswert, der im Verarbeitungsschritt S17 berechnet wurde (Berechnung von Entzündungsbewertungswert) einer affinen Transformation unter Verwendung der affinen Transformationskoeffizienten α und β zum Erhalten eines definitiven Werts unterzogen, wie es in dem folgenden Ausdruck gezeigt ist. Außerdem werden bei diesem Verarbeitungsschritt S18 Anzeigedaten für den Entzündungsbewertungswert erzeugt, der in einen definitiven Wert transformiert wurde (Beispiel von Anzeigedaten: Score: 00).
  • Beispiel einer affinen Transformation H = α H' + β
    Figure DE112017002943T5_0002
    • H: Entzündungsbewertungswert (definitiver Wert)
    • H': Entzündungsbewertungswert (vorläufiger Wert)
  • Im Folgenden wird ein Verfahren zur Berechnung der affinen Transformationskoeffizienten α und β beschrieben. Bei der Berechnung der affinen Transformationskoeffizienten α und β wird ein vorläufiger Entzündungsbewertungswert (der nachstehend der Einfachheit halber „Musterentzündungsbewertungswert“ genannt wird) für eine Vielzahl von Musterbildern berechnet. Ein Koeffizientensatz (Steigung α, Achsenabschnitt β) zum Transformieren des größten der berechneten Musterentzündungsbewertungswerte in einen ersten bestimmten Wert, beispielsweise den maximalen Wert unter den Entzündungsbewertungswerten, und zum Transformieren des kleinsten Musterentzündungsbewertungswerts in einen zweiten bestimmten Wert, der kleiner als der erste bestimmte Wert ist, beispielsweise den minimalen Wert unter den Entzündungsbewertungswerten, wird als die affinen Transformationskoeffizienten erhalten.
  • Es wird angemerkt, dass verschiedene Koeffizienten als die affinen Transformationskoeffizienten α und β denkbar sind. Beispielsweise können die affinen Transformationskoeffizienten α und β ein Koeffizientensatz zum Transformieren des Mittelwerts all der berechneten Musterentzündungsbewertungswerte in einen bestimmten Wert sein, oder können ein Koeffizientensatz zum Minimieren der Summe der Differenzen zwischen einem vorbestimmten Sollwert und den jeweiligen Musterentzündungsbewertungswerten sein.
  • Es wird angemerkt, dass der Vorgang der Durchführung der affinen Transformation bei den Entzündungsbewertungswerten unter Verwendung der affinen Transformationskoeffizienten α und β, der in diesem Verarbeitungsschritt S18 ausgeführt wird, durch eine Bewertungsergebniskorrektureinrichtung durchgeführt wird. Gemäß einem Ausführungsbeispiel handhabt vorzugsweise die in 2 gezeigte Scoring-Schaltung 220E die Funktionen der Bewertungsergebniskorrektureinrichtung.
  • S19 (Bestimmung einer Anzeigefarbe in einem Farbabbildungsbild) in FIG. 2
  • Bei diesem Ausführungsbeispiel kann ein Farbabbildungsbild angezeigt werden, bei dem ein aufgenommenes Bild in einer Mosaikform mit Anzeigefarben angezeigt wird, die dem Grad einer Entzündung entsprechen. Um die Anzeige eines Farbabbildungsbildes zu ermöglichen, ist eine Tabelle einer Entsprechung zwischen Werten eines Entzündungsgrades und einer vorbestimmten Anzeigefarbe in einer vorbestimmten Speicherregion in der Scoring-Schaltung 220E gespeichert. In dieser Tabelle sind verschiedene Anzeigefarben beispielsweise mit einem jeweiligen Bereich aus fünf Werten assoziiert. Beispielsweise ist gelb mit dem Wertebereich des Entzündungsgrads 0 bis 5 assoziiert, verschiedene Farben sind mit aufeinanderfolgenden Gruppen von fünf höheren Werten entsprechend der Farbordnung im Farbkreis assoziiert, und rot ist mit dem Wertebereich 250 bis 255 assoziiert.
  • In diesem Verarbeitungsschritt S19 wird die Anzeigefarbe in dem Farbabbildungsbild für jedes Bildelement in dem aktuellen Bild durch die Abbildungsschaltung 220F beruhend auf der vorstehend beschriebenen Tabelle derart bestimmt, dass sie die Farbe ist, die dem Wert des Entzündungsgrads entspricht, der in S17 erhalten wurde (Berechnung des Entzündungsbewertungswerts).
  • S20 (Erzeugung von Farbabbildungsbilddaten) in FIG. 2
  • In diesem Verarbeitungsschritt S20 wandelt die Abbildungsschaltung 220F die Farbdaten jedes Bildelements in dem aktuellen Bild in Daten für die Anzeigefarbe um, die im Verarbeitungsschritt S19 (Bestimmung einer Anzeigefarbe im Farbabbildungsbild) bestimmt wurde, und erzeugt Farbabbildungsbilddaten, die aus Bildelementen gebildet sind, die in den umgewandelten Anzeigefarben anzuzeigen sind.
  • Es wird angemerkt, dass der Vorgang der Erzeugung der Farbabbildungsbilddaten, der in diesem Verarbeitungsschritt S20 ausgeführt wird, durch eine Beschaffungseinrichtung durchgeführt wird. Gemäß einem Ausführungsbeispiel handhabt vorzugsweise die in 2 gezeigte Abbildungsschaltung 220F die Funktionen der Farbabbildungsbildbeschaffungseinrichtung.
  • S21 (Überlagerungsverarbeitung) in FIG. 2
  • In diesem Verarbeitungsschritt S21 stellt die Ausgabeschaltung 220C einen Koeffizienten als das Verhältnis zur Überlagerung eines normalen Farbbildes, das auf normalen Farbbilddaten beruht, die von der Verarbeitungsschaltung 220B empfangen werden, und eines Farbabbildungsbildes ein, das auf Farbabbildungsbilddaten beruht, die im Verarbeitungsschritt S20 (Erzeugung von Farbabbildungsbilddaten) erzeugt werden, und addiert die erstgenannten Bilddaten (normalen Farbbilddaten) und die zweitgenannten Bilddaten (Farbabbildungsbilddaten) beruhend auf dem Koeffizienten.
  • Es wird angemerkt, dass die Einstellung des Koeffizienten durch eine Benutzerbedienung geeignet geändert werden kann. Wird beispielsweise eher die Anzeige des normalen Farbbildes gewünscht, wird der Koeffizient für die Farbbilddaten höher eingestellt, und wird eher die Anzeige des Farbabbildungsbildes gewünscht, wird der Koeffizient für die Farbabbildungsbilddaten höher eingestellt.
  • S22 (Ende-Bestimmung) in FIG. 2
  • In diesem Verarbeitungsschritt S22 wird bestimmt, ob der Betriebsmodus des elektronischen Endoskopsystems 1 auf einen vom speziellen Modus verschiedenen Modus umgeschaltet wurde oder nicht. Wird bestimmt, dass der Betriebsmodus nicht in einen anderen Modus umgeschaltet wurde (S22: NEIN), kehrt die Prozedur in der speziellen Bilderzeugungsverarbeitung in 2 zu Verarbeitungsschritt S11 (Eingabe von Bildelementdaten vom aktuellen Bild) zurück. Wird allerdings bestimmt, dass der Betriebsmodus in einen anderen Modus umgeschaltet wurde (S22: JA), endet die spezielle Bilderzeugungsverarbeitung in 2.
  • Bildschirmanzeigebeispiel
  • Die Ausgabeschaltung 220C erzeugt Anzeigedaten für ein Überlagerungsbild, das das normale Farbbild und das Farbabbildungsbild enthält, beruhend auf den Bilddaten, die durch die Additionsverarbeitung im Verarbeitungsschritt S21 (Überlagerungsverarbeitung) in 2 erhalten werden, führt eine Maskierungsverarbeitung zum Maskieren der Randregion des Anzeigebildschirms des Monitors 300 (Peripherie der Bildanzeigeregion) durch, und erzeugt ferner Monitoranzeigeschirmdaten, in denen der Entzündungsbewertungswert auf der durch die Maskierungsverarbeitung erzeugten Maskierungsregion überlagert ist. Die Ausgabeschaltung 220C wandelt die erzeugten Monitoranzeigeschirmdaten in ein vorbestimmtes Videoformatsignal um und gibt das Signal zum Monitor 300 aus.
  • 5 zeigt ein Beispiel einer Bildschirmanzeige im speziellen Modus. Wie es in 5 gezeigt ist, enthält der Anzeigeschirm des Monitors 300 das intrakavitäre aufgenommene Bild (Überlagerungsbild, in dem das normale Bild und das Farbabbildungsbild überlagert sind) in der zentralen Region, und eine die Bildanzeigeregion umgebende maskierte Bildschirmregion. Ferner wird der Entzündungsbewertungswert (Score) in der Maskierungsregion angezeigt.
  • Es wird angemerkt, dass der Anzeigemodus des aufgenommenen Bildes im speziellen Modus nicht darauf beschränkt ist, dass er eine Überlagerungsanzeige eines normalen Farbbildes und eines Farbabbildungsbildes ist. Beispielsweise gibt es auch Anzeigemodi, wie eine Anordnung des normalen Farbbildes und des Farbabbildungsbildes Seite an Seite auf demselben Bildschirm und eine Anzeige lediglich des Farbabbildungsbildes. Im erstgenannten Fall können sowohl das normale Farbbild als auch das Farbabbildungsbild mit derselben Größe angezeigt werden, oder es ist eine Konfiguration möglich, bei der entweder das normale Farbbild oder das Farbabbildungsbild als Hauptbild angezeigt wird, und das andere Bild als Unterbild angezeigt wird, das kleiner als das Hauptbild ist.
  • Der Vorgang der Anzeige einer Abbildung, die den Entzündungsbewertungswert und das Farbabbildungsbild enthält, auf dem Anzeigeschirm des Monitors 300, der durch die Ausgabeschaltung 220C ausgeführt wird, wird durch eine Anzeigeeinrichtung durchgeführt. Gemäß einem Ausführungsbeispiel handhabt vorzugsweise die in 2 gezeigte Ausgabeschaltung 220C die Funktionen der Anzeigeeinrichtung.
  • Auf diese Weise werden gemäß dem Ausführungsbeispiel ein präziser Entzündungsbewertungswert und ein Farbabbildungsbild lediglich durch Durchführen einer einfachen Berechnungsverarbeitung und ohne eine Durchführung einer nichtlinearen Berechnungsverarbeitung wie einer Farbtonverstärkungsverarbeitung oder komplizierten Farbraumumwandlungsverarbeitung oder dergleichen erhalten. Das heißt, der Umfang an Hardwareressourcen, die für eine Entzündungsbewertungswertberechnung und Farbabbildungsbilderzeugung erforderlich sind, ist erheblich verringert.
  • Gemäß dem Ausführungsbeispiel verändern sich der Entzündungsbewertungswert und das Farbabbildungsbild im Wesentlichen nicht in Abhängigkeit von Abbildungsbedingungen, die die Helligkeit des aufgenommenen Bildes in der Körperhöhle beeinflussen, wie dem Grad der Beleuchtung mit Bestrahlungslicht. Aus diesem Grund kann der Bediener Läsionsstellen oder dergleichen präzise identifizieren, und kann eine genaue Diagnose objektiver durchführen.
  • Betriebsabläufe im Kalibriermodus
  • Als nächstes werden Betriebsabläufe des elektronischen Endoskopsystems 1 im Kalibriermodus beschrieben. Bei der Kalibrierverarbeitung, die im Kalibriermodus ausgeführt wird, wird eine Kalibrierung zur Korrektur einer bestimmten Farbe durchgeführt, die sich auf eine Zielerkrankung bezieht.
  • 6 zeigt ein Ablaufdiagramm einer im Kalibriermodus ausgeführten Kalibrierverarbeitung. Die Kalibrierverarbeitung in 6 wird beispielsweise zur Zeit der Auslieferung oder Wartung ausgeführt, und wird gestartet, wenn der Betriebsmodus des elektronischen Endoskopsystems 1 in den Kalibriermodus geschaltet wird.
  • Es wird angemerkt, dass Vorbereitungsverarbeitungen durch einen Arbeiter vor der Ausführung der Kalibrierverarbeitung durchgeführt werden können. Insbesondere passt der Arbeiter den Weißabgleich des elektronischen Endoskopsystems 1 unter Verwendung einer für einen Weißabgleich dedizierten Vorrichtung, oder eines White Board, einer Gray Card oder dergleichen an, die dieselben Spezifikationen wie die für einen Weißabgleich dedizierte Vorrichtung aufweist.
  • Wenn die Weißabgleichanpassung abgeschlossen ist, stellt der Arbeiter das elektronische Endoskopsystem 1 in eine Kalibrierungsvorrichtung und startet eine Kalibrierungssoftware auf einem elektronischen Endoskopsystemendgerät (PC), das mit der Verarbeitungseinrichtung 200 verbunden ist.
  • Der Arbeiter führt dann eine Luminanzanpassung bei einem aufgenommenen Bild durch, das durch das elektronische Endoskop 100 aufgenommen wird. Beispielsweise passt der Arbeiter die Apertur der Blende 212 manuell derart an, dass der Luminanzwert eines aufgenommenen Bildes, das durch Abbilden eines Objekts für eine Luminanzanpassung erhalten wird, mit einem Sollluminanzwert übereinstimmt. Es wird angemerkt, dass der Luminanzwert des aufgenommenen Bildes mit der Kalibrierungssoftware überprüft werden kann.
  • 7 zeigt eine schematische Konfiguration einer Kalibrierungsvorrichtung 400 gemäß diesem Ausführungsbeispiel. Wie es in 7 gezeigt ist, enthält die Kalibrierungsvorrichtung 400 eine Messbox 402.
  • Der Arbeiter führt den distalen Endabschnitt des elektronischen Endoskops 100 durch die Einführungsöffnung 402a zu einer vorbestimmten Position in der Messbox 402 ein. Die Einführungsöffnung 402a ist aufgrund der Einführung des distalen Endabschnitts des elektronischen Endoskops 100 in die Messbox 402 im Wesentlichen geschlossen. Demnach tritt kein externes Licht in die Messbox 402 ein, und die Messbox 402 arbeitet als schwarzer Kasten. Die Kalibrierungsgenauigkeit ist verbessert, da bei der Durchführung der Kalibrierungsverarbeitung kein Einfluss von externem Licht vorhanden ist.
  • Im Innern der Messbox 402 ist ein Paar von Indikatoren (bestimmte Farbmuster) 404A und 404B an Positionen gegenüber der Einführungsöffnung 402a eingestellt, beziehungsweise an Positionen, die der führenden Stirnseite (Seite, die mit der Lichtverteilungslinse, der Objektivlinse und dergleichen versehen ist) des elektronischen Endoskops 100 gegenüberliegt. Die Indikatoren (bestimmte Farbmuster) sind Farbindikatoren, die bestimmte Farben simulieren, die sich auf eine Zielerkrankung beziehen, und gemäß der Zielerkrankung bei Bedarf gewechselt werden können.
  • Der Indikator (das bestimmte Farbmuster) 404A ist ein Indikator, der eine erste Farbe simuliert, die die Farbe von biologischem Gewebe darstellt, wenn das Symptomniveau der Zielerkrankung beispielsweise das höchste ist. Bei diesem Ausführungsbeispiel ist der Indikator 404A ein plattenförmiges Element, das mit einer Farbe angestrichen ist, die einem vorbestimmten Punkt (einem nachstehend beschriebenen Korrekturzielpunkt PT1) auf der Hämoglobinvariationsachse AX1 in der RG-Ebene entspricht.
  • Der Indikator (das bestimmte Farbmuster) 404B ist ein Indikator, der eine zweite Farbe simuliert, die beispielsweise die Farbe von gesundem biologischem Gewebe ist. Bei diesem Ausführungsbeispiel ist der Indikator 404B ein plattenförmiges Element, das mit einer Farbe angestrichen ist, die einem vorbestimmten Punkt (einem nachstehend beschriebenen Korrekturzielpunkt PT2) auf der Schleimhautvariationsachse AX2 in der RG-Ebene entspricht.
  • S31 (Abbildung von Indikator) in FIG. 6
  • Während er das auf dem Anzeigeschirm des Monitors 300 angezeigte aufgenommene Bild betrachtet, passt der Arbeiter die Position des distalen Endabschnitts des elektronischen Endoskops 100 in der Messbox 402 derart an, dass die Indikatoren 404A und 404B in den Bildwinkel des elektronischen Endoskops 1 passen. In diesem Verarbeitungsschritt S31 wird durch das elektronische Endoskop 100 ein Bild der Indikatoren 404A und 40B im Bildwinkel gemäß einer durch den Arbeiter eingegebenen Bedienung aufgenommen, und das aufgenommene Bild wird in die Verarbeitungseinrichtung 200 eingegeben. Es wird angemerkt, dass Bilder der Indikatoren 404A und 404B separat aufgenommen werden können. Unter Verwendung der Kalibriervorrichtung 400 kann der Arbeiter ein Bild des Indikators 404A und des Indikators 404B unter denselben Bedingungen aufnehmen.
  • S32 (Berechnung von realem Abbildungsdatenpunkt P) in FIG. 6
  • Die Ausführung dieses Verarbeitungsschritts S32 wird gemäß einer vom Arbeiter eingegeben Bedienung oder automatisch nach Aufnahme einer festgelegten Anzahl von Bildern (hier einem Bild) gestartet.
  • In diesem Verarbeitungsschritt S32 berechnet die Kalibrierungssoftware reale Abbildungsdatenpunkte PD1 und PD2 als reale Messwerte der Indikatoren 404A und 404B beruhend auf den aufgenommenen Bilddaten, die im Verarbeitungsschritt S31 (Abbildung der Indikatoren) aufgenommen wurden. Der Mittelwert der Bildelemente (beispielsweise 200 x 200 Bildelemente) im Mittenbereich des Bildes des Indikators 404A, der aus dem aufgenommenen Bild extrahiert wird, wird beispielsweise als realer Abbildungsdatenpunkt PD1 berechnet, und der Mittelwert der Bildelemente (beispielsweise 200 x 200 Bildelemente) im Mittenbereich des Bildes des Indikators 404B, der aus dem aufgenommenen Bild extrahiert wird, wird als realer Abbildungsdatenpunkt PD2 berechnet.
  • S33 (orthographische Projektion realer Abbildungsdatenpunkte auf RG-Ebene) in FIG. 6
  • In diesem Verarbeitungsschritt S33 projiziert die Kalibrierungssoftware die realen Abbildungsdatenpunkte PD1 (RD1 , GD1 , BD1 ) und die realen Abbildungsdatenpunkte PD2 (RD2 , GD2 , BD2 ) im RGB-Farbraum orthographisch auf die RG-Ebene, die mit einer Zielerkrankung assoziiert ist, zur Umwandlung in einen realen Abbildungsdatenpunkt PD1 (RD1 , GD1 ) und einen realen Abbildungsdatenpunkt PD2 (RD2 , GD2 ).
  • S34 (Berechnung von Korrekturmatrixkoeffizient) in FIG. 6
  • In diesem Verarbeitungsschritt S34 wird ein Korrekturmatrixkoeffizient durch die Kalibrierungssoftware berechnet. Wie es in dem folgenden Ausdruck gezeigt ist, ist der Korrekturmatrixkoeffizient ein Koeffizient zum Korrigieren von Messwerten, das heißt, des realen Abbildungsdatenpunkts PD1 (RD1 , GD1 ) und des realen Abbildungsdatenpunkts PD2 (RD2 , GD2 ) in Sollwerte, das heißt, einen Korrekturzielpunkt PT1 (RT1 , GT1 ) und einen Korrekturzielpunkt PT2 (RT2 , GT2 ). Es wird angemerkt, dass der Korrekturzielpunkt PT1 (RT1 , GT1 ) der Farbe auf der Hämoglobinvariationsachse AX1 entspricht, die durch den Indikator 404A simuliert wird, und der Korrekturzielpunkt PT2 (RT2 , GT2 ) der Farbe auf der Schleimhautvariationsachse AX2 entspricht, die durch den Indikator 404B simuliert wird. ( R T1 R T2 G T1 G T2 ) = ( M 00 M 01 M 10 M 11 ) ( R D1 R D2 G D1 G D2 )
    Figure DE112017002943T5_0003
  • Aus dem vorstehenden Ausdruck ist ersichtlich, dass der Korrekturmatrixkoeffizient durch den folgenden Ausdruck erhalten wird. ( M 00 M 01 M 10 M 11 ) = ( R T1 R T2 G T1 G T2 ) ( R D1 R D2 G D1 G D2 ) 1
    Figure DE112017002943T5_0004
  • Es wird angemerkt, dass die Operation der Berechnung des Korrekturmatrixkoeffizienten, die in diesem Verarbeitungsschritt S34 ausgeführt wird, durch eine Farbkomponentenkorrekturkoeffizientberechnungseinrichtung durchgeführt wird. Gemäß einem Ausführungsbeispiel führt vorzugsweise ein Softwaremodul im elektronischen Endoskopsystemendgerät (PC), das mit der Verarbeitungseinrichtung 200 verbunden ist, die Funktion der Farbkomponentenkorrekturkoeffizientberechnungseinrichtung aus.
  • S35 (Abbildung von Musterbild) in FIG. 6
  • In diesem Verarbeitungsschritt S35 werden Bilder einer Vielzahl von Musterbildern unter Verwendung des elektronischen Endoskops 1 aufgenommen. Beispiele der Musterbilder beinhalten aufgenommene Bilder von Indikatoren (der Indikatoren 404A und 404B oder beispielsweise weiterer Indikatoren), die in der Messbox 402 eingestellt sind, und Bilder von Indikatoren, die unter Verwendung einer Einrichtung aufgenommen werden, die von der Kalibriervorrichtung 400 verschieden ist.
  • S36 (Berechnung von Musterentzündungsbewertungswert) in 6 In diesem Verarbeitungsschritt S36 wird ein Musterentzündungsbewertungswert für jedes der Musterbilder berechnet, die im Verarbeitungsschritt S35 (Abbildung eines Musterbildes) abgebildet wurden.
  • S37 (Berechnung eines affinen Transformationskoeffizienten) in FIG. 6
  • In diesem Verarbeitungsschritt S37 werden affine Transformationskoeffizienten α und β unter Verwendung der Musterentzündungsbewertungswerte berechnet, die für die Musterbilder im Verarbeitungsschritt S36 (Berechnung eines Musterentzündungsbewertungswerts) berechnet wurden. Es wird angemerkt, dass das Verfahren zur Berechnung der affinen Transformationskoeffizienten α und β ein beliebiges der im Verarbeitungsschritt S18 (Bestimmung von Entzündungsbewertungswert) in 2 beschriebenen Verfahren sein kann, oder ein anderes Verfahren sein kann.
  • Es wird angemerkt, dass die Operation der Berechnung der affinen Transformationskoeffizienten α und β, die im Verarbeitungsschritt S37 ausgeführt wird, durch eine Bewertungsergebniskorrekturkoeffizientberechnungseinrichtung durchgeführt wird. Gemäß einem Ausführungsbeispiel führt vorzugsweise ein Softwaremodul im elektronischen Endoskopsystemendgerät (PC), das mit der Verarbeitungseinrichtung 200 verbunden ist, die Funktion der Bewertungsergebniskorrekturkoeffizientberechnungseinrichtung aus.
  • S38 (Speicherung von Koeffizienten) in FIG. 6
  • In diesem Verarbeitungsschritt S38 werden der Korrekturmatrixkoeffizient, der im Verarbeitungsschritt S34 (Berechnung von Korrekturmatrixkoeffizienten) berechnet wurde, und die affinen Transformationskoeffizienten α und β, die im Verarbeitungsschritt S37 (Berechnung von affinen Transformationskoeffizienten) berechnet wurden, in einem Speichermedium, wie einem Speicher in der Korrekturschaltung 220D der Verarbeitungseinrichtung 200 oder dem Speicher 222 gespeichert. Die in 6 gezeigte Kalibrierungsverarbeitung ist damit abgeschlossen.
  • Durch die Ausführung einer Kalibrierungsverarbeitung bei jedem elektronischen Endoskopsystem können im Wesentlichen dieselben Bewertungsergebnisse erhalten werden, das heißt, derselbe Entzündungsbewertungswert und dasselbe Farbabbildungsbild, wenn durch jedes elektronische Endoskopsystem sich auf eine Zielerkrankung beziehende Indikatoren abgebildet werden. Aus diesem Grund kann eine Schwankung im Bewertungsergebnis selbst dann unterdrückt werden, wenn Bilder einer Zielerkrankung durch das jeweilige elektronische Endoskopsystem tatsächlich aufgenommen werden.
  • Das heißt, gemäß dem Ausführungsbeispiel beseitigt die Einschränkung des Ziels für die Korrektur, oder insbesondere die Einstellung einer bestimmten sich auf eine Zielerkrankung beziehenden Farbe als Ziel der Korrektur vorteilhaft einen Fehler, der in Farbdaten verbleibt, die beim Bewerten der Zielerkrankung verwendet werden, das heißt, hauptsächlich eines Fehlers, der sich aus einer Schwankung ergibt, die durch individuelle Unterschiede zwischen optischen Komponenten des elektronischen Endoskops 100 verursacht wird. Es verbessert sich daher die Bewertungsgenauigkeit.
  • Gemäß einem weiteren Ausführungsbeispiel sind die Farbkomponenten, die einer Farbkorrektur unter Verwendung des Korrekturmatrixkoeffizienten unterzogen werden, lediglich die m Typen von Farbkomponenten, die durch Umwandeln von den n Typen von Farbkomponenten erhalten werden, und keine (n - m) Typen von Farbkomponenten enthalten. Die (n - m) Typen von Farbkomponenten werden zum Erhalten des Entzündungsbewertungswerts nicht verwendet, und müssen daher einer Farbkorrektur nicht unterzogen werden. Auf diese Weise wird eine Farbkorrektur lediglich bei den Farbkomponenten durchgeführt, die zum Erhalten des Entzündungsbewertungswerts verwendet werden, und daher kann der Korrekturmatrixkoeffizient beruhend auf den Indikatoren genau erzeugt werden.
  • Es wird angemerkt, dass es nicht wesentlich ist, dass sowohl eine Korrektur unter Verwendung des Korrekturmatrixkoeffizienten als auch eine Korrektur unter Verwendung der affinen Transformationskoeffizienten ausgeführt wird. Die Ausführung lediglich einer derartigen Korrektur erzielt eine Wirkung einer Unterdrückung einer Schwankung in Bewertungsergebnissen, wenn Bilder von biologischem Gewebe mit einer Zielerkrankung durch verschiedene elektronische Endoskopsysteme aufgenommen werden.
  • Das elektronische Endoskopsystem gemäß diesem Ausführungsbeispiel erzielt Wirkungen und Problemlösungen auf den geeigneten technischen Gebieten, wie die Folgenden.
  • Erstens ist das elektronische Endoskopsystem gemäß dem Ausführungsbeispiel eine Diagnosehilfe zur frühen Entdeckung einer entzündlichen Erkrankung.
  • Gemäß der Konfiguration des Ausführungsbeispiels kann zweitens ein Bildschirm angezeigt werden, der das Ausmaß der Entzündung zeigt, oder das Bild in einem Bereich verbessert werden, in dem eine Entzündung auftritt, sodass der Bediener eine milde Entzündung entdecken kann, die schwer zu sehen ist. Eine milde Entzündung ist insbesondere von einer normalen Stelle schwer zu unterscheiden, und daher sind die durch die Konfiguration des Ausführungsbeispiels hinsichtlich der Bewertung einer milden Entzündung erzielten Wirkungen bemerkenswert.
  • Gemäß der Konfiguration des Ausführungsbeispiels ist es drittens möglich, für den Bediener einen objektiven Bewertungswert als Bewertung des Grads der Entzündung bereitzustellen, wodurch ein Verringerung von Unterschieden in Diagnosen unter Bedienern ermöglicht wird. Ein großer Vorteil liegt insbesondere darin, dass für einen Bediener mit wenig Erfahrung ein objektiver Bewertungswert bereitgestellt werden kann, der durch die Konfiguration dieses Ausführungsbeispiels erhalten wird.
  • Gemäß der Konfiguration des Ausführungsbeispiels wird viertens der Bildverarbeitungsaufwand reduziert, wodurch die Durchführung einer Echtzeitanzeige von Bildern einer entzündeten Stelle ermöglicht wird. Dies ermöglicht eine Verbesserung einer Diagnosegenauigkeit.
  • Gemäß der Konfiguration des Ausführungsbeispiels wird fünftens der Verarbeitungsaufwand der Bewertungswertberechnung reduziert, wodurch die Anzeige eines Farbabbildungsbildes (Bildes, das Entzündungsgrade zeigt) und eines normalen Bildes Seite an Seite oder auf zusammengesetzte Weise ohne Verzögerung möglich wird. Aus diesem Grund kann ein Farbabbildungsbild ohne Verlängerung der Untersuchungszeit angezeigt werden, wodurch eine Erhöhung der Belastung des Patienten vermieden werden kann.
  • Die Stelle, die bei diesem Ausführungsbeispiel zu betrachten ist, ist beispielsweise ein Atmungsorgan oder dergleichen, oder ein Verdauungsorgan oder dergleichen. Hier beinhaltet „Atmungsorgan oder dergleichen“ beispielsweise die Lungen, die Ohren, die Nase und den Hals. „Verdauungsorgan oder dergleichen“ beinhaltet beispielsweise den Dickdarm, den Dünndarm, den Magen, den Zwölffingerdarm und den Uterus. Das elektronische Endoskopsystem gemäß dem Ausführungsbeispiel hat noch bemerkenswertere Effekte, wenn das Betrachtungsziel der Dickdarm ist. Im Folgenden sind die spezifischen Gründe dafür aufgeführt.
  • Der Dickdarm ist anfällig für Erkrankungen, die unter Verwendung einer Entzündung als Referenz bewertet werden können, und der Vorteil der Entdeckung entzündeter Stellen ist größer als im Fall anderer Organe. Der durch das vorliegende Ausführungsbeispiel erhaltene Entzündungsbewertungswert ist insbesondere als Bewertungsbestimmungsreferenz für eine entzündliche Darmerkrankung (IBD) effektiv, die durch Colitis ulcerosa verkörpert ist. Für Colitis ulcerosa gibt es keine etablierte Behandlungsmethode, und daher ist die Verwendung des elektronischen Endoskopsystems mit der Konfiguration dieses Ausführungsbeispiels beim Erstellen einer frühen Diagnose und Unterdrücken des Fortschreitens der Erkrankung sehr effektiv.
  • Der Dickdarm ist ein engeres und längeres Organ als der Magen und dergleichen, und die erhaltenen Bilder haben eine größere Tiefe und sind dunkler, wenn sich die Tiefe erhöht. Gemäß der Konfiguration des Ausführungsbeispiels kann eine Schwankung im Bewertungswert unterdrückt werden, die durch Änderungen der Helligkeit im Bild verursacht wird. Wenn das elektronische Endoskopsystem gemäß diesem Ausführungsbeispiel bei der Betrachtung des Dickdarms verwendet wird, sind die Effekte vorliegenden Ausführungsbeispiels daher bemerkenswert. Das heißt, das elektronische Endoskopsystem gemäß dem Ausführungsbeispiel ist vorzugsweise ein elektronisches Atmungsorganendoskopsystem oder ein elektronisches Verdauungsorganendoskopsystem, und ist noch besser ein elektronisches Dickdarmendoskopsystem.
  • Obwohl eine milde Entzündung im Allgemeinen schwer zu diagnostizieren ist, ist es beispielsweise durch Anzeigen der Ergebnisse der Entzündungsgradbewertung auf dem Bildschirm gemäß der Konfiguration des Ausführungsbeispiels möglich, eine Situation zu vermeiden, in der der Bediener eine milde Entzündung übersieht. Insbesondere im Fall einer milden Entzündung sind die Bestimmungskriterien nicht klar, und dieser Faktor verursacht eine große Menge individueller Unterschiede zwischen Bedienern. Auch in dieser Hinsicht ist es gemäß der Konfiguration des Ausführungsbeispiels möglich, für den Bediener einen objektiven Bewertungswert bereitzustellen, wodurch die Verringerung einer Abweichung in Diagnosen reduziert werden kann, die durch individuelle Unterschiede verursacht wird.
  • Es wird angemerkt, dass die vorstehend beschriebene Konfiguration des Ausführungsbeispiels bei der Berechnung eines Bewertungswerts nicht nur des Entzündungsgrads sondern auch von Krebs, Polypen und verschiedenen anderen Läsionen anwendbar ist, die durch eine Farbänderung begleitet werden, und vorteilhafte Effekte ähnlich den vorstehend beschriebenen auch in diesen anderen Fällen erzielt werden können. Das heißt, der Bewertungswert des Ausführungsbeispiels ist vorzugsweise ein Bewertungswert für eine Läsion, die durch eine Farbänderung begleitet wird, und beinhaltet einen Bewertungswert von zumindest einer Entzündung, Krebs und Polypen.
  • Vorstehend ist ein Ausführungsbeispiel der Erfindung beschrieben. Die Ausführungsbeispiele der Erfindung sind nicht auf die vorstehende Beschreibung beschränkt, und es können verschiedene Änderungen gemacht werden, ohne vom Schutzbereich der technischen Idee vorliegender Erfindung abzuweichen. Beispielsweise sind auch geeignete Kombinationen von Ausführungsbeispielen und dergleichen, die in dieser Beschreibung explizit als Beispiele angegeben sind, und offensichtliche Ausführungsbeispiele und dergleichen auch in Ausführungsbeispielen vorliegender Erfindung umfasst.
  • In vorstehendem Ausführungsbeispiel wählt der Arbeiter eine erste Farbe, die die Farbe von biologischem Gewebe darstellt, wenn das Symptomniveau der Zielerkrankung beispielsweise das höchste ist, als einen Indikator, und wählt eine zweite Farbe, die die Farbe von biologischem Gewebe darstellt, beispielsweise wenn es gesund ist, als anderen Indikator. Aus diesem Grund wird die Kalibrierung bei dem vorstehenden Ausführungsbeispiel mit größerer Genauigkeit durchgeführt, je näher die Farben der ersten Farbe und der zweiten Farbe, das heißt, den Korrekturzielen, in dem Farbraum sind. Das heißt, die Kalibrierungsgenauigkeit ist geringer, je weiter die Farben von den Korrekturzielen im Farbraum weg sind, das heißt, bei einer Farbe, die bei einer Entzündung unwahrscheinlich ist, wie hellblau.
  • Demnach reicht es aus, dass der Arbeiter als Indikator, der in der Kalibriervorrichtung im Kalibrierungsmodus einzustellen ist, einen Indikator wählt, der der Symptomebene entspricht, die unter Verwendung des elektronischen Endoskopsystems 1 mit besonders hoher Präzision zu treffen ist. Wenn beispielsweise eine milde Entzündung mit hoher Genauigkeit getroffen werden soll, muss der Arbeiter lediglich einen Indikator als Indikator wählen, der die Farbe von biologischem Gewebe simuliert, wenn eine milde Entzündung aufgetreten ist.
  • Es wird angemerkt, dass, je unterteilter die bereitgestellten Indikatoren sind, desto schwerer es für den Bediener ist, einen geeigneten Indikator auszuwählen. In Anbetracht dessen kann die Systemsteuereinrichtung 202 eine Steuerung derart durchführen, dass beim Empfang einer Bedienung zur Festlegung eines Symptomniveaus vom Bediener über eine verbundene Peripherieeinrichtung (beispielsweise eine Tastatur) der Indikator, der dem festgelegten Symptomniveau entspricht, auf dem Anzeigeschirm des Monitors 300 angezeigt oder durch eine Audiowiedergabe mitgeteilt wird. Der Bediener kann so einen geeigneten Indikator aus einer Vielzahl von Indikatoren akkurat auswählen.
  • Wenn die Kalibrierverarbeitung durchgeführt wird, sind zumindest zwei Indikatoren erforderlich. Das heißt, die Kalibrierverarbeitung kann unter Verwendung von drei oder mehr Indikatoren durchgeführt werden.
  • Bei dem vorstehenden Ausführungsbeispiel wird ferner eine Verarbeitung, wie eine Korrektur durch den Korrekturmatrixkoeffizienten, Korrektur durch die affinen Transformationskoeffizienten und Entzündungsbewertungswertberechnung in der RG-Ebene durchgeführt, jedoch kann zumindest ein Teil der Verarbeitung, wie eine Korrektur durch den Korrekturmatrixkoeffizienten, in einem anderen Farbraum durchgeführt werden, wie dem YUV-Farbraum.
  • Durch die Verarbeitungsschaltung 220B kann auch eine Bildverarbeitung durchgeführt werden, die eine Änderung einer Farbe gemäß einer Benutzereinstellung beinhaltet, wie eine TE (Farbtonsteigerungs-) Verarbeitung. Die geeigneten Werte für Koeffizienten, wie den Korrekturmatrixkoeffizienten und die affinen Transformationskoeffizienten, sind in Abhängigkeit davon unterschiedlich, ob eine Bildverarbeitung durchgeführt wird oder nicht, die die Änderung einer Farbe beinhaltet. Aus diesem Grund können verschiedene Koeffizienten, die für den Fall der Durchführung einer TE-Verarbeitung geeignet sind, und verschiedene Koeffizienten, die für den Fall geeignet sind, wenn eine TE-Verarbeitung nicht durchgeführt wird, in einem Speichermedium, wie einem Speicher in der Korrekturschaltung 220D oder dem Speicher 222 gespeichert werden. Im Fall der Durchführung der TE-Verarbeitung wird die Korrektur unter Verwendung der erstgenannten verschiedenen Koeffizienten durchgeführt, und im Fall, wenn die TE-Verarbeitung nicht durchgeführt wird, wird eine Korrektur unter Verwendung der zweitgenannten verschiedenen Koeffizienten durchgeführt.
  • Bei dem vorstehenden Ausführungsbeispiel werden RGB-Farbraumbildelementdaten in RG-Ebene-Bildelementdaten umgewandelt, und ein Entzündungsbewertungswert, der sich auf eine Zielerkrankung bezieht, wird unter Verwendung der R-Komponente und der G-Komponente berechnet, die in den umgewandelten Bildelementdaten enthalten sind, jedoch ist bei einem anderen Ausführungsbeispiel eine Konfiguration möglich, bei der Anstelle des RGB-Farbraums Bildelementdaten in einem anderen Farbraum (einem durch n (n ≥ 3) Typen von Farbkomponenten definierten Farbraum), wie dem CIE 1976 L*a*b*-Farbraum, dem CIE LCh-Farbraum, dem CIE 1976 L*u*v*-Farbraum, dem HSB-Farbraum, dem sRGB-Farbraum, dem CMK-Farbraum, dem CMYK-Farbraum oder dem CMYG-Farbraum, in Bildelementdaten in einem Farbraum kleinerer Ordnung (einem Farbraum, der durch m (n > m ≥ 2) Typen von Farbkomponenten definiert ist) umgewandelt werden, und diese Bildelementdaten zur Durchführung einer Bewertung verwendet werden, die dem jeweiligen Farbraum entspricht, und sich auf eine andere Zielerkrankung (Magenatrophie, Dickdarmtumor oder dergleichen) verschieden vom vorstehenden Ausführungsbeispiel bezieht. In diesem Fall werden der Korrekturmatrixkoeffizient und die affinen Transformationskoeffizienten unter Verwendung von Indikatoren und Zielpunkten berechnet, die von denen des vorstehenden Ausführungsbeispiels verschieden sind.
  • Im Speicher 222 der Verarbeitungseinrichtung 200 oder in einem Speicher in der Korrekturschaltung 220D können verschiedene Korrekturmatrixkoeffizienten und affinen Transformationskoeffizienten gespeichert werden, die verschiedenen Zielerkrankungen entsprechen. Durch Umschalten des Korrekturmatrixkoeffizienten und der affinen Transformationskoeffizienten gemäß der zu diagnostizierenden Erkrankung kann eine Bewertungswertberechnung durchgeführt werden, die für die entsprechende Zielerkrankung stabil ist (eine geringe Schwankung aufgrund individueller Unterschiede hat).
  • Als die im elektronischen Endoskopsystem 1 verwendete Lichtquelle können verschiedene Typen von Lichtquellen verwendet werden. Es ist allerdings auch ein Modus möglich, in dem der Typ der Lichtquelle in Abhängigkeit vom Beobachtungsziel des elektronischen Endoskopsystems oder dergleichen eingeschränkt ist (beispielsweise ist Laser als Lichtquelle ausgeschlossen). Im Korrekturmatrixkoeffizienten und den affinen Transformationskoeffizienten ändert sich der optimale Wert entsprechend der spektralen Eigenschaften der verwendeten Lichtquelle. Wenn die Verarbeitungseinrichtung 200 eine Vielzahl von Lichtquellentypen enthält, oder eine Vielzahl externer Lichtquellentypen beispielsweise während der Verwendung umgeschaltet werden, können Korrekturmatrixkoeffizienten und affine Transformationskoeffizienten für entsprechende Lichtquellentypen im Speicher 222 der Verarbeitungseinrichtung 200 oder in einem Speicher in der Korrekturschaltung 220D gespeichert werden. Daher kann eine Schwankung im Entzündungsbewertungswert und dergleichen unterdrückt werden, die durch die spektralen Eigenschaften der verwendeten Lichtquelle verursacht wird.
  • Auch bei dem vorstehenden Ausführungsbeispiel werden der Winkel θ, der durch die Hämoglobinvariationsachse AX1 und ein Liniensegment L gebildet wird, das den Referenzpunkt O' und den Bildelemententsprechungspunkt des interessierenden Bildelements verbindet, berechnet, und der Entzündungsbewertungswert wird beruhend auf dem berechneten Winkel θ berechnet, jedoch ist die Erfindung nicht darauf beschränkt. Beispielsweise ist eine Konfiguration möglich, in der der Winkel, der durch das Liniensegment L und die Schleimhautvariationsachse AX2 gebildet wird, berechnet wird, und der Entzündungsbewertungswert beruhend auf diesem berechneten Winkel berechnet wird. Je kleiner der berechnete Winkel in diesem Fall wird, desto intensiver wird die G-Komponente relativ zur R-Komponente, was angibt, dass die Schwere der entzündeten Stelle geringer ist, und je größer der berechnete Winkel ist, desto intensiver ist die R-Komponente relativ zur G-Komponente, was angibt, dass die Schwere der entzündeten Stelle größer ist. Aus diesem Grund wird im Verarbeitungsschritt S16 (Normalisierungsverarbeitung) in 2 der Entzündungsbewertungswert derart normalisiert, dass er einen Wert Null annimmt, wenn der berechnete Winkel Null ist, und einen Wert 255 annimmt, wenn der berechnete Winkel θMAX ist.
  • Bei dem vorstehenden Ausführungsbeispiel wird der Schnittpunkt der Hämoglobinvariationsachse AX1 und der Schleimhautvariationsachse AX2 als Referenzpunkt O' zur Minimierung des Einflusses eingestellt, den eine aufgenommene Bildhelligkeit auf den Entzündungsbewertungswert hat, jedoch ist vorliegende Erfindung nicht darauf beschränkt. Beispielsweise kann der Ursprung (0, 0) der RG-Ebene, der sich auf der Schleimhautvariationsachse AX2 befindet, als Referenzpunkt O' eingestellt werden. In diesem Fall ist die minimal erforderliche Referenzachse lediglich eine Achse (die Schleimhautvariationsachse AX2), wodurch sich der Aufwand bei der speziellen Bilderzeugungsverarbeitung in 2 verringert und die Verarbeitungsgeschwindigkeit verbessert.
  • Obwohl der Lichtquellenabschnitt (mit dem Lampenstromversorgungszündgerät 206, der Lampe 208, der Kondensatorlinse 210, der Blende 212, dem Motor 214 und dergleichen) bei vorstehendem Ausführungsbeispiel mit der Verarbeitungseinrichtung integriert ist, kann der Lichtquellenabschnitt als Vorrichtung bereitgestellt sein, die von der Verarbeitungseinrichtung getrennt ist.
  • Wie in dem vorstehenden Ausführungsbeispiel beschrieben kann anstelle eines CCD-Bildsensors ein CMOS-Bildsensor als Festkörperbildsensor 108 verwendet werden. Im Allgemeinen tendiert das Bild mit einem CMOS-Bildsensor dazu, insgesamt dunkler als im Fall eines CCD-Bildsensors zu sein. Demnach ist mit der Konfiguration des vorstehenden Ausführungsbeispiels der vorteilhafte Effekt, eine Variation im Bewertungswert unterdrücken zu können, die durch Bildhelligkeit verursacht wird, in einer Situation noch bemerkenswerter, in der ein CMOS-Bildsensor als Festkörperbildsensor verwendet wird.
  • Zur präzisen Durchführung einer Diagnose ist das Erhalten von Hochauflösungsbildern von Vorteil. Vom Gesichtspunkt der weiteren Verbesserung der Diagnosegenauigkeit beträgt die Bildauflösung vorzugsweise 1 Millionen Bildelemente oder mehr, besser 2 Millionen Bildelemente oder mehr, und noch besser 8 Millionen Bildelemente oder mehr. Je höher die Auflösung des Bildes ist, desto größer wird der Aufwand bei der Verarbeitung zur Berechnung des vorstehend beschriebenen Bewertungswerts für alle Bildelemente. Gemäß der Konfiguration vorstehenden Ausführungsbeispiels ist es allerdings möglich, den Verarbeitungsaufwand bei der Bewertungswertberechnung zu unterdrücken, und daher ist die vorteilhafte Wirkung der Konfiguration des Ausführungsbeispiels in der Situation der Verarbeitung eines Hochauflösungsbildes bemerkenswert.
  • Obwohl alle Bildelemente in dem Bild bei dem vorstehenden Ausführungsbeispiel einer Verarbeitung unterzogen werden, können Bildelemente mit sehr hoher Luminanz, Bildelemente mit sehr geringer Luminanz oder dergleichen von der Verarbeitung ausgeschlossen werden. Die Genauigkeit des Bewertungswerts kann insbesondere durch die Durchführung einer Bewertungswertberechnung lediglich bei Bildelementen verbessert werden, die als Bildelemente mit einer Luminanz in einem vorbestimmten Referenzluminanzbereich bestimmt werden.
  • Bezugszeichenliste
  • 1
    Elektronisches Endoskopsystem
    100
    Elektronisches Endoskop
    102
    LCB
    104
    Lichtverteilungslinse
    106
    Objektivlinse
    108
    Festkörperbildsensor
    112
    Ansteuersignalverarbeitungsschaltung
    114
    Speicher
    200
    Verarbeitungseinrichtung
    202
    Systemsteuereinrichtung
    204
    Zeitsteuereinrichtung
    206
    Lampenstromversorgungszündgerät
    208
    Lampe
    210
    Kondensatorlinse
    212
    Blende
    214
    Motor
    216
    Ansteuereinrichtung
    218
    Bedienfeld
    220
    Signalverarbeitungsschaltung
    220A
    Vorverarbeitungsschaltung
    220B
    Verarbeitungsschaltung
    220C
    Ausgabeschaltung
    220D
    Korrekturschaltung
    220E
    Scoring-Schaltung
    220F
    Abbildungsschaltung
    222
    Speicher
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2010115243 A [0004]

Claims (16)

  1. Elektronische Endoskopverarbeitungseinrichtung mit einer Umwandlungseinrichtung zur Umwandlung jedes einer Vielzahl von Stücken von Bildelementdaten, die aus n Typen von Farbkomponenten gebildet sind, und ein Farbbild eines biologischen Gewebes in einer Körperhöhle bilden, in ein Stück von Bildelementdaten, das aus m Typen von Farbkomponenten gebildet ist, wobei n eine natürliche Zahl größer oder gleich 3 ist, m eine natürliche Zahl größer oder gleich 2 ist, und m kleiner n ist, einer Farbkomponentenkorrektureinrichtung zum Korrigieren der umgewandelten Stücke von Bildelementdaten aus m Typen von Farbkomponenten unter Verwendung eines vorbestimmten Farbkomponentenkorrekturkoeffizienten und einer Beschaffungseinrichtung zur Beschaffung eines Bewertungsergebnisses hinsichtlich einer Zielerkrankung beruhend auf den korrigierten Stücken von Bildelementdaten aus m Typen von Farbkomponenten.
  2. Elektronische Endoskopverarbeitungseinrichtung mit einer Umwandlungseinrichtung zur Umwandlung jedes einer Vielzahl von Stücken von Bildelementdaten, die aus n Typen von Farbkomponenten gebildet sind und ein Farbbild eines biologischen Gewebes in einer Körperhöhle bilden, in ein Stück von Bildelementdaten, das aus m Typen von Farbkomponenten gebildet ist, wobei n eine natürliche Zahl größer oder gleich 3 ist, m eine natürliche Zahl größer oder gleich 2 ist und m kleiner als n ist, einer Beschaffungseinrichtung zur Beschaffung eines Bewertungsergebnisses hinsichtlich einer Zielerkrankung beruhend auf den umgewandelten Stücken von Bildelementdaten aus m Typen von Farbkomponenten und einer Bewertungsergebniskorrektureinrichtung zum Korrigieren des beschafften Bewertungsergebnisses unter Verwendung eines vorbestimmten Bewertungsergebniskorrekturkoeffizienten.
  3. Elektronische Endoskopverarbeitungseinrichtung nach Anspruch 2, ferner mit einer Farbkomponentenkorrektureinrichtung zum Korrigieren der umgewandelten Stücke von Bildelementdaten aus m Typen von Farbkomponenten unter Verwendung eines vorbestimmten Farbkomponentenkorrekturkoeffizienten, wobei die Beschaffungseinrichtung das Bewertungsergebnis hinsichtlich der Zielerkrankung beruhend auf den Stücken von Bildelementdaten aus m Typen von Farbkomponenten beschafft, die unter Verwendung des Farbkomponentenkorrekturkoeffizienten korrigiert wurden.
  4. Elektronische Endoskopverarbeitungseinrichtung nach Anspruch 1 oder 3, wobei Farbkomponenten, die einer Farbkorrektur unterzogen werden, die durch die Farbkomponentenkorrektureinrichtung durchgeführt wird, die m Typen von Farbkomponenten unter den n Typen von Farbkomponenten sind, und keine (n - m) Typen von Farbkomponenten enthalten.
  5. Elektronische Endoskopverarbeitungseinrichtung nach Anspruch 1, 3 oder 4, wobei der Farbkomponentenkorrekturkoeffizient ein vorbestimmter Korrekturmatrixkoeffizient ist, der die Stücke von Bildelementdaten aus m Typen von Farbkomponenten korrigiert.
  6. Elektronische Endoskopverarbeitungseinrichtung nach Anspruch 2 oder 3, oder Anspruch 4 wenn abhängig von Anspruch 3, wobei der Bewertungswertkorrekturkoeffizient ein affiner Transformationskoeffizient ist, der bei dem Bewertungsergebnis eine affine Transformation durchführt.
  7. Elektronische Endoskopverarbeitungseinrichtung nach einem der Ansprüche 1 bis 6, wobei die Beschaffungseinrichtung eine Referenzrichtung einstellt, die sich auf die Zielerkrankung bezieht und sich von einem vorbestimmten Referenzpunkt in einem durch die m Typen von Farbkomponenten definierten Farbraum erstreckt, und für jedes einer Vielzahl von Bildelementen des Farbbildes das Bewertungsergebnis hinsichtlich der Zielerkrankung beruhend auf einem Ausmaß beschafft, mit dem eine Richtung vom Referenzpunkt zu einem Bildelemententsprechungspunkt, der dem umgewandelten Stück von Bildelementdaten in dem Farbraum entspricht, von der Referenzrichtung abweicht.
  8. Elektronische Endoskopverarbeitungseinrichtung nach einem der Ansprüche 1 bis 7, wobei die Beschaffungseinrichtung eine Referenzachse einstellt, die sich auf die Zielerkrankung bezieht und durch einen vorbestimmten Referenzpunkt in einer Farbebene läuft, die durch die m Typen von Farbkomponenten definiert ist, und für jedes einer Vielzahl von Bildelementen das Bewertungsergebnis hinsichtlich der Zielerkrankung beruhend auf einem Winkel θ beschafft, der durch die Referenzachse und ein Liniensegment gebildet wird, das den Referenzpunkt und einen Bildelemententsprechungspunkt verbindet, der dem Stück von Bildelementdaten entspricht.
  9. Elektronische Endoskopverarbeitungseinrichtung nach Anspruch 8, wobei mit der Referenzachse als erste Referenzachse die Beschaffungseinrichtung eine zweite Referenzachse einstellt, die sich auf eine gesunde Stelle bezieht, die die Zielerkrankung nicht aufweist, und die durch den Referenzpunkt in dem Farbraum läuft, und der Winkel θ unter Verwendung eines Schnittwinkels der ersten Referenzachse und der zweiten Referenzachse als maximaler Winkel vor Berechnung des Bewertungswerts normalisiert wird.
  10. Elektronische Endoskopverarbeitungseinrichtung nach Anspruch 8 oder 9, wobei die Umwandlungseinrichtung die Stücke von Bildelementdaten in einem durch die n Typen von Farbkomponenten definierten Farbraum auf die Farbebene orthographisch projiziert.
  11. Elektronische Endoskopverarbeitungseinrichtung nach einem der Ansprüche 8 bis 10, wobei die Referenzachse eine Achse ist, zu der die umgewandelten Bildelemententsprechungspunkte zunehmend konvergieren, wenn das Symptomniveau der Zielerkrankung ansteigt.
  12. Elektronische Endoskopverarbeitungseinrichtung nach einem der Ansprüche 8 bis 11, wobei die Farbebene eine Ebene ist, die eine R-Komponentenachse und eine G-Komponentenachse enthält.
  13. Elektronische Endoskopverarbeitungseinrichtung nach einem der Ansprüche 1 bis 11, wobei die m Typen von Farbkomponenten der umgewandelten Stücke von Bildelementdaten Farbkomponenten sind, die derart eingestellt sind, dass sie untereinander verschiedene Wellenlängenbereiche aufweisen.
  14. Elektronische Endoskopverarbeitungseinrichtung nach einem der Ansprüche 1 bis 13, wobei das Bewertungsergebnis einen Wert, der eine Bewertung angibt, die sich auf die Zielerkrankung bezieht, und/oder ein Farbbild enthält, das eine sich auf die Zielerkrankung beziehende Bewertung angibt.
  15. Elektronisches Endoskopsystem mit der elektronischen Endoskopverarbeitungseinrichtung nach einem der Ansprüche 1 bis 14, und einer Anzeigevorrichtung zur Anzeige des durch die elektronische Endoskopverarbeitungseinrichtung erhaltenen Bewertungsergebnisses auf einem Anzeigeschirm.
  16. Elektronisches Endoskopsystem nach Anspruch 15, wobei die elektronische Endoskopverarbeitungseinrichtung umfasst eine Farbabbildungsbildbeschaffungseinrichtung zur Beschaffung eines Farbabbildungsbildes durch Umwandeln von Farben von Bildelementen in dem Farbraum in Farben, die den als die Bewertungsergebnisse der Bildelemente berechneten Bewertungswerten entsprechen, und eine Anzeigeeinrichtung zur Anzeige des Farbabbildungsbildes auf dem Anzeigeschirm der Anzeigevorrichtung, wobei die Anzeigevorrichtung zur Anzeige eines repräsentativen Werts der Bewertungswerte und des Farbabbildungsbildes gleichzeitig eingerichtet ist.
DE112017002943.0T 2016-08-31 2017-08-30 Elektronische Endoskopverarbeitungseinrichtung und elektronisches Endoskopsystem Active DE112017002943T8 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016169233 2016-08-31
JP2016-169233 2016-08-31
PCT/JP2017/031126 WO2018043552A1 (ja) 2016-08-31 2017-08-30 電子内視鏡用プロセッサ及び電子内視鏡システム

Publications (2)

Publication Number Publication Date
DE112017002943T5 true DE112017002943T5 (de) 2019-03-14
DE112017002943T8 DE112017002943T8 (de) 2019-03-21

Family

ID=61300812

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112017002943.0T Active DE112017002943T8 (de) 2016-08-31 2017-08-30 Elektronische Endoskopverarbeitungseinrichtung und elektronisches Endoskopsystem

Country Status (5)

Country Link
US (1) US10659658B2 (de)
JP (1) JP6591688B2 (de)
CN (1) CN109310303B (de)
DE (1) DE112017002943T8 (de)
WO (1) WO2018043552A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6926242B2 (ja) * 2018-01-19 2021-08-25 Hoya株式会社 電子内視鏡用プロセッサ及び電子内視鏡システム
JP6912608B2 (ja) * 2018-02-07 2021-08-04 Hoya株式会社 内視鏡システム
TWI687899B (zh) * 2019-06-27 2020-03-11 鈺緯科技開發股份有限公司 應用於內視鏡的顯示校正系統及其校正方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010115243A (ja) 2008-11-11 2010-05-27 Hoya Corp 電子内視鏡用画像信号処理装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010045615A (ja) * 2008-08-13 2010-02-25 Olympus Corp 撮像装置および内視鏡システム
JP5581237B2 (ja) 2011-01-24 2014-08-27 Hoya株式会社 画像処理装置、電子内視鏡用プロセッサ装置、画像処理装置の作動方法および画像処理用コンピュータプログラム
JP5851160B2 (ja) 2011-08-31 2016-02-03 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
WO2014006930A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子および撮像装置
JP6027803B2 (ja) * 2012-07-17 2016-11-16 Hoya株式会社 画像処理装置及び内視鏡装置
JP6097629B2 (ja) * 2013-04-26 2017-03-15 Hoya株式会社 病変評価情報生成装置
JP6367683B2 (ja) * 2014-10-21 2018-08-01 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010115243A (ja) 2008-11-11 2010-05-27 Hoya Corp 電子内視鏡用画像信号処理装置

Also Published As

Publication number Publication date
WO2018043552A1 (ja) 2018-03-08
JP6591688B2 (ja) 2019-10-16
CN109310303A (zh) 2019-02-05
US20190273840A1 (en) 2019-09-05
US10659658B2 (en) 2020-05-19
JPWO2018043552A1 (ja) 2019-01-31
DE112017002943T8 (de) 2019-03-21
CN109310303B (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
DE112016004454B4 (de) Endoskopsystem und Bewertungswertberechnungseinrichtung
DE112017002932T5 (de) Elektronischer endoskop-prozessor und elektronisches endoskop-system
DE112019004880T5 (de) Elektronisches endoskopsystem
DE112016000094B4 (de) Vorrichtung zur Berechnung von Analysewerten und elektronisches Endoskopsystem
DE102004006260B4 (de) Videoendoskopeinrichtung
DE102014105826A1 (de) Läsionsevaluierungsinformationsgenerator sowie Verfahren und computerlesbares Medium hierfür
DE112017001021T5 (de) Berechnungssystem
DE112017000025T5 (de) Verfahren zur Erzeugung von Korrekturdaten und Vorrichtung zur Erzeugung von Korrekturdaten
DE112019004863T5 (de) Elektronisches endoskopsystem und datenverarbeitungsvorrichtung
DE112019007057T5 (de) Endoskopsystem
DE112014007051T5 (de) Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren, Bildverarbeitungsprogramm und Endoskopvorrichtung
DE112017002943T5 (de) Elektronische Endoskopverarbeitungseinrichtung und elektromisches Endoskopsystem
DE112017002933B4 (de) Elektronische Endoskopverarbeitungseinrichtung und elektronisches Endoskopsystem
DE112020001788T5 (de) Elektronisches endoskopsystem und datenverarbeitungsvorrichtung
DE112020002107T5 (de) Elektronisches endoskopsystem und datenverarbeitungsvorrichtung
DE112020001352T5 (de) Endoskopsystem
DE112011103387T5 (de) Diagnosesystem
DE112019004271T5 (de) Endoskopsystem und Verfahren zum Bedienen des Endoskopsystems
DE112021005012T5 (de) Endoskopprozessor und endoskopsystem
DE112016001722T5 (de) Endoskopsystem und Bewertungswert-Berechnungsvorrichtung
DE112016000095B4 (de) Vorrichtung zur Berechnung von Analysewerten und elektronisches Endoskopsystem
DE112015002169T5 (de) Endoskopvorrichtung
DE112018004148T5 (de) Verarbeitungseinrichtung für elektronisches endoskop und elektronisches endoskopsystem
DE112020004678T5 (de) Elektronisches endoskopsystem

Legal Events

Date Code Title Description
R012 Request for examination validly filed