DE112017000025T5 - Verfahren zur Erzeugung von Korrekturdaten und Vorrichtung zur Erzeugung von Korrekturdaten - Google Patents

Verfahren zur Erzeugung von Korrekturdaten und Vorrichtung zur Erzeugung von Korrekturdaten Download PDF

Info

Publication number
DE112017000025T5
DE112017000025T5 DE112017000025.4T DE112017000025T DE112017000025T5 DE 112017000025 T5 DE112017000025 T5 DE 112017000025T5 DE 112017000025 T DE112017000025 T DE 112017000025T DE 112017000025 T5 DE112017000025 T5 DE 112017000025T5
Authority
DE
Germany
Prior art keywords
color
data
point
color space
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112017000025.4T
Other languages
English (en)
Inventor
Yousuke IKEMOTO
Tadashi Minakuchi
Atsushi Komoro
Toshio Tachibana
Yoichi HITOKATA
Noriko Ota
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Publication of DE112017000025T5 publication Critical patent/DE112017000025T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00055Operational features of endoscopes provided with output arrangements for alerting the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032Determining colour for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14546Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring analytes not otherwise provided for, e.g. ions, cytochromes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/1459Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters invasive, e.g. introduced into the body by a catheter
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4842Monitoring progression or stage of a disease
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4015Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6002Corrections within particular colour systems
    • H04N1/6005Corrections within particular colour systems with luminance or chrominance signals, e.g. LC1C2, HSL or YUV
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0669Endoscope light sources at proximal end of an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres

Abstract

Bereitgestellt wird ein Verfahren zur Erzeugung von Korrekturdaten umfassend: einen Erfassungsschritt zum Erfassen von aufgenommenen Bilddaten durch Abbilden eines Indikators, der mit einer vorbestimmten Krankheit in Verbindung steht; einen grafischen Darstellungsschritt zum Darstellen eines reellen Bilddatenpunkts, der den erfassten aufgenommenen Bilddaten entspricht, in einem vorbestimmten Farbraum, welcher der Krankheit gemäß einer Farbkomponente des Datenpunkts zugeordnet ist; einen Berechnungsschritt zum Berechnen eines Korrekturwertes zur Korrektur von Pixelwerten, die ein über ein elektronisches Endoskop aufgenommenes Bild ausmachen, auf der Grundlage eines Abstands zwischen dem Bilddatenpunkt und einem vorbestimmten Zielpunkt in dem Farbraum; und einen Speicherungsschritt zum Speichern des Korrekturwerts.

Description

  • Technisches Gebiet
  • Die Erfindung betrifft ein Verfahren zur Erzeugung von Korrekturdaten und eine Vorrichtung zur Erzeugung von Korrekturdaten.
  • Stand der Technik
  • Eine Läsionsstelle hat üblicherweise eine andere Farbe als normale Schleimhaut. In den vergangenen Jahren ist es durch Leistungsverbesserungen von Farbendoskopen für Nutzer möglich geworden, Läsionsstellen zu identifizieren und zu diagnostizieren, deren Farbe sich nur gering von der Farbe normalen Gewebes unterscheidet. Allerdings sind umfangreiche Schulungen unter der Führung eines Experten notwendig, um in der Lage zu sein, aufgrund eines geringen Farbunterschiedes in einem von einem elektronischen Endoskop erfassten Bild Läsionsstellen von normalem Gewebe präzise zu unterscheiden und eine Diagnose zu stellen. Auch ein erfahrener Nutzer kann durchaus nicht in der Lage sein, eine Läsionsstelle auf der Grundlage eines geringen Farbunterschieds einfach zu identifizieren und zu diagnostizieren, wodurch sorgfältiges Arbeiten notwendig wird.
  • Angesichts dessen ist das Dokument JP 2014-18332A (nachfolgend als “Patentdokument 1” bezeichnet) ein Beispiel für ein Dokument, das eine Vorrichtung zur Bewertung einer Läsionsstelle beschreibt, die in einem aufgenommenen Bild sichtbar ist, mit dem Ziel, die Diagnose der Läsionsstelle durch einen Nutzer zu erleichtern. Insbesondere werden mit der in Patentdokument 1 beschriebenen Vorrichtung die Pixel, die ein von einem elektronischen Endoskop aufgenommenes Bild darstellen, einem Farbtonverbesserungsprozess unterzogen, um auf die Pixeldaten eine nicht-lineare Verstärkung anzuwenden, der Dynamikumfang wird in der Nähe der Grenze eines Bereichs mit Pixeldaten, die der Läsionsstellen-Bestimmung unterzogen werden, geweitet, die farbtonverbesserten Pixeldaten aus einem RGB-Raum, der über die drei Primärfarben RGB definiert ist, werden in einen vorbestimmten Farbraum konvertiert, wie beispielsweise in den HSI- oder in den HSV-Farbraum, um Farbton- und Sättigungsdaten zu gewinnen, die Pixel werden als der Läsionsstelle zugehörige Pixel auf der Basis der erfassten Farbton- und Sättigungsdaten bestimmt, und ein Bewertungswert (Läsionsstellesindex) wird auf Basis der Anzahl der Pixel, die als der Läsionsstelle zugehörig bestimmt werden, berechnet.
  • Zusammenfassung der Erfindung
  • In den von einem elektronischen Endoskop erfassten Pixeldaten entsprechen die RGB-Werte für ein weißes Objekt nicht den Pixelwerten im Ist-Zustand. Aus diesem Grund werden die Pixeldaten einer Weißabgleich-Korrektur unterzogen. In der in Patentdokument 1 beschriebenen Vorrichtung wird ein Läsionsstellenindex auf Basis der Farbdaten, die von einem aufgenommenen Bild erfasst werden, berechnet, und es wird deshalb angenommen, dass eine Verbesserung der Farbdarstellung eines aufgenommenen Bildes mit Hilfe einer Weißabgleich-Korrektur eine Verbesserung der Berechnungsgenauigkeit des Läsionsstellenindex mit sich bringt.
  • Wird dieselbe Läsionsstelle allerding mit unterschiedlichen elektronischen Endoskopsystemen abgebildet, sind Fälle möglich, in denen große Unterschiede im errechneten Ergebnis des Läsionsstellenindex oder dergleichen entstehen, auch wenn die Läsionsstelle visuell dieselbe zu sein scheint. Angesichts dessen haben die Erfinder der vorliegenden Erfindung mittels eingehender sorgfältiger Prüfung herausgefunden, dass hauptsächlich aufgrund individueller Unterschiede der optischen Komponenten (optische Leistung) der elektronischen Endoskope, ein Fehler (Variation), der nicht durch die Weißabgleich-Korrektur beseitigt werden kann, in den Farbwerten verbleibt, die für die Ergebnisberechnung herangezogen werden, und dass dieser Fehler ein Grund für die Beeinträchtigung der Präzision in der Ergebnisberechnung ist.
  • Die vorliegende Erfindung wurde angesichts der oben beschriebenen Umstände erreicht und ein Gegenstand der vorliegenden Erfindung ist, ein Verfahren zur Erzeugung von Korrekturdaten und eine Vorrichtung zur Erzeugung von Korrekturdaten bereitzustellen, um Abweichungen in den Ergebniswerten zu minimieren, wenn dieselbe Läsionsstelle mit unterschiedlichen Endoskopsystemen abgebildet wird.
  • Ein Verfahren zur Erzeugung von Korrekturdaten nach einem ersten Aspekt der vorliegenden Erfindung, ausgeführt von einem Computer, umfasst: einen Erfassungsschritt zum Erfassen von aufgenommenen Bilddaten durch Abbilden eines Indikators, der mit einer vorbestimmten Krankheit in Verbindung steht; einen grafischen Darstellungsschritt zum Darstellen eines reellen Bilddatenpunkts, der den erfassten aufgenommenen Bilddaten entspricht, in einem vorbestimmten Farbraum, welcher der Krankheit gemäß einer Farbkomponente des Datenpunkts zugeordnet ist; einen Berechnungsschritt zum Berechnen eines Korrekturwertes zur Korrektur von Pixelwerten, die ein über ein elektronisches Endoskop aufgenommenes Bild ausmachen, auf der Grundlage eines Abstands zwischen dem Bilddatenpunkt und einem vorbestimmten Zielpunkt in dem Farbraum; und einen Speicherungsschritt zum Speichern des Korrekturwerts.
  • Ferner werden in dem Verfahren nach dem ersten Aspekt der vorliegenden Erfindung in dem Erfassungsschritt erste aufgenommene Bilddaten durch Abbilden eines ersten Indikators erfasst, der eine erste Farbe hat, die eine Farbe eines biologischen Gewebes ist, wenn eine Symptomstufe einer vorbestimmten ersten Stufe in Bezug auf die Krankheit entspricht, und zweite aufgenommene Bilddaten durch Abbilden eines zweiten Indikators erfasst, der eine zweite Farbe hat, die eine Farbe eines biologischen Gewebes ist, wenn eine Symptomstufe einer vorbestimmten zweiten Stufe in Bezug auf die Krankheit entspricht; in dem grafischen Darstellungsschritt werden erste und zweite Datenpunkte, die den erfassten ersten und zweiten aufgenommenen Bilddaten entsprechen, in dem Farbraum gemäß Farbkomponenten der ersten und zweiten Daten-punkte dargestellt; und in dem Berechnungsschritt wird der Korrekturwert berechnet auf der Grundlage eines Abstands zwischen dem ersten Datenpunkt und dem vorbestimmten ersten Zielpunkt in dem Farbraum und eines Abstands zwischen dem zweiten Datenpunkt und dem vorbestimmten zweiten Zielpunkt in dem Farbraum.
  • Ferner umfasst das Verfahren zur Erzeugung von Korrekturdaten: einen Schritt zum Annehmen einer Eingabe eines Nutzers zur Kennzeichnung einer ersten Symptomstufe; und einen Schritt zum Informieren des Nutzers hinsichtlich eines Indikators, der der angenommenen Symptomstufe entspricht.
  • Ferner wird in dem Verfahren zum Erzeugen von Korrekturdaten gemäß dem ersten Aspekt der vorliegenden Erfindung in dem Berechnungsschritt ein Matrixkoeffizient als Korrekturwert berechnet, der einen geringsten Summenwert des Abstands zwischen dem ersten Datenpunkt und dem ersten Zielpunkt und des Abstands zwischen dem zweiten Datenpunkt und dem zweiten Zielpunkt erreicht.
  • Ferner ist in dem Verfahren zum Erzeugen von Korrekturdaten gemäß dem ersten Aspekt der vorliegenden Erfindung der Farbraum ein zweidimensionaler Farbraum, der eine R-Komponentenachse und eine G-Komponentenachse, die orthogonal zur R-Komponentenachse ist, umfasst.
  • Ferner ist in dem Verfahren zum Erzeugen von Korrekturdaten gemäß dem ersten Aspekt der vorliegenden Erfindung die erste Farbe eine Farbe eines biologischen Gewebes, wenn die Symptomstufe in Bezug auf die Krankheit am höchsten ist, und der erste Zielpunkt ist ein Punkt auf einer Achse, die eine hohe Korrelation mit Hämoglobinpigmenten im Farbraum aufweist.
  • Ferner ist in dem Verfahren zum Erzeugen von Korrekturdaten gemäß dem ersten Aspekt der vorliegenden Erfindung die zweite Farbe eine Farbe eines biologischen Gewebes, das in Bezug auf die Krankheit gesund ist und der zweite Zielpunkt ist ein Punkt auf einer Achse, die eine hohe Korrelation mit einem Farbton einer Schleimhaut in einer Körperhöhe in dem Farbraum aufweist.
  • Ferner umfasst eine Vorrichtung zur Erzeugung von Korrekturdaten gemäß einem zweiten Aspekt der Erfindung: ein Erfassungsmittel zum Erfassen von aufgenommenen Bilddaten durch Abbilden eines Indikators, der mit einer vorbestimmten Krankheit in Bezug steht; ein grafisches Darstellungsmittel zum Darstellen eines reellen Bilddatenpunkts, der den erfassten aufgenommenen Bilddaten entspricht, in einem vorbestimmten Farbraum, welcher der Krankheit gemäß einer Farbkomponente des Datenpunkts zugeordnet ist; ein Berechnungsmittel zum Berechnen eines Korrekturwertes zur Korrektur von Pixelwerten, die ein über ein elektronisches Endoskop aufgenommenes Bild ausmachen, auf der Grundlage eines Abstands zwischen dem Bilddatenpunkt und einem vorbestimmten Zielpunkt in dem Farbraum; und einem Speicherungsmittel zum Speichern des Korrekturwerts.
  • Gemäß den Aspekten der vorliegenden Erfindung ist es möglich, ein Verfahren zur Erzeugung von Korrekturdaten und eine Vorrichtung zur Erzeugung von Korrekturdaten bereitzustellen, um Abweichungen in den Ergebniswerten zu minimieren, wenn dieselbe Läsionsstelle mit unterschiedlichen Endoskopsystemen abgebildet wird.
  • Kurzbeschreibung der Zeichnungen
  • 1 ist ein Blockdiagramm, das eine Ausgestaltung eines elektronischen Endoskopsystems nach einer Ausführungsform der vorliegenden Erfindung abbildet.
  • 2 ist ein Flussdiagramm eines speziellen Bilderzeugungsverfahrens, das in einem speziellen Modus gemäß einer Ausführungsform der vorliegenden Erfindung ausgeführt wird.
  • 3 zeigt ein Diagramm, das eine RG-Ebene abbildet, in welcher den Korrespondenz-Pixelpunkte gemäß einer Ausführungsform der vorliegenden Erfindung dargestellt sind.
  • 4 zeigt ein Diagramm, das Referenzachsen in der RG-Ebene zeigt,
  • 5 zeigt ein Beispiel einer Bildschirmanzeige, die in einem Monitoranzeigeschirm in einem speziellen Modus gemäß einer Ausführungsform der vorliegenden Erfindung angezeigt wird.
  • 6 zeigt ein Flussdiagramm, das die Kalibrierungsverarbeitung, die in einem Kalibrierungsmodus gemäß einer Ausführungsform der vorliegenden Erfindung durchgeführt wird, darstellt.
  • 7 zeigt ein Diagramm zur Unterstützung der Beschreibung der Kalibrierungsverarbeitung gemäß 6.
  • Beschreibung der Ausführungsbeispiele
  • Im Folgenden werden Ausführungsformen der vorliegenden Erfindung mit Bezugnahme auf die Zeichnungen beschrieben. Zu beachten ist, dass ein elektronisches Endoskopsystem (Computer) als ein Beispiel einer Ausführungsform der vorliegenden Erfindung in der nachfolgenden Beschreibung herangezogen wird.
  • Ausgestaltung des elektronischen Endoskopsystems 1
  • FIG. zeigt ein Blockdiagramm, das eine Ausgestaltung eines elektronischen Endoskopsystems 1 nach einer Ausführungsform der vorliegenden Erfindung abbildet. Wie in 1 gezeigt, ist das elektronische Endoskopsystem 1 ein für den medizinischen Gebrauch spezifisches System und umfasst ein elektronisches Endoskop 100, einen Prozessor 200 und einen Monitor 300.
  • Der Prozessor 200 umfasst eine Systemsteuerung 202 und einen Timing-Controller 204. Die Systemsteuerung 202 führt verschiedene Programme, die in der Speichereinheit 222 gespeichert sind, aus und führt eine übergeordnete Steuerung des elektronischen Endoskopsystems 1 durch. Außerdem ist die Systemsteuerung mit einem Bedienfeld 218 verbunden. Die Systemsteuerung 202 ändert den Betrieb des elektronischen Endoskopsystems 1 und die Parameter für verschiedene Betriebsarten in Übereinstimmung mit Anweisungen eines Nutzers, die dieser über das Bedienfeld 218 eingibt. Ein Beispiel einer durch den Nutzer eingegebener Anweisung ist eine Anweisung zur Änderung des Betriebsmodus des elektronischen Endoskopsystems 1. In der vorliegenden Ausführungsform umfasst der Betriebsmodus einen normalen Modus, einen speziellen Modus und einen Kalibrierungsmodus. Der Timing-Controller 204 gibt einen Taktimpuls aus, der der Regulierung der Zeitsteuerung des Betriebs von Teilen mit Schaltungen in dem elektronischen Endoskopsystem dient.
  • Eine Lampe 208 wird über ein Element zur Stromversorgung 206 der Lampe aktiviert und emittiert daraufhin Weißlicht L. Die Lampe 208 ist eine hochintensive Lampe wie beispielsweise eine Xenonlampe, eine Halogenlampe, eine Quecksilberlampe, oder eine Metallhalogenidlampe. Das Weißlicht L, das von der Lampe 208 emittiert wird, wird mit Hilfe einer Sammellinse 210 verdichtet und über eine Blende 212 in eine geeignete Lichtmenge beschränkt. Die Lampe 208 kann durch ein lichtemittierendes Halbleiterelement wie beispielsweise eine LD (Laser Diode) oder eine LED (Licht emittierende Diode) ersetzt werden. Ein lichtemittierendes Halbleiterelement hat Merkmale wie einen geringeren Energieverbrauch und einen geringere Wärmabstrahlung als andere Lichtquellen und hat deshalb den Vorteil, dass helle Bilder aufgenommen werden können, während der Energieverbrauch und die Wärmeabstrahlung minimiert werden. Die Fähigkeit, helle Bilder aufzunehmen führt zu einer Verbesserung in der Genauigkeit der später beschriebenen Entzündungswertbewertung. Das lichtemittierende Halbleiterelement ist nicht daran gebunden, in dem Prozessor 200 bereitgestellt zu werden, und kann auch in dem elektronischen Endoskop 100 vorgesehen sein. So kann das lichtemittierende Halbleiterelement im distalen Endabschnitt des elektronischen Endoskops 100 vorgesehen sein.
  • Ein Motor 214 ist mechanisch mit der Blende 212 über einen Übertragungsmechanismus, wie einen (Schwenk-)Arm und einem Getriebe, die nicht dargestellt sind, in Verbindung. Der Motor ist beispielsweise ein Gleichstrommotor und wird über einen Antrieb 216 angetrieben. Die Blende 212 wird mit Hilfe des Motors 214 betrieben, und der Öffnungswinkel wird angepasst um die Bilder, die auf dem Anzeigeschirm eines Bildschirms 300 angezeigt werden, in eine geeignete Helligkeit zu setzen. Die Lichtmenge des Weißlichts L, das von der Lampe 208 ausgestrahlt wird, wird durch den Öffnungswinkel der Blende 212 begrenzt. Der Referenzwert, der der geeigneten Bildhelligkeit entspricht, wird gemäß einer Anweisung zur Anpassung der Intensität, die der Nutzer am Bedienfeld 218 ausführt, festgelegt. Die Lichtkontrollschaltung zur Durchführung der Anpassung der Intensität durch die Steuerung des Antriebs 216 ist eine bekannte Schaltung, die nicht näher beschrieben wird.
  • Das Weißlicht L, das die Blende 212 durchläuft, wird am Eingang der Endfläche eines LCB-Elements 102 (LCB: Light carrying bundle) gebündelt und tritt in das LCB-Element 102 ein.
  • Nachdem das Weißlicht L das LCB-Element durchlaufen hat, verlässt es das LCB-Element über eine Endfläche des LCB-Elements, die an der vorderen Endfläche des elektronischen Endoskops 100 positioniert ist, es durchquert eine Lichtverteilungslinse 104 und beleuchtet das biologische Gewebe. Von dem mit Weißlicht L beleuchteten biologischen Gewebe rückkehrendes Licht durchläuft eine Objektivlinse 106 und bildet ein optisches Bild auf der lichterfassenden Oberfläche eines Festkörperbildsensors 108.
  • Der Festkörperbildsensor 108 ist ein Einzelplatten-CCD-(Charge-coupled device: ladungsgekoppeltes Bauteil)-Farbbildsensor, der einen schachbrettartigen Farbfilter umfasst. Der Festkörperbildsensor 108 akkumuliert Ladung gemäß der Lichtmenge eines optischen Bildes, das aus Pixeln auf der lichterfassenden Oberfläche geformt ist, er generiert gelbe Ye, cyanfarbige Cy, grüne G und Magenta-farbige Mg Pixeldaten, und gibt die Pixeldaten aus. Der Festkörperbildsensor ist nicht darauf beschränkt, ein CCD Bildsensor zu sein und kann durch einen CMOS-(Complementary Metal Oxide Semiconductor)Bildsensor oder durch eine andere Bilderzeugungsvorrichtung ersetzt werden. Der Festkörperbildsensor 108 kann ein Element sein, das einen primären Farbfilter (Filter in Bayer-Ausgestaltung) umfasst.
  • Eine Steuersignal-Verarbeitungsschaltung 112 ist in dem Verbindungsbereich des elektronischen Endoskops 100 vorgesehen. Pixeldaten von Pixeln, die vom Weißlicht L beleuchtetes biologisches Gewebe erfasst haben, werden über den Festkörperbildsensor 108 an die Steuersignal-Verarbeitungsschaltung 112 in einem Vollbildzyklus übermittelt. Der Pixeldateninput des Festkörperbildsensors 108 wird durch die Steuersignal-Verarbeitungsschaltung 112 an eine Signalverarbeitungsschaltung 220 des Prozessors 200 ausgegeben. Die Bezeichnungen „Vollbild“ und „Halbbild“ können in der nachfolgenden Beschreibung ausgewechselt werden. In der vorliegenden Ausführungsform betragen der Vollbild-Zyklus und der Halbbild-Zyklus jeweils 1/30 Sekunden und 1/60 Sekunden.
  • Die Steuersignal-Verarbeitungsschaltung 112 greift auf einen Speicher 114 zu und liest spezielle Informationen aus, die das elektronische Endoskop 100 betreffen. Die spezielle, das elektronische Endoskop 100 betreffende Information, die in dem Speicher 114 gespeichert ist, umfasst beispielsweise die Anzahl der Pixel, die Empfindlichkeit, die betreibbare Bildfrequenz und die Modellnummer des Festkörperbildsensors 108. Die spezielle Information, die von dem Speicher 114 ausgelesen wird, wird von der Steuersignal-Verarbeitungsschaltung 112 an eine Systemsteuerung 202 ausgegeben.
  • Die Systemsteuerung 202 generiert Kontrollsignale über die Durchführung verschiedener Berechnungen auf der Grundlage der das elektronische Mikroskop betreffenden speziellen Informationen. Die Systemsteuerung 202 nutzt die generierten Kontrollsignale, um den Betrieb und die zeitliche Regulierung verschiedener Schaltungen im Prozessor 200 zu kontrollieren, um Steuerungen durchzuführen, die für das mit dem Prozessor 200 verbundene Endoskop geeignet sind.
  • Ein Timing-Controller 204 liefert der Steuersignal-Verarbeitungsschaltung 112 ein Taktsignal gemäß einer Zeitsteuerung, die die Systemsteuerung 202 durchführt. In Übereinstimmung mit dem Taktsignal, das vom Timing-Controller geliefert wird, kontrolliert die Steuersignal-Verarbeitungsschaltung 112 den Antrieb des Festkörperbildsensors gemäß einer Zeitvorgabe, die mit der Bildfrequenz der durch den Prozessor 200 verarbeiteten Bilder synchronisiert ist.
  • Betrieb im normalen Modus
  • Nachfolgend sind Signalverabeitungsprozesse in dem Prozessor 200 im normalen Betriebsmodus beschrieben.
  • Die Signalverarbeitungsschaltung 220, die der Prozessor 200 umfasst, hat eine Vor-Verarbeitungsschaltung 220A, eine Verarbeitungsschaltung 220B, eine Ausgabeschaltung 220C, eine Korrekturschaltung 220D, eine Ergebnisschaltung 220E und eine Abbildungsschaltung 220F.
  • Die Vor-Verarbeitungsschaltung 220A führt Demosaicking-Verarbeitungen an den RAW Pixeldaten durch, die aus der Steuersignal-Verarbeitungsschaltung 112 im Vollbildzyklus empfangen werden, sie führt Konvertierungen in RGB-Pixeldaten durch, sie führt Farbmatrix-Verarbeitungen durch, sowie Weißabgleich-Korrekturen, Farbtonverstärkungs-Korrekturen und Ähnliches, und überträgt die resultierenden Pixeldaten an die Ausgabeschaltung 220C.
  • Die Verarbeitungsschaltung 220B führt Verbesserungs-Verarbeitungen, Gamma-Korrekturen und Ähnliches an Pixeldaten durch, die aus der Vor-Verarbeitungsschaltung 220A empfangen werden, sie generiert Normalfarb-Bilddaten und überträgt die Bilddaten der Ausgabeschaltung 220C.
  • Die Ausgabeschaltung 220C führt Verbesserungs-Verarbeitungen durch, wie Y/C-Trennungen und Farbunterschieds-Verbesserungen an den Farb-Bilddaten, die aus der Verarbeitungsschaltung 220B empfangen werden, und führt Umwandlungen in ein vorbestimmtes Videoformatsignal durch. Das umgewandelte Videoformatsignal wird dem Monitor 300 ausgegeben. Dementsprechend werden Normalfarb-Bilddaten des biologischen Gewebes auf dem Bildschirm des Monitors 300 angezeigt.
  • Betrieb im speziellen Modus
  • Nachfolgend sind Signalverarbeitungsvorgänge in dem Prozessor 200 im speziellen Betriebsmodus beschrieben. 2 zeigt ein Flussdiagramm eines speziellen Verfahrens zur Bilderzeugung, das im speziellen Modus ausgeführt wird. Die spezielle Bilderzeugungs-Verarbeitung in 2 startet zu dem Zeitpunkt, in dem der Betriebsmodus des elektronischen Endoskopsystems in den speziellen Modus geändert wird.
  • S11 in Fig. 2 (Input der Pixeldaten des aktuellen Bildes)
  • In diesem Verarbeitungsschritt S11 werden Pixeldaten für jedes Pixel des aktuellen Bildes aus der Vor-Verarbeitungsschaltung 220A empfangen. Die Pixeldaten jedes Pixels werden einer Signalverarbeitung durch die Vor-Verarbeitungsschaltung 220A unterzogen und anschließend an die Verarbeitungsschaltung 220B und die Korrekturschaltung 220D übertragen.
  • S12 in Fig. 2 (Darstellung in der RG-Ebene)
  • 3 ist ein Diagramm, welches konzeptionell die Vorgänge in der Korrekturschaltung 220D abbildet und eine RG-Ebene zeigt (zweidimensionaler Farbraum), die durch eine R-Achse und eine G-Achse definiert ist, welche senkrecht zueinander sind. Die R-Achse ist die Achse für die R-Komponente (R-Pixelwerte) und die G-Achse ist die Achse für die G-Komponente (G-Pixelwerte).
  • In dem Verarbeitungsschritt S12 werden Pixeldaten für jedes Pixel im RGB-Raum, die durch die drei Primärfarben RGB definiert sind (drei-dimensionale Pixeldaten zusammengesetzt aus drei Farbkomponenten-Arten), umgewandelt (senkrecht projizierende Transformation) in RG-Pixeldaten (zweidimensionale Pixeldaten zusammengesetzt aus zwei Farbkomponent-Arten). Wie konzeptionell in 3 gezeigt, sind die Pixeldaten für jedes Pixel aus dem RGB-Farbraum in die RG-Ebene in Abhängigkeit der R- und G-Pixelwerte projiziert. Nachfolgend werden der Klarheit der Beschreibung halber die Punkte, die den in die RG-Ebene projizierten Pixeln entsprechen, als Korrespondenz-Pixelpunkte bezeichnet. Der Klarheit halber ist zu beachten, dass die Korrespondenz-Pixelpunkte in 3 nur für einige und nicht für alle Pixelpunkte dargestellt sind.
  • Auf diese Weise werden in dem Verarbeitungsschritt S12 Pixeldaten aus dem RGB-Raum (dreidimensionale Daten) senkrecht auf die RG-Ebene projiziert, und die Korrespondenz-Pixelpunkte (zweidimensionale Daten) sind der Fuß vertikaler Linien, die von den Punkten aus dem RGB-Raum, die den Pixeldaten entsprechen, auf die RG-Ebene gezogen werden.
  • S13 in Fig. 2 (Festlegen der Referenzachse)
  • In diesem Verarbeitungsschritt S13 wird mit Hilfe der Korrekturschaltung 220D eine Referenzachse in die RG-Ebene gesetzt, die zur Berechnung des Entzündungsgrades einer vorbestimmten Krankheit, wie beispielsweise einer Gastritis, notwendig ist. 4 zeigt ein Diagramm zur Unterstützung der Beschreibung der Referenzachse.
  • Aufgrund von Einflüssen, wie dem des Hämoglobin-Pigments, ist die R-Komponente gegenüber den anderen Komponenten (G-Komponente und B-Komponente) in der abzubildenden Körperhöhle des Patienten dominant, und je intensiver die Entzündung ist, desto stärker steigt typischerweise die Röte (R-Komponente) relativ zu den anderen Farbtönen (G-Komponente und B-Komponente). Allerdings ändert sich der Farbton in Bildern, die innerhalb von Körperhöhlen aufgenommen werden, in Abhängigkeit von Bilderfassungs-Bedingungen, die die Helligkeit beeinflussen (z.B. in Abhängigkeit des Beleuchtungsgrades mit Weißlicht L). Zum Beispiel erscheinen schattige Abschnitte, die nicht von dem Weißlicht L erreicht werden, schwarz (achromatisch, mit R-, G- und B- Komponentenwerten nahe Null, beispielsweise), und Abschnitte, auf die das Weißlicht L intensiv auftrifft und spiegelnd reflektiert wird, erscheinen weiß (achromatisch, mit R-, G- und B- Komponentenwerten bei oder nahe 255). In anderen Worten, auch wenn dieselbe entzündete abnormale Stelle abgebildet wird, wird der Pixelwert in dem Bild der abnormalen Stelle umso höher sein, je intensiver das Weißlicht darauf auftrifft. Aus diesem Grund kann der Pixelwert in Abhängigkeit des Beleuchtungsgrads mit Weißlicht L einen Wert einnehmen, der keine Korrelation zum Entzündungsgrad hat.
  • Im Allgemeinen sind normale Stellen innerhalb einer Körperhöhle, die nicht entzündet sind, ausreichend mit einer Schleimhaut überzogen. Im Gegensatz dazu sind abnormale Stellen innerhalb einer Körperhöhle, die entzündet sind, nicht ausreichend mit einer Schleimhaut überzogen. Die Schleimhaut ist umso dünner, je höher der Entzündungsgrad an einer abnormalen Stelle, wie einer Läsionsstelle, ist. Eine Schleimhaut ist grundsätzlich weißer Farbe, hat aber einen leicht gelblichen Farbton, und dieser Farbton (gelber Farbton), der in einem Bild erscheint, variiert hinsichtlich Dunkelheit/Helligkeit (Schleimhaut-Dicke). Demnach ist auch die Dunkelheit/Helligkeit der Schleimhaut angedacht, einen Indikator zur Beurteilung des Entzündungsgrades darzustellen.
  • Angesichts dessen wird in dem Verarbeitungsschritt S13, wie in 4 gezeigt, eine gerade Linie, die durch (50,0) und (255, 76) in der RG-Ebene verläuft als eine Referenzachse gesetzt, und eine gerade Linie, die durch (0,0) und (255, 192) verläuft, wird als eine Referenzachse gesetzt. Der Klarheit der Beschreibung halber wird die erste Achse „Hämoglobin-Variationsachse AX1“ genannt und die zweite Achse wird „Schleimhaut-Variationsachse AX2“ genannt.
  • Die in 4 gezeigte Darstellung ist das Ergebnis des Erfinders der vorliegenden Erfindung, das durch die Analyse einer großer Anzahl von Beispielbildern von Körperhöhlen entstanden ist. Die Beispielbilder, die in der Analyse herangezogen wurden, umfassten Beispiele von Bildern verschiedener Entzündungsstufen, die Beispiele von Bildern von Entzündungen der höchsten Symptomstufe (Beispiele von Bildern von Entzündungen der schwersten Stufe) und Beispiele von Bildern von Entzündungen der niedrigsten Symptomstufe (Beispiele von Bildern von als wesentlich normal erachteten Stellen) umfassten. Der Klarheit des Diagramms halber ist nur ein Teil der Punkte, die als Ergebnisse der Analyse erhalten wurden, in dem Beispiel der 4 abgebildet. Die Anzahl der tatsächlich als Ergebnisse der Analyse erhaltenen Punkte ist weit höher als die Anzahl der in 4 gezeigten Punkte.
  • Wie oben beschrieben, ist die R-Komponente relativ zu den anderen Komponenten (G-Komponente und B-Komponente) umso höher, je höher der Grad der Entzündung an einer abnormalen Stelle ist. Aus diesem Grund ist eine Achse an der Grenzlinie, die Regionen teilt, in denen Punkte verteilt und nicht verteilt sind, und die näher an der R-Achse als an der G-Achse ist, und die die Grenzlinie ist, die in 4 durch (50,0) und (255, 76) verläuft, als die Achse gesetzt, die eine hohe Korrelation mit einer Läsionsstelle hat, die der höchsten Symptomstufe entspricht (eine entzündete (abnormale) Stelle mit der höchsten Symptomstufe). Diese Achse ist die Hämoglobin-Variationsachse AX1. Punkte, die entzündeten Stellen entsprechen, die die höchste Symptomstufe haben und die unter verschiedenen Bilderfassung-Bedingungen (z.B. dem Beleuchtungsgrad mit Weißlicht L) erfasst wurden, liegen auf der Hämoglobin-Variationsachse AX1.
  • Andererseits, je näher eine Stelle einer normalen Stelle ist, desto intensiver ist die G-Komponente (oder B-Komponente) relative zur R-Komponente. Aus diesem Grund ist eine Achse an der Grenzlinie, die Regionen teilt, in denen Punkte verteilt und nicht verteilt sind, und die näher an der G-Achse als an der R-Achse ist, und die die Grenzlinie ist, die in 4 durch (0,0) und (255, 192) verläuft, als die Achse gesetzt, die eine hohe Korrelation mit einer Läsionsstelle hat, die der niedrigsten Symptomstufe entspricht (eine entzündete (abnormale) Stelle mit der niedrigsten Symptomstufe, die als wesentlich normale (gesunde) Stelle erachtet wird). Diese Achse ist die Schleimhaut-Variationsachse AX2. Punkte, die entzündeten Stellen entsprechen, die die niedrigste Symptomstufe haben (als wesentlich normale Stellen erachtet) und unter verschiedenen Bilderfassung-Bedingungen (z.B. dem Beleuchtungsgrad mit Weißlicht L) erfasst wurden, liegen auf der Schleimhaut-Variationsachse AX2.
  • Ferner ist die entzündete Stelle mit der höchsten Symptomstufe von Blutungen begleitet. Andererseits ist eine entzündete Stelle mit der niedrigsten Symptomstufe eine wesentlich normale Stelle und deshalb mit ausreichend Schleimhaut überzogen. Aus diesem Grund, kann nachvollzogen werden, dass die in 4 gezeigten Punkte in der RG-Ebene in einer Region verteilt sind, die zwischen der Achse mit der höchsten Korrelation mit Blut (Hämoglobinpigment) und der Achse mit der höchsten Korrelation mit dem Farbton der Schleimhaut eingeschlossen ist. Aus diesem Grund entspricht von den beiden Grenzlinien, die Regionen trennen, in den Punkte verteilt und nicht verteilt sind, diejenige, die näher an der R-Achse ist (höhere R-Komponente), der Achse, die eine entzündete Stelle mit der höchsten Symptomstufe darstellt (Hämoglobin-Variationsachse), und die Grenzlinie, die näher an der G-Achse (höhere G-Komponente) ist, entspricht der Achse, die eine entzündete Stelle mit der niedrigsten Systemstufe darstellt (Schleimhaut-Variationsachse).
  • S14 in Fig. 2 (Auswahl der Pixel-of-Interest)
  • In dem Verarbeitungsschritt S14, wird ein Pixel-of-Interest von der Korrekturschaltung 220D aus allen Pixeln ausgewählt, gemäß einer vorbestimmten Sequenz.
  • S15 in Fig. 2 (Korrektur der Pixeldaten)
  • Die Korrekturschaltung 220D speichert einen Korrektur-Matrixkoeffizienten, der in dem später beschriebenen Kalibrierungsmodus berechnet wurde. In dem Verarbeitungsschritt S15 werden die Pixeldaten (R, G) des Pixel-of-Interest, der in dem Verarbeitungsschritt S14 (Auswahl des Pixels-of-Interest) ausgewählt wurde, durch die Korrekturschaltung 220D unter Anwendung des Korrektur-Matrixkoeffizienten korrigiert, um Abweichungen in den Ergebniswerten zu minimieren, wenn dieselbe Läsionsstelle mit unterschiedlichen Endoskopsystemen abgebildet wird (in anderen Worten, individuelle Unterschiede zwischen elektronischen Endoskopen). Der Korrektur-Matrixkoeffizient wird im Detail in dem Absatz beschrieben, der den Betrieb im Kalibrierungsmodus beschreibt. • Beispiele der Korrekturmatrix
    Figure DE112017000025T5_0002
  • Rneu:
    Korrigierte Pixeldaten des Pixels-of-Interest (R-Komponente)
    Gneu:
    Korrigierte Pixeldaten des Pixels-of-Interest (G-Komponente)
    M11–M22:
    Koorekturmatrix-Koeffizienten
    R:
    Nicht korrigierte Pixeldaten des Pixels-of-Interest (R-Komponente)
    G:
    Nicht korrigierte Pixeldaten des Pixels-of-Interest (G-Komponente)
  • S16 in Fig. 2 (Winkelberechnung)
  • Nachdem die Verarbeitungsschritte S14 (Auswahl des Pixels-of-Interest) und S15 (Korrektur der Pixeldaten) durch die Korrekturschaltung 220D an allen Pixeln des aktuellen Bildes ausgeführt worden sind, berechnet die Ergebnisschaltung 220E einen Winkel zum Berechnen des Entzündungsgrades für die Pixeldaten (Rneu, Gneu) für jedes Pixel, das im Zuge der Korrektur im Verarbeitungsschritt S15 (Korrektur der Pixeldaten) erhalten wurde. Im Besonderen betrifft dieser Verarbeitungsschritt S16 die Verarbeitung zum Berechnen eines Winkels θ für jedes Pixel, der von der Hämoglobin-Variationsachse AX1 und einem Liniensegment L gebildet ist, welches den Korrespondenz-Pixelpunkt (Rneu, Gneu) und einen Schnittpunkt (Referenzpunkt) O‘ der Hämoglobin-Variationsachse AX1 mit der Schleimhaut-Variationsachse AX2 (siehe 3) verbindet. Der Referenzpunkt O‘ hat die Koordinaten (–150, –75).
  • S17 in Fig. 2 (Normalisierungs-Verarbeitung)
  • Während die Helligkeit des aufgenommenen Bildes einer Körperhöhle in Abhängigkeit des Beleuchtungsgrades mit dem Weißlicht L variiert, ist der Farbton des aufgenommenen Bildes von individuellen Unterschieden, wie dem abgebildeten Ort, dem Status der Entzündung u.ä. beeinflusst, jedoch ändert sich der Farbton einer entzündeten Stelle mit der höchsten Symptomstufe in der RG-Ebene näherungsweise entlang der Hämoglobin-Variationsachse AX1 und der Farbton einer entzündeten Stelle mit niedrigster Symptomstufe ändert sich näherungsweise entlang der Schleimhaut-Variationsachse AX2. Es ist auch schlussgefolgert, dass sich der Farbton eines aufgenommenen Bildes an einer Stelle mit moderater Symptomstufe mit derselben Tendenz ändert. Im Besonderen, wenn ein Pixel-Korrespondenzpunkt, der einer entzündeten Stelle entspricht, sich in Abhängigkeit des Beleuchtungsgrades mit dem Weißlicht L verändert, erfolgt eine Verschiebung in Richtung des Azimutwinkels, wobei der Referenzpunkt O‘ als Ursprung dient. In anderen Worten, wenn ein Pixel-Korrespondenzpunkt, der einer entzündeten Stelle entspricht, sich in Abhängigkeit des Beleuchtungsgrades mit dem Weißlicht L verändert, ändert sich die Entfernung zum Referenzpunkt O‘, während der Winkel θ konstant bleibt. Das bedeutet, dass der Winkel θ ein Parameter ist, der im Wesentlichen nicht durch die Änderung der Helligkeit des aufgenommenen Bildes beeinflusst wird.
  • Je niedriger der Winkel θ ist, desto intensiver ist die R-Komponente relativ zur G-Komponente, was bedeutet, dass die Symptomstufe der entzündeten Stelle höher ist. Je höher der Winkel θ ist, desto intensiver ist die G-Komponente relativ zur R-Komponente, was bedeutet, dass die Symptomstufe der entzündeten Stelle geringer ist.
  • Auf dieser Grundlage normalisiert die Ergebnisschaltung 220E in dem Verarbeitungsschritt S17 den Winkel θ für jedes Pixel des aktuellen Bildes, sodass ein Wert von 255 eingenommen wird, wenn der Winkel θ gleich Null ist und ein Wert von 0 eingenommen wird, wenn der Winkel θ gleich θMAX ist. θMAX entspricht dem Winkel, der von der Hämoglobin-Variationssachse AX1 und von der Schleimhaut-Variationsachse AX2 gebildet wird. Dementsprechend wird ein Entzündungsgrad berechnet, der in dem Bereich zwischen 0 und 255 (8-Bit Information) fällt.
  • S18 in Fig. 2 (Berechnung eines Entzündungsbewertungswertes)
  • In diesem Verarbeitungsschritt S18 berechnet die Ergebnisschaltung 220E den durchschnittlichen Wert des Entzündungsgrades aller Pixel des aktuellen Bildes (oder berechnet einen integrierten Wert des Entzündungsgrades aller Pixel) als den allgemeinen Entzündungsbewertungswert des aufgenommenen Bildes und generiert eine Datenanzeige für den berechneten Entzündungsbewertungswert (Beispiel einer Datenanzeige: Ergebnis: OO)
  • S19 in Fig. 2 (Bestimmung der Anzeigefarbe im Farbkarten-Bild)
  • In der vorliegenden Ausführungsform ist es möglich, ein Farbkarten-Bild anzuzeigen, das durch die Aufteilung (Mosaicking) eines aufgenommenen Bildes in Anzeigefarben entsteht, die dem Grad der Entzündung entsprechen. Um die Anzeige eines Farbkarten-Bildes zu ermöglichen, ist eine Übereinstimmungstabelle zwischen Entzündungsgrad-Werten und vorbestimmten Anzeigefarben in einer Speicherregion der Ergebnisschaltung 220E gespeichert. In dieser Tabelle ist beispielsweise eine Anzeigefarbe einer Gruppe von 5 Werten zugeordnet. Zum Beispiel ist Gelb einer Entzündungsgrad-Spanne mit den Werten 0 bis 5 zugeordnet, verschiedene Anzeigefarben sind jeweils Gruppen mit fünf höheren Werten auf Grundlage der Farbordnung im Farbkreis zugeordnet, und Rot ist der Wertspanne 250 bis 255 zugeordnet.
  • In dem Verarbeitungsschritt S19 ist die Anzeigefarbe im Farbkarten-Bild für jedes Pixel des aktuellen Bildes derart durch die Abbildungsschaltung 220F bestimmt, dass auf Basis der oben beschriebenen Tabelle, diese der Farbe entspricht, die dem Entzündungsgradwert entspricht, der in dem Verarbeitungsschritt S17 erhalten wurde (Normalisierungs-Verarbeitung).
  • S20 in Fig. 2 (Erzeugung von Farbkarten-Bilddaten)
  • In dem Verarbeitungsschritt S20 konvertiert die Abbildungsschaltung 220F die Farbdaten eines jeden Pixels des aktuellen Bildes in Daten für die Anzeigefarben, die in dem Verarbeitungsschritt S19 bestimmt worden sind, und generiert Farbkarten-Bilddaten, die aus Pixeln gebildet sind, um in den konvertierten Anzeigefarben angezeigt zu werden.
  • S21 in Fig. 2 (Überlagerungsverarbeitung)
  • In dem Verarbeitungsschritt S21 setzt die Ausgabeschaltung 220C einen Koeffizienten fest als Grad der Überlagerung eines Normalfarben-Bildes, das auf Normalfarben-Bilddaten basiert, die aus der Verarbeitungsschaltung 220B empfangen werden, und eines Farbkarten-Bildes, das auf Farbkarten-Bilddaten basiert, die in dem Verarbeitungsschritt S20 generiert wurden, und addiert die ursprünglichen Bilddaten (Normalfarben-Bilddaten) und die letzteren Bilddaten (Farbkarten-Bilddaten) auf der Grundlage des Koeffizienten.
  • Die Einstellung des Koeffizienten kann über einen Nutzerbefehl entsprechend geändert werden. Zum Beispiel kann, falls gewünscht ist das Normalfarben-Bild stärker zu zeigen, der Koeffizient für die Normalfarbenbilddaten höhergestellt werden, und falls gewünscht ist das Farbkarten-Bild stärker zu zeigen, der Koeffizient für die Farbkarten-Bilddaten höhergestellt werden.
  • S22 in Fig. 2 (End-Bestimmung)
  • In dem Verarbeitungsschritt S22 wird bestimmt, ob der Betriebsmodus des elektrischen Endoskopsystems 1 in einen Modus geändert wurde, der nicht dem speziellen Modus entspricht. Wird festgestellt, dass der Betriebsmodus nicht in einen anderen Modus geändert wurde (S22: NO), kehrt das Verfahren der speziellen Bilderzeugungsverarbeitung aus 2 zu Schritt S11 (Input der Pixeldaten des aktuellen Bildes) zurück. Wird hingegen festgestellt, dass der Betriebsmodus in einen anderen Modus (S22: YES) geändert wurde, endet die spezielle Bilderzeugungsverarbeitung aus 2.
  • Beispiel einer Bildschirmanzeige
  • Die Ausgabeschaltung 220C generiert Anzeigedaten für ein überlagertes Bild, welches das Normalfarben-Bild und das Farbkarten-Bild enthält, auf Basis der Bilddaten, die im Zuge der Additionsverarbeitung im Verarbeitungsschritt S21 (Überlagerungsverarbeitung) in 2 erhalten werden, sie (die Ausgabeschaltung 220C) führt Maskierungs-Verarbeitungen zum Maskieren der Peripheriebereiche der Bildschirmanzeige des Monitors 300 durch (Peripherie der Bildanzeigebereiche), und generiert ferner Bildschirmanzeigedaten, in welchen der Entzündungsbewertungswert dem Maskenbereich, der bei der Maskierungsverarbeitung generiert wird, überlagert ist. Die Ausgabeschaltung 220C konvertiert die generierten Bildschirmanzeigedaten in ein vorbestimmtes Videoformat-Signal und übertragt das Signal dem Monitor 300.
  • 5 zeigt ein Beispiel einer Bildschirmanzeige im speziellen Modus. Wie in 5 gezeigt, umfasst die Bildschirmanzeige des Monitors 300 das intrakavitär aufgenommene Bild (überlagertes Bild, in welchen das normale Bild und das Farbkarten-Bild überlagert sind) in dem zentralen Bereich, und einen maskierten Bildschirmbereich, der den Bildanzeigebereich umgibt. Der Bildschirmmodus des aufgenommenen Bildes ist im speziellen Modus nicht darauf beschränkt, ein überlagertes Bild eines Normalfarben-Bildes und eines Farbkarten-Bildes zu sein. So gibt es zum Beispiel Displaymodi, in welchen das Normalfarben-Bild und das Farbkarten-Bild Seite an Seite in demselben Bildschirm angezeigt werden, und andere in denen nur das Farbkartenbild angezeigt wird. Im ersten Fall können das Normalfarben-Bild und das Farbkarten-Bild in derselben Größe gezeigt werden, alternativ ist eine Ausgestaltung möglich, in welcher entweder das Normalfarben-Bild oder das Farbkarten-Bild als Haupt-Bild angezeigt werden, und das jeweils andere als Unter-Bild angezeigt wird, welches kleiner als das Haupt-Bild ist.
  • Auf diese Weise ist gemäß der vorliegenden Erfindung keine Notwendigkeit gegeben, komplexe Farbraum-Transformations-Verarbeitungen durchzuführen oder nicht lineare Berechnungsverarbeitungen wie Farbtonverbesserung-Verarbeitungen oder Ähnliches durchzuführen, und ein Entzündungsbewertungswert (hier ein Wert, der mit der Zunahme/Abnahme des Hämoglobinpigments der aufgenommenen Stelle korreliert) wird nur durch die Durchführung einfacher Berechnungsvorgänge errechnet. In anderen Worten ist die Menge an Hardwareressourcen, die für die Berechnung des Entzündungsbewertungswertes notwendig ist, erheblich verringert. Ferner variiert der Entzündungsbewertungswert im Wesentlichen nicht in Abhängigkeit der Abbildungsbedingungen, die die Helligkeit der intrakavitär aufgenommenen Bilder (z.B. der Grad der Beleuchtung mit Bestrahlungslicht) beeinflussen, und deshalb kann der Nutzer eine objektivere und genauere Diagnose hinsichtlich der Entzündung stellen.
  • Betrieb im Kalibrierungsmodus
  • Nachfolgend wird der Betrieb des elektronischen Endoskopsystems 1 im Kalibrierungsmodus beschrieben. 6 zeigt ein Flussdiagramm der Kalibrierungsverarbeitung, die im Kalibrierungsmodus durchgeführt wird. Ferner zeigt 7 ein Diagramm zur Unterstützung der Beschreibung der Kalibrierungsverarbeitung in 6. Die Kalibrierungsverarbeitung gemäß 6 wird beispielsweise zum Zeitpunkt der Werkauslieferung ausgeführt, und beginnt, wenn der Nutzer den Modus des elektronischen Endoskopsystems 1 in den Kalibrierungsmodus wechselt.
  • Vorbereitende Vorgänge können von einem Sachbearbeiter vor der Durchführung des Kalibrierungsprozesses durchgeführt werden. Insbesondere kann der Sachbearbeiter den Weißabgleich des elektronischen Endoskopsystems 1 mit Hilfe einer Graukarte oder Ähnlichem durchführen.
  • Sobald die Weißabgleich-Korrektur durchgeführt ist, setzt der Sachbearbeiter das elektronische Endoskopsystem 1 in eine Kalibrierungsvorrichtung und startet eine Kalibrierungssoftware an einem Terminal (PC), der mit dem Prozessor 200 verbunden ist.
  • Der Sachbearbeiter führt anschließend Helligkeitsanpassungen an einem von dem elektronischen Endoskop 100 aufgenommen Bild durch. Zum Beispiel passt der Sachbearbeiter von Hand die Öffnung der Blende 212 an, sodass der Helligkeitswert des aufgenommenen Bildes, welcher durch Abbildung eines Subjekts zur Helligkeitsanpassung erreicht wird, mit einem Ziel-Helligkeitswert übereinstimmt. Der Helligkeitswert des aufgenommenen Bildes kann mit Hilfe der Kalibrierungssoftware kontrolliert werden.
  • Wenn die Helligkeitsanpassung des aufgenommenen Bildes abgeschlossen ist, ordnet der Sachbearbeiter einen ersten Indikator fest in dem Sichtwinkel des elektronischen Systems 100 an, indem er den ersten Indikator in die Kalibrierungsvorrichtung einsetzt. Hier ist der erste Indikator ein Indikator einer ersten Farbe, welche die Farbe biologischen Gewebes ist, wenn die Symptomstufe die höchste ist in Bezug auf eine vorbestimmte Krankheit. In der vorliegenden Ausführungsform ist der erste Indikator ein plattenförmiges Teil, welches in einer Farbe gefärbt ist, die einem vorbestimmten Punkt (dem später beschriebenen ersten Zielpunkt PT1) auf der Hämoglobin-Variationsachse AX1 in der RG-Ebene entspricht.
  • S31 in Fig. 6 (Abbildung des ersten Indikators)
  • In dem Verarbeitungsschritt S31 wird der erste Indikator (Oberfläche, in erster Farbe eingefärbt) auf Basis von Bedienungs-Input des Sachbearbeiters von dem elektronischen Endoskop 100 aufgenommen, und das resultierende aufgenommene Bild (RAW-Datenformat, YUV-Format o.ä.) wird in den PC eingegeben.
  • S32 in Fig. 6 (Abbildung des zweiten Indikators)
  • Im Anschluss ordnet der Sachbearbeiter einen zweiten Indikator fest in dem Sichtwinkel des elektronischen Systems 100 an, indem er den zweiten Indikator in die Kalibrierungsvorrichtung einsetzt. Hier ist der Indikator der Indikator einer zweiten Farbe, welche die Farbe biologischen Gewebes ist, das in Bezug auf eine vorbestimmte Krankheit gesund ist. In der vorliegenden Ausführungsform ist der erste Indikator ein plattenförmiges Teil, welches in einer Farbe gefärbt ist, die einem vorbestimmten Punkt (dem später beschriebenen ersten Zielpunkt PT2) auf der Schleimhaut-Variationsachse AX2 in der RG-Ebene entspricht.
  • In dem Verarbeitungsschritt S32 wird der zweite Indikator (Oberfläche, in zweiter Farbe eingefärbt) auf Basis von Bedienungs-Input des Sachbearbeiters von dem elektronischen Endoskop 100 aufgenommen, und das resultierende aufgenommene Bild (RAW-Datenformat, YUV-Format o.ä.) wird in den PC eingegeben. Durch die Nutzung der Kalibrierungsvorrichtung kann der Sachbearbeiter den ersten Indikator und den zweiten Indikator unter denselben Bedingungen abbilden. Durch die Durchführung des Verarbeitungsschrittes S31 (Abbilden des ersten Indikators) und dieses Verarbeitungsschritts S32 werden aufgenommen Bilddaten gewonnen durch die Abbildung von Indikatoren, die in Bezug zu einer vorbestimmten Krankheit stehen.
  • S33 in 6 (Berechnung des ersten reellen Bilddatenpunktes PD1) Die Durchführung des Verarbeitungsschrittes S33 beginnt infolge von Bearbeitungs-Input des Sachbearbeiters oder automatisch nachdem eine vorbestimmte Anzahl von Bildern aufgenommen wurde (hier: zwei Bilder).
  • In dem Verarbeitungsschritt S33 berechnet die Kalibrierungssoftware einen ersten reellen Bilddatenpunkt PD1 als den reellen Messpunkt des ersten Indikators auf Basis der aufgenommenen Bilddaten für den ersten Indikator, der im Verarbeitungsschritt S31 aufgenommen wurde (Abbildung des ersten Indikators). Zum Beispiel wird der durchschnittliche Wert der Pixel (z.B. 200×200 Pixel) in dem zentralen Bereich der Aufnahme des ersten Indikators als der erste reelle Datenpunkt PD1 berechnet.
  • S34 in Fig. 6 (Berechnung des zweiten reellen Datenpunktes PD2)
  • In dem Verarbeitungsschritt S34 berechnet die Kalibrierungssoftware einen zweiten reellen Bilddatenpunkt PD2 als den reellen Messpunkt des zweiten Indikators auf Basis der aufgenommenen Bilddaten für den zweiten Indikator, der im Verarbeitungsschritt S32 aufgenommen wurde (Abbildung des zweiten Indikators). Zum Beispiel wird, in gleicher Weise wie für den ersten reellen Datenpunkt, der durchschnittliche Wert der Pixel (z.B. 200×200 Pixel) in dem zentralen Bereich der Aufnahme des zweiten Indikators als der zweite reelle Datenpunkt PD2 berechnet.
  • S35 in Fig. 6 (plotting of real imaging data on RG plane)
  • In dem Verarbeitungsschritt S35 stellt die Kalibrierungssoftware den ersten reellen Datenpunkt PD1 und den zweiten reellen Datenpunkt PD2 in der RG-Ebene dar, die mit einer Ziel-Krankheit (z.B. Gastritis) in Bezug steht, wie dies hier in 7 gezeigt ist. Bei der Durchführung des Verarbeitungsschrittes S35 sind die reellen Bilddatenpunkte in einem vorbestimmten Farbraum dargestellt, der einer vorbestimmten Krankheit gemäß der Farbkomponenten der reellen Bilddatenpunkte zugeordnet ist.
  • S36 in Fig. 6 (Berechnung des Korrektur-Matrixkoeffizienten)
  • Wie in 7 gezeigt, ist ein erster Zielpunkt PT1, der dem ersten reellen Bilddatenpunkt PD1 entspricht, auf der Hämoglobin-Variationsachse AX1 gesetzt, und ein zweiter Zielpunkt PT2, der dem zweiten reellen Bilddatenpunkt PD2 entspricht, ist auf der Schleimhaut-Variationsachse AX2 gesetzt. Der erste Zielpunkt PT1 entspricht der ersten Farbe des ersten Indikators, und der zweite Zielpunkt PT2 entspricht der zweiten Farbe des zweiten Indikators.
  • In dem Verarbeitungsschritt S36 nutzt die Kalibrierungssoftware die Methode der kleinsten Quadrate oder eine ähnliche Methode, um den Korrektur-Matrixkoeffizienten zu berechnen, der den geringsten Summenwert des Abstands zwischen dem ersten reellen Datenpunkt PD1 und dem ersten Zielpunkt PT1 (erster Abstand Δ1) und des Abstands zwischen dem zweiten reellen Datenpunkt PD1 und dem zweiten Zielpunkt PT2 (zweiter Abstand Δ2) errechnet. In der Durchführung des Verarbeitungsschrittes S36 wird ein Korrekturwert zur Korrektur der Werte der Pixel berechnet, die ein von einem elektronischen Endoskop aufgenommenes Bild ausmachen, auf der Grundlage des Abstands zwischen reellen Datenpunkten und vorbestimmten Zieldatenpunkten in einem Farbraum.
  • Ferner kann der Korrektur-Matrixkoeffizient durch Anwendung des nachfolgenden Ausdrucks berechnet werden: • Berechnungsbeispiel der Berechnung des Korrektur-Matrixkoeffizienten
    Figure DE112017000025T5_0003
  • M11–M22:
    Korrektur-Matrixkoeffizient
    REF11, REF21:
    Erster Zielpunkt PT1
    REF12, REF22:
    Zweiter Zielpunkt PT2
    MEA11, MEA21:
    Erster reeller Datenpunkt PD1
    MEA12, MEA22:
    Zweiter reeller Datenpunkt PD2
  • Wie unten gezeigt, ist der obige Ausdruck dadurch abgeleitet, dass ein Ausdruck zur Korrektur auf Korrekturziele (Zielpunkte) transformiert wird, indem eine Korrekturmatrix auf Messwerte (reelle Datenpunkte) angewendet wird.
    Figure DE112017000025T5_0004
  • S37 in Fig. 6 (saving of correction matrix coefficient)
  • In dem Verarbeitungsschritt S37 wird der Korrektur-Matrixkoeffizient, der in dem Verarbeitungsschritt S36 (Berechnung des Korrektur-Matrixkoeffizienten) berechnet wurde, in der Korrekturschaltung 220D des Prozessors 200 gespeichert. Dementsprechend ist der in 6 gezeigte Kalibrierungsprozess abgeschlossen.
  • Bei der Durchführung von Kalibrierungs-Verarbeitungen an elektrischen Endoskopsystemen, werden näherungsweise die dieselben Werte erreicht (Werte, die den ersten Zielpunkt und den zweiten Zielpunkt in jedem der elektronischen Endoskopsysteme annähern), wenn der erste Indikator und der zweite Indikator, die einer Zielkrankheit zugeordnet sind, durch die elektronischen Endoskopsysteme abgebildet werden, und aus diesem Grund nehmen auch die Entzündungsbewertungswerte, die letztlich berechnet werden, näherungsweise übereinstimmende Werte ein.
  • In anderen Worten ist es gemäß der vorliegenden Ausführungsform durch die Beschränkung des Korrekturziels (im Besonderen, durch das Festlegen vorbestimmter Farben als Korrekturziele, die mit einer vorbestimmten Krankheit in Bezug stehen) möglich, vorteilhaft Fehler zu beseitigen, die in Farbdaten verbleiben, die benutzt werden, wenn der Bewertungswert für die Zielkrankheit berechnet wird (hauptsächlich Variationen, die durch individuelle Unterschiede zwischen den optischen Komponenten elektronischer Endoskope 100 entstehen). Aus diesem Grund wird die Berechnungsgenauigkeit des Bewertungswertes gesteigert.
  • Ferner werden durch das elektronische Endoskopsystem gemäß der vorliegenden Ausführungsform Effekte und Problemlösungen erreicht, wie die nachfolgenden in anwendbaren technischen Feldern.
  • Erstens ist das elektronische Endoskopsystem gemäß der vorliegenden Ausführungsform ein Diagnosemittel zur frühen Erkennung einer Entzündungskrankheit.
  • Zweitens ist es gemäß der Ausgestaltung der vorliegenden Ausführungsform möglich, den Grad der Entzündung auf einen Bildschirm anzuzeigen, oder das Bild in einem Bereich zu vergrößern, der von der Entzündung betroffen ist, sodass der Nutzer leichte Entzündungen entdecken kann, die schwer zu sehen sind. Insbesondere ist eine leichte Entzündung schwer von einer normalen Stelle zu unterscheiden, und aus diesem Grund sind die Effekte hinsichtlich der Bewertung von leichten Entzündungen, die durch die Ausgestaltung der vorliegenden Ausführungsform erreicht werden, beachtlich.
  • Drittens ist es gemäß der Ausgestaltung der vorliegenden Ausführungsform möglich, dem Nutzer einen objektiven Bewertungswert in Form der Bewertung des Entzündungsgrades bereitzustellen, sodass es möglich wird, Unterschiede in der Diagnose unter Nutzern zu reduzieren. Im Besonderen entsteht ein großer Vorteil durch die Fähigkeit, einem Nutzer mit geringer Erfahrung einen objektiven Bewertungswert, der durch die Ausgestaltung der vorliegenden Ausführungsform erreicht wird, zur Verfügung zu stellen.
  • Viertens, wird gemäß der Ausgestaltung der vorliegenden Ausführungsform die Bildverarbeitungslast reduziert, sodass es möglich ist, Echtzeitanzeigen der Bilder einer entzündeten Stelle durchzuführen.
  • Fünftens, wird gemäß der Ausgestaltung der vorliegenden Ausführungsform die Bearbeitungslast der Berechnung des Bewertungswertes reduziert, sodass es möglich ist, ein Farbkarten-Bild (Bild, das den Grad der Entzündung zeigt) und ein Normalfarben-Bild Seite an Seite oder auf zusammengesetzte Weise ohne Verzögerung darzustellen. Aus diesem Grund ist es möglich ein Farbkarten-Bild anzuzeigen, ohne die Inspektionszeit zu verlängern, sodass es möglich ist, eine Steigerung der Belastung des Patienten zu vermeiden.
  • Die zu untersuchende Stelle der vorliegenden Ausführungsform ist beispielsweise ein Atmungsorgan oder Ähnliches, oder ein Verdauungsorgan oder Ähnliches. „Atmungsorgan oder Ähnliches“ umfasst beispielsweise die Lungen, die Ohren, die Nase und den Hals. „Verdauungsorgan oder Ähnliches“ umfasst beispielsweise den Dickdarm, den Dünndarm, den Magen, den Zwölffingerdarm und die Gebärmutter. Es wird angenommen, dass das elektronische Endoskop gemäß der vorliegenden Ausführungsform sogar noch bemerkenswertere Auswirkungen hat, wenn das Untersuchungsziel der Dickdarm ist. Nachfolgend werden spezifische Gründe hierfür genannt.
  • Der Dickdarm ist anfällig für Krankheiten, die durch die Nutzung einer Entzündung als Referenz bewertet werden können, und der Vorteil der Erkennung entzündeter Stellen ist größer als dies bei anderen Organen der Fall ist. Insbesondere ist der Entzündungsbewertungswert, der in der vorliegenden Ausführungsform erreicht wird, als Indikator der chronisch-entzündlichen Darmerkrankung (Inflammatory bowel disease (IBD)) wirksam, die durch Colitis ulcerosa verkörpert wird. Für die Colitis ulcerosa ist noch kein Heilungsverfahren bekannt, sodass die Nutzung des elektronischen Endoskopsystems mit der Ausgestaltung der vorliegenden Ausführungsform sehr effektiv für die Stellung einer frühen Diagnose und die Verzögerung des Fortschreitens der Krankheit ist.
  • Der Dickdarm ist ein engeres und längeres Organ als der Magen oder ähnliches, und die erreichten Bilder haben größere Tiefe und sind dunkler mit zunehmender Tiefe. Gemäß der Ausgestaltung der vorliegenden Ausführungsform ist es möglich, Abweichungen in den Ergebniswerten zu minimieren, die aufgrund von Änderungen in der Helligkeit des Bildes entstehen. Wenn das elektronische Endoskopsystem gemäß der vorliegenden Ausführungsform auf die Untersuchung des Dickdarms angewandt wird, sind die Effekte der vorliegenden Ausführungsform dementsprechend beachtlich. In anderen Worten ist das elektronische Endoskopsystem gemäß der vorliegenden Ausführungsform vorzugsweise ein für Atmungsorgane bestimmtes elektronisches Endoskopsystem oder ein für Verdauungsorgane bestimmtes elektronisches Endoskopsystem, und es ist insbesondere ein für den Dickdarm bestimmtes elektronisches Endoskopsystem.
  • Obwohl leichte Entzündungen generell schwer diagnostizierbar sind, ist es gemäß der Ausgestaltung der vorliegenden Ausführungsform möglich, die Situation zu vermeiden, in der der Nutzer eine leichte Entzündung übersieht, und zwar beispielsweise durch die Ausgabe des Ergebnisses des Entzündungsbewertungswertes auf dem Bildschirm. Insbesondere sind die Bestimmungskriterien im Falle einer leichten Entzündung nicht klar, und dies ist ein Faktor, der eine große Menge an individuellen Unterschieden unter den Nutzern bedingt. Auch in diesem Zusammenhang ist es gemäß der Ausgestaltung der Ausführungsform möglich, dem Nutzer einen objektiven Bewertungswert zur Verfügung zu stellen, sodass es möglich ist, die Variation der Diagnosen zu reduzieren, die durch individuelle Unterschiede entsteht.
  • Die oben beschriebene Ausgestaltung der vorliegenden Ausführungsform ist auf die Berechnung eines Bewertungswertes anwendbar, der nicht nur den Entzündungsgrad, sondern auch Krebs, Polypen, und verschiedene andere Läsionen betrifft, die von einer Farbänderung begleitet werden, und vorteilhafte Effekte, ähnlich denen die oben beschrieben wurden, können auch in diesen anderen Fällen erreicht werden. In anderen Worten ist der Bewertungswert der vorliegenden Ausführungsform vorzugsweise ein Bewertungswert für eine Läsion, die von einer Farbänderung begleitet ist, und er umfasst einen Bewertungswert von mindestens einer Entzündung, Krebs oder Polypen.
  • Eine beispielhafte Ausführungsform der vorliegenden Erfindung ist oben beschrieben worden. Die Ausführungsformen der vorliegenden Erfindung sind nicht auf die oben beschriebene Ausführungsform beschränkt, und verschiedene Änderungen können durchgeführt werden, ohne von dem Anwendungsbereich der technischen Idee der vorliegenden Erfindung abzuweichen. So sind beispielsweise zweckdienliche Kombinationen von Ausführungsformen und Ähnliches, die explizit als Beispiele in dieser Beschreibung angegeben sind und offensichtliche Ausführungsformen und Ähnliches in den Ausführungsformen der vorliegenden Erfindung enthalten.
  • In der obigen Ausführungsform wählt ein Sachbearbeiter einen Indikator, der eine erste Farbe (Farbe eines biologischen Gewebes, wenn die Symptomstufe in Bezug auf eine vorbestimmte Krankheit am höchsten ist) hat, als den ersten Indikator, und wählt einen Indikator, der eine zweite Farbe hat (Farbe eines biologischen Gewebes, das in Bezug auf eine vorbestimmte Krankheit gesund ist), als einen den zweiten Indikator. Aus diesem Grund wird die Kalibrierung in der obigen Ausführungsform mit höherer Präzision durchgeführt, je näher die Farben an der ersten und an der zweiten Farbe (z.B. Korrekturziele) in dem Farbraum sind. In anderen Worten ist die Kalibrierungsgenauigkeit umso geringer, je weiter die Farben von den Korrekturzielen in dem Farbraum entfernt sind (z.B. eine Farbe, die unwahrscheinlich bei Entzündungen ist, wie Hellblau).
  • Entsprechend ist es ausreichend, dass der Sachbearbeiter als einen Indikator, der in die Kalibrierungsvorrichtung gesetzt wird, einen Indikator wählt, der der Symptomstufe entspricht, die mit besonders hoher Präzision bei Nutzung des elektronischen Endoskopsystems 1 getroffen wird. Ist beispielsweise gewünscht, eine leichte Entzündung mit hoher Präzision zu treffen, muss der Nutzer als ersten Indikator einen Indikator in der Farbe wählen, die das biologischen Gewebe bei Auftreten einer leichten Entzündung hat.
  • Je stärker die bereitgestellten Indikatoren aufgegliedert sind, desto schwieriger ist es für einen Nutzer einen passenden Indikator zu wählen. Aus diesem Grund kann die Systemsteuerung 202 eine Steuerung durchführen, sodass der Indikator, der einer bestimmten Symptomstufe entspricht, auf dem Bildschirm des Monitors 300 angezeigt wird, oder dieser über eine Audio-Wiedergabe (z.B. wird der Nutzer über den Indikator informiert) mitgeteilt wird, wenn ein Nutzerbefehl zur Bestimmung einer Symptomstufe über ein Peripherie-Gerät (wie z.B. eine Tastatur) eingegeben wird. Dementsprechend kann der Nutzer einen passenden Indikator aus mehreren Indikatoren auswählen.
  • Ferner ist in dem obigen Ausführungsbeispiel der Entzündungsbestimmungswert unter Nutzung der R-Komponente und der G-Komponente (RG zweidimensionaler Farbraum) eines jeden Pixels berechnet, aber in einer anderen Ausführungsform ist es möglich, anstelle des RG-zweidimensionalen Farbraumes einen RB-zweidimensionalen Farbraum oder einen dreidimensionalen Farbraum wie HIS, HSV oder Lab zu verwenden, um einen Bewertungswert zu berechnen, der mit einer Zielkrankheit in Bezug steht, die dem Farbraum zugeordnet ist und sich von der obigen Ausführungsform unterscheidet (z.B. Magenatrophie oder große Magentumore). In diesem Fall ist der Korrektur-Matrixkoeffizient mit Hilfe von Indikatoren und Zielpunkten berechnet, die sich von denen der obigen Ausführungsform unterscheiden.
  • Verschiedene Arten von Korrektur-Matrixkoeffizienten, die verschiedenen Arten von Zielkrankheiten entsprechen, können in der Korrekturschaltung 200D des Prozessors 200 gespeichert werden. Durch Ändern des Korrektur-Matrixkoeffizienten gemäß der Krankheit, die diagnostiziert werden muss, ist es möglich, für die entsprechende Krankheit eine Bewertungswertberechnung durchzuführen, die stabil ist (mit geringer Variation aufgrund individueller Unterschiede).

Claims (14)

  1. Verfahren zur Erzeugung von Korrekturdaten, ausgeführt von einem Computer, wobei das Verfahren umfasst: einen Erfassungsschritt zum Erfassen von aufgenommenen Bilddaten durch Abbilden eines Indikators, der mit einer vorbestimmten Krankheit in Bezug steht; einen grafischen Darstellungsschritt zum Darstellen eines reellen Bilddatenpunkts, der den erfassten aufgenommenen Bilddaten entspricht, in einem vorbestimmten Farbraum, welcher der Krankheit gemäß einer Farbkomponente des Datenpunkts zugeordnet ist; einen Berechnungsschritt zum Berechnen eines Korrekturwertes zur Korrektur von Pixelwerten, die ein über ein elektronisches Endoskop aufgenommenes Bild ausmachen, auf der Grundlage eines Abstands zwischen dem Bilddatenpunkt und einem vorbestimmten Zielpunkt in dem Farbraum; und einen Speicherungsschritt zum Speichern des Korrekturwertes.
  2. Das Verfahren zur Erzeugung von Korrekturdaten nach Anspruch 1, wobei in dem Erfassungsschritt erste aufgenommene Bilddaten durch Abbilden eines ersten Indikators erfasst werden, der eine erste Farbe hat, die eine Farbe eines biologischen Gewebes ist, wenn eine Symptomstufe eine vorbestimmte erste Stufe in Bezug auf die Krankheit ist, und zweite aufgenommene Bilddaten durch Abbilden eines zweiten Indikators erfasst werden, der eine zweite Farbe hat, die eine Farbe eines biologischen Gewebes ist, wenn eine Symptomstufe eine vorbestimmte zweite Stufe in Bezug auf die Krankheit ist; in dem grafischen Darstellungsschritt erste und zweite Datenpunkte, die den erfassten ersten und zweiten aufgenommenen Bilddaten entsprechen, in dem Farbraum gemäß Farbkomponenten der ersten und zweiten Datenpunkte dargestellt werden und in dem Berechnungsschritt der Korrekturwert berechnet wird auf der Grundlage eines Abstands zwischen dem ersten Datenpunkt und dem vorbestimmten ersten Zielpunkt in dem Farbraum und eines Abstands zwischen dem zweiten Datenpunkt und dem vorbestimmten zweiten Zielpunkt in dem Farbraum.
  3. Verfahren zur Erzeugung von Korrekturdaten nach Anspruch 2, weiter umfassend: einen Schritt zum Annehmen einer Eingabe eines Nutzers zur Kennzeichnung einer ersten Symptomstufe; und einen Schritt zum Informieren des Nutzers hinsichtlich eines Indikators, der der angenommenen Symptomstufe entspricht.
  4. Verfahren zur Erzeugung von Korrekturdaten nach Anspruch 2 oder 3, wobei in dem Berechnungsschritt ein Matrixkoeffizient als Korrekturwert berechnet wird, der einen geringsten Summenwert des Abstands zwischen dem ersten Datenpunkt und dem ersten Zielpunkt und des Abstands zwischen dem zweiten Datenpunkt und dem zweiten Zielpunkt erreicht.
  5. Verfahren zur Erzeugung von Korrekturdaten nach einem der Ansprüche 1 bis 4, wobei der Farbraum ein zweidimensionaler Farbraum ist, der eine R-Komponentenachse und eine G-Komponentenachse, die orthogonal zur R-Komponentenachse ist, umfasst.
  6. Das Verfahren zur Erzeugung von Korrekturdaten nach einem der von Anspruch 2 abhängigen Ansprüche 3 bis 5, wobei die erste Farbe eine Farbe eines biologischen Gewebes ist, wenn die Symptomstufe in Bezug auf die Krankheit am höchsten ist, und wobei der erste Zielpunkt ein Punkt auf einer Achse ist, die eine hohe Korrelation mit Hämoglobinpigmenten im Farbraum aufweist.
  7. Das Verfahren zur Erzeugung von Korrekturdaten nach einem der von Anspruch 2 abhängigen Ansprüche 3 bis 6, wobei die zweite Farbe eine Farbe eines biologischen Gewebes ist, das in Bezug auf die Krankheit gesund ist und wobei der zweite Zielpunkt ein Punkt auf einer Achse ist, die eine hohe Korrelation mit einem Farbton einer Schleimhaut in einer Körperhöhe in dem Farbraum aufweist.
  8. Eine Vorrichtung zur Erzeugung von Korrekturdaten umfassend: ein Erfassungsmittel zum Erfassen von aufgenommenen Bilddaten durch Abbilden eines Indikators, der mit einer vorbestimmten Krankheit in Bezug steht; ein grafisches Darstellungsmittel zum Darstellen eines reellen Bilddatenpunkts, der den erfassten aufgenommenen Bilddaten entspricht, in einem vorbestimmten Farbraum, welcher der Krankheit gemäß einer Farbkomponente des Datenpunkts zugeordnet ist; ein Berechnungsmittel zum Berechnen eines Korrekturwertes zur Korrektur von Pixelwerten, die ein über ein elektronisches Endoskop aufgenommenes Bild ausmachen, auf der Grundlage eines Abstands zwischen dem Bilddatenpunkt und einem vorbestimmten Zielpunkt in dem Farbraum; und ein Speicherungsmittel zum Speichern des Korrekturwerts.
  9. Die Vorrichtung zur Erzeugung von Korrekturdaten nach Anspruch 8, wobei das Erfassungsmittel erste aufgenommene Bilddaten durch Abbilden eines ersten Indikators erfasst, der eine erste Farbe hat, die eine Farbe eines biologischen Gewebes ist, wenn eine Symptomstufe einer vorbestimmten ersten Stufe in Bezug auf die Krankheit entspricht, und zweite aufgenommene Bilddaten durch Abbilden eines zweiten Indikators erfasst, der eine zweite Farbe hat, die eine Farbe eines biologischen Gewebes ist, wenn eine Symptomstufe einer vorbestimmten zweiten Stufe in Bezug auf die Krankheit entspricht; das grafische Darstellungsmittel erste und zweite Datenpunkte, die den erfassten ersten und zweiten aufgenommenen Bilddaten entsprechen, in dem Farbraum gemäß Farbkomponenten der ersten und zweiten Datenpunkte darstellt und das Berechnungsmittel den Korrekturwert auf der Grundlage eines Abstands zwischen dem ersten Datenpunkt und dem vorbestimmten ersten Zielpunkt in dem Farbraum und eines Abstands zwischen dem zweiten Datenpunkt und dem vorbestimmten zweiten Zielpunkt in dem Farbraum berechnet.
  10. Die Vorrichtung zur Erzeugung von Korrekturdaten nach Anspruch 9, weiter umfassend: ein Mittel zur Annahme einer Eingabe eines Nutzers zur Kennzeichnung einer Symptomstufe und ein Mittel zum Informieren des Nutzers hinsichtlich eines Indikators der der angenommenen Symptomstufe entspricht.
  11. Die Vorrichtung zur Erzeugung von Korrekturdaten nach Anspruch 9 oder 10, wobei das Berechnungsmittel als den Korrekturwert einen Matrixkoeffizienten berechnet, der einen geringsten Summenwert des Abstands zwischen dem ersten Datenpunkt und dem ersten Zielpunkt und des Abstands zwischen dem zweiten Datenpunkt und dem zweiten Zielpunkt erreicht.
  12. Vorrichtung zur Erzeugung von Korrekturdaten nach einem der Ansprüche 8 bis 11, wobei der Farbraum ein zweidimensionaler Farbraum ist, der eine R-Komponentenachse und eine G-Komponentenachse die orthogonal zur R-Komponentenachse ist, umfasst.
  13. Vorrichtung zur Erzeugung von Korrekturdaten nach einem der von Anspruch 9 abhängigen Ansprüche 10 bis 12, wobei der erste Zielpunkt ein Punkt auf einer Achse ist, die eine hohe Korrelation mit Hämoglobinpigmenten in dem Farbraum aufweist.
  14. Vorrichtung zur Erzeugung von Korrekturdaten nach einem der von Anspruch 9 abhängigen Ansprüche 10 bis 13, wobei der zweite Zielpunkt ein Punkt auf einer Achse ist, die eine hohe Korrelation mit einem Farbton einer Schleimhaut in einer Körperhöhle in dem Farbraum aufweist.
DE112017000025.4T 2016-03-03 2017-02-03 Verfahren zur Erzeugung von Korrekturdaten und Vorrichtung zur Erzeugung von Korrekturdaten Pending DE112017000025T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-040599 2016-03-03
JP2016040599 2016-03-03
PCT/JP2017/003945 WO2017150071A1 (ja) 2016-03-03 2017-02-03 補正データ生成方法及び補正データ生成装置

Publications (1)

Publication Number Publication Date
DE112017000025T5 true DE112017000025T5 (de) 2018-03-01

Family

ID=59742721

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112017000025.4T Pending DE112017000025T5 (de) 2016-03-03 2017-02-03 Verfahren zur Erzeugung von Korrekturdaten und Vorrichtung zur Erzeugung von Korrekturdaten

Country Status (5)

Country Link
US (1) US10512433B2 (de)
JP (2) JP6427280B2 (de)
CN (1) CN107529957B (de)
DE (1) DE112017000025T5 (de)
WO (1) WO2017150071A1 (de)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6850871B2 (ja) * 2017-03-31 2021-03-31 Hoya株式会社 電子内視鏡システム
CN107146569B (zh) * 2017-07-14 2019-02-12 武汉华星光电技术有限公司 适用rgbw显示的分区背光显示方法及装置
JP6956567B2 (ja) 2017-08-30 2021-11-02 Hoya株式会社 内視鏡
JP7062926B2 (ja) * 2017-11-24 2022-05-09 凸版印刷株式会社 呈色反応検出システム、呈色反応検出方法及びプログラム
JP6883662B2 (ja) * 2019-03-27 2021-06-09 Hoya株式会社 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法
CN114821440B (zh) * 2022-05-12 2023-03-24 清研灵智信息咨询(北京)有限公司 一种基于深度学习的移动视频流内容识别分析方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63173182A (ja) 1987-01-13 1988-07-16 Olympus Optical Co Ltd 色彩画像処理方式
JPS6379631A (ja) 1987-08-07 1988-04-09 オリンパス光学工業株式会社 内視鏡撮像装置
JP2682626B2 (ja) 1987-10-15 1997-11-26 オリンパス光学工業株式会社 経内視鏡分光診断装置
JPH0646428Y2 (ja) 1991-09-27 1994-11-30 フジマル工業株式会社 笛付き湯沸かし器の把手取付け構造
JPH0823449A (ja) 1994-07-11 1996-01-23 Fuji Xerox Co Ltd 画像処理装置
DE4445820A1 (de) * 1994-12-21 1996-06-27 Hoechst Ag Verfahren zum Entwickeln bestrahlter, strahlungsempfindlicher Aufzeichnungsmaterialien
JPH1189789A (ja) * 1997-09-24 1999-04-06 Olympus Optical Co Ltd 蛍光画像装置
JP4315489B2 (ja) * 1998-07-31 2009-08-19 オリンパス株式会社 内視鏡装置
JP2000330858A (ja) * 1999-05-25 2000-11-30 Fujitsu Ltd 画像処理装置およびプログラム記憶媒体
JP4534340B2 (ja) * 2000-10-31 2010-09-01 ソニー株式会社 色再現補正装置
WO2003011764A2 (en) * 2001-08-03 2003-02-13 Volker Westphal Real-time imaging system and method
JP2003093337A (ja) 2001-09-27 2003-04-02 Fuji Photo Optical Co Ltd 電子内視鏡装置
US7042488B2 (en) 2001-09-27 2006-05-09 Fujinon Corporation Electronic endoscope for highlighting blood vessel
JP2005107211A (ja) * 2003-09-30 2005-04-21 Olympus Corp 画像投影装置
WO2006087981A1 (ja) * 2005-02-15 2006-08-24 Olympus Corporation 医用画像処理装置、管腔画像処理装置、管腔画像処理方法及びそれらのためのプログラム
JP5173120B2 (ja) * 2005-05-23 2013-03-27 オリンパスメディカルシステムズ株式会社 内視鏡装置
WO2008115547A1 (en) * 2007-03-19 2008-09-25 Sti Medical Systems, Llc A method of automated image color calibration
JP2009165553A (ja) * 2008-01-11 2009-07-30 Olympus Medical Systems Corp 医療用画像処理装置及び医療用撮像システム
JP5281826B2 (ja) * 2008-06-05 2013-09-04 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP5380973B2 (ja) 2008-09-25 2014-01-08 株式会社ニコン 画像処理装置及び画像処理プログラム
CN106923779A (zh) * 2010-04-28 2017-07-07 基文影像公司 用于显示体内图像部分的系统和方法
WO2012147505A1 (ja) 2011-04-27 2012-11-01 オリンパスメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理方法
JP5830295B2 (ja) * 2011-07-29 2015-12-09 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
SG11201407417VA (en) * 2012-05-14 2014-12-30 Luca Rossato Encoding and reconstruction of residual data based on support information
JP6067264B2 (ja) 2012-07-17 2017-01-25 Hoya株式会社 画像処理装置及び内視鏡装置
JP6097629B2 (ja) 2013-04-26 2017-03-15 Hoya株式会社 病変評価情報生成装置
JP5622903B2 (ja) 2013-08-05 2014-11-12 オリンパス株式会社 画像処理装置、画像処理装置の作動方法および画像処理プログラム
JP2015066262A (ja) * 2013-09-30 2015-04-13 富士フイルム株式会社 画像処理装置、画像処理システム、及び画像処理方法
US9438771B2 (en) * 2013-10-08 2016-09-06 Canon Kabushiki Kaisha Image processing apparatus, image pickup apparatus, image pickup system, image processing method, and non-transitory computer-readable storage medium
JP5887367B2 (ja) * 2014-01-30 2016-03-16 富士フイルム株式会社 プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
JP2016015995A (ja) 2014-07-04 2016-02-01 Hoya株式会社 電子内視鏡システム及び電子内視鏡用プロセッサ

Also Published As

Publication number Publication date
US20180168512A1 (en) 2018-06-21
WO2017150071A1 (ja) 2017-09-08
CN107529957B (zh) 2019-10-25
JP2019063537A (ja) 2019-04-25
CN107529957A (zh) 2018-01-02
JP6427280B2 (ja) 2018-11-21
US10512433B2 (en) 2019-12-24
JPWO2017150071A1 (ja) 2018-03-15

Similar Documents

Publication Publication Date Title
DE112016004454B4 (de) Endoskopsystem und Bewertungswertberechnungseinrichtung
DE112017000025T5 (de) Verfahren zur Erzeugung von Korrekturdaten und Vorrichtung zur Erzeugung von Korrekturdaten
DE112017002932T5 (de) Elektronischer endoskop-prozessor und elektronisches endoskop-system
US8027533B2 (en) Method of automated image color calibration
DE112016000094B4 (de) Vorrichtung zur Berechnung von Analysewerten und elektronisches Endoskopsystem
DE112019004880T5 (de) Elektronisches endoskopsystem
DE112017001021T5 (de) Berechnungssystem
DE112019007057T5 (de) Endoskopsystem
DE112019004863T5 (de) Elektronisches endoskopsystem und datenverarbeitungsvorrichtung
DE112014007051T5 (de) Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren, Bildverarbeitungsprogramm und Endoskopvorrichtung
DE112011103387B4 (de) Diagnosesystem
US20230113382A1 (en) Evaluation value calculation device and electronic endoscope system
DE112017002933B4 (de) Elektronische Endoskopverarbeitungseinrichtung und elektronisches Endoskopsystem
DE112020001352T5 (de) Endoskopsystem
DE112017002943T5 (de) Elektronische Endoskopverarbeitungseinrichtung und elektromisches Endoskopsystem
DE112020001788T5 (de) Elektronisches endoskopsystem und datenverarbeitungsvorrichtung
DE112016000067T5 (de) Bildverarbeitungseinrichtung
DE112020002107T5 (de) Elektronisches endoskopsystem und datenverarbeitungsvorrichtung
DE112021005012T5 (de) Endoskopprozessor und endoskopsystem
DE112016001722T5 (de) Endoskopsystem und Bewertungswert-Berechnungsvorrichtung
JP2018023497A (ja) 色補正用治具及び電子内視鏡システム
JP2022054722A (ja) 内視鏡用プロセッサ及び内視鏡システム

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication