DE69125146T2

DE69125146T2 - Vorrichtung und verfahren zur verarbeitung von endoskopischen bildsignalen

Info

Publication number: DE69125146T2
Application number: DE69125146T
Authority: DE
Inventors: Masakazu Nakamura; Hirokazu Nishimura; Tetsuo Nonami
Original assignee: Olympus Optical Co Ltd
Current assignee: Olympus Corp
Priority date: 1990-11-19
Filing date: 1991-11-18
Publication date: 1997-10-09
Anticipated expiration: 2011-11-19
Also published as: EP0511400A1; WO1992008405A1; EP0511400B1; US5282030A; DE69125146D1; EP0511400A4

Description

GEBIET DER ERFINDUNG

Die vorliegende Erfindung bezieht sich auf eine Verarbeitungsvorrichtung für ein endoskopisches Bild zum geeigneten Filtern endoskopischer Bilddaten, die in einer Vielzahl von Farbsignalen aufgelöst sind, und auf deren Bildverarbeitungsverfahren.

DER ERFINDUNG ZUGRUNDELIEGENDER ALLGEMEINER STAND DER TECHNIK

Endoskope wurden in den zurückliegenden Jahren weitestgehend angenommen. Unter Verwendung eines Endoskopes kann eine krankhafte Veränderung in einer Körperhöhle betrachtet oder, falls erforderlich, unter Verwendung eines Behandlungsinstrumentes bloß durch Einführen des verlängerten Einführrohrs in die Körperhöhle behandelt werden, ohne daß ein Einschnitt erforderlich ist.
Unter den zuvor genannten Endoskopen wurden ein optisches Endoskop (z. B. ein Faserskop) unter Verwendung eines Bildleiters als eine Bildübertragungseinrichtung wie auch ein elektronisches Endoskop (nachfolgend elektronisches Endoskop oder Endoskop) unter Verwendung einer Festkörper bzw. Halbleiter-Bilderzeugungseinrichtung wie ein CCD in die praktische Anwendung genommen.
Bei einem anderen Faserskop bzw. Fiberskop ist eine bilderzeugende Kamera unter Verwendung einer Halbleiter- Bilderzeugungseinrichtung, wie einem CCD, mit einem Okularteil des Faserskops verbunden, so daß Bilder auf dem Monitor in Farbe angezeigt werden können.
Darüber hinaus wurden unlängst Versuche unternommen, Bildbzw. Videosignale, die aus dieser Art von Endoskopen erhalten werden, in verschiedener Art und Weise zu verarbeiten, und so Menschen beim Erkennen von Dingen unterstützt, was schließlich die Diagnosefähigkeit der Endoskope verbessert.
Z. B. wurde eine Vorrichtung gemäß US-A-4819077 offenbart. Bei der Vorrichtung werden rote, grüne und blaue (R, G und B) Bildsignale, die die drei Primärfarben zeigen, durch Durchführen einer relativ einfachen Koordinatentransformation zu Signalen des Farbtons, der Sättigung und der Intensität (H, S und I) relativ nahe an die menschliche Farbwahrnehmung heran umgewandelt. Dann werden das H-, das S- und das I-Signal geeignet verstärkt und dann durch Durchführen der umgekehrten Transformation zu R-, G- und B- Signalen zurückgebracht Schließlich werden die Ergebnisse angezeigt.
Darüber hinaus ist eine Vorrichtung gemäß JP-A-01 138 877 (138877/1989) offenbart. Bei der Vorrichtung werden Bildsignale in einen Lu* v*-Farbraum umgewandelt, der näher am menschlichen Farbwahrnehmungsvermögen liegt, und dann einer Vielzahl von Verbesserungen unterzogen. Dann wird eine umgekehrte Transformation ausgeführt.
Bei der JP-A-63 026 783 (26783/1988) offenbart dieser Anmelder eine Vorrichtung, die Bildsignale zu Signalen in dem La* b*- oder Lu* v*-Farbraum umwandelt und die Intensität L verbessert.
Bei diesen Endoskopen des Standes der Technik werden Hochfrequenzanteile der Intensität verbessert, um die Kontur eines Farbbildes oder feiner Strukturen zu intensivieren. Dies wird so gemacht, da eine Verbesserung ohne eine Veränderung des Farbtons vorgenommen werden kann, wenn die Intensität von dem Farbton oder der Sättigung gelöst ist. Wenn im Gegensatz dazu jede Ebene aus R-, G- und B-Signalen unabhängig verstärkt wird, verändert sich der Farbton, wodurch unnatürliche Bilder folgen.
Bei einer endoskopischen Betrachtung lebender Körper, kann das Endoskop abhängig von dem zu betrachtenden Gegenstand aufgrund der mechanischen Beschränkungen keine ausreichende Betrachtungsmöglichkeit hinsichtlich Auflösung, Helligkeit und Kontrast bieten. Insbesondere können manchmal keine Bilder mit einer ausreichenden Qualität für eine Diagnose erhalten werden, selbst falls ein Endoskop, das die zur Zeit höchst verfügbare Auflösung bietet, verwendet wird, um eine feine Struktur auf der Schleimhautoberfläche (die durch eine Drüsenhöhle der Magendrüse oder Darmdrüse, eine flach eingelassene Innominate-Fossa, eine Kapillare oder ein Flecken ausgebildet wird) oder um einen wichtigen Befund zum Unterscheiden einer bösartigen krankhaften Veränderung von einer gutartigen krankhaften Veränderung zu betrachten.
Daher wird das erste Aufkommen eines Endoskops sehr erwartet, das eine höhere Auflösung bietet. Auch wird ein Bildverarbeitungsverfahren erwartet, das hinsichtlich eines ungenügenden Kontrastes oder einer ungenügenden Auflösung eine Kompensation bietet und bei einer klinischen Abschätzung vereinfachend hilft sowie eine Vorrichtung erwartet, bei der das Verfahren verwirklicht ist.
Z. B. wird bei gewöhnlichen Endoskopbildern, (die ohne das Verwenden von Farbe erhalten werden) eine feine Struktur in einer schleimigen Oberfläche durch das Erfassen der Veränderungen von G- und B-Signalen als eine Veränderung einer Information, die die Struktur ausbildet, sichtbar gemacht. Dies spiegelt voraussichtlich die lichtabsorbierende Eigenschaft von Hemoglobin im Blut wieder.
Bilder, die unter Verwendung von Farbe erhalten werden, sind nicht nur einer Reflexion oder Absorption, die lebenden Körpern eigen sind, sondern auch einer Absorption durch Farbe unterworfen. Diese Eigenschaften bestimmen Datenveränderungen, die ein Bild ausbilden.
Eine konventionelle Hochfrequenzverstärkung bei einem Farbraum kann diese Bilder nicht erfolgreich verbessern. Der zugrundeliegende Grund kann sein, wie folgt.
Eine Datenverteilung, die aus Datenveränderungen abgeleitet wird, die ein feines Muster ausbilden, ist gegenüber der Änderung von irgend etwas von, der Intensität, des Farbtons und der Sättigung bei der menschlichen Farbwahrnehmung inkonsistent.
Ein Betrachter erfaßt zuerst eine Gesamtinformation aus einem Bild. Als nächstes betrachtet er/sie bei einem Versuch eine detailliertere Information zu erfassen, eine feine Struktur mit größter Sorgfalt. In diesem Stadium konzentriert sich der Betrachter auf irgendwelche Informationen, die dem lebenden Körper zuzuschreiben sind, die in dem Bild enthalten sind. Für den Betrachter hat es keine wesentliche Bedeutung, ob die Information durch Intensität, Sättigung oder Farbton ausgedrückt wird.
Ein gut angenommenes Verbesserungsverfahren, das einen Betrachter unterstützt, würde Datenänderungen verstärken, die in einem interessierenden Bereich bemerkt werden, jedoch die anderen Datenänderungen bzw. -variationen unterdrücken. Eine Verbesserung hinsichtlich eines Farbraums kann dieser Bedingung nicht stets genügen.
Daher bietet eine Verbesserung bei einem Farbraum einem Betrachter eines feinen Musters nicht stets optimale Ergebnisse.
Zudem neigen die Datenveränderungen in einem gesamten endoskopischen Bild dazu, allgemeine Veränderungen zu sein, die aus dein Beleuchten oder der Gestalt eines Objekts folgen. Eine Intensitätsverbesserung neigt zum Hervorheben einer Kontur, die durch allgemeine Veränderungen deutlicher ausgebildet wird. Dies macht es schwierig, feine Strukturen zu betrachten.
Ferner offenbart das Dokument Optics Communications Netherlands, 15.09.85, Ohyama et al.; "Digital Processing of Endoscopic Color Images" ein Verfahren zum Verarbeiten endoskopischer Farbbilder. Ein Satz aus Vektoren, die eine Farbbildebene definieren, wird unter Berücksichtigung der Erwiderung des menschlichen Auges auf R, G, B oder in Erwiderung auf Charakteristika der Farbbilder definiert. Die R-, G-, B-Farbanteile werden in ein neues Farbkoordina tensystem transformiert. Bei dem neuen Farbkoordinatensystem werden die Farbsignale einer Farbverbesserung unterzogen oder gefiltert. Dann werden die verbesserten Farbsignale in das R-, G-, B-Farbkoordinatensystem transformiert. Gemäß einem weiteren Aspekt werden die Bilddaten einer Karhunen-Loeve-Transformation unterzogen, bevor sie der Farbverbesserungsverarbeitung unterzogen werden. Jedoch umfaßt eine solche Karhunen-Loeve-Transformation eine Menge komplexer Operationen von Matrizen und nimmt für die Berechnung viel Zeit in Anspruch.

AUFGABEN DER ERFINDUNG

Die Hauptaufgabe der vorliegenden Erfindung besteht darin, eine Verarbeitungsvorrichtung für ein endoskopisches Bild zu schaffen, die eine genaue Betrachtung feiner Strukturen in der Schleimhaut-Oberfläche eines lebenden Körpers zuläßt und eine verringerte Verarbeitungszeit erforderlich macht, und deren Bildverarbeitungsverfahren.
Eine weitere Aufgabe der Erfindung besteht darin, eine Verarbeitungseinrichtung für endoskopische Bilder zu schaffen, die eine geeignete Filterfunktion entsprechend dem strukturellen Muster eines groben Endoskopbildes setzt, um Rauschen zu unterdrücken und eine erforderliche Struktur zu verbessern, um diese deutlich anzuzeigen, und deren Bildverarbeitungsverfahren.
Eine weitere Aufgabe der Erfindung besteht darin, eine Verarbeitungseinrichtung für ein endoskopisches Bild zu schaffen, die die Koordinaten von endoskopischen R-, G- und B-Bilddaten transformiert, eine Filterfunktion setzt, die Rauschen unterdrückt und eine Verbesserungswirkung hinsichtlich jeder Achse aufweist, dann jedes Bild filtert, das zu jeder der Achsendaten transformiert ist, sowie deren Bildverarbeitungsverfahren.
Eine andere Aufgabe der Erfindung besteht darin, eine Verarbeitungseinrichtung für ein endoskopisches Bild zu schaffen, die ein normales endoskopisches Bild, ohne daß es gefärbt ist, und ein gefärbtes endoskopisches Bild geeignet verbessern kann, sowie deren Bildverarbeitungsverfahren.

OFFENBARUNG DER ERFINDUNG

Die Erfindung ist in Anspruch 1 bzw. 10 definiert. Bestimmte Ausführungsbeispiele der Erfindung sind in den abhängigen Ansprüchen 2 bis 9 bzw. 11 bis 20 dargelegt.

KURZE BESCHREIBUNG DER ZEICHNUNGEN

Fig. 1 bis 5 stellen eine Verarbeitungseinrichtung für endoskopische Bilder und deren Bildverarbeitungsverfahren gemäß dem ersten Ausführungsbeispiel der vorliegenden Erfindung dar;
Fig. 1 ist ein Blockdiagramm, das den Aufbau eines Endoskopsystems darstellt;
Fig. 2 ist ein Blockdiagramm, das den Aufbau eines Bildprozessors darstellt;
Fig. 3 ist ein erläuterndes Diagramm, das das gesamte Endoskopsystem darstellt;
Fig. 4 ist ein Ablaufdiagramm, das hilft, ein Verarbeitungsverfahren unter Verwendung des Bildprozessors zu erläutern;
Fig. 5 ist ein erläuterndes Diagramm, das eine für die Filterung verwendete Wichtungsfunktion darstellt;
Fig. 6 ist ein Ablaufdiagramm, das hilft, ein Bildverarbeitungsverfahren gemäß dem zweiten Ausführungsbeispiel der Erfindung zu erläutern;
Fig. 7 bis 16 stellen ein Bildverarbeitungsverfahren gemäß dem dritten Ausführungsbeispiel der Erfindung dar;
Fig. 7 und 8 sind Ablaufdiagramme, die das Bildverarbeitungsverfahren darstellen;
Fig. 9 ist ein Ablaufdiagramm, das einen Einstellschritt der Fig. 8 für einen charakteristischen Bereich darstellt;
Fig. 10 ist ein Ablaufdiagramm, das einen Bandpaß- Filterschritt der Fig. 8 darstellt;
Fig. 11 ist ein erläuterndes Diagramm, das eine in Wechselbeziehung stehende Verteilung von den R- und G- Datenwerten auf einer Bildebene zeigt;
Fig. 12 ist ein erläuterndes Diagramm, das ein Beispiel für eine in Wechselbeziehung stehende Verteilung der R- und G-Datenwerte der Fig. 11 nach einer Bandpaßfilterung zeigt;
Fig. 13 ist ein erläuterndes Diagramm, das eine Wichtung unter Verwendung einer cos-Funktion zeigt;
Fig. 14 und 15 sind erläuternde Diagramme, die eine Bandpaßfilterung darstellen;
Fig. 16 ist ein erläuterndes Diagramm, das ein Beispiel zum automatischen Einstellen einer charakteristischen Fläche darstellt; und
Fig. 17 und 18 sind Ablaufdiagramme, die Variationen unter Verwendung eines Maskenoperations-Verarbeitungsverfahrens durch eine Faltung anstelle einer Fourierfunktion und eines Verfahrens unter Verwendung einer Wichtungsfunktion verwenden.

DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN

USFÜHRUNGSBEISPIELE

Die Fig. 1 bis 5 stellen eine Verarbeitungsvorrichtung bzw. einen Prozessor für ein endoskopisches Bild gemäß dem ersten Ausführungsbeispiel der Erfindung dar.
Ein Endoskopsystem gemäß dem Ausführungsbeispiel weist ein elektronisches Endoskop 1 auf, wie dies in Fig. 3 dargestellt ist. Das elektronische Endoskop 1 umfaßt ein längliches und z. B. flexibles Einführrohr 2. Eine Betätigungseinheit 3 ist mit dem Ende des Einführrohrs 2 verbunden. Eine flexible Universalschnur 4 erstreckt sich seitlich vom Ende der Betätigungseinheit 3. Eine Verbindungseinrichtung bzw. ein Stecker 5 ist an der Spitze der Universalschnur 4 befestigt. Das elektronische Endoskop 1 ist über die Verbindungseinrichtung 5 mit einem Videoprozessor bzw. einer Bildverarbeitungseinrichtung 6 verbunden, die eine Lichtquelle und eine Signalverarbeitungsschaltung aufnimmt. Ein Monitor 7 ist mit der Bildverarbeitungseinrichtung 6 verbunden.
Das Einführrohr 2 umfaßt ein starres distales Ende 9 an der Spitze und einen biegbaren Abschnitt 10, der an das distale Ende 9 angrenzt und nach hinten hin biegbar ist. Durch das Drehen eines Biegebetätigungsgriffes 11, der an der Betätigungseinheit 3 befestigt ist, kann der Biegeabschnitt 10 seitlich oder vertikal gebogen werden. Die Betätigungseinheit 3 weist einen Einlaß 12 auf, der zu einem Behandlungsadapterkanal führt, der in dem Einführrohr 2 eingerichtet ist.
Wie dies in Fig. 1 dargestellt ist, erstreckt sich ein Lichtleiter 14 zum Übertragen von Licht innerhalb des Einführrohrs 2 des elektronischen Endoskops 1. Die Spitzenfläche des Lichtleiters 14 ist zusammen mit dem distalen Ende 9 des Einführrohrs 2 so ausgerichtet, daß Licht aus dem distalen Ende 9 austreten kann. Das Einfallsende des Lichtleiters 14 steht mit der Verbindungseinrichtung 5 in Verbindung, wobei es durch die Universalschnur 4 führt. In dem distalen Ende 9 ist eine Objektlinse bzw. ein Objektiv eingesetzt und eine Festkörper- bzw. Halbleiter-Bilderzeugungseinrichtung 16 ist in der bildausbildenden Lage der Objektivlinse 15 angeordnet. Die Halbleiter-Bilderzeugungseinrichtung 16 ist in einem breiten Bereich von Wellenlän gen empfindlich, der einen sichtbaren Bereich einschließt und sich von einem ultravioletten Bereich bis zu einem infraroten Bereich erstreckt. Mit der Halbleiter- Bilderzeugungseinrichtung 16 sind Signalleitungen 26 und 27 verbunden. Die Signalleitungen 26 und 27 stehen mit der Verbindungseinrichtung 5 in Verbindung, wobei sie durch das Einführrohr 2 und die Universalschnur 4 führen.
Andererseits umfaßt die Bildverarbeitungseinrichtung 6 eine Lampe 21, die breitbandiges Licht von ultraviolettem Licht zu infrarotem Licht ausstrahlt. Eine gewöhnliche Xenonlampe oder stroboskopisches Licht können als die Lampe 21 verwendet werden. Die Xenonlampe oder das stroboskopische Licht emittieren eine große Menge sichtbaren Lichtes wie auch ultravioletten und infraroten Lichtes. Die Lampe 21 wird von einer Leistungsquelle 22 mit Leistung beliefert. Ein Rotationsfilter 50, das durch die Drehung eines Motors 23 angetrieben wird, ist vor der Lampe 21 eingebaut. In dem Rotationsfilter 50 sind Filter zum Übertragen von Licht mit roten (R), grünen (G) und blauen (B) Wellenlängenbereichen in der Umfangsrichtung des Filters 50 angeordnet.
Die Drehung des Motors 23 wird durch eine Motortreibereinrichtung 25 gesteuert und angetrieben.
Licht, das zeitlich aufeinanderfolgend in Licht mit R, G und B Wellenlängenbereichen getrennt wird, wird zum Einfailsende des Lichtleiters 14 übertragen, über den Lichtleiter 14 zum distalen Ende 9 geführt, dann aus dem distalen Ende 9 ausgestrahlt, um einen Bereich zu beleuchten, der zu betrachten ist.
Licht, das von dem Betrachtungsbereich zurückkehrt, bildet auf der Halbleiter-Bilderzeugungseinrichtung 16 ein Bild aus und wird in elektrische Signale umgewandelt. Die Halbleiter-Bilderzeugungseinrichtung 16 empfängt Steuerimpulse, die von einer Treiberschaltung 31 in der Bildverarbeitungseinrichtung 6 über die Signalleitung 26 gesendet werden. Bei einem Treiber- bzw. Steuerimpuls wird ein Signal ausgelesen oder übertragen. Ein Video- bzw. Bildsignal, das aus der Halbleiter-Bilderzeugungseinrichtung 16 ausgelesen wird, wird über die Signalleitung 27 in einen Vorverstärker 32 eingegeben, der in der Bildverarbeitungseinrichtung 6 oder im elektronischen Endoskop 1 eingesetzt ist. Das Bildsignal, das durch den Vorverstärker 32 verstärkt wird, wird in eine Verarbeitungsschaltung 33 eingegeben, einer Gammakorrektur oder einem Weißabgleich unterzogen und dann mittels eines A/D-Wandlers 34 in ein digitales Signal umgewandelt. Das digitale Bildsignal wird mittels einer Auswahlschaltung 35 wahlweise in z. B. einem Speicher (1) 36a, einem Speicher (2) 36b und einem Speicher (3) 36c abgespeichert, die zu rotem (R), grünem (G) und blauem (B) Licht gehören. Der Speicher (1) 36a, der Speicher (2) 36b und der Speicher (3) 36c werden gleichzeitig gelesen. Dann werden die Daten mittels eines D/A-Wandlers 37 in analoge Signale umgewandelt und als R-, G- und B-Signale über eine Eingangs-Ausgangs-Schnittstelle 38 einem Farbmonitor 7 eingegeben. Dann wird der Betrachtungsbereich auf dem Farbmonitor 7 in Farbe angezeigt.
Die Bildverarbeitungseinrichtung 6 umfaßt einen Taktgenerator 42 zum Erzeugen des Taktes für das gesamte System. Der Taktgenerator 42 synchronisiert den Motortreiber 25, die Treiberschaltung 31 und die Auswahlschaltung 35.
Bei diesem Ausführungsbeispiel stehen die Ausgänge der Speicher (1) 36a bis (3) 36c mit einer Bildverarbeitungs einrichtung 104 in Verbindung. Die Bildverarbeitungseinrichtung 104 steht über eine Eingangs-Ausgangs- Schnittstelle 105 mit einem Monitor 106 in Verbindung. Die Ergebnisse einer arithmetischen Operation durch die Bildverarbeitungseinrichtung 104 werden auf dem Monitor 106 angezeigt.
Die Bildverarbeitungseinrichtung 104 weist einen Aufbau auf, der in Fig. 2 dargestellt ist.
Die Bildverarbeitungseinrichtung 104 weist eine CPU 121, eine Jnformationseingabeeinheit 122, einen Hauptspeicher 123, der aus einem RAM besteht, eine Bildeingangsschnittstelle 125 und eine Anzeigeschnittstelle 128 auf. Diese Einrichtungen sind gemeinsam über einen Bus verbunden. Die Informationseingabeeinheit 122 ist eine Tastatur oder dergleichen zum Eingeben eines Typs des elektronischen Endoskops 1 und anderer Daten. Die Bildeingangsschnittstelle 125 steht mit dem Speicher (1) 36a, dem Speicher (2) 36b und dem Speicher (3) 36c in Verbindung und empfängt Bilddaten von den Speichern. Die Anzeigeschnittstelle 128 steht mit der Eingangs-Ausgangs-Schnittstelle 105 in Verbindung und überträgt Bilddaten zum Monitor 106.
Die CPU 121 weist ein ROM 121a, das eine Reihe von Bildverarbeitungsprogrammen enthält, die später beschrieben werden, einen Fouriertransformationsabschnitt 121b zum Anwenden einer zweidimensionalen Fouriertransformation auf endoskopische Bildsignale, die in eine Vielzahl von Farbsignalen zerlegt sind, z. B. R-, G- und B-Signale, um einen reellen Term und einen imaginären Term zu erzeugen, einen Filterabschnitt 121c zum Wichten der erzeugten reellen und imaginären Terme unter Verwendung einer Wichtungsfunktion und einen Abschnitt 121d für eine umgekehrte Fouriertransformation zum Anwenden einer umgekehrten zweidimensionalen Fouriertransformation auf die gewichteten reellen und imaginären Terme auf, um gewichtete Farbsignale zu erzeugen. Der Hauptspeicher (RAM) kann mit einer Festplatten-Regenerations-/Aufzeichnungseinheit (nicht dargestellt) oder einer anderen externen Aufzeichnungseinrichtung verbunden sein. Im Hauptspeicher wird eine Vielzahl von Wichtungsfunktionen, die von der externen Aufzeichnungseinrichtung geliefert werden, sortiert und zum Wichten in dem Filterabschnitt 121b der CPU 121 verwendet.
Bei diesem Ausführungsbeispiel wird ein Bild eines Gegenstandsbereiches, der durch ein elektronisches Endoskop 1 erfaßt wird, durch eine Bildverarbeitungseinrichtung 104 verarbeitet und dann werden die verarbeiteten Ergebnisse an einen Monitor 106 ausgegeben.
Der Betrieb der Bildverarbeitungseinrichtung 104 wird nachfolgend erläutert.
Beim ersten Ausführungsbeispiel führt die Bildverarbeitungseinrichtung 104 die in Fig. 4 dargestellte Operation aus.
Ein Rohbild bzw. ein Bild im ursprünglichen Zustand wird bei einem Schritt SO oder einem Schritt vor dem Eingeben in die Bildverarbeitungseinrichtung 104 in R-, G- und B- Farbsignale zerlegt. Die R-, G- und B-Farbsignale werden in Speichern (1) 36a bis (3) 36c abgespeichert. Hinsichtlich der R-, G- und B-Bildsignale wird eine zweidimensionale diskrete Fouriertransformation durchgeführt,- um einen reellen Term ar(t) und einen imaginären Term ai(t) bei einem Schritt S1 zu erzeugen.
Als nächstes wird bei einem Schritt S2 eine Filterung (Prozeß) durchgeführt, um den reellen Term ar(t) und den imaginären Term ai(t) oder Daten, die beim Schritt S1 durch die zweidimensionale diskrete Fouriertransformation erzeugt wurden, mit einer Wichtungsfunktion w (t) zu multiplizieren. Als ein Ergebnis werden der reelle Term br(t) und der imaginäre Term bi(t) einer gefilterten Funktion erzeugt.
Die Wichtungsfunktion w(t) optimiert die R-, G- und B- Bildsignale entsprechend. Im einzelnen wird das R- Bildsignal für ein gewöhnliches Endoskopbild, das ohne die Verwendung von Farbe erfaßt wird, einer Rauschunterdrückungsfilterung zum Durchführen einer Rauschunterdrückung unterzogen. Zum Durchführen einer Verbesserungsbzw. Verstärkungsfilterung werden die G- und B-Bildsignale jedoch mit einer Wichtungsfunktion verarbeitet. Nachdem die Filterung abgeschlossen ist, wird bei einem Schritt S3 eine umgekehrte zweidimensionale diskrete Fouriertransformation durchgeführt. Demzufolge wird ein verbessertes R-, G- oder B-Bildsignal erzeugt. Dann wird bei einem Schritt S4 geprüft, ob die Verarbeitung von allen R-, G- und B- Bildsignalen abgeschlossen bzw. vollständig ist. Falls sie nicht vollständig ist, werden die Schritte S0 bis S3 wiederholt, bis alle R-, G- und B-Bildsignale verarbeitet wurden. Wenn verbesserte bzw. verstärkte R-, G- und B- Bildsignale erzeugt werden, werden sie über eine Eingangs- Ausgangs-Schnittstelle 105 zu einem Monitor 106 übertragen. Dann wird das sich daraus ergebende Bild auf dem Monitor 106 angezeigt. So wird die Bildverarbeitung beendet. Die digitalen R-, G- und B-Bildsignale werden mittels eines D/A-Wandlers in analoge Signale umgewandelt, falls dies erforderlich ist.
Eine Wichtungsfunktion, die für das vorstehend genannte Filtern verwendet wird, wird erzeugt, wie dies nachfolgend erläutert wird. Bei einer sogenannten optischen Fouriertransformation werden Gleichspannungskomponenten, die eine Gesamtdichte von einem Bild bestimmen, in der Mitte einer Raum-Frequenz-Ebene angeordnet. Relativ zu räumlichen Frequenzen sitzen niedrige Frequenzanteile in der Nähe der Gleichspannungskomponenten. Ein zu erzeugendes Filter soll die größte Wichtung für einen Punkt mit einem Abstand von der Mitte geben und die Wichtungsintensität für Niederfrequenz- und Hochfrequenzanteile allmählich von einem Rand des Punktes verringern. Die Wichtungsfunktion mit dieser Eigenschaft ist in verschiedenen Arten möglich. Das nachfolgend beschriebene Filter ist ein Beispiel für die Wichtungs funktion.
Wenn die Koordinaten der Mitte O in einer Raum-Frequenzebene (u0, v0) sind und jene eines Punktes P auf der gleichen Ebene (u, v), so wird die Strecke t von OP ausgedrückt als
t = ((u - uO)² + (v - v0)²)1/2.
Wenn ein Wichtungswert w als eine Funktion w(t) von t ausgedrückt wird, ist der w(t)-Wert gleich oder größer als 0 und gleich oder kleiner als α, wobei α einen maximalen Wichtungswert bezeichnet. Wenn die Mitte eines Kreises, der durch einen Satz aus Punkten ausgebildet wird, die einen maximalen w(t)-Wert geben, 0 ist und der Durchmesser p ist, besteht das zu erzeugende Filter aus zwei verschiedenen Funktionen für eine Anwendung unter den Bedingungen 0 ≤ t < p/2 bzw. p/2 ≤ t. Eine cos-Funktion wird bei 0 ≤ t < p/2 verwendet, während eine normale Verteilungsfunktion bei p/2 ≤ t verwendet wird.
In dem cos-Funktionsabschnitt des zu erzeugenden Filters ist A als die Amplitude angegeben. Der cos-Funktionsabschnitt soll für die normale Verteilungsfunktion bei t = p/2 kontinuierlich sein und soll w(p/2) = α erfüllen. Das w(t) soll einen Minimalwert bei t = 0 erzielen. Eine Formel (a) wird als eine Funktion erhalten, die diese Bedingungen nachfolgend erfüllt.
w(t) = α - A - A × cos(t × π / (p/2)) (0 ≤ t < p/2) ... (a)
Die Funktion der Formel (a) bietet ein maximales α bei t = p/2 und ein minimales α - 2A bei t = 0 (Mitte in einem Raum-Frequenz-Gebiet).
Andererseits erzielt der Abschnitt der normalen Verteilungsfunktion für den cos-Funktionsabschnitt bzw. die cos-Funktionsdivision bei t = p/2 das maximale α und ist kontinuierlich. Unter der Annahme, daß eine Standardabweichung bei dieser Art von Funktion G ist, wird eine Formel (b) nachfolgend erhalten:
w(t) = α × exp(-0,5((t - (p/2))/ )²) (p/2 ≤ t) ... (b).
In der Formel (b) ist als = (CTR -(p/2))/r gegeben (wobei CTR einen x-Koordinatenwert der Mitte und r eine reelle Zahl darstellt). Wenn p 0 ist, wird nur die Formel (b) verwendet.
Bei den Formeln (a) und (b) können Filter mit verschiedenen Verstärkungsstärken bzw. Verstärkungsniveaus erhalten werden, wenn α, A, p und r als Parameter genau angegeben bzw. festgelegt werden. Fig. 5 stellt eine Flanke eines Filters dar, das unter den vorstehenden Bedingungen erzeugt wurde, wobei α = 4, A = 1,5, p = 60 und r = 4 ist. Um eine Filterung zu verwirklichen, die einen Rauschunterdrückungseffekt ermöglicht, müssen hochfrequente Anteile unterdrückt werden, von denen erwartet wird, daß sie viele Rauschanteile enthalten. Z. B. sollte 1 als α bestimmt werden, als A, 0 als p und 3 als r. Um eine Filterung zu verwirklichen, die eine Bildverbesserungswirkung ermöglicht, muß ein Frequenzband verstärkt werden, von dem erwartet wird, daß es eine große Menge von Informationen des Rohbildes hinsichtlich eines strukturellen Musters enthält, und Frequenzanteile, die höher als das Band sind, müssen unterdrückt werden. Z. B. sollte 3 als α festgelegt werden, 1 als A, 50 als p und 4 bis 7 als r.
Entsprechend dem ersten Ausführungsbeispiel werden R-, G- nd B-Bildsignale in Raum-Frequenz-Anteile zerlegt, und dann wird eine Filterfunktion mit einer Funktion zum Unterdrücken von Raum-Frequenz-Rauschen oder eine Verstärkungsbzw. Verbesserungsfunktion eingesetzt bzw. eingestellt, um Bildsignale zu filtern, die in Raum-Frequenz-Anteile zerlegt sind. Wenn eine Filterfunktion entsprechend einem Strukturmuster von Rohbilddaten bzw. groben Bilddaten geeignet gesetzt ist, wird Rauschen erfolgreich unterdrückt, um eine gewünschte Struktur klar sichtbar zu machen. Dies verbessert den klinischen Wert von endoskopischen Bildern.
Als nächstes wird das zweite Ausführungsbeispiel der Erfindung erläutert.
Die Anordnung eines Endoskopsystems gemäß dem zweiten Ausführungsbeispiel ist identisch mit der gemäß dem ersten Ausführungsbeispiel Die Konfiguration bzw. Anordnung einer Bildverarbeitungseinrichtung 104 des zweiten Ausführungsbeispiels ist im wesentlichen identisch mit der des ersten Ausführungsbeispiels Die Verarbeitungsinhalte unterscheiden sich jedoch von jenen in Fig. 4 dargestellten. Fig. 6 stellt den Verfahrens- bzw. Prozeßablauf dar.
Bei diesem Ausführungsbeispiel weist eine CPU 121, die in der Bildverarbeitungseinrichtung 104 aufgenommen ist, einen Koordinaten-(Achsen)-Transformationsabschnitt 121e und einen Abschnitt 121f für eine umgekehrte Koordinaten- (Achsen)-Transformation auf, die mit einer abwechselnd lang und kurz gestrichelten Linie in Fig. 2 angezeigt sind, zusätzlich zu den Bauelementen des ersten Ausführungsbeispiels auf. Der Koordinaten-(Achsen)-Transformationsabschnitt 121e führt eine Koordinaten-(Achsen)- Transformation durch, um endoskopische Bildsignale bzw. Endoskopbildsignale, die in eine Vielzahl von R-, G- und B- Farbsignalen zerlegt sind, in die axialen Daten der drei Achsen umzuwandeln (z. B. Achse 1, Achse 2 und Achse 3 oder x-Achse, y-Achse und z-Achse). Auch wird jede der zuvor genannten Achsen z. B. zum Einstellen durch die CPU 121 mittels der Daten ausgewählt, die aus einer Informationseingabeeinheit 122 wiedergewonnen werden. Dann können die Daten, die diese Achsen einstellen bzw. setzen, z. B. von außen her in einen Hauptspeicher 123 gespeichert werden. Der Abschnitt 121f für die umgekehrte Koordinaten-(Achsen) Transformation führt eine umgekehrte bzw. inverse Transformation durch, um die Achsendaten zu R-, G- und B-Farbsignalen zurückzuführen.
Wie dies in Fig. 2 dargestellt ist, werden R-, G- und B Bilddaten, die in Speichern (1) 36a bis (3) 36c abgespeichert sind, bei einem Schritt Sil einer Koordinatentransformation unterzogen, wie dies in Fig. 6 dargestellt ist. Bei dem Schritt S11 werden die R-, G- und B-Bilddaten verarbeitet, um Daten von Achsen 1, 2 und 3 zu erzeugen. Dann werden die axialen Daten bzw. Achsendaten bei einem Schritt S12 abgerufen. Bei einem Schritt S13 wird eine zweidimensionale diskrete Fouriertransformation an den abgerufenen Daten durchgeführt, um einen reellen Terin ar(t) und einen imaginären Term ai(t) zu erzeugen.
Der reelle Term ar(t) und der imaginäre Term ai(t) werden entsprechend einer Wichtungsfunktion w(t) bei einem Schritt S14 in der gleichen Art und Weise gefiltert, wie dies für das erste Ausführungsbeispiel beschrieben ist. Demzufolge werden ein reeller Term br(t) und ein imaginärer Term bi(t) für eine gefilterte Funktion erzeugt. Dann unterliegen der reelle Term br(t) und der imaginäre Term bi(t) bei einem Schritt S15 einer umgekehrten diskreten Fouriertransformation. Bei einem Schritt S16 wird geprüft, ob die Verarbeitung aller axialer Daten vollständig ist. Wenn alle axialen Daten die Schritte S12 bis S15 abgeschlossen haben, wird bei einem Schritt S17 eine umgekehrte Koordinatentransformation durchgeführt. Dann wird das resultierende Bild auf einem Monitor 106 angezeigt.
Ein Beispiel einer Koordinatentransformation, die beim Schritt Sil durchgeführt wird, ist als eine Formel (c) oder (c') dargestellt.
M1 × M2 = M3, ... (c)
d.h.;
wobei M1 eine Koordinatentransformationsmatrix, M2 eine Matrix von R-, G- und B-Bildsignalen und M3 eine Matrix von Achsen , und bezeichnet, die durch die Koordinatentransformation erzeugt wird.
Dann wird das vorstehende Filter auf gemäß der Koordinatentransformationsmatrix M1 neu erzeugte Koordinatenachsen angewendet. Insbesondere wird eine Filterung zum Verbessern nur der Achse 1 angewendet. Für die Achsen und wird eine Filterung verwendet, die eine Rauschunterdrückungswirkung durchführt. Alternativ wird eine Filterung, die eine Verbesserungswirkung bewirkt, auf die Achsen und angewendet. Für die Achse wird eine Filterung mit einer Rauschunterdrückungswirkung verwendet. Eine umgekehrte Koordinatentransformation wird durch Anlegen einer zu der Matrix M1 umgekehrten Matrix M4 gemäß einer Formel (d) oder (d') realisiert.
M4 × M5 = M6, ... (d)
D.H.:
wobei M4 eine inverse Matrix bzw. umgekehrte Matrix für die Koordinatentransformationsmatrix M1, M5 eine Matrix verbesserter bzw. verstärkter Daten und M6 eine Matrix verbesserter bzw. verstärkter R-, G- und B-Bildsignale bezeichnen.
Die Koordinatentransformationsmatrix M1 wird für eih normales Endoskopbild verwendet. Zum Verbessern eines Bildes, das unter Verwendung von Farbe erfaßt wurde, kann eine dazu verschiedene Koordinatentransformationsmatrix angewendet werden. Ferner kann die Koordinatentransformationsmatrix abhängig vom Typ der Bilddaten verschieden sein.
Das zweite Ausführungsbeispiel bietet zumeist die gleichen Wirkungen wie das erste Ausführungsbeispiel. Die Koordinatentransformation kann gefilterte Bilder ermöglichen, die eine gewünschte Struktur deutlicher sichtbar machen kann.
Die Parameterwerte einer Wichtungsfunktion w(t), die zum Filtern verwendet wird, können aufeinanderfolgend geändert bzw. variiert werden, so daß das verarbeitete Bild aufeinanderfolgend angezeigt oder aufgezeichnet werden kann. Dies ermöglicht der Bedienungsperson, irgendwelche verarbeiteten Daten oder verarbeiteten Bilddaten auszuwählen, die einen gewünschten Bereich am deutlichsten sichtbar machen lassen.
Die Fig. 7 bis 17 stellen ein Bildverarbeitungsverfahren gemäß dem dritten Ausführungsbeispiel dar. Die Bildverarbeitungseinrichtung, die für das zweite Ausführungsbeispiel erläutert wurde, wird verwendet.
Die Bildverarbeitungseinrichtung 104 lädt von Speichern 36a, 36b und 36c bei einem Schritt S21 in Fig. 7 R-, G- und B-Bildsignale ein und weist Verarbeitungsabschnitte zum Anwenden einer Koordinatentransformation auf die R-, G- und B-Bilder bei einem Schritt S22, sowie zum Durchführen einer zweidimensionalen diskreten Fouriertransformation bei einem Schritt S24, einer Filterung bei einem Schritt S25, einer umgekehrten zweidimensionalen diskreten Fouriertransformation bei einem Schritt S27 und einer umgekehrten Koordinatentransformation bei einem Schritt S29 auf. Die Bildverarbeitungseinrichtung 104 umfaßt auch, wie in Fig. 8 dargestellt, einen Verarbeitungsabschnitt zum Setzen bzw. Einstellen einer 3 x 3-Matrix für eine Koordinatentransformation bei einem Schritt S31 und die umgekehrte Matrix bei einem Schritt S36 auf. Die Bildverarbeitungseinrichtung 104 handhabt R-, G- und B-Bildsignale, die aus den Speichern (1) 36a bis (3) 36c ausgelesen werden. Für die zweidimensionale diskrete Fouriertransformation oder umgekehrte Transformation dieses Ausführungsbeispiels soll der Koeffizient in der gleichen Art und Weise wie jener für die optische Fouriertransformation angeordnet werden. D. h., Gleichspannungskomponenten sind stets in der Mitte der Bilddaten angeordnet.
Im allgemeinen ist eine Variation hinsichtlich der Dichteinformation, die ein Endoskopbild ausbildet, das ohne die Verwendung von Farbe erfaßt wird, in dem R-Bild oder hauptsächlich in niederfrequenten Anteilen groß. Eine tatsächliche Information, die eine ausgezeichnete Charakteristik auf der schleimigen Oberfläche bzw. Schleimhautfläche eines Organs betrifft, neigt dazu, eher von den G- und B-Bildern abhängig zu sein. Die Dichteinformation zeigt abhängig von jedem Bild eine verschiedene Verteilung. Wenn z. B. Indigokarminrot als Farbe verwendet wird, ist manchmal ein Großteil charakteristischer Informationen in dem R-Bild enthalten.
Fig. 11 stellt das Konzept der in Wechselbeziehung stehenden bzw. korrelationalen Verteilung von R- und G- Daten bei Bildpunkten eines 256-stufigen Stufenbildes dar. Hier wird eine Dichte für eine genaue Erläuterung als zweidimensionale Daten behandelt. Die zweidimensionalen Daten weisen eine Ähnlichkeit mit den tatsächlichen (nicht verdeutlichten) B- oder G-Daten auf. Die Verteilung der Dichteinformation, die in Fig. 11 dargestellt ist, umfaßt alle nieder- und hochfrequenten Anteile eines Bildes. Die Information, die eine Charakteristik auf der schleimigen Oberfläche eines Organs (nachfolgend charakteristische Komponente) darstellt, beruht auf Hochfrequenzanteilen eines bestimmten Bandes. Dieses Ausführungsbeispiel konzentriert sich auf diese Tatsache und wendet eine Bandpaßfilterung an, um das Band herauszuziehen, das wahrscheinlich die charakteristische Komponente enthält.
Fig. 12 stellt das Konzept der wechselseitigen Verteilung dar, die beobachtet wird, nachdem das Bandpaßfilter auf die R- und G-Daten der Fig. 11 angewendet wurde. Bei einem normalen Endoskopbild sind viele Frequenzanteile, die die charakteristischen Kennzeichen ausbilden, in G- (und B-) Bildern enthalten. Daher hängt die wechselseitige Beziehung bzw. Verteilung in höherem Maße von der Veränderung von G- Daten als von R-Daten ab, nachdem die Bandpaßfilterung angewendet wurde. Die wechselseitige Verteilung ändert sich abhängig von Bilddaten. Bei Bilddaten, die unter Verwendung von Farbe (z. B. Indigokarminrot) erfaßt wurden, enthält ein R-Bild mehr charakteristische Komponenten bzw. Anteile als G- und B-Bilder, da die Farbe von Natur aus bei rot absorbiert wird. Zum wirksamen Verbessern der charakteristischen Anteile eines Rohbildes, das effektiv zu verarbeiten ist, wird die statistische Verteilung der ausgewählten charakteristischen Anteile erhalten und drei Achsen werden ersatzweise für die R-, G- und B-Bilder ersetzt, und dann werden die Ergebnisse des Konvertierens bzw. Umwandelns von Rohbilddaten relativ zu diesen Koordinatenachsen verbessert bzw. verstärkt. Ein Beispiel einer bestimmten Verarbeitung ist nachfolgend beschrieben.
Bei R-, G- und B-Rohbildern ist der charakteristischste Bereich oder ein Bereich, der verbessert werden soll, in der Mitte eingeschlossen; z. B. wird bei einem Schritt S31 in Fig. 8 ein Bereich mit einer Größe von 256 × 256 (nachfolgend charakteristischer Bereich) eingestellt. Der Mittelpunkt eines Bildes mit einer Größe von 256 × 256 soll ein Bildpunkt sein, der (128, 128) entspricht. Der charakteristische Bereich bzw. die charakteristische Fläche kann nicht nur aufgrund eines Vorbehalts der Bedienungsperson sondern auch automatisch ausgewählt werden. Das in Fig. 9 dargestellte Ablaufdiagramm ist ein Beispiel zum automatischen Einstellen eines charakteristischen Bereichs.
Unter Ausnutzung der Eigenschaft, daß die größte Anzahl von charakteristischen Anteilen eines normalen Endoskopbildes in dem G-Bild (nachfolgend gilt G-Bild auch für das B-Bild) enthalten ist, wird ein charakteristischer Bereich eingestellt, der eine Koordinatentransformationsmatrix hervorbringt, die eine wirksame Verbesserung ermöglicht. Zu allererst wird das G-Bild eines Rohbildes bei einem Schritt S41 in Blöcke mit einer Größe von z. B. 64 × 64 aufgeteilt, wie dies in Fig. 9 dargestellt ist. Ein bestimmter Block wird als die Mitte des charakteristischen Bereiches aus den Blöcken herausgezogen. D. h. sozusagen, Blöcke, die eine Halobildung enthalten, die einen gewissen Prozentsatz überschreitet, werden aus den Mittelpunktkandidaten des charakteristischen Bereiches bei einem Schritt S42 ausgeschlossen. Dann werden bei einem Schritt S43 die Dichten der Blöcke, die beim Schritt S42 nicht ausgeschlossen wurden, gemittelt. Zu diesem Zeitpunkt werden eine Hab ausbildende Komponenten bzw. Anteile von den Blöcken entfernt. Bei einem Schritt S44 verursachen Blöcke, die ein kleineres Dichtemittel als ein bestimmter Wert aufweisen, einen Schatten in einem Bild, und sie werden für die Anwendung in dem charakteristischen Bereich als ungeeignet betrachtet und aus den Kandidaten für die Mitte bzw. den zentralen Kandidaten ausgeschlossen. Beim Beispiel der Fig. 16 verursacht ein Block D, der mit einer halbfetten Linie gezeigt ist, einen Schatten. Nachdem die Reihe von Operationen abgeschlossen ist, werden bei einem Schritt S45 die Dichtemittel von jedem Block berechnet, der nicht ausgeschlossen ist. Ein Block mit einem Dichtemittel am nächsten an dem berechneten Wert wird als die Mitte der charakteristischen Fläche bestimmt. Dann wird die 256 × 256-charakteristische Fläche, die den Block als die Mitte einschließt, bei einem Schritt S46 herausgezogen. Falls ein ausgewählter Block nicht die Daten bieten kann, die der Fläche von 256 × 256 in der Größe genügen, wird ein Block, der ein Dichtemittel nahe dem berechneten Wert aufweist und die charakteristische Fläche bzw. den charakteristischen Bereich herausziehen bzw. bieten kann, als die Mitte gewählt.
Bei einem Schritt S32 werden in Fig. 8 R-, G- und B-Daten von jedem Bildpunkt in dem charakteristischen Bereich erfaßt, und dann mit einer cos-Funktion oder einer Wichtungsfunktion gemäß der nachfolgenden Formel (1) multipliziert. Bei der Funktion wird bei einem Schritt S33 1 als die Mitte eines Bildes gesetzt, und wenn eine Strecke von der Mitte (entsprechend der Anzahl von Bildpunkten) n 128 beträgt, wird 0 gesetzt
wc(n) = 0,5 × cos(nπ/128) + 0,5 ... (1)
Fig. 13(a) stellt die Änderung des Wichtungswertes dar, der sich abhängig von dem Bildpunkt an einem Segment ändert, das durch die Mitte eines Bildes einer charakteristischen Fläche läuft. Für eine Fläche, für die in dem schraffierten Teil der Fig. 13(b) n > 128 gezeigt wird, wird für alle Bildpunkte ein Wichtungswert 0 gegeben. D. h., die Wichtungsfunktion wc(n) der Formel (1) bietet den gleichen Wert wie die Bildpunkte längs eines konzentrischen Kreises hinsichtlich der Mitte eines Bildes. Der in Fig. 13(b) dargestellte Kreis stellt bei n = 128 einen Punkt dar und der schraffierte Teil eitlen Bereich von n ).128. Gemäß der Formel (1) werden Wichtungen in einem Bereich von n ≤ 128 gesetzt. Irgendein Punkt jenseits n ≤ 128 wird bedingungslos mit 0 multipliziert. Diese Operation minimiert das Auftreten einer Verzerrung in einem Bild aufgrund einer Diskontinuität in den Daten des Umfangsbereiches, der aus einer später genannten Bandpaßfilterung folgt.
Die Bilddaten des charakteristischen Bereichs, der beim Schritt S33 in Fig. 8 mit der cos-Funktion gewichtet wurde, werden bei einem Schritt S34 mittels einer Bandpaßfilterung verarbeitet. Fig. 10 ist ein Ablaufdiagramm, das ein bestimmtes Beispiel der Operation der Bandpaßfilterung darstellt. Jedes der R-, G- und B-Bilder wird bei einem Schritt S51 in Fig. 10 mittels einer zweidimensionalen diskreten Fouriertransformation verarbeitet. Dann wird eine Filterung mit z. B. der in Fig. 15 dargestellten Bandpaß charakteristik angewendet. Ein Frequenzband, das die größte Anzahl charakteristischer Anteile des Endoskopbildes enthalten soll, wird als ein hindurchzulassendes Band eingestellt. Als nächstes wird eine inverse zweidimensionale diskrete Fouriertransformation bei einem Schritt S53 in Fig. 10 durchgeführt. Das Bild mit einer Fläche von 128 × 128 (nachfolgend charakteristisches Bild) einschließlich der Mitte des Bildes, die durch die zuvor beschriebene Operation erhalten wird, wird zum Herausziehen einer Koordinatentransformationsmatrix verwendet. Das erhaltene Bild enthält nur die charakteristischen Anteile, die aus einem Rohbild herausgezogen wurden. Das Konzept der in Wechselbeziehung stehenden bzw. Korrelations-Verteilung von R-, G- und B-Daten wird z. B. dem in Fig. 12 unterzogen. Bei einem Schritt S35 der Fig. 8 wird geprüft, ob die Verarbeitung von allen der R-, G- und B-Bilder der charakteristischen Fläche vollständig ist oder nicht. Falls sie abgeschlossen bzw. vollständig ist, schreitet die Verarbeitung zum nächsten Schritt fort.
Bei einem Schritt S36 in Fig. 8 wird eine Koordinatentransformations-/ umgekehrte Transformationsmatrixbestimmung unter Verwendung einer KL-Transformation auf das charakteristische Bild angewendet, das wie vorstehend beschrieben erhalten wurde, um die statistische Verteilung von R-, G und B-Daten in den charakteristischen Anteilen bzw. Komponenten zu erhalten. Die KL-Transformation wird zum mechanischen Herausziehen eines neuen Systems orthogonaler Funktionen verwendet, die auf der statistischen Verteilung von Eingangsbilddaten beruhen. Die KL-Transformation wird detailliert in einer Unterlage beschrieben, die den Titel trägt Digital Image Processing Engineering, Seiten 38-43, geschrieben von Kei Tezuka, Tadahiro Kitahashi und Hideo Ogawa, veröffentlicht durch The Nikkan Kogyo Shimbun Ltd. Die Beschreibung wird hier daher weggelassen. Wenn der Schritt S36 abgeschlossen ist, werden drei dreidimensionale Vektoren erhalten, die für die Koordinatentransformation verwendet werden. Die Eigenwerte der Vektoren werden verglichen, um X-, Y- und Z-Achsen zu definieren, die als transformierte Koordinatenachsen zu verwenden sind. D. h. sozusagen, der Vektor mit dem größten Eigenwert wird als die X-Achse definiert und der mit dem kleinsten Eigenwert als die Z-Achse. Falls die Vektoren, die die X-, Y- und Z- Achsen definieren, ein Vektor ax(all, a12, a13), ein Vektor ay(a21, a22, a23) bzw. ein Vektor az(a31, a32, a33) sind, wird eine Koordinatentransformation vom R-, G- und B- Datenraum in den Raum, der durch die drei neuen Achsen X, Y und Z konfiguriert wird, durch Durchführen einer Matrixoperation gemäß der folgenden Formel (2) erzielt:
Hier wird unter der Annahme, das die 3 × 3-Vektormatrix in der Formel (2) eine Matrix Ml ist, eine umgekehrte Koordi natentransformation durch Multiplizieren der X-, Y- und Z- Achsendaten mit einer inversen Matrix hinsichtlich der Matrix M1 durchgeführt.
Bei einem Schritt S21 in Fig. 7 wird die Koordinatentransformationsmatrix, die bei dem Schritt S36 in Fig. 8 erzeugt wurde, verwendet, um die Operation der Formel (2) dürchzuführen, und so werden die Daten von jedem Bildpunkt (r, g und b) in R-, G- und B-Rohbildern in (x, y, z)-Daten umgewandelt.
Bei einem Schritt S24 in Fig. 7 wird jeder von axialen X-, Y- und Z-Bildpunkten einer zweidimensionalen diskreten Fouriertransformation unterzogen.
Das Filtern, das bei dem Schritt S25 erzeugt wird, wird durch Multiplizieren des reellen Terms ar(t) und des imaginären Terms ai(t) der durch die zweidimensionale diskrete Fouriertransformation beim Schritt S24 erzeugten Daten mit der Wichtungsfunktion angewendet, die bei einem Schritt S26 erzeugt wird, der später genannt wird. Die Wichtungsfunktion bietet axiale X-, Y- und Z-Bildpunkte mit geeigneten Wichtungen. Um genauer zu sein, eine Filterung mit einem Verbesserungs- bzw. Verstärkungseffekt wird für z. B. das X-Bild, das eine große Anzahl charakteristischer Anteile enthält, und eine Wichtungsfunktion, die eine Filterung mit einer Rauschunterdrückungswirkung durchführt, auf das Y- und Z-Bild angewendet.
Nachdem die Filterung beim Schritt S25 abgeschlossen ist, wird bei einem Schritt S27 eine umgekehrte zweidimensionale diskrete Fouriertransformation durchgeführt. Letztendlich werden axiale X-, Y- und Z-Bildpunkte erhalten, die verbessert sind.
Die Wichtungsfunktion, die bei der Filterung beim Schritt S26 verwendet wird, wird nachfolgend behandelt.
Bei der sogenannten optischen Fouriertransformation werden Gleichspannungskomponenten, die eine Gesamtdichte eines Bildes bestimmen, in der Mitte einer Raum-Frequenz-Ebene angeordnet und niederfrequente Anteile relativ zu Raumfrequenzen sitzen in der Nähe der Gleichspannungsanteile. Ein zu erzeugendes Filter soll einen Punkümit einem Abstand von der Mitte am stärksten bzw. intensivsten verbessern und Wichtungen für nieder- und hochfrequente Anteile von einem Rand des Punktes allmählich verringern. Verschiedene Arten von Wichtungsfunktionen sind denkbar, die diese Eigenschaft aufweisen. Das nachfolgend dargestellte Filter ist eine der Wichtungsfunktionen.
Unter der Annahme, daß die Koordinaten der Mitte 0 in einer Raum-Frequenz-Ebene (u0, v0) sind und der interessierende Punkt P auf der gleichen Ebene (u, v) ist, wird die Strecke x von OP durch
x = {(u - u0)² + (v - v0)²}1/2
gegeben. Wenn ein Wichtungswert w ist, wird w als eine Funktion w(x) von x ausgedrückt. Der w(x)-Wert muß gleich oder größer 0 sein und gleich oder kleiner als α. α ist ein maximaler Wichtungswert. Falls die Mitte eines Kreises, der durch einen Satz aus Punkten ausgebildet wird, die den maximalen w(x)-Wert ergeben, 0 ist und der Durchmesser des Kreises p ist, besteht das zu erzeugende Filter hier aus zwei verschiedenen Funktionen für eine Anwendung unter den Bedingungen von 0 ≤ x < p/2 bzw. p/2 ≤ x. Eine cos-Funktion wird bei 0 ≤ x < p/2 verwendet, während eine normale Verteilungsfunktion bei p/2 ≤ x verwendet wird.
Bei der cos-Funktion eines zu erzeugenden Filters ist A als die Amplitude festgelegt. Der cos-Funktionsabschnitt soll bei x = p/2 und bei dem normalen Verteilungsfunktionsabschnitt kontinuierlich sein und als w(p/2) = α dargestellt werden. Die cos-Funktion muß einen minimalen Wert bei x = 0 erzielen. Eine nachfolgende Formel (3) wird als eine Funktion erzeugt, die diese Bedingungen erfüllt:
w(x) = α - A - A × cos{X × π /(p/2)} (0 ≤ x ( p/2). ... (3)
Die Funktion der Formel (3) sieht einen maximalen Wert α bei x = p/2 und einen minimalen Wert α - 2A bei x = 0 (Mitte eines Raum-Frequenz-Gebietes) vor. Wenn a bei dieser Art von Funktion als eine Standardabweichung bestimmt ist, wird die nachfolgende Formel (4) erhalten:
w(x) = α × exp(-0,5 {(x - (p/2))/ }²] (p/2 ≤ x). ... (4)
In der Formel (4) ist gemäß = (CTR - (p/2))/r gegeben, (wobei CTR den x-Koordinatenwert der Mitte und r eine reelle Zahl) darstellen. Für p = 0 kann nur die Formel (3) gewählt werden. Bei entweder der Formel (3) oder (4) können, wenn α, A, p und r als Parameter bestimmt sind, Filter durch Ändern dieser Parameterwerte erhalten werden, die verschiedene Niveaus der Verbesserung ermöglichen. Fig. stellt ein Beispiel einer Filtercharakteristik dar, die unter den vorstehend genannten Bedingungen erzeugt wurde. Z. B. wurden α = 4, A = 1,5, p = 60 und r = 4 bestimmt. Um eine Filterung zu verwirklichen, die eine Rauschunter drückungswirkung ermöglicht, müssen hochfrequente Komponenten unterdrückt werden, von denen zu erwarten ist, daß sie eine große Anzahl von Rauschanteilen enthalten. Daher kann z. B. α = 1, A = 0, p = 0 und r = 3 gesetzt werden. Um eine Filterung zu realisieren, die eine Bildverbesserungswirkung ermöglicht, muß ein Frequenzband, das vermutlich einen großen Anteil struktureller Muster von Information aus Rohbilddaten enthält, verstärkt werden und das Band muß unterdrückt werden. Daher kann z. B. α = 3, A = 1, p = 50 und r = 4-7 gesetzt werden.
Bei einem Schritt S28 in Fig. 7 wird geprüft, falls alle Verarbeitungsschritte durch den Schritt S27 für axiale X-, Y- und Z-Bildpunkte abgeschlossen sind. Nach dem Abschließen wird bei einem Schritt S29 eine umgekehrte Koordinatentransformation durchgeführt. Als ein Ergebnis werden verbesserte R-, G- und B-Bilder erhalten. Im einzelnen können gemäß der inversen Matrix M2 der Matrix Ml die Verarbeitungsschritte auf (X', Y', Z')-Daten der vorstehend bearbeiteten Bildpunkte mittels der nachfolgenden Formel (5) angewendet werden.
Nachdem das Ablaufdiagramm wieder zu R-, G- und B-Bildern zurückführt, können durch die vorstehend genannte Operation bei einem Schritt S30 in Fig. 7 wieder (r'¹, g', b')-Daten von jedem Bildpunkt erhalten werden. Dann wird das Ergebnis der R-, G- und B-Operation als ein Bild auf dem in Fig. 1 dargestellten Monitor 106 angezeigt.
Bei diesem Ausführungsbeispiel wird ein feines Muster auf der schleimigen Oberfläche für R-, G- und B-Rohbilder bei der Bildverarbeitungseinrichtung 104 verstärkt und gleichzeitig kann ein klares bzw. deutliches Bild erhalten werden, bei dem Rauschen unterdrückt ist.
Bei der vorstehend genannten Operation kann ein Rauschbeseitigungsverfahren (z. B. unter Verwendung eines Medianbzw. Mittelwertfilters mit einer 3 × 3-Maskengröße) als das vorherige Verfahren für die Rohbilder angewendet werden.
Ein automatisches Einstellverfahren für charakteristische Bereiche bzw. Fl4chen ist nicht auf das Beispiel bei diesem Ausführungsbeispiel beschränkt und verschiedene Verfahren können berücksichtigt werden. Ein Verfahren zum Bestimmen einer Koordinatentransformationsmatrix bei einem Schritt S36 in Fig. 8 ist nicht auf die KL-Transformation beschränkt. Falls das Verfahren eine Koordinatentransformationsmatrix herauszieht, die zu dem in Verarbeitung befindlichen Gegenstandsbild paßt, ist das Verfahren geeignet anwendbar. Die Operation bei den Ausführungsbeispielen kann als parallele Operation verwirklicht werden. Die Matrizen bei dem Ausführungsbeispiel werden nicht entsprechend den Bildern eine nach der anderen erhalten. Z. B. kann eine Matrix, die zuvor herausgezogen wurde, abhängig von dem Unterschied der Verteilung eines R-Bildes angewendet werden.
Bei den vorstehend genannten Ausführungsbeispielen können ein Verbesserungs- bzw. Verstärkungs- oder Rauschunterdrückungsbetrieb unter Verwendung zweidimensionaler diskreter Fouriertransformations- oder Wichtungsfunktionen, die in S1-S3 in Fig. 4, S13-S15 in Fig. 6 und S24-S27 in Fig. 7 dargestellt sind, oder die Bandpaßfilterung, die bei dem Schritt S34 in Fig. 8 dargestellt ist, als Masken operation verwirklicht werden. Auch die Wichtung gemäß der cos-Funktion bei dem Schritt S33 in Fig. 8 wird nicht benötigt.
Z. B. kann der Betrieb bzw. die Operation der Fig. 7 durch die der Fig. 17 ausgetauscht werden und die der Fig. 8 kann durch die der Fig. 18 ausgetauscht werden. Die Masken- Operation, die für die Faltung verwendet wird, kann angewendet werden. Die Bandpaß-Charakteristik der Maskenoperation ist ähnlich der Filteroperation bei den vorstehend genannten Ausführungsbeispielen. Das Einsetzen bzw. Einstellen der Maskenoperation ist z. B. in einer Unterlage beschrieben, die den Titel trägt "A Computer Program for Designing Optimum FIR Linear Phase Digital Filters", geschrieben von James H. Mcclellan, IEEE Transaction on Audio and Electoacoustics, Band AU-21, Nr. 6, Seiten 506-626, Dezember 1978 oder einer Unterlage, die den Titel trägt "Designing of Two-Dimensional FIR Fan Filters by Fourier Reconstruction" in The Transactions of the IECE of Japan, Band B63, Nr. 12, Seiten 849-854, Dezember 1980.

Claims

1. Eine Verarbeitungseinrichtung für ein endoskopisches Bild, aufweisend:

eine Einstelleinrichtung für eine charakteristische Fläche zum Einstellen einer charakteristischen Fläche, die eine der charakteristischen Regionen oder eine Region umfaßt, von der gewünscht wird, daß sie aus einem endoskopischen Bild verbessert wird, das in einer Vielzahl von Farbsignalen aufgelöst ist;

eine Bandpass-Filtereinrichtung zum Anlegen einer Bandpassfilterung zum Hindurchlassen nur eines vorbestimmten Frequenzbandes für ein Bild einer charakteristischen Fläche, das in jedem der Farbsignale eingestellt ist;

eine Bereitstellungseinrichtung zum Bereitstellen einer Gruppe von Vektoren durch das Erzielen einer statistischen Verteilung von jedem Farbdatenwert des Bildes der charakteristischen Fläche, das durch die Bandpass- Filtereinrichtung hindurchgelassen wird;

eine Farbsignal-Umwandlungseinrichtung zum Umwandeln der Farbsignale des endoskopischen Bildes in eine Vielzahl neuer Farbsignale mittels einer Matrixoperation unter Verwendung der Gruppe von Vektoren;

eine Filtereinrichtung zum Filtern der Vielzahl neuer Farbsignale, die durch die Farbsignal- Umwandlungseinrichtung erzeugt wurden; und

eine Umwandlungseinrichtung zum Umwandeln der Vielzahl neuer Farbsignale nach der Filtereinrichtung, die eine Filterung der neuen Farbsignale anwendete, in eine Vielzahl ursprünglicher Farbsignale mittels einer Matrixoperation unter Verwendung einer inversen Matrix einer Matrix, die für die Matrixoperation verwendet wurde.

2. Eine Verarbeitungsvorrichtung für ein endoskopisches Bild nach Anspruch 1,

wobei die Einstelleinrichtung für die charakteristische Fläche aufweist:

eine Teilereinrichtung zum Teilen eines der G- und B- Bilder in dem endoskopischen Bild in eine Vielzahl von Blöcken;

eine Beseitigungseinrichtung zum Beseitigen von Blöcken, die mehr als einen bestimmten Prozentsatz eines Habeffektes in dem Bild der geteilten Vielzahl von Blöcken enthalten;

eine Berechnungseinrichtung zum Berechnen eines Dichtedurchschnitts in jedem Block, der anders als bei den beseitigten Blöcken ist;

eine Entfernungseinrichtung zum Entfernen verbleibender Blöcke, deren Dichtedurchschnitt kleiner als ein bestimmter Wert ist; und

eine Extrahierungseinrichtung zum Berechnen eines Dichtedurchschnitts in den Blöcken außer den entfernten Blöcken und zum Extrahieren einer charakteristischen Fläche, die einen Block als eine Mitte der charakteristischen Fläche enthält, wobei der Block einen Dichtedurchschnitt aufweist, der dem berechneten Dichtedurchschnitt am nächsten ist.

3. Eine Verarbeitungsvorrichtung für ein endoskopisches Bild nach Anspruch 1 oder 2,

wobei die Filtereinrichtung zumindest ein Verbesserungsfilter, das vorzugsweise ein Frequenzband verbessert, das einen großen Anteil von Information eines strukturellen Musters eines Rohbildes enthält, und ein Rauschunterdrückungsfilter verwendet, das vorzugsweise Frequenzkomponenten unterdrückt, die viele Rauschkomponenten enthalten können.

4. Eine Verarbeitungsvorrichtung für ein endoskopisches Bild nach einem der vorhergehenden Ansprüche,

wobei die Filtereinrichtung ein Filter bestimmt, das auf einer Information beruhend zu verwenden ist, die in jedem Farbsignal enthalten ist.

5. Eine Verarbeitungsvorrichtung für ein endoskopisches Bild nach einem der vorhergehenden Ansprüche,

wobei die Filtereinrichtung eine Filterung mit einer Rauschunterdrückungswirkung für ein R-Bild im Fall eines gewöhnlichen endoskopischen R-, G- und B- Bildes ohne das Verwenden einer Farbe durchführt und Wichtungsfunktionen anwendet, die eine Filterung mit einer Verbesserungswirkung auf G- und B-Bilder durchführen.

6. Verarbeitungsvorrichtung für ein endoskopisches Bild nach einem der Ansprüche 1 bis 4,

wobei die Filtereinrichtung eine Filterung mit einer Verbesserungswirkung hinsichtlich einer Achse durchführt und eine Filterung mit einer Rauschunterdrückungswirkung für eine andere Achse durchführt.

7. Verarbeitungsvorrichtung für ein endoskopisches Bild nach einem der vorhergehenden Ansprüche,

wobei die Ausführung der Einstelleinrichtung für die charakteristische Fläche manuell erfolgt.

8. Verarbeitungsvorrichtung für ein endoskopisches Bild nach einem der vorhergehenden Ansprüche,

wobei die Gruppe von Vektoren in der Bereitstellungseinrichtung durch eine KL-Transformation bereitgestellt wird.

Eine Verarbeitungsvorrichtung für ein endoskopisches Bild nach einem der vorhergehenden Ansprüche,

wobei die Gruppe von Vektoren in der Bereitstellungseinrichtung aus einer Vielzahl von Gruppen von Vektoren ausgewählt wird, die zuvor vorbereitet wurden.

10. Ein Verfahren zum Verarbeiten eines endoskopischen Bildes, aufweisend:

einen Einstellungsschritt für eine charakteristische Fläche zum Einstellen einer charakteristischen Fläche, die einen der charakteristischen Bereiche oder einen Bereich enthält, der aus einem endoskopischen Bild verbessert werden soll, das in einer Vielzahl von Farbsignalen aufgelöst ist;

einen Bandpass-Filterschritt zum Anwenden einer Bandpassfilterung zum Hindurchlassen nur eines vorbestimmten Frequenzbandes für ein Bild einer charakteristischen Fläche, das in jedem der Farbsignale gesetzt ist;

einen Bereitstellungsschritt zum Bereitstellen einer Gruppe von Vektoren durch das Erhalten einer statistischen Verteilung von jedem Farbdatenwert des Bildes der charakteristischer Fläche, das hindurchgelassen und bandpassgefiltert ist;

einen Farbsignal-Umwandlungsschritt zum Filtern der Farbsignale des endoskopischen Bildes zu einer Vielzahl neuer Farbsignale mittels einer Matrixoperation unter Verwendung der Gruppe von Vektoren;

einen Filterschritt zum Umwandeln der Vielzahl neuer Farbsignale, die durch den Farbsignal-Umwandlungsschritt erzeugt wurden; und

einen Umwandlungsschritt zum Umwandeln der Vielzahl neuer Farbsignale nach dem Filterschritt, bei dem die Filterung auf die neuen Farbsignale angewendet wurde, zu einer Vielzahl ursprünglicher Farbsignale mittels einer Matrixoperation unter Verwendung einer inversen Matrix einer Matrix, die für die Matrixoperation verwendet wurde.

11. Ein Verfahren zum Verarbeiten eines endoskopischen Bildes nach Anspruch 10,

wobei der Einstellschritt für die charakteristische Fläche aufweist:

einen Teilungsschritt zum Teilen eines der G- und B- Bilder in dem endoskopischen Bild in eine Vielzahl von Blöcken;

einen Beseitigungsschritt zum Beseitigen von Blöcken, die mehr als einen bestimmten Prozentsatz eines Habeffektes in dem Bild der geteilten Vielzahl von Blöcken enthalten;

einen Berechnungsschritt zum Berechnen eines Dichtedurchschnitts in jedem Block, der anders als der der verbleibenden Blöcke ist;

einen Entfernungsschritt zum Entfernen verbleibender Blöcke, deren Dichtedurchschnitt geringer als ein bestimmter Wert ist; und

einen Extraktionsschritt zum Berechnen eines Dichtedurchschnitts in den Blöcken außer den entfernten Blöcken und zum Extrahieren einer charakteristischen Fläche, die einen Block als eine Mitte der charakteristischen Fläche enthält, wobei der Block einen Dichtedurchschnitt aufweist, der dem berechneten Dichtedurchschnitt am nähesten ist.

12. Ein Verfahren zum Verarbeiten eines endoskopischen Bildes nach Anspruch 10 oder 11, wobei der Filterschritt zumindest einen von einem Verbesserungsfilter, der vorzugsweise ein Frequenzband verbessert, das einen großen Anteil von Information eines strukturellen Musters eines Rohbildes enthält, und einem Rauschunterdrückungsfilter verwendet, der vorzugsweise Frequenzkomponenten unterdrückt, die viele Rauschkomponenten enthalten können.

13. Ein Verfahren zum Verarbeiten eines endoskopischen Bildes nach einem der Ansprüche 10 bis 12, wobei der Filterschritt einen zu verwendenden Filter aufgrund einer Information bestimmt, die in jedem Farbsignal enthalten ist.

14. Ein Verfahren zum Verarbeiten eines endoskopischen Bildes nach einem der Ansprüche 10 bis 13, wobei der Filterschritt eine Filterung mit einer Rauschunterdrückungswirkung für ein R-Bild im Fall eines gewöhnlichen endoskopischen R-, G- und B-Bildes ohne das Verwenden von Farbe durchführt und eine Wichtungsfunktionen durchführende Filterung mit einer Verbesserungswirkung für G- und B-Bilder durchführt.

Ein Verfahren zum Verarbeiten eines endoskopischen Bildes nach einem der Ansprüche 10 bis 14, wobei der Filterschritt eine Filterung mit einer Verbesserungswirkung für eine Achse durchführt und eine Filterung mit einer Rauschunterdrückungswirkung für eine andere Achse durchführt.

16. Ein Verfahren zum Verarbeiten eines endoskopischen Bildes nach einem der Ansprüche 10 bis 15, wobei die Gruppe von Vektoren des Bereitstellungsschrittes auf Frequenzkomponenten beruhend bereitgestellt wird, die ein strukturelles Muster in einem Rohbild ausbilden.

17. Ein Verfahren zum Verarbeiten eines endoskopischen Bildes nach einem der Ansprüche 10 bis 16, wobei der Einstellschritt für eine charakteristische Fläche manuell durchgeführt wird.

18. Ein Verfahren zum Verarbeiten eines endoskopischen Bildes nach einem der Ansprüche 10 bis 17, wobei das endoskopische Bild eines von einem gewöhnlichen endoskopischen Bild ohne die Verwendung von Farbe und einem Farbe verwendenden endoskopischen Bild ist.

19. Ein Verfahren zum Verarbeiten eines endoskopischen Bildes nach einem der Ansprüche 10 bis 18, wobei eine KL-Transformation als eine Prozedur zum Herausziehen der Gruppe von Vektoren in dem Bereitstellungsschritt verwendet wird.

20. Ein Verfahren zum Verarbeiten eines endoskopischen Bildes nach einem der Ansprüche 10 bis 19, wobei die Gruppe von Vektoren in dem Bereitstellungsschritt aus einer Vielzahl von Gruppen von Vektoren ausgewählt wird, die zuvor vorbereitet wurden.