-
Die Erfindung betrifft eine Videoendoskopeinrichtung,
mit der das Innere von Körperkavitäten, z.B.
des Magens, des Darms oder des Bronchus betrachtet werden kann.
-
Durch Bestrahlen mit Licht einer
bestimmten Wellenlänge
wird lebendes Gewebe zur Abgabe von Fluoreszenzstrahlung veranlasst.
Die Intensität
von Fluoreszenzstrahlung, die von abnormem Gewebe, das von einer
Schädigung
wie einem Tumor oder Krebs befallen ist, abgegeben wird, ist kleiner
als die von normalen Gewebe abgegebene Fluoreszenzstrahlung. Dieses
Phänomen
tritt auch in subkutanem Gewebe auf, das unter der Körperkavitätwand legt.
-
Die Japanische Patentveröffentlichung P2000-023903A,
offenbart eine Videoendoskopeinrichtung, die das oben beschriebene
Phänomen nutzt,
um Abnormalitäten
in subkutanem Gewebe unter einer Körperkavitätwand aufzufinden. Eine Videoendoskopeinrichtung
dieser Art stellt ein zu betrachtendes Normalbild und ein zu berachtendes
Spezialbild auf einem Sichtgerät
oder Monitor dar. Das Normalbild ist ein Farbbild der Körperkavitätwand. Das Spezialbild
zeigt auf einem einfarbigen Bild (Schwarz/Weiß-Bild) der Körperkavitätwand einen befallenen
Bereich in einer vorbestimmten Farbe, z.B. rot.
-
Um das Normalbild auf dem Monitor
darzustellen, bestrahlt die Videoendoskopeinrichtung die Körperkavitätwand durch
das Videoendoskop mit Weißlicht
und nimmt mit dem Videoendoskop Farbbilder der Körperkavitätwand auf, um Farbbilddaten des
Normalbildes zu erzeugen. Wird dagegen die Videoendoskopeinrichtung
so betrieben, dass das Spezialbild auf dem Monitor dargestellt wird,
so gibt die Einrichtung abwechselnd sichtbares Licht (Referenzlicht)
innerhalb eines vorbestimmten schmalen Wellenlängenbandes und Anregungslicht
aus, um das lebende Gewebe anzuregen. Die Videoendoskopeinrichtung
spezifiziert die Positionen der Pixel, die als befallene Bereiche
dargestellt werden sollen, indem sie Fluoreszenzbilddaten, die während der
Bestrahlung mit Anregungslicht aufgenommen werden, und Referenzbilddaten,
die während
der Beleuchtung mit Referenzlicht aufgenommen werden, miteinander
vergleicht. Die Videoendoskopeinrichtung erzeugt dann Farbbilddaten,
um auf Grundlage der Referenzbilddaten ein einfarbiges Bild (Schwarz/Weiß-Bild)
darzustellen.
-
Da das Referenzlicht einen schmalen
Wellenlängenbereich
aufweist, zeigen die auf Grundlage der Referenzbilddaten erzeugten
Farbbilddaten ein einfarbiges Bild, nicht ein Vollfarbbild. In diesem
Prozess werden die Referenzbilddaten in ein Farbbildformat, z.B.
in Form von RGB-Komponentenbilddaten gewandelt.
-
Daraufhin wandelt die Videoendoskopeinrichtung
die Farbe der spezifizierten Pixel in den Farbbilddaten in die Farbe
Rot, wodurch Spezialbilddaten erzeugt werden. Das erzeugte Spezialbild
liegt in Form von zwei Farbbilddaten vor, bei denen die roten Teile
auf dem einfarbigen Schwarz/Weiß-Hintergrund
vorhanden sind.
-
Unterdessen ist es erforderlich geworden, das
Bild einer Körperkavitätwand, d.h.
den Hintergrund, in dem Spezialbild als Vollfarbbild und nicht nur
als einfarbiges Bild betrachten zu können. Um diesem Erfordernis
zu genügen,
können
die die befallenen Bereiche darstellenden Pixel auf dem normalen
Beobachtungsbild angezeigt werden.
-
Da jedoch die Referenzbilddaten und
die Fluoreszenzbilddaten die befallenen Bereiche spezifizieren müssen und
es für
die Normalbilddaten berforderlich ist, Farbbilddaten nach dem herkömmlichen Verfahren
aufzunehmen, müssen
das Referenzlicht, das Anregungslicht und das Weißlicht die
Körperkavität sequenziell
innerhalb eines Zyklus beleuchten, um ein einziges Einzelbild der
Spezialbilddaten in Form von Farbbilddaten zu erzeugen. Dies bedeutet, dass
der Zyklus in drei Zeitabschnitte unterteilt werden muss.
-
Da die auf das einfarbige Spezialbild
bezogenen Bilddaten durch Vergleich der Referenzbilddaten und der
Fluoreszenzbilddaten erzeugt wird, beleuchten das Referenzlicht
und das Anregungslicht sequenziell die Körperkavität innerhalb eines Zyklus. Dies
bedeutet, dass der Zyklus in zwei Zeitabschnitte unterteilt ist.
Da der auf ein Einzelbild bezogene Zyklus fest ist, reicht die Akkumulationszeit
des Bildsensors für
die jeweiligen Lichttypen nicht aus, wenn der Zyklus in drei Zeitabschnitte
unterteilt ist.
-
Infolgedessen nehmen die Helligkeitswerte der
Normalbilddaten, der Referenzbilddaten und der Fluoreszenzbilddaten
insgesamt ab.
-
Die reduzierten Helligkeitswerte
führen
zu einem Fehler beim Vergleich der Referenzbilddaten und der Fluoreszenzbilddaten,
wodurch das Problem auftritt, dass es zu einer Ungleichheit zwischen
den tatsächlichen
befallenen Bereichen und den dargestellten befallenen Bereichen
kommt.
-
Aufgabe der Erfindung ist es, eine
verbesserte Videoendoskopeinrichtung anzugeben, mit der das Spezialbild
einer Körperkavitätwand, das
abnorme Teile in einer speziellen Farbe auf einem Hintergrundbild
darstellt, als Farbbild betrachtet werden kann, ohne dass es zu
einer Abnahme an Helligkeit von auf Normalbilddaten, Referenzbilddaten
und Fluoreszenzbilddaten bezogenen Pixeln kommt.
-
Die Erfindung löst diese Aufgabe durch den Gegenstand
des Anspruchs 1. Vorteilhafte Weiterbildungen sind in den Unteransprüchen angegeben.
-
Die Normalbilddaten werden von dem
ersten und dem zweiten Bildverarbeitungsteil empfangen, und der
zweite Bildverarbeitungsteil extrahiert Referenzbilddaten zum Erzeugen
der Zielinformation aus den Normalbilddaten. Dadurch wird es überflüssig, einen
Zeitabschnitt zur Beleuchtung mit Referenzlicht in einem Zyklus
bereitzustellen, der der Erfassung eines Einzelbildes (Frame) des
Spezialbildes bestimmt ist. Dadurch steht genügend Akkumulationszeit für das an
der Körperkavitätwand reflektierte Weißlicht und
das von der Körperkavitätwand ausgesendete
Fluoreszenzlicht an dem Bildsensor zur Verfügung. Dadurch kann verhindert
werden, dass die Helligkeitswerte der Pixel in dem von dem ersten
Verarbeitungsteil ausgegebenen Normalbilddaten und der von dem zweiten
Verarbeitungsteil ausgegebenen Referenzbilddaten herabgesetzt werden.
Dadurch können
Fehler vermieden werden, die bei dem zur Erfassung der Zielinformation
angestellten Vergleich der Referenzbilddaten mit den Fluoreszenzbilddaten
auftreten.
-
Die Erfindung wird im Folgenden an
Hand der Figuren näher
erläutert.
Darin zeigen:
-
1 ein
Blockdiagramm einer erfindungsgemäßen Videoendoskopeinrichtung
als Ausführungsbeispiel,
-
2 ein
Blockdiagramm eines in der Einrichtung nach 1 enthaltenen Bildprozessors, und
-
3 einen
Graphen, der die spektrale Empfindlichkeit eines als Farbbereichsensor
arbeitenden Bildsensors zeigt.
-
Im Folgenden wird unter Bezugnahme
auf die Figuren ein Ausführungsbeispiel
der Erfindung beschrieben.
-
1 zeigt
ein Blockdiagramm einer Videoendoskopeinrichtung als Ausführungsbeispiel.
Die Videoendoskopeinrichtung hat ein Videoendoskop 1, eine
Systemsteuerung 2, eine Lichtquelleneinheit 3, einen
Video- oder Bildprozessor 4 und einen Monitor 5.
-
Das Videoendoskop 1, das
in 1 nicht in allen
seinen Einzelheiten gezeigt ist, hat ein flexibles Einführrohr,
das in einen lebenden Körper
eingeführt werden
kann. Am distalen Ende des flexiblen Einführrohrs des Videoendoskops 1 ist
ein Biegemechanismus montiert. Am proximalen Ende des flexiblen
Einführrohrs
sind Winkelknöpfe
zur Fernbetätigung
des Biegemechanismus sowie verschiedenartige Schalter montiert.
An der Stirnfläche
des flexiblen Einführrohrs
sind mindestens zwei Durchgangslöcher
ausgebildet, in denen eine Zerstreuungslinse 11 bzw. eine
Objektivlinse 12 eingebaut sind.
-
Durch das flexible Einführrohr des
Videoendoskops 1 ist ein Lichtleiter 13 geführt. Der
Lichtleiter 13 besteht aus einer großen Zahl an flexiblen Lichtleitfasern,
die eine Übertragung
von sichtbarem Licht und ultraviolettem Licht ermöglichen.
Die distale Stirnfläche
des Lichtleiters 13 ist der Zerstreuungslinse 11 zugewandt,
während
sein proximales Ende in die Lichtquelleneinheit 3 eingesetzt
ist.
-
Durch das flexible Einführrohr ist
ferner eine Signalleitung 14 geführt. Das proximale Ende der
Signalleitung 14 ist an den Bildprozessor 4 angeschlossen,
während
ihr distales Ende an einen Bildsensor 15 angeschlossen
ist, der in einer Bildebene der Objektivlinse 12 angeordnet
ist. Das von dem Bildsensor 15 ausgegebene Ausgangssignal
wird von dem Bildprozessor 4 über die Signalleitung 14 empfangen.
-
Der Bildsensor 15 ist ein
aus einer einzelnen Platte bestehender Farbbereichsensor, der ein
auf seiner Bildaufnahmefläche
erzeugtes Bild in Bildsignale wandelt. Der Bildsensor 15 ist
eine weitläufig einsetzbare
Vorrichtung, die im Folgenden kurz beschrieben wird. Der Bildsensor 15 hat
eine große Zahl
an Fotodioden oder Pixeln, die eine zweidimensionale Anordnung bilden,
eine ladungsgekoppelte Vorrichtung (CCD) zur Übertragung der in den jeweiligen
Fotodioden akkumulier ten elektrischen Ladung, eine Ladungserfassungsvorrichtung
zum Wandeln der empfangenen elektrischen Ladung in eine Spannung,
die als Signal ausgegeben wird, und eine Ausgabeschaltung, die u.a.
eine Korrelations-Doppelabtastungs-Schaltung enthält. Ferner hat der Bildsensor 15 eine
große
Zahl an Farbfiltern des Komplementärfarbsystems, die unmittelbar
vor den Lichtempfangsflächen
der jeweiligen Pixel angeordnet sind. Die Farbfilter bestehen aus
vier Arten von monochromatischen Filtern, die Licht der Farbe Magenta
(Mg), Licht der Farbe Cyan (Cy), Licht der Farbe Gelb (Ye) bzw.
Licht der Farbe Grün
(G) durchlassen. Eine solche aus vier Farbfiltern bestehende Filtereinheit
ist jeweils einer aus vier einander benachbarten Pixeln bestehenden
Gruppe zugeordnet. Ein System aus derart angeordneten Farbfiltern
wird auch als sequenzielles Teilbild-Farbdifferenz-System bezeichnet.
Bei diesem System ist die CCD des Bildsensors 15 ausgebildet,
die Ladung in der Weise zu übertragen,
dass die Ladungen zweier benachbarter, in einer vorbestimmten Richtung
angeordneter Pixel addiert werden. Der Bildsensor 15 gibt
demnach sequenziell ein Signal aus, dessen Pegel gleich der Summe
der Helligkeitspegel zweier Pixel ist.
-
Der Bildsensor 15 gibt dabei
zwei Arten von zusammengesetzten Signalen aus. Das erste zusammengesetzte
Signal stellt abwechselnd die Summe der Helligkeitspegel eines Magenta-Pixels
(Pixel hinter dem das Magenta-Licht durchlassenden Filter) und eines
Gelb-Pixels (Pixel hinter dem das Gelb-Licht durchlassenden Filter)
und die Summe der Helligkeitspegel eines Grün-Pixels (Pixel hinter dem
das Grün-Licht
durchlassenden Filter) und eines Cyan-Pixels (Pixel hinter dem das
Cyan-Licht durchlassenden Filter) dar. Das zweite zusammengesetzte Signal
stellt abwechselnd die Summe der Helligkeitspegel eines Magenta-Pixels
und eines Cyan-Pixels und die Summe der Helligkeitspegel eines Grün-Pixels
und eines Gelb-Pixels dar. Nimmt man an, dass die Helligkeitspegel
der Magenta-, Gelb-, Grün-
und Cyan-Pixel durch die Größen Bmg,
BYe, BG bzw. BCy dargestellt sind, so ergibt sich das erste zusammengesetzte
Signal aus (Bmg + BYe, BG + BCy, Bmg + BYe, BG + BCy,...) und das
zweite zusammengesetzte Signal aus (Bmg + BCy, BG + BYe, Bmg + BCy,
BG + BYe,...).
-
Die Systemsteuerung 2 erzeugt
verschiedene Referenzsignale und steuert die Lichtquelleneinheit 3 und
den Bildprozessor 4 durch diese Referenzsignale.
-
Die Systemsteuerung 2 wechselt
den Beobachtungsmodus zwischen einem Normalmodus und einem Spezialmodus,
wenn die Bedienperson einen an einem Bedienfeld (nicht gezeigt)
montierten Wähler
umschaltet. Die Systemsteuerung 2 sendet entsprechend dem
gerade gewählten
Beobachtungsmodus ein Signal an die Lichtquelleneinheit 3,
das den Normalmodus oder den Spezialmodus angibt.
-
Die Lichtquelleneinheit 3 hat
eine Lampe zur Ausgabe von Licht, das Weißlicht umfasst, welches den
Bereich sichtbaren Lichtes und den Bereich zur Anregung von lebendem
Gewebe bestimmten Anregungslichtes (ultraviolettes Licht) vollständig abdeckt.
Ferner hat die Lichtquelleneinheit 3 eine Kondensorlinse
zum Sammeln des von der Lampe auf die proximale Stirnfläche des
Lichtleiters 13 ausgegebenen Lichtes und einen Umschaltmechanismus, der
eine Blende sowie Filter enthält,
um aus dem von der Lampe abgegebenen Licht abwechselnd das Weißlicht und
das Anregungslicht zu extrahieren.
-
Empfängt die Lichtquelleneinheit 3 das
den Normalmodus angebende Signal von der Systemsteuerung 2,
so gibt sie kontinuierlich das Weißlicht auf die proximale Stirnfläche des
Lichtleiters 13 aus. Das einfallende Weißlicht wird
durch den Lichtleiter 13 geführt und durch die Zerstreuungslinse 11 zerstreut,
um ein vor dem Ende des Videoendoskops 1 angeordnetes Objekt
zu beleuchten. Anschließend wird
auf der Bildaufnahmefläche
des Bildsensors 15 ein Bild des mit dem Weißlicht beleuchteten
Objektes erzeugt. Der Bildsensor 15 erzeugt ein Bildsignal
und gibt dies als analoges Signal an den Bildprozessor 4 aus.
Im Folgenden werden diejenigen Bilddaten, die bei der Ausgabe von
Weißlicht
aus dem Ende des Videoendoskops 1 aufgenommen werden, als
Normalbilddaten bezeichnet.
-
Empfängt die Lichtquelleneinheit 3 das
den Spezialmodus angebende Signal von der Systemsteuerung 2,
so gibt sie abwechselnd das Weißlicht und
das Anregungslicht auf die proximale Stirnfläche des Lichtleiters 13 aus.
Das Weißlicht
und das Anregungslicht werden durch den Lichtleiter 13 geführt und
durch die Zer streuungslinse 11 zerstreut, um abwechselnd
das vor dem Ende des Videoendoskops 1 angeordnete Objekt
zu beleuchten. Dann erzeugt die Objektivlinse 12 auf der
Bildaufnahmefläche
des Bildsensors 15 Bilder des mit dem Weißlicht und
mit dem Anregungslicht beleuchteten Objektes. Der Bildsensor 15 erzeugt
ein Bildsignal und gibt dieses als analoges Signal an den Bildprozessor 4 aus.
Im Folgenden werden diejenigen Bilddaten, die bei Ausgabe des Weißlichtes
aus dem Ende des Videoendoskops 1 in dem Spezialmodus aufgenommen
werden, ebenfalls als Normalbilddaten bezeichnet. Diejenigen Bilddaten,
die bei Ausgabe des Anregungslichtes aus dem Ende des Videoendoskops
in dem Spezialmodus aufgenommen werden, sind im Folgenden als Anregungsbilddaten
bezeichnet.
-
Mit Empfang des den Normalmodus angebenden
Signals aus der Systemsteuerung 2 empfängt der Bildprozessor 4 die
Normalbilddaten von dem Bildsensor 15. Der Bildprozessor 4 verarbeitet die
empfangenen Normalbilddaten in der Weise, dass ein Farbabgleich
eingestellt wird oder dergleichen, und gibt die so verarbeiteten
Normalbilddaten als analoges Videosignal, z.B. als PAL-Signal oder als
NTSC-Signal, an den Monitor 5 aus. Der Monitor 5 stellt
das Normalbild auf Grundlage des ihm zugeführten Signals dar.
-
Mit Empfang des den Spezialmodus
angebenden Signals von der Systemsteuerung 2 empfängt der
Bildprozessor 4 abwechselnd die Normalbilddaten und die
Anregungsbilddaten von dem Bildsensor 15. Wie unten beschrieben,
erzeugt der Bildprozessor 4 Bilddaten, um das Spezialbild
auf Grundlage der Normalbilddaten und der Anregungsbilddaten darzustellen.
Dann gibt der Bildprozessor 4 die erzeugten Bilddaten als
analoges Videosignal, z.B. als PAL-Signal oder als NTSC-Signal, an den Monitor 5 aus.
Der Monitor 5 stellt das Spezialbild auf Grundlage des
ihm zugeführten
Signals dar.
-
Im Folgenden wird der Bildprozessor 4 unter Bezugnahme
auf 2 beschrieben, der
ein Blockdiagramm des Bildprozessors 4 zeigt. Der Bildprozessor 4 enthält einen
Analog/Digital-Wandler (A/D-Wandler) 21, eine Farbseparationsschaltung 22,
eine erste Farbmatrixschaltung 31, eine Farbabgleichsschaltung 32,
einen R-Bildspeicher 33,
einen G-Bildspeicher 34, einen B-Bildspeicher 35,
eine zweite Farbmatrixschaltung 41, einen Referenzbildspeicher 42,
einen Fluoreszenzbildspeicher 43, eine Zielinformationsschaltung 44,
eine Zusammensetzschaltung 51, einen D/A-Wandler 52 und
einen Codierer 53.
-
Unabhängig vom eingestellten Beobachtungsmodus
wird das von dem Bildsensor 15 ausgegebene Bildsignal durch
den A/D-Wandler 21 aus einem analogen Signalformat in ein
digitales Signalformat gewandelt. Das auf die Bilddaten bezogene
digitale Signal wird in zwei Farbdifferenzsignale und ein Helligkeitssignal
separiert, indem in der Farbseparationsschaltung 22 ein
an sich bekannter Additionsprozess und ein an sich bekannter Subtraktionsprozess
durchgeführt
werden. Da das Verfahren zum Erzeugen dieser drei Signale ein weitläufig eingesetztes
Verfahren ist, wird es im Folgenden kurz beschrieben. Die beiden
Farbdifterenzsignale (Bmg + BYe – BG – BCy) und (Bmg + BCy – BG – BYe) werden
erzeugt, indem die Differenz zweier benachbarter Werte in einem
ersten und einem zweiten Teilbildsignal erfasst wird. Das Helligkeitssignal
(Bmg + BYe + BG + BCy) wird erzeugt, indem die Summe zweier benachbarter
Werte in dem ersten und dem zweiten Teilbildsignal erfasst wird.
Auf diese Weise werden die auf die Bilddaten bezogenen digitalen
Signale in die beiden Farbdifferenzsignale und das eine Helligkeitssignal
separiert. Diese auf die von der Farbseparationsschaltung 22 ausgegebenen
Bilddaten bezogenen Signale empfängt
die Zusammensetzschaltung 51 in unterschiedlichen Abläufen entsprechend dem
gewählten
Beobachtungsmodus.
-
In dem Normalmodus gelangen die beiden Farbdifferenzsignale
und das eine Helligkeitssignal, die auf die Normalbilddaten bezogen
sind und von der Farbseparationsschaltung 22 ausgegeben
werden, in die erste Farbmatrixschaltung 31 und nicht in die
zweite Farbmatrixschaltung 41. Dagegen gelangen in dem
Spezialmodus die beiden Farbdifferenzsignale und das eine Helligkeitssignal,
die auf die Normabeobachtungsbilddaten bezogen sind und von der
Farbseparationsschaltung 22 ausgegeben werden, sowohl in
die erste Farbmatrixschaltung 31 als auch in die zweite
Farbmatrixschaltung 41, und die beiden Farbdifferenzsignale
und das eine Helligkeitssignal, die auf die Anregungsbilddaten bezogen
sind und von der Farbseparationsschaltung 22 ausgegeben
werden, gelangen in die zweite Farbmatrixschaltung 41 und
nicht in die erste Farbmatrixschaltung 31.
-
Im Folgenden werden die Funktionen
der in dem Bildprozessor 4 vorgesehenen Schaltungen in der
Reihenfolge der in dem Normalmodus vorgenommenen Bilddatenverarbeitung
und anschließend
die Funktionen in dem Spezialmodus beschrieben.
-
In dem Normalmodus werden die beiden Farbdifferenzsignale
und das Helligkeitssignal, die auf die Normalbilddaten bezogen sind
und von der Farbseparationsschaltung 22 ausgegeben werden, der
ersten Farbmatrixschaltung 31 zugeführt. Die erste Farbmatrixschaltung 31 erzeugt
ein Rot-Komponentensignal (R-Signal),
ein Grün-Komponentensignal
(G-Signal) und ein Blau-Komponentensignal (B-Signal)
auf Grundlage der beiden Farbdifferenzsignale und des Helligkeitssignals.
Da das Verfahren zum Erzeugen dieser drei Signale ein weitläufig angewendetes
Verfahren ist, wird es im Folgenden kurz beschrieben. Die beiden
Farbdifferenzsignale und das Helligkeitssignal werden gemäß der in
der vorliegenden Formel (1) angegebenen Umwandlungsdeterminante
(Matrix) umgewandelt, um drei Farbkomponentensignale R, G und B
zu erzeugen.
-
-
In Formel (1) bezeichnet R' ein Farbdifferenzsignal
(Bmg + BYe – BG – BCy) und
G' das andere Farbdifferenzsignal
(Bmg + BCy – BG – BYe) sowie
B' das Helligkeitssignal
(Bmg + BYe + BG + BCy). In Formel (1) bezeichnet α einen Farbmatrixkoeffizienten,
der allgemein durch folgende Formel (2) ausgedrückt werden kann.
-
-
In der ersten Farbmatrixschaltung 31 des
beschriebenen Ausführungsbeispiels
ist der Farbmatrixkoeffizient α z.B.
gemäß folgender
Formel (3) festgelegt, um drei geeignete Farbkomponentensignale R,
G und B auf Grundlage der beiden Farbdifferenzsignale und des Helligkeitssignals
zu erzeugen.
-
-
Die Farbabgleichsschaltung 32 nimmt
an den Normalbilddaten, die von der ersten Farbmatrixschaltung 31 in
Form der drei Farbkomponentensignale R, G und B ausgegeben werden,
einen Farbabgleich vor. Dieser Farbabgleich ist ein weitläufig eingesetzter
Prozess, mit dem das Farbgleichgewicht des mit den Normalbilddaten
dargestellten Farbbildes eingestellt wird.
-
Der R-, der G- und der B-Bildspeicher 33, 34 und 35 speichern
temporär
das R-, das G- bzw. das B-Signal, wenn die Farbabgleichsschaltung 32 die Normalbilddaten
in Form der R-, G- und B-Komponentensignale ausgibt. Die Bilddaten
der drei Farbkomponenten R, G und B, die in dem R-, dem G- bzw. dem
B-Bildspeicher 33, 34, 35 gespeichert
sind, werden gleichzeitig in Form der drei Farbkomponentensignale
R, G und B ausgegeben, die über
die Zusammensetzschaltung 51 in den D/A-Wandler 52 gelangen.
Die Zusammensetzschaltung 51 ist in dem Normalmodus nicht
in Betrieb, während
sie in dem Spezialmodus in Betrieb ist.
-
Gelangen die drei die Normalbilddaten
bildenden Farbkomponentensignale in den D/A-Wandler 52,
so wandelt dieser das digitale Signal in ein analoges Signal, das
dem Codierer 53 zugeführt wird.
Der Codierer 53 wandelt die drei auf die Normalbilddaten
bezogenen Farbkomponentensignale R, G und B in ein Videosignal,
z.B. ein PAL-Signal oder ein NTSC-Signal. Der Codierer 53 gibt
das Videosignal an den Monitor 5 aus. Der Monitor 5 stellt
das Normalbild auf Grundlage des ihm zugeführten Videosignals dar.
-
In dem Spezialmodus gelangen die
Normalbilddaten und die Anregungsbilddaten abwechselnd in die zweite
Farbmatrixschaltung 41, und die Normalbilddaten gelangen
auch in die erste Farbmatrixschaltung 31. Die beiden Farbdifferenzsignale
und das Helligkeitssignal, die auf die Normalbilddaten bezogen sind
und der ersten Farbmatrixschaltung 31 zugeführt werden,
werden von letzterer verarbeitet. Die Farbkomponentensignale R,
G und B, die von der ersten Farbmatrixschaltung 31 ausgegeben
werden, werden von der Farbabgleichsschaltung 32 verarbeitet
und über
den R-, den G- und den B-Bildspeicher 33, 34 und 35 von
der Zusammensetzschaltung 51 empfangen, wie dies auch für die Normalbilddaten
in dem Normalmodus der Fall ist.
-
Dagegen wandelt die zweite Farbmatrixschaltung 41 die
beiden Farbdifterenzsignale und das Helligkeitssignal, die auf die
Normalbilddaten bezogen sind, in die drei Farbkomponentensignale
R, G und B. Die zweite Farbmatrixschaltung 41 wandelt auch
die beiden Farbdifferenzsignale und das Helligkeitssignal, die auf
die Anregungsbilddaten bezogen sind, in die drei Farbkomponentensignale
R, G und B. Jedoch unterscheidet sich die von der zweiten Farbmatrixschaltung 41 vorgenommene
Berechnung für die
Normalbilddaten von der für
die Anregungsbilddaten.
-
Die zweite Farbmatrixschaltung 41 nimmt
an den beiden Farbdifferenzsignalen und dem Helligkeitssignal, die
auf die Normalbilddaten bezogen sind, die Berechung an Hand der
Umwandlungsdeterminante nach Formel (1) vor, in der der Farbmatrixkoeffizient α beispielsweise
nach folgender Formel (4) eingestellt ist.
-
-
In diesem Prozess hat von den von
der zweiten Farbmatrixschaltung 41 ausgegebenen drei Farbkomponentensignalen
R, G und B lediglich das R-Signal einen Wert größer als 0 für die Normalbilddaten. Deshalb
gibt die zweite Farbmatrixschaltung 41 das R-Signal aus,
wenn die Normalbilddaten verarbeitet werden.
-
Das ausgegebene R-Signal wird in
dem Referenzbildspeicher 42 gespeichert. Im Folgenden werden
diejenigen Bilddaten, die von dem R-Signal getragen werden und auf
das Normalbild bezogen sind, als Referenzbilddaten bezeichnet.
-
Die zweite Farbmatrixschaltung 41 nimmt
die Berechnung an den beiden Farbdifferenzsignalen und dem Helligkeitssignal,
die auf die Anregungsbilddaten bezogen sind, an Hand der Umwandlungsdeterminante
nach Formel (1) vor, in der der Farbmatrixkoeffizient α beispielsweise
nach folgender Formel (5) eingestellt ist.
-
-
In diesem Prozess hat von den von
der zweiten Farbmatrixschaltung 41 ausgegebenen drei Farbkomponentensignalen
R, G und B lediglich das G-Signal einen Wert größer als 0 für die Anregungsbilddaten. Deshalb
gibt die zweite Farbmatrixschaltung 41 lediglich das G-Signal
aus, wenn die Anregungsbilddaten verarbeitet werden. Das ausgegebene
G-Signal wird in dem Fluoreszenzbildspeicher 43 gespeichert.
Im Folgenden werden diejenigen Bilddaten, die von dem G-Signal getragen
und auf die Anregungsbilddaten bezogen sind, als Fluoreszenzbilddaten
bezeichnet.
-
Die in dem Referenzbildspeicher 42 gespeicherten
Referenzbilddaten und die in dem Fluoreszenzbildspeicher 43 gespeicherten
Fluoreszenzbilddaten werden gleichzeitig ausgelesen und der Zielinformationsschaltung 44 zugeführt.
-
Die Zielinformationsschaltung 44 spezifiziert diejenigen
Pixel, die in dem Bild als befallene Bereiche, im Folgenden auch
als Zielbereiche bezeichnet, dargestellt werden sollen, um die auf
die Position dieser Pixel bezogene Information zu erfassen. Diese Information
wird im Folgenden auch als Zielinformation bezeichnet. Sind die
Referenzbilddaten und die Fluoreszenzbilddaten für ein Einzelbild erfasst, so extrahiert
die Zielinformationsschaltung 44 sowohl für die Referenzbilddaten
als auch für
die Fluoreszenzbilddaten jeweils den maximalen Hellig keitswert und
den minimalen Helligkeitswert. Anschließend normiert die Zielinformationsschaltung 44 die
Referenzbilddaten und die Fluoreszenzbilddaten über die extrahierten maximalen
und minimalen Helligkeitswerte derart, dass der Gradationsbereich
und der Pegel der Referenzbilddaten mit den entsprechenden Größen der
Fluoreszenzbilddaten übereinstimmen. Daraufhin
berechnet die Zielinformationsschaltung 44 für jede Koordinate
die Differenz zwischen dem Helligkeitswert eines in den Referenzbilddaten
vorhandenen Pixels und dem Helligkeitswert des unter der gleichen
Koordinate in den Fluoreszenzbilddaten vorhandenen Pixels, d.h.
es wird die Differenz berechnet, indem ein Pixelwert der Fluoreszenzbilddaten
von einem Pixelwert der Referenzbilddaten subtrahiert wird. Dann
spezifiziert die Zielinformationsschaltung 44 aus sämtlichen
Koordinaten diejenigen Koordinaten, deren Differenzen größer als
ein vorbestimmter Schwellenwert sind. Die Zielinformationsschaltung 44 gibt
die erfasste Zielinformation an die Zusammensetzschaltung 51 aus.
-
Die Zusammensetzschaltung 51 setzt
die aus dem R-, G- und B-Bildspeicher 33, 34, 35 ausgelesenen
Normalbilddaten und die von der Zielinformationsschaltung 44 ausgegebene
Zielinformation zusammen. Dabei wandelt die Zusammensetzschaltung 51 die
Werte derjenigen Pixel in den Normalbilddaten, deren Koordinaten
durch die Zielinformation angegeben sind, beispielsweise in der
Weise um, dass diese Pixel als grün dargestellt werden (für die Gradationswerte
dieser Pixel gilt in diesem Fall (R, G, B) = (0, 255, 0)). Die Zusammensetzschaltung 51 gibt die
Bilddaten, die durch Zusammensetzen der Normalbilddaten mit der
Zielinformation erfasst worden sind, an den D/A-Wandler 52 aus,
um auf Grundlage dieser Bilddaten das Spezialbild in dem Format
der drei Farbkomponentensignale R, G und B darzustellen.
-
Der D/A-Wandler 52 wandelt
die digitalen Spezialbilddaten in das Format eines analogen Signals
um. Die so umgewandelten Bilddaten werden dem Codierer 53 zugeführt. Der
Codierer 53 wandelt die drei Farbkomponentensignale R,
G und B, die auf die Spezialbilddaten bezogen sind, in ein Videosignal um,
z.B. in ein PAL-Signal
oder ein NTSC-Signal. Das Videosignal wird von dem Codierer 53 an
den Monitor 5 ausgegeben. Der Monitor 5 stellt
das Spezialbild entsprechend dem zugeführten Videosignal dar.
-
Mit der wie oben aufgebauten Videoendoskopeinrichtung
des vorliegenden Ausführungsbeispiels
kann eine Bedienperson das Innere einer Körperkavität des Objektes nach folgendem
Verfahren betrachten.
-
Zunächst führt die Bedienperson das distale Ende
des Videoendoskops 1 in die Körperkavität des Objektes ein und stellt
den Normalmodus ein, indem sie einen nicht gezeigten Schalter an
einem Bedienfeld entsprechend betätigt. Anschließend wird
das Weißlicht
kontinuierlich von dem Ende des Videoendoskops 1 abgegeben,
und der Bildsensor 15 fängt ein
Bild der mit dem Weißlicht
beleuchteten Wand der Körperkavität ein. Die
Farbseparationsschaltung 22 separiert die so erfassten
Normalbilddaten in zwei Farbdifferenzsignale und ein Helligkeitssignal.
Die erste Farbmatrixschaltung 31 wandelt die separierten Signale
in drei Farbkomponentensignale R, G und B. Die Farbabgleichsschaltung 32 nimmt
an den separierten Signalen einen Farbabgleich vor. Die Farbkomponentensignale
werden in dem R-, dem G- bzw. dem B-Bildspeicher 33, 34, 35 gespeichert,
um deren Zeitgabe, d.h. deren zeitliche Festlegung einzustellen.
Der Codierer 53 wandelt die aus den Bildspeichern 33, 34 und 35 ausgelesenen
Farbkomponentensignale in das Videosignal und gibt dieses an den Monitor 5 aus.
Der Monitor 5 stellt so das farbige Normalbild dar, das
den Bereich zeigt, dem das Ende des Videoendoskops 1 zugewandt
ist. Die Bedienperson kann so den Zustand der Wand der Körperkavität betrachten,
indem sie auf das Normalbild blickt.
-
Weiterhin nutzt die Bedienperson
das Spezialbild, um den Teil der Wand der Körperkavität zu betrachten, den sie im
Rahmen der Betrachtung des Normalbildes ausgewählt hat. Dabei stellt die Bedienperson
durch eine entsprechende Betätigung
des an dem Bedienfeld gezeigten Schalters (nicht gezeigt) den Spezialmodus
ein. Daraufhin werden das Weißlicht
und das Anregungslicht abwechselnd aus dem Ende des Videoendoskops 1 abgegeben,
und der Bildsensor 15 fängt
abwechselnd ein Bild der mit dem Weißlicht beleuchteten Körperkavitätwand und ein
Bild der die Fluoreszenzstrahlungen aussendenden Körperkavitätwand ein.
Die Farbseparationsschaltung 22 separiert sowohl die eingefangenen Normalbilddaten
als auch die eingefangenen Anregungsbilddaten jeweils in zwei Farbdifferenzsignale und
ein Helligkeitssignal. Die erste Farbmatrixschaltung 31 wandelt
die zwei Farbdifferenzsignale und das Helligkeitssignal, die auf
die Normalbilddaten bezogen sind, in drei Farbkomponentensignale
R, G und B. Die Farbabgleichsschaltung 43 nimmt an den Farbkomponentensignalen
den Farbabgleich vor. Die Farbkomponentensignale werden in dem R-,
dem G- bzw. dem B-Bildspeicher 33, 34, 35 gespeichert.
Dagegen extrahiert die zweite Farbmatrixschaltung 41 die
Referenzbilddaten aus den beiden Farbdifferenzsignalen und dem Helligkeitssignal,
die auf die Normalbilddaten bezogen sind. Der Referenzbildspeicher 42 speichert
die extrahierten Referenzbilddaten. Die zweite Farbmatrixschaltung 41 extrahiert
die Fluoreszenzbilddaten aus den beiden Farbdifterenzsignalen und
dem Helligkeitssignal, die auf die Anregungsbilddaten bezogen sind.
Der Fluoreszenzbildspeicher 43 speichert die extrahierten
Fluoreszenzbilddaten.
-
Die Zielinformationsschaltung 44 erzeugt
die Zielinformation, indem sie die aus dem Referenzbildspeicher 42 ausgelesenen
Referenzbilddaten und die aus dem Fluoreszenzbildspeicher 43 ausgelesenen
Fluoreszenzbilddaten miteinander vergleicht. Dann setzt die Zusammensetzschaltung 51 das
R-, das G- und das B-Signal,
das aus dem R-, dem G- bzw. dem B-Bildspeicher 33, 34, 35 ausgelesen
wird, mit der Zielinformation zusammen, um Spezialbilddaten zur
Darstellung des Spezialbildes zu erzeugen. Die Spezialbilddaten
werden von dem D/A-Wandler 52 in ein analoges Signal gewandelt.
Dieses analoge Signal wird von dem Codierer 53 in ein Videosignal gewandelt.
Der Monitor 5 stellt das Spezialbild desjenigen Bereichs,
dem das Ende des Videoendoskops 1 zugewandt ist, als Farbbild
dar.
-
Die Bedienperson kann die Kontur
und die Unregelmäßigkeit
der Körperkavitätwand durch
das RGB-Farbbild in dem Spezialbild erkennen. Sie kann diejenigen
Bereiche, die mit hoher Wahrscheinlichkeit von einer Schädigung wie
einem Tumor oder Krebs befallen sind, an Hand der fleckigen und/oder blockartigen
grünen
Bereiche in dem Spezialbild erkennen, die dem Gewebe entsprechen,
das vergleichsweise schwache Fluoreszenzstrahlung abgibt.
-
Wie oben beschrieben, hat die Videoendoskopeinrichtung
in diesem Ausführungsbeispiel
einen ersten Kanal zum Verarbeiten der Normalbilddaten und einen
zweiten Kanal zum Erzeugen der Zielinformation. Der erste Kanal
umfasst die Farbmatrixschaltung 31, die Farbabgleichsschaltung 32 sowie
die Bildspeicher 33, 34 und 35 und entspricht
dem ersten Bildverarbeitungsteil. Der zweite Kanal umfasst die zweite
Farbmatrixschaltung 41, den Referenzbildspeicher 42,
den Fluoreszenzbildspeicher 43 sowie die Zielinformationsschaltung 44 und
entspricht dem zweiten Bildverarbeitungsteil. In dem Spezialmodus werden
die Normalbilddaten beiden Kanälen
zugeführt,
und der zweite Kanal extrahiert die Referenzbilddaten, die zur Erzeugung
der Zielinformation genutzt werden, aus den Normalbilddaten. Dadurch wird
es überflüssig, einen
Zeitabschnitt für
die Beleuchtung mit Referenzlicht in einem Zyklus zur Erfassung
eines Einzelbildes oder Frames des Spezialbildes bereitzustellen,
wodurch genügend
Akkumulationszeit für
das an der Körperkavitätwand reflektierte Weißlicht und
das von der Körperkavitätwand abgegebene
Fluoreszenzlicht an dem Bildsensor 15 zur Verfügung steht.
Dadurch kann vermieden werden, dass der Helligkeitswert des jeweiligen
Pixels in den Normalbilddaten und den Referenzbilddaten insgesamt
herabgesetzt wird. Dadurch können
wiederum Fehler vermieden werden, die in dem zur Erfassung der Zielinformation
bestimmten Vergleich der Referenzbilddaten mit den Fluoreszenzbilddaten
auftreten.
-
Da in dem beschriebenen Ausführungsbeispiel
der in das Videoendoskop 1 eingebaute Bildsensor ein Farbbereichssensor
ist, ist er in der Lage, das Anregungslicht zu erfassen, das einen
die Wellenlänge
365 nm enthaltenden Wellenlängenbereich
von einigen Nanometern abdeckt, wie in 3 gezeigt ist. In 3 ist die spektrale Empfindlichkeit des
Farbbereichssensors gezeigt. Werden die beiden Farbdifferenzsignale
und das Helligkeitssignal in die drei Farbkomponentensignale R,
G und B umgewandelt, indem die Berechnung unter Anwendung eines
normalen Farbmatrixkoeffizienten α,
wie er in der obigen Formel (4) angegeben ist, vorgenommen wird,
so mischt sich ein durch das Anregungslicht verursachter Falschanteil
in die Farbkomponentensignale, der eine korrekte Wiedergabe der durch
das Grün-Komponentensignal übertragenen
Fluoreszenzbilddaten erschwert.
-
Da jedoch in dem beschriebenen Ausführungsbeispiel
die Werte der Matrixelemente des Farbmatrixkoeffizienten α geeignet
eingestellt sind, weist das G-Signal nur die Fluoreszenzkomponente auf,
wodurch der Einfluss des durch das Anregungslicht verursachten Falschanteils
aus den Fluoreszenzbilddaten beseitigt werden kann. Es ist deshalb nicht
erforderlich, ein Bandpassfilter unmittelbar vor der Bildaufnahmefläche des
Bildsensors 15 anzuordnen, um das Anregungslicht zu beseitigen.
-
In dem vorliegenden Ausführungsbeispiel bildet
die Videoendoskopeinrichtung, welche die Systemsteuerung 2,
die Lichtquelleneinheit 3 und den Bildprozessor 4 umfasst,
eine Einheit. Die Erfindung ist jedoch nicht auf eine solche Ausführungsform
beschränkt.
Beispielsweise kann eine Vorrichtung, die die Systemsteuerung 2,
die Lichtquelleneinheit 3 und den Bildprozessor 4 enthält, neben
einer herkömmlichen
Endoskopeinrichtung vorgesehen werden. In diesem Fall ändert die
hinzugefügte
Systemsteuerung 2 nicht den Beobachtungsmodus, sondern
sorgt stets für
einen Modus, der dem Spezialmodus entspricht. Außerdem kann an der hinzugefügten Lichtquelleneinheit
ein Lichtwellenleiter angebracht werden, der das Weißlicht und
das Anregungslicht leitet. Dieser Lichtleiter wird durch einen Instrumentenkanal so
eingeführt,
dass seine Spitze im Betrieb aus der distalen Stirnfläche des
Endoskops heraussteht. Außerdem
empfängt
der hinzugefügte
Bildprozessor 4 von der herkömmlichen Endoskopeinrichtung
ausgegebene Bilddaten und führt
die Prozesse aus, die den von dem A/D-Wandler 21 und den
stromabwärts
angeordneten Schaltungen des beschriebenen Ausführungsbeispiels durchgeführten Prozessen
entsprechen. In diesem Fall kann das von dem hinzugefügten Videoprozessor 4 ausgegebene
Signal von einem Monitor, der an die herkömmliche Endoskopeinrichtung
angeschlossen ist, oder von einem anderen Monitor empfangen werden.
Im ersten Fall ist eine Umschaltvorrichtung erforderlich, um von
dem von dem ursprünglichen
Bildprozessor ausgegeben Videosignal der herkömmlichen Endoskopeinrichtung
auf das von dem hinzugefügten Bildprozessor 4 ausgegebene
Videosignal umzuschalten. Im zweiten Fall kann die Bedienperson
zwei Monitore während
der Beobachtung nutzen.
-
Wie oben beschrieben, erlaubt es
die Erfindung einer Bedienperson, ein Farbbild einer Körperkavitätwand in
dem Spezialbild zu betrachten, ohne dass die Helligkeitswerte der
Pixel in den Normalbilddaten, den Referenzbilddaten und den Fluoreszenzbilddaten
herabgesetzt sind. Außerdem
kann der Einfluss eines durch das Anregungslicht verursachten Falschanteils
aus den Fluoreszenzbilddaten beseitigt werden, ohne hierzu ein Bandpassfilter
vor der Bildaufnahmefläche
des Bildsensors zur Beseitigung des Anregungslichtes anordnen zu
müssen.
