DE602005003628T2

DE602005003628T2 - Verfahren zur Regelung der Helligkeit und Bildbearbeitungsvorrichtung

Info

Publication number: DE602005003628T2
Application number: DE602005003628T
Authority: DE
Inventors: Yoshifumi Donomae; Kazunori Abe
Original assignee: Fujinon Corp; Fujifilm Corp
Current assignee: Fujinon Corp; Fujifilm Corp
Priority date: 2004-10-20
Filing date: 2005-10-19
Publication date: 2008-12-11
Anticipated expiration: 2025-10-20
Also published as: DE602005003628D1; EP1650708B1; EP1650708A1; US7791651B2; US20060082677A1

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung betrifft ein Verfahren zum Einstellen des Helligkeitswerts eines Bilds und eine Bildverarbeitungsvorrichtung- sowie ein Bildverarbeitungsprogramm zum Einstellen des Helligkeitswerts eines Bilds, basierend auf dem Verfahren.
Beschreibung des Standes der Technik
Allgemein ist der Bereich eines Helligkeitswerts, der sich auf Photopapier (photoempfindlichem Material) oder auf einem Monitor darstellen lässt, schmaler als der eines Helligkeitswerts, der von einem Abbildungselement einer digitalen Kamera zu erhalten ist. Aus diesem Grund ist eine Funktion zum Justieren des Helligkeitswerts des Bilds in einer Vorrichtung vorgesehen, die ein von einer Digitalkamera aufgenommenes photographisches Bild auf Photopapier oder dem Monitor reproduziert.
Beispielsweise zeigt die US-Patentschrift Nr. 6 122 076 eine Vorrichtung und ein Verfahren zum Ausgeben eines Abzugs eines Bilds nach dem Komprimieren des dynamischen Bereichs des Helligkeitswerts des Bilds. In dieser Vorrichtung erfolgt eine Verarbeitung in der Weise, dass ein scharfes Bild auch dann ausgegeben wird, wenn der dynamische Bereich des Bilds komprimiert wird. Wen der Helligkeitswert des Bilds derart eingestellt wird, dass die Differenz zwischen Helligkeit/Dunkelheit kleiner wird, so ist es wichtig, dass ein ausreichender Kontrast beibehalten wird, damit die Feinstruktur in dem Bild nicht unscharf wird.
Photographieren mittels elektronischem Endoskop erfolgt durch Emittieren von Licht, das über einen Lichtleiter zu einem Körperhohlraum geleitet wird, der kein natürliches Licht aufnimmt. Da der Körperhohlraum eine enge komplizierte Form hat, beleuchtet das Licht den Körperhohlraum ungleichmäßig. Aus diesem Grund ist die Differenz von Helligkeit/Dunkelheit in einem mittels Endoskop gewonnenen Bild viel stärker als bei einer Photographie einer Person, die im Gegenlicht aufgenommen wird. Außerdem ist die Farbe in dem Körperhohlraum über die gesamte Bildzone hinweg im wesentlichen die gleiche. Aus diesem Grund ist es schwierig, eine Feinstruktur in einem Bild auszumachen, welches von einem Endoskop aufgenommen wurde, verglichen mit einer photographischen Aufnahme, die mittels Digitalkamera oder dergleichen gemacht wurde. Außerdem ist es bei der Endoskopie erforderlich, eine Feinstruktur in einer Zone zu reproduzieren, die für Diagnosezwecke verwendet wird. Allerdings ist die für die Diagnose verwendete Zone nicht immer eine dunkle Zone.
Das Verfahren nach dem US-Patent Nr. 6 122 076 lasst sich auch bei der Bildverarbeitung einer elektronischen Endoskopvorrichtung verwenden. Allerdings unterscheiden sich die von einer Digitalkamera erhaltene photographische Aufnahme und das durch Endoskopie gewonnene Bild voneinander, wie oben erläutert wurde. Aus diesem Grund ist ein ausgefeilteres Verfahren zum Einstellen eines Helligkeitswerts erwünscht, welches sich für die Bildverarbeitung beim elektronischen Endoskop eignet.
BYOUNGCHUL KO ET AL: „Region-based image retrieval system using efficient feature description" PATTERN RECOGNITION, 2000. PROCEEDINGS. 15^TH INTERNATIONAL CONFERENCE ON SEPTEMBER 3-7, 2000, LOS ALAMITOS, CA, USA, IEEE COMPUT. SOC. US. Vol. 4, 3. September 2000 (2000-09-03), Seiten 283–286, XP010533075 zeigt ein zonenbezogenes Bildgewinnungssystem. Ein Originalbild wird mit Hilfe eines Filters segmentiert, welches die Grenze des in dem Bild enthaltenen Objekts intakt hält. Es erfolgt eine Formbeschreibung dadurch, dass Merkmale wie Farbe, Textur oder dergleichen aus jeder Zone extrahiert werden.
OFFENBARUNG DER ERFINDUNG
Im Hinblick auf die oben erläuterten Umstände ist es ein Ziel der Erfindung, ein Einstellverfahren für einen Helligkeitswert zu schaffen, das sich besonders für ein Bild eignet, bei dem die Helligkeits-/Dunkelheits-Differenz so groß ist wie bei einem von einem elektronischen Endoskop gewonnenen Bilds. Ein weiteres Ziel der Erfindung ist es außerdem, eine Bildverarbeitungsvorrichtung anzugeben, die eine Helligkeitswert-Einstellfunktion, wie sie oben beschrieben wurde, enthält, ferner soll ein Programm angegeben werden, welches einen Computer veranlasst, die Verarbeitung zum Einstellen des Helligkeitswerts auszuführen.
Das Verfahren zum Einstellen des Helligkeitswerts gemäß der Erfindung ist durch die Merkmale des Anspruchs 1 gekennzeichnet. Außerdem ist das Bildverarbeitungsprogramm gemäß der Erfindung dadurch gekennzeichnet, dass ein Computer veranlasst wird, die im folgenden beschriebenen Prozeduren auszuführen.
Die erste Verarbeitung ist eine Verarbeitung, mit der für jedes Pixel ein Einstellmaß für einen Helligkeitswert, der das Einstellmaß für den Helligkeitswert repräsentiert, bestimmt, indem unter Verwendung einer Look-Up-Tabelle der Wert für jedes Pixel, welches eine Luminanzverteilung des Bildes repräsentiert, umgewandelt wird. Es besteht die Möglichkeit, den Helligkeitswert jeder Zone des Originalbilds unter Verwendung des Luminanzverteilungsbilds zu erkennen. Aus diesem Grund wird das Einstellmaß für den Helligkeitswert basierend auf dem Helligkeitswert festgelegt. Das Verfahren zum Bestimmen des Einstellmaßes des Helligkeitswerts differiert nach Maßgabe der Entwurfsstrategie der Vorrichtung. Beispielsweise sollte das Einstellmaß für den Helligkeitswert derart festgelegt werden, dass eine dunkle Zone heller wird, während die Helligkeit einer hellen Zone unverändert bleibt.
Die zweite Verarbeitung ist eine Verarbeitung zum Bestimmen eines zur Helligkeit beitragenden Bereichs oder Abschnitts, der einen Teil des Einstellmaßes des Helligkeitswerts repräsentiert, der zur Einstellung der Helligkeit beiträgt, und zum Bestimmen eines zur Sättigung beitragenden Abschnitts, der einen Abschnitt des Einstellbetrags des Helligkeitswerts repräsentiert, der einen Beitrag leistet zur Einstellung der Sättigung für jedes Pixel des Bilds, so dass die Summe des zur Helligkeit beitragenden Abschnitts und des zur Sättigung beitragenden Abschnitts dem Einstellmaß für den Helligkeitswert gleicht. In diesem Fall ist es bevorzugt, wenn die Zuordnung zu dem zur Helligkeit beitragenden Abschnitt und eine Zuordnung zu dem zur Sättigung beitragenden Abschnitt für jedes Pixel des Bilds basierend auf dem Wert jedes Pixels in dem Luminanzverteilungsbild erfolgt, welches jedem Bildpixel entspricht. Das Verfahren zum Bestimmen der Zuordnungen differiert abhängig von der Entwurfsstrategie der Vorrichtung. Beispielsweise sollten die Zuordnungen derart festgelegt werden, dass die Zuordnung zu dem zur Sättigung beitragenden Abschnitt in einer dunklen Zone, die sich bei der Reproduktion der Farbe des Bilds als schwierig erweist, gesteigert wird.
Die dritte Verarbeitung ist eine Verarbeitung zum Addieren des Einstellwerts der Sättigung, welcher erhalten wird durch Wichten des Werts jedes Pixels des Bilds basierend auf dem zur Sättigung beitragenden Abschnitt, und eines Einstellwerts der Helligkeit, der erhalten wird durch Wichten des Werts jedes Pixels in dem Luminanzverteilungsbild, welches jedem Bildpixel entspricht, basierend auf dem zur Helligkeit beitragenden Abschnitt, zu dem Wert jedes Pixels des Bilds. Da der Einstellwert der Sättigung sowie der Einstellwert der Helligkeit auf einen Originalwert addiert werden, ist es möglich, den Helligkeitswert des Bilds unter Berücksichtigung der Farbe des Bilds einzustellen.
Außerdem enthält die Bildverarbeitungsvorrichtung gemäß der Erfindung eine Bildverarbeitungsvorrichtung mit den Merkmalen des Anspruchs 3.
Erfindungsgemäß werden der Einstellwert der Sättigung sowie der Einstellwert der Helligkeit auf den Wert jedes das Bild ausmachenden Pixels addiert. Hierdurch ist es möglich, den Helligkeitswert des Bilds unter Berücksichtigung des Farbkontrasts einzustellen. Wenn eine Zuordnung zu dem zur Helligkeit beitragenden Abschnitt und eine Zuordnung zu dem zur Sättigung beitragenden Abschnitt gesteuert werden, lässt sich ein Bild mit gewünschter Helligkeit und mit der gewünschten Farbinformation reproduzieren.
Man beachte, dass das erfindungsgemäße Programm auf einem mittels Computer lesbaren Träger aufgezeichnet sein kann. Der Fachmann sieht, dass mittels Computer lesbarer Träger oder Medien nicht auf spezielle Geräte beschränkt sind, sie beinhalten – ohne Beschränkung –: Floppy-Disks, CDs; RAMs, ROMs, Festplatten, Magnetbänder, Internet-Downloads, in denen Computerbefehle gespeichert sind und/oder übertragen werden. Die Übertragung von Computerbefehlen über ein Netzwerk oder mittels drahtloser Übermittlung liegt ebenfalls im Schutzumfang der vorliegenden Erfindung. Darüber hinaus beinhalten Computerbefehle ohne Beschränkung: Quellcodes, Objektcodes und ausführbarer Codes, die in jeder beliebigen Sprache abgefasst sein können, darunter höhere Sprachen, Assembler-Sprache und Maschinensprache.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist ein schematisches Diagramm, welches die Konfiguration eines elektronischen Endoskopsystems veranschaulicht;
2 ist ein Diagramm, welches die Konfiguration einer Platine (einer Schaltungsplatine oder eines Substrats), spezialisiert für die Bildverarbeitung im einzelnen;
3 ist ein Flussdiagramm, welches den Ablauf einer Initialisierungsverarbeitung durch den Mikrocomputer 32 veranschaulicht;
4 ist ein Flussdiagramm des Ablaufs der Verarbeitung, die von einem Mikrocomputer 42 ausgeführt wird;
5 ist ein Diagramm zum Erläutern der Verarbeitung zum Umwandeln von Daten in 10-Bit-Daten;
6 ist ein Diagramm, welches ein Beispiel einer dreidimensionalen Look-Up-Tabelle veranschaulicht, die von einer Standardbild-Erzeugungseinheit verwendet wird;
7 ist ein Diagramm eines weiteren Beispiels einer dreidimensionalen Look-Up-Tabelle, die von der Standardbild-Erzeugungseinheit verwendet wird;
8 ist ein Diagramm zum Erläutern eines Verfahrens zum Verarbeiten von Werten, die sich nicht in einer Look-Up-Tabelle befinden;
9 ist ein Flussdiagramm, welches den Ablauf der Verarbeitung veranschaulicht, der von einer Helligkeits-/Sättigungs-Einstelleinheit ausgeführt wird;
10 ist ein Diagramm eines Beispiels einer Look-Up-Tabelle LUTy, die von der Helligkeits-/Sättigungs-Einstelleinheit verwendet wird;
11 ist ein Diagramm eines Beispiels einer Look-Up-Tabelle LUTr, die von der Helligkeits-/Sättigungs-Einstelleinheit verwendet wird;
12A ist ein Diagramm zum Erläutern der Beziehung zwischen der Größe eines zur Bildverarbeitung verwendeten Filters und dem Ergebnis der Verarbeitung veranschaulicht;
12B ist ein Diagramm zum Erläutern der Beziehung zwischen der Größe eines zur Bildverarbeitung verwendeten Filters und dem Ergebnis der Verarbeitung veranschaulicht;
13 ist ein Flussdiagramm, welches den Ablauf der von einer Schärfeeinstelleinheit ausgeführten Verarbeitung veranschaulicht;
14A ist ein Diagramm eines Beispiels für ein Gauß-Filter, welches von der Schärfeeinstelleinheit verwendet wird;
14B ist ein Diagramm, welches ein weiteres Beispiel für ein in der Schärfeeinstelleinheit verwendetes Gauß-Filter veranschaulicht;
14C ist ein Diagramm, welches ein weiteres Beispiel für ein in der Schärfeeinstelleinheit verwendetes Gauß-Filter veranschaulicht;
15 ist ein Flussdiagramm des Ablaufs der von einer Farbton-Einstelleinheit ausgeführten Verarbeitung veranschaulicht;
16 ist ein Diagramm eines Beispiels einer Look-Up-Tabelle LUTh, die von der Farbton-Einstelleinheit verwendet wird; und
17 ist ein Diagramm eines weiteren Beispiels der Look-Up-Tabelle LUTh, die von der Farbton-Einstelleinheit verwendet wird.
BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
Im folgenden wird als eine Ausführungsform der Erfindung ein elektronisches Endoskopsystem beschrieben, welches zur Untersuchung von Verdauungsorganen verwendet wird.
1. Systemkonfiguration
1 ist ein schematisches Diagramm, welches die Konfiguration eines elektronischen Endoskopsystems zeigt. Wie aus 1 hervorgeht, enthält das elektronische Endoskopsystem 1 ein elektronisches Endoskop 2 (im folgenden einfach als Endoskop 2 bezeichnet) und eine Verarbeitungsvorrichtung (im folgenden als Videoprozessor 3 bezeichnet), welche ein von dem Endoskop erhaltenes Bild verarbeitet. Das elektronische Endoskopsystem 1 enthält weiterhin eine Lichtquelleneinrichtung, einen Monitor, einen Drucker oder dergleichen, die hier nicht dargestellt sind. Mehrere Arten von Endoskopen, die sich zum Zweck der endoskopischen Untersuchung eignen, können im Rahmen des elektronischen Endoskopsystems 1 Anwendung finden. In 1 sind Elemente, die sämtlichen Endoskopen gemeinsam sind, innerhalb des Endoskops 2 dargestellt.
Das Endoskop 2 enthält ein CCD-Bauelement (Charge Coupled Device) 21 und eine Signalverarbeitungsschaltung 22 zum Verarbeiten von von dem CCD 21 erhaltenen Signalen. Das Endoskop 2 enthält ferner einen Mikrocomputer 23, der verschiedene Arten der Steuerungsverarbeitung ausführt, und eine (nicht dargestellte) Verbindereinheit, die an den Videoprozessor 3 angeschlossen ist.
Das CCD 21 wird zusammen mit einem Objektiv an dem Vorderrand des Endoskops 2 angebracht. Das CCD 21 nimmt Licht auf, welches von einem betrachteten Objekt reflektiert wird, um das Licht in eine elektrisches Signal umzuwandeln. Bei dieser Ausführungsform beträgt die Bildauflösung des CCD etwa 5 μm.
Die Signalverarbeitungsschaltung 22 führt eine Signalverarbeitung an dem von dem CCD 21 ausgegebenen Signal aus, beispielsweise eine korrelierte Doppelabtastung, eine automatische Verstärkungsregelung und eine A/D-Umwandlung. Der Mikrocomputer 23 steuert den Betrieb der Signalverarbeitungsschaltung 22 und den Datentransfer zu dem Prozessor 3.
Das Gewinnungsverfahren für die Gewinnung von Farbinformation von dem Endoskop 2 wird im folgenden erläutert. Im allgemeinen besitzt das CCD ein Farbfilter. Das CCD erhält Information über die Farbe eines Betrachtungsobjekts dadurch, dass das von dem betrachteten Objekt reflektierte Licht über das Farbfilter aufgenommen wird. Wenn daher die Verfahren zur Anordnung von Farbfiltern in CCDs oder die Arten der Farbfilter sich voneinander unterscheiden, so unterscheiden sich auch die Qualität der gewonnenen Farbinformation der Bilder und die Farbdarstellung der Bilder voneinander.
Wenn beispielsweise die CCDs basierend auf der Anordnung des Farbfilters klassifiziert werden, so erhält man CCDs vom ebenen sequentiellen Typ und CCDs vom Simultan-Typ. Die CCDs des ebenen sequentiellen Typs gewinnen Information über jede Farbe durch Drehen eines Drehfilters. Die CCDs des Simultan-Typs gewinnen Information über sämtlichen Farben gleichzeitig über ein Mosaikfilter. Die CCDs des ebenen sequentiellen Typs werden in einigen herkömmlichen Endoskopen verwendet, die CCDs vom Simultan- Typ werden in anderen herkömmlichen Endoskopen eingesetzt. Wenn allerdings die Bewegung einer photographierten Zone schneller ist als die Drehgeschwindigkeit des Filters und die Zone mit dem CCD vom ebenen sequentiellen Typ aufgenommen wird, so verschiebt sich in einigen Fällen ein Bild jeder Farbe gegenüber einem Bild der anderen Farbe. Daher wird hier als Endoskop 2 in dem elektronischen Endoskopsystem 1 ein Endoskop mit einem CCD vom Simultan-Typ verwendet.
Weiterhin sind als Farbfilter-Arten ein Primärfarbfilter und ein Komplementärfarbfilter bekannt. Das Primärfarbfilter separiert Licht in die drei Farbkomponenten Rot (R), Grün (G) und Blau (B). Das Komplementärfarbfilter separiert Licht in vier Farbkomponenten Cyan (C), Magenta (M), Gelb (Y) und Grün (G). Wenn ein Bild mit einem CCD (welches im folgenden als Primärfarben-CCD bezeichnet werden soll) gewonnen wird, in welchem sich das Primärfarbfilter befindet, so wird das Bild durch RGB dargestellt. Wenn ein Bild mittels CCD (welches im folgenden als Komplementärfarb-CCD bezeichnet werden soll) gewonnen wird, in welchem sich das Komplementärfarbfilter befindet, so wird das Bild durch CMYG dargestellt. Aus diesem Grund kann das herkömmliche elektronische Endoskopsystem nur von einem Endoskop mit Primärfarbfilter oder einem Endoskop mit Komplementärfarbfilter Gebrauch machen. Allerdings können in dem elektronischen Endoskopsystem 1 mehrere Arten von Endoskopen verwendet werden, in denen unterschiedliche Arten von Farbfiltern vorgesehen sind.

Tabelle 1 zeigt Beispiele von Endoskopen, die in dem elektronischen Endoskopsystem 1 verwendet werden können. [Tabelle 1]

	Auflösung	CCD	Sperrfilter
Endoskop A	650.000 Pixel	RGB	Keines
Endoskop B	650.000 Pixel	RGB	Sperrt eine spezifische Farbe, darunter rote Farben
Endoskop C	650.000 Pixel	RGB	Sperrt eine spezifische Farbe, darunter gelbe Farben
Endoskop D	850.000 Pixel	RGB	Keines
Endoskop E	410.000 Pixel	CMYG	Keines
Endoskop F	410.000 Pixel	CMYG	Sperrt eine spezifische Farbe, darunter rote Farben
Endoskop G	180.000 Pixel	RGB	Sperrt eine spezifische Farbe, darunter gelbe Farben
Endoskop H	270.000 Pixel	CMYG	Keines

In der Tabelle 1 ist ein Primärfarbfilter in jedem der CCDs der Endoskope A, B und G vorgesehen, und die Auflösungen der Endoskope A, B und C sind gleich. Allerdings befindet sich in jedem der Endoskope B und C zusätzlich zu dem in dem CCD vorhandenen Filter ein Sperrfilter. Das Sperrfilter verhindert den Durchgang von Licht einer spezifischen Farbe. Wie oben beschrieben wurde, unterscheiden sich die Verfahren zum Gewinnen von Farbinformation über das Betrachtungsobjekt voneinander dahingehend, ob das CCD ein CCD vom ebenen sequentiellen Typ oder ein CCD vom Simultan-Typ ist. Außerdem unterscheiden sich die Verfahren voneinander dadurch, dass das CCD ein Primärfarb-CCD oder ein Komplementärfarb-CCD ist. Weiterhin unterscheiden sich die Verfahren voneinander dahingehend, dass das Sperrfilter mit jedem CCD kombiniert ist oder nicht.
Im folgenden wird der Aufbau des Prozessors 3 beschrieben. Der Prozessor 3 enthält eine Verbindeeinheit, die hier nicht dargestellt ist. Die Verbindeeinheit des Prozessors 3 ist derart aufgebaut, dass sie mit der Verbindeeinheit in jedem der Endoskope leicht verbunden und davon getrennt werden kann.
Außerdem enthält der Prozessor 3 eine Signalverarbeitungsschaltung 31, welche Videosignale durch Ausführen einer Gammakorrektur von Signalen erzeugt, die von der Signalverarbeitungsschaltung 22 des Endoskops 2 über die Verbindeeinheiten eingegeben werden. Wenn die von der Signalverarbeitungsschaltung 22 des Endoskops eingegebenen Signale CMYG-Signale sind, so führt die Signalverarbeitungsschaltung 31 auch eine Verarbeitung zum Umwandeln der CMYG-Signale in RGB-Signale aus. Außerdem enthält der Prozessor 3 einen Mikrocomputer 32, der den Betrieb der Signalverarbeitungsschaltung 31 und die Kommunikation mit dem Endoskop 2 steuert. Ferner ist der Signalverarbeitungsschaltung 31 eine Signalverarbeitungsschaltung 35 nachgeordnet, welche ein Signal zum Ausgeben eines Bilds an einem Monitor durch Ausführen einer Pixelzahlumwandlung und einer D/A-Umwandlung erzeugt.
Außerdem enthält der Prozessor 3 eine Platine (Faltplatine oder Substrat) 4, die auf die Bildverarbeitung spezialisiert ist, außer einer Mutterplatine (Hauptsubstrat), auf der die Signalverarbeitungsschaltung 31, der Mikrocomputer 32 und die Signalverarbeitungsschaltung 35 angebracht sind. Eine Bildverarbeitungsschaltung 41 ist auf der Platine 4 für die Bildverarbeitung montiert. Die Bildverarbeitungsschaltung 41 führt verschiedene Arten der Bildverarbeitung an Signalen durch, die von der Signalverarbeitungsschaltung 31 ausgegeben werden. Ein Mikrocomputer 42 zum Steuern der Bildverarbeitungsschaltung 41 ist ebenfalls auf der für die Bildverarbeitung spezialisierten Platine 4 montiert. Die Bildverarbeitungsschaltung 41 ist mit den Signalverarbeitungsschaltungen 31 und 35 über Selektoren 33 und 34 verbunden, die mit Steuersignalen aus dem Mikrocomputer 32 geschaltet werden.
2 ist ein Diagramm, welches den Aufbau der auf die Bildverarbeitung spezialisierten Platine 4 im einzelnen zeigt. Wie in 2 dargestellt, enthält die Bildverarbeitungsschaltung 41 sechs Verarbeitungseinheiten, nämlich eine Standardbild-Erzeugungseinheit 411, eine Farbaustauscheinheit 412, eine Helligkeits-/Sättigungs-Einstelleinheit 413, eine Schärfeeinstelleinheit 414, eine Farbtoneinstelleinheit 415 und eine Nachverarbeitungseinheit 416. Es besteht die Möglichkeit selektiv die Farbaustauscheinheit 412, die Helligkeits-/Sättigungs-Einstelleinheit 413, die Schärfeeinstelleinheit 414 und die Farbtonein stelleinheit 415 zu aktivieren, indem die Selektoren 417a bis 417e geschaltet werden. Diese Selektoren 417a bis 417e werden basierend auf aus dem Mikrocomputer 42 gesendeten Steuersignalen geschaltet.
Weiterhin ist ein Speicher 43 auf der für die Bildverarbeitung spezialisierten Platine 4 montiert. Der Speicher 43 speichert unterschiedliche Arten von Look-Up-Tabellen, die bei der Verarbeitung verwendet werden, welche von der Farbaustauscheinheit 412, der Helligkeits-/Sättigungs-Einstelleinheit 413, der Schärfeeinstelleinheit 414, und der Farbtoneinstelleinheit 415 ausgeführt wird. Unter den Look-Up-Tabellen ist die Look-Up-Tabelle, die von der Farbaustauscheinheit 412 verwendet wird, für jeden Maschinentyp des Endoskops gespeichert. Der Speicher 43 speichert außerdem verschiedene Arten von Parameter für die Verarbeitung. Die Look-Up-Tabellen und Parameter für die Verarbeitung, die in dem Speicher 43 abgespeichert sind, enthalten solche Werte, die im Speicher 43 gespeichert werden, wenn das elektronische Endoskopsystem 1 von der Fertigungsstätte aus versandt wird, außerdem solche Werte, die von dem Benutzer abgespeichert werden, nachdem das elektronische Endoskopsystem 1 von dem Benutzer erworben wurde. Diese Look-Up-Tabellen und Parameter werden von dem Mikrocomputer 42 referenziert, wie im folgenden erläutert wird.
Das Schalten der Selektoren 33 und 34 und der Selektoren 417a bis 417e wird im folgenden näher erläutert. Der Benutzer stellt an dem Bedienfeld ein, ob die auf die Bildverarbeitung spezialisierte Platine 4 zu benutzen ist. Wenn die für die Bildverarbeitung spezialisierte Platine 4 benutzt werden soll, stellt der Benutzer außerdem an dem Bedienfeld ein, ob jede Funktion der Farbaustauscheinheit 412, der Helligkeits-/Sättigungs-Einstelleinheit 413, der Schärfeeinstelleinheit 414 und der Farbtoneinstelleinheit 415 gebraucht wird. Information (im folgenden als Einstelleinformation bezeichnet) über die von dem Benutzer erfolgte Einstellung am Bedienfeld wird in einem Speicher abgespeichert. Es ist bevorzugt, dass dieser Speicher als separater Speicher zum Abspeichern der Einstellinformation vorgesehen ist. Allerdings kann auch ein Teil des Speicherbereichs des Speichers 43 oder ein Speicher verwendet werden, der für andere Zwecke genutzt wird.
Dieser Speicher kann mehrere Sätze von Einstellinformationen über Funktionenauswahl gemeinsam speichern. Daher kann der Benutzer eine Funktion an dem Bedienfeld immer dann auswählen, wenn er das elektronische Endoskopsystem nutzen möchte. Alternativ kann die Einstellinformation für jeden Untersuchungszweck vorab gespeichert werden, so dass der Benutzer dann die gespeicherte Information verwenden kann, indem er sie abruft.
Die Einstellinformation kann für jede Betrachtungszone vorab gespeichert werden. Beispielsweise kann die Einstellung, die sich zur Betrachtung des Magens eignet, oder eine Einstellung, die sich für die Beobachtung des Dickdarms eignet, vorab speichern. Alternativ kann Einstellinformation für jedes bei der Untersuchung eingesetzte Testmittel speichern. Beispielsweise lässt sich vorab die Einstellung speichern, die sich für die Untersuchung mit einem dunkelblauen Testmittel eignet, oder eine Einstellung, die sich zur Untersuchung des Rot-Braun-Testmittels eignet. Außerdem kann Einstellinformation für jedes Untersuchungsobjekt gespeichert werden, welches Gegenstand der Untersuchung ist. Beispielsweise kann vorab eine Einstellung gespeichert werden, die sich für den Nachweis eines Aneurysmas eignet, oder eine Einstellung, die sich für den Tumornachweis eignet.
3 ist ein Flussdiagramm, welches den Ablauf der Initialisierung veranschaulicht, die von dem Mikrocomputer 32 ausgeführt wird, wenn die Netzspannung eingeschaltet wird. Wenn das Endoskop 2 mit dem Prozessor 3 verbunden ist und die Spannungsquelle des elektronischen Endoskopgeräts 1 eingeschaltet ist, kommuniziert der Mikrocomputer 32 mit dem Mikrocomputer 23 des Endoskops 2 und erhält Daten (im folgenden als Endoskopdaten bezeichnet), um den Maschinentyp des Endoskops zu erkennen (Schritt 101). Die Endoskopdaten beinhalten die in Tabelle 1 dargestellte Information, nämlich Information über die Auflösung des CCDs und die Art des Filters. Die Information über die Art des Filters beinhaltet Information darüber, ob das Filter ein Primärfarbfilter oder ein Komplementärfarbfilter ist, ob ein Sperrfilter vorhanden ist, über die Frequenz (Farbe), die das Sperrfilter sperren kann, oder dergleichen.
Als nächstes nimmt der Mikrocomputer 32 auf die im Speicher abgespeicherte Einstellinformation Bezug (Schritt 102). Wenn mehrere Sätze von Einstellinformation im Speicher gespeichert sind, nimmt der Mikrocomputer 32 auf die Einstellinformation Bezug, die durch entsprechende Betätigung des Bedienfelds durch den Benutzer ausgewählt ist. Führt der Benutzer eine Operation zum Auswählen der Einstellinformation am Bedienfeld aus, so wird in den Mikrocomputer 32 ein den Inhalt der Auswahl repräsentierendes Auswahlsignal eingegeben. Der Mikrocomputer 32 beurteilt die ausgewählte Einstellinformation anhand des in den Mikrocomputer 32 eingegebenen Auswahlsignals. Anschließend beurteilt der Mikrocomputer 32 anhand der Einstellinformation, auf die der Mikrocomputer 32 Bezug genommen hat, ob es notwendig ist, die Signalverarbeitungsschaltungen 31 und 35 mit der auf die Bildverarbeitung spezialisierten Platine 4 zu verbinden (Schritt S103). Der Mikrocomputer 32 steuert die Selektoren 33 und 34 anhand des Beurteilungsergebnisses (Schritte S104 und S109). Wenn es nicht notwendig ist, die Signalverarbeitungsschaltungen 31 und 35 mit der für die Bildverarbeitung spezialisierten Platine 4 zu verbinden, und wenn die Platine 4 von den Signalverarbeitungsschaltungen 31 und 35 getrennt ist, beginnt der Initialisierungsprozess.
Wenn der Mikrocomputer 32 die Selektoren derart steuert, dass die auf die Bildverarbeitung spezialisierte Platine mit den Bildverarbeitungsschaltungen 31 und 35 im Schritt S104 verbunden wird, beurteilt der Mikrocomputer 32 anhand der Einstellinformation, die der Mikrocomputer 32 im Schritt S102 referenziert hat, ob die Kombination von durch den Benutzer ausgewählten Funktionen passend ist (Schritt S105).
Wenn der Mikrocomputer 32 beurteilt, dass die Kombination der ausgewählten Funktion passt, sendet er Befehlsdaten über den Inhalt der Auswahl an den Mikrocomputer 32 in der auf die Bildverarbeitung spezialisierten Platine 4. Der Mikrocomputer 32 sendet die Befehlsdaten zusammen mit den im Schritt S101 erhaltenen Endoskopdaten (Schritt 108).
Wenn der Mikrocomputer 32 beurteilt, dass die Kombination der ausgewählten Funktionen unpassend ist, so gibt er eine Alarmnachricht über einen (nicht dargestellten) Monitor aus, der an den Prozessor 3 angeschlossen ist (Schritt S106). In diesem Fall korrigiert der Mikrocomputer 32 automatisch die Kombination von Funktionen in eine geeignete Kombination (Schritt S107). Dann sendet der Mikrocomputer 32 Befehlsdaten über den Inhalt der Korrektur an den Mikrocomputer 32 der Platine 4 für die Bildverarbeitung. Der Mikrocomputer 32 sendet die Befehlsdaten zusammen mit den im Schritt S101 erhaltenen Endoskopdaten (Schritt S108).
Nach der Ausgabe der Alarmnachricht ist es auch möglich, dass die Endoskopdaten und die Befehlsdaten nur gesendet werden, nachdem der Benutzer eine Bestätigungseingabe gemacht hat.
Die Beurteilung, ob die Funktionsauswahl passend ist, erfolgt anhand einer Beurteilungsregel, die vorab gespeichert wurde. Daten, welche die Beurteilungsregel definieren, werden vorab in dem Speicher des Prozessors 3 gespeichert. Die Beurteilungsregel ist zum Beispiel eine Regel, wonach die Farbaustauscheinheit stets arbeiten muss, wenn auch die Helligkeits-/Sättigungs-Einstelleinheit arbeitet. Der Mikrocomputer 32 beurteilt, ob die Funktionsauswahl durch den Benutzer passend ist, indem die Einstellinformation mit den Daten abgeglichen wird, die die Beurteilungsregel definieren.
Als nächstes werden Operationen des Mikrocomputer 42 anhand der 4 erläutert. Wenn der Mikrocomputer 42 die Endoskopdaten und die Befehlsdaten von dem Mikrocomputer 32 empfangt (Schritt S201), unterscheidet der Mikrocomputer 42 nach dem Maschinentyp des Endoskops anhand der Endoskopdaten. Außerdem unterscheidet der Mikrocomputer 42 die ausgewählte Funktion basierend auf den Befehlsdaten (Schritt S202). Dann steuert der Mikrocomputer 42 die Selektoren 417a bis 417e, so dass Signale in eine Verarbeitungseinheit eingegeben werden, die die ausgewählte Funktion liefert (Schritt S203). Anschließend empfangt der Mikrocomputer 42 eine Look-Up-Tabelle oder einen Parameter, der für jede Verarbeitungseinheit erforderlich ist, aus dem Speicher 43 (Schritt S204).
Wie oben beschrieben, sind einige der Look-Up-Tabellen für jeden Maschinentyp des Endoskops abgespeichert. Das Ergebnis über den Maschinentyp des Endoskops dient zur Auswahl einer Look-Up-Tabelle, die aus dem Speicher geholt wird. Die geholte Look-Up-Tabelle oder der geholte Parameter wird an eine Verarbeitungseinheit gesendet, in der die Look-Up-Tabelle oder der Parameter benötigt wird (Schritt S205).
Wie oben beschrieben wurde, fuhrt der Prozessor 3 des elektronischen Endoskopsystems 1 eine Bildverarbeitung durch, nachdem der Maschinentyp des Endoskops 2 erkannt wurde. In anderen Worten: der Prozessor 3 führt eine Bildverarbeitung durch, nachdem das Verfahren zum Gewinnen von Farbinformation des Endoskops ermittelt ist. Aus diesem Grund kann als Endoskop 2 jede Art von Endoskop verwendet werden. In anderen Worten: der Typ des Endoskops 2 ist nicht beschränkt auf einen solchen Typ, bei dem ein Komplementärfarb-CCD vorhanden ist, oder ein Endoskop, welches mit einem Primärfarb-CCD. ausgestattet ist.
Außerdem kann der Benutzer flexibel eine Bildverarbeitungsfunktion auswählen, die er für die Durchführung einer vorbestimmten Einstellung am Bedienfeld oder zum Ermitteln von Einstellungen, die vorab gespeichert wurden, wünscht. Selbst wenn in diesem Fall der Benutzer eine unpassende Funktion deshalb auswählt, weil es ihm an Kenntnis oder dergleichen mangelt, so wird eine Alarmnachricht ausgegeben, und es wird die passende Funktion automatisch ausgewählt. Deshalb kann die Bildverarbeitungsfunktion stets effektiv verwendet werden.
Wenn außerdem ein Benutzer die Funktion der für die Bildverarbeitung spezialisierten Platine 4 nicht zu benutzen wünscht, kann er die Eingabe von Signalen in die für die Bildverarbeitung spezialisierte Platine 4 dadurch unterbinden, dass ein vorbestimmter Einstellvorgang am Bedienfeld vorgenommen wird. Hierdurch ist es möglich, unnützen Energieverbrauch durch nicht verwendete Funktionen zu vermeiden.
Die Bildverarbeitungsschaltung 41 kann eine Schaltung sein, in der mehrere Halbleitervorrichtungen angeordnet sind. Die mehreren Halbleitervorrichtungen liefern Funktionen für die Standardbild-Erstellungseinheit 411, die Farbaustauscheinheit 412, die Helligkeits-/Sättigungs-Einstelleinheit 413, die Schärfeeinstelleinheit 414, die Farbtoneinstelleinheit 415 und die Nachbehandlungseinheit 416. Alternativ kann die Bildverarbeitungsschaltung 41 eine Schaltung sein, in der eine CPU (zentrale Verarbeitungseinheit), die auf die Bildverarbeitung spezialisiert ist, und ein Speicher der sechs Arten von Bildverarbeitungsprogrammen speichert, angeordnet sind. In der Bildverarbeitungsschaltung 41 lässt sich in jedem der Programme durch Umschalten festlegen, ob die betreffende Verarbeitung durchgeführt wird.
2. Bildverarbeitungsfunktion des Systems
Die Bildverarbeitung, die in der Bildverarbeitungsschaltung 41 durchgeführt wird, soll im folgenden detailliert beschrieben werden. Bildverarbeitungsfunktionen, die von der Bildverarbeitungsschaltung 41 bereitgestellt werden, lassen sich grob in zwei Funktionsarten aufteilen.
Die erste Funktion ist eine Funktion zum Absorbieren der Differenz des Farbinformations-Gewinnungsverfahrens des Endoskops. Insbesondere wird der Unterschied in dem Verfahren zum Gewinnen der Farbinformation dadurch absorbiert oder ausgeglichen, dass ein Standardbild angefertigt wird, welches nicht vom Maschinentyp des Endoskops abhängt. In anderen Worten: der Unterschied im Verfahren zum Gewinnen von Farbinformation wird aufgehoben durch Anfertigen eines Standardbilds, welches nicht abhängt von der Art des Farbfilters des CCD. Das Standardbild wird von der Standardbild-Erzeugungseinheit 411 derart erstellt, dass die Farbe einer photographierten Zone getreu wiedergegeben wird.
Die zweite Funktion ist eine Funktion zum Verarbeiten des von der ersten Funktion erstellen Standardbilds derart, dass das Standardbild sich für die Diagnose eignet. Die zweite Funktion wird durch die Farbaustauscheinheit 412, die Helligkeits-/Sättigungs-Einstelleinheit 413, die Schärfeeinstelleinheit 414 und die Farbtoneinstelleinheit 415 geliefert.
Die Farbaustauscheinheit 412 führt eine Bildverarbeitung in der Weise durch, dass die Farbe des Bilds dem Geschmack des Benutzers entgegenkommt. Die Helligkeits-/Sättigungs-Einstelleinheit 413 führt eine Bildverarbeitung durch, derzufolge ein dunkler, unklarer Bereich des Bilds deutlich erkennbar wird. Die Schärfeeinstelleinheit 414 führt eine Bildverarbeitung durch, derzufolge die Strukturen (beispielsweise Vorsprünge/Vertiefungen oder Blutgefäße), die für Diagnosezwecke benötigt werden, hervorgehoben werden. Außerdem führt die Farbtoneinstelleinheit 415 eine solche Verarbeitung durch, dass die Farbunterschiede, die für die Diagnose erforderlich sind, hervorgehoben werden. Die Farbtoneinstelleinheit 415 führt ebenfalls eine Bildverarbeitung durch, derzufolge die Differenz in den Farben, die nicht für Diagnosezwecke notwendig sind oder eine korrekte Diagnose behindern würden, verringert wird. Die Nachbearbeitungseinheit 416 fuhrt eine Verarbeitung durch, um Rauschen zu beseitigen und ein Signal zu erstellen, welches sich für die Ausgabe von Information an den Monitor eignet.
Ein Beispiel für die von jeder Einheit ausgeführte Verarbeitung wird im folgenden speziell erläutert.
2.1 Standardbild-Erzeugungseinheit
Die Standardbild-Erzeugungseinheit 411 ist eine Verarbeitungseinheit, die ein Standardbild erstellt, sie führt vorbestimmte Vorbehandlungsschritte durch, bevor das Standardbild erzeugt wird. Als erstes soll die Vorverarbeitung erläutert werden.
Wie oben im Rahmen der Erläuterung der Signalverarbeitungsschaltung 31 ausgeführt wurde, werden in dem elektronischen Endoskopsystem 1, wenn das Endoskop 2 ein Komplementärfarb-CCD enthält, CMYG-Signale in der zentralen Verarbeitungsschaltung 31 umgewandelt in RGB-Signale. Insbesondere wandelt die Signalverarbeitungsschaltung 31 von dem Komplementärfarb-CCD gewonnene Signale in Luminanzsignale Y und in Chrominanzsignale (Farbdifferenzsignale) Cr und Cb um. Die Luminanz- oder Leuchtdichtesignale Y und die Chrominanzsignale Cr und Cb (im folgenden als YCC-Signale bezeichnet) werden dann weiter in Primärfarbsignale R, G und B umgewandelt.
Daher besteht die Möglichkeit, dass jeder Wert eines in die Bildverarbeitungsschaltung 41 eingegebenen RGB-Signals einen Wert eines Dezimalbruchs enthält. Wenn ein einen Dezimalbruch enthaltender Wert bei komplexer Rechnung verwendet wird, entsteht möglicherweise ein Fehler durch Abrunden im Ergebnis der Berechnung, während die Berechnung für die Bildverarbeitung wiederholt wird. Es besteht die Möglichkeit, dass sich ein Fehler in die Farbdifferenz einschleicht.
Aus diesem Grund führt die Standardbild-Erzeugungseinheit 411 als erstes eine Umwandlung durch, mit der 8-Bit-Daten in 10-Bit-Daten umgewandelt werden. Insbesondere wird ein 10 Bits entsprechender Bereich für jeden der Werte R, G und B für jedes Pixel des Bilds bereitgestellt, und es wird ein durch Multiplizieren der 8-Bit-Daten mit 4 erhaltener Wert in dem Bereich für 10 Bits abgespeichert. Wie in 5 gezeigt ist, erfolgt dieser Vorgang dadurch, dass der Wert der 8-Bit-Daten um 2 Bits in Richtung höherer Wertigkeit verschoben und der verschobene Wert in dem Bereich für 10 Bits gespeichert wird. Dann wird jeweils eine „0" in den letzten beiden Stellen des Bereichs gespeichert. Folglich ist es möglich, die effektiven Stellen für die Berechnung zu erhöhen. Aus diesem Grund lässt sich der durch Runden entstehende Fehler vermindern. Die in 10-Bit-Daten von der Standardbild-Erzeugungseinheit 411 umgewandelten Daten werden später für die Ausgabe an den Monitor durch die Nachbearbeitungseinheit 416 in 8-Bit-Daten zurückgewandelt.
Als nächstes soll die Verarbeitung zum Erzeugen eines Standardbilds basierend auf den 10-Bit-Daten erläutert werden.
Ein Standardbild wird erstellt durch Umwandeln (Austauschen) von RGB-Daten, die in 10-Bit-Daten umgewandelt wurden. Die RGB-Daten, die 10 Bits aufweisen, werden mit Hilfe einer dreidimensionalen Look-Up-Tabelle 5 umgewandelt (im folgenden als dreidimensionale LUT 5 bezeichnet), die vorab erstellt wurde.
Wie in 6 dargestellt ist, ist die dreidimensionale LUT 5 eine Tabelle zum Ersetzen der Werte (R, G und B) von Farben, die durch das Endoskop erhalten werden, durch die Werte (R', G' und B') aktueller Farben. Die Werte der Farben, die von dem Endoskop gewonnen werden können, lassen sich durch tatsächliches Betrachten jeder Zone eines menschlichen Körpers mit Hilfe des Endoskops gewinnen. Außerdem können die Werte der aktuellen Farben durch Messen der Farbe in jeder Zone eines menschlichen Körpers mit einem Meßsystem während eines chirurgischen Eingriffs gewonnen werden. Aus diesem Grund lässt sich die dreidimensionale LUT 5 für das Endoskop erstellen, indem man beide Daten für ein und dieselbe Zone korreliert.
Wenn Daten gesammelt werden, indem man eine Beobachtung für jeden Endoskop-Maschinentyp durchführt, lässt sich eine dreidimensionale LUT 5 für jeden Maschinentyp erstellen. Wenn die dreidimensionale LUT 5 verwendet wird, die in der oben beschriebenen Weise erstellt wurde, besteht die Möglichkeit, nicht nur die Differenz im Gewinnungsverfahren für Farbinformation auszugleichen, sondern auch Abweichungen für andere Elemente außer der Farbe. Beispielsweise lässt sich eine Differenz in der Aberration eines Objektivs ausgleichen.
Die dreidimensionale LUT 5 für jeden Maschinentyp, die in oben erläuterter Weise erstellt wurde, wird in dem in 2 dargestellten Speicher 43 gespeichert. Die dreidimensionale LUT 5 wird für die Standardbild-Erstellungseinheit 411 durch den Mikrocomputer 42 in der oben in Verbindung mit 4 beschriebenen Weise bereitgestellt. Die Standardbild-Erzeugungseinheit 411 erzeugt ein Standardbild, in welchem die wirklichen Farben des Beobachtungsobjekts dadurch getreu reproduziert werden, dass die Werte für R, G und B jedes Pixels des Bilds unter Verwendung der dreidimensionalen LUT 5 ausgetauscht werden.
Die dreidimensionale LUT 5 dient zum Austauschen von Daten, die die Werte für R, G und B in Form von 10 Bits darstellen, durch Daten, die die Werte von R, G und B in 10 Bits darstellen. In der dreidimensionalen LUT 5 sind 1024³ Entsprechungen gespeichert. Da außerdem die dreidimensionale LUT 5 für jeden Maschinentyp von Endoskop abgespeichert werden muss, müssen mehrere LUTs 5 vorbereitet werden. Mithin ist es not wendig, dass die Kapazität des Speichers 43 ausreichend groß ist zur Speicherung der dreidimensionalen LUTs 5.
Wenn die Kapazität des Speichers beschränkt ist, kann nur ein Teil der Entsprechungen in jeder der LUTs gespeichert werden, und andere als die gespeicherten Entsprechungen können durch Interpolation gewonnen werden. Beispielsweise sind gemäß 7 nur Entsprechungen in einer dreidimensionalen LUT 6 abgespeichert für die Werte von R, G und B, wenn jeder dieser Werte der Rangfolge 0, 32, 63, 96, ..., 255 entspricht (jeder 32te Wert).
Wenn RGB-Werte, die nicht in der dreidimensionalen LUT 6 gespeichert sind, eingegeben werden, werden Koordinatenpunkte A bis H aus der Nähe eines Koordinatenpunkts P (r, g, b) des Eingangswerts in dem RGB-Raum extrahiert, wie in 8 gezeigt ist. Entsprechungen bezüglich der Koordinatenpunkte A bis H sind in der dreidimensionalen LUT 6 gespeichert. Anschließend werden die RGB-Werte der Koordinatenpunkte A bis H ersetzt durch die R'G'B'-Werte der Koordinatenpunkte A' bis H', basierend auf der dreidimensionalen LUT 6.
Anschließend werden die R'G'B'-Werte der Koordinatenpunkte A' bis H' basierend auf der Beziehung zwischen jedem der Koordinatenpunkte A bis H und dem Koordinatenpunkt P gewichtet und addiert. Obschon eine Entsprechung bezüglich des Koordinatenpunkts P (r, g, b) also nicht in der dreidimensionalen LUT 6 abgespeichert ist, lässt sich ein Koordinatenpunkt P' (r', g', b') gewinnen, welcher dem Koordinatenpunkt P (r, g, b) entspricht.
Ein Standardbild, welches nicht vom Maschinentyp des Endoskops abhängt, und in welchem die wahren Farben des aktuellen Objekts getreu wiedergegeben werden, lässt sich erhalten, indem man die oben beschriebene Verarbeitung ausführt. Eine Bildverarbeitung nach der Erstellung des Standardbilds erfolgt unter Verwendung des Standardbilds als Verarbeitungsobjekt. Aus diesem Grund wird die Qualität der von der Bildverarbeitungsschaltung 41 ausgegebenen Bilder nicht vom Typ des Endoskops beeinflusst. In anderen Worten: wenn auch der Maschinentyp des Endoskops jeweils ein anderer ist, so ist die Qualität der von der Bildverarbeitungsschaltung 41 ausgegebenen Bilder gleich.
Bei der vorliegenden Ausführungsform lässt sich die von der Farbaustauscheinheit und anderen Verarbeitungseinheiten, die an die Farbaustauscheinheit anschließen, ausgeführte Verarbeitung dadurch unterdrücken, dass man die Selektoren 417a bis 417e entsprechend schaltet. Folglich lässt sich das von der Standardbild-Erzeugungseinheit 411 erzeugte Standardbild auf dem Monitor ausgeben.
2.2. Farbaustauscheinheit
Die Farbaustauscheinheit 412 führt eine Farbaustauschverarbeitung in der Weise durch, dass die Farbe des Bilds dem Geschmack des Benutzers entgegenkommt.
Beispielsweise wird häufig als Lichtquelle für ein elektronisches Endoskopsystem eine Xenonlampe verwendet. Wenn allerdings ein elektronisches Endoskop eingeführt wird, dient eine Halogenlampe als Lichtquelle. Bilder, die von dem Endoskop mit Halogenlampe erzeugt werden, besitzen gelbliche Farben. Deshalb denkt eine beträchtliche Anzahl von Benutzern, dass sie Patienten exakter diagnostizieren können, wenn sie von Bildern Gebrauch machen, die die üblichen Farben besitzen, also Bilder, die die tatsächlichen Farben des Objekts getreu nachbilden. Aus diesem Grund tauscht die Farbaustauscheinheit 412 die Farben des Standardbilds durch Farben aus, die von dem Benutzer gewünscht werden, damit die Farben dem oben angesprochenen Bedürfnis des Benutzers entgegenkommen.
Eine dreidimensionale LUT wird auch dazu benutzt, die Farben in ähnlicher Weise zu ersetzen wie bei der Verarbeitung zum Erzeugen des Standardbilds. Die dreidimensionale LUT, die für den Austausch der Farben verwendet wird, ist eine Tabelle zum Austauschen von RGB-Werten des Standardbilds mit von dem Benutzer erwünschten R'G'B'-Farbwerten. Diese Tabelle kann von einem Hersteller des elektronischen Endoskopsys tems 1 bereitgestellt werden. Alternativ kann die Tabelle auch von dem Benutzer selbst erstellt werden.
Die dreidimensionale LUT, die von der Farbaustauscheinheit 412 verwendet wird, ist auch in dem in 2 gezeigten Speicher 43 abgespeichert. Die dreidimensionale LUT wird von dem Mikrocomputer 42 der Farbaustauscheinheit 412 mit Hilfe des oben in Verbindung mit 4 erläuterten Prozesses zugesendet. Die Einstellinformation beinhaltet Information, die für die Tabellenauswahl erforderlich ist. Wenn in dem Speicher 43 eine Mehrzahl dreidimensionaler LUTs gespeichert ist, wird eine Tabelle basierend auf der Einstellinformation ausgewählt, und die ausgewählte Tabelle wird an die Farbaustauscheinheit 412 gesendet. Diese wandelt die RGB-Werte jedes das Standardbild ausmachenden Pixels unter Verwendung der dreidimensionalen LUT, die von dem Mikrocomputer 42 gesendet wird, um.
Hier kann nur ein Teil der Entsprechung in der dreidimensionalen LUT abgespeichert werden, ähnlich wie bei der Verarbeitung zur Erzeugung von Standardbildern. Wenn Entsprechungen bezüglich einiger RGB-Werte nicht in der dreidimensionalen LUT gespeichert sind, so können die RGB-Werte durch Interpolation umgewandelt werden.
2.3. Helligkeits-/Sättigungs-Einstelleinheit
Die Helligkeits-/Sättigungs-Einstelleinheit 413 führt eine Verarbeitung zum Einstellen des Helligkeitswerts des Bilds durch. Insbesondere führt die Einheit 413 eine Bildverarbeitung in der Weise durch, dass ein Problem gelöst wird, welches seine Ursache hat in einer beträchtlichen Abweichung von Helligkeit/Dunkelheit innerhalb des Bilds.
Wenn beispielsweise ein Bild einer Zone im Öffnungsbereich des Zwölffingerdarms mit einem Endoskop aufgenommen wird, so ist der Unterschied zwischen hell/dunkel zwischen dem vorderen Bereich (magenseitig) und dem hinteren Bereich (innerhalb des Zwölffingerdarms) groß. Insbesondere dann, wenn ein Bild von dem Endoskop aufgenommen wurde, nachdem ein Dunkeltestmittel, beispielsweise ein Dunkelblau-Testmittel, zur Verteilung gebracht wurde, ergibt sich ein Problem dadurch, dass das Bild im Inneren des Zwölffingerdarms zu dunkel ist und keine Möglichkeit besteht, den Zwölffingerdarm zu beobachten. Für die Diagnose ist es erforderlich, ein Bild zu gewinnen, in dem der gesamte Bildbereich einschließlich des vorderen Teils bis hin zu dem hinteren Teil deutlich sichtbar auch dann erkannt werden kann, wenn das Testmittel sich ausgebreitet hat. Im Gegensatz zur üblichen Photographie ist es allerdings nicht möglich, Lage oder Richtung der Beleuchtung während der Endoskopie zu justieren. Außerdem ist es unmöglich, die Intensität des Beleuchtungslichts zu steigern, weil bei zu hoher Intensität der menschliche Körper möglicherweise Verbrennungen erleidet. Deshalb ist es notwendig, den Helligkeitswert des Bilds durch Bildverarbeitung so einzujustieren, dass man ein Bild mit einem geeigneten Helligkeitswert gewinnt.
Das CCD ist ein Element, welches basierend auf der Lichtmenge die Abgabe elektrischer Leistung steuert. Weil dann, wenn ein dunkle Zone aufgenommen wird, die ausgegebene elektrische Leistung gering ist, lässt sich die Farbinformation der Zone nicht exakt gewinnen. Wenn in diesem Fall der Wert der Luminanzkomponente des Bilds einfach durch Bildverarbeitung erhöht wird, ergibt sich das Problem, dass sich das Dunkelblau nicht in Hellblau ändert, sondern in Grün. Wenn daher die Helligkeits-/Sättigungs-Einstelleinheit 413 eine Verarbeitung durchführt, justiert sie nicht einfach die Helligkeit des Bilds ein, sondern sie justiert den Helligkeitswert während gleichzeitiger Justierung der Bildfarbe.
9 ist ein Flussdiagramm, welches den Ablauf der von der Helligkeits-/Sättigungs-Einstelleinheit 413 ausgeführten Verarbeitung veranschaulicht. Als erstes wandelt die Einheit 413 ein Eingangssignal in YCC-Signale um und erzeugt ein Luminanz- oder Leuchtdichtebild Y, welches nur Leuchtdichte-(Helligkeits-)Komponenten enthält (Schritt S301). Bei der folgenden Beschreibung wird die Lage jedes Pixels des Bilds dargestellt durch (x, y), und der Wert eines Pixels an der Stelle (x, y) eines Bilds I wird dargestellt durch I (x, y).
Dann führt die Helligkeits-/Sättigungs-Einstelleinheit 413 eine Unschärfeverarbeitung an dem Leuchtdichtebild Y mit Hilfe eines Filters für die Bildverarbeitung durch und erzeugt ein Leuchtdichte-Unschärfebild UY. Die Unschärfeverarbeitung erfolgt in zwei Schritten. Bei der ersten Unschärfeverarbeitung wird ein sich bewegendes Mittelwertfilter oder Durchschnittswertfilter als Filter für die Bildverarbeitung verwendet (Schritt S302). Bei der zweiten Unschärfeverarbeitung dient als Filter für die Bildverarbeitung ein Gauß-Filter. Die Helligkeits-/Sättigungs-Einstelleinheit 413 erzeugt das Leuchtdichte-Unschärfebild oder Leuchtdichte-Verteilungsbild UY, welches die Verteilung der Leuchtdichte oder Luminanz des Bilds repräsentiert, indem die zwei Schritte der Unschärfeverarbeitung ausgeführt werden (Schritt S303).
Als nächstes bestimmt die Helligkeits-/Sättigungs-Einstelleinheit 413 ein Einstellmaß für den Helligkeitswert, welches repräsentativ ist für das Ausmaß der Justierung des Helligkeitswerts (Schritt S304). Das Einstellmaß für den Helligkeitswert wird für jedes Pixel durch Umwandeln jedes Pixelwerts des Luminanz-Unschärfebilds UY basierend auf einer Look-Up-Tabelle LUTy bestimmt.
Die Look-Up-Tabelle LUTy ist eine eindimensionale Look-Up-Tabelle, in welcher Entsprechungen zwischen Eingangswerten innerhalb des Bereichs von 0 bis 1023 und Ausgangswerten in dem Bereich von 0 bis 1023 gespeichert sind. Beispielsweise dient als Look-Up-Tabelle LUTy eine in 10 dargestellte Tabelle. Wenn in der in 10 gezeigten Tabelle der Eingangswert einen vorbestimmten Wert übersteigt, wird der Ausgangswert 0. In 10 sind die Entsprechungen zwischen Eingangs- und Ausgangsgangswerten unter Verwendung der vertikalen bzw. der horizontalen Achse veranschaulicht. Die vertikale Achse steht für die Eingangswerte, die horizontale Achse für die Ausgangswerte in 10.
Die Look-Up-Tabelle LUTy sollte basierend auf der Strategie zum Einstellen des Helligkeitswerts in passender Weise gestaltet werden. Beispielsweise ist die in 10 dargestellte Tabelle basierend auf einer Strategie entworfen, nach der lediglich ein dunkler Bereich eines Bilds erhellt werden, ohne dass gleichzeitig der Helligkeitswert des hellen Bildbereichs geändert wird. Allerdings gibt es verschiedene Arten von Einstellstrategien, so zum Beispiel eine Strategie, nach welcher der dunkle Bereich stark erhellt wird und ein heller Bereich etwas aufgehellt wird, oder eine Strategie, nach der der Helligkeitswert des hellen Bereichs etwas unterdrückt wird. Die Nachschlagetabelle LUTy ist in dem in 2 gezeigten Speicher 43 gespeichert. Die Nachschlagetabelle LUTy wird von dem Mikrocomputer 42 der Helligkeits-/Sättigungs-Einstelleinheit 413 mit Hilfe des oben in Verbindung mit 4 erläuterten Prozesses zugeleitet.
Als nächste erfolgt eine Zuordnung des Einstellmaßes des Helligkeitswerts zu einem Teil, der zur Helligkeit beiträgt, und eine Zuordnung des Einstellmaßes des Helligkeitswerts zu einem Teil, der zur Sättigung beiträgt (Schritt S305). Die Zuordnungen des Einstellmaßes des Helligkeitswerts werden für jedes das Bild ausmachende Pixel festgelegt. Insbesondere werden die Rate 1, bei der es sich um einen zur Helligkeit beitragenden Teil handelt, und der Rate 2, die ein zur Sättigung beitragender Teil sind, basierend auf folgenden Gleichungen bestimmt: Yp(x, y) = V(x, y) + LUTy(UY(x, y)) Rate 1(x, y) = LUTy(UV(x, y)) × LUTr(Yp) Rate 2(x, y) = LUTy(UV(x, y)) × (1 – LUTr(Vp)),wobei Yp ein Schätzwert für den Luminanz- oder Leuchtdichtewert jedes Pixels ist, wenn die Einstellung basierend auf lediglich der Luminanzinformation erfolgt, die durch das Luminanz-Unschärfebild UV erhalten wird.
Die Look-Up-Tabelle LUTr ist zum Beispiel eine in 11 dargestellte Tabelle. In der in 11 gezeigten Tabelle sind die Ausgangswerte im wesentlichen konstant, wenn die Eingangswerte kleiner oder gleich einem vorbestimmten Wert sind, oder wenn die Werte höher oder gleich einem vorbestimmten Wert sind. Wenn die Eingangswerte sich in dem übrigen Bereich befinden, nimmt der Ausgangswert mit zunehmendem Eingangswert zu. Diese Tabelle ist basierend auf einer Strategie entworfen worden, wonach der Effekt einer Sättigungseinstellfunktion besonders eine dunkle Zone betreffen sollte. Die Look-Up-Tabelle LUTr sollte in passender Weise basierend auf der Einstellstrategie erstellt werden, die ähnlich ist der Erstellung der Look-Up-Tabelle LUTy. Die Look-Up-Tabelle LUT^y ist ebenfalls im Speicher 43 gespeichert. Die Look-Up-Tabelle LUTr wird von dem Mikrocomputer 42 an die Helligkeits-/Sättigungs-Einstelleinheit 413 mit Hilfe des oben in Verbindung mit 4 erläuterten Prozesses gesendet.
Wie die obigen Gleichungen zeigen, bestimmen sich die Rate 1(x, y) und die Rate 2(x, y) derart, dass die Gesamtgröße aus der Rate 1 und der Rate 2 dem Einstellmaß des Helligkeitswerts LUTy(UY (x, y)) gleicht, der im Schritt S304 bestimmt wird. Außerdem hängen die Zuordnung zu der Rate 1(x, y) und die Zuordnung zu der Rate 2(x, y) von dem geschätzten Luminanzwert ab. Insbesondere bestimmt sich das Einstellmaß für den Helligkeitswert dadurch, dass basierend auf der Look-Up-Tabelle LUTy eine Umwandlung vollzogen wird. Anschließend wird das Einstellmaß für die Sättigung weiter innerhalb des vorbestimmten Betrags bestimmt. Wenn außerdem das Maß der Sättigungseinstellung bestimmt wird, wird auf einen Schätzwert Bezug genommen, welcher erhalten wird unter der Annahme, dass die Sättigung nicht eingestellt wurde, sondern lediglich die Helligkeit.
Als nächstes addiert die Helligkeits-/Sättigungs-Einstelleinheit 413 einen Einstellwert der Sättigung und einen Einstellwert der Helligkeit auf den RGB-Wert jedes Pixels(x, y), welches Teil eines Eingangssignals ist, gemäß folgenden Gleichungen: R'(x, y) = R(x, y) + Y(x, y) × Rate 1 + R(x, y) × Rate 2 G'(x, y) = G(x, y) + Y(x, y) × Rate 1 + G(x, y) × Rate 2 B'(x, y) = B(x, y) + Y(x, y) × Rate 1 + B(x, y) × Rate 2
Der Einstellwert der Sättigung wird erhalten durch Wichten des RGB-Werts basierend auf dem zur Sättigung beitragenden Teil. Der Einstellwert der Helligkeit wird erhalten durch Wichten des Pixelwerts des Luminanzbilds, basierend auf dem zur Helligkeit beitragenden Teil (Schritt S306).
Alternativ kann der Einstellwert der Helligkeit dadurch erhalten werden, dass man den Pixelwert des Luminanz-Unschärfebilds basierend auf dem zur Helligkeit beitragenden Teil wichtet. In anderen Worten: Die Verarbeitung im Schritt S306 kann basierend auf den folgenden Gleichungen ausgeführt werden: R'(x, y) = R(x, y) + UY(x, y) × Rate 1 + R(x, y) × Rate 2 G'(x, y) = G(x, y) + UY(x, y) × Rate 1 + G(x, y) × Rate 2 B'(x, y) = B(x, y) + UY(x, y) × Rate 1 + B(x, y) × Rate 2.
Wenn der Helligkeitswert unter Verwendung der obigen Gleichungen eingestellt wird, wird auch die Sättigung ebenso wie die Luminanz eingestellt. Deshalb lässt sich ein Bild mit natürlichen Farben, das heißt ein natürliches Bild gewinnen. Wenn beispielsweise eine Verarbeitung unter Verwendung der in den 10 und 11 gezeigten Look-Up-Tabellen erfolgt, so wird die Einstellung der Sättigung insbesondere in dem dunklen Bereich sorgfältig vorgenommen. Aus diesem Grund wird ein Bild derart reproduziert, dass auch Feinstrukturen im dunklen Bereich leicht erkennbar sind. Alternativ kann die Look-Up-Tabelle auch so gestaltet werden, dass die dunkle Zone nicht geändert wird, weil die dunkle Zone möglicherweise für die Diagnose nicht benötigt wird, so dass lediglich eine Zone verarbeitet wird, die für die Diagnose erforderlich ist und demzufolge Feinstrukturen in dieser Zone einfach erkennbar werden. Wie oben erläutert, lässt sich der Helligkeitswert unter Verwendung eines Verfahrens einstellen, welches sich für den Verwendungszweck des Bilds eignet, und der Helligkeitswert lässt sich um ein Maß einstellen, welches sich für diesen Zweck eignet.
Die Unschärfeverarbeitung in den Schritten S302 und S303 wird im folgenden näher beschrieben.
Ein Verfahren zum Erzeugen eines Unschärfebilds aus einem Bild durch Austauschen des Werts für jedes Pixel als Bestandteil des Bilds durch einen Wert, der erhalten wird durch Ausführen von Operationen mit einem Filter für die Bildverarbeitung ist bekannt. Bei dem Verfahren zum Erzeugen des Unschärfebilds wird, wie oben erläutert wurde, normalerweise ein Bildverarbeitungsfilter mit einer Größe von etwa 3×3 Pixeln bis 15×15 Pixeln für die Operationen eingesetzt. Allerdings führt die Helligkeits-/Sättigungs- Einstelleinheit 413 eine Operation mit einem Filter für die Bildverarbeitung durch, welches eine Breite von einem Viertel desjenigen des Bildes oder mehr besitzt. Wenn zum Beispiel die Breite des Bilds 1024 Pixel beträgt, so wird als Filter für die Bildverarbeitung ein Filter mit einer Größe von 255×255 Pixeln oder größer verwendet.
12A und 12B sind Diagramme zum Erläutern der Beziehung zwischen der Größe eines Filters für die Bildverarbeitung und dem Verarbeitungsergebnis. 12A ist ein Diagramm eines Beispiels für die normale Bildverarbeitung. 12B ist ein Diagramm, welches ein Beispiel für die Bildverarbeitung zeigt, die von der Helligkeits-/Sättigungs-Einstelleinheit 413 vorgenommen wird.
Wie in 12A gezeigt ist, hängt, wenn ein Filter für die Bildverarbeitung verwendet wird, welches eine Größe von 3×3 Pixeln hat, der Wert jedes Pixels von den Werten von 9 Pixeln ab. Wenn ein Filter für die Bildverarbeitung mit einer Größe von 255×255 Pixceln verwendet wird, hängt der Wert jedes einzelnen Pixels von den Werten von 2552 Pixeln ab.
Wenn der Helligkeitswert eines Bilds, in welchem eine starke Differenz von Hell/Dunkel vorhanden ist, einjustiert wird, so ist es nicht angemessen, einfach eine dunkle Zone aufzuhellen. Der Unterschied von Helligkeit/Dunkelheit sollte derart beibehalten werden, dass das Bild nicht zu einem unnatürlichen Bild wird. Insbesondere sollte die dunkle Zone aufgehellt werden, während das Gleichgewicht des Helligkeitswerts des gesamten Bilds beibehalten wird. Wenn daher der Helligkeitswert eines Pixels bestimmt wird, so ist es notwendig, dass der Helligkeitswert des Pixels unter Bezugnahme auf die Werte von Pixeln bestimmt wird, die von dem Pixel weit entfernt sind, und außerdem auf Werte von Pixeln in der Nähe des Pixels Bezug genommen wird.
Zum Beispiel: der Wert jedes Pixels eines Luminanz-Unschärfebilds, welches mit Hilfe eines Filters für die Bildverarbeitung erstellt wurde, welches eine kleine Größe aufweist, wie aus 12A hervorgeht, wird unabhängig von den Pixelwerten bestimmt, die von dem Pixel um 100 Pixel oder mehr beabstandet sind. Deshalb besteht die Möglichkeit, dass die Beziehung von Helligkeit/Dunkelheit zwischen dem Pixel und einigen der Pixel, die von dem Pixel einen Abstand von 100 Pixel oder mehr haben, umgedreht wird.
Im Gegensatz dazu wird der Wert jedes Pixels des Luminanz-Unschärfebilds, welches mit einem Filter für die Bildverarbeitung erstellt wird, welches eine beträchtliche Größe gemäß 12B aufweist, unter Bezugnahme auf Werte von Pixeln bestimmt, die von dem Pixel um 100 Pixel oder mehr beabstandet sind. Deshalb besteht keine Möglichkeit, dass die Beziehung zwischen Helligkeit/Dunkelheit zwischen dem betrachteten Pixel und einigen von diesem Pixel um 100 Pixel oder mehr beabstandeten Pixeln umgekehrt wird. Dementsprechend wird das Gleichgewicht von Helligkeit/Dunkelheit in dem gesamten Bild beibehalten.
Bei der von der Helligkeits-/Sättigungs-Einstelleinheit 413 durchgeführten Verarbeitung dient das Luminanz-Unschärfebild UY zum Berechnen der abgeschätzten Luminanz und zum Bestimmen des zu der Helligkeit beitragenden Teils und des zur Sättigung beitragenden Teils. Das Luminanz-Unschärfebild UY ist ein Bild, in welchem das Gleichgewicht von Helligkeit/Dunkelheit im gesamten Bild getreu wiedergegeben wird. Deshalb ist ein Bild nach der Einstellung ein natürliches Bild, in welchem das Gleichgewicht von Helligkeit/Dunkelheit bewahrt ist.
Wenn hier die Größe des Filters für die Bildverarbeitung beträchtlich ist, ist natürlich der Rechenaufwand beträchtlich. Da allerdings die Bildverarbeitung des elektronischen Endoskops im Echtzeitbetrieb erfolgen muss, im Gegensatz zur Bildverarbeitung einer Röntgenanlage oder dergleichen, ist es nicht erwünscht, dass die Verarbeitungszeit lang ist.
Wenn daher die Helligkeits-/Sättigungs-Einstelleinheit 413 die erste Unschärfeverarbeitung im Schritt S302 ausführt, werden Operationen dadurch ausgeführt, dass das Filter an jeweils nur einigen Pixeln sowohl in vertikaler als auch in horizontaler Richtung platziert wird. Hierdurch reduziert sich der Rechenaufwand. Wenn zum Beispiel die Operation bei jedem dritten Pixel durchgeführt wird, lässt sich der Rechenaufwand auf 1/9 des Auf wands reduzieren, der bei Verarbeitung sämtlicher Bildpixel benötigt würde. Folglich lässt sich die Verarbeitungszeit verringern.
Die Helligkeits-/Sättigungs-Einstelleinheit 413 kann auch die zweite Unschärfeverarbeitung bei jeweils nur wenigen Pixeln in ähnlicher Weise ausführen wie die erste Unschärfeverarbeitung. Wenn allerdings eine Operation mit Hilfe eines Gauß-Filters durchgeführt wird, besteht die Möglichkeit der Entstehung eines Artefakts, wenn die Verarbeitung nur bei jeweils einigen Pixeln durchgeführt wird. Deshalb ist es bevorzugt, wenn die Operation der ersten Unschärfeverarbeitung nur bei jeweils einigen Pixeln durchgeführt wird und die Operation der zweiten Unschärfeverarbeitung bei sämtlichen Bildpixeln erfolgt.
2.4 Schärfeeinstelleinheit
Die Schärfeeinstelleinheit 414 führt eine Bildverarbeitung hauptsächlich zu dem Zweck durch, die Bildschärfe zu steigern. Da ein mit dem Endoskop gewonnenes Bild keine scharfe Kanten enthält, führt die Schärfeeinstelleinheit 414 eine Verarbeitung hauptsächlich zu dem Zweck durch, die Struktur des Betrachtungsobjekts zu verbessern, so zum Beispiel Vorsprünge/Vertiefungen der Schleimhaut und von Blutgefäßen.
Hat sich beispielsweise unter der Schleimhaut des Magens eine Schwellung gebildet, so bilden dünne Blutgefäße Spiralen, während dicke Blutgefäße gekrümmt sind. Daher ist es besonders wichtig, die Änderung in der Form der Blutgefäße zu beobachten, um eine verborgene Verletzung aufzufinden. Allerdings ist die Farbe des Magen-Innenraums im wesentlichen die gleiche über die gesamte Fläche hinweg. Wenn daher ein Anwender den Versuch unternimmt, die Blutgefäße voneinander anhand der Frequenzkomponenten des Bilds zu unterscheiden, so ist es unmöglich, dicke Blutgefäße von dem Schatten einer Schwellung zu unterscheiden.
Aus diesem Grund führt die Schärfeeinstelleinheit 414 eine Schärfeeinstellverarbeitung unter Berücksichtigung der Bildfarbe durch.
13 ist ein Flussdiagramm, welches den Ablauf der Verarbeitung zeigt, der von der Schärfeeinstelleinheit 414 ausgeführt wird.
Als erstes wandelt die Scharfeeinstelleinheit 414 das Eingangssignal in ein YCC-Signal um und erzeugt ein Leuchtdichte- oder Luminanzbild Y(x, y), das ausschließlich Luminanzkomponenten enthält (Schritt S401).
Anschließend führt die Scharfeeinstelleinheit 414 eine Unschärfeverarbeitung an dem Luminanzbild Y(x, y) mit Hilfe eines Filters für die Bildverarbeitung durch und erzeugt ein Luminanz-Unschärfebild U(Y(x, y)). Die Unschärfeverarbeitung erfolgt in zwei Schritten. Bei der ersten Unschärfeverarbeitung wird ein sich bewegendes Mittelwertfilter als Filter für die Bildverarbeitung verwendet (Schritt S402). Ist das Filter zu klein, so ist Information über eine relativ große Struktur, beispielsweise einen Vorsprung oder eine Vertiefung in der Magenwand nicht enthalten. Aus diesem Grund wird ein Filter mit einer Größe von etwa 80×80 Pixeln verwendet. Außerdem werden im Schritt S402 Operationen bei sehr wenigen Pixeln ausgeführt, um dadurch den Rechenaufwand zu reduzieren, ähnlich wie bei der Verarbeitung, die von der Helligkeits-/Sättigungs-Einstelleinheit 413 im Schritt S302 vorgenommen wird.
Bei der zweiten Unschärfeverarbeitung wird ein Gauß-Filter als Filter für die Bildverarbeitung eingesetzt (Schritt S403). Als Gauß-Filter kommen drei Arten von Filtern unterschiedlicher Standardabweichungen zum Einsatz.
14A, 14B und 14C sind Diagramme, die drei Arten von Gauß-Filtern veranschaulichen. In jeder der 14A, 14B und 14C entspricht die horizontale Achse der Lage jedes Pixels, wenn die Stelle jedes mittleren Pixels des Filters für die Bildverarbeitung bei 0 liegt. Die vertikale Achse entspricht dem Wert jedes Pixels, welches das Filter bildet. 14A veranschaulicht ein Filter mit der größten Standardabweichung unter den drei Filterarten. Das Filter besitzt eine Größe von 79×79 Pixeln. Wird dieses Filter verwendet, lässt sich eine relativ große Struktur wie zum Beispiel der Vorsprung/Eindruck einer Innenwand eines Organs oder einer Arterie extrahieren. 14B ist ein Diagramm eines Filters mit einer geringeren Standardabweichung als das Filter nach 14A. Das Filter besitzt eine Größe von etwa 15×15 Pixeln. Wird dieses Filter verwendet, so lässt sich eine mittelgroße Struktur extrahieren, beispielsweise Blutgefäße mit normaler Dicke. 14C ist ein Diagramm eines Filters, dessen Standardabweichung geringer ist als die des in 14B gezeigten Filters. Das Filter nach 14C besitzt eine Größe von etwa 3×3 Pixeln. Wird dieses Filter verwendet, so lässt sich eine dünne Struktur extrahieren, beispielsweise Kapillargefäße.
Wenn im Schritt S403 ein Gauß-Filter verwendet wird, bei dem eine Standardabweichung basierend auf einer Strukturgröße eingestellt ist, welche verstärkt werden soll, so lässt sich ein Luminanz-Unschärfebild UY in der Weise erstellen, dass ausreichend Bildinformation zum Unterscheiden der hervorzuhebenden Struktur in dem Luminanz-Unschärfebild UY verbleibt.
Bei der zweiten Unschärfeverarbeitung können Operationen mit Hilfe der drei Arten von Gauß-Filtern in zwei Schritten ausgeführt werden. Allerdings sollte die Operation mit Hilfe eines Filters für die Bildverarbeitung ausgeführt werden, welche die Funktionen sämtlicher drei Gauß-Filter hat, um Verarbeitungszeit zu verringern.
Nachdem die Schärfeeinstelleinheit 414 das Luminanz-Unschärfebild UY erzeugt hat, berechnet sie eine Differenz zwischen dem Wert des Luminanzbilds Y und dem Wert des Luminanz-Unschärfebilds UY für jedes Pixel anhand folgender Gleichung: C(x, y) = |Y(x, y) – UY(x, y)| × LUTy(UY(x, y)).
Anschließend bestimmt die Unschärfeeinstelleinheit 414 einen Schärfeverbesserungsbetrag C(x, y) basierend auf dem Differenzwert (Schritt S404). Die Look-Up-Tabelle LUTy kann die gleiche sein wie die Look-Up-Tabelle LUTy, die von der Helligkeits-/Sättigungs-Einstelleinheit 413 benutzt wird. Alternativ kann die Look-Up-Tabelle LUTy basierend auf einer anderen Einstellstrategie eingerichtet werden.
Bei der allgemeinen Schärfeverbesserungs-Verarbeitung erfolgt eine Verbesserung oder Steigerung der Schärfe durch einfaches Addieren des Schärfeverbesserungsbetrags C(x, y), wie er oben beschrieben wurde, auf jeden Pixelwert des Eingangsbilds. Allerdings erhält man bei der Verarbeitung durch die Schärfeeinstelleinheit 414 für jede Farbe einen Verbesserungsbetrag Cr(x, y), Cg(x, y) oder Cb(x, y), abhängig von der jeweiligen Farbe (Schritt S405). Die Schärfe wird gesteigert durch Addieren des Verbesserungsmaßes für jede Farbe auf jeden Pixelwert des Eingangsbilds.
Das Verbesserungsmaß oder der Verbesserungsbetrag für jede Farbe wird folgendermaßen berechnet: erstens werden eine Rate 3 (der zur Helligkeit beitragende Teil), die einen Teil repräsentiert, der zur Einstellung der Helligkeit bei der Schärfeverbesserung beiträgt, und eine Rate 4 (der zur Sättigung beitragende Anteil), der einen Teil repräsentiert, welche zur Einstellung der Sättigung bei der Schärfeverbesserung beiträgt, basierend auf folgenden Gleichungen bestimmt: Rate 3 = LUTc(Y(x, y)) × (x, y) Rate 4 = {1 – LUTc(Y(x, y))} × (x, y).
Wie die obigen Gleichungen zeigen, werden der zur Helligkeit beitragende Teil und der zur Sättigung beitragende Teil derart bestimmt, dass die Summe der beiden Anteile so groß ist wie der Schärfeverbesserungsbetrag, der im Schritt S404 erhalten wird. Die LUTc ist eine Tabelle zum Bestimmen der Zuordnung zu dem zur Helligkeit beitragenden Teil und einer Zuordnung zu dem zur Sättigung beitragenden Teil. Die Tabelle LUTc lässt sich basierend auf der angestrebten Bildqualität in passender Weise definieren.
Als nächstes wird das Verbesserungsmaß für jede Farbe basierend auf folgenden Gleichungen bestimmt: Cr(x, y) = Y(x, y) × Rate 3 + R(x, y) × Rate 4 Cg(x, y) = Y(x, y) × Rate 3 + G(x, y) × Rate 4 Cb(x, y) = Y(x, y) × Rate 3 + B(x, y) × Rate 4.
Alternativ lässt sich das Verbesserungsmaß für jede Farbe basierend auf folgenden Gleichungen bestimmen: Cr(x, y) = C(x, y) × R(x, y)/Y(x, y) Cg(x, y) = C(x, Y) × G(x, y)/Y(x, y) Cb(x, y) = C(x, y) × B(x, y)/Y(x, y).
Als nächstes wird das Verbesserungsmaß für jede Farbe, erhalten durch Verwendung eines der Gleichungssätze gemäß obiger Beschreibung, auf das Eingangssignal addiert, und die Schärfe wird gemäß folgenden Gleichungen verbessert (Schritt S406): R'(x, y) = R(x, y) + Cr(x, y) G'(x, y) = G(x, y) + Cg(x, y) B'(x, y) = B(x, y) + Cb(x, Y).
Wenn die Schärfe verbessert wird durch Addieren des Verbesserungsbetrags für jede Farbe, lässt sich die Schärfe abhängig von der Farbe des Bilds verbessern. Da in diesem Fall die Farbkomponente, welche verbessert wird, zwischen den dicken Blutgefäßen und dem Schatten einer Schwellung verschieden ist, wird der Schatten der Schwellung nicht als Blutgefäß fehlinterpretiert.
Wie oben erläutert wurde, erzeugen sowohl die Helligkeits-/Sättigungs-Einstelleinheit 413 als auch die Schärfeeinstelleinheit 414 Luminanz-Unschärfebilder und machen Gebrauch von diesen Bildern für die Verarbeitung. Aus diesem Grund kann eine Verarbeitungseinheit zum Erstellen eines Luminanz-Unschärfebilds vor dem Selektor 417a nach 2 vorgeschaltet sein, und das von der Verarbeitungseinheit erzeugte Luminanz-Unschärfebild kann in die Helligkeits-/Sättigungs-Einstelleinheit 413 sowie in die Schärfeeinstelleinheit 414 eingegeben werden. In diesem Fall ist ein Filter für die Bildverarbeitung zum Erstellen des Luminanz-Unschärfebilds ein Filter, welches zwei Funktionsarten besitzt.
Die Look-Up-Tabelle und das Filter für die Bildverarbeitung, die von der Schärfeeinstelleinheit 414 benutzt werden, sind in dem in 2 gezeigten Speicher 43 gespeichert. Die Look-Up-Tabelle und das Filter für die Bildverarbeitung werden von dem Mikrocomputer 42 mit Hilfe des oben in Verbindung mit 4 beschriebenen Prozesses an die Schärfeeinstelleinheit gesendet.
2.5 Farbtoneinstelleinheit
Die Farbtoneinstelleinheit 415 führt eine Bildverarbeitung mit dem Zweck durch, einen Farbton zu expandieren, der für eine Diagnose notwendig ist, und einen Farbton abzuschwachen, der für die Diagnose nicht notwendig ist.
Bei Untersuchungen mittels Endoskop wird in einigen Fällen ein Testmittel, welches Farbstoff enthält, zur Untersuchung des menschlichen Körpers in diesen verteilt. Beispielsweise wird, wenn ein Dunkelblau-Testmittel mit der Bezeichnung Indigo Carmine an der Innenwand des Magens verteilt wird, von dem Testmittel in der Schleimhautfalte etwas verbleiben. Aus diesem Grund lassen sich Vorsprünge/Vertiefungen an der Magenwand als Kontrast von Rot und Blau beobachten. Wenn außerdem ein Dunkelblau-Testmittel mit der Bezeichnung Methylen-Blau verteilt wird, färbt sich nur die normale Schleimhaut blau. Tumore hingegen werden nicht blau gefärbt. Hierdurch ist es möglich, zu erkennen, ob ein Tumor vorhanden ist, außerdem lässt sich die Stelle des Tumors erkennen, falls es einen gibt.
Wenn die oben erläuterte Untersuchung durchgeführt wird, ist für die Diagnose Information darüber, dass der Farbton der Schleimhaut für jede Zone etwas unterschiedlich ist, nicht notwendig.
15 ist ein Flussdiagramm des Ablaufs für die Verarbeitung, die von der Farbtoneinstelleinheit 415 vorgenommen wird. Zunächst wandelt die Einheit 415 das RGB-Signal in ein HSV-Signal (Hue = Farbton; Saturation = Sättigung; Value = Wert) um und extrahiert nur die Farbtonkomponente. Dementsprechend erzeugt die Farbtoneinstelleinheit 415 ein Farbbild, das die Verteilung der Farbtöne zeigt (Schritt S501). Anschließend wandelt die Farbtoneinstelleinheit 415 den Wert H(x, y) jedes das Farbbild darstellenden Pixels unter Verwendung einer Look-Up-Tabelle LUTh um (Schritt S502).
Die Look-Up-Tabelle LUTh ist eine Tabelle, die derart ausgelegt ist, dass der Farbton in einem Farbbereich expandiert ist, der für die Diagnose benötigt wird, während der Farbton in einem Farbbereich, der für die Diagnose nicht benötigt wird, verengt wird.
Wenn zum Beispiel die Look-Up-Tabelle LUTh nach 16 verwendet wird, so wird Blau-Purpur durch eine Farbe ersetzt, die näher bei Blau liegt. Wenn die Bildverarbeitung unter Verwendung der Look-Up-Tabelle LUTh erfolgt und eine Photoaufnahme nach Verteilung eines Blau-Purpur-Testmittels aufgenommen wird, ist es möglich, den Kontrast der Farbe zwischen dem Bereich der Schleimhaut, an dem sich das Testmittel befindet, und dem Teil der Schleimhaut, an dem kein Testmittel haftet, zu erhöhen. Wenn außerdem die Look-Up-Tabelle LUTh nach 16 verwendet wird, werden sämtliche Farben von Rot bis Pink durch Pink ersetzt. Wenn daher eine Bildverarbeitung mit Hilfe der Look-Up-Tabelle LUTh durchgeführt wird, erscheint eine geringfügige Differenz rötlicher Farben in der Schleimhaut innerhalb des Bildes nicht.
Die Look-Up-Tabelle LUTh nach 17 ist eine Tabelle, die lediglich die Farbe des Pigments von Hämoglobin durch Grün ersetzt, andere Farben hingegen nicht ersetzt. Diese Tabelle ist so ausgebildet, dass ein Bild erstellt wird, welches sich für die Untersuchung des Blutstroms eignet, indem eine Differenz zwischen der Farbe des Bluts und der Farbe der Schleimhaut verstärkt wird.
Sämtliche Farben in einem von einem Endoskop aufgenommenen Bild sind rötliche Farben. Keine der Farben eines photographierten Objekts ist Blau oder Grün, ausgenommen das Testmittel. Selbst wenn also die Farbe des Bluts durch Grün ersetzt wird, besteht keine Möglichkeit dafür, dass das Blut nicht von einem anderen grünen Objekt unterschieden werden kann. Bei der Endoskopbildverarbeitung ist es folglich möglich, eine Verarbei tung in der Weise vorzunehmen, dass der Farbton extrem aufgeweitet wird, wie dies in 17 zu sehen ist.
Nachdem die Farbtoneinstelleinheit 415 den Farbton durch Austausch von Farben mit Hilfe der Look-Up-Tabelle LUTh im Schritt S502 expandiert oder verringert hat, wandelt die Farbtoneinstelleinheit 415 ein HSV-Signal in ein RGB-Signal um (Schritt S503). Das HSV-Signal ist ein Signal, welches Farbtondaten H'(x, y) enthält, gewonnen durch Ausführen einer Umwandlung mittels der Look-Up-Tabelle LUTh als Farbtonkomponente.
Es ist bevorzugt, wenn mehrere Look-Up-Tabellen als Look-Up-Tabelle LUTh erstellt werden. Die mehreren Look-Up-Tabellen sollten gestaltet werden auf der Grundlage der Idee eines Radiologen, der Benutzer des Endoskops ist, auf der Grundlage der Entwurfsstrategie des Herstellers des Endoskops, des Testmittel-Typs für die Untersuchung, der zu untersuchenden Zone, des Zwecks der Untersuchung oder dergleichen. Die Look-Up-Tabelle LUTh kann vom Hersteller bereitgestellt werden, der das elektronische Endoskopsystem 1 liefert. Alternativ kann die Look-Up-Tabelle LUTh von dem Benutzer des elektronischen Endoskopsystems 1 generiert werden. Die Look-Up-Tabelle LUTh wird in dem in 2 gezeigten Speicher 43 gespeichert. Die Look-Up-Tabelle LUTh wird von dem Mikrocomputer 42 mit Hilfe des oben in Verbindung mit 4 beschriebenen Prozesses an die Farbtoneinstelleinheit 415 gesendet.
Bei dem obigen Beispiel erfolgt die Einstellung des Farbtons im HSV-Raum. Allerdings kann das RGB-Signal in ein Lab-Signal umgewandelt werden, und dieses Lab-Signal kann wieder in ein RGB-Signal umgewandelt werden, nachdem die a-Kompnente und die b-Komponente des Lab-Signals mit Hilfe einer Look-Up-Tabelle umgewandelt wurden.
Alternativ ist es möglich, dass ein RGB-Signal nicht in ein Signal eines anderen Farbraums umgewandelt wird. In diesem Fall lässt sich eine dreidimensionale LUT in ähnlicher Weise erstellen, wie es bei der von der Standardbild-Erzeugungseinheit 411 oder der Farbaustauscheinheit 412 vorgenommenen Verarbeitung geschieht. Dann kann das einge gebene RGB-Signal direkt durch ein RGB-Signal ersetzt werden, welches durch Ausführen der Farbtoneinstellung erzeugt wurde.
In der obigen Beschreibung entspricht der Prozessor 3 der erfindungsgemäßen Bildverarbeitungsvorrichtung. Die Verarbeitung erfolgt durch die Helligkeits-/Sättigungs-Einstelleinheit 413 der Bildverarbeitungsschaltung 41 des Prozessors 3 entsprechend dem erfindungsgemäßen Verfahren. Wie oben erläutert wurde, kann außerdem die Bildverarbeitungsschaltung 41 eine Schaltung sein, in der eine für die Bildverarbeitung spezialisierte CPU in Verbindung mit einem Speicher vorhanden sind, in welchem sechs Arten von Bildverarbeitungsprogrammen gespeichert sind. Außerdem entspricht ein Programm zum Einstellen der Helligkeit/Sättigung in der oben beschriebenen Ausführungsform dem erfindungsgemäßen Bildverarbeitungsprogramm.
Weiterhin ist die Erfindung nicht auf die elektronische Endoskopvorrichtung beschränkt. Die Erfindung kann Anwendung bei sämtlichen Gerätearten finden, die die Funktion des Einstellens des Helligkeitswerts eines Bilds haben. Beispielsweise kann die Erfindung angewendet werden bei einer Vorrichtung zum Einstellen des Helligkeitswerts eines durch Photographie mit einer Digitalkamera gewonnenen Bilds, bevor das Bild als Abzug ausgegeben wird. Die Erfindung kann auch angewendet werden bei einer Vorrichtung zum Einstellen des Helligkeitswerts eines durch eine Überwachungskamera gewonnenen Bilds, bevor das Bild auf einem Monitor erzeugt wird. Der Schutzumfang der Erfindung sollte daher nicht durch die oben beschriebene Ausführungsform beschränkt werden, vielmehr sollte er definiert werden durch die Ansprüche der vorliegenden Anmeldung.

Claims

Helligkeitswert-Einstellverfahren zum Einstellen des Helligkeitswerts eines Bilds, umfassend folgende Schritte: Bestimmen eines Einstellbetrags eines Helligkeitswerts, der das Einstellmaß für den Helligkeitswert repräsentiert, für jedes Pixel durch auf einer Lookup-Tabelle basierende Umwandlung des Werts jedes Pixels, der ein Luminanzverteilungsbild darstellt, welches die Verteilung der Luminanz des Bilds repräsentiert, in welchem ein Gleichgewicht von Helligkeit/Dunkelheit in dem gesamten Bild widergespiegelt wird (Schritt S304); Bestimmen eines zur Helligkeit beitragenden Abschnitts, der einen Abschnitt des Einstellbetrags des Helligkeitswerts repräsentiert, welcher beiträgt zur Einstellung der Helligkeit, und eines zur Sättigung beitragenden Abschnitts, der einen Abschnitt des Einstellbetrags des Helligkeitswerts repräsentiert, der einen Beitrag leistet zur Einstellung der Sättigung, und zwar für jedes Pixel des Bilds, so dass die Summe des zur Helligkeit beitragenden Abschnitts und des zur Sättigung beitragenden Abschnitts dem Einstellbetrag des Helligkeitswerts gleicht (Schritt S305); und Addieren des Einstellwerts der Sättigung, der erhalten wird durch Wichten des Werts jedes Pixels in dem Bild basierend auf dem zur Sättigung beitragenden Abschnitt, eines Einstellwerts für die Helligkeit, erhalten durch Wichten des Werts jedes Pixels in dem Luminanzverteilungsbild oder einem Luminanzbild, welches jedem Pixel des Bilds entspricht, basierend auf dem zur Helligkeit beitragenden Abschnitt, auf den Wert jedes Pixels, welches das Bild darstellt (Schritt S306).
Verfahren nach Anspruch 1, bei dem eine Zuweisung des zur Helligkeit beitragenden Abschnitts und eine Zuweisung des zur Sättigung beitragenden Abschnitts für jedes Pixel des Bilds basierend auf dem Wert jedes Pixels in dem Luminanzverteilungsbild, welches jedem Pixel des Bilds entspricht, bestimmt werden.
Bildverarbeitungsvorrichtung (49) umfassend: eine Luminanzverteilungsbild-Erzeugungseinrichtung zum Erzeugen eines Luminanzverteilungsbilds, welches die Verteilung der Luminanz in einem Eingangsbild repräsentiert; und eine Helligkeitswert-Einstelleinrichtung (413) zum Einstellen des Helligkeitswerts des Bilds unter Verwendung des Luminanzverteilungsbilds, welches von der Luminanzverteilungsbild-Erzeugungseinrichtung erzeugt wurde; wobei die Helligkeitswert-Einstelleinrichtung (413) eine Verarbeitung (Schritt S304) zum Bestimmen eines Einstellbetrags des Helligkeitswerts ausführt, der das Maß der Einstellung des Helligkeitswerts repräsentiert für jedes Pixel, indem basierend auf einer Lookup-Tabelle der Wert jedes Pixels umgewandelt wird, welches das Luminanzverteilungsbild darstellt, in welchem ein Gleichgewicht von Helligkeit/Dunkelheit im gesamten Bild widergespiegelt wird, einen Verarbeitungsschritt (S305) ausführt zum Bestimmen eines zur Helligkeit beitragenden Abschnitts, der einen Abschnitt des Einstellbetrags des Helligkeitswerts repräsentiert, der beiträgt zur Einstellung der Helligkeit, und eines zur Sättigung beitragenden Abschnitts, der einen Abschnitt des Einstellbetrags des Helligkeitswerts repräsentiert, der einen Beitrag zur Einstellung der Sättigung leistet, für jedes Pixel innerhalb des Bilds, so dass die Summe des zu der Helligkeit beitragenden Abschnitts und des zur Sättigung beitragenden Abschnitts dem Einstellbetrag des Helligkeitswerts gleicht, und eine Verarbeitung (Schritt S306) zum Addieren eines Einstellwerts der Sättigung, erhalten durch Wichten des Werts jedes Pixels in dem Bild basierend auf dem zur Sättigung beitragenden Abschnitt, und eines Einstellwerts der Helligkeit, der erhalten wird durch Wichten des Werts jedes Pixels in dem Luminanzverteilungsbild oder einem Luminanzbild, welches jedem Pixel in dem Bild entspricht, basierend auf dem zur Helligkeit beitragenden Abschnitt, auf den Wert jedes das Bild darstellende Pixels.
Vorrichtung nach Anspruch 3, bei dem die Helligkeitswert-Einstelleinrichtung (413) eine Zuordnung zu dem Teil bestimmt, der zur Helligkeit beiträgt, und eine Zuordnung zu dem Teil bestimmt, der zur Sättigung beiträgt, für jedes Pixel des Bilds basierend auf dem Wert jedes Pixels in dem Luminanzverteilungsbild, welches jedem Pixel des Bild entspricht.
Computerlesbares Aufzeichnungsmedium, in welchem ein Bildverarbeitungsprogramm gespeichert ist, welches einen Computer veranlasst, ein Verfahren zum Einstellen des Helligkeitswerts für ein Bild auszuführen, wobei das Programm folgende Prozeduren umfasst: Bestimmen eines Einstellbetrags eines Helligkeitswerts, der das Einstellmaß für den Helligkeitswert repräsentiert, für jedes Pixel durch auf einer Lookup-Tabelle basierende Umwandlung des Werts jedes Pixels, der ein Luminanzverteilungsbild darstellt, welches die Verteilung der Luminanz des Bilds repräsentiert, in welchem ein Gleichgewicht von Helligkeit/Dunkelheit in dem gesamten Bild widergespiegelt wird (Schritt S304); Bestimmen eines zur Helligkeit beitragenden Abschnitts, der einen Abschnitt des Einstellbetrags des Helligkeitswerts repräsentiert, welcher beiträgt zur Einstellung der Helligkeit, und eines zur Sättigung beitragenden Abschnitts, der einen Abschnitt des Einstellbetrags des Helligkeitswerts repräsentiert, der einen Beitrag leistet zur Einstellung der Sättigung, und zwar für jedes Pixel des Bilds, so dass die Summe des zur Helligkeit beitragenden Abschnitts und des zur Sättigung beitragenden Abschnitts dem Einstellbetrag des Helligkeitswerts gleicht (Schritt S305); und Addieren des Einstellwerts der Sättigung, der erhalten wird durch Wichten des Werts jedes Pixels in dem Bild basierend auf dem zur Sättigung beitragenden Abschnitt, eines Einstellwerts für die Helligkeit, erhalten durch Wichten des Werts jedes Pixels in dem Luminanzverteilungsbild oder einem Luminanzbild, welches jedem Pixel des Bilds entspricht, basierend auf dem zur Helligkeit beitragenden Abschnitt, auf den Wert jedes Pixels, welches das Bild darstellt (Schritt S306).
Computerlesbares Aufzeichnungsmedium nach Anspruch 5, bei dem eine Zuordnung zu dem zur Helligkeit beitragenden Abschnitt und eine Zuordnung zu dem zur Sättigung beitragenden Abschnitt für jedes Pixels des Bilds basierend auf dem Wert jedes Pixels in dem Luminanzverteilungsbild bestimmt werden, welches jedem Pixel des Bilds entspricht.