DE19529367C2 - Vorrichtung zur Farbtonkorrektur bei von einer Videokamera aufgenommenen Farbbildern - Google Patents

Description

Die Erfindung betrifft eine Vorrichtung zur Farbtonkorrektur bei von einer Videokamera, insbesondere Endoskopkamera, aufgenommen Farbbildern gemäß dem Oberbegriff des Patentanspruchs 1.

In der Vergangenheit war das primäre Einsatzgebiet der Endoskopie die Diagnostik. Bei der Diagnostik betrachtet der Arzt das zu unter­ suchende Hohlorgan mit bloßem Auge. Das Auge besitzt eine hohe Helligkeits- und Farbdynamik, was zur Folge hat, daß die erreichbare Abbildungsqualität bezüglich Auflösung und Farbdarstellung nahezu nur von dem verwendeten Endoskop abhängig ist.

In der Chirurgie werden jedoch andere Anforderungen an ein endo­ skopisches System gestellt als bei der Diagnostik. Bei einem chir­ urgischen Eingriff muß dem gesamten Operationsteam das Bild des Operationsfeldes zur Verfügung stehen, da mehrere Personen den chirurgischen Eingriff in Zusammenarbeit durchführen.

Es reicht deshalb nicht aus, das Operationsfeld mit bloßem Auge durch ein Endoskop zu betrachten. Deshalb wird am proximalen Ende des Endoskops eine Videokamera aufgesetzt, oder es kommt ein Vi­ deoendoskop mit distal angeordnetem CCD Sensor zum Einsatz, so daß das Operationsfeld auf einem Monitor dargestellt werden kann. Mit dem Einsatz von CCD Kameras ergaben sich aber auch einige Probleme, da ein CCD Sensor nicht die Dynamik, die Empfindlich­ keit und die spektralen Eigenschaften des Auges besitzt. Dies ist besonders in Bezug auf die Farbdarstellung von Bedeutung. Man muß also eine Möglichkeit suchen, die Farbdarstellung unter dem Ge­ sichtspunkt der auftretenden Farbschwankungen in einem endoskopi­ schen System zu optimieren.

Bei der endoskopischen Untersuchung eines Hohlorgans des Körpers wird das Endoskop in die zu untersuchende Körperhöhle bzw. das Hohlorgan eingeführt. Beleuchtungslicht gelangt über Lichtleitfasern im Endoskop in die Körperhöhle, wo es das Hohlorgan beleuchtet. Um eine unverfälschte Farbwiedergabe zu erreichen, sollte das Be­ leuchtungslicht nicht durch das Hohlorgan spektral beeinflußt werden. Genau dies passiert jedoch, je nach Art des Hohlorgans. Ein Teil des Beleuchtungslichtes dringt z. B. in die im Hohlorgan befindliche Schleimhaut, welche wie ein Absorptionsfilter wirkt, ein. Dadurch wirkt die Schleimhaut ihrerseits als eine spektral schmalbandige Beleuchtungsquelle, da das eingedrungene Beleuchtungslicht gefiltert wieder an der Oberfläche der Schleimhaut abgestrahlt wird und das zu betrachtende Objekt seinerseits mit rotem Licht beleuchtet.

Je nach untersuchtem Hohlorgan unterscheidet sich dieses Lichtab­ sorptionsverhalten. So spielt das Lichtabsorptionsverhalten im Ge­ lenkbereich keine Rolle, während es im Magen, wo stark durchblute­ te Schleimhäute vorzufinden sind, zu einer Farbverschiebung in Richtung Rot kommt. Die Stärke der Rotverschiebung hängt bei einem gegebenen Organ vom Betrachtungsabstand und dem Betrach­ tungs- und Ausleuchtwinkel des Endoskops ab. Je kürzer der Betrach­ tungsabstand ist bzw. je näher das Endoskop sich an der Schleimhaut befindet, desto stärker wird die Schleimhaut durchleuchtet, was zu einer stärkeren Rotverschiebung führt. Diese anwendungsspezifische Farbverschiebung wird jedoch bei herrkömmlichen Videokameras nicht berücksichtigt.

Das US-Patent 5,111,281 beschreibt eine Farbkorrekturvorrichtung für ein Videoendoskop, die Mittel zur Erfassung einer Farbqualität eines Farbbildsignals und Mittel zur pixelweisen Durchführung einer dynamischen Farbkorrektur aufweist. Aufgrund der pixelweise erfol­ genden Korrektur ist die bekannte Vorrichtung nicht in der Lage, zwischen punktuell auftretenden starken Farben, insbesondere Rot, und Farberhöhungen, die das ganze Bild betreffen, zu unterscheiden, was zur Folge hat, daß die bekannte Vorrichtung auch punktuell auftretende Farberhöhungen korrigiert und damit eine schlechte Farbdifferenzierung hat.

Das US-Patent 4,951,134 zeigt eine Vorrichtung zur Farbtonkorrektur für eine Endoskop-Videokamera. Bei dieser bekannten Vorrichtung werden mit Hilfe einer Eingabetastatur eingegebene Korrekturwerte für die Farben Blau und Rot zunächst in digitale Größen umgesetzt und in einem Mikroprozessor zu Korrekturgrößen verarbeitet, und die ausgegebenen digitalen Korrekturgrößen, die mittels eines Digital- Analog-Wandlers in Analogwerte umgesetzt werden, werden in Form dieser Analogwerte zur Korrektur der Farbsignale R und B der Vi­ deokamera verwendet. Außerdem ist am Monitor eine Anzeige vor­ gesehen, die Inhalte der Farbtonkorrektursteuerung quantitativ z. B. in Form von Ziffern anzeigt.

Aus der DE 33 15 636 A1 ist eine Vorrichtung zur Einstellung von Farbtonkorrekturen anhand einer Verstellkurve bekannt, bei der durch eine neutrale Grundstellung eines Bedienhebels eine "Weißstellung" vorgegeben ist, ein automatischer Weißabgleich vor Durchführung einer Farbtonkorrektur also nicht möglich ist. Weiterhin ist es bei dieser Vorrichtung ebenfalls nicht möglich, aus einer Vielzahl von an sich denkbaren Verstellkurven für Farbtonkorrekturen eine Verstell­ kurve auszuwählen und eine Farbtonkorrektur ausschließlich nach Maßgabe dieser ausgewählten Verstellkurve durchführen zu können.

Aufgabe der vorliegenden Erfindung ist es, eine Vorrichtung zur Farbtonkorrektur bei von einer Endoskopvideokamera aufgenommenen Farbbildern so zu ermöglichen, daß die Farbtonkorrektur individuell, jedoch anwendungsspezifisch mit einfachen Eingabemitteln ausführbar ist.

Eine die obige Aufgabe lösende Vorrichtung ist im Patentanspruch 1 angegeben. Vorteilhafte Ausführungsformen dieser Vorrichtung erge­ ben sich aus den Ansprüchen 2 bis 8.

Erfindungsgemäß ist bzw. wird in dem Speicher der Steuereinrichtung wenigstens eine innerhalb des Farbdreiecks liegende charakteristische Verstellkurve gespeichert, auf die der Benutzer über einen einfachen, über 360° verdrehbaren, anschlagsfreien Drehregler (Inkrementalge­ ber) in gewissem fest vorgegebenen Umfang eine individuelle Farb­ tonkorrektur durchführen kann. Nach Durchführung eines automati­ schen Weißabgleichs befindet sich der Weißpunkt im Ursprung des den Farbraum angebenden Koordinatensystems und ist dann Start­ punkt der in beiden Richtungen durchfahrbaren charakteristischen Verstellkurve.

Es ist auch möglich, mehrere Verstellkurven unter Berücksichtigung der Daten der Festkörpervideokamera und der charakteristischen Daten bekannter Endoskoplichtquellen sowie ebenfalls unter Berück­ sichtigung der medizinischen Anwendungsgebiete herstellerseitig vorzugeben. Da eine mathematisch analytische Ermittlung der Ver­ stellkurven nicht möglich ist, handelt es sich im wesentlichen um empirisch ermittelte charakteristische Verstellkurven. Die Steuer­ einrichtung weist eine Schnittstelle zur Eingabe der spezifischen Verstellkurven auf. Nun können diese in den so ausgestatteten Gerä­ ten dann beispielsweise nach ausgewählter Lichtquelle oder nach ausgewähltem medizinischen Anwendungsgebiet angewählt werden.

Die Verstellkurven sind bevorzugt in Tabellenform im Speicher der Steuereinrichtung gespeichert, und die Steuereinrichtung liest die Tabellenwerte aus dem Speicher auf der Grundlage der jeweils am Drehregler eingegebenen Korrekturgröße aus.

Es ist zweckmäßig, wenn die gespeicherten charakteristischen Ver­ stellkurven jeweils die Farbtonkorrektur von nur zwei Grundfarben (z. B. Rot und Blau) betreffen und wenn die dritte Grundfarbe von der Steuereinrichtung aufgrund der Farbtonkorrektur für die zwei Grundfarben dann nach dem additiven Farbgesetz ermittelt wird.

Außer dem Drehregler zur Eingabe der jeweiligen Farbtonkorrektur weist die erfindungsgemäße Vorrichtung eine mit der Steuereinrich­ tung verbundene Taste zum automatischen Weißabgleich AWB auf.

Ein weiteres Eingabemittel kann zur Auswahl einer von mehreren gespeicherten, charakteristischen Verstellkurven vorgesehen sein.

Die Erfindung wird nachfolgend anhand eines in der Zeichnung dargestellten Ausführungsbeispiels näher erläutert. Es zeigt:

Fig. 1 schematisch einen Farbraum einer Farbvideokamera vor einem automatischen Weißabgleich,

Fig. 2 schematisch den Farbraum einer Farbvideokamera nach automatischem Weißabgleich mit einer charakteristischen Verstellkurve,

Fig. 3 ein Blockschaltbild einer Ausführungsform einer erfin­ dungsgemäßen Vorrichtung zur anwendungsspezifischen Farbtonkorrektur,

Fig. 4 ein Flußdiagramm eines Steuerablaufs mit und ohne automatischem Weißabgleich,

Fig. 5 eine prinzipielle Anordnung zur Erfassung von charak­ teristischen Verstellkurven und

Fig. 6A, 6B, 6C drei Beispiele von anwendungsspezifischen Verstellkur­ ven.

Zur Erläuterung des Prinzips der erfindungsgemäßen anwendungs­ spezifischen Farbtonkorrektur ist in Fig. 1 schematisch ein Farb­ raum einer Videokamera als Farbdreieck dargestellt, dessen Eckpunk­ te mit R′(ROT′), G′(GRÜN′) und B′(BLAU′) bezeichnet sind. Es ist noch kein automatischer Weißabgleich AWB ausgeführt worden, d. h., daß der mit W′(WEISS′) bezeichnete Mittelpunkt des Farbdreiecks nicht im Ursprung W (WEISS) des durch die Koordinatenachsen U und V bestimmten Farbdreieckes liegt.

Fig. 2 zeigt den Farbraum einer Videokamera nach erfolgtem Weiß­ abgleich AWB. Der Mittelpunkt des Farbdreiecks liegt im Ursprung des Koordinatensystems U, V. Durch die erfindungsgemäße anwen­ dungsspezifische Farbtonkorrektur kann nun das Farbdreieck vekto­ riell gezielt gegenüber dem Ursprung W des Sollfarbraums auf einer charakteristischen Verstellkurve VS verschoben werden; der Vektor P zeigt auf die Verstellkurve VS. Im dargestellten Beispiel ist die gestrichelt gezeichnete Verstellkurve eine geschlossene zweidimensio­ nale Kurve.

Farben lassen sich durch drei unabhängige Parameter beschreiben, im allgemeinen durch die drei Grundfarben Rot, Grün und Blau. Somit ergibt sich der Farbton eines Videobildes i.a. aus der Farbbalance der drei Grundfarben Rot, Grün und Blau (R,G,B). Bei Videokameras stellt die Grundfarbe G ("Grünkanal") die relative Bezugsgröße dar, d. h., sie bleibt relativ zu den Grundfarben Rot und Blau konstant. Wenn man die additive Eigenschaft der Farben berücksichtigt, reicht es, zwei der drei Grundfarben zur Farbtonkorrektur zu verstellen, um jeden Farbton darzustellen. Somit ist nur eine Verstellung zweier unabhängiger Parameter gemäß der gestrichelt gezeichneten Kurve in Fig. 2 erforderlich. Die vorgeschlagene Lösung reduziert dieses zweidimensionale Vorgehen auf eine eindimensionale Bedienung mittels eines anschlagsfreien Drehreglers, der über 360° verdrehbar ist.

Fig. 3 zeigt den prinzipiellen Aufbau einer die erfindungsgemäße Vorrichtung beinhaltenden Videokamera. An einer den Speicher zur Speicherung der charakteristischen Verstellkurven aufweisenden Steuereinrichtung 3 ist ein Drehgeber bzw. Drehregler 1 zur Eingabe der Farbtonkorrekturwerte und eine Taste 2 für den automatischen Weißabgleich über Leitungen 4 und 5 angeschlossen. Der Drehgeber 1 ist der bereits erwähnte, anschlagsfreie 360° Drehregler. Weiter ist mit der Steuereinrichtung 3 ein Interface 6 zur Eingabe einer oder mehrerer charakteristischer Verstellkurven verbunden.

Von der Steuereinrichtung ermittelte resultierende Rotkorrekturwerte und Blaukorrekturwerte werden einer Videoelektronik 7 eingegeben. Die Videoelektronik benutzt diese Werte zur Einstellung der Farb­ balance (Rot, Grün, Blau). Am Ausgang der Videoelektronik sind ein Monitor 8 zur Anzeige des mit der Videokamera aufgenommenen Endoskopbildes und der Bildsensor 9, das ist der Aufnahmeteil der Videokamera, angeschlossen. Die über das Interface 6 eingegebenen charakteristischen Verstellkurven werden zuvor unter Berücksichti­ gung der Daten der Festkörpervideokamera und charakteristischer Daten bekannter Lichtquellen und/oder unter Berücksichtigung des medizinischen Anwendungsgebietes, wie z. B. Urologie, Laparoskopie, Arthroskopie usw., herstellerseitig erstellt und können einzeln oder zu mehreren über das Interface 6 als Schnittstelle eingegeben werden. Dabei handelt es sich zum Teil um Erfahrungswerte.

Die Steuereinrichtung 3 führt auf der Basis der am Drehgeber 1 eingegebenen Korrekturgröße die Farbtonkorrektur auf der Basis der eingespeicherten charakteristischen Verstellkurve in Form einer Tabellensteuerung aus. Dabei werden vorteilhafterweise die am Dreh­ regler eingegebenen Korrekturgrößen in Adressen zur Adressierung des Speichers umgesetzt. Die Steuereinrichtung 3 kann dazu einen Mikroprozessor aufweisen, der die Tabellensteuerung durchführt. Der Verstellbereich des Drehreglers, d. h. dessen Ausgangsgröße, kann quantisiert sein und z. B. 64 Schritte umfassen. Die die charakteristi­ sche Verstellkurve angebenden herstellerspezifischen Daten jeweils für den Rot- und den Blauanteil können im Speicher sieben Bit plus ein Vorzeichenbit umfassen.

Die Tabellensteuerung arbeitet dabei nach folgenden Beziehungen:

rot_res = resultierender Rotwert
blau_res = resultierender Blauwert
rot_tab = Tabellenwert Rot = f (Position Drehregler, charakteristische Verstellkurve)
blau_tab = Tabellenwert Blau = f (Position Drehregler, charakteristische Verstellkurve)
rot_bas = Basiswert Rot = f (automat. Weißabgleich)
blau_bas = Basiswert Blau = f (automat. Weißabgleich)
rot_res = rot_bas + rot_tab
blau_res = blau_bas + blau_tab

Fig. 4 zeigt in Form eines Flußdiagramms den Bedienungsablauf. In Schritt S1 wird die Kamera eingeschaltet; Schritt S2 fragt ab, ob ein automatischer Weißabgleich AWB ausgeführt wird oder nicht. Beja­ hendenfalls wird der automatische Weißabgleich ausgeführt, und Schritt S3 verschiebt den Nullpunkt des Farbraums in die Flächen­ mitte des durch ROT, GRÜN, BLAU aufgespannten Farbdreiecks (Fig. 2). Die momentane Position des Drehreglers wird dem Null­ punkt W des Farbraums zugeordnet. Durch Verdrehen des Drehreg­ lers wird eine zweidimensionale, charakteristische Verstellkurve durchlaufen, z. B. die in Fig. 2 in gestrichelten Linien angedeutete Kurve VS.

Aufgrund der dann durchgeführten Tabellensteuerung ermittelt die Steuereinrichtung 3 die resultierenden Werte für die Rotkorrektur und Blaukorrektur, und die Videoelektronik 7 ermittelt aufgrund des additiven Farbgesetzes und der Grünreferenz den resultierenden Farbton. Wenn kein automatischer Weißabgleich ausgeführt wird, bestätigt Schritt S4 die alte Einstellung. In diesem Fall ist der Ur­ sprung W′ des Farbdreiecks gegenüber dem Sollursprung W des Farbraums verschoben, wie es in Fig. 1 gezeigt ist. Eine Farbton­ korrektur läßt sich jedoch auch in diesem Fall durchführen, wobei jedoch die charakteristische Verstellkurve vom Punkt W′, d. h. dem verschobenen Ursprung ausgeht. Mit jeder Aktivierung des automati­ schen Weißabgleichs AWB werden die zuvor eingegebenen und ge­ speicherten Korrekturwerte gelöscht und auf Null gesetzt.

Wenn, wie oben erwähnt, eine Farbtonkorrektur ohne vorherigen automatischen Weißabgleich aktiviert wird, liegt kein für den Anwen­ der definierter Orientierungspunkt vor, ihm wird also der aktuelle Stand der Korrektur nicht angezeigt.

Da das Verfahren zur Durchführung des automatischen Weißabgleichs bekannt ist, wird es hier nicht im einzelnen erläutert. Prinzipiell wird jedoch so vorgegangen, daß die Kamera auf ein gut ausgeleuch­ tetes weißes Objekt gerichtet und der Vorgang AWB aktiviert wird. Dabei mißt die Kameraelektronik intern die Intensitätsverteilung in den drei Farbkanälen Rot, Grün und Blau. Der Meßwert des grünen Kanals wird im allgemeinen als Referenzwert benutzt, auf den die beiden anderen Kanäle mit Hilfe steuerbarer Verstärker pegelmäßig angepaßt werden. Die Steuerwerte für diese Verstärker bilden die Basisdaten, die dann in der Vorrichtung mit den Korrekturwerten verrechnet und letztendlich die resultierenden Farbtonkorrekturwerte ergeben.

Fig. 5 zeigt eine prinzipielle Anordnung zur Erfassung einer bzw. mehrerer charakteristischer Verstellkurven. Ein echter Operationssitus oder eine entsprechende Attrappe, je nach Anwendung, wird mit einer Lichtquelle beleuchtet, und das Objekt wird mit einem Endo­ skop 10, das mit einer Videokamera 11 und einem Monitor 12 ver­ bunden ist, aufgenommen. Die sich ergebende charakteristische Verstellkurve wird in Form von Meßwerten von der Videokamera 11 über eine Datenleitung 14 in einem Speicher eines Rechners 13 abgelegt. Jede aufgenommene charakteristische Verstellkurve kann außer von dem spezifischen Anwendungsgebiet von der Farbtempera­ tur der Lichtquelle und natürlich auch vom subjektiven Farbempfin­ den des Benutzers abhängig sein. Dabei können die im Rechner abgelegten, eine jeweilige charakteristische Verstellkurve angebenden Werte im Rechner bearbeitet werden. Nach einer ausreichenden Anzahl von Tests ergibt sich im Rechner eine Korrekturtabelle, die zum Beispiel während des Produktionsprozesses in jede Steuereinrich­ tung der Kamera transferiert wird.

Die Fig. 6A, 6B und 6C zeigen Beispiele für charakteristische Verstellkurven jeweils für die Urologie/Arthroskopie, für die minima­ linvasive chirurgische Anwendung und für die Anwendung im HNO- Gebiet, wobei bemerkt werden soll, daß die in den Fig. 6A bis 6C angegebenen charakteristischen Verstellkurven nur Beispiele sind und aufgrund von Abschätzungen erstellt wurden. In diesen Dar­ stellungen stehen die Bezugszeichen w, r, g, gr, c, b und m in entsprechender Reihenfolge für weiß, rot, gelb, grün, cyan, blau und magenta.

Man erkennt, daß der Farbkontrast bei der Urologie/Arthroskopie­ anwendung gemäß Fig. 6A im Rotgebiet erhöhbar ist, daß bei Anwendung in der minimalinvasiven Chirurgie gemäß Fig. 6B außer dem Rotfarbkontrast auch die Farben Grün und Gelb betonbar sind und daß schließlich bei der HNO-Anwendung in Fig. 6C die Farb­ kontraste im Grün- und Cyanbereich erhöhbar sind. Nach erfolgtem Weißabgleich befindet sich der Korrekturwert im Weißpunkt. Der Weißpunkt befindet sich immer auf der Verstellkurve und dient als Startpunkt. Ein nach erfolgter Korrektur sich ergebender Korrektur­ wert auf der charakteristischen Verstellkurve bleibt auch nach dem Abschalten der Steuereinrichtung erhalten und wird erst wieder nach erneutem Weißabgleich auf Null gesetzt.

Claims (8)

1. Vorrichtung zur Farbtonkorrektur bei von einer Videokamera (1), insbesondere Endoskopkamera, aufgenommenen Farbbil­ dern, wobei die Videokamera einen Wandler (9), der ein aufge­ nommenes Bild in ein elektrisches Farbsignal umsetzt, und eine Steuereinrichtung (3) aufweist, um den Farbton eines an einem Monitor (8) angezeigten Farbbildes, welches auf dem aufgenom­ menen Bild beruht, unabhängig von dem angezeigten Farbbild zu steuern, dadurch gekennzeichnet, daß die Steuereinrichtung (3) eine Funktion zum automatischen Weißabgleich (AWB) bei Betäti­ gung einer Weißabgleichstaste durch den Benutzer und Mittel aufweist, um wenigstens eine, eine Beziehung zwischen den Farbtonwerten der Grundfarben und einer wahlweise veränderlichen Korrekturgröße angebende, charakteristische Verstellkurve (VS) vorzugeben und nach ausgeführtem automatischen Weißabgleich abhängig von der gewählten Korrekturgröße die Farbtonwerte der Grundfarben ausschließlich nach Maßgabe einer einzigen der vorgegebenen Verstellkurven zu korrigieren.

2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß jede charakteristische Verstellkurve (VS) in Tabellenform in einem Speicher gespeichert ist und die Steuereinrichtung (3) die Korrek­ turwerte aus dem Speicher auf der Grundlage der jeweiligen Ein­ gabegröße ausliest.

3. Vorrichtung nach Anspruch 2, dadurch gekennzeichnet, daß im Speicher mehrere charakteristische Verstellkurven (VS) abhängig von der Art der verwendeten Endoskoplichtquelle gespeichert und je nach Anwendungsfall auswählbar sind.

4. Vorrichtung nach einem der Ansprüche 1 bis 3, dadurch ge­ kennzeichnet, daß mehrere charakteristische Verstellkurven (VS) im Speicher abhängig von dem medizinischen Anwendungsgebiet gespei­ chert und je nach Anwendungsfall auswählbar sind.

5. Vorrichtung nach einem oder mehreren der vorangehenden Ansprüche, dadurch gekennzeichnet, daß die Steuereinrichtung (3) eine Schnittstelle (6) zur Eingabe und zum Einspeichern einer oder mehrerer charakteristischer Verstellkurven (VS) aufweist.

6. Vorrichtung nach einem oder mehreren der vorangehenden Ansprüche, dadurch gekennzeichnet, daß die charakteristischen Ver­ stellkurven (VS) die Farbtonkorrektur von nur zwei Grundfarben darstellen und die dritte Grundfarbe daraus nach dem additiven Farbgesetz ermittelt wird.

7. Vorrichtung nach einem oder mehreren der vorangehenden Ansprüche, dadurch gekennzeichnet, daß mit der Steuereinrichtung (3) ein vom Benutzer bedienbarer, um 360° verdrehbarer, anschlag­ loser Drehregler (1) zur Eingabe der Korrekturgröße verbunden ist.

8. Vorrichtung nach einem oder mehreren der vorangehenden Ansprüche, dadurch gekennzeichnet, daß die Steuereinrichtung (3) eine Funktion zum automatischen Weißabgleich (AWB) auf Betäti­ gung einer Weißabgleichstaste durch den Benutzer aufweist.