DE102007022888B3

DE102007022888B3 - Verfahren und Vorrichtung zur Bildverarbeitung von Endoskopbildern

Info

Publication number: DE102007022888B3
Application number: DE102007022888A
Authority: DE
Inventors: Til Prof. Dr.-Ing. Aach; Thomas Stehle
Original assignee: Olympus Winter and Ibe GmbH
Current assignee: Olympus Winter and Ibe GmbH
Priority date: 2007-05-14
Filing date: 2007-05-14
Publication date: 2008-11-27
Anticipated expiration: 2027-05-15
Also published as: CN101442678A; CN101442678B; JP2008279261A; US20080284845A1; JP5388087B2

Abstract

Ein Verfahren zur Verbesserung von Bildern in einer Bildverarbeitungseinrichtung (5), der die Bilder von einer elektronischen Farb-Videokamera (3) eines medizinischen Endoskopes (1) zugeführt werden, um anschließend an eine Bilddarstellungseinrichtung (7) weitergegeben zu werden, und ein nach diesem Verfahren arbeitendes Endoskop sind dadurch gekennzeichnet, dass zunächst pixelweise die Farbkomponenten (R, G, B) aus dem von der Videokamera verwendeten Farbraum (RGB) in einen Farbraum (HSL) transformiert werden, in dem die Farbsättigung (S) von den anderen Komponenten (H, L) unabhängig ist, dass sodann die Sättigungskomponente (S) jedes umzurechnenden Pixel mit einer nichtlinearen Kennlinie (11) umgerechnet wird, die die Differenzen der Farbsättigung zwischen einem oberen Bereich (b - 1) und einem unteren Bereich (0 - b) der Farbsättigung verstärkt, und dass schließlich die Pixel in einen zur Bilddarstellung geeigneten Farbraum (RGB) transformiert werden.

Description

Die Erfindung betrifft ein Verfahren nach dem Oberbegriff des Anspruches 1 sowie eine Vorrichtung nach dem Oberbegriff des Anspruches 6.
Bildverarbeitung wird auch in der medizinischen Endoskopie eingesetzt, um bestimmte Bildinhalte besser erkennbar zu machen.
Bekannte Verfahren und Vorrichtungen zur Bildverarbeitung werden in der medizinischen Endoskopie verwendet, um z. B. bestimmte Färbungen hervorzuheben, Organstrukturen in schwach strukturierten Bildern hervorzuheben und dergleichen. Es werden dazu die üblichen Maßnahmen der Bildverarbeitung ergriffen, wie z. B. Kontrastverstärkung, Farbveränderungen und dergleichen.
Ein bisher nicht befriedigend lösbares Problem stellen weißliche Gewebestrukturen dar. Dies sind insbesondere Fascien, also dünne, durchscheinende Häute und auch Nerven. Solche Gewebe haben kaum Eigenfarbe, sind durchscheinend und ergeben einen optischen Eindruck, der als weißlich oder milchig beschrieben werden kann. Die Farben darunter liegender Organe schimmern abgeschwächt durch.
Solche weißlichen Gewebestrukturen wie Fascien oder Nerven, die üblicherweise über darunter liegenden kräftig gefärbten Organen liegen, sind in der Regel schwer zu erkennen. Mit den üblichen Bildverarbeitungstechniken lassen sie sich nur unzureichend in der Erkennbarkeit verbessern.
Aus der US 4,805,016 A ist ein gattungsgemäßes Verfahren bekannt. Die US 2005/0276470 A1 beschreibt in einem anderen Zusammenhang ein Verfahren zur Farbraumtransformation. Beide Schriften gehen nicht auf die Probleme weißlicher Gewebestrukturen ein.
Die Aufgabe der vorliegenden Erfindung besteht daher darin, mit Mitteln der Bildverarbeitung weißlich milchige Gewebestrukturen besser sichtbar zu machen.
Diese Aufgabe wird mit den Merkmalen des Kennzeichnungsteiles des Anspruches 1 sowie des Anspruches 6 gelöst.
Die Erfindung geht von der Erkenntnis aus, dass ein weißlich milchiger, durchscheinender Bildeindruck nicht durch die Helligkeit oder den Farbton, sondern am besten durch die Farbsättigung beschreibbar ist. Durch Veränderung der Farbsättigung kann daher der milchig weißliche Eindruck verstärkt werden. Dabei soll aber nach Möglichkeit der sonstige Bildeindruck unverändert bleiben. Die Erfindung sieht daher vor, dass bei der Bildverarbeitung pixelweise die Farbwerte umgerechnet werden, und zwar werden zunächst die Farbkomponenten der Pixel, die von der Videokamera in einem bestimmten Farbraum erzeugt werden, z. B. üblicherweise im RGB-Farbraum (Rot, Grün, Blau), in einen Farbraum transformiert, in dem die Farbsättigung von den anderen Komponenten unabhängig ist. Hierzu ist z. B. der HSL-Farbraum (Farbton, Sättigung, Helligkeit) geeignet oder der HSV-Farbraum (Farbton, Sättigung, Intensität). In diesem neuen Farbraum, in dem die Sättigung eine linear unabhängige Komponente bildet, die unabhängig von den anderen Komponenten bearbeitet werden kann, wird nun die Farbsättigung S pixelweise mit einer nichtlinearen Kennlinie von einem Eingangssignal in ein Ausgangssignal umgerechnet, wobei die Kennlinie derart ausgebildet ist, daß sie Differenzen der Farbsättigung zwischen einem Bereich höherer Farbsättigung und einem Bereich niedrigerer Farbsättigung verstärkt. Anschließend wird pixelweise in einen Farbraum transformiert, der zur Bilddarstellung geeignet ist. Üblicherweise ist dies wiederum der RGB-Farbraum. Mit dieser Bildverarbeitung wird die Farbsättigung verändert, wobei die übrigen Farbkomponenten, nämlich der Farbton bzw. die Helligkeit, unverändert bleiben. Da die Farbsättigung dem hervorzuhebenden weißlich milchigen Eindruck der hervorzuhebenden Strukturen entspricht, lassen sich diese gegenüber umgebenden Bereichen hervorheben. Es gelingt damit, schwierig zu erkennende Fascien sehr gut sichtbar zu machen. Ebenso lassen sich auch schwierig zu erkennende Nerven deutlich hervorheben. Da nur die Farbsättigung beeinflusst wird und nicht der Farbton oder die Helligkeit, ergibt sich bei dieser Bildverarbeitung ein im wesentlichen unveränderter Bildeindruck hinsichtlich sonstiger Bilddetails.
Bei der Umrechnung der Farbsättigung kann die Kennlinie z. B. derart gewählt werden, dass Bereiche höherer Sättigung verstärkt werden, um den Farbsättigungskontrast gegenüber den schwächer gesättigten Fascien oder Nerven zu verstärken. Vorzuziehen ist jedoch eine Kennlinie, die derart ausgebildet ist, dass in Bereichen geringerer Farbsättigung die Farbsättigung weiter abgeschwächt wird. Dadurch werden z. B. Fascien in ihrem milchigen Eindruck verstärkt, und kräftig gefärbte sonstige Organe bleiben in ihrem Eindruck unverändert. Das Bild behält also einen natürlicheren Eindruck.
Erfindungsgemäß wird eine Kennlinie verwendet, die innerhalb des abschwächenden Bereiches bei höheren Farbsättigungen stärker abschwächt als bei niedrigeren Farbsättigungen. Damit wird beispielsweise bei der Darstellung einer unterschiedlich dicken Fascie erreicht, dass durch die Bildverarbeitung die dünneren und dickeren Bereiche optisch aneinander angeglichen werden, die Fascie also überall gleich gut sichtbar ist.
Vorteilhaft ist gemäß Anspruch 2 die Kennlinie verstellbar. Sie kann z. B. fest auf Werte einstellbar sein, die für das gesamte Bild gelten. Es kann z. B. eine für die Darstellung von bestimmten Fascien gut geeignete Kennlinie gewählt werden oder eine Kennlinie, die besonders gut zur Darstellung von Nerven geeignet ist. Die Kennlinie kann z. B. auch auf Identität umschaltbar sein, um die Farbsättigungsbeeinflussung völlig auszuschalten, damit das natürliche Bild betrachtet werden kann.
Andererseits ist es auch möglich, nach bestimmten Parametern von Pixel zu Pixel andere Kennlinien zu verwenden. So kann vorteilhaft gemäß Anspruch 3 die Kennlinie in Abhängigkeit von der Helligkeit und/oder dem Farbton des jeweiligen Pixels verstellt werden. Bei einer Helligkeitsabhängigkeit kann beispielsweise bei sehr dunklen Bildstellen eine lineare Kennlinie verwendet werden, um in solchen dunklen Bereichen Änderungen der Farbsättigung zu vermeiden und möglichst alle noch verfügbaren Bildeindrücke beizubehalten. Bei Farbtonabhängigkeit kann z. B. dafür gesorgt werden, dass bestimmte Farben, die z. B. bei Fascien nicht vorkommen, in der Farbsättigung unverändert bleiben, um hier wiederum den natürlichen Bildeindruck aufrecht zu erhalten.
Vorteilhaft kann gemäß Anspruch 4 die Kennlinie in Abhängigkeit von Strukturinformationsdaten des Bildes verstellt werden. Dabei muss bei jeder Pixelberech nung das Gesamtbild berücksichtigt werden, in dem mit anderen Bildverarbeitungstechniken Strukturen ermittelt werden, wie z. B. Organränder. So kann mit derartigen Mitteln erreicht werden, z. B. den Rand einer Fascie zu erkennen und an diesem Rand die Fascie besonders stark durch Beeinflussung der Farbsättigung gegenüber dem angrenzenden Gewebe hervorzuheben.
Gemäß Anspruch 5 können vorzugsweise auch statistische Daten des Gesamtbildes zur Beeinflussung der Kennlinie verwendet werden. Wie aus Handbüchern zur Bildverarbeitung bekannt, sind hierzu insbesondere Histogrammberechnungen geeignet. Es kann z. B. die bei der Bildverarbeitung übliche Histogrammspreizung oder Histogrammäqualisation verwendet werden. Damit können die Farbsättigungen im verfügbaren Wertebereich optimal verteilt werden.
Anspruch 6 stellt ein nach dem erfindungsgemäßen Verfahren arbeitendes medizinisches Endoskop unter Schutz.
In den Zeichnungen ist die Erfindung beispielsweise und schematisch dargestellt.
Es zeigen:
1 eine schematische Ansicht eines Endoskopes mit Bildverarbeitungseinrichtung und Bilddarstellungseinrichtung,
2 eine vergrößerte schematische Darstellung der Bildverarbeitungseinrichtung,
3 ein Diagramm der verwendeten Sättigungskennlinie und
4 einen Schnitt durch ein Körperorgan mit zwei aufliegenden Fascien.
1 zeigt ein medizinisches Endoskop 1 mit einem langgstreckten Schaft 2, an dessen proximalem Ende eine Farb-Videokamera 3 angeordnet ist. In anderer Ausführung kann die Kamera 3 auch im distalen Endbereich des Schaftes 2 unmittelbar hinter dem dort vorgesehenen Objektiv angeordnet sein.
Die Farb-Videokamera 3 ist mit einer Leitung 4, die zur Datenübertragung und beispielsweise auch zur Stromversorgung dient, mit einer Bildbearbeitungseinrichtung 5 verbunden, um dieser Bilddaten zuzuführen. Die Bildverarbeitungsvorrichtung 5 ist mit einer Leitung 6 an eine Bilddarstellungseinrichtung 7 angeschlossen, z. B. einen handelsüblichen Monitor.
Das Endoskop 1 kann beispielsweise in der Laparoskopie verwendet werden und wird dann durch eine Einstichöffnung im Bauchraum mit seinem Schaft 2 in den Bauchraum eingeführt, um dort im Bauch liegende Organe betrachten zu können. Dabei wird von der Farb-Videokamera 3 das betrachtete Bild aufgenommen, an die Bildverarbeitungsvorrichtung 5 übertragen, dort aufbereitet und sodann auf der Bilddarstellungseinrichtung 7 zur Anzeige gebracht.
2 zeigt die Bildverarbeitungsvorrichtung 5 im Detail. Sie weist drei Stufen 8, 9, 10 auf, in denen die Pixel des Bildes nacheinander verarbeitet werden.
In der ersten Stufe 8 wird pixelweise aus dem RGB-Farbraum, den im Ausführungsbeispiel die Farb-Videokamera 3 verwendet, bzw. aus einem anderen von der Kamera verwendeten Bildraum in einen anderen Farbraum umgerechnet, in dem die Sättigung S von den übrigen Farbkomponenten unabhängig ist. Im Ausführungsbeispiel wird der HSL-Farbraum verwendet (Hue = Farbton, Saturation = Farbsättigung, Lightness = Helligkeit). Es kann auch der üblicherweise verwendete HSV-Farbraum (Value = Intensität) verwendet werden.
In der zweiten Bildverarbeitungsstufe 9 wird im HSL-Farbraum die Farbsättigung S mit einer Kennlinie 11 umgerechnet. Anschließend wird in der dritten Stufe 10 der Bildverarbeitung das HSL-Signal mit den umgerechneten Sättigungswerten wieder zurücktransformiert in den RGB-Raum, der im Ausführungsbeispiel zur Darstellung auf der Bilddarstellungseinrichtung 7 geeignet ist. Es kann auch in einen anderen Farbraum umgerechnet werden, der für eine andere Bilddarstellungseinrichtung besser geeignet ist.
Anders als in 1 dargestellt, kann die Bildverarbeitungsvorrichtung 5 auch in das Endoskop 1 oder in die Bilddarstellungseinrichtung 7 integriert sein.
3 zeigt die Kennlinie 11 in einem Diagramm, in dem die Input-Werte auf der Abszisse gegen die Output-Werte auf der Ordinate aufgetragen sind, und zwar jeweils mit Sättigungswerten zwischen 0 und 1.
Im folgenden wird die in der 3 beispielsweise angegebene Kennlinie 11 diskutiert. Dabei sind Punkte auf der Kennlinie 11 mit ihren der Eingangsfarbsättigung entsprechenden Abszissenwerten bezeichnet.
Die Kennlinie 11 hat zwei auf der ansteigenden Diagonalen liegende Abschnitte zwischen den Punkten 0 und a und zwischen den Punkten b und 1. In diesen Bereichen wird die Farbsättigung identisch übertragen. In dem Bereich a–b weicht die Kennlinie von der Identität ab, und zwar derart, daß eine Abschwächung erfolgt. So zeigt die 3 beispielsweise, daß die Eingangsfarbsättigung 0,2 zu einer Ausgangsfarbsättigung 0,1 führt.
4 zeigt eine typische Anwendungssituation. Es ist im Schnitt ein Körperorgan 12 dargestellt, z. B. ein Darm, eine Leber oder dergleichen. Auf dem Organ 12 liegen im dargestellten, hypothetischen, zur Erläuterung der Erfindung dienenden Fall zwei Fascien 13, 14, die, wie 4 zeigt, das Organ 12 unterschiedlich weit überlappen. Wenn das Endoskop 1 das Organ 12 von oben betrachtet, so sieht es im rechten Teil der 4 das Organ selbst, sodann in einem mittleren Bereich das Organ unter Abdeckung nur mit der Fascie 13 und sodann im linken Bereich das Organ 12 unter Abdeckung mit beiden Fascien 13, 14.
Organe wie das Organ 12 sind meistens kräftig gefärbt, z. B. rötlich, bräunlich oder dergleichen. Die Fascien 13, 14 sind farblos milchig transparent, so daß dort die Farbe des Organs 12 durchscheint, jedoch mit verringerter Farbsättigung.
Bei Anwendung der Farbsättigungsrumrechnung mit der Kennlinie 11 der 3 ergibt sich im oberen Bereich der Farbsättigung, also im Bereich b–1 der Kennlinie 11, keine Veränderung. Das kräftig gefärbte Organ 12 wird also in seinem freiliegenden Oberflächenbereich unverändert dargestellt. In dem Bereich, in dem das Organ 12 nur mit der Fascie 13 abgedeckt ist, ergibt sich eine Verringerung der Farbsättigung, da diese im Bereich unterhalb von b liegt. Die Farbsättigung wird abgeschwächt, so daß sich der milchige Eindruck der Fascie 13 verstärkt. Dort wo die beiden Fascien 13, 14 übereinander liegen, ist die Farbsättigung besonders niedrig. Hier wird in der Nähe des Punktes a die Abschwächung der Farbsättigung geringer. In dem Bereich, wo die beiden Fascien 13, 14 übereinander liegen, wird die Farbsättigung also weniger stark abgeschwächt als dort, wo nur eine Fascie vorhanden ist. Der gesamte Bereich, in dem überhaupt Fascien vorhanden sind, wird also gleichmäßig in seinem milchigen Eindruck verstärkt wiedergegeben. Die Unterschiede innerhalb des Fascienbereiches werden abgeschwächt. Dies ist insbesondere wertvoll bei Fascien, die unterschiedlich dick sind und an einigen Stellen schwerer zu erkennen sind als an anderen Stellen. Sie werden im wesentlichen gleich dick dargestellt, so daß sie auch an dünnen Stellen gut erkannt werden.
Im Bereich zwischen 0 und a der Kennlinie 11 kann ebenfalls eine geringe Abschwächung erfolgen. Im dargestellten Ausführungsbeispiel der Kennlinie 11 wird hier jedoch die bereits sehr geringe Farbsättigung nicht mehr weiter abgeschwächt, da dies nicht zu einer weiteren Bildverbesserung führen würde.
Die Kennlinie 11 kann gegenüber der Darstellung der 3 verändert werden, um beispielsweise die unterschiedlich dicken Bereiche innerhalb mit Fascien bedeckter Bereiche hervorzuheben.
Die Kennlinie 11 kann z. B. auch auf Identität umgeschaltet werden und besteht dann aus der ansteigenden Diagonalen. Dann ist die Veränderung der Farbsättigung vollständig abgeschaltet und es kann das natürliche Bild betrachtet werden.
Die Kennlinie 11 kann z. B. so, wie in 3 dargestellt, für alle Pixel beibehalten werden. Sie kann aber auch von Pixel zu Pixel verändert werden, z. B. anhand der anderen Farbkomponenten H oder L des Pixels. Sie kann auch anhand von Daten der lokalen Nachbarschaft des Pixels verstellt werden, z. B. anhand von Strukturinformationen, oder kann anhand von Daten des Gesamtbildes z. B. von statistischen Daten verstellt werden.

Claims

Verfahren zur Verbesserung von Bildern in einer Bildverarbeitungseinrichtung (5), der die Bilder von einer elektronischen Farb-Videokamera (3) eines medizinischen Endoskopes (1) zugeführt werden, um anschließend an eine Bilddarstellungseinrichtung (7) weitergegeben zu werden, wobei zunächst pixelweise die Farbkomponenten (R, G, B) aus dem von der Videokamera verwendeten Farbraum (RGB) in einen Farbraum (HSL) transformiert werden, in dem die Farbsättigung (S) von den anderen Komponenten (H, L) unabhängig ist, wobei sodann die Sättigungskomponente (S) jedes umzurechnenden Pixel mit einer nichtlinearen Kennlinie (11) umgerechnet wird, die die Dif ferenzen der Farbsättigung zwischen einem oberen Bereich (b–1) und einem unteren Bereich (0–b) der Farbsättigung dadurch verstärkt, dass in einem Bereich geringerer Farbsättigung (0–b) die Farbsättigung abgeschwächt wird, wobei schließlich die Pixel in einen zur Bilddarstellung geeigneten Farbraum (RGB) transformiert werden, dadurch gekennzeichnet, dass innerhalb des abschwächenden Bereiches (0–b) der Farbsättigung höhere Farbsättigungen (a–b) stärker abgeschwächt werden als niedrigere (0–a).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Kennlinie (11) verstellbar ausgebildet ist.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Kennlinie (11) in Abhängigkeit von der Helligkeit (L) und/oder dem Farbton (H) des jeweiligen Pixels verstellt wird.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Kennlinie (11) in Abhängigkeit von Strukturinformationsdaten des Bildes verstellt wird.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Kennlinie (11) in Abhängigkeit von statistischen Daten des Bildes verstellt wird.
Medizinisches Endoskop (1) mit einer Farb-Videokamera (3), einer daran angeschlossenen Bildverarbeitungseinrichtung (5) und einer daran ange schlossenen Bilddarstellungseinrichtung (7), dadurch gekennzeichnet, dass die Bildverarbeitungseinrichtung (5) zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche ausgebildet ist.