DE102019134799B3

DE102019134799B3 - Bildaufnahmeverfahren unter Verwendung einer Farbtransformation sowie zugehöriges medizinisches Bildaufnahmesystem

Info

Publication number: DE102019134799B3
Application number: DE102019134799.8A
Authority: DE
Inventors: Andreas Hille; Sébastien Weitbruch; Jonathan SCHULZ
Original assignee: Schoelly Fiberoptic GmbH
Current assignee: Schoelly Fiberoptic GmbH
Priority date: 2019-12-17
Filing date: 2019-12-17
Publication date: 2021-03-25
Anticipated expiration: 2039-12-18
Also published as: CN112995586A; US20210183059A1

Abstract

Medizinisches Bildaufnahmeverfahren zur Verbesserung der Erkennung von Objekten anhand charakteristischer Farben in einem Farbbild (1), welches mit einem Bildsensor (23) eines medizinischen Bildaufnahmesystems aufgenommen wurde, wobei zunächst ein Farbwert (6) eines von einem Benutzer ausgewählten Bildbereichs (2) des Farbbilds (1) zumindest teilweise computerimplementiert bestimmt wird und dass anschließend basierend auf dem bestimmten Farbwert (6) eine Farbtransformation auf das Farbbild (1) angewandt wird, welche den Farbabstand zwischen Bildbereichen (2, 10) des Farbbilds (1), die eine Farbidentität oder Farbähnlichkeit zu dem bestimmten Farbwert (6) aufweisen, und übrigen nicht-farbähnlichen Bildbereichen (3) des Farbbilds (1) vergrößert.

Description

Die Erfindung betrifft ein Bildaufnahmeverfahren, bei dem mit einem Bildsensor eines medizinischen Bildaufnahmesystems (also beispielsweise eines Endoskopiesystems, eines Digitalmikroskops oder etwa eines Exoskops) eine Sequenz von Farbbildern aufgenommen wird, wobei wenigstens eines der Farbbilder der Sequenz einer Farbtransformation unterworfen wird, um eine gewünschte Darstellung des Farbbilds auf einem Monitor zu erzeugen. Hierbei kann die Sequenz als eine Folge von Standbildern und/oder insbesondere als ein Videobilddatenstrom aufgezeichnet werden.
Daneben betrifft die Erfindung ein Verfahren zum Aufzeichnen einer Sequenz von Farbbildern.
Schließlich betrifft die Erfindung ein zugehöriges medizinisches Bildaufnahmesystem, welches einen Bildsensor umfasst und vorzugsweise auch eine Kamerasteuerungseinheit.
Derartige Verfahren sind bekannt und werden beispielsweise bei chirurgischen Eingriffen eingesetzt, die unter Beobachtung mit einem Video-Endoskop, erfolgen. Zu diesen Eingriffen gehören insbesondere Operationen, bei denen ein spezifisches malignes Gewebe im Körperinnern eines Patienten mit Hilfe von dem Patienten verabreichten Farbstoffen eingefärbt wird, um diese Gewebeanteile von gesundem Gewebe differenzieren und entsprechend chirurgisch entfernen zu können. Man spricht in diesem Zusammenhang von sogenannter Chromoendoskopie, da das maligne Gewebe mit Hilfe eines Endoskops und unter Einsatz eines von dem Farbstoff bereitgestellten Chromophors identifiziert wird.
Hierzu werden Farbstoffe wie Methylenblau oder Indigokarmin auf ein zu untersuchendes Gewebe gesprüht, um so insbesondere Veränderungen von Schleimhäuten mit vergrößertem Farbabstand, d.h. durch farbliche Hervorhebung, darstellen zu können und insbesondere maligne Veränderungen des Gewebes erkennen zu können.
Diese Identifikation erfolgt bislang durch den Operateur selbst, der anhand einzelner oder fortlaufender Bilder der aufgezeichneten Bildsequenz das maligne Gewebe anhand eines charakteristischen Farbtons des Chromophors erkennt. Dabei besteht für den Operateur die Aufgabe, in einer jeweiligen komplexen Szenerie eines endoskopisch aufgenommenen Bildes möglichst sämtliche Gewebeanteile in dem jeweiligen Bild zu erkennen, die den charakteristischen Farbton des verwendeten Farbstoffs, zum Beispiel Dunkelblau im Falle von Methylblau, zeigen, um so möglichst vollständig sämtliches malignes Gewebe entfernen zu können. Diese Selektion des malignen Gewebes in dem jeweiligen Farbbild anhand des Farbtons ist für den Operateur herausfordernd, gerade auch deshalb, weil die Selektion bzw. Identifizierung stark von der Qualität der Bilddarstellung, der spezifischen Szene und der eingestellten Beleuchtung abhängig ist.
Aus EP 3 437 542 A1 ist bereits ein Bildaufnahmeverfahren sowie eine zugehöriges Endoskopiesystem bekannt, bei welchem mittels einer Farbkonversion, Farbtonwerte („hue“) als auch Farbsättigungswerte („saturation“) einzelner Pixel angepasst werden, um die Darstellung von Fluoreszenzfarbbildern zu optimieren.
Aufgabe der Erfindung ist es vor diesem Hintergrund, ein Verfahren vorzuschlagen, welches den Operateur bei der zuvor erwähnten Selektion von malignem Gewebe unterstützt. Insbesondere soll die Fehleranfälligkeit im Vergleich zu bisherigen Verfahren verringert werden.
Zur Lösung dieser Aufgabe sind erfindungsgemäß bei einem Bildaufnahmeverfahren die Merkmale von Anspruch 1 vorgesehen. Insbesondere wird somit erfindungsgemäß zur Lösung der Aufgabe bei einem Bildaufnahmeverfahren der eingangs genannten Art vorgeschlagen, dass in einem der Farbbilder der Sequenz ein Bildbereich ausgewählt wird, dass ein Farbwert des ausgewählten Bildbereichs ermittelt wird und dass die Farbtransformation auf Basis des ermittelten Farbwertes so angewendet wird, dass ein farblicher Abstand (= Farbabstand) zwischen dem ermittelten Farbwert und übrigen Farbwerten von nicht-ausgewählten Bildbereichen des wenigstens einen Farbbilds vergrößert wird.
Hierbei kann das Farbbild, in welchem der Bildbereich zur Ermittlung des Farbwerts ausgewählt wird, insbesondere ein erstes Farbbild der Bildsequenz sein.
Unter Farbwert kann hier beispielsweise ein Farbtonwert (z.B. ein Hue-Wert) ein Farbsättigungswert (z.B. ein „saturation value“) oder ein Farbhelligkeitswert verstanden werden. Es können aber auch Farbwerte gewonnen werden, die aus einer Kombination solcher Farbgrößen berechnet werden, etwa ein Farbwert, der sowohl Farbsättigungswerte als auch Farbtonwerte berücksichtigt.
Die Farbbilder der Bildsequenz können ferner identische oder aber unterschiedliche Szenarien wiedergeben. Letzteres wird beispielsweise dann der Fall sein, wenn die Bildsequenz in Form eines Videobilddatenstroms fortlaufend aufgezeichnet wird.
Die Bildsequenz kann zum Beispiel auch aus einem ersten Standbild und einem zugehörigen Videobilddatenstrom bestehen. Hierbei kann das Standbild aus dem Videobilddatenstrom gewonnen worden sein oder separat von dem Videobilddatenstrom aufgezeichnet worden sein. Ferner kann der Bildbereich zur Ermittlung des Farbwerts in dem Standbild ausgewählt werden, und die Farbtransformation kann auf die Farbbilder des Videobilddatenstroms angewendet werden.
Das wenigstens eine Farbbild, auf welches die besagte Farbtransformation angewandt wird, kann somit ein einzelnes Farbbild der Farbsequenz sein oder aber eine Vielzahl an Farbbildern, insbesondere also eine eigene Sequenz von Farbbildern.
Mit anderen Worten schlägt die Erfindung vor, einen ausgewählten Bildbereich anhand seines ermittelten Farbwerts von anderen nicht-ausgewählten Bereichen farblich hervorzuheben, indem ein Farbabstand zwischen dem ermittelten Farbwert des ausgewählten Bildbereichs und Farbwerten innerhalb von nicht ausgewählten Bildbereichen, die von dem ermittelten Farbwert abweichen, vergrößert wird. Im Ergebnis erhöht das Verfahren somit den für einen Benutzer wahrnehmbaren Farbabstand zwischen dem ausgewählten Bildbereich und den nicht-ausgewählten Bildbereichen. Dabei weisen die nicht-ausgewählten Bildbereiche Farbwerte auf, die von dem ermittelten Farbwert des ausgewählten Bildbereichs abweichen und diesem farblich unähnlich sind.
Durch die Vergrößerung des Farbabstands kann somit eine computerunterstützte visuelle Differenzierung von selektierten und nicht-selektierten Bildbereichen erfolgen. Wie noch genauer zu erläutern sein wird, kann die Vergrößerung des besagten Farbabstands insbesondere durch Manipulation von Farbtonwerten, Farbsättigungswerten, oder etwa Farbhelligkeitswerten geschehen.
Von Vorteil ist bei diesem Verfahren zunächst, dass ein bereits mit dem menschlichen Auge erkennbarer Farbunterschied beziehungsweise Farbabstand zwischen dem ausgewählten Bildbereich und übrigen Bildbereichen des Farbbilds stark vergrößert werden kann. Dadurch wird zunächst die Wahrnehmung des ausgewählten Bildbereichs verbessert.
Wie noch genauer zu zeigen sein wird, kann zudem die Farbabstandsvergrößerung auch auf weitere Bildbereiche ausgedehnt werden, die dem ausgewählten Bildbereich farblich nahe stehen. Dadurch können farblich verwandte Bildgebiete von farblich weiter entfernt liegenden Gebieten besser unterschieden werden. Wie eingangs erläutert wurde, liegt der praktische Nutzen dieses technischen Effekts in medizinischen Anwendungen in einer verbesserten Unterscheidung von farblich nur schwach unterschiedlichem Gewebe und damit schlussendlich in einer sichereren Diagnostik.
Die Erfindung ist auf alle gängigen Bildaufnahmeverfahren anwendbar, worunter neben Bildaufnahmeverfahren basierend auf Farbstoffen zum Einfärben von Gewebe auch auf Fluoreszenz basierende Bildaufnahmeverfahren zu zählen sind, bei denen mit Hilfe eines Fluorophors und unter Verwendung von speziell auf das jeweilige Fluorophor abgestimmtem Anregungslicht ein charakteristischer Farbton erzeugt wird.
Unter einer Farbtransformation im Sinne der Erfindung kann zunächst insbesondere eine Transformation von Bilddaten zwischen standardisierten Farbräumen, etwa vom RGB-Farbraum in den HSV-Farbraum, verstanden werden. Bei einer solchen Transformation werden Farbwerte wie Farbtonwerte (z.B. Hue-Werte), Farbhelligkeitswerte und Farbsättigungswerte typischerweise unverändert beibehalten.
Darüber hinaus können bei einer erfindungsgemäßen Farbtransformationen solche Werte jedoch auch verändert werden, um die Darstellung des Farbbilds auf dem Monitor für eine jeweilige Anwendung, beispielsweise eine OP-Situation, zu verbessern. Somit kann die Farbtransformation insbesondere eine Verarbeitung und Abänderung von Farbwerten, insbesondere in Form von Farbkoordinaten, umfassen. Im Ergebnis führt die Farbtransformation somit zu einer Vergrößerung des besagten farblichen Abstands.
Die Farbtransformation kann beispielsweise von einer Kamerasteuerungseinheit, genauer in einem FPGA einer Kamerasteuerungseinheit, eines medizinischen Bildaufnahmesystems (also etwa eines Endoskopiesystems, eines Digitalmikroskops oder eines Exoskops) ausgeführt werden, mit Hilfe dessen das erfindungsgemäße Verfahren angewandt wird. Dazu kann die von dem FPGA auszuführende Farbtransformation in entsprechenden Speicherzellen, beispielsweise Registern, abgelegt sein, sodass das Verfahren automatisiert ausführbar ist.
Eine Segmentierung des Farbbildes in Farbsegmente anhand von erkannten Objekten, d.h. Bildstrukturen, stellt eine weitere Möglichkeit zur Erhöhung des Farbabstands von einzelnen Strukturen innerhalb des Farbbildes dar. Gegenüber diesem Ansatz hat die Erfindung jedoch den Vorteil, dass eine erneute Erkennung des farblich hervorzuhebenden Objektes gerade nicht notwendig ist. Vielmehr greift das erfindungsgemäße Verfahren direkt in eine Farb- d.h. Bildbearbeitung des mit dem Bildsensor aufgenommenen Farbbildes ein und zwar unabhängig von einem tatsächlich dargestellten Bildinhalt.
Diese Vorteile kommen besonders dann zum Tragen, wenn sich die Form des mit dem Bildsensor beobachteten Objektes verändert, beispielsweise weil Teile eines Gewebes entnommen werden oder weil eine Formveränderung des Gewebes eintritt. Eine derartige Änderung der Aufnahmeszene kann aber beispielsweise auch bereits durch ein bloßes Hinein- oder Herauszoomen entstehen.
In allen diesen Fällen verändern sich zwar die Bildstrukturen; die durch das erfindungsgemäße Verfahren bereitgestellte Vergrößerung des Farbabstandes bleibt dabei aber erhalten, da sie nicht auf dem Erkennen von Bildstrukturen, sondern von Farbwerten beruht. Dies zeigt die Robustheit des erfindungsgemäßen Verfahrens.
Zudem kann das erfindungsgemäße Verfahren nach einmaliger Bestimmung des Farbwerts des ausgewählten Bildbereichs eines Einzelbilds fortlaufend auf eine Sequenz von Farbbildern, etwa eines mit einem Bildsensor aufgenommenen Videobilddatenstroms, angewendet werden, ohne jedes Mal bestimmte Strukturen erneut erkennen zu müssen. Dadurch sind die Anforderungen bzgl. einer notwendigen Rechenleistung zur Ausführung des Verfahrens gering im Vergleich zu Verfahren, die auf ständig zu wiederholender Strukturerkennung beruhen.
Erfindungsgemäß kann die Aufgabe auch durch weitere vorteilhafte Ausführungen gemäß den Unteransprüchen gelöst werden.
So kann der besagte farbliche Abstand zwischen dem ermittelten Farbwert und übrigen Farbwerten von nicht-ausgewählten Bildbereichen des wenigstens einen Farbbilds beispielsweise ein Farbsättigungswertabstand, insbesondere ein Abstand von S-Werten, sein. Wie noch genauer zu erläutern sein wird, kann der farbliche Abstand demnach vergrößert werden, indem Farbsättigungswerte des ausgewählten Bildbereichs und/oder der übrigen nicht-ausgewählten Bildbereiche unter Berücksichtigung des ermittelten Farbwertes, insbesondere eines ermittelten Farbsättigungswerts, angepasst werden. Beispielsweise kann der farbliche Abstand vergrößert werden, indem Farbsättigungswerte des ausgewählten Bildbereichs erhöht werden und/oder Farbsättigungswerte der nicht-ausgewählten Bildbereiche herabgesetzt werden, wobei auch ein umgekehrtes Vorgehen (Absenken von Farbsättigungswerten des ausgewählten Bildbereichs und/oder Anheben von Farbsättigungswerten der nicht-ausgewählten Bildbereiche) möglich aber wegen schlechterer Erkennbarkeit der ausgewählten Bildbereiche in der Regel nicht empfehlenswert ist.
In analoger Weise kann der farbliche Abstand auch ein Farbtonwertabstand, also beispielsweise ein Abstand von Hue-Werten, sein. Somit kann der farbliche Abstand vergrößert werden, indem Farbtonwerte des ausgewählten Bildbereichs und/oder der übrigen nicht-ausgewählten Bildbereiche unter Berücksichtigung des ermittelten Farbwerts, insbesondere eines ermittelten Farbtonwerts, angepasst werden. Beispielsweise kann der farbliche Abstand erhöht werden, indem Farbtonwerte des ausgewählten Bildbereichs erhöht werden und/oder Farbtonwerte der der nicht-ausgewählten Bildbereiche herabgesetzt werden, wobei auch ein umgekehrtes Vorgehen möglich ist.
Schließlich kann der farbliche Abstand auch ein Farbhelligkeitswertabstand, also beispielsweise ein Abstand von V-Werten, sein. Somit kann der farbliche Abstand vergrößert werden, indem Farbhelligkeitswerte des ausgewählten Bildbereichs und/oder der übrigen nicht-ausgewählten Bildbereiche unter Berücksichtigung des ermittelten Farbwertes, insbesondere eines ermittelten Farbhelligkeitswerts, angepasst werden. Beispielsweise kann der farbliche Abstand erhöht werden, indem Farbhelligkeitswerte des ausgewählten Bildbereichs erhöht werden und/oder Farbhelligkeitswerte der der nicht-ausgewählten Bildbereiche herabgesetzt werden, wobei auch hier ein umgekehrtes Vorgehen möglich ist.
Schließlich können diese drei Ansätze zur Vergrößerung des Farbabstands auch in Kombination eingesetzt werden (Vgl. insbesondere das Ausführungsbeispiel gemäß 9). Demnach kann die Farbtransformation in einer Vergrößerung eines Farbsättigungswertabstands und/oder eines Farbtonwertabstands und/oder eines Farbhelligkeitswertabstand resultieren. Dies kann sich jeweils auf einen Vergleich zwischen dem ausgewählten Bildbereich und den nicht-ausgewählten Bildbereichen beziehen.
Der besagte Bildbereich kann bevorzugt anhand eines charakteristischen Farbtons, insbesondere von einem Benutzer oder aber computerunterstützt oder computerimplementiert, ausgewählt werden. Dabei kann der charakteristische Farbton beispielsweise mittels eines Farbstoffs erzeugt werden, mit dem Gewebe einfärbbar ist. Oder aber der charakteristische Farbton ist ein natürlicher Farbton eines, insbesondere malignen, Gewebes. Das heißt das erfindungsgemäße Verfahren lässt sich insbesondere in der Chromoendoskopie einsetzen.
Für eine anwenderfreundliche Ausgestaltung des Verfahrens ist es besonders günstig, wenn einem Benutzer der von ihm auszuwählende und/oder der von ihm bereits ausgewählte Bildbereich auf dem Monitor angezeigt wird. Denn dadurch wird der Benutzer in die Lage versetzt, seine Auswahlentscheidung überprüfen und gegebenenfalls korrigieren zu können.
Anhand des ermittelten Farbwerts können weitere Bildbereiche des mindestens einen Farbbilds, auf welches die Farbtransformation angewandt werden soll, insbesondere solche Bildbereiche, welche ebenfalls den ermittelten Farbwert aufweisen, automatisiert selektiert werden. Diese weiteren Bildbereiche bilden somit einen Teil der ursprünglich nicht-ausgewählten Bildbereiche des Farbbilds. Durch diese automatische Selektion wird der Benutzer stark entlastet, da nun ohne größeren Zeitaufwand auch schwer zu erkennende Bildbereiche selektiert werden können, die den ermittelten Farbwert aufweisen.
Ganz besonders vorteilhaft ist es in diesem Fall, wenn die Farbtransformation zur Erhöhung des Farbabstands auf die automatisiert selektierten weiteren Bildbereiche angewandt wird. Denn dadurch werden diese weiteren Bildbereiche für den Benutzer besser erkennbar und damit überprüfbar, da sie einheitlich erscheinen im Vergleich zu dem von dem Benutzer ausgewählten Bildbereich, auf den die Farbtransformation bereits angewandt wurde. Dieser Ansatz kann für alle drei zuvor vorgestellten Ansätze zur Vergrößerung des Farbabstands angewendet werden. Somit kann die Farbtransformation zur Erhöhung des Farbabstands, die auf die automatisiert selektierten weiteren Bildbereiche angewandt wird, sowohl Farbtonwerte und/oder Farbsättigungswerte und/oder Farbhelligkeitswerte der automatisiert selektierten weiteren Bildbereiche entsprechend anpassen.
Hierbei können die automatisiert selektieren weiteren Bildbereiche insbesondere weitere Bildpixel aufweisen mit Farbwerten, die von dem ermittelten Farbwert abweichen. Denn beispielsweise durch eine jeweilige Mittelwertbildung können auch solche Bildbereiche automatisiert selektiert werden, die möglicherweise keine Bildpixel mit exakt dem ermittelten Farbwert aufweisen, jedoch Bildpixel, die im Mittel eine hohe farbliche Ähnlichkeit zu dem ausgewählten Bildbereich aufweisen und damit innerhalb eines Farbähnlichkeitsraums zu dem bestimmten Farbwert liegen, wie noch genauer zu erläutern sein wird.
Der ermittelte Farbwert kann beispielsweise anhand eines statistischen Werts, berechnet von Bildpixeln des ausgewählten Bildbereichs, also insbesondere anhand eines Mittelwerts, ermittelt werden. Hierzu können vorzugsweise RGB-Werte dieser Bildpixel verarbeitet werden.
Gemäß einer spezifischen Ausgestaltung kann bei der Farbtransformation ein Ausgangssignal, insbesondere ein Rohdatensignal, des Bildsensors, vorzugsweise in Form eines RGB-Signals, in ein Signal in einem hue-basierten Farbraum umgewandelt werden. Ein solches hue-basiertes Signal kann zum Beispiel ein HSV-Signal sein.
Unter HSV-Farbraum kann hier insbesondere ein Farbraum verstanden werden, in welchem Farben mit Hilfe von drei Koordinaten, nämlich Farbtonwert (englisch: hue = H), Farbsättigungswert (englisch: saturation = S) und Farbhelligkeitswert (englisch: value = V), definiert sind. Hierbei kann der Farbtonwert beispielsweise als Farbwinkel auf dem Farbkreis (zum Beispiel 0° für Rot, 120° für Grün, 240° für Blau) angegeben werden, während die Farbsättigung Werte zwischen 0% (= Neutralgrau), 50% (= wenig gesättigte Farbe) und 100% (= voll gesättigte, reine Spektralfarbe) annehmen und der Helligkeitswert in einem Intervall zwischen 0% und 100% (0% = keine Helligkeit, 100% = volle Helligkeit) liegen kann.
Es ist ferner bekannt, dass anstatt des Hellwerts (V) auch andere Größen zur Farbdarstellung herangezogen werden können. Daher sind weitere mögliche hue-basierte Farbräume, die ebenfalls erfindungsgemäß genutzt werden können, der HSL-Farbraum basierend auf einer relativen Helligkeit (L = lightness), der HSB-Farbraum basierend auf einer absoluten Helligkeit (B = brightness) und der HSI-Farbraum, basierend auf einer Lichtintensität (I = intensity).
Gemäß einer bevorzugten Variante ist der ermittelte Farbwert des ausgewählten Bildbereichs ein Hue-Wert, also ein Farbtonwert. Dieser Hue-Wert kann beispielsweise gemittelt sein über Bildpixel des ausgewählten Bildbereichs.
Ferner ist es bevorzugt, wenn ein, insbesondere mittlerer, Farbsättigungswert des ausgewählten Bildbereichs anhand des Signals im hue-basierten Farbraum, also insbesondere anhand des HSV-Signals, ermittelt wird.
Die besagte Farbtransformation kann somit unter Berücksichtigung des ermittelten Hue-Werts und/oder des ermittelten Farbsättigungswerts erfolgen (Vgl. dazu insbesondere das Ausführungsbeispiel gemäß 9). Hierbei schlägt eine besonders bevorzugte Ausgestaltung des Verfahrens vor, dass Farbsättigungswerte des mindestens einen Farbbilds anhand des ermittelten Farbsättigungswerts mittels der Farbtransformation angepasst werden.
Zur finalen Darstellung des mindestens einen Farbbilds auf dem Monitor kann das gewonnene HSV-Signal nach erfolgter Manipulation der Farbsättigungswerte und/oder der Farbtonwerte und/oder der Farbhelligkeitswerte des Farbbilds anschließend wieder in den RGB-Raum zurück transformiert werden.
Dabei kann die Manipulation der Farbsättigungswerte bevorzugt anhand des ermittelten Sättigungswerts des ausgewählten Bildbereichs vorgenommen werden. In analoger Weise kann die Manipulation der Farbhelligkeitswerte anhand eines ermittelten Farbhelligkeitswerts und/oder die Manipulation der Farbtonwerte anhand eines ermittelten Farbtonwerts erfolgen.
Um den farblichen Abstand zwischen dem ermittelten Farbwert des ausgewählten Bildbereichs und übrigen Farbwerten von nicht-ausgewählten Bildbereichen des mindestens einen Farbbilds zu vergrößern, gibt es mindestens drei Möglichkeiten, die auch in Kombination genutzt werden können, wie zuvor erläutert wurde, nämlich die Manipulation von Farbtonwerten, von Farbsättigungswerten oder von Farbhelligkeitswerten:

So kann der farbliche Abstand beispielsweise vergrößert werden, indem eine Farbsättigung des ausgewählten Bildbereichs angehoben wird. Vorzugsweise kann gleichzeitig auch eine Farbsättigung der automatisiert selektierten weiteren Bildbereiche angehoben werden. Diese Anhebungen können vorzugsweise jeweils pixelweise erfolgen. Eine analoge Vorgehensweise kann hinsichtlich von Farbtonwerten oder Farbhelligkeitswerten angewendet werden, um den Farbabstand zu vergrößern.

Das Anheben der Farbsättigung kann zum Beispiel durch jeweiliges Erhöhen eines zugehörigen Sättigungswerts in Abhängigkeit eines für den ausgewählten Bildbereich ermittelten Sättigungswerts erfolgen. Dieser ermittelte Sättigungswert kann insbesondere der zuvor erläuterte mittlere Sättigungswert sein.
Der farbliche Abstand kann ferner vergrößert werden, indem eine Farbsättigung der übrigen nicht-ausgewählten Bildbereiche des mindestens einen Farbbilds abgesenkt wird. Diese nicht-ausgewählten Bildbereiche können insbesondere den ermittelten Farbwert nicht aufweisen und/oder außerhalb eines Farbähnlichkeitsraums des ermittelten Farbwerts liegen, wie noch genauer zu erläutern sein wird.
Ein solches Absenken kann insbesondere durch jeweilige Reduktion eines zugehörigen Sättigungswerts in Abhängigkeit eines für den ausgewählten Bildbereich ermittelten Sättigungswerts sein. Dieser ermittelte Sättigungswert kann ebenfalls der zuvor erläuterte mittlere Sättigungswert sein.
Diese beschriebenen Vorgehensweisen, also das Absenken von Farbwerten der übrigen nicht-ausgewählten Bildbereiche, sind analog auf Farbtonwerte oder Farbhelligkeitswerte anwendbar.
Allgemein kann demnach zusammenfassend festgehalten werden, dass der farbliche Abstand vergrößert werden kann, indem Farbwerte des ausgewählten Bildbereichs, vorzugsweise und der automatisiert selektierten weiteren Bildbereiche, angehoben werden. Alternativ oder ergänzend können zudem zum gleichen Zweck Farbwerte der übrigen nicht-ausgewählten Bildbereiche, insbesondere solche Bildbereiche welche den ermittelten Farbwert nicht aufweisen und/oder außerhalb eines Farbähnlichkeitsraums des ermittelten Farbwerts liegen, abgesenkt werden.
Um trotz der Farbtransformation weiterhin eine detailreiche Darstellung von Bildinformation zu ermöglichen, kann die Farbtransformation so ausgestaltet sein, dass sie jeweilige Helligkeitswerte und/oder Farbtonwerte der ausgewählten Bildbereiche und/oder der übrigen, nicht-ausgewählten Bildbereiche des mindestens einen Farbbilds erhält. Dies bietet sich insbesondere dann an, wenn die zur Vergrößerung des Farbabstands Farbsättigungswerte angepasst werden.
Alternativ kann auch vorgesehen sein, insbesondere sofern unterschiedliche Farbwerte - etwa Farbsättigungswerte und Farbtonwerte - angepasst werden, dass jeweilige relative Unterschiede in Farbwerten in den ausgewählten Bildbereichen erhalten bleiben. Gleiches gilt auch für die nicht-ausgewählten Bildbereiche.
Dies ist beispielsweise möglich, wenn die Anpassung des jeweiligen Farbwerts aller Bildpunkte der ausgewählten Bereiche gleichförmig, also etwa um denselben Betrag, geschieht. So ist es etwa denkbar, die Farbsättigungswerte aller dieser Bildpunkte um einen konstanten Prozentsatz anzuheben (was einer Verschiebung aller Farbsättigungswerte innerhalb des Farbähnlichkeitsraums entspricht) und/oder die Farbtonwerte aller dieser Bildpunkte um einen konstanten Farbwinkel zu erhöhen (was einer Rotation des Farbähnlichkeitsraums entspricht).
Gemäß der Erfindung kann ferner zur Anhebung der Farbsättigung des ausgewählten Bereichs und insbesondere auch von zusätzlich automatisiert selektierten weiteren Bildbereichen vorgesehen sein, dass die Farbsättigungswerte von solchen Bildpixeln mit zu dem bestimmten Farbwert ähnlichen, insbesondere gleichen, Farbwerten angehoben werden.
Ferner kann zur Absenkung der Sättigungswerte der nicht-ausgewählten Bereiche beispielsweise vorgesehen sein, dass die Sättigungswerte von Bildpixeln dieser Bereiche prozentual verringert oder auf einen bestimmten niedrigen Sättigungswert gesetzt werden. Dieser niedrige Sättigungswert sollte idealerweise kleiner sein, als ein für den ausgewählten Bereich bestimmter Sättigungswert, um eine farbliche Hervorhebung des ausgewählten Bereichs zu ermöglichen.
Gemäß einer spezifischen Ausgestaltung ist vorgesehen, dass zur Vergrößerung des farblichen Abstands ein Farbähnlichkeitsraum um den für den ausgewählten Bildbereich ermittelten Farbwert herum ermittelt wird. Dies gelingt besonders gut in einem Hue-basierten Farbraum, etwa im HSV-Farbraum. Daher kann der Farbähnlichkeitsraum insbesondere keilförmig ausgestaltet sein, etwa dann, wenn im HSV-Farbraum um einen bestimmten Hue-Wert herum, ein keilförmiger / kuchenstückförmiger Teil aus dem zylindrischen HSV-Farbraum gebildet wird, der Farbsättigungswerte von 0-100%, Farbhelligkeitswerte zwischen [0..1] und Farbtonwerte in einem bestimmten Farbwinkelbereich, etwa [240° +/- 1.5°] enthält.
Ist ein solcher Farbähnlichkeitsraum bestimmt, können für Bildpixel des mindestens einen Farbbilds, welche innerhalb des Farbähnlichkeitsraums liegen, jeweilige Farbwerte, also insbesondere Farbsättigungswerte und/oder Farbtonwerte angepasst, insbesondere angehoben, werden. Ergänzend oder alternativ können auch für Bildpixel des mindestens einen Farbbilds, welche außerhalb des Farbähnlichkeitsraum liegen, jeweilige Farbwerte, also insbesondere Farbsättigungswerte und/oder Farbtonwerte angepasst, insbesondere abgesenkt, werden. Beides und insbesondere in Kombination führt zu einer Vergrößerung des Farbabstands zwischen ausgewählten und nicht-ausgewählten Bildbereichen.
Die zuvor beschriebenen Verfahrensschritte sollen kurz vereinfacht mittels Formeln veranschaulicht werden, wobei klar ist, dass selbstverständlich weitere Umsetzungen des erfindungsgemäßen Verfahrens bestehen, die in abweichenden Formeln münden:

Gemäß dem folgenden Beispiel kann der ermittelte Farbwert des ausgewählten Bildbereichs beispielsweise ein Hue-Wert sein, im Folgenden bezeichnet mit der Variable „Auswahl“. In diesem Fall können Pixel mit Farbwerten „FarbeX“, die dem Farbtonwert „Auswahl“ unähnlich sind, bestimmt und deren Farbsättigungswerte verringert werden, z.B. durch die Anweisung:
- IF Abs[Hue(Auswahl)-Hue(FarbeX)] > Threshold
- THEN Sat(FarbeX)x FactorDown,

Pixel mit Farbwerten „FarbeX“, die dem ermittelten Farbwert des ausgewählten Bildbereichs ähnlich sind, bestimmt und deren Farbsättigungswerte vergrößert werden.
Schließlich können auch Farbabstände innerhalb eins Farbähnlichkeitsraums (Abs[Hue(Auswahl)-Hue(FarbeX)]< Threshold) um den ermittelten Farbwert des ausgewählten Bildbereichs herum erhöht werden, etwa durch die Anweisung $\begin{array}{l} IF Abs [Hue (Auswahl) - Hue (FarbeX)] < Threshold \\ THEN Hue (FarbeX) = Hue (Auswahl) + HueAbstand (FarbeX) \times \\ FactorHue \end{array}$
wobei FactorHue >>1 und wobei
HueAbstand(FarbeX) = Hue(Auswahl) - Hue(FarbeX)den Abstand der Hue-Werte angibt zwischen einem Pixel mit Farbwert „FarbeX“ innerhalb des Farbähnlichkeitsraums und dem ausgewählten Bildbereich. Durch diese letzte Anweisung werden somit die Farbabstände innerhalb des Farbähnlichkeitsraums vergrößert.
Verallgemeinert kann daher gesagt werden, dass gemäß der Erfindung zur Verbesserung der Hervorhebung des Farbähnlichkeitsraums insbesondere vorgesehen sein kann, dass für Bildbereiche, die innerhalb des ermittelten Farbähnlichkeitsraum liegen, ein jeweiliger Farbabstand zu dem ermittelten Farbwert des ausgewählten Bildbereichs vergrößert wird, indem Farbwerte jeweils angehoben oder abgesenkt werden. Dieses Anheben / Absenken kann sich wiederum sowohl auf Farbsättigungswerte (bevorzugt), auf Farbtonwerte oder auf Farbhelligkeitswerte beziehen. Es versteht sich, dass eine Absenkung des jeweiligen Farbwerts dabei dann Sinn macht, wenn der jeweilige Farbwert kleiner ist als der ermittelte Farbwert des ausgewählten Bildbereichs; umgekehrt gilt entsprechend, dass eine Erhöhung des jeweiligen Farbwerts dabei dann Sinn macht, wenn der jeweilige Farbwert ohnehin größer ist als der ermittelte Farbwert des ausgewählten Bildbereichs.
Die Erfindung hat ferner erkannt, dass insbesondere dann, wenn der Farbabstand durch Absenken von Farbwerten der nicht-ausgewählten Bildbereiche vergrößert wurde, neuer Farbraum zur Verfügung steht, der für die Darstellung der hervorzuhebenden Bildbereiche genutzt werden kann. Daher schlägt die Erfindung unter anderem vor, dass optional als hervorzuhebende Bildpixel all jene Bildpixel selektiert werden, die innerhalb des ermittelten Farbähnlichkeitsraum liegen, und dass der Farbähnlichkeitsraum nachfolgend gestreckt wird, in dem Farbwerte von einzelnen der hervorzuhebenden Bildpixel über den Farbähnlichkeitsraum hinaus ausgedehnt werden. Dies ist beispielsweise dann der Fall, wenn ein Farbwert, beispielsweise ein Farbtonwert / ein Hue-Wert eines Bildpixels eines ausgewählten oder selektierten Bildbereichs so stark abgesenkt oder erhöht wird, dass das Bildpixel den ursprünglichen Farbähnlichkeitsraum verlässt. Dadurch können somit insbesondere Farben / Farbsättigungswerte zur Darstellung der hervorzuhebenden Bildbereiche eingesetzt werden, die ursprünglich nicht in diesen Bildbereichen vorhanden waren. Die hervorzuhebenden Bildbereiche können damit bunter werden als ursprünglich und damit noch besser vor den nicht-ausgewählten Bildbereichen hervortreten.
Der beschriebene Farbähnlichkeitsraum kann besonders einfach in einem hue-basierten Farbraum, insbesondere im HSV-Raum, ermittelt werden, wie anhand der Figuren klar werden wird.
Hierbei kann eine Farbsättigungsanpassung durchgeführt werden, indem für einzelne Bildpixel des mindestens einen Farbbilds ein Betrag einer Differenz zwischen einem Farbwert des jeweiligen Bildpixels und dem für den ausgewählten Bildbereich ermittelten Farbwert gebildet wird, der Betrag mit einem Schwellwert verglichen wird und bei Überschreiten des Schwellwerts ein zu dem jeweiligen Bildpixel zugehöriger Farbsättigungswert erhöht und/oder bei Unterschreiten des Schwellwerts ein zu dem jeweiligen Bildpixel zugehöriger Farbsättigungswert reduziert wird. Ein analoges Vorgehen kann zur Farbtonwertanpassung oder zur Farbhelligkeitswertanpassung verwendet werden, wobei sich in diesen Fällen die Differenzen auf Farbtonwerte beziehungsweise Farbhelligkeitswerte beziehen.
Ferner kann zur weiteren Verbesserung der Darstellung ein Farbraum des mindestens einen Farbbilds so gedreht werden, dass der für den ausgewählten Bildbereich ermittelte Farbwert auf einer nächstkommenden Primärfarbe, wie beispielsweise reinem Blau, Rot oder Grün, zu liegen kommt. Die Drehung kann aber auch beispielsweise derart erfolgen, dass der für den ausgewählten Bildbereich ermittelte Farbwert auf einer nächstkommenden Sekundärfarbe wie beispielsweise reinem Cyan, Magenta oder Gelb zu liegen kommt. Solche Farben sind besonders prägnant und für den Benutzer damit sehr gut unterscheidbar.
Die Drehung des Farbraums kann dabei derart geschehen, dass der ausgewählte Bildbereich und vorzugsweise auch die automatisiert selektierten weiteren Bildbereiche auf dem Monitor in der Primärfarbe beziehungsweise Sekundärfarbe dargestellt wird/werden. Dadurch erscheinen diese für den Operateur relevanten Bereiche als besonders prägnant.
Ferner kann die Darstellung weiter verbessert werden, in dem die übrigen nicht-ausgewählten Bildbereiche ausschließlich in von der Primärfarbe abweichenden Farbwerten dargestellt werden. Bei dieser Darstellung der nicht-ausgewählten Bildbereiche kann eine Farbsättigung verwendet werden, die im Vergleich zu einer Farbsättigung der nicht-ausgewählten Bildbereiche vor der Farbtransformation reduziert ist. Mit anderen Worten ist es für eine verbesserte Darstellung sinnvoll, die Farbsättigung der nicht-ausgewählten Bildbereiche abzusenken, damit diese im Gesamteindruck des mindestens einen Farbbilds in den Hintergrund treten.
Der für den ausgewählten Bildbereich des Farbbilds zu ermittelnde Farbwert kann zunächst automatisiert von dem medizinischen Bildaufnahmesystem vorermittelt werden. Dies kann bevorzugt mittels einer statistischen Analyse von Farbwerten des ausgewählten Bildbereichs geschehen. Der vorermittelte Farbwert kann dann einem Benutzer des medizinischen Bildaufnahmesystems angezeigt werden. Anschließend kann der Benutzer den vorermittelten Farbwert, vorzugsweise über den Monitor, bestätigen oder verwerfen. Damit kann zum Beispiel in medizinischen Anwendungen sehr schnell ein relevanter Gewebebereich durch den Benutzer identifiziert, ausgewählt und der zugehörige Farbwert teilautomatisiert bestimmt werden.
Ergänzend oder alternativ kann auch vorgesehen sein, dass der Benutzer einen angebotenen Farbwert und/oder eine angebotene Sättigungswertanpassung nachjustieren kann. Solche Maßnahmen erlauben es dem Benutzer, die Farbwertbestimmung als auch die Sättigungswertanpassung seinen jeweiligen Wünschen anzupassen, wodurch der Benutzer eine präzise Kontrolle über das Bildaufnahmeverfahren behält.
Ein solches Nachjustieren kann bevorzugt mit Hilfe einer graphisch auf dem Monitor als Überlagerung (overlay) angezeigten Farbwert- und/oder Sättigungswertskala erfolgen. Hierbei ist es besonders bevorzugt, wenn die jeweilige Skala eine zusätzliche Feineinstellskala zum Feineinstellen des Farb- bzw. Sättigungswerts aufweist.
Gemäß einer Ausgestaltung wählt der Benutzer den Bildbereich manuell am Monitor aus. In diesem Fall kann anschließend durch Bildverarbeitung des ausgewählten Bildbereichs der Farbwert des ausgewählten Bildbereichs ermittelt werden.
In einer anderen Ausgestaltung, die ergänzend oder alternativ vorgesehen sein kann, wird dem Benutzer zur computerunterstützten Auswahl des Bildbereichs ein fester Zielbereich angeboten. Dies kann insbesondere mittels einer graphischen Anzeige, zum Beispiel einem on-screen-display (OSD), erfolgen, welches dem auf dem Monitor angezeigten mindestens einen Farbbild überlagert ist. Der feste Zielbereich kann dabei bevorzugt mittels eines graphischen Visiers angeboten werden. Dadurch kann der Benutzer mit Hilfe des Zielbereichs den Bildbereich am Monitor auswählen.
Der Benutzer kann die Auswahl beispielsweise dadurch treffen, dass er den gewünschten Bildbereich durch Bewegen des medizinischen Bildaufnahmesystems (also zum Beispiel durch Bewegen eines Endoskops eines Endoskopiesystems, welches das erfindungsgemäße Bildaufnahmeverfahren nutzt) solange innerhalb des Farbbilds verschiebt, bis der gewünschte Bildbereich innerhalb des angezeigten Zielbereichs liegt. Anschließend kann der Benutzer durch Abwarten oder mittels einer Bestätigungsaktion (Antippen einer GUI, einer Taste oder ähnliches) die Bildbereichsauswahl bestätigen.
Die Farbtransformation kann ferner fortlaufend, vorzugsweise in Echtzeit, auf mehrere Farbbilder der Sequenz angewandt werden. Dies kann insbesondere derart geschehen, dass ein Farbabstand zwischen dem ermittelten Farbwert und nicht-ausgewählten Bildbereichen der jeweiligen transformierten Farbbilder vergrößert wird.
Besonders günstig ist es hierbei, wenn eine fortlaufende Anpassung des jeweiligen Farbabstands, insbesondere durch fortlaufende Anpassung von Farbsättigungswerten des mindestens einen Farbbilds, erfolgt.
Gemäß der Erfindung ist zur Ermittlung des Farbwerts eine Bestimmung des ausgewählten Bereichs nur bei einem, insbesondere einem ersten, der Farbbilder der Sequenz erforderlich. Denn beispielsweise ein zu Beginn der Sequenz ausgewählter Bildbereich und ein einmal für diesen ausgewählten Bildbereich bestimmter Farbwert kann im Verlaufe der Sequenz beibehalten werden. Gleiches gilt für die Anpassung des Farbabstands.
In wiederum anderen Ausgestaltungen kann zwar der bestimmte Farbwert im Verlaufe der Sequenz beibehalten werden, aber die Anpassung des Farbabstands durch die Farbtransformation im Verlaufe der Sequenz angepasst werden, beispielsweise aufgrund einer Nachjustierung der angewandten Farbtransformation mittels einer Benutzereingabe.
Es versteht sich, dass sich der zu Beginn der Sequenz ausgewählte Bildbereich während der Aufzeichnung der Sequenz verändern kann; so kann der ausgewählte Bildbereich etwa seine Lage innerhalb des Farbbilds verändern, beispielsweise wenn das medizinische Bildaufnahmesystem (insbesondere das besagte Endoskop) bewegt wird; oder aber der Bildbereich selbst kann sich verändern, etwa wenn Gegenstände in einen zu dem ausgewählten Bildbereich korrespondierenden Objektbereich eingebracht werden oder etwa, wenn beispielsweise Gewebe in diesem Objektbereich bewegt wird.
Mittels der erfindungsgemäßen Verfahren ist es in allen diesen Situationen möglich, dass das medizinische Bildaufnahmesystem selbsttätig den einmal vergrößerten Farbabstand zwischen dem ausgewählten Bildbereich und den übrigen nicht-ausgewählten Bildbereichen des Farbbilds aufrechterhält, auch in nachfolgenden Farbbildern der Sequenz und auch dann, wenn sich die mit dem Bildsensor aufgenommene Szene verändert. Denn insbesondere die weiter oben beschriebene automatische Selektion von weiteren Bildbereichen anhand des ermittelten Farbwerts kann immer wieder neu bei nachfolgenden Farbbildern der Sequenz durchgeführt werden. Dadurch können die insgesamt selektierten Bildbereiche innerhalb des jeweiligen Farbbilds der Sequenz fortlaufend aktualisiert werden. Mit anderen Worten kann also der durch einen vergrößerten Farbabstand hervorgehobene Bildbereich eines aktuellen Farbbilds während der Aufnahme der Bildsequenz fortlaufend aktualisiert werden.
Zur Lösung der genannten Aufgabe wird ferner bei einem medizinischen Bildaufnahmesystem der eingangs beschriebenen Art vorgeschlagen, dass das Bildaufnahmesystem, insbesondere die Kamerasteuerungseinheit, über einen Controller verfügt, der dazu eingerichtet ist, ein Bildaufnahmeverfahren wie zuvor beschrieben und/oder gemäß einem der auf ein Bildaufnahmeverfahren gerichteten Ansprüche im Zusammenspiel mit einem externen Monitor auszuführen. Ein solcher Controller kann beispielsweise in Form eines FPGA mit steuerndem Mikroprozessor realisiert sein.
Um die Vorteile der Erfindung voll ausnutzen zu können, ist es hierbei vorzuziehen, wenn der Controller zur Ausführung einer Farbtransformation eingerichtet ist, mit der ein Farbabstand zwischen einem ausgewählten Bildbereich eines mit dem Endoskopiesystem aufgenommenen Farbbilds und nicht-ausgewählten Bildbereichen dieses Farbbilds vergrößert wird. Diese Vergrößerung beziehungsweise diese Farbtransformation kann insbesondere wie zuvor anhand des erfindungsgemäßen Verfahrens beschrieben implementiert werden. Hierzu kann auch eine zusätzliche Bildverarbeitungseinheit vorgesehen sein und/oder es kann insbesondere eine Farbtemperatur einer Lichtquelle berücksichtigt werden, die zur Beleuchtung einer mit dem Bildsensor aufzunehmenden Szene eingesetzt wird.
Wie bereits erläutert wurde, kann die Auswahl des Bildbereichs insbesondere anhand eines charakteristischen Farbtons geschehen und/oder auf dem Monitor. Die Farbtransformation kann dabei wie zuvor in Bezug auf das erfindungsgemäße Verfahren beschrieben ausgestaltet sein.
Die Erfindung wird nun anhand von Ausführungsbeispielen näher beschrieben, ist aber nicht auf diese Ausführungsbeispiele beschränkt. Weitere Ausbildungen der Erfindung können aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels in Verbindung mit der allgemeinen Beschreibung, den Ansprüchen sowie den Zeichnungen gewonnen werden.
Bei der folgenden Beschreibung verschiedener bevorzugter Ausführungsformen der Erfindung erhalten in ihrer Funktion übereinstimmende Elemente auch bei abweichender Gestaltung oder Formgebung übereinstimmende Bezugszahlen.
Es zeigt:

1 ein erstes Farbbild einer Bildsequenz, das mit einem Endoskop aufgenommen worden ist,
2 ein weiteres Farbbild der Sequenz, wobei sich der betrachtete Bildausschnitt verschoben hat,
3 das Farbbild aus 2, nach dem Einblenden eines festen Zielbereichs,
4 das Farbbild aus 3, nachdem dieses einer Farbtransformation unterworfen wurde,
5 eine Illustration des HSV-Farbraums,
6 einen Querschnitt durch den HSV-Farbraum bei einem bestimmten Hellwert;
7 links das Farbbild aus 2 und rechts ein bestimmter Farbwert innerhalb des HSV-Farbraums aus 6,
8 links das Farbbild aus 4 und rechts eine Illustration der in dem Farbbild der 4 vorgenommenen Farbtransformation innerhalb des HSV-Farbraums,
9 eine analoge Darstellung wie die der 8, wobei hier die Farbtransformation eine Anpassung von Farbsättigungswerten und von Farbtonwerten umfasst, und
10 die Darstellung der 8, nach Streckung des Farbähnlichkeitsraums, in welchem die ausgewählten Bildbereiche lagen und
11 ein schematisches Diagramm eines erfindungsgemäßen Endoskopiesystems.

Die 1 zeigt ein erstes digitales Farbbild 1 einer Sequenz von Farbbildern, die mit einem Bildsensor 23 eines Endoskops eines Endoskopiesystems, also einem medizinischen Bildaufnahmesystem im Sinne der Erfindung, aufgenommen wurde. Das Farbbild 1 besteht aus einer Vielzahl an einheitlichen Bildpixeln und wird von einem Operateur als Benutzer des Endoskopiesystems als Live-Videobild auf einem externen Monitor 25 betrachtet. Das Video-Farbbild 1 gibt dabei eine typische endoskopische Bildaufnahmesituation während eines chirurgischen Eingriffs wieder. Genauer sind in dem Farbbild 1 der 1 sowohl gesundes Gewebe 16 als auch malignes Gewebe 15 zu erkennen. Das maligne Gewebe 15 wurde dabei mit Hilfe von Methylenblau eingefärbt, was durch die Schraffur mit durchgezogenen Linien illustriert ist.
Die 2 zeigt nun dieselbe Szene aus 1, jedoch festgehalten in einem nachfolgenden Farbbild 1 der Sequenz, nachdem der Operateur das Endoskop bewegt hat, um eine region of interest (ROI) 26 ins Bildzentrum zu rücken. Der Operateur tut dies solange, bis die ROI 26 innerhalb eines mittels eines Visiers 7 eingeblendeten festen Zielbereichs 4 liegt. Danach betätigt der Operateur eine Bedientaste des Endoskopiesystems, wodurch er den rechteckigen Bildbereich 2, der durch den Zielbereich 4 im Bildzentrum definiert ist, auswählt.
Der Operateur orientiert sich bei dieser Auswahl an dem charakteristischen Blauton des malignen Gewebes 15, das heißt er wählt den Bildbereich 2 anhand des charakteristischen Farbtons des Farbstoffs Methylenblau aus, mit dem das maligne Gewebe 15 selektiv eingefärbt wurde.
Ferner wird dem Operateur mit Hilfe des Zielbereichs 4 der von ihm auszuwählende Bildbereich 2 auf dem Monitor 25 angezeigt. Auch nach der Auswahl bleibt der Zielbereich 4 eingeblendet und zeigt dem Operateur somit den von ihm momentan ausgewählten Bildbereich 2 an.
Die Auswahl des Bildbereichs 2 triggert eine Farbwertbestimmung des vom Operateur manuell ausgewählten Bildbereichs 2. Hierzu werden die Farbwerte, beispielsweise Farbtonwerte, sämtlicher Bildpixel, die innerhalb des ausgewählten Bildbereichs 2 liegen, gemittelt, um den Farbwert 6 des ausgewählten Bildbereichs 2 als Mittelwert zu bestimmen. Dazu verarbeitet eine Bildverarbeitungseinheit des Endoskopiesystems RGB-Werte der Bildpixel innerhalb des ausgewählten Bildbereichs 2.
Der von Endoskopiesystem durch Bildverarbeitung und statistische Analyse automatisiert ermittelte Farbwert 6 des ausgewählten Bildbereichs 2 wird in einem nächsten Schritt dem Operateur als vorermittelter Farbwert 6 zunächst lediglich angezeigt. Dies geschieht mittels der in 3 illustrierten vertikalen Werteskala 8, die den vorermittelten Farbwert 6 dem Operateur mit Hilfe eines Anzeigeelements 27 visualisiert.
Der Operateur kann nun in einem nächsten Schritt den vorermittelten Farbwert 6 durch erneutes Betätigen der Bedientaste annehmen.
Er kann aber ferner auch zunächst den mittels der Werteskala 8 visualisierten Farbwert 6 mit der ROI 26 vergleichen. Stellt er hier eine unbefriedigende Farbabweichung fest, so kann er mit Hilfe einer in 3 horizontal dargestellten Feineinstellskala 9 den angebotenen vorermittelten Farbwert 6 nachjustieren. Hierbei zeigt ihm das in 3 als Dreieck stilisierte Anzeigenelement 27 an, welchen Farbwert er gerade eingestellt hat.
Dieser grundlegende Ansatz zur Bestimmung eines Farbwerts ist sowohl für Farbtonwerte, wie für Farbsättigungswerte als auch für Farbhelligkeitswerte anwendbar.
Hat der Operateur durch Nachjustierung einen zufriedenstellenden Abgleich zwischen dem nun nachjustierten Farbwert 6 und der ROI 26 hergestellt, so kann er den momentan angebotenen Farbwert 6 mit der Bedientaste annehmen. Mit diesen Schritten hat der Operateur somit computerunterstützt den Farbwert 6 des von ihm ausgewählten Bildbereichs 2 innerhalb der ROI 26 mit hoher Genauigkeit bestimmt.
Diese hohe Genauigkeit ist für einen nachfolgenden Schritt bedeutsam, in welchem das Endoskopiesystem mit Hilfe der Bildverarbeitungseinheit nun selbsttätig weitere Bildbereiche 10 innerhalb des Farbbild 3 identifiziert, die farblich eine hohe Ähnlichkeit oder gar Farbidentität zu dem ausgewählten Bereich 2 aufweisen.
Eine Farbidentität liegt beispielsweise vor, wenn ein Bildpixel den ermittelten Farbwert 6 zeigt. Eine Farbähnlichkeit liegt hingegen vor, wenn ein Bildpixel einen Farbwert zeigt, der innerhalb eines Farbähnlichkeitsraums 5 liegt, der um den ermittelten Farbwert 6 von der Bildverarbeitungseinheit anhand voreingestellter oder von dem Operateur nachjustierter Parameter errechnet wurde. Der Farbähnlichkeitsraum kann dabei beispielsweise Farbtonwerte als auch Farbsättigungswerte berücksichtigen.
Das Endoskopiesystem selektiert nun automatisch anhand des genau vom Operateur ermittelten Farbwerts 6 sowie nach erfolgter Nachjustierung des Farbähnlichkeitsraums 5 die in 3 mit Bezugszeichen 10 gekennzeichneten weiteren Bildbereiche. Diese weiteren Bildbereiche 10 weisen zwar Bildpixel auf mit Farbwerten, die von dem ermittelten Farbwert 6 abweichen. Allerdings liegen alle Pixel der nun insgesamt ausgewählten Bildbereiche (die in 4 schraffiert dargestellt sind) in dem Farbähnlichkeitsraum 5 in Bezug auf den bestimmten Farbwert 6 des zu Beginn ausgewählten Bildbereichs 2 (Vergleiche 2), wie noch genauer anhand der 5 bis 7 zu erläutern sein wird.
In einem letzten Schritt, der in 4 illustriert ist, erhöht nun das Endoskopiesystem den Farbabstand zwischen dem ermittelten Farbwert 6 des ausgewählten Bildbereichs 2 und den übrigen Farbwerten der nicht ausgewählten Bildbereiche 3 des in 4 dargestellten Farbbilds 1, indem es eine Farbtransformation auf das gesamte Farbbild 1 anwendet. Die 4 kann dabei stellvertretend gesehen werden für eine ganze Sequenz an nachfolgenden Farbbildern 1, die fortlaufend mit dem Bildsensor 23 aufgenommen werden und auf die fortlaufend die besagte Farbtransformation angewendet wird.
Dies reicht sogar soweit, dass - sofern der Operateur das Endoskop erneut bewegt - wiederum neue weitere Bildbereiche 10, die etwa am Rand des jeweils aktuellen Farbbilds 1 in das Farbbild 1 hinein wandern, erneut automatisch von dem Endoskopiesystem selektiert werden, sodass die Farbtransformation auf diese fortlaufend neu selektierten weiteren Bildbereiche 10 angewandt wird. Vereinfacht gesprochen wird also fortlaufend weiteres malignes Gewebe durch Erhöhen des Farbabstands farblich hervorgehoben, auch dann wenn der Operateur die aufgenommene Bildszene durch Bewegen des Endoskops aktiv verändert. Dieses Nachführen der farblichen Hervorhebung erlaubt ein sehr vereinfachtes Arbeiten, da eine einmal eingestellte farbliche Hervorhebung von anhand des ermittelten Farbwerts selektierten Bildbereichen auf weitere neue Bildbereiche fortlaufend ausgeweitet werden kann, wenn diese neuen Bildbereiche farblich ähnlich zu dem ermittelten Farbwert sind.
Bei der Farbtransformation wird ein RGB-Signal 32 des Bildsensors 23, welches das jeweilige zu transformierende Farbbild 1 charakterisiert, zunächst in ein HSV-Signal 40 umgewandelt. Nach dieser RGB-zu-HSV-Transformation 30 werden die Bildfarben sämtlicher Bildpixel des jeweiligen Farbbilds 1 nicht mehr durch RGB-Koordinaten, sondern durch HSV-Koordinaten beschrieben.
Die Farbtransformation geht aber über eine reine Koordinatentransformation hinaus. Denn aufgrund der Farbtransformation wird anschließend eine Farbsättigung des zu Beginn vom Operateur ausgewählten Bildbereichs 2 und der anschließend anhand des ermittelten Farbwerts 6 automatisch selektierten weiteren Bildbereiche 10, die allesamt in 4 schraffiert dargestellt sind, angehoben. Gleichzeitig wird eine Farbsättigung der übrigen nicht-ausgewählten Bildbereiche 3 des Farbbilds 1, auf die die Transformation angewandt wird, abgesenkt, wodurch diese Bereiche farblich blass werden und in den Hintergrund treten.
Entsprechend ergibt sich der in 4 zu erkennende vergrößerte Farbabstand zwischen den selektierten Bildbereichen 2 und 10 und den übrigen nicht-selektierten Bildbereichen 3 des aktuellen Farbbilds 1. Diese Bereiche entsprechend in sehr guter Übereinstimmung gerade dem malignen Gewebe 15 beziehungsweise dem gesunden Gewebe 16, wie in 4 zu sehen ist. Im Ergebnis wird dem Operateur somit das maligne Gewebe 15 im gesamten Farbbild 1 als dunkelblau eingefärbte Strukturen mit einem hohem Farbabstand zu dem übrigen gesunden Gewebe 16, welches durch die verminderte Farbsättigung in den Hintergrund tritt, auf dem Monitor 25 angezeigt.
Die Farbtransformation ist dabei gerade so eingerichtet, dass jeweilige Helligkeitswerte und/oder Farbwerte sowohl der ausgewählten Bildbereiche 2, 10 als auch der nicht-ausgewählten Bildbereiche 3 erhalten bleiben. Dies bewirkt, dass trotz farblicher Hervorhebung Muster und feine Details im gesamten Farbbild 1 für den Operateur erkennbar bleiben.
Zum besseren Verständnis des Konzepts der Erfindung illustriert die 5 den bekannten HSV-Farbraum, der die drei Koordinaten Farbwinkel 12 (beziehungsweise Farbwert) Farbsättigung 13 sowie Hellwert 14 aufweist, wie durch die Pfeile in 5 illustriert ist. Jedes Bildpixel des Farbbilds 1 kann dabei grundsätzlich eine Farbe wiedergeben, die innerhalb des HSV-Farbraums verortet werden kann.
Wie die 6 illustriert, entsprechen Primärfarben wie Rot 17, Gelb 18, Grün 19, Cyan 20, Blau 21 und Magenta 22 den Farbwinkeln 0° / 60° / 120° / 180° / 240° / 300°.
Je reiner die jeweilige Farbe, desto höher ist ihre jeweilige Farbsättigung 13 und desto weiter außen in radialer Richtung liegt der zugehörige Farbpunkt innerhalb des in 5 dargestellten Farbraums 5. Die Darstellung der 6 stellt dabei einen Querschnitt durch den HSV-Farbraum aus 5 dar, nämlich für einen konstanten Hellwert 14.
Die (Farb-)Sättigung beschreibt grundsätzlich wie stark sich ein farbiger Reiz von einem achromatischen Reiz unabhängig von dessen Helligkeit unterscheidet, also seinen Abstand von der Unbunt-Achse (Schwarz-Weiß-Achse), die gerade der Mittelachse des zylindrischen Farbraums in 5 entspricht.
Damit können alle Farbtöne (oder „Bunttöne“) eine Sättigung von bis zu 100 % aufweisen, während Weiß, Grau und Schwarz eine Sättigung von jeweils 0% zeigen.
Wie nun in 7 zu erkennen ist, hat die Bildverarbeitungseinheit den Farbwert 6 des ausgewählten Bildbereichs 2 innerhalb des HSV-Farbraums bestimmt. Dazu wurde wie bereits zuvor beschrieben, zunächst ein Mittelwert aus RGB-Werten der Bildpixel des ausgewählten Bildbereichs 2 berechnet und anschließend dieser Wert in den HSV-Raum transformiert. Daher ist der ermittelte Farbwert 6 ein Hue-Wert, gemittelt über Bildpixel des ausgewählten Bildbereichs 2. Wie in der rechten Hälfte der 7 zu erkennen ist, liegt der ermittelte Farbwert 6 in der Nähe von reinem Blau 21.
Auf die gleiche Art und Weise kann für den ausgewählten Bildbereich 2 auch ein gemittelter Sättigungswert ermittelt werden, der gerade dem Radius des mit Bezugszeichen 6 gekennzeichneten Bildpunkts innerhalb des HSV-Raums rechts in 7 entspricht. Gleiches gilt natürlich auch für einen mittleren Farbhelligkeitswert, der sich ebenfalls für den ausgewählten Bildbereich 2 anhand einer Mittelwertbildung bestimmen lässt.
Eine erste Möglichkeit zur Vergrößerung des Farbabstands aufgrund der Farbtransformation, die von einem Controller des Endoskopiesystems durchgeführt wird, illustriert die rechte Abbildung in 8. Dort ist zunächst ein keilförmiger Farbähnlichkeitsraum 5 zu erkennen, der um den ermittelten Farbwert 6 gebildet, d.h. anhand voreingestellter Parameter von der Bildbearbeitungseinheit berechnet, worden ist.
Für alle Bildpunkte des Farbbilds 1, die innerhalb des berechneten Farbähnlichkeitsraums 5 liegen, wurde die Farbsättigung im Rahmen der Farbtransformation erhöht, was einem Wandern dieser Bildpunkte nach radial außen entspricht. Entsprechend resultieren reine, prägnante Blautöne für diese Bildbereiche 2, 10. Dies ist anschaulich anhand des radial nach außen gerichteten Pfeils innerhalb des Farbähnlichkeitsraums 5 zu erkennen, welcher die Vergrößerung des Farbsättigungswerts des ermittelten Farbwerts 6 andeutet.
Da die Farbtransformation auf alle Bildpunkte innerhalb des Farbähnlichkeitsraums analog angewandt wird, insbesondere auch auf Bildpunkte innerhalb der automatisiert selektierten weiteren Bildbereiche, ergibt sich eine analoge Vergrößerung der Farbsättigungswerte aller dieser Bildpunkte (nicht dargestellt in 8). Hierbei bleiben jedoch Unterschiede in den Farbsättigungswerten als auch in den Farbtonwerten dieser Bildpunkte erhalten, sodass auch nach der Farbtransformation Strukturen innerhalb der durch die Farbtransformation transformierten Bildbereiche erkennbar bleiben.
Für die übrigen Bildpunkte, etwa den mittels der gepunkteten Pfeillinie illustrierten Bildpunkt, die außerhalb des Farbähnlichkeitsraums 5 und somit in nicht-selektierten Bildbereichen 3 des Farbbilds 1 liegen, wurde die Farbsättigung hingegen abgesenkt, was einer Bewegung nach radial innen im HSV-Raum entspricht und in 8 durch mehrere auf den Mittelpunkt des HSV-Raums gerichtete Pfeile illustriert ist.
Nach Anpassung der Sättigungswerte der einzelnen Bildpunkte / Bildpixel des Farbbilds 1 wurde dann das gesamte Farbbild 1 wieder in den RGB-Raum mittels einer HSV-zu-RGB-Transformation 29 zurücktransformiert und auf dem Monitor 25 dargestellt.
Wie bereits erwähnt wurde können alle diese einzelnen Schritte der Farbtransformation wiederholt auf mehrere aufeinander folgende Farbbilder 1 der Sequenz angewandt werden.
Die 9, die analog zur 8 ausgestaltet ist, illustriert eine weitere mögliche Ausgestaltung der Farbtransformation die zur Vergrößerung des Farbabstands angewendet wird: Wie im rechten Teil der 8 zu erkennen ist, wurde zunächst ein Farbwert 6 sowie ein Farbähnlichkeitsraum 5 analog zu dem Beispiel der 8 ermittelt.
Anschließend wurde eine Farbtransformation auf alle Bildpunkte innerhalb des Farbähnlichkeitsraums, einschließlich derjenigen der automatisiert selektierten Bildbereiche, angewandt. Zur Erhöhung des Farbabstands wurden dabei zunächst Farbtonwerte, gemessen als Farbwinkel bzw. Hue-Werte, erhöht, was durch den geschwungenen Pfeil rechts in 9 angedeutet ist. Dadurch wurden demnach die Farbtöne der jeweiligen Bildpunkte um ca. 35° erhöht, so etwa für den ermittelten Farbwert von ca. 235° auf 270°, was einer Farbtonverschiebung in Richtung Magenta (300°) entspricht. Dies wird anschaulich an der Rotation des Farbähnlichkeitsraums 5 klar, wie in 9 rechts illustriert.
In einem nachfolgenden Schritt wurden dann ergänzend zur Farbtonverschiebung die Farbsättigungswerte der ausgewählten (einschließlich der automatisiert selektierten) Bildbereiche 2 erhöht und zwar analog zu dem Beispiel der 8, was einem Wandern der Farbwerte nach radial außen entspricht in der rechten Darstellung der 9.
Ferner wurden diese beiden Schritte in umgekehrter Richtung auf Bildpunkte innerhalb der nicht-ausgewählten Bildbereiche angewandt. Wie anhand des Farbwerts bei ca. 95° Farbwinkel erkennbar ist, wurden dazu zunächst die Farbtonwerte dieser Bildpunkte verringert (was im HSV-Raum einer Rotation im Uhrzeigersinn entspricht, also beispielsweise von 95° auf 90°, wie rechts in 9 illustriert) und anschließend deren Farbsättigungswerte verringert (was im HSV-Raum einem Wandern nach radial Innen entspricht - vergleiche den nach radial innen gerichteten Pfeil rechts in 9).
Der erste Schritt dieser zweistufigen Farbtransformation kann demnach als eine Hue-Wert-Streckung verstanden werden, durch welche die Farbabstände gemessen in Farbtonwerten zwischen ausgewählten und nicht-ausgewählten Bildbereichen vergrößert wird. Hierdurch kann es auch zu einer Farbtonverschiebung des ausgewählten Bereichs kommen, sodass dieser nach der Farbtransformation in einer Falschfarbe auf dem Monitor zur Anzeige kommt.
Die Farbtransformation wurde dabei sowohl für die ausgewählten Bildbereiche 2 als auch für die nicht-ausgewählten Bildbereiche 3 gerade so ausgeführt, dass jeweilige relative Unterschiede in den Farbwerten erhalten geblieben sind. Im Ergebnis erscheinen die in 9 links schraffiert dargestellten ausgewählten Bereiche 2 und 10 nach der Transformation zwar in abweichenden Farben (verschoben in Richtung Magenta) sowie mit erhöhter Farbsättigung; dennoch sind weiterhin Bildstrukturen in diesen Bereichen erkennbar, weil die relativen Unterschiede in den Farbtonwerten und den Farbsättigungswerten zwischen einzelnen Bildpixeln erhalten wurden.
Es versteht sich, dass eine analoge Farbtransformation auch auf Basis von Farbhelligkeitswerten alternativ oder ergänzend zur Vergrößerung des Farbabstands eingesetzt werden kann, wie bereits zuvor erläutert worden ist.
Als ein weiterer optionaler Schritt, kann dann - wie in 10 gezeigt - der Farbähnlichkeitsraum, in dem die selektierten Bildbereiche liegen ausgedehnt beziehungsweise gestreckt werden. Hierzu können Farbwerte, insbesondere Farbsättigungswerte aber auch Farbtonwerte, einzelner derjenigen Pixel, die ursprünglich innerhalb des Farbähnlichkeitsraums lagen, und die farblich hervorgehoben werden sollen (also der „hervorzuhebenden Bildpixel“), über den Farbähnlichkeitsraum hinaus ausgedehnt werden. Wie das HSV-Diagramm im rechten Teil der 10 zeigt, wurden hierfür die Farbwerte, insbesondere Farbtonwerte, einzelner Bildpixel am Rand des Farbähnlichkeitsraum so stark abgesenkt / angehoben, dass diese nun außerhalb des ursprünglichen Farbähnlichkeitsraums liegen, wie ein Vergleich der gepunkteten mit der gestrichelten Linie zeigt. Durch die erfolgte Streckung des Farbraums decken die selektierten weiteren Bildbereiche 10 zusammen mit dem ursprünglich ausgewählten Bildbereich 2 (beide schraffiert dargestellt in der linken Abbildung von 10) nun einen Farbraum ab, der bezogen auf die Hue-Werte einen größeren Farbwinkelbereich abdeckt als der ursprüngliche Farbähnlichkeitsraum 5. Es sei an dieser Stelle noch erwähnt, dass hier bewusst Farbraum zur Darstellung der hervorzuhebenden Bildbereiche 2, 10 eingesetzt wird, der zuvor von nicht-ausgewählten Bildbereichen 3 eingenommen war. Dies ist vorteilhaft, da die Farbwerte der nicht-ausgewählten Bildbereiche 3, insbesondere deren Sättigungswerte, zuvor abgesenkt wurden, sodass diese Bildbereiche 3 vereinfacht gesprochen Farbraum freigeben.
Das Diagramm der 11 schließlich beschreibt schematisch den Aufbau eines erfindungsgemäßen Endoskopiesystems. Dieses erzeugt zunächst mit Hilfe eines Bildsensors 23 eine Sequenz von Farbbildern 1, die jeweils als RGB-Bilddaten 39 vorliegen. Mittels einer Funktion „Bildbereich auswählen“ 36 wird in den RGB-Bilddaten 39 für eines der Farbbilder zunächst ein Bildbereich 2 von einem Benutzer oder von Endoskopiesystem selbst ausgewählt und dieser wird mit einer Bildverarbeitung 37 analysiert, um den Farbwert 6 zu ermitteln.
Das gesamte Farbbild 1 durchläuft danach eine Kaskade an Bildbearbeitungsschritten wie Kantenfilterung 33, Rauschfilterung 34 und Skalierung 35, die der Verbesserung der Bildqualität dienen, bevor eine RGB-zu-HSV-Transformation 30 auf das Farbbild 1 angewandt wird, wodurch ein HSV-Signal 40 erzeugt wird. Anhand des mittels der Bildverarbeitung 37 ermittelten Farbwerts 6 des ausgewählten Bildbereichs 2 wird das Farbbild 1 dann im HSV-Raum weiter bearbeitet, wobei dabei der Farbabstand vergrößert wird (= Bildbearbeitung im HSV-Raum 38 - vergleiche dazu auch die bereits erläuterte Illustration rechts in 8). Um diese Farbtransformation auszuführen wird dabei auf eine sogenannte Farbmatrix zurückgegriffen, die die durchzuführende Transformation definiert.
Auf diese Bildbearbeitung im HSV-Raum 38 folgt eine HSV-zu-RGB-Transformation 29, bevor das Farbbild 1 dann als RGB-Signal 32 mittels einer on-screen-display-Funktion 28 an den Monitor 25 zur Darstellung übermittelt wird.
Bei dieser Art von Bildbearbeitung beziehungsweise Farbtransformation wird auch die verwendete Lichtquelle 24, genauer deren Farbtemperatur, berücksichtigt. Denn die für die Bildverarbeitung beziehungsweise die dabei verwendete Farbmatrix relevante Information der Lichtquelle 24 besteht in der Farbtemperatur des von der Lichtquelle 24 abgegebenen Lichts. Die Farbtemperatur kann beispielsweise mit Hilfe eines Weißabgleichs ermittelt werden. Ferner können insbesondere Koeffizienten der zur Farbtransformation verwendeten Farbmatrix auf Basis der ermittelten Farbtemperatur der Lichtquelle 24 angepasst werden.
Zusammenfassend wird zur Verbesserung der Erkennung von Objekten anhand charakteristischer Farben in einem Farbbild 1, welches mit einem Bildsensor 23 eines medizinischen Bildaufnahmesystems aufgenommen wurde, vorgeschlagen, dass zunächst ein Farbwert 6 eines von einem Benutzer ausgewählten Bildbereichs 2 des Farbbilds 1 zumindest teilweise computerimplementiert bestimmt wird und dass anschließend basierend auf dem bestimmten Farbwert 6 eine Farbtransformation auf das Farbbild 1 angewandt wird, welche den Farbabstand zwischen Bildbereichen 2, 10 des Farbbilds 1, die eine Farbidentität oder Farbähnlichkeit zu dem bestimmten Farbwert 6 aufweisen, und übrigen nicht-farbähnlichen Bildbereichen 3 des Farbbilds 1 vergrößert (Vergleiche 8) .
Bezugszeichenliste

1: Farbbild
2: ausgewählter Bildbereich (von 1)
3: übrige, nicht-ausgewählte Bildbereiche (von 1)
4: Zielbereich
5: Farbähnlichkeitsraum
6: ermittelter Farbwert (von 2)
7: Visier
8: Werteskala
9: Feineinstellskala
10: weitere Bildbereiche (innerhalb von 3)
11: HSV-Farbraum
12: Farbwinkel (Farbwert)
13: Farbsättigung
14: Hellwert
15: malignes Gewebe
16: gesundes Gewebe
17: Rot
18: Gelb
19: Grün
20: Cyan
21: Blau
22: Magenta
23: Bildsensor
24: Lichtquelle
25: Monitor
26: Region of interest (ROI)
27: Anzeigenelement
28: On-screen-display (OSD)
29: HSV-zu-RGB-Transformation
30: RGB-zu-HSV-Transformation
31: Farb-Matrix
32: RGB-Signal (von 23)
33: Kantenfilterung
34: Rauschfilterung
35: Skalierung
36: Bildbereich auswählen
37: Bildverarbeitung
38: Bildbearbeitung im HSV-Raum
39: RGB-Bilddaten
40: HSV-Signal

Claims

Bildaufnahmeverfahren, bei dem mit einem Bildsensor (23) eines medizinischen Bildaufnahmesystems eine Sequenz von Farbbildern (1) aufgenommen wird, wobei wenigstens eines der Farbbilder (1) einer Farbtransformation unterworfen wird, um eine gewünschte Darstellung des wenigstens einen Farbbilds (1) auf einem Monitor (25) zu erzeugen, dadurch gekennzeichnet, - dass in einem der Farbbilder (1) der Sequenz ein Bildbereich (2) ausgewählt wird, - dass ein Farbwert (6) des ausgewählten Bildbereichs (2) ermittelt wird und - dass die Farbtransformation auf Basis des ermittelten Farbwertes (6) so angewendet wird, dass ein farblicher Abstand zwischen dem ermittelten Farbwert (6) und übrigen Farbwerten von nicht-ausgewählten Bildbereichen (3) des wenigstens einen Farbbilds (1) vergrößert wird.
Bildaufnahmeverfahren nach Anspruch 1, wobei die Farbtransformation in einer Vergrößerung eines Farbsättigungswertabstands und/oder eines Farbtonwertabstands und/oder eines Farbhelligkeitswertabstands, jeweils bezogen auf einen Vergleich zwischen dem ausgewählten Bildbereich (2) und den nicht-ausgewählten Bildbereichen (3), resultiert, - insbesondere wobei der farbliche Abstand vergrößert wird, indem Farbtonwerte und/oder Farbsättigungswerte und/oder Farbhelligkeitswerte des ausgewählten Bildbereichs (2) und/oder der übrigen nicht-ausgewählten Bildbereiche (3), jeweils unter Berücksichtigung des ermittelten Farbwertes (6), angepasst werden.
Bildaufnahmeverfahren nach Anspruch 1 oder 2, wobei der Bildbereich (2) anhand eines charakteristischen Farbtons ausgewählt wird, - insbesondere wobei der charakteristische Farbton mittels eines Farbstoffs erzeugt wird, mit dem Gewebe einfärbbar ist oder der ein natürlicher Farbton eines, insbesondere malignen, Gewebes ist.
Bildaufnahmeverfahren nach einem der vorhergehenden Ansprüche, wobei einem Benutzer der von ihm auszuwählende und/oder bereits ausgewählte Bildbereich (2) auf dem Monitor (25) angezeigt wird.
Bildaufnahmeverfahren nach einem der vorhergehenden Ansprüche, wobei anhand des ermittelten Farbwerts (6) weitere Bildbereiche (10) des mindestens einen Farbbilds (1), insbesondere welche ebenfalls den ermittelten Farbwert (6) aufweisen, automatisiert selektiert werden, - vorzugsweise wobei die Farbtransformation zur Erhöhung des Farbabstands auf die automatisiert selektierten weiteren Bildbereiche (10) angewandt wird, - insbesondere wobei die automatisiert selektieren weiteren Bildbereiche (10) weitere Bildpixel aufweisen mit Farbwerten, die von dem ermittelten Farbwert (6) abweichen.
Bildaufnahmeverfahren nach einem der vorhergehenden Ansprüche, wobei der ermittelte Farbwert (6) anhand eines statistischen Werts, berechnet von Bildpixeln des ausgewählten Bildbereichs (2), insbesondere einem Mittelwert, ermittelt wird, - vorzugsweise wobei hierzu RGB-Werte dieser Bildpixel verarbeitet werden.
Bildaufnahmeverfahren nach einem der vorhergehenden Ansprüche, wobei bei der Farbtransformation ein Ausgangssignal, insbesondere ein Rohdatensignal, des Bildsensors (23), vorzugsweise in Form eines RGB-Signals, in ein Signal in einem hue-basierten Farbraum, insbesondere in ein HSV-Signal, umgewandelt wird, - vorzugsweise wobei der ermittelte Farbwert (6) des ausgewählten Bildbereichs (2) ein Hue-Wert, insbesondere gemittelt über Bildpixel des ausgewählten Bildbereichs (2), ist, - besonders bevorzugt wobei ein, insbesondere mittlerer, Sättigungswert des ausgewählten Bildbereichs (2) anhand des Signals im hue-basierten Farbraum, insbesondere des HSV-Signals, ermittelt wird.
Bildaufnahmeverfahren nach einem der vorhergehenden Ansprüche, wobei der farbliche Abstand vergrößert wird, - indem Farbwerte des ausgewählten Bildbereichs (2), vorzugsweise und der automatisiert selektierten weiteren Bildbereiche (10), angepasst, vorzugweise angehoben, werden, und/oder - indem Farbwerte der übrigen nicht-ausgewählten Bildbereiche (3) des mindestens einen Farbbilds (1), insbesondere welche den ermittelten Farbwert (6) nicht aufweisen und/oder außerhalb eines Farbähnlichkeitsraums (5) des ermittelten Farbwerts (6) liegen, angepasst, vorzugsweise abgesenkt, werden.
Bildaufnahmeverfahren nach einem der vorhergehenden Ansprüche, wobei die Farbtransformation jeweilige Helligkeitswerte und/oder Farbwerte der ausgewählten Bildbereiche (2) und/oder der nicht-ausgewählten Bildbereiche (3) erhält, um eine detailreiche Darstellung von Bildinformation zu ermöglichen oder - wobei die Farbtransformation jeweilige relative Unterschiede in Farbwerten der ausgewählten Bildbereiche (2) und/oder der nicht-ausgewählten Bildbereiche (3) erhält.
Bildaufnahmeverfahren nach einem der vorhergehenden Ansprüche, wobei zur Vergrößerung des farblichen Abstands ein, insbesondere keilförmiger, Farbähnlichkeitsraum (5) um den für den ausgewählten Bildbereich (2) ermittelten Farbwert (6) herum ermittelt wird, - vorzugweise wobei für Bildpixel des Farbbilds (1), welche innerhalb des Farbähnlichkeitsraums (5) liegen, jeweilige Farbwerte, insbesondere Farbsättigungswerte und/oder Farbtonwerte, angehoben werden und/oder - für Bildpixel des Farbbilds (1), welche außerhalb des Farbähnlichkeitsraum (5) liegen, jeweilige Farbwerte, insbesondere Farbsättigungswerte und/oder Farbtonwerte, abgesenkt werden.
Bildaufnahmeverfahren nach Anspruch 10, wobei für Bildbereiche, die innerhalb des ermittelten Farbähnlichkeitsraums (5) liegen, ein jeweiliger Farbabstand zu dem ermittelten Farbwert (6) des ausgewählten Bildbereichs (2) vergrößert wird, indem Farbwerte jeweils angehoben oder abgesenkt werden.
Bildaufnahmeverfahren nach Anspruch 10 oder 11, wobei als hervorzuhebende Bildpixel all jene Bildpixel selektiert werden, die innerhalb des ermittelten Farbähnlichkeitsraums (5) liegen, und wobei der Farbähnlichkeitsraum (5) nachfolgend gestreckt wird, in dem Farbwerte von einzelnen der hervorzuhebenden Bildpixel über den Farbähnlichkeitsraum (5) hinaus ausgedehnt werden.
Bildaufnahmeverfahren nach einem der Ansprüche 10 bis 12, wobei der Farbähnlichkeitsraum (5) in einem hue-basierten Farbraum, insbesondere im HSV-Raum, ermittelt wird und/oder - wobei eine Farbsättigungsanpassung durchgeführt wird, indem für einzelne Bildpixel des mindestens einen Farbbilds (1) ein Betrag einer Differenz zwischen einem Farbwert des jeweiligen Bildpixels und dem für den ausgewählten Bildbereich (2) ermittelten Farbwert (6) gebildet wird, der Betrag mit einem Schwellwert verglichen und bei Überschreiten des Schwellwerts ein zu dem jeweiligen Bildpixel zugehöriger Farbsättigungswert erhöht und/oder - bei Unterschreiten des Schwellwerts ein zu dem jeweiligen Bildpixel zugehöriger Farbsättigungswert reduziert wird.
Bildaufnahmeverfahren nach einem der vorhergehenden Ansprüche, wobei zur weiteren Verbesserung der Darstellung ein Farbraum des mindestens einen Farbbilds (1) so gedreht wird, dass der für den ausgewählten Bildbereich (2) ermittelte Farbwert (6) auf einer nächstkommenden Primärfarbe, wie beispielsweise reinem Blau, Rot oder Grün, oder einer nächstkommenden Sekundärfarbe, wie beispielsweise reinem Cyan, Magenta oder Gelb, zu liegen kommt, - insbesondere derart, dass der ausgewählte Bildbereich (2), vorzugsweise und die automatisiert selektierten weiteren Bildbereiche (10), auf dem Monitor (25) in der Primärfarbe dargestellt wird/werden, - vorzugsweise während die übrigen nicht-ausgewählten Bildbereiche (3) ausschließlich in von der Primärfarbe abweichenden Farbwerten dargestellt werden.
Bildaufnahmeverfahren nach einem der vorhergehenden Ansprüche, wobei der für den ausgewählten Bildbereich (2) zu ermittelnde Farbwert (6) zunächst automatisiert von dem Endoskopiesystem vorermittelt wird, - vorzugsweise mittels einer statistischen Analyse von Farbwerten des ausgewählten Bildbereichs (2), und einem Benutzer des Endoskopiesystems angezeigt wird.
Bildaufnahmeverfahren nach Anspruch 15, wobei der Benutzer anschließend den vorermittelten Farbwert, vorzugsweise über den Monitor, bestätigt oder verwirft und/oder - einen angebotenen Farbwert und/oder eine angebotene Sättigungswertanpassung nachjustiert, - vorzugsweise mit Hilfe einer graphisch auf dem Monitor als Überlagerung angezeigten Farbwert- und/oder Sättigungswertskala (8), - besonders bevorzugt mittels einer zusätzlicher Feineinstellskala (9) zum Feineinstellen des Farb- bzw. Sättigungswerts.
Bildaufnahmeverfahren nach einem der vorhergehenden Ansprüche, wobei ein Benutzer den Bildbereich (2) manuell am Monitor (25) auswählt, - vorzugsweise wobei anschließend durch Bildverarbeitung des ausgewählten Bildbereichs (2) der Farbwert (6) des ausgewählten Bildbereichs (2) ermittelt wird und/oder - wobei dem Benutzer zur computerunterstützten Auswahl des Bildbereichs (2) ein fester Zielbereich (4) angeboten wird.
Bildaufnahmeverfahren nach einem der vorhergehenden Ansprüche, wobei die Farbtransformation fortlaufend, vorzugsweise in Echtzeit, auf mehrere Farbbilder (1) der Sequenz angewandt wird, insbesondere derart, dass ein Farbabstand zwischen dem ermittelten Farbwert (6) und nicht-ausgewählten Bildbereichen (3) der jeweiligen transformierten Farbbilder (1) vergrößert wird.
Medizinisches Bildaufnahmesystem umfassend einen Bildsensor, vorzugsweise und eine Kamerasteuerungseinheit, dadurch gekennzeichnet, dass das Bildaufnahmesystem, insbesondere die Kamerasteuerungseinheit, über einen Controller, beispielsweise in Form eines FPGA mit steuerndem Mikroprozessor, verfügt, der dazu eingerichtet ist, ein Bildaufnahmeverfahren gemäß einem der vorhergehenden Ansprüche im Zusammenspiel mit einem externen Monitor (25) auszuführen, - vorzugsweise wobei der Controller zur Ausführung einer Farbtransformation eingerichtet ist, mit der ein Farbabstand zwischen einem ausgewählten Bildbereich (2) eines mit dem Bildaufnahmesystem aufgenommenen Farbbilds (1) und nicht-ausgewählten Bildbereichen (3) dieses Farbbilds (1) vergrößert wird.