-
Die Erfindung betrifft ein Endoskopieverfahren, bei dem mit einem Bildsensor eines Endoskopiesystems eine Bildsequenz aufgenommen wird, wobei eine Bildverarbeitungseinheit des Endoskopiesystems aus der Bildsequenz einen Videobilddatenstrom erzeugt, der mittels eines Videosignals an einen Monitor übertragen wird, um von dem Monitor angezeigt zu werden.
-
Die Erfindung betrifft ferner ein zugehöriges Endoskopiesystem. Dieses umfasst ein Endoskop mit einem Bildsensor zum Ausgeben eines eine Bildsequenz codierenden Sensorsignals sowie eine Bildverarbeitungseinheit zum Erzeugen eines Videobilddatenstroms durch Verarbeitung des Sensorsignals und zum Ausgeben eines den Videobilddatenstrom codierenden Videosignals, welches auf einem Monitor anzeigbar ist.
-
Schließlich betrifft die Erfindung ein Computerprogrammprodukt, welches in einen internen Speicher eines Endoskopiesystems geladen werden kann und einen Softwarecode umfasst.
-
Verfahren wie eingangs beschrieben sind bekannt und werden beispielsweise bei endoskopischen Untersuchungen im medizinischen oder nicht-medizinischen Bereich verwendet. Hierbei hat sich herausgestellt, dass es höchst unterschiedliche Untersuchungs- und damit Bildaufnahmebedingungen gibt, die bestimmte Charakteristika des mit dem Endoskopiesystem aufgenommenen Videobildstroms beeinflussen, wobei diese Charakteristika für die Darstellung des Videobildstroms auf einem Monitor von Relevanz sind. Ein häufig auftretendes Problem ist dabei, dass der Monitor nicht optimal auf die Darstellung eines momentan an den Monitor übertragenen Videosignals eingestellt ist. Entsprechend muss aufwändig händisch am Monitor die Darstellung solange verändert werden, bis eine zufriedenstellende Wiedergabe des Videobilddatenstroms erzielt ist.
-
Im Stand der Technik sind mittlerweile Videobildwiedergabeverfahren bekannt, mit denen insbesondere ein Dynamikumfang von Videobildern optimal ausgenutzt werden kann. Hierbei besteht die grundlegende Idee darin, eine zur Verfügung stehende max. Auflösung in Bit, beispielsweise 10 Bit, auf denjenigen Bereich eines Darstellungsparameters wie beispielsweise Bildhelligkeit, Farbraum oder Kontrast, anzuwenden, der tatsächlich in einem jeweiligen Videobild vorkommt.
-
Vereinfacht gesprochen macht es wenig Sinn, Auflösung zum Beispiel für dunkle Helligkeitsstufen zur Verfügung zu stellen, wenn ein Bild im Wesentlichen nur helle Helligkeitsstufen aufweist. Vielmehr macht es in einer solchen Situation Sinn, die vorhandene Auflösung zur Darstellung der hellen Helligkeitsstufen einzusetzen, um dort selbst feinste Nuancen noch akkurat darstellen zu können, und so eine optimierte Videobilddarstellung zu erhalten.
-
Hiervon ausgehend ist es Aufgabe der Erfindung die Darstellung eines mit einem Endoskopiesystem aufgenommenen Videobilddatenstroms zu verbessern, wobei der Benutzer des Systems entlastet werden soll. Dabei soll die Verbesserung speziell für die Videoendoskopie zugänglich gemacht werden.
-
Zur Lösung dieser Aufgabe sind erfindungsgemäß bei einem Endoskopieverfahren die Merkmale von Anspruch 1 vorgesehen. Insbesondere wird somit erfindungsgemäß zur Lösung der Aufgabe bei einem Endoskopieverfahren der eingangs erläuterten Art vorgeschlagen, dass bei der Erzeugung des Videosignals mindestens ein Parameter von der Bildverarbeitungseinheit generiert wird, der dem Anpassen einer Darstellung des Videosignals auf dem Monitor dient und dass der mindestens eine Parameter an den Monitor übermittelt wird, um die Darstellung des Videosignals automatisch anzupassen.
-
Selbstverständlich kann dieses Verfahren auch den Schritt umfassen, dass die Darstellung des Videobilddatenstroms auf dem Monitor auch tatsächlich angepasst wird. Diese Anpassung erfolgt bevorzugt automatisch durch den Monitor selbst. Mit anderen Worten kann also der Monitor dazu eingerichtet sein, die Darstellung des Videobilddatenstroms auf Basis des übermittelten mindestens einen Parameters anzupassen.
-
Besonders einfach lässt sich dieses Verfahren beispielsweise dadurch realisieren, dass eine Videoaufnahme von einem Benutzer gestartet wird, und anschließend, insbesondere in Reaktion auf eine entsprechende Benutzereingabe, das Endoskopiesystem den mindestens einen Parameter generiert und an den Monitor übermittelt, um die Darstellung des Videobilddatenstroms anzupassen. Diese Anpassung kann dann beibehalten werden, oder aber - in Reaktion auf eine erneute Benutzereingabe oder aber automatisiert in regelmäßigen Abständen - von dem Endoskopiesystem erneut angepasst werden, nämlich durch erneute Übermittlung eines aktuellen mindestens einen Parameters.
-
Mit anderen Worten wird also vorgeschlagen, dass die Bildverarbeitungseinheit während des Betriebs des Endoskopiesystems steuernd auf den Monitor einwirkt, durch Übermittlung von wenigstens einem Parameter, um die Darstellung des Videosignals auf dem Monitor zu verbessern, also beispielsweise auf aktuelle Bedürfnisse anzupassen. Diese Verbesserung / Anpassung kann bevorzugt automatisiert beim Betrieb des Endoskopiesystems erfolgen, sodass der Benutzer keinerlei Einstellungen am Monitor vornehmen muss.
-
Mit dem erfindungsgemäßen Verfahren ist es demnach möglich, eine automatische Anpassung der Darstellung des Videosignals, je nach momentan übermitteltem Videosignal vorzunehmen, sodass die Darstellung des Videosignals auf dem Monitor stets optimiert ist, ohne dass ein Benutzer aufwändig Änderungen von Wiedergabeparametern oder dergleichen am Monitor vornehmen muss.
-
Denn wie noch genauer zu erläutern sein wird, können insbesondere Ansteuerungsdaten an den Monitor übermittelt werden, sodass der Monitor automatisch die Darstellung des Videosignals den momentanen Bedürfnissen, z.B. in Bezug auf einen momentanen Helligkeitsdynamikumfang des Videobilddatenstroms, anpasst.
-
Ein weiterer Vorteil dieses Verfahrens besteht darin, dass eine automatisierte Anpassung der Wiedergabe des Videosignals auf dem Monitor dynamisch während einer laufenden Videoaufnahme mit dem Endoskopiesystem erfolgen kann, sodass wechselnde Aufnahmebedingungen automatisch in einer jeweils angepassten Wiedergabe des Videosignals auf dem Monitor resultieren.
-
Der besagte Videobilddatenstrom als auch die besagte Bildsequenz können somit aus einer Abfolge von Einzelbildern bestehen. Allerdings können die Einzelbilder des Videobilddatenstroms erheblich von den Einzelbildern der Bildsequenz abweichen, etwa dann, wenn eine Rauschunterdrückung oder eine sonstige Signalverarbeitung auf die Bildsequenz, genauer die Sensorsignale des Bildsensors, angewandt worden ist, bei der Erzeugung des Videobilddatenstroms aus der Bildsequenz.
-
Erfindungsgemäß kann die Aufgabe auch durch weitere vorteilhafte Ausführungen gemäß den Unteransprüchen gelöst werden.
-
Beispielsweise ist es möglich, den mindestens einen Parameter auf Basis einer Analyse eines die Bildsequenz codierenden Sensorsignals, welches vom Bildsensor ausgeben wird, und/oder des Videobilddatenstroms, also insbesondere des Videosignals, zu generieren.
-
Hierbei kann bevorzugt der mindestens eine Parameter dynamisch angepasst werden, insbesondere von der besagten Bildverarbeitungseinheit des Endoskopiesystems, sofern sich eine für die Darstellung des Videobilddatenstroms auf dem Monitor relevante Größe signifikant ändert. Eine solche Größe kann beispielsweise ein Dynamikumfang einer Bildhelligkeit oder eines auf dem Monitor darzustellenden Farb- oder Kontrastraums oder dergleichen sein.
-
Der mindestens eine Parameter kann zum Beispiel Metadaten umfassen, die den darzustellenden Videobilddatenstrom charakterisieren. Diese Metadaten könne auf Basis der oben beschriebenen Analyse, also insbesondere durch Bildverarbeitung des Videobildstroms gewonnen werden, wobei dies vorzugsweise mit Hilfe der Bildverarbeitungseinheit geschehen kann.
-
Unter Metadaten können strukturierte Daten verstanden werden, die Informationen über Merkmale anderer Daten enthalten. Beispielsweise können ein Durchschnitts- oder Maximalwert oder ein Dynamikbereich jeweils Metadaten zu einem zugehörigen Datensatz an Messwerten sein.
-
Bezogen auf das hier diskutierte Endoskopieverfahren können unter Metadaten solche Daten verstanden werden, die Informationen über Eigenschaften des Videobildstroms wie Helligkeit, Kontrast, Farbe, Bildstrukturen etc. enthalten. Diese Informationen können etwa den jeweiligen Dynamikumfang, die stochastische Verteilung, etwa in Form von Histogrammen, oder Extremwerte oder statistische Größen solcher Eigenschaften des Videobildstroms beschreiben.
-
Als Histogramm bezeichnet man die grafische Darstellung der Tonwertverteilung eines Bildes; es wird daher auch als Tonwertkurve bezeichnet und gibt die Häufigkeitsverteilung der Tonwerte eines Bildes wieder. Das Histogramm gibt demnach an, wie häufig unterschiedliche Tonwerte im Bild vorhanden sind. Hierbei kann unter Tonwert ein Farb- oder Grauwert innerhalb eines vorgegebenen Farb- beziehungsweise Graustufenspektrums verstanden werden.
-
Ferner kann zwischen statischen Metadaten und dynamischen Metadaten unterschieden werden. Während statische Metadaten einmalig für einen bereits vorliegenden Videobildstrom ermittelt werden können, basieren dynamische Metadaten jeweils auf zeitlichen Abschnitten, z.B. einzelnen Szenen, des Videobildstroms und können sich daher von Abschnitt zu Abschnitt verändern.
-
Gemäß einer möglichen Ausgestaltung schlägt die Erfindung nun gerade vor, dynamische Metadaten basierend auf einem Live-Videobildstrom des Endoskops fortlaufend zu generieren und diese zu verwenden, um die Darstellung des Videobildstroms beziehungsweise des zugehörigen Videosignals auf dem Monitor dynamisch anzupassen. Dadurch wird es möglich, dass je nach momentaner Szene, also beispielsweise den momentanen Belichtungsverhältnissen oder des momentanen Farb- und/oder Helligkeits- und/oder Kontrastumfangs des Videobildstroms, die Darstellung des Videosignals auf dem Monitor angepasst und damit verbessert werden kann.
-
Alternativ oder ergänzend kann der mindestens eine Parameter auch Ansteuerungsdaten zum Einstellen von Wiedergabeparametern des Monitors umfassen. Hierbei können diese Ansteuerungsdaten aus wie oben erläuterten Metadaten gewonnen werden, insbesondere von der Bildverarbeitungseinheit.
-
Solche Ansteuerungsdaten können beispielsweise dazu dienen, Wiedergabeparameter wie eine Hintergrundbeleuchtung und/oder einen aufzulösenden Dynamikumfang einer Bildhelligkeit und/oder eines Farbraums und/oder eines Bildkontrasts am Monitor einzustellen.
-
Es kann somit auch vorgesehen sein, dass aus den Metadaten Ansteuerungsdaten und/oder Wiedergabeparameter erzeugbar sind beziehungsweise erzeugt werden, insbesondere von der Bildverarbeitungseinheit. Alternativ können aber auch Metadaten an den Monitor übertragen werden, sodass der Monitor aus den Metadaten Ansteuerungsdaten und/oder Wiedergabeparameter erzeugt. In allen Fällen kann die Anpassung der Darstellung des Videobildstroms auf dem Monitor dann mit Hilfe solcher Ansteuerungsdaten und/oder Wiedergabeparameter erfolgen.
-
Wenn also im Folgenden von dem mindestens einen Parameter gesprochen wird, so gelten die getroffenen Aussagen stets auch für Metadaten und/oder Ansteuerungsdaten, die im Rahmen des Verfahrens an den Monitor übertragen werden.
-
Der mindestens eine Parameter kann bevorzugt noch vor der Übermittlung des Videosignals an den Monitor, aber erst nach Erzeugen des Videosignals generiert werden. Denn dies erlaubt es insbesondere, dass der mindestens eine Parameter synchron mit einem zugehörigen zeitlichen Abschnitt des Videosignals an den Monitor übermittelt werden kann und zwar bevorzugt derart, dass die Darstellung des zeitlichen Abschnitts auf dem Monitor ohne Zeitverzögerung live anpassbar ist. Dadurch wird eine live angepasste Darstellung des Videosignals erreicht.
-
Die Darstellung des Videosignals und damit des darin codierten Videobilddatenstroms kann anhand des übermittelten wenigstens einen Parameters, insbesondere von dem Monitor selbst, angepasst werden. Eine solche Anpassung der Darstellung kann vorzugsweise global für jeweilige Einzelbilder des Videobildstroms erfolgen. Dabei kann die Anpassung auch für mehrere dieser Einzelbilder gleichartig sein. Dies kann beispielsweise der Fall sein, wenn sich bestimmte Charakteristika des Videosignals, beispielsweise ein Dynamikumfang, gerade nicht merklich ändern, oder aber, wenn die Anpassung nicht für jedes Einzelbild sondern nur in bestimmten Zeitintervallen für eine bestimme Anzahl von aufeinanderfolgenden der Einzelbilder vorgenommen wird.
-
Um eine optimale Anpassung zu erzielen, kann dabei bei der Generierung des mindestens einen Parameters ein Dynamikumfang und/oder ein Auflösungsvermögen des Monitors, beispielsweise in Bezug auf eine mögliche Wiedergabe von Helligkeits-, und/oder Farb- und/oder Kontrastwerten, berücksichtigt werden. Diese Informationen können entweder in dem Endoskopiesystem vorab abgespeichert sein, beispielsweise wenn dieses auf einen bestimmten Monitor ausgelegt ist, oder zwischen dem Monitor und dem Endoskopiesystem ausgetauscht werden, beispielsweise wenn unterschiedliche Monitore mit dem Endoskopiesystem verwendbar sein sollen.
-
Die Bildsequenz, die mit dem Bildsensor des Endoskopiesystems gewonnen wird, kann nicht nur aus einzelnen Aufnahmen bestehen, sondern insbesondere aus Echtzeitbildern. In letzterem Fall kann ein Live-Videosignal an den Monitor übertragen werden, wobei es in diesem Fall bevorzugt ist, wenn der wenigstens eine Parameter in Echtzeit erzeugt und/oder synchron mit dem Live-Videosignal an den Monitor übermittelt wird. Denn in diesem Fall kann eine Anpassung ohne Zeitverzögerung live erfolgen.
-
Der Begriff Echtzeit (real-time) charakterisiert den Betrieb informationstechnischer Systeme, die bestimmte Ergebnisse zuverlässig innerhalb einer vorbestimmten Zeitspanne, zum Beispiel in einem festen Zeitraster oder einer festen Zeittaktung, liefern. Für den hier diskutierten Fall der Videoendoskopie kann Echtzeit daher so verstanden werden, dass die jeweiligen Ergebnisse einer Auswertung mindestens in der Taktung des Videosignals, welche der Bildaufnahmefrequenz (frame rate) entspricht, vorliegen, sodass innerhalb einer Aufnahmespanne für ein Einzelbild des Videobilddatenstroms, die Auswertung abgeschlossen wird.
-
Der wenigstens eine Parameter kann demnach insbesondere fortlaufend zusammen mit dem Live-Videosignal generiert werden, während die Bildsequenz mit dem Bildsensor des Endoskopiesystems aufgenommen wird.
-
Ferner kann der wenigstens eine Parameter in Echtzeit während der Bildaufnahme dem Videosignal beigegeben werden, um die Darstellung des Videosignals in Echtzeit dynamisch anzupassen.
-
In bestimmten Aufnahmesituationen kann es notwendig sein, dass der an den Monitor zu übertragende wenigstens eine Parameter dynamisch aus dem Videobilddatenstrom erzeugt wird. Diese kann insbesondere derart geschehen, dass sich der wenigstens eine Parameter automatisch ändert, sobald sich mindestens ein, vorzugsweise aus dem Videobilddatenstrom gewonnener, Bewertungsparameter signifikant ändert. Der mindestens eine Bewertungsparameter kann beispielsweise aus Helligkeits- und/oder Farb- und/oder Kontrastwerten der Bildsequenz und/oder des Videobilddatenstroms gewonnen werden. Ferner kann der mindestens eine Bewertungsparameter mit einem Schwellwert verglichen werden. Damit kann entscheiden werden, ob eine signifikante Änderung vorliegt oder nicht.
-
Von Vorteil ist dabei insbesondere in medizinischen Anwendungen, dass durch die dynamische Anpassung des wenigstens einen Parameters, also insbesondere der zuvor erwähnten Metadaten und/oder Ansteuerungsdaten, im laufenden Betrieb des Endoskopiesystems es möglich wird, dass der wenigstens eine Parameter und damit die Darstellung des Videobilddatenstroms live auf eine jeweilige Operations(OP)-Situation, also eine jeweilige aufzunehmende Szene, angepasst werden kann. Diese Anpassung kann von dem Endoskopiesystem automatisch ohne eine Eingabe durch den Benutzer erfolgen, was den Operateur von zusätzlichen Änderungen der Einstellungen am Monitor entlastet und so stets eine optimierte Darstellung des Live-Videos ermöglicht.
-
Gerade für medizinische Anwendungen schlägt die Erfindung vor, den wenigstens einen Parameter in Form einer Sammlung von Parametersätzen in einem internen Speicher des Endoskopiesystems vorzuhalten. Denn solche Parametersätze können für unterschiedliche Bildszenarien, insbesondere für unterschiedliche Bildaufnahmebedingungen während einer bestimmten Klasse von chirurgischen Eingriffen, optimiert sein, um so eine auf die Bedürfnisse des Operateurs optimierte Videodarstellung zu ermöglichen.
-
Hierbei kann vorzugsweise eine Auswahleinrichtung, die bevorzugt Teil der Bildverarbeitungseinheit ist, einen jeweiligen aktuellen Parametersatz aus den vorgehaltenen Parametersätzen, vorzugsweise in Echtzeit, zur Übermittlung an den Monitor selektieren.
-
Diese Selektion des aktuellen Parametersatzes kann anhand einer Analyse eines die Bildsequenz codierenden Sensorsignals des Bildsensors und/oder anhand einer Bildauswertung des aus einem solchen Sensorsignal gewonnenen Videobilddatenstroms erfolgen. Dabei kann die Selektion insbesondere auf einem, jeweils aus dem Sensorsignal beziehungsweise aus dem Videobilddatenstrom, ermittelten Dynamikumfang und/oder einer ermittelten Verteilung - beispielsweise einer Bildhelligkeit und/oder eines Bildkontrast und/oder von Bildfarben oder dergleichen - beruhen.
-
Alternativ oder ergänzend kann aber auch vorgesehen sein, dass die Selektion des aktuellen Parametersatzes durch einen Benutzer des Endoskops erfolgt. Dies kann beispielsweise anhand einer von dem Endoskopiesystem angebotenen Auswahl von voreingestellten Parametersätzen erfolgen, die jeweils auf typische Aufnahmebedingungen einer jeweiligen Klasse von chirurgischen Eingriffen optimiert sein können. Dabei können insbesondere in einem statischen Übertragungsmodus zwischen zwei durch den Benutzer erfolgten Selektionen statische Metadaten und/oder statische Ansteuerungsdaten an den Monitor übertragen werden. Bei dieser Variante des erfindungsgemäßen Verfahrens generiert also weiterhin das Endoskopiesystem mindestens einen Parameter der dem Anpassen einer Darstellung des Videosignals auf dem Monitor dient. Allerdings findet in diesem Fall eine Übertragung nur jeweils einmal während eines statischen Übertragungsmodus statt. Erst auf eine erneute Selektion beziehungsweise Eingabe durch den Benutzer hin, generiert das Endoskopiesystem einen neuen mindestens einen Parameter und überträgt diesen an den Monitor.
-
Gemäß einer weiteren Ausgestaltung des Verfahrens kann eine zum Generieren des wenigstens einen Parameters ablaufende Bildauswertung des Videobilddatenstroms auf einem Algorithmus basieren, der mit Hilfe von Beispielbilddaten trainierbar ist, wobei diese Bildauswertung insbesondere der Selektion des aktuellen Parametersatzes dienen kann.
-
Dieser Algorithmus kann somit eine künstliche Intelligenz zur Erkennung von typischen Bildszenarien, beispielsweise von zeitlich aufeinander folgenden einzelnen Phasen eines chirurgischen Eingriffs, realisieren. Hierbei erkennt der Algorithmus, auf Basis des vor geleisteten Trainings, anhand charakteristischer Eigenschaften eines momentanen Abschnitts des Videobilddatenstroms, welcher Typ von Szene vorliegt. Gegebenenfalls kann der Algorithmus anschließend einen für diesen Typ von Szene hinterlegten Parametersatz selektieren, der dann zur Anpassung der Darstellung des Videosignals auf dem Monitor verwendet wird.
-
Bei diesem Ansatz einer Nutzung künstlicher Intelligenz zur automatischen Anpassung einer Wiedergabe des Videosignals auf dem Monitor ist es besonders vorteilhaft, wenn der Algorithmus hierzu zuvor, also vor Anwendung des Verfahrens auf dem Endoskopiesystem, mittels von einem Menschen überwachtem Lernen anhand von Beispielbilddaten trainiert worden ist. Diese Beispieldaten können beispielsweise Videoaufnahmen von chirurgischen Eingriffen sein. Das Training kann darin bestehen, dass ein Operateur diese Aufnahmen in Klassen einteilt, wobei der Algorithmus anhand charakteristischer Eigenschaften der jeweiligen Videoaufnahme und der Rückmeldung (feedback) des Operateurs lernt, die Klassen in den Aufnahmen zu erkennen.
-
Durch diese Art von künstlicher Intelligenz (KI) wird der Algorithmus also in die Lage versetzt, typische Bildszenarien automatisiert zu klassifizieren und die von einem Menschen, beispielsweise einem Mediziner, für die jeweils identifizierte Klasse als optimal empfundenen Wiedergabeeinstellungen des Monitors mit Hilfe entsprechender Metadaten und/oder Ansteuerungsdaten vorzugeben. Mit anderen Worten stellt die KI somit sicher, dass in jeder trainierten Klasse von Bildszenarien, die typisch für eine bestimmte Klasse von chirurgischen Eingriffen sein kann, stets die optimalen Wiedergabeeinstellungen automatisch am Monitor eingestellt beziehungsweisevorgegeben werden, sodass stets eine optimale Wiedergabe des Videobilddatenstroms erfolgen kann. Dabei erfolgt diese Anpassung der Wiedergabe vorzugsweise dynamisch in Abhängigkeit eines aktuellen Bildmaterials in dem Videobilddatenstrom.
-
Die erlernte Gewichtung von mindestens einem Bewertungsparameter der Bildauswertung kann insbesondere in einem internen Speicher des Endoskopiesystems abgelegt werden. Dadurch kann der Algorithmus auf das aus dem Training Erlernte jederzeit zugreifen. Ferner kann, insbesondere während des Verfahrens, diese Gewichtung aus dem Speicher abgerufen werden, um auf Basis der Gewichtung den mindestens einen Parameter zu generieren.
-
Die Übermittlung des mindestens einen Parameters an den Monitor kann zusammen oder getrennt von dem Videosignal erfolgen. Es kann also vorgesehen sein, dass der wenigstens eine Parameter zusammen mit dem Videosignal über eine gemeinsame Datenübertragungsstrecke, beispielsweise eine Funkverbindung oder ein Videokabel, vorzugsweise unter Nutzung eines Industriestandards für die Datenübertragung wie beispielsweise HDR, an den Monitor übertragen wird. Oder aber, es kann der wenigstens eine Parameter separat von dem Videosignal über eine separate Datenübertragungsstrecke, beispielsweise eine separate Steuerleitung, an den Monitor übertragen werden.
-
Da für die Übermittlung des wenigstens einen Parameters je nach Anwendung und aktuell zu übertragendem Videosignal unterschiedliche viel Bandbreite genutzt werden muss, kann schließlich in Abhängigkeit des wenigstens einen Parameters, welcher beispielsweise Aufschluss über einen benötigen Dynamikumfang geben kann, eine Anpassung der Übertragung des Videosignals erfolgen. Diese Anpassung der Übertragung kann insbesondere durch Anpassung eines bei der Übertragung des Videobilddatenstroms verwendeten Kompressionsverfahrens oder einer übermittelten Auflösung einzelner Bilder der Bildsequenz erfolgen.
-
In bestimmten Anwendungen kann es zudem vorteilhaft sein, einen Monitor zusammen mit dem Endoskopiesystem zu verwenden, der über einen hohen Dynamikumfang (high dynamic range - HDR) von mindestens 10 Bit verfügt. In diesem Fall ist es besonders vorteilhaft, den wenigstens einen Parameter für diesen Dynamikbereich auszulegen. Durch eine solche Auslegung kann der Dynamikumfang des Monitors für die Darstellung des Videosignals optimal ausgenutzt werden. Beispielsweise kann das erfindungsgemäße Verfahren in vorteilhafter Weise auf HDRfähige Monitore angewandt werden, die seit ca. 2015 auf dem Markt erhältlich sind, beispielsweise auf Basis der IndustrieStandards „HDR10“ oder „dolby vision“.
-
Zur Lösung der eingangs aufgeführten Aufgabe sind ferner bei einem Endoskopiesystem die Merkmale des ersten auf ein Endoskopiesystem gerichteten Anspruchs vorgesehen. Insbesondere wird somit erfindungsgemäß zur Lösung der Aufgabe bei einem Endoskopiesystem der eingangs genannten Art vorgeschlagen, dass die Bildverarbeitungseinheit einen Parametergenerator zum Generieren von wenigstens einem Parameter durch Verarbeitung des Videobilddatenstroms und/oder des Sensorsignals umfasst, wobei mit Hilfe des wenigstens einen Parameters eine Darstellung des Videosignals auf dem Monitor anpassbar ist.
-
Es versteht sich dabei, dass der Monitor Teil des Videoendoskopiesystems sein kann. Ferner kann auch die Art der Darstellung des Parameters als auch die Art der Übermittlung des Parameters für einen bestimmten Typ von Monitor ausgelegt sein.
-
Der mindestens eine Parameter kann insbesondere Metadaten umfassen, die den darzustellenden Videobilddatenstrom charakterisieren und/oder Ansteuerungsdaten zum Einstellen von Wiedergabeparametern des Monitors. Ferner kann die Bildverarbeitungseinheit dazu eingerichtet sein, den mindestens einen Parameter an einen mit dem Endoskopiesystem zu verwendenden Monitor oder an einen bestimmten Monitor als Teil des Endoskopiesystems zu übertragen.
-
Mit einem solchen Endoskopiesystem lässt sich ein erfindungsgemäßes Verfahren wie eingangs beschrieben implementieren, sodass auch alle diesbezüglich bereits beschriebenen Vorteile realisiert werden können.
-
Es versteht sich daher, dass die Bildverarbeitungseinheit des erfindungsgemäßen Endoskopiesystems so eingerichtet sein kann, dass eines der zuvor beschriebenen erfindungsgemäßen Verfahren beziehungsweise ein Verfahren gemäß einem der auf ein Verfahren gerichteten Ansprüche implementiert wird, wenn die Bildverarbeitungseinheit den Videobilddatenstrom und/oder das Sensorsignal verarbeitet.
-
Hierbei kann die Bildverarbeitungseinheit insbesondere dazu eingerichtet sein, das Sensorsignal und/oder den Videobilddatenstrom fortlaufend zu analysieren, um den wenigstens einen Parameter mit dem Parametergenerator dynamisch anzupassen.
-
Ferner kann die Bildverarbeitungseinheit so eingerichtet sein, dass diese Anpassung in Abhängigkeit von einer momentanen Größe des Videobilddatenstroms beziehungsweise des Videosignals erfolgt, die für die Darstellung des Videobilddatenstroms auf dem Monitor relevant ist.
-
Um eine thermische Erwärmung des Endoskops des Endoskopiesystems zu vermeiden, ist es vorteilhaft, wenn die Bildverarbeitungseinheit und damit der Parametergenerator in einer Kamerakontrolleinheit des Endoskopiesystems lokalisiert sind, wobei es hierbei vorzuziehen ist, wenn die Kamerakontrolleinheit von dem Endoskop räumlich getrennt ist. Dadurch kann die bei der Generierung des mindestens einen Parameters unweigerlich entstehende Wärme von dem Endoskop ferngehalten werden.
-
Ferner kann die Kamerakontrolleinheit dazu eingerichtet sein, den generierten mindestens einen Parameter, vorzugsweise zusammen mit dem Videosignal über eine gemeinsame Übertragungsstrecke, beispielsweise ein Videokabel oder eine Funkverbindung, an den Monitor zu übermitteln.
-
Schließlich kann das Endoskopiesystem auch einen Monitor zum Anzeigen des Videosignals umfassen. Dieser Monitor ist vorteilhafterweise dazu eingerichtet, die Darstellung des Videosignals und damit des darin codierten Videobilddatenstroms anhand des übermittelten mindestens einen Parameters, also insbesondere anhand von übermittelten Metadaten und/oder Ansteuerungsdaten, vorzugsweise global für jeweilige Einzelbilder des Videobilddatenstroms, automatisch anzupassen. In diesem Fall kann der Parametergenerator der Bildverarbeitungseinheit auf einen Dynamikumfang und/oder ein Auflösungsvermögen dieses Monitors, beispielsweise in Bezug auf eine mögliche Wiedergabe von Helligkeits- und/oder Farb- und/oder Kontrastwerten, eingestellt sein.
-
Schließlich wird zur Lösung der Aufgabe ein Computerprogrammprodukt wie eingangs beschrieben vorgeschlagen. Dieses zeichnet sich dadurch aus, dass mit Hilfe des Softwarecodes des Computerprogrammprodukts ein wie zuvor beschriebenes erfindungsgemäßes Verfahren beziehungsweise ein Verfahren gemäß einem der auf ein Verfahren gerichteten Ansprüche implementiert werden kann, wenn der Softwarecode von einem Steuergerät des Endoskopiesystems, insbesondere einer Bildverarbeitungseinheit des Endoskopiesystems, ausgeführt wird. Durch das Computerprogrammprodukt können somit vorhandene Endoskopiesysteme zur Ausführung eines erfindungsgemäßen Verfahrens eingerichtet werden.
-
Die Erfindung wird nun anhand von Ausführungsbeispielen näher beschrieben, ist aber nicht auf diese Ausführungsbeispiele beschränkt. Weitere Ausführungsbeispiele ergeben sich durch Kombination der Merkmale einzelner oder mehrerer Schutzansprüche untereinander und/oder mit einzelnen oder mehreren Merkmalen des jeweiligen Ausführungsbeispiels. Insbesondere können somit Ausbildungen der Erfindung aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels in Verbindung mit der allgemeinen Beschreibung, den Ansprüchen sowie den Zeichnungen gewonnen werden.
-
Es zeigt:
- 1 eine stark vereinfachte, lediglich beispielhafte, schematische Darstellung eines erfindungsgemäßen Endoskopiesystems,
- 2 eine schematische Illustration von Signalwegen innerhalb des Endoskopiesystems aus 1 sowie
- 3 eine schematische Illustration von Signalwegen innerhalb eines weiteren erfindungsgemäßen Endoskopiesystems.
-
Die 1 zeigt ein erfindungsgemäßes Endoskopiesystem 1 bestehend aus einem Endoskop 2, welches einen eine Aufnahmeoptik tragenden Endoskopschaft 5 sowie einen Kamerakopf 4 mit einem Bildsensor 3 umfasst, und einer an dem Endoskop 2 angeschlossenen Kamerakontrolleinheit 6 zum Steuern des Bildsensors 3 und zum Ausgeben eines Videosignals 10.
-
Mit dem Bildsensor 3 des Endoskopiesystems 1, wird eine Bildsequenz bestehend aus mehreren Einzelbildern aufgenommen, wobei der Bildsensor 3 ein Sensorsignal 9 ausgibt, welches die Bildsequenz kodiert.
-
Aus dem Sensorsignal 9 wird mithilfe einer Bildverarbeitungseinheit 8, die in der Kamerakontrolleinheit 6 platziert ist, ein Videobilddatenstrom erzeugt. Der Videobilddatenstrom wird von der Bildverarbeitungseinheit 8 in das Videosignal 10 kodiert, welches über ein als Datenübertragungsstrecke 12 genutztes Videokabel an einen Monitor 7 übermittelt wird, um von dem Monitor 7 angezeigt zu werden. Bei dem Endoskopiesystem 1 handelt es sich somit um ein Videoendoskopiesystem mit dem Live-Bilder erzeugt werden können.
-
Es versteht sich, dass derartige erfindungsgemäße Endoskopiesysteme in zahlreichen Ausgestaltungen realisiert werden können. So kann ein erfindungsgemäßes Endoskopiesystem beispielsweise auch ein Chip-in-tip-Endoskop umfassen, bei dem der Bildsensor 3 in einem distalen Bereich des Endoskopschafts, insbesondere in einer Endoskopspitze, platziert ist. Ferner kann ein erfindungsgemäßes Endoskopiesystem auch durch ein Videoendoskop realisiert werden, bei dem sich ein oder mehrere Bildsensor(en) 3 in einem proximalen Handgriff befinden kann/können (sogenanntes Chip-in-scope-Endoskop). Gleichermaßen kann auch die Bildverarbeitungseinheit 8 an verschiedenen Stellen des Endoskopiesystems angeordnet werden, je nach Anwendung.
-
Wie die 2 illustriert, besteht die Bildverarbeitungseinheit 8 aus mehreren Komponenten und bildet zusammen mit dem Bildsensor 3 einen Videosignalgenerator 14 zum Generieren des Videosignals 10:
- Zunächst umfasst die Bildverarbeitungseinheit 8 eine Signalverarbeitungseinheit 17 zum Erzeugen des Videobilddatenstroms durch Verarbeitung des Sensorsignals 9. Vorzugsweise läuft diese Signalwandlung in Echtzeit ab, sodass die Kamerakontrolleinheit 6 einen Live-Videobilddatenstrom erzeugt, der in Echtzeit auf dem Monitor 7 angezeigt werden kann.
-
Das Sensorsignal 9 wird ferner von einem Algorithmus 15 verarbeitet, der eine künstliche Intelligenz (KI) implementiert. Nicht dargestellt in 2 ist, dass auch der KI-Algorithmus 15 auf den von der Signalverarbeitungseinheit 17 bereitgestellten Videobilddatenstrom zugreifen kann, um diesen zu analysieren. Die künstliche Intelligenz erkennt in dem Sensorsignal 9 beziehungsweise in dem aus dem Sensorsignal 9 gewonnenen Videobilddatenstrom bestimmte Klassen von Aufnahmesituationen beziehungsweise Bildszenarien und gibt diese Information an einen Parametergenerator 11 weiter.
-
Daneben umfasst die Bildverarbeitungseinheit 8 eine Eingabeeinheit 16, mittels derer ein Benutzer eine Voreinstellung der Bildverarbeitungseinheit 8 auf eine bestimmte Aufnahmesituation vornehmen kann, etwa auf eine bestimmte Klasse von chirurgischen Eingriffen, die einer bestimmten medizinischen Fachrichtung entsprechen kann und die mit dem Videoendoskopiesystem 1 aufgezeichnet werden soll. Diese Information fließt von der Eingabeeinheit 16 an den KI-Algorithmus 15 und an den Parametergenerator 11.
-
Die Bildverarbeitungseinheit 8 umfasst schließlich den besagten Parametergenerator 11, der Eingangssignale von dem KI-Algorithmus 15, von der Eingabeeinheit 16 und von der Signalverarbeitungseinheit 17 empfängt, wie in 2 zu erkennen ist.
-
Auf Basis des Videobilddatenstroms generiert der Parametergenerator 11 dabei zunächst Metadaten, die den Videobilddatenstrom charakterisieren, beispielsweise einen momentanen Helligkeits- und Bildfarbendynamikumfang. Auf Basis dieser Metadaten und unter Berücksichtigung der Eingangssignale, die der Parametergenerator 11 von dem KI-Algorithmus 15 und von der Eingabeeinheit 16 erhält, errechnet der Parametergenerator 11 einen Satz von Ansteuerungsdaten. Dabei greift der Parametergenerator 11 auf einen internen Speicher 13 in der Kamerakontrolleinheit 6 zu (vergleiche 1), in dem vorab für unterschiedliche Bildaufnahmebedingungen optimierte Parametersätze für die Ansteuerungsdaten hinterlegt sind. Dies reduziert den erforderlichen Rechenaufwand erheblich, sodass der Parametergenerator 11 vergleichsweise einfach aufgebaut sein kann und somit wenig Verlustleistung produziert.
-
Der Parametergenerator 11 verarbeitet all diese Informationen und generiert daraus einen Satz von aktuellen Ansteuerungsdaten 18, die gemeinsam mit dem Videosignal 10 über das als Datenübertragungsstrecke 12 fungierende Videokabel an den Monitor 7 übertragen werden, wie dies in 2 illustriert ist.
-
Zu diesem Zweck werden die Ansteuerungsdaten dem Videosignal beigegeben. Dies geschieht fortlaufend während des Betriebs des Videoendoskopiesystems 1. Mit anderen Worten werden die übermittelten Ansteuerungsdaten 18 also fortlaufend und in Echtzeit von dem Parametergenerator 11 generiert.
-
Dabei berücksichtigt der Parametergenerator 11 die erzeugten Metadaten des aktuellen Videobilddatenstroms, also insbesondere Metadaten eines zeitlichen Ausschnitts des Videobilddatenstroms, sofern gewünscht auch die von der KI ermittelten Aufnahmesituationsklasse und gegebenenfalls eine von einem Benutzer über die Eingabeeinheit 16 vorgenommene Voreinstellung der Bildverarbeitungseinheit 8.
-
Die 3 zeigt nun eine weitere mögliche Ausgestaltung eines erfindungsgemäßen Endoskopiesystems 1. Im Unterschied zu der schematischen Darstellung der 2 werden bei dem Endoskopiesystem 1 gemäß der 3 das Videosignal 10 und die Ansteuerungsdaten 18 getrennt voneinander an den Monitor 7 übertragen, was durch zwei unterschiedliche Signalpfeile in 3 illustriert ist. Die Generierung der Ansteuerungsdaten 18 durch den Parametergenerator 11 läuft jedoch in analoger Weise ab, wie zuvor für das Beispiel der 2 beschrieben. Zur Erzeugung des Videosignals 10 wird eine erste Signalverarbeitungseinheit 17a verwendet, während eine zweite Signalverarbeitungseinheit 17b dazu dient, Daten für den Parametergenerator 11 bereitzustellen.
-
Es sei an dieser Stelle noch darauf hingewiesen, dass ein erfindungsgemäßes Verfahren auch vorsehen kann, anstatt der Ansteuerungsdaten 18, lediglich Metadaten 18 oder mindestens einen sonstigen Parameter an den Monitor 7 zu übertragen.
-
In einem solchen Fall können nämlich mithilfe der übermittelten Metadaten beziehungsweise des übermittelten mindestens einen Parameters Ansteuerungsdaten auch erst am Ort des Monitors 7 generiert werden.
-
Insbesondere kann also der erfindungsgemäße Parametergenerator 11 anstatt in der Kamerakontrolleinheit 6 am Ort des Monitors 7 lokalisiert sein, der seinerseits Teil des erfindungsgemäßen Endoskopiesystems 1 sein kann. In diesem Fall ist also die erfindungsgemäße Bildverarbeitungseinheit 8 örtlich auf die Kamerakontrolleinheit 6 und den Monitor 7 aufgeteilt. Oder aber der Parametergenerator 11 verbleibt in der Kamerakontrolleinheit 6 und übersendet lediglich Metadaten 18 an den Monitor 7, der seinerseits aus den übermittelten Metadaten 18 Ansteuerungsdaten 18 zum Anpassen der Darstellung des Videosignals 10 selbsttätig generiert. Auch in diesen Fällen lassen sich jedoch in gleicher Weise die vorteilhaften technischen Wirkungen der Erfindung, nämlich eine adaptive Verbesserung der Darstellung des Videosignals 10 auf dem Monitor 7, vorzugsweise unter Berücksichtigung des momentanen Videobilddatenstroms, realisieren.
-
Zusammenfassend wird zur Verbesserung der Darstellung eines mit einem Videoendoskopiesystem 1 aufgenommenen veränderlichen Videobilddatenstroms auf einem Monitor 7 vorgeschlagen, dass das Videoendoskopiesystem 1 automatisiert mindestens einen Parameter erzeugt und diesen an den Monitor 7 übermittelt, wobei mit Hilfe des Parameters die Darstellung auf einen aktuellen übertragenen Abschnitt des Videobilddatenstroms, bevorzugt in Echtzeit, angepasst werden kann, um so eine angepasste Wiedergabe des Abschnitts auf dem Monitor 7 zu ermöglichen.
-
Bezugszeichenliste
-
- 1
- Endoskopiesystem
- 2
- Endoskop
- 3
- Bildsensor (von 2)
- 4
- Kamerakopf (von 2)
- 5
- Endoskopschaft (von 2)
- 6
- Kamerakontrolleinheit (von 1)
- 7
- Monitor
- 8
- Bildverarbeitungseinheit
- 9
- Sensorsignal
- 10
- Videosignal
- 11
- Parametergenerator (von 8)
- 12
- Datenübertragungsstrecke (zu 7)
- 13
- interner Speicher (von 1)
- 14
- Videosignalgenerator
- 15
- KI-Algorithmus
- 16
- Eingabeeinheit
- 17
- Signalverarbeitungseinheit
- 17a
- erste Signalverarbeitungseinheit
- 17b
- zweite Signalverarbeitungseinheit
- 18
- Metadaten und/oder Ansteuerungsdaten