DE102021101410A1

DE102021101410A1 - Verfahren und System zur Steuerung eines chirurgischen HF-Generators sowie Softwareprogrammprodukt

Info

Publication number: DE102021101410A1
Application number: DE102021101410.7A
Authority: DE
Inventors: Thorsten Jürgens; Andreas Mückner; Per SUPPA; Jakob Mücher; Dennis Bernhardt; Andrea Schwendele; Veronika Handrick
Original assignee: Olympus Winter and Ibe GmbH
Current assignee: Olympus Winter and Ibe GmbH
Priority date: 2021-01-22
Filing date: 2021-01-22
Publication date: 2022-07-28
Also published as: US20220233229A1

Abstract

Die Erfindung betrifft ein Verfahren und ein System zur Steuerung eines chirurgischen HF-Generators (30) während eines HF-chirurgischen Eingriffs mit einem von dem HF-Generator (30) mit HF-Energie versorgten chirurgischen HF-chirurgischen Handinstrument (20), wobei ein Operationsfeld mittels einer Bilderfassung überwacht wird, insbesondere mittels eines Videoendoskops (40), welches eine Abfolge von Bildern (1021,2) in einer Bildfolge (100) erfasst, sowie ein Softwareprogrammprodukt.Erfindungsgemäß werden die erfassten Bilder (1021,2) einer automatischen Real-Time-Bilderkennung unterzogen, in der die erfassten Bilder (1021,2) auf Strukturen eines oder mehrerer Strukturtypen und/oder Operationssituationen eines oder mehrerer Operationssituationstypen hin ausgewertet werden (104) und in Reaktion auf das Erkennen einer oder mehrerer vorherbestimmter Strukturen oder Operationssituationen wird eine Änderung eines oder mehrerer Betriebsparameter und/oder Betriebsmodi (1061-4) des HF-Generators (30) vorgeschlagen oder durchgeführt.

Description

Die Erfindung betrifft ein Verfahren, ein System und ein Softwareprogrammprodukt mit Programmcodemitteln zur Steuerung eines chirurgischen HF-Generators während eines HF-chirurgischen Eingriffs mit einem von dem HF-Generator mit HF-Energie versorgten chirurgischen HF-chirurgischen Handinstrument, wobei ein Operationsfeld mittels einer Bilderfassung überwacht wird, insbesondere mittels eines Videoendoskops.
Bei Eingriffen mit HF-chirurgischen Handinstrumenten wird Gewebe im Körperinneren behandelt. Beispiele hierfür sind das Verschließen von Blutgefäßen durch Koagulation, das Koagulieren oder Kauterisieren von blutenden Stellen, oder das Schneiden von Gewebe mit gleichzeitigem Kauterisieren der Schnittstelle. Um im Falle einer minimalinvasiven Operation den HF-chirurgischen Eingriff zu visualisieren werden üblicherweise mit zwei Trokaren zwei Zugänge gelegt, durch die das HF-chirurgische Handinstrument und ein Endoskop in den Körperhohlraum des Patienten, beispielsweise den Bauchraum, eingeführt werden. Bei offenen Operationen ist das Operationsfeld direkt einsehbar.
Die verschiedenen operativen Funktionen von HF-chirurgischen Handinstrumenten werden durch spezielle HF-Wellenformen bewirkt. Da es sich um einen elektromagnetischen Energieaustrag handelt, kann am HF-Generator, der das HF-chirurgische Handinstrument mit den verschiedenen HF-Wellenformen versorgt, über die sich im Verlauf der Behandlung des Gewebes verändernde Impedanz des behandelten Gewebes auch dessen Behandlungsstatus gemessen werden. So kann beispielsweise mit speziellen HF-Wellenformen ein Blutgefäß verschlossen und koaguliert werden, bevor es an der Verschlussstelle zerteilt wird. Durch die Anwendung spezieller Auswertungsalgorithmen und die Überwachung der Gewebeantwort kann, abhängig vom Typ des eingesetzten Instruments, die sichere Koagulation von Venen oder Arterien mit 5 mm, 7 mm oder 9 mm Durchmesser garantiert werden. Eine Anwendung von Clips oder Nähten zur Hämostase ist dann nicht mehr notwendig.
HF-Energie wird appliziert, wenn der Operateur, meist ein Chirurg, am HF-chirurgischen Handinstrument ein entsprechendes Bedienelement betätigt. Er hat es daher jederzeit in der Hand, wieviel HF-Energie tatsächlich appliziert wird. Diese kann im Einzelfall auch zu wenig sein, um den gewünschten Erfolg zu erzielen. Um sicherzustellen, dass eine Koagulation abgeschlossen ist, sind HF-Generatoren beispielsweise mit der Funktion ausgestattet, ein akustisches oder audiovisuelles Warnsignal, einen sogenannten „seal incomplete“-Ton, zu erzeugen, solange ein Verschluss nicht vollständig hergestellt ist. Dies führt bei Operationen allerdings zu Irritationen, wenn der Chirurg die HF-Energie für Hämostase nicht zum Zweck des Verschlusses eines Blutgefäßes appliziert. In manchen Fällen werden nur geringe HF-Energiemengen benötigt, zum Beispiel, wenn eine kleine Blutung versiegelt werden soll, die während einer stumpfen Dissektion entstanden ist. Der HF-Generator erzeugt den Signalton jedoch in jedem Fall, was zu einer unnötigen Geräuschbelastung und zu einer akustischen oder audiovisuellen Ablenkung im Operationssaal führt.
HF-Generatoren sind in der Lage, HF-Energie in einer Vielzahl verschiedener HF-Wellenformen und Betriebsmodi zur Verfügung zu stellen. So können monopolare und bipolare HF-chirurgische Handinstrumente jeweils mit eigenen, passenden HF-Wellenformen und Betriebsmodi verwendet werden, die für die mono- und bipolaren Instrumente geeignet sind. Ein Chirurg kann hieraus, der aktuellen Operationssituation entsprechend, passende Betriebsmodi und HF-Wellenformen auswählen. Bei HF-Generatoren der Anmelderin kann der Chirurg bei Verwendung eines bipolaren HF-chirurgischen Handinstruments beispielsweise zur Vorbereitung und Mobilisierung von Gewebe, bei der nur schwache Blutungen auftreten, eine BiSoftCoag-Einstellung auswählen. Bei unerwartet starken Blutungen kann zum Beispiel die HardCoag-Einstellung besser geeignet sein. Bei einer endoskopischen Mukosadissektion (ESD) kann es vorteilhaft sein, die Einstellung einer monopolaren Elektrode von SoftCoag zu Force-Coag zu verstärken, oder mit SprayCoag eine größere Fläche zu behandeln, um eine Blutung zu stoppen.
Wenn eine unerwartete intraoperative Situation eintritt, kann allerdings wertvolle Zeit verloren gehen, wenn der Chirurg nicht in der Lage ist, den HF-Modus sofort richtig einzustellen.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, den Nachteilen des Standes der Technik abzuhelfen.
Diese Aufgabe wird durch ein Verfahren zur Steuerung eines chirurgischen HF-Generators während eines HF-chirurgischen Eingriffs mit einem von dem HF-Generator mit HF-Energie versorgten chirurgischen HF-chirurgischen Handinstrument gelöst, bei dem ein Operationsfeld mittels einer Bilderfassung überwacht wird, insbesondere mittels eines Videoendoskops, welches eine Abfolge von Bildern in einer Bildfolge erfasst, dadurch gekennzeichnet, dass die erfassten Bilder einer automatischen Real-Time-Bilderkennung unterzogen werden, in der die erfassten Bilder auf Strukturen eines oder mehrerer Strukturtypen und/oder Operationssituationen eines oder mehrerer Operationssituationstypen hin ausgewertet werden und in Reaktion auf das Erkennen einer oder mehrerer vorherbestimmter Strukturen oder Operationssituationen eine Änderung eines oder mehrerer Betriebsparameter und/oder Betriebsmodi des HF-Generators vorgeschlagen oder durchgeführt wird.
Die automatische Erkennung von Gewebestrukturen und Blutungen in erfassten Bildern, insbesondere von Endoskopen aufgenommenen Bildern, mittels Bildanalyse gehört zum Stand der Technik. Gängige Bilderkennungsverfahren zum Auffinden von Blutungen umfassen beispielsweise Farbraumtransformationen, mit denen der Kontrast zwischen der Farbe von offen austretendem Blut und den Rottönen von anderem Gewebe im Bild erhöht werden können.
Ein Forschungsfeld, in der diese Bildanalyse aktiv entwickelt wird, ist die Auswertung von Bildern von Kapselendoskopen. Die Kapselendoskopie (CE) ist eine nicht-invasive Methode, um Anomalien unter anderem des Dünndarms, wie z. B. Blutungen, zu erkennen. Sie bietet eine direkte Sicht auf den gesamten Magen-Darm-Trakt des Patienten. Allerdings ist eine manuelle Inspektion der riesigen Anzahl von Bildern, die dabei entstehen, mühsam und langwierig und damit anfällig für menschliche Fehler. Dies macht eine automatisierte computergestützte Entscheidungsfindung in diesem Zusammenhang attraktiv.
T. Ghosh, L. Li und J. Chakareski beschreiben in „Effective Deep Learning for Semantic Segmentation Based Bleeding Zone Detection in Capsule Endoscopy Images“, 25th IEEE International Conference on Image Processing (ICIP), S. 3034 - 3038 (2018), einen Deep-Learning-basierten semantischen Segmentierungsansatz für Erkennung von Blutungszonen in Kapselendoskopbildern. Bilder einer Blutung weisen drei Regionen auf, die als blutend, nicht blutend und Hintergrund gekennzeichnet sind. Dazu wird ein neuronales Faltungsnetzwerk (CNN) mit SegNet-Schichten mit drei Klassen trainiert. Ein gegebenes Kapselendoskopbild wird mithilfe des Trainingsnetzwerks segmentiert und die erkannten Blutungszonen werden markiert. Die vorgeschlagene Netzwerkarchitektur wird auf verschiedenen Farbebenen getestet und die beste Leistung wird mit dem HSV-Farbraum (Farbton, Sättigung und Wert) erzielt.
In L. Cui et al., „Bleeding detection in wireless capsule endoscopy images by support vector classifier“, Proceedings of the 2010 IEEE International Conference on Information and Automation, S. 1746 - 1751, wird ein automatischer Algorithmus zur Erkennung von Blutungen in WCE-Bildern vorgeschlagen. Dieser Ansatz konzentriert sich hauptsächlich auf Farbmerkmale, die auch ein sehr effektives Indiz sind, das von Ärzten zur Diagnose verwendet wird. Es werden sechs Farbmerkmale im HSI-Farbraum vorgeschlagen, um zwischen Blutung und Normalzustand zu unterscheiden. Ein Support-Vektor-Klassifikator wird verwendet, um die Leistung der vorgeschlagenen Merkmale zu überprüfen und den Status der Bilder zu beurteilen. Die experimentellen Ergebnisse zeigen, dass die vorgeschlagenen Merkmale und die Klassifizierungsmethode effektiv sind und eine hohe Genauigkeit erreicht werden kann.
Die Bildauswertung bei den Kapselendoskopen erfolgt zu einem analytischen Zweck, da Kapselendoskope nur zum Monitoring eingesetzt werden, nicht bei der Überwachung von Eingriffe. Die von Kapselendoskopen und von handgeführten Endoskopen aufgenommenen Bilder sind allerdings sehr ähnlich, so sich die für Kapselendoskope entwickelten Verfahren auch auf die von Videoendoskopen erfassten Bilder anwenden und im Zusammenhang der HF-Chirurgie zur erfindungsgemäßen Unterstützung bei der Steuerung von HF-Generatoren nutzen lassen, indem Änderungen eines oder mehrerer Betriebsparameter und/oder Betriebsmodi des HF-Generators vorgeschlagen oder durchgeführt werden. Dabei kann es sich je nach Typ der HF-Elektrode des HF-chirurgischen Handinstruments um die Auswahl eines mono- oder bipolaren Modus handeln, beispielsweise einen der zur Auswahl stehenden Koagulationsmoden, oder um einen Betriebsparameter wie die HF-Spannung, HF-Wellenform oder die Zulassung oder Unterdrückung eines akustischen oder audiovisuellen „seal incomplete“-Signals.
Das erfindungsgemäße Verfahren ist nicht auf die Verwendung von Endoskopen begrenzt. Bei offenen Operationen können auch Bilder von Videokameras als Bildaufnahmevorrichtungen entsprechend verwendet werden.
In Ausführungsformen werden mittels der Bilderkennung Blutungen als Strukturen erkannt und wird als Änderung ein geeigneter HF-Modus zur Koagulation vorgeschlagen oder angewendet. Dazu wird oder werden in Ausführungsformen eine Größe und/oder eine Blutmenge der Blutung erfasst und bei der Auswahl des geeigneten HF-Modus berücksichtigt.
Eine semantische Segmentierung der erfassten Bilder nach anatomischen Strukturen erfolgt in Ausführungsformen des Verfahrens, insbesondere Gewebetypen, Organen und/oder Blutgefäßen. Damit wird eine weiter verbesserte kontextsensitive Entscheidungsgrundlage für die Auswahl geeigneter HF-Modi und/oder Parameteränderungen gelegt. Es kann so berücksichtigt werden, dass verschiedene Organe und Gewebetypen unterschiedliches Blutungsverhalten haben. Dazu kann eine erkannte Blutung durch ihre Position in einem Segment des Bildes der in diesem Segment vorherrschenden anatomischen Struktur zugeordnet werden. Bei der Auswahl des geeigneten HF-Modus kann zusätzlich zur Größe oder Stärke einer Blutung eine Beschaffenheit der anatomischen Struktur berücksichtigt werden. So kann beispielsweise zum Abklemmen oder Veröden einer Arteriole, also einer kleinen Vene, ein schwacher Modus verwendet werden, während bei Schnitten in die Oberfläche eines Organs, beispielsweise die Leber oder ein Gallengang, eher eine Spray-Koagulation geeignet ist.
In Ausführungsformen erfolgt die Erkennung einer Blutung mittels eines auf Machine Learning basierenden Algorithmus, insbesondere auf der Grundlage eines neuronalen Netzes oder einer Support Vector Machine, das oder die mit Bildern oder Videos von organischen Strukturen mit Blutungen trainiert wurde.
In einer Weiterbildung wird einem Operateur auf der Grundlage der Erkennung von Blutungen ein Koagulationsmodus vorgeschlagen und der Algorithmus mit den aktuellen erfassten Bildern auf der Grundlage einer Rückmeldung des Operateurs weiter trainiert, ob es sich um eine Blutung handelt oder nicht, insbesondere auf der Grundlage der Entscheidung, ob die erkannte Stelle mittels Koagulation behandelt wird oder nicht oder ob ein anderer als der vorgeschlagene HF-Modus oder Betriebsparameter verwendet wird, wobei insbesondere das weitere Trainieren für verschiedene Chirurgen individuell erfolgt.
Dies führt zu einer laufenden Verbesserung der Erkennungssicherheit von Blutungen und ihrem Kontext sowie dazu, dass die Vorschläge zunehmend situationsangemessen sind. Bei einer Individualisierung des Lernens kann der Algorithmus sich an die Arbeitsweise verschiedener Chirurgen individuell anpassen.
Zur Unterdrückung von störenden und situationsunangemessenen Warnsignalen werden die erfassten Bilder in Ausführungsformen des Verfahrens auf eine Operationssituation hin analysiert, in der ein HF-chirurgisches Handinstrument im erfassten Bild sichtbar ist, mittels dessen Blutgefäße versiegelt werden können, und bei der das HF-chirurgische Handinstrument einem Blutgefäß angenähert wird, wobei die Identifikation des HF-chirurgischen Handinstruments aus externen Datenquellen oder aus einer hierzu eingerichteten Bildanalyse erfolgt, wobei eine Wahrscheinlichkeit errechnet wird, dass das angenäherte Blutgefäß versiegelt werden soll und ein akustisches Warnsignal unterdrückt wird, welches eine unvollständige Versiegelung anzeigt, wenn die Wahrscheinlichkeit unterhalb eines vorbestimmten oder vorbestimmbaren Schwellwert liegt. Dazu wird in Ausführungsformen die Wahrscheinlichkeit ermittelt, ob das angenäherte Blutgefäß versiegelt werden soll, unter Berücksichtigung des Verlaufs der Annäherung, insbesondere einer abnehmenden Annäherungsgeschwindigkeit oder eines Verharrens bei dem Blutgefäß, und/oder unter Berücksichtigung von Gegebenheiten des angenäherten Blutgefäßes, insbesondere gegebenenfalls seiner Skelettierung.
Die Erkennung der Operationssituation sowie des HF-chirurgischen Handinstruments ist jeweils ebenfalls trainierbar. So kann die Analyse der erfassten Bilder auf eine Operationssituation hin auf der Grundlage eines Machine-Learning-Algorithmus erfolgen, insbesondere eines trainierten neuronalen Netzes. Der dazu verwendete AIgorithmus kann in einer Weiterbildung mit den aktuellen erfassten Bildern auf der Grundlage der Entscheidung des Operateurs, ob das Blutgefäß versiegelt wird oder nicht, weiter trainiert werden, wobei insbesondere das weitere Trainieren für verschiedene Operateure individuell erfolgt. Bei einer Individualisierung des Lernens kann der Algorithmus sich an die Arbeitsweise verschiedener Chirurgen individuell anpassen.
Zu diesem Zweck kann beispielsweise dasselbe neuronale Netz, das zur Erkennung von Blutungen und gegebenenfalls der semantischen Segmentierung trainiert worden war, mit einem weiteren Klassifikator für HF-chirurgische Handgeräte ausgestattet sein oder werden. Alternativ kann ein eigenständiger Algorithmus für das HF-chirurgische Handinstrument eingesetzt werden. Der Typ des HF-chirurgischen Handgeräts kann entweder mittels der Bilderkennung erkannt werden, oder vom HF-Generator bereitgestellt werden, wenn der HF-Generator und das HF-chirurgische Handinstrument entsprechend ausgestattet sind, dass der HF-Generator den Typ des HF-chirurgischen Handinstruments automatisch erkennt.
Die der Erfindung zugrunde liegende Aufgabe wird auch durch ein System zur Steuerung eines chirurgischen HF-Generators während eines HF-chirurgischen Eingriffs mit einem von dem HF-Generator mit HF-Energie versorgten HF-chirurgischen Handinstrument gelöst, umfassend den HF-Generator, wenigstens ein vom HF-Generator mit HF-Energie versorgbares HF-chirurgisches Handinstrument, eine Anzeigevorrichtung, eine Vorschlagseinheit und eine Bildauswertungseinheit, die insbesondere Teil des HF-Generators ist oder sind, und eine Bildaufnahmevorrichtung, insbesondere ein Videoendoskop, das mit der Bildauswertungseinheit signalverbunden ist, wobei die Bildauswertungseinheit ausgebildet ist, Bildsignale von der Bildaufnahmevorrichtung zu empfangen und auszuwerten, dadurch gekennzeichnet, dass die Vorschlagseinheit und die Bildauswertungseinheit ausgebildet und eingerichtet sind, ein zuvor beschriebenes erfindungsgemäßes Verfahren durchzuführen. Das System verwirklicht die gleichen Merkmale, Eigenschaften und Vorteile wie das erfindungsgemäße Verfahren.
Ferner wird die der Erfindung zugrunde liegende Aufgabe auch durch ein Softwareprogrammprodukt mit Programmcodemitteln gelöst, mit denen ein zuvor beschriebenes erfindungsgemäßes Verfahren durchgeführt wird, wenn die die Bildanalyse betreffenden Programmcodemittel in der Bildauswertungseinheit ausgeführt werden und die die Steuerung des HF-Generators betreffenden Programmcodemittel in der Vorschlagseinheit ablaufen, wobei insbesondere die Bildauswertungseinheit und die Vorschlagseinheit als Programmeinheiten in einer Datenverarbeitungseinrichtung ausgebildet sind. Auch das Softwareprogrammprodukt verwirklicht die gleichen Merkmale, Eigenschaften und Vorteile wie das erfindungsgemäße Verfahren.
Weitere Merkmale der Erfindung werden aus der Beschreibung erfindungsgemäßer Ausführungsformen zusammen mit den Ansprüchen und den beigefügten Zeichnungen ersichtlich. Erfindungsgemäße Ausführungsformen können einzelne Merkmale oder eine Kombination mehrerer Merkmale erfüllen.
Im Rahmen der Erfindung sind Merkmale, die mit „insbesondere“ oder „vorzugsweise“ gekennzeichnet sind, als fakultative Merkmale zu verstehen.
Die Erfindung wird nachstehend ohne Beschränkung des allgemeinen Erfindungsgedankens anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen beschrieben, wobei bezüglich aller im Text nicht näher erläuterten erfindungsgemäßen Einzelheiten ausdrücklich auf die Zeichnungen verwiesen wird. Es zeigen:

1 eine schematische Darstellung eines erfindungsgemäßen Systems für die HF-Chirurgie und
2 eine schematische Darstellung eines erfindungsgemäßen Verfahrens.

In den Zeichnungen sind jeweils gleiche oder gleichartige Elemente und/oder Teile mit denselben Bezugsziffern versehen, so dass von einer erneuten Vorstellung jeweils abgesehen wird.
1 zeigt eine schematische Darstellung eines erfindungsgemäßen Systems 10 zum Einsatz in der HF-Chirurgie. Ein Eingriff mit einem HF-chirurgischen Handinstrument 20 und einem Endoskop 40 wird im Bauchraum eines Patienten durchgeführt. Dazu werden das HF-chirurgische Handinstrument 20 und das Endoskop 40 durch zwei Trokare 12, 14 durch die Bauchdecke 2 des Patienten in den Bauchraum eingeführt. Die HF-chirurgischen Interventionen erfolgen mit dem HF-chirurgischen Handinstrument 20, welches an seiner distalen Spitze eine HF-Elektrode aufweist, die mono- oder bipolar sein kann, und am proximalen Ende außerhalb des Bauchraums einen Handgriff 24, an dem das HF-chirurgische Handinstrument 20 von einem Chirurgen ergriffen und geführt wird. Die HF-Elektrode 22 hat in der Darstellung der 1 ein Blutgefäß 4 erfasst, das versiegelt werden soll.
Das Videoendoskop 40 ist mit seiner distalen Spitze 42 auf das Blutgefäß 4 und die HF-Elektrode 22 des HF-chirurgischen Handinstruments 20 hin ausgerichtet, so dass sich beide im Blickfeld des Videoendoskops befinden. Das Videoendoskop 40 kann über eine eigene Lichtquelle (nicht dargestellt) zur Ausleuchtung des Bildfeldes verfügen. Das Videoendoskop 40 kann in verschiedenen Ausführungen verwendet werden. Es kann sich um einen Typ handeln, bei dem der Bildsensor im distalen Teil des Endoskopschafts hinter einer kurzen Eintrittsoptik angeordnet ist oder um einen Typ, der eine Umlenkoptik bis in den proximalen Teil des Endoskops im Handgriff 44 hat, wo der Bildsensor angeordnet ist. Ein weiterer Typ besteht aus einem herkömmlichen Endoskop ohne eigenen Bildsensor und einem auf das Endoskop aufgesetzten Kamerakopf, die zusammen ein Videoendoskop 40 bilden. Im Rahmen der vorliegenden Erfindung kann das Videoendoskop 40 als Stereo- oder als Mono-Videoendoskop ausgebildet sein.
Die HF-Elektrode 22 des HF-chirurgischen Handinstruments 20 ist über ein Versorgungskabel 26 mit einem HF-Generator 30 verbunden, der die HF-Elektrode 22 mit HF-Energie versorgt. Der HF-Generator 30 ist ausgebildet, die HF-Energie in verschiedenen HF-Modi mit verschiedenen Wellenformen, Spannungen, Frequenzen etc. zu erzeugen. Der Chirurg kann dafür zwischen den verschiedenen angebotenen HF-Modi auswählen und gegebenenfalls einzelne Betriebsparameter eines HF-Modus zusätzlich verändern, um diese an die gegebenen Operationsnotwendigkeiten anzupassen.
Das Videoendoskop 40 ist über ein Verbindungskabel 46 mit einer Bildauswertungseinheit 50 verbunden, welche die Bilddaten des Videoendoskops 40 empfängt und auswertet. Die Bilddaten werden außerdem in Echtzeit auf einer Anzeigevorrichtung 60 des Systems 10 im Sichtfeld des operierenden Chirurgen angezeigt. Die Anzeigevorrichtung 60 wird dazu verwendet, sowohl die Bilddaten vom Videoendoskop 40 anzuzeigen als auch Daten zum gewählten HF-Modus und weiterer Betriebsparameter. Es kann sich bei der Anzeigevorrichtung 60 um eine Vorrichtung mit Touchscreen oder mit herkömmlichem Monitor und zusätzlichen Bedienknöpfen oder -feldern handeln, um Änderungen am HF-Modus oder an Betriebsparametern des HF-Generators 30 einzugeben. Alternativ oder zusätzlich kann auch das HF-chirurgische Handinstrument 20 mit Bedienelementen wie Druckknöpfen, Kippschaltern oder -tastern, Rändelrädern oder ähnlichem zum Bestätigen oder Ablehnen sowie gegebenenfalls zum Auswählen zwischen verschiedenen auf der Anzeigevorrichtung 60 angezeigten HF-Modi und/oder Betriebsparameter ausgestattet sein. Eingaben über diese Bedienelemente werden über das Versorgungskabel 26 an den HF-Generator 30 weitergeleitet.
Die Bilddaten vom Videoendoskop 40 werden in einer Bildauswertungseinheit 50 ausgewertet, wobei eine Vorschlagseinheit 54 auf der Grundlage der Bildauswertung HF-Modi oder Parameter auswählt und entweder direkt, beispielsweise über eine Steuerleitung 52, an den HF-Generator übermittelt oder über die Anzeigevorrichtung 60 dem Chirurgen zur Auswahl vorschlägt. Die Bildauswertungseinheit 50 und die Vorschlagseinheit 54 sind entweder separate Einrichtungen oder werden als software-implementierte Funktionseinheiten innerhalb einer Datenverarbeitungsvorrichtung ausgeführt. Sie können auch in den HF-Generator 30 implementiert sein.
Ein Beispiel eines Verfahrens, das im System 10 ablaufen kann, ist in 2 schematisch dargestellt. Eine Bildfolge 100 mit Bildern 102¹, 102², ... wird mit dem Endoskop 40 aufgenommen. Beispielhaft sind in dem Bild 102¹ eine Aufnahme einer arteriellen Blutung und im Bild 102² eine Aufnahme einer Blutung an der Leber gezeigt. In beiden Bildern 102^1,2 sind außerdem die als Zangen ausgeführten HF-Elektroden eines HF-chirurgischen Handinstruments gezeigt. Die Bilder werden in der Bildauswertungseinheit 50 einer automatisierten Struktur- und Situationsanalyse in Realzeit unterzogen. Dabei werden Blutungen als Strukturen im jeweiligen Bild 102^1,2 erkannt und gegebenenfalls die Größe der Blutung und/oder die Menge des ausgetretenen Blutes erfasst.
Zur Strukturerkennung kann eine semantische Segmentierung nach anatomischen Strukturen erfolgen. Diese würde im Bild 102¹ beispielsweise Blutgefäße sowie die Blutung identifizieren, und im Bild 102² neben der Blutung die Oberfläche der Leber sowie gegebenenfalls weitere Gewebetypen. Die Blutung kann dann aufgrund ihrer Position im jeweiligen Bild 102^1,2 dem Blutgefäß oder der Leber zugeordnet werden. Bei der Auswahl des geeigneten HF-Modus 106^1-4 kann zusätzlich zur Größe oder Stärke einer Blutung eine Beschaffenheit der anatomischen Struktur berücksichtigt werden. Damit wird es möglich, in der Vorschlagseinheit 54 aus einer Menge 106 voreingestellter HF-Modi des HF-Generators 30 einen geeigneten HF-Modus 106^1-4 auszuwählen, der entweder dem operierenden Chirurgen zur Auswahl gestellt oder automatisch eingestellt wird. Die Änderung des HF-Modus 106^1-4 oder eines anderen Parameters kann dem Chirurgen akustisch oder audiovisuell zur Kenntnis gebracht werden, beispielsweise durch eine Stimme, die die Änderung und den eingestellten HF-Modus 106^1-4 vermeldet.
Die erfassten Bilder 102^1,2 können auf eine Operationssituation hin analysiert werden 104. So sind in den Bildern 102^1,2 HF-chirurgische Handinstrumente 20 sichtbar. Dies könnte im Bild 102¹ eine Situation sein, in der ein Blutgefäß versiegelt werden soll. Wenn das HF-chirurgische Handinstrument 20 einem Blutgefäß 4 angenähert wird, ist diese Situation mit hoher Wahrscheinlichkeit gegeben. Wenn eine geringe Wahrscheinlichkeit errechnet wird, dass das angenäherte Blutgefäß versiegelt werden soll, dann kann ein akustisches oder audiovisuelles Warnsignal unterdrückt werden, welches eine unvollständige Versiegelung anzeigt. Diese Wahrscheinlichkeit kann unter Berücksichtigung des Verlaufs der Annäherung, insbesondere einer abnehmenden Annäherungsgeschwindigkeit oder eines Verharrens bei dem Blutgefäß ermittelt werden. Auch Gegebenheiten des angenäherten Blutgefäßes können dabei berücksichtigt werden, insbesondere, ob es skelettiert ist, was für eine hohe Wahrscheinlichkeit spricht, dass das Blutgefäß verschlossen werden soll.
In anderen Situation kann es sein, dass zwar ein Blutgefäß im Bild erkannt wird, allerdings auch eine Blutung, die nicht dem Blutgefäß zuzuordnen ist. Dann wird zunächst ein HF-Modus einzustellen oder vorzuschlagen sein, der zur Koagulation der vorhandenen Blutung geeignet ist. Eine „seal incomplete“-Warnung kann in einem solchen Fall unterbleiben.
Eine Identifikation des HF-chirurgischen Handinstruments 20 kann aus externen Datenquellen oder aus einer hierzu eingerichteten Bildanalyse erfolgen.
Die Erkennung einer Blutung kann mittels eines auf Machine Learning basierenden Algorithmus erfolgt, beispielsweise auf der Grundlage eines neuronalen Netzes oder einer Support Vector Machine, das oder die mit Bildern oder Videos von organischen Strukturen mit Blutungen wie den Bildern 102^1,2 trainiert wurde. Das Gleiche gilt für die Analyse der erfassten Bilder auf eine Operationssituation hin sowie für die Entscheidung, welcher HF-Modus 106^1-4 vorzuschlagen ist bzw. welche HF-Parameter geändert werden sollten. Die lernenden Algorithmen können mit den aktuell aufgenommenen Bildern 102^1,2 weiter trainiert werden, beispielsweise auf der Grundlage der Entscheidung des operierenden Chirurgen, ob die erkannte Stelle mittels Koagulation behandelt wird oder nicht, ob ein anderer als der vorgeschlagene HF-Modus 106^1-4 oder Betriebsparameter verwendet wird oder ob eine Versiegelung eines Blutgefäßes erfolgt oder nicht. Dieses Weiterlernen kann auch spezifisch für individuelle Chirurgen erfolgen, so dass der jeweilige Algorithmus sich selbstständig an die Arbeitsweise der jeweiligen Chirurgen anpasst.
Alle genannten Merkmale, auch die den Zeichnungen allein zu entnehmenden sowie auch einzelne Merkmale, die in Kombination mit anderen Merkmalen offenbart sind, werden allein und in Kombination als erfindungswesentlich angesehen. Erfindungsgemäße Ausführungsformen können durch einzelne Merkmale oder eine Kombination mehrerer Merkmale erfüllt sein.
Bezugszeichenliste

2: Bauchdecke
4: Blutgefäß
10: System
12, 14: Trokar
20: HF-chirurgisches Handinstrument
22: HF-Elektrode
24: Handgriff
26: Versorgungskabel
30: HF-Generator
40: Videoendoskop
42: distale Spitze
44: Handgriff
46: Verbindungskabel
50: Bildauswertungseinheit
52: Steuerleitung
54: Vorschlagseinheit
60: Anzeigevorrichtung
100: Bildfolge vom Endoskop
1021-2: Bilder mit Blutungssituation
104: Struktur- und Situationsanalyse
106: Menge voreingestellter HF-Modi
1061-4: HF-Modus

Claims

Verfahren zur Steuerung eines chirurgischen HF-Generators (30) während eines HF-chirurgischen Eingriffs mit einem von dem HF-Generator (30) mit HF-Energie versorgten chirurgischen HF-chirurgischen Handinstrument (20), wobei ein Operationsfeld mittels einer Bilderfassung überwacht wird, insbesondere mittels eines Videoendoskops (40), welches eine Abfolge von Bildern (102^1,2) in einer Bildfolge (100) erfasst, dadurch gekennzeichnet, dass die erfassten Bilder (102^1,2) einer automatischen Real-Time-Bilderkennung unterzogen werden, in der die erfassten Bilder (102^1,2) auf Strukturen eines oder mehrerer Strukturtypen und/oder Operationssituationen eines oder mehrerer Operationssituationstypen hin ausgewertet werden (104) und in Reaktion auf das Erkennen einer oder mehrerer vorherbestimmter Strukturen oder Operationssituationen eine Änderung eines oder mehrerer Betriebsparameter und/oder Betriebsmodi (106^1-4) des HF-Generators (30) vorgeschlagen oder durchgeführt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass mittels der Bilderkennung (104) Blutungen als Strukturen erkannt werden und als Änderung ein geeigneter HF-Modus (106^1-4) zur Koagulation vorgeschlagen oder angewendet wird.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass eine Größe und/oder eine Blutmenge der Blutung erfasst und bei der Auswahl des geeigneten HF-Modus (106^1-4) berücksichtigt wird oder werden.
Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass eine semantische Segmentierung der erfassten Bilder (102^1,2) nach anatomischen Strukturen erfolgt, insbesondere Gewebetypen, Organen und/oder Blutgefäßen (4).
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass eine erkannte Blutung durch ihre Position in einem Segment des Bildes (102^1,2) der in diesem Segment vorherrschenden anatomischen Struktur zugeordnet wird, wobei bei der Auswahl des geeigneten HF-Modus (106^1-4) zusätzlich zur Größe oder Stärke einer Blutung eine Beschaffenheit der anatomischen Struktur berücksichtigt wird.
Verfahren nach einem der Ansprüche 2 bis 5, dadurch gekennzeichnet, dass die Erkennung einer Blutung mittels eines auf Machine Learning basierenden Algorithmus erfolgt, insbesondere auf der Grundlage eines neuronalen Netzes oder einer Support Vector Machine, das oder die mit Bildern oder Videos von organischen Strukturen mit Blutungen trainiert wurde.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass einem Operateur auf der Grundlage der Erkennung von Blutungen ein Koagulationsmodus vorgeschlagen wird und der Algorithmus mit den aktuellen erfassten Bildern (102^1,2) auf der Grundlage einer Rückmeldung des Operateurs weiter trainiert wird, ob es sich um eine Blutung handelt oder nicht, insbesondere auf der Grundlage der Entscheidung, ob die erkannte Stelle mittels Koagulation behandelt wird oder nicht oder ob ein anderer als der vorgeschlagene HF-Modus (106^1-4) oder Betriebsparameter verwendet wird, wobei insbesondere das weitere Trainieren für verschiedene Operateure individuell erfolgt.
Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die erfassten Bilder (102^1,2) auf eine Operationssituation hin analysiert werden (104), in der ein HF-chirurgisches Handinstrument (20) im erfassten Bild (102^1,2) sichtbar ist, mittels dessen Blutgefäße (4) versiegelt werden können, und bei der das HF-chirurgische Handinstrument (20) einem Blutgefäß (4) angenähert wird, wobei die Identifikation des HF-chirurgischen Handinstruments (20) aus externen Datenquellen oder aus einer hierzu eingerichteten Bildanalyse erfolgt, wobei eine Wahrscheinlichkeit errechnet wird, dass das angenäherte Blutgefäß (4) versiegelt werden soll und ein akustisches Warnsignal unterdrückt wird, welches eine unvollständige Versiegelung anzeigt, wenn die Wahrscheinlichkeit unterhalb eines vorbestimmten oder vorbestimmbaren Schwellwert liegt.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Wahrscheinlichkeit, ob das angenäherte Blutgefäß (4) versiegelt werden soll, unter Berücksichtigung des Verlaufs der Annäherung, insbesondere einer abnehmenden Annäherungsgeschwindigkeit oder eines Verharrens bei dem Blutgefäß (4), und/oder unter Berücksichtigung von Gegebenheiten des angenäherten Blutgefäßes (4), insbesondere gegebenenfalls seiner Skelettierung, ermittelt wird.
Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass Analyse der erfassten Bilder (102^1,2) auf eine Operationssituation hin auf der Grundlage eines Machine-Learning-Algorithmus erfolgt, insbesondere eines trainierten neuronalen Netzes.
Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass der Algorithmus mit den aktuellen erfassten Bildern (102^1,2) auf der Grundlage der Entscheidung des Operateurs weiter trainiert wird, ob das Blutgefäß (4) versiegelt wird oder nicht, wobei insbesondere das weitere Trainieren für verschiedene Operateure individuell erfolgt.
System zur Steuerung eines chirurgischen HF-Generators (30) während eines HF-chirurgischen Eingriffs mit einem von dem HF-Generator (30) mit HF-Energie versorgten HF-chirurgischen Handinstrument (20), umfassend den HF-Generator (30), wenigstens ein vom HF-Generator (30) mit HF-Energie versorgbares HF-chirurgisches Handinstrument (20), eine Anzeigevorrichtung (60), eine Vorschlagseinheit (54) und eine Bildauswertungseinheit (50), die insbesondere Teil des HF-Generators (30) ist oder sind, und eine Bildaufnahmevorrichtung, insbesondere ein Videoendoskop (40), das mit der Bildauswertungseinheit (50) signalverbunden ist, wobei die Bildauswertungseinheit (50) ausgebildet ist, Bildsignale von der Bildaufnahmevorrichtung zu empfangen und auszuwerten, dadurch gekennzeichnet, dass die Vorschlagseinheit (54) und die Bildauswertungseinheit (50) ausgebildet und eingerichtet sind, ein Verfahren nach einem der Ansprüche 1 bis 11 durchzuführen.
Softwareprogrammprodukt mit Programmcodemitteln, mit denen ein Verfahren nach einem der Ansprüche 1 bis 11 durchgeführt wird, wenn die die Bildanalyse (104) betreffenden Programmcodemittel in der Bildauswertungseinheit (50) ausgeführt werden und die die Steuerung des HF-Generators (30) betreffenden Programmcodemittel in der Vorschlagseinheit (54) ablaufen, wobei insbesondere die Bildauswertungseinheit (50) und die Vorschlagseinheit (54) als Programmeinheiten in einer Datenverarbeitungseinrichtung ausgebildet sind.