-
Die Erfindung betrifft ein Betriebsverfahren für ein medizinisches System zum Durchführen eines chirurgischen Eingriffs, umfassend zumindest eine künstliche Intelligenz. Ferner betrifft die Erfindung ein medizinisches System zum Durchführen eines chirurgischen Eingriffs.
-
Medizinische Systeme sind in verschiedenen Ausführungen allgemein bekannt. Als medizinisches System soll beispielsweise die technisch-medizinische Ausstattung eines Operationsraums angesehen werden. In einem modernen Operationsraum sind Kameras zur Erfassung der Durchführung der Operation, verschiedene chirurgische Instrumente, wie beispielsweise Endoskope, sowie vielfach auch bildgebende medizinische Geräte, beispielsweise ein Röntgengerät, vorhanden. Vielfach üblich sind auch Wiedergabegeräte, mit denen beispielsweise voroperativ aufgenommene Untersuchungsergebnisse, wie beispielsweise MRT- oder CT-Bilder, angezeigt werden können.
-
In einzelnen medizinischen Geräten kommt zunehmend künstliche Intelligenz zum Einsatz. Als künstliche Intelligenz soll eine in einer Recheneinrichtung implementierte Einheit verstanden werden, deren Verhalten oder Reaktion auf bestimmte Eingaben auf Außenstehende ähnlich wie eine menschliche Intelligenz wirkt. Dabei umfasst der Begriff „künstliche Intelligenz“ beispielsweise Maschinenlernen, maschinelles Sehen und Erkennen von Objekten, Spracherkennung und -verarbeitung und auch Robotik.
-
Maschinenlernen ist eine künstliche Intelligenz, die anhand einer Vielzahl von Situationen oder Verläufen nebst zugehöriger Bewertung selbst erlernen kann, wie sie sich zu verhalten hat, um eine möglichst hohe Bewertung zu erzielen. Die Bewertung kann dabei entweder der künstlichen Intelligenz vorgegeben werden oder von der künstlichen Intelligenz anhand eines bekannten Bewertungskriteriums vorgegeben werden oder von der künstlichen Intelligenz selbst ermittelt werden. Die künstliche Intelligenz akkumuliert und enthält somit das Wissen über einen der jeweiligen Situation angepassten optimalen Betrieb des Systems.
-
Maschinelles Sehen und Erkennen von Objekten ist beispielsweise das Extrahieren von Objekten aus Bildern und/oder die Zuordnung von (extrahierten) Objekten zu bestimmten Kategorien. Sprachverarbeitung umfasst beispielsweise das selbstständige Erkennen von Worten und/oder die Erkennung von Befehlen und Handlungsanweisungen aus einem frei gesprochenen Text.
-
Es ist vielfach üblich, künstliche Intelligenz vor ihrem Einsatz zu trainieren. Es ist sogar vielfach vorgesehen, die künstliche Intelligenz ausschließlich vorab zu trainieren und für die Dauer der Verwendung unverändert zu lassen. Ebenso ist es jedoch vorgesehen, dass die künstliche Intelligenz parallel zur Ermittlung der Auswertungsergebnisse eine Bewertung der Auswertungsergebnisse vornimmt und sich selbst anhand der Bewertung nachtrainiert.
-
Aus Zhang, J. et al.: „Rapid surface registration of 3D volumes using a neural network approach“ ist ein Verfahren zur Bildregistrierung im medizinschen Bereich mittels eines neuronalen Netzes bekannt. Es werden voroperative Bilddaten und intraoperative Bilddaten eines zu untersuchenden Bereichs segmentiert und anschließend in Übereinstimmung gebracht, so dass die überlagerten Bilddaten bei einem chirurgischen Eingriff angezeigt werden können. Dabei erfolgt eine Bildregistrierung in drei Schritten, nämlich einer groben Registrierung, einer 3D-Oberflächenmodellierung und einer anschließenden Optimierung. Bei dem zweiten Schritt, nämlich der Oberflächenmodellierung, kommt ein neuronales Netzwerk zum Einsatz.
-
Ferner ist aus
US 2016 / 0 035 093 A1 ein System bekannt, mit dem während einer Operation Unregelmäßigkeiten in Bilddaten erkannt werden. Die Bilddaten werden mittels Maschinenlernens verarbeitet und es wird ein Marker erzeugt, der in einem Echtbild angezeigt werden kann.
-
Es ist eine Aufgabe der Erfindung, ein Betriebsverfahren für ein medizinisches System anzugeben, in welchem der Einsatz künstlicher Intelligenz verbessert sein soll.
-
Die Aufgabe wird gelöst durch ein Betriebsverfahren für ein medizinisches System zum Durchführen eines chirurgischen Eingriffs, umfassend zumindest eine künstliche Intelligenz, wobei das Betriebsverfahren dadurch fortgebildet ist, dass das System eine intraoperative künstliche Intelligenz und eine Ausgabeeinheit umfasst, wobei der intraoperativen künstlichen Intelligenz voroperative Ausgabedaten und intraoperative Daten zugeführt werden und die voroperativen Ausgabedaten und die intraoperativen Daten von der intraoperativen künstlichen Intelligenz verarbeitet werden, wobei Ausgabedaten der intraoperativen künstlichen Intelligenz an die Ausgabeeinheit ausgegeben werden, die auf der Grundlage der Ausgabedaten der intraoperativen künstlichen Intelligenz eine Benutzerausgabe bereitstellt, wobei die einzelnen Verarbeitungsschritte in einzelnen KI-Modulen durchgeführt werden und eine Mehrzahl von einzelnen KI-Modulen zu einer Modulgruppe zusammengefasst werden, wobei die KI-Module derart miteinander verknüpft werden, dass Ausgabedaten eines ersten KI-Moduls als Eingangsdaten einem zweiten KI-Modul zugeführt werden.
-
Die voroperativen Ausgabedaten können Ergebnisse einer maschinellen Vorverarbeitung aber auch das Ergebnis einer von Hand durchgeführten Vorverarbeitung sein.
-
Gemäß einer vorteilhaften Ausführungsform ist das Betriebsverfahren dadurch fortgebildet, dass das System eine voroperative künstliche Intelligenz umfasst, wobei der voroperativen künstlichen Intelligenz voroperative Daten zugeführt und von der voroperativen künstlichen Intelligenz verarbeitet und als die voroperativen Ausgabedaten ausgegeben werden, wobei der intraoperativen künstlichen Intelligenz die voroperativen Ausgabedaten zugeführt werden.
-
Vorteilhaft werden verschiedene künstliche Intelligenzen miteinander kombiniert, um so eine optimale Unterstützung des medizinischen Personals zu erreichen. Das medizinische System liefert eine Benutzerausgabe, in der voroperative und intraoperative Daten mittels künstlicher Intelligenz optimal miteinander kombiniert werden.
-
Die zur Anwendung kommende künstliche Intelligenz kann nach Bedarf und je nach Anwendungsfall ausgewählt und bestimmt werden. Die Art der ersten künstlichen Intelligenz und der zweiten künstlichen Intelligenz kann vom gleichen Typ oder auch voneinander verschieden sein. Beispielsweise kann die künstliche Intelligenz als künstliches neuronales Netz oder Netzwerk (artificial neuronal network), als Stützvektormaschine (support vector machine), als Entscheidungsbaum (decision tree), als Bayes'sche Zuverlässigkeitsnetzwerk (Bayesian believe network), als sog. k-nächste Nachbarn, als sich selbst organisierende Karte (self-organizing map), als fallorientierte Überlegung (case-based reasoning), als fallorientiertes Lernen (instance-based learning) oder auch als sog. Hidden-Markov-Modell ausgebildet sein. Selbstverständlich sind auch Kombinationen dieser Ausgestaltungen möglich.
-
Gemäß einer Ausführungsform ist die künstliche Intelligenz, und dies betrifft sowohl die voroperative als auch intraoperative künstliche Intelligenz, als künstliches neuronales Netz ausgebildet. Insbesondere kommt ein tiefes neuronales Netz (DNN = Deep Neuronal Network) zum Einsatz. Mit einer solchen künstlichen Intelligenz können insbesondere Bilddaten oder auch akustische Daten gut verarbeitet werden. Es ist ebenso vorgesehen, eine einzige künstliche Intelligenz mit mehreren neuronalen Netzen auszugestalten, wobei verschiedene Netztypen zur Anwendung kommen können und miteinander kombiniert werden können.
-
Gemäß einer vorteilhaften Ausführungsform ist das Betriebsverfahren dadurch fortgebildet, dass die voroperativen Daten erste Bilddaten zumindest eines bildgebenden medizinischen Geräts umfassen und die voroperative künstliche Intelligenz die ersten Bilddaten im Hinblick auf eine in den ersten Bilddaten vorhandene Anatomie und/oder Pathologie verarbeitet und die Anatomie kennzeichnende Anatomiedaten und/oder die Pathologie kennzeichnende Pathologiedaten als voroperative Ausgabedaten ausgibt.
-
Die voroperative künstliche Intelligenz extrahiert Informationen aus den voroperativen ersten Bilddaten, bei denen es sich beispielsweise um CT- oder MRT-Bilddaten handelt. Physiologische oder pathologische Strukturen können insbesondere direkt in den Bilddaten gekennzeichnet werden, um das medizinische Personal während des chirurgischen Eingriffs optimal zu unterstützen. Es ist jedoch ebenso vorgesehen, dass die voroperative künstliche Intelligenz, gemäß einer weiteren Ausführungsform, als voroperative Daten Daten eines Arztbriefes oder eines Befundes analysiert. Insbesondere kann die entsprechende Analyse mit der Analyse der Bilddaten kombiniert werden, beispielsweise werden die im Befund oder im Arztbrief genannten pathologischen Strukturen in den Bilddaten identifiziert.
-
Gemäß einer weiteren Ausführungsform ist das Betriebsverfahren dadurch fortgebildet, dass die intraoperativen Daten zweite Bilddaten umfassen und die intraoperative künstliche Intelligenz die zweiten Bilddaten verarbeitet, indem den zweiten Bilddaten Vermerke hinzugefügt werden und die zweiten Bilddaten zu Bilddaten mit erweiterter Realität verarbeitet werden und als Benutzerausgabe bereitgestellt werden.
-
Die intraoperative künstliche Intelligenz extrahiert beispielsweise Informationen aus Echtzeitbildern, die von einer oder mehreren Kameras, die in einem Operationssaal installiert sind, aufgenommen werden. Die Bearbeitung dieser Bilder als Bilder mit erweiterter Realität (augmented reality) erleichtert dem medizinischen Personal die Orientierung im Operationsfeld. Außerdem kann individuell und situationsspezifisch Hilfe angeboten werden, indem entsprechende Objekte oder Bereiche der erfassten Bilder farblich markiert oder mit Kommentaren versehen werden.
-
Besonders vorteilhaft ist dieses Verfahren, wenn gemäß einer weiteren Ausführungsform die intraoperative künstliche Intelligenz den Vermerken weitere Informationen betreffend die Anatomiedaten und/oder die Pathologiedaten hinzufügt. So ist es möglich, die von der voroperativen künstlichen Intelligenz ausgegebenen Anatomiedaten und/oder Pathologiedaten als Kommentare in einer Bilddatenausgabe mit erweiterter Realität dem Benutzer zur Verfügung zu stellen. Anatomische oder pathologische Strukturen können beispielsweise in Echtzeitbildern markiert werden oder mit Hinweisen versehen werden.
-
In diesem Zusammenhang ist es ferner vorteilhaft, wenn das Betriebsverfahren ferner dadurch fortgebildet wird, dass die intraoperative künstliche Intelligenz die zweiten Bilddaten verarbeitet, indem eine Kennzeichenerkennung und/oder eine Objekterkennung in den zweiten Bilddaten durchgeführt wird und die intraoperative künstliche Intelligenz den Vermerken weitere Informationen auf der Grundlage der Anatomiedaten und/oder Pathologiedaten unter zusätzlicher Berücksichtigung der Ergebnisse der Kennzeichenerkennung hinzufügt.
-
Indem die intraoperative künstliche Intelligenz zusätzliche Ergebnisse einer Kennzeichenerkennung in Betracht zieht, kann die in den Vermerken zur Verfügung gestellte Information weiter verbessert oder erweitert werden. Dabei soll unter Kennzeichenerkennung sowohl eine Objekterkennung als auch eine sog. „Landmark Recognition“, also eine Erkennung bestimmter Kennzeichen in Bilddaten, verstanden werden.
-
Gemäß einer weiteren Ausführungsform ist das Betriebsverfahren dadurch fortgebildet, dass die intraoperativen Daten Parameter und/oder Betriebsdaten zumindest eines intraoperativ betriebenen medizinischen Geräts umfassen und die intraoperative künstliche Intelligenz den Vermerken weitere Informationen betreffend die Parameter und/oder Betriebsdaten des zumindest einen intraoperativ betriebenen medizinischen Geräts hinzufügt.
-
Als Parameter und Betriebsdaten können beispielsweise ausgewählte Behandlungseffekte, Temperaturen der verwendeten chirurgischen Instrumente, Arbeitsspannungen, Stromstärken und dergleichen verstanden werden. Diese Parameter und/oder Betriebsdaten des medizinischen Geräts können insbesondere den Bilddaten mit erweiterter Realität als Vermerke hinzugefügt werden. Es ist jedoch ebenso vorgesehen, die entsprechenden Betriebsdaten oder Parameter mittels der intraoperativen künstlichen Intelligenz zu verarbeiten und beispielsweise eine Warnung auszugeben, wenn signifikante Abweichungen in bestimmten Situationen festgestellt werden. Die Ausgabe einer solchen Warnmitteilung kann akustisch oder optisch über eine beliebige Benutzeroberfläche oder eine beliebige Benutzerausgabeeinheit erfolgen.
-
Gemäß einer weiteren Ausführungsform ist vorgesehen, dass die intraoperative künstliche Intelligenz die zweiten Bilddaten im Hinblick auf zumindest ein in den zweiten Bilddaten sichtbares und intraoperativ eingesetztes chirurgisches Instrument verarbeitet und das chirurgische Instrument kennzeichnende Instrumentendaten erzeugt und Informationen betreffend das eingesetzte chirurgische Instrument den Vermerken hinzufügt.
-
Die Erkennung des intraoperativ eingesetzten chirurgischen Instruments bietet die Möglichkeit, verschiedene weitere Hilfen oder Assistenzfunktionen anzubieten, beispielsweise einen Wechsel eines Instruments vorzuschlagen, wenn in den intraoperativ erfassten Bilddaten erkannt wird, dass das gewählte Instrument ungeeignet sein könnte. In diesem Zusammenhang soll die Erkennung des verwendeten chirurgischen Instruments durch Auswertung der Bilddaten erfolgen. Ist also mit anderen Worten zumindest ein Teil oder Abschnitt eines medizinischen oder chirurgischen Instruments in den Bilddaten abgebildet, so kann eine Erkennung des Instruments erfolgen.
-
Gemäß einer weiteren vorteilhaften Ausführungsform ist das Betriebsverfahren dadurch fortgebildet, dass die intraoperative künstliche Intelligenz die zweiten Bilddaten verarbeitet, indem ein Verfahrensstand eines operativen Eingriffs erkannt wird, wobei den Vermerken weitere Informationen bezüglich des Verfahrensstands des operativen Eingriffs hinzugefügt werden.
-
Durch die Erkennung und Analyse des Verfahrensstands, d.h. der aktuellen Phase, des operativen Eingriffs kann insbesondere eine Sicherheits- und Qualitätskontrolle realisiert werden. Beispielsweise wird eine Warnmitteilung ausgegeben, wenn eine signifikante Abweichung von einem typischen Verlauf eines bestimmten operativen Eingriffs festgestellt wird.
-
Gemäß einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass die intraoperativen Daten Parameter und/oder Betriebsdaten zumindest eines intraoperativ betriebenen medizinischen Geräts umfassen und die intraoperative künstliche Intelligenz die Parameter und/oder Betriebsdaten verarbeitet und Geräteinformationen, die einen Betriebszustand und/oder eine Konfiguration des zumindest einen medizinischen Geräts kennzeichnen, als Benutzerausgabe bereitgestellt.
-
Die Geräteinformationen werden beispielsweise als Kommentare in den Bilddaten mit erweiterter Realität ausgegeben oder ihre Ausgabe erfolgt auf einer beliebigen anderen Ausgabeeinheit.
-
In diesem Zusammenhang ist es besonders vorteilhaft, wenn gemäß einer weiteren Ausführungsform die intraoperative künstliche Intelligenz die Geräteinformationen unter zusätzlicher Berücksichtigung der Anatomiedaten und/oder der Pathologiedaten erzeugt.
-
Gemäß einer weiteren vorteilhaften Ausführungsform ist das Betriebsverfahren ferner dadurch fortgebildet, dass die intraoperative künstliche Intelligenz die zweiten Bilddaten verarbeitet, indem ein Verfahrensstand des operativen Eingriffs erkannt wird, wobei die Geräteinformationen unter zusätzlicher Berücksichtigung des Verfahrensstands des operativen Eingriffs erzeugt werden.
-
Durch die Verarbeitung des Verfahrensstands des operativen Eingriffs in Kombination mit den Geräteinformationen kann der operative Eingriff protokolliert werden, was eine vereinfachte Qualitätskontrolle erlaubt.
-
Die einzelnen Verarbeitungsschritte werden in einzelnen KI-Modulen durchgeführt.
-
Verarbeitungsschritte, die in einzelnen KI-Modulen der intraoperativen künstlichen Intelligenz durchgeführt werden sind beispielsweise: die Erkennung einer Phase oder eines Zustands des durchgeführten operativen Eingriffs, Versehen von Bilddaten mit Vermerken, Bereitstellen einer Benutzerunterstützung, Erkennung bestimmter Kennzeichen, Durchführung einer Objekterkennung, Durchführung einer intraoperativen Anatomie und Pathologieerkennung, Durchführung einer Instrumentenerkennung, Verarbeitung von Gerätedaten, Durchführung einer Tiefenberechnung.
-
Verarbeitungsschritte, die in einzelnen KI-Modulen der voroperativen künstlichen Intelligenz durchgeführt werden sind beispielsweise: Durchführung einer Anatomieerkennung, Durchführung einer voroperativen Pathologieerkennung.
-
Als KI-Module können insbesondere auch die intraoperative künstliche Intelligenz und die voroperative künstliche Intelligenz angesehen werden.
-
Eine Mehrzahl von einzelnen KI-Modulen werden zu einer Modulgruppe zusammengefasst, wobei die KI-Module derart miteinander verknüpft werden, dass Ausgabedaten eines ersten KI-Moduls als Eingangsdaten einem zweiten KI-Modul zugeführt werden.
-
Vorteilhaft erfolgt der Einsatz der künstlichen Intelligenz äußerst flexibel, da die einzelnen Module miteinander beliebig kombiniert werden können.
-
Die Aufgabe wird ferner gelöst durch ein medizinisches System zum Durchführen eines chirurgischen Eingriffs, umfassend eine Mehrzahl von KI-Modulen, die dazu eingerichtet sind intraoperative Daten in einzelnen Verarbeitungsschritten zu verarbeiten, wobei die KI-Module derart miteinander verknüpft sind, dass Ausgabedaten eines ersten KI-Moduls als Eingangsdaten einem zweiten KI-Modul zugeführt werden.
-
Gleiche oder ähnliche Vorteile, wie sie bereits zuvor im Hinblick auf das Betriebsverfahren erwähnt wurden, treffen auch auf das medizinische System selbst zu, so dass auf Wiederholungen verzichtet werden soll.
-
Weitere Merkmale der Erfindung werden aus der Beschreibung erfindungsgemäßer Ausführungsformen zusammen mit den Ansprüchen und den beigefügten Zeichnungen ersichtlich. Erfindungsgemäße Ausführungsformen können einzelne Merkmale oder eine Kombination mehrerer Merkmale erfüllen.
-
Die Erfindung wird nachstehend ohne Beschränkung des allgemeinen Erfindungsgedankens anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen beschrieben, wobei bezüglich aller im Text nicht näher erläuterten erfindungsgemäßen Einzelheiten ausdrücklich auf die Zeichnungen verwiesen wird. Es zeigen:
- 1 einen ersten Teil einer schematisch vereinfachten Blockdarstellungen eines medizinischen Systems zur Durchführung eines chirurgischen Eingriffs und
- 2 einen zweiten Teil einer schematisch vereinfachten Blockdarstellungen eines medizinischen Systems zur Durchführung eines chirurgischen Eingriffs.
-
In den Zeichnungen sind jeweils gleiche oder gleichartige Elemente und/oder Teile mit denselben Bezugsziffern versehen, so dass von einer erneuten Vorstellung jeweils abgesehen wird.
-
1 zeigt schematisch und vereinfacht eine Blockdarstellung eines medizinischen Systems 2, wobei in 1 lediglich ein Teilbereich des Systems 2 dargestellt ist. Der dargestellte Teilbereich des medizinischen Systems 2 umfasst eine voroperative Datenquelle 4, in der voroperative Daten D1_1 bis D1_4 vorhanden sind, die allgemein auch mit dem Bezugszeichen D1 bezeichnet werden sollen. Ferner ist eine voroperative künstliche Intelligenz K1 vorhanden. Die voroperative künstliche Intelligenz K1 umfasst ein erstes Kl-Modul K1_1 und ein zweites KI-Modul K1_2.
-
Die voroperative künstliche Intelligenz K1 schließt sich an die in 2 gezeigten Teile oder Blöcke des medizinischen Systems 2 an. 2 zeigt in schematisch vereinfachter Blockdarstellung eine intraoperative künstliche Intelligenz K2, eine intraoperative Datenquelle 6 und eine Ausgabeeinheit 8. Die intraoperative Datenquelle 6 umfasst verschiedene intraoperative Daten D2_1 bis D2_8. Die intraoperative künstliche Intelligenz K2 umfasst KI-Module K2_1 bis K2_9. Die Ausgabeeinheit 8 umfasst Ausgabemodule 8_1 bis 8_3.
-
Es findet eine Datenübergabe an den Punkten P1, P2 und P3 von dem in 1 dargestellten Teil des medizinischen Systems 2 an den in 2 dargestellten Teil des medizinischen Systems 2 statt.
-
Die voroperative künstliche Intelligenz K1, gleiches gilt auch für das erste KI-Modul K1_1 und das zweite KI-Modul K1_2, und ebenso die intraoperative künstliche Intelligenz K2, gleiches gilt selbstverständlich auch für die KI-Module K2_1 bis K2_9, sind künstliche Intelligenzen, die je nach Bedarf und Anwendungsfall ausgewählt und miteinander kombiniert werden. Beispielsweise handelt es sich um ein künstliches neuronales Netz oder Netzwerk (artificial neuronal network), eine Stützvektormaschine (support vector machine), einen Entscheidungsbaum (decision tree), ein Bayes'sche Zuverlässigkeitsnetzwerk (Bayesian believe network), eine sich selbst organisierende Karte (self-organizing map), ein Netzwerk für fallorientierte Überlegung (case-based reasoning) oder für fallorientiertes Lernen (instance-based learning) oder auch um eine künstliche Intelligenz, die als sog. Hidden-Markov-Modell ausgebildet ist.
-
Das medizinische System 2 ist zum Durchführen eines chirurgischen Eingriffs eingerichtet. Hierzu umfasst das medizinische System ein chirurgisches Instrument, beispielsweise ein Endoskop.
-
Der voroperativen künstlichen Intelligenz K1 werden voroperative Daten D1 zugeführt. Bei den voroperativen Daten D1 handelt es sich beispielsweise um einen Operationsplan D1_1. Ferner kann es sich bei den voroperativen Daten D1 um Ergebnisse bildgebender medizinischer Verfahren, beispielsweise um Bilddaten D1_2 eines CT-Bildes, um Bilddaten D1_3 eines MRT-Bildes oder auch um ein Überweisungsschreiben D1_4 eines Arztes handeln. Die voroperativen Daten D1_1 bis D1_4 können jeweils auch Patientendaten umfassen.
-
Der Operationsplan D1_1 wird direkt über den Übergabepunkt P1 an die intraoperative künstliche Intelligenz K2 übergeben. Die übrigen voroperativen Daten D1_2 bis D2_4 werden den KI-Modulen K1_1 und K1_2 der voroperativen künstlichen Intelligenz K1 zugeführt.
-
Die voroperative künstliche Intelligenz K1 umfasst beispielsweise als erstes KI-Modul K1_1 eine künstliche Intelligenz zur Anatomieerkennung. Als zweites KI-Modul K1_2 umfasst die voroperative künstliche Intelligenz K1 beispielsweise eine künstliche Intelligenz zur voroperativen Pathologieerkennung. Beiden KI-Modulen K1_1 und K1_2 werden jeweils die voroperativen Daten D1_2 bis D1_4 zugeführt. Die Ergebnisse des KI-Moduls K1_1 wird über den Übergabepunkt P2 an die intraoperative künstliche Intelligenz K2 übergeben, ebenso werden die Ergebnisse des zweiten KI-Moduls K1_2 über den Übergabepunkt P3 an die intraoperative künstliche Intelligenz K2 übergeben.
-
Es werden die von der voroperativen künstlichen Intelligenz K1 verarbeiteten Daten über die Übergabepunkte P2 und P3 als voroperative Ausgabedaten ausgegeben und von der intraoperativen künstlichen Intelligenz K2 als Eingangsdaten empfangen. Die intraoperative künstliche Intelligenz K2 verarbeitet neben diesen Daten auch die intraoperativen Daten D2.
-
Bei den intraoperativen Daten D2 handelt es sich beispielsweise um Bilddaten D2_1 und D2_2 von Kameras im Operationsraum oder um Bilddaten D2_3 einer Kamera, welche ein Live-Bild des Operationstisches liefert. Ferner kann es sich bei den intraoperativen Daten D2 um Bilddaten D2_4 einer Endoskopkamera handeln. Das medizinische System umfasst also verschiedene Kameras als intraoperative Datenquellen.
-
Die intraoperativen Daten D2 umfassen neben Bilddaten auch beispielsweise Daten eines elektrochirurgischen Generators, wobei zwischen den Einstellungen und Parametern D2_5 des elektrochirurgischen Generators und Geräteinformationen D2_6 unterschieden werden soll. Ebenso können die intraoperativen Daten D2 Daten eines Ultraschallgenerators umfassen, wobei wiederum zwischen den Einstellungen und Parametern D2_7 und den Geräteinformationen D2_8 unterschieden wird.
-
Die intraoperative künstliche Intelligenz K2 liefert als Benutzerausgabe beispielsweise auf einem ersten Ausgabemodul 8_1, bei dem es sich um einen Bildschirm handeln kann, Live-Bilder, die mit Kennzeichnungen oder Vermerken versehen sind. Es handelt sich insbesondere um Live-Bilder mit erweiterter Realitätsdarstellung (Augmented Reality). Auf den weiteren Ausgabemodulen 8_2, 8_3, bei denen es sich ebenfalls um Bildschirme oder auch um Anzeigen handeln kann, werden beispielsweise die Parameter eines elektrochirurgischen Generators oder Einstellungen eines Ultraschallgenerators angezeigt.
-
Die Datenverarbeitung in der intraoperativen künstlichen Intelligenz erfolgt über verschiedene KI-Module K2_1 bis K2_9. Die intraoperative künstliche Intelligenz umfasst als erstes KI-Modul K2_1 ein KI-Modul, welches dazu eingerichtet ist, eine Phase oder einen Zustand des durchgeführten operativen Eingriffs zu erkennen. Dieses KI-Modul K2_1 empfängt voroperative Daten in Form des Operationsplans D1_1. Außerdem empfängt das KI-Modul K2_1 Bilddaten D2_1 und D2_2 der Kameras im Operationsraum sowie Bilddaten D2_3 der Kamera des Operationstisches. Es kann sich hierbei um Live-Daten handeln. Das KI-Modul K2_1, welches die Phase des medizinischen Eingriffs erkennt, gibt seine Ergebnisse an das Kl-Modul K2_2 weiter, welches dazu eingerichtet ist, Bilddaten mit Vermerken zu versehen (auch vielfach bezeichnet als „Annotation Engine“). Dieses KI-Modul K2_2 liefert beispielsweise die Daten für den Bildschirm 8_1, auf dem z.B. ein mit Vermerken versehenes Live-Bild des von der auf dem Operationstisch gerichteten Kamera wiedergegeben wird. Das heißt, die Daten der intraoperativen Datenquelle D2_3 werden, nachdem sie von dem KI-Modul 2_1 verarbeitet wurden, im KI-Modul K2_2 mit Vermerken versehen und anschließend auf dem Bildschirm 8_1 dargestellt.
-
Das KI-Modul K2_1 liefert seine Ergebnisse jedoch auch an das KI-Modul K2_3, welches eine Benutzerunterstützung (auch vielfach bezeichnet als „Assistence Engine“) bereitstellt. Das KI-Modul K2_3 liefert als Ausgabe Daten, die auf den Bildschirmen oder Anzeigen 8_2 und 8_3 dargestellt werden und die Einstellungen oder den Zustand des elektrochirurgischen Generators oder des Ultraschallgenerotors betreffen.
-
Das KI-Modul K2_1 gibt außerdem seine Ergebnisse an ein KI-Modul K2_4 weiter, in welchem eine Erkennung bestimmter Kennzeichen (auch vielfach bezeichnet als „Landmark Recognition“) erfolgt. Hierzu empfängt dieses KI-Modul K2_4 auch intraoperative Daten in Form von Bilddaten D2_4 eines Live-Bildes des eingesetzten Endoskops. Das KI-Modul K2_1 liefert außerdem seine Daten an ein KI-Modul K2_5, in dem eine Objekterkennung stattfindet. Das KI-Modul K2_5, welches die Objekterkennung durchführt, empfängt ferner intraoperative Daten in Form der Kamerabilddaten D2_1 bis D2_3. Das KI-Modul K2_4 liefert sein Ergebnis an ein weiteres KI-Modul K2_6, welches eine intraoperative Anatomie- und Pathologieerkennung durchführt. Die Ergebnisse dieses KI-Moduls werden wieder dem KI-Modul K2_2 und dem KI-Modul K2_3 zur Verfügung gestellt. Das KI-Modul K2_5 liefert sein Ergebnis außerdem an ein weiteres KI-Modul K2_7, welches eine Instrumentenerkennung in den beispielsweise von dem Endoskop bereitgestellten Bilddaten durchführt. Hierzu empfängt dieses KI-Modul K2_7 auch das Live-Bild des Endoskops in Form der intraoperativen Daten D2_4. Das Ergebnis wird dem KI-Modul K2_2 bereitgestellt.
-
Sämtliche Daten, die die eingesetzten medizinischen Geräte betreffen, also im beispielhaften Fall den elektrochirurgischen Generator und den Ultraschallgenerator, werden im KI-Modul K2_8, welches eine Verarbeitung der Gerätedaten durchführt, zugeführt. Das KI-Modul K2_8 empfängt also die intraoperativen Daten 2_5 bis D2_8. Das Ergebnis stellt dieses KI-Modul wieder den KI-Modulen K2_2 und dem KI-Modul K2_3 zur Verfügung. Außerdem wird anhand des Endoskop-Live-Bildes D2_4 mit dem KI-Modul K2_9 eine Tiefenberechnung durchgeführt, deren Ergebnis dem KI-Modul K2_6 zur Verfügung gestellt wird.
-
Die einzelnen KI-Module K2_1 bis K2_9 der intraoperativen künstlichen Intelligenz K2 können beliebig miteinander kombiniert und zu Gruppen verknüpft werden. Gleiches gilt für die einzelnen KI-Module K1_1 und K1_2 der voroperativen künstlichen Intelligenz K1.
-
Alle genannten Merkmale, auch die den Zeichnungen allein zu entnehmenden sowie auch einzelne Merkmale, die in Kombination mit anderen Merkmalen offenbart sind, werden allein und in Kombination als erfindungswesentlich angesehen. Erfindungsgemäße Ausführungsformen können durch einzelne Merkmale oder eine Kombination mehrerer Merkmale erfüllt sein. Im Rahmen der Erfindung sind Merkmale, die mit „insbesondere“ oder „vorzugsweise“ gekennzeichnet sind, als fakultative Merkmale zu verstehen.
-
Bezugszeichenliste
-
- 2
- medizinisches System
- 4
- voroperative Datenquelle
- 6
- intraoperative Datenquelle
- 8
- Ausgabeeinheit
- 8_1 bis 8_3
- Ausgabemodule
- K1_1, K1_2
- KI-Module
- K1
- voroperative künstliche Intelligenz
- K2_1 bis K2_9
- KI-Module
- K2
- intraoperative künstliche Intelligenz
- D1_1 bis D1_4
- voroperative Daten
- D1
- voroperative Daten
- D2_1 bis D2_8
- intraoperative Daten
- D2
- intraoperative Daten
- P1, P2, P3
- Übergabepunkte