DE102020108796A1

DE102020108796A1 - Medizinisch-optisches Beobachtungsgerät mit opto-akustischer Sensorfusion

Info

Publication number: DE102020108796A1
Application number: DE102020108796.9A
Authority: DE
Inventors: Christian Albrecht; Stefan Saur
Original assignee: Carl Zeiss Meditec AG
Current assignee: Carl Zeiss Meditec AG
Priority date: 2020-03-30
Filing date: 2020-03-30
Publication date: 2021-09-30
Also published as: US12025785B2; US20210302708A1

Abstract

Es wird ein medizinisch-optisches Beobachtungsgerät (100) bereitgestellt, das eine Bildaufnahmeeinrichtung (101) mit einem optischen System (102) und einem optischen Sichtbereich (103), zur Aufnahme von optischen Signalen eines Operationsgebiets (105) und eine Mikrofoneinrichtung (110) mit einem akustischen Richtbereich (111), zur gerichteten Aufnahme von akustischen Signalen mit Bezug zum Operationsgebiet (105) aufweist, wobei der akustische Richtbereich (111) den optischen Sichtbereich (103) umfasst.

Description

Die vorliegende Erfindung betrifft ein medizinisch-optisches Beobachtungsgerät mit opto-akustischer Sensorfusion sowie ein zu dessen Betrieb geeignetes Computerprogrammprodukt und nichtflüchtiges computerlesbares Speichermedium.
Ein medizinisch-optisches Beobachtungsgerät verfügt zumindest über eine Komponente, die ein optisches System umfasst, durch das Lichtstrahlen von einem beobachteten Gebiet erfasst werden, um auf einer Bildebene ein Bild zu erzeugen, das betrachtet oder aufgezeichnet, d. h. gespeichert, werden kann, wobei das beobachtete Gebiet ein medizinisch relevantes Gebiet z. B. während einer Behandlung eines Patienten, insbesondere ein Operationsgebiet, d. h. ein Situs, des Patienten während einer chirurgischen Operation ist. Das medizinisch-optische Beobachtungsgerät kann dabei insbesondere ein Operationsmikroskop sein oder dieses umfassen.
Um einen durchgeführten medizinischen Behandlungsvorgang, insbesondere eine chirurgische Operation, beispielsweise zur späteren Auswertung oder Überprüfung oder auch zu Trainingszwecken zu dokumentieren und den Arzt bei der nachträglichen Dokumentation, insbesondere dem Erstellen eines Operationsberichts, zu entlasten, kann es sinnvoll sein, Informationen zu einer durchgeführten Operation bereits während der Durchführung aufzuzeichnen. Zur Auswertung ist es dabei insbesondere vorteilhaft, die verschiedenen Phasen eines Operationsverlaufs zu erkennen. Die Erkennung von Phasen eines Operationsverlaufs, d. h. von Operationsphasen, kann auch bereits während der Operation genutzt werden, beispielsweise um automatisch Modalitäten des medizinisch-optischen Beobachtungsgeräts in Abhängigkeit von der aktuellen Phase zu steuern. Dies kann bei der Verwendung eines medizinisch-optischen Beobachtungsgeräts wie eines Operationsmikroskops insbesondere in der Aufnahme und Auswertung von Bilddaten über dem Zeitverlauf erfolgen.
In der US 2019/0324252 A1 werden beispielsweise während einer Operationsphase Bilder aufgenommen und analysiert. Werden darin bestimmte Merkmale detektiert, die einer anderen Operationsphase zuzuordnen sind, werden beispielsweise der Zoom und die Beleuchtung angepasst, zusätzliche Menüs eingeblendet oder die Bilddarstellung geändert.
Allerdings kann eine Phasenerkennung basierend nur auf automatischer Bilddatenauswertung eine nur unzureichende Vorhersagegenauigkeit haben.
Deshalb gibt es Versuche, andere Sensordaten einzubeziehen und die Erkennung auf Basis einer Fusion bzw. Kombination von Bilddaten und anderen Sensorsignalen durchzuführen. So können bei einem Operationsmikroskop beispielsweise Bilddaten in Kombination mit Sensordaten, die aktuelle Einstellungen des Operationsmikroskops wiedergeben, beispielsweise die Stativ-Pose, den Zoom und/oder die Wahl des Abbildungsmodus, immer noch zu geringe Vorhersagegenauigkeiten ergeben.
In der US 2016/0055886 A1 wird beispielsweise ein Verfahren vorgestellt, mit dem die mit einem Operationsmikroskop aufgenommenen Videodaten einer chirurgischen Operation unter Berücksichtigung auch von Parameterwerten des Operationsmikroskops in eine Kapitelstruktur eingeteilt werden können.
Allerdings unterliegen die Einstellungen des Operationsmikroskops im Verlauf einer Operation über längere Zeiträume nur relativ wenigen Änderungen durch den Benutzer, d. h. den Chirurgen, so dass eine Auflösung bzw. Genauigkeit der Phasenbestimmung des Operationsverlaufs nur wenig verbessert werden kann.
In der US 2019/0057760 A1 werden zur automatisierten Erzeugung von Dokumentationen von klinischen Ereignissen Textdaten aus der medizinischen Akte des Patienten mit Videoaufnahmen und Audioaufnahmen zusammengeführt und damit automatisiert eine Gesamtübersicht erzeugt. Dabei ist u. a. vorgesehen, Sprachaufnahmen des medizinischen Personals während des Verlaufs der Behandlung zu erzeugen und diese mit Spracherkennungsverfahren automatisch in Text zu überführen, der in die Darstellung eingebunden wird.
In der US 2018/0366231 A1 wird gezeigt, dass in Videos von chirurgischen Operationen durch Videoanalyse Schlüsselereignisse erkannt werden können, von denen von einem Benutzer dann für eine Übersichtsdarstellung des Ablaufs der Operation die relevantesten der erkannten Schlüsselereignisse ausgewählt werden und diesen auch Daten aus der elektronisch vorliegenden Patientenakte und Audio-, insbesondere Sprachaufnahmen, aus dem Operationssaal zugeordnet werden können.
Anstatt Videoaufnahmen auszuwerten, kann es auch vorgesehen sein, das Verhalten bzw. den Zustand des Operationsinstruments zu überwachen und auszuwerten. So wird beispielsweise in der US 2018/0242985 A1 gezeigt, dass Sensordaten des Operationsinstruments, im gezeigten Fall beispielsweise Temperatur, Drehzahl und Bohrgeräusche eines chirurgischen Bohrers, überwacht werden können, wobei die mit einem Mikrofon am Bohrer aufgenommenen Geräusche des Bohrers Informationen über die aktuell durchbohrte Schicht liefern sollen.
Auch in der US 2018/0071047 A1 wird gezeigt, dass ein Operationsinstrument, im gezeigten Beispiel eine stabförmige chirurgische Zange, mit einem Vibrationssensor oder Mikrofon verbunden werden kann, um aus den am proximalen Ende des Stabes aufgenommenen Signalen Rückschlüsse auf Zustandsänderungen am distalen Ende zu ziehen, wobei außerdem vorgesehen sein kann, dass das Operationsinstrument vom Chirurgen mit visueller Unterstützung eines Videomikroskops geführt wird.
Während eine kombinierte Auswertung von Sensordaten des Operationsmikroskops mit den aufgenommenen Bilddaten bei der Verbesserung einer Unterscheidung von verschiedenen Phasen eines Operationsverlaufs nicht immer ausreichend genaue Ergebnisse liefert und zwar bekannt ist, dass Audiosignale in Form von Sprachaufnahmen des Chirurgen oder Betriebsgeräuschen der verwendeten chirurgischen Instrumente ebenfalls auswertbare Informationen über den Verlauf der Operation liefern können, ist jedoch nicht gezeigt, wie tatsächlich die Genauigkeit einer Phasenerkennung eines Operationsverlaufs verbessert werden kann, möglichst ohne die Freiheit des Chirurgen bei der Durchführung der Operation zusätzlich zu beschränken, indem dieser beispielsweise die Operation während der Durchführung sinnvoll verbal kommentieren soll oder speziell zur Geräuschaufzeichnung eingerichtete Operationsinstrumente verwenden muss.
Es ist daher die Aufgabe der vorliegenden Erfindung, ein medizinisch-optisches Beobachtungsgerät zur Verfügung zu stellen, das die Möglichkeit bietet, auf einfache Weise eine hohe Genauigkeit bei der Erkennung von Phasen eines Operationsvorgangs zu realisieren.
Diese Aufgabe wird erfindungsgemäß mit einem medizinisch-optischen Beobachtungsgerät mit opto-akustischer Sensorfusion gemäß Anspruch 1 sowie einem für dessen Betrieb geeignetem Computerprogrammprodukt gemäß Anspruch 21 und einem nichtflüchtigen computerlesbaren Speichermedium gemäß Anspruch 22 gelöst. Bevorzugte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.
Gemäß einem ersten Aspekt der Erfindung umfasst ein medizinisch-optisches Beobachtungsgerät eine Bildaufnahmeeinrichtung mit einem optischen System und einem optischen Sichtbereich, zur Aufnahme von optischen Signalen eines Operationsgebiets, und eine Mikrofoneinrichtung mit einem akustischen Richtbereich, zur gerichteten Aufnahme von akustischen Signalen mit Bezug zum Operationsgebiet, wobei der akustische Richtbereich den optischen Sichtbereich umfasst.
Eine Bildaufnahmeeinrichtung umfasst ein optisches System, d. h. eine Anordnung von eine optische Abbildung erzeugenden Komponenten wie Linsen, Spiegeln, Prismen und Blenden, z.B. ein Objektiv eines Mikroskops, sowie einen optischen Sensor, d. h. Bildsensor, und eine Speichereinrichtung, um die optischen Sensordaten zumindest zeitweise aufzuzeichnen, d. h. zu speichern. Handelt es sich bei dem optischen Sensor um einen elektronischen Bildsensor, werden elektronische Repräsentationen der optischen Signale gespeichert. Je nach Ausführungsform der Bildaufnahmeeinrichtung, bei der es sich um eine Kamera handeln kann, kann diese selbst die Speichereinrichtung umfassen oder über eine Schnittstelle verfügen, über die sie mit einer geeigneten Speichereinrichtung verbunden bzw. verbindbar ist. Der optische Sichtbereich, d. h. das optische Sichtfeld, der Bildaufnahmeeinrichtung ist der Bereich im Bildwinkel der Bildaufnahmeeinrichtung, in dem Ereignisse erfasst und aufgenommen werden können. Dieser hängt z. B. von den Einstellungen des optischen Systems und ggf. der Größe des verwendeten Bildsensors ab. Die Bildaufnahmeeinrichtung dient zur Aufnahme von optischen Signalen des Operationsgebiets, d. h. bei einem chirurgischen Eingriff dem Situs des Patienten, wobei der optische Sichtbereich das Operationsgebiet oder zumindest einen Ausschnitt davon umfasst. Optische Signale, d. h. Bildsignale, werden während eines Operationsverlaufs insbesondere fortlaufend bzw. in regelmäßigen Zeitabständen als Video aufgenommen.
Eine Mikrofoneinrichtung ist eine Audioaufnahmeeinrichtung mit mindestens einem akustischen Sensor, d. h. mindestens einem Mikrofon, zum Erfassen von akustischen Signalen, d. h. Geräuschen, also Audiosignalen, und deren zumindest zeitweisem Aufzeichnen, d. h. Speichern, in einer Speichereinrichtung. Führt die Mikrofoneinrichtung eine Analog-DigitalWandlung durch, werden digitale elektronische Repräsentationen der akustischen Signale gespeichert.
Anstatt als elektronische Repräsentation des akustischen Signals direkt digitalisierte Abtastwerte zu speichern, kann auch vorgesehen sein, zunächst zur Vorverarbeitung eine Codierung oder Kompression der Audiodaten und/oder eine Parametrisierung des Signalverlaufs vorzunehmen und/oder zunächst ein beschreibendes Modell der akustischen Signale zu erzeugen und zu parametrisieren, beispielsweise mit Hilfe von maschinellen Lernverfahren, wobei als elektronische Repräsentation des akustischen Signals dann das Ergebnis der Vorverarbeitung gespeichert wird, also beispielsweise Parameterwerte. In einer Ausführungsform kann auch vorgesehen sein, unterschiedliche Varianten des akustischen Signals als elektronische Repräsentationen zu erzeugen und zu speichern, beispielsweise basierend auf unterschiedlichen Abtastraten, Codierverfahren oder Kompressionsraten, unterschiedlichen Filterungen, unterschiedlichen beschreibenden Modellen oder Parametrisierungsregeln. (Entsprechendes gilt auch für das Erzeugen und Speichern elektronischer Repräsentationen der von der Bildaufnahmeeinrichtung aufgenommenen optischen Signale.)
Je nach Ausführungsform der Mikrofoneinrichtung, kann diese selbst die Speichereinrichtung umfassen oder über eine Schnittstelle verfügen, über die sie mit einer geeigneten Speichereinrichtung verbunden bzw. verbindbar ist. Es kann vorgesehen sein, dass die elektronischen Repräsentationen der akustischen und der optischen Signale in derselben Speichereinrichtung gespeichert werden. In jedem Fall ist vorgesehen, die akustischen und optischen Signale bzw. deren elektronische Repräsentationen mit einem gemeinsamen Zeitbezug zu speichern, z. B. durch gemeinsame bzw. synchronisierte Zeitstempel, so dass bei einer Auswertung ein zeitliches In-Beziehung-Setzen bzw. synchronisiertes Auswerten der Signale möglich ist. Der akustische Richtbereich der Mikrofoneinrichtung bezeichnet einen Bereich, in dem die Empfindlichkeit der Mikrofoneinrichtung, d. h. bei einem Mikrofon bzw. elektroakustischen Wandler die Ausgangsspannung im Verhältnis zum Schalldruck, sehr hoch ist, so dass auch sehr leise akustische Signale erfasst werden können, während außerhalb des Richtbereichs die Dämpfung der erfassten akustischen Signale sehr groß ist, so dass diese kein oder nur eine sehr schwaches Sensorsignal generieren. Die Übertragung der akustischen Signale durch den Richtbereich erfolgt zumindest im Wesentlichen durch die Luft, die Quelle des akustischen Signals ist also nicht körperlich mit der Mikrofoneinrichtung verbunden. Umfasst die Mikrofoneinrichtung nur ein Mikrofon, kann der Schalleinfallswinkel, unter dem einfallende Audiosignale nicht ausgeblendet oder zumindest stark gedämpft werden, den Richtbereich definieren. Bei Mikrofoneinrichtungen mit einer Mehrzahl von Mikrofonen kann der Richtbereich ggf. passend geformt werden. Die Größe des akustischen Richtbereichs ist frequenzabhängig. Akustische Signale mit Bezug zum Operationsgebiet sind akustische Signale von Geräuschquellen im Operationsgebiet selbst, aber auch von Operationsinstrumenten und anderen Hilfsmitteln, z. B. Klemmen, als Geräuschquellen, wenn diese im Operationsgebiet verwendet werden.
Erfindungsgemäß ist vorgesehen, dass der akustische Richtbereich den optischen Sichtbereich umfasst. Somit umfasst der akustische Richtbereich auch das Operationsgebiet. Umfasst der optische Sichtbereich nur einen Ausschnitt des Operationsgebiets, beispielsweise weil der Ausschnitt herangezoomt wurde, umfasst der akustische Sichtbereich zumindest diesen Ausschnitt des Operationsgebiets, so dass alle mit dem Operationsgebiet, soweit es im Sichtbereich der Bildaufnahmeeinrichtung liegt, direkt in Beziehung stehenden akustischen Signale aufgenommen werden können, während andere Geräusche, d. h. Geräusche von Geräuschquellen außerhalb des Richtbereichs, ausgeblendet oder stark gedämpft werden. So ist es möglich, im Zeitverlauf der Operation viele, auch zum Teil sehr leise akustische Signale aufzunehmen, die eine Vielzahl von Informationen über den Ablauf der Operation beinhalten. Beispielsweise kann das leise Geräusch eines Saugers beim Absaugen einer Flüssigkeit im Operationsgebiet oder das kurze Geräusch des Einsetzens eines Clips, d. h. einer Klemme, während der Operation bei der Identifikation bzw. Zuordnung eines Vorgangs zu einer spezifischen Phase im Ablauf der chirurgischen Operation helfen. Die akustische Information bietet dabei eine komplementäre Information zur optischen Bildinformation. Die akustische Information kann auch bei der Auswertung eines OP-Reports unterstützen und kann bei der Detektion von Anomalien helfen, wenn beispielsweise Abweichungen gegenüber einem gespeicherten Standard-Verlauf einer vergleichbaren Operation festgestellt werden.
In einer Ausführungsform ist die Mikrofoneinrichtung dazu eingerichtet, akustische Signale von Geräuschquellen im optischen Sichtbereich der Bildaufnahmeeinrichtung aufzunehmen und andere akustische Signale zu dämpfen. Dies bietet den zusätzlichen Vorteil, dass, je nach Ausdehnung des akustischen Richtbereichs über den optischen Sichtbereich hinaus, das ungedämpfte Aufnehmen von anderen Geräuschen oder Sprache besser vermieden wird.
In einer bevorzugten Ausführungsform ist vorgesehen, dass der akustische Richtbereich im Wesentlichen mit dem optischen Sichtbereich übereinstimmt. Auf diese Weise betreffen alle von der Mikrofoneinrichtung aufgenommenen akustischen Signale in der Regel das im optischen Sichtbereich der Bildaufnahmeeinrichtung gezeigte Operationsgebiet, während andere Quellen von akustischen Signalen ausgeblendet bzw. sehr stark gedämpft werden. Zudem ist es so möglich, andere akustische Signale außerhalb des akustischen Richtbereichs verwenden zu können, ohne dass diese als Störgeräusche die Verwendbarkeit der von der Mikrofoneinrichtung aufgenommenen Signale vermindern, beispielsweise mit einer weiteren Mikrofoneinrichtung aufnehmbare Sprachbefehle zur Sprachsteuerung des medizinisch-optischen Beobachtungsgeräts durch den Chirurgen, damit dieser mit den Händen Operationsinstrumente, d. h. chirurgische Instrumente, führen kann. Der Begriff „im Wesentlichen“ berücksichtigt, dass die Ausdehnung des akustischen Richtbereichs frequenzabhängig ist und je nach Frequenzbereich der aufgenommenen akustischen Signale in Abhängigkeit von den Eigenschaften der Mikrofoneinrichtung variiert. Zusätzlich variiert die Ausdehnung in Abhängigkeit davon, ob zugrunde gelegt wird, ob akustische Signale außerhalb des Richtbereichs tatsächlich ausgeblendet und somit nicht aufgenommen werden nur sehr stark gedämpft aufgenommen werden und welcher Grenzwert eine sehr starke Dämpfung definiert. In einer bevorzugten Ausführungsform ist vorgesehen, dass ein akustischer Richtbereich, der im Wesentlichen mit dem optischen Sichtbereich übereinstimmt, in keinem zur Auswertung der Akustiksignale vorgesehenen Frequenzbereich eine Ausdehnung hat, die mehr als 10 Prozent größer ist als der optische Sichtbereich.
In einer besonders bevorzugten Ausführungsform ist oder umfasst das medizinisch-optische Beobachtungsgerät eine Mikroskopeinrichtung, vorzugsweise ein Operationsmikroskop.
In einer Ausführungsform umfasst das medizinisch-optische Beobachtungsgerät Mittel, um bei einer Veränderung der räumlichen Ausrichtung des optischen Sichtbereichs der Aufnahmeeinrichtung die räumliche Ausrichtung des akustischen Richtbereichs der Mikrofoneinrichtung relativ zur räumlichen Ausrichtung des optischen Sichtbereichs konstant zu halten. Das medizinisch-optische Beobachtungsgerät kann zur Veränderung der räumlichen Ausrichtung des optischen Sichtbereichs der Aufnahmeeinrichtung beispielsweise beweglich, z. B. mit einem robotischen Stativ, gelagert sein. Mittel, um die relative Ausrichtung des akustischen Richtbereichs zum optischen Sichtbereich konstant zu halten, können beispielsweise feste Verbindungen der Mikrofoneinrichtung mit der Bildaufnahmeeinrichtung sein. Weist die Mikrofoneinrichtung eine Mehrzahl von Mikrofonen auf, die zumindest nicht alle fest mit der Bildaufnahmeeinrichtung verbunden sind, kann das Mittel, um die relative Ausrichtung konstant zu halten, beispielsweise auch eine Mikrofon-Steuereinrichtung sein, die dazu eingerichtet ist, den akustischen Richtbereich durch geeignete Ansteuerung der Mikrofone entsprechend der sich ändernden Ausrichtung des optischen Sichtbereichs dynamisch anzupassen.
In einer Ausführungsform umfasst das medizinisch-optische Beobachtungsgerät eine Mikrofon-Steuereinrichtung, die zum Steuern einer Entfernung der Mikrofoneinrichtung zum Operationsgebiet in Abhängigkeit von einem Fokuswert des optischen Systems der Bildaufnahmeeinrichtung eingerichtet ist. Das heißt, dass die Entfernung des Richtmikrofons parallel zur Änderung des Fokuswerts des optischen Systems angepasst wird. Da in der Regel der Bereich des Operationsgebiets fokussiert wird, in dem die nächsten visuellen Ereignisse während des Operationsvorgangs erwartet werden, ist dies auch der akustische Richtbereich, in dem für den weiteren Verlauf der Operation relevante Geräusche zu erwarten sind.
In einer weiteren Ausführungsform umfasst das medizinisch-optische Beobachtungsgerät eine Mikrofon-Steuereinrichtung, die zum Anpassen einer Breite des akustischen Richtbereichs der Mikrofoneinrichtung in Abhängigkeit von einer Änderung einer Breite des optischen Signalbereichs der Bildaufnahmeeinrichtung eingerichtet ist. Die Breite des optischen Signalbereichs ist dabei bestimmt als dessen Ausdehnung vertikal zur durch das optische System vorgegebenen optischen Achse. Das heißt beispielsweise, dass die Breite eines akustischen Richtbereichs in Form eines Detektionskegels einer Mikrofoneinrichtung mit einem Richtmikrofon parallel zur Breite eines kegelförmig um die optische Achse der Bildaufnahmeeinrichtung angeordneten optischen Sichtbereichs gesteuert wird, so dass die relative Ausrichtung zueinander konstant bleibt und alle Geräusche, d. h. akustischen Signale von Geräuschquellen im Sichtbereich jederzeit erfasst werden können.
In einer Ausführungsform des medizinisch-optisches Beobachtungsgeräts weist die Mikrofoneinrichtung eine Mehrzahl von akustischen Sensoren, d. h. Mikrofonen, auf. Auf diese Weise kann das akustische Erfassungsvolumen, d. h. der akustische Richtbereich beispielsweise durch Triangulation besser definiert werden und, z. B. gesteuert durch eine Mikrofon-Steuereinrichtung unter Berücksichtigung individueller Erfordernisse, beispielsweise der Form des Operationsgebiets, angepasst werden. Zudem können bei der Aufnahme der akustischen Signale durch eine Mehrzahl von Mikrofonen Hintergrundgeräusche und somit Störgeräusche besser gedämpft bzw. eliminiert, d. h. ausgeblendet, werden. Hierzu kann auch eine Nachbearbeitung mit digitaler Filterung durch eine Datenverarbeitungseinrichtung vorgesehen sein.
In einer weiteren Ausführungsform umfasst eine Sensitivität der Mikrofoneinrichtung gegenüber akustischen Signalen zumindest auch einen Frequenzbereich außerhalb des menschlichen Hörbereichs. Anstatt oder zusätzlich zu für den Menschen hörbaren akustischen Signalen werden von der Mikrofoneinrichtung z. B. Ultraschall- und/oder Infraschallsignale aufgenommen. Weist die Mikrofoneinrichtung nur einen akustischen Sensor, d. h. ein Mikrofon auf, ist dieses dazu ausgelegt, zusätzlich oder anstatt Aufnahmen im Bereich des menschlichen Hörspektrums zu ermöglichen, für den Menschen nicht hörbare akustische Signale aufzunehmen. Umfasst die Mikrofoneinrichtung mehrere Mikrofone, kann alternativ auch die Verwendung speziell für bestimmte unterschiedliche Frequenzbereiche ausgelegter Mikrofone vorgesehen sein. So können bei chirurgischen Operationen ggf. relevante akustische Signale beispielsweise aus dem Operationsgebiet aufgenommen werden, die unterhalb des menschlichen Hörbereichs liegen. Dies kann beispielsweise auf bestimmte durch den Herzschlag des Patienten verursachte Strömungsgeräusche zutreffen. Akustische Signale in Frequenzbereichen oberhalb des menschlichen Hörbereichs können beispielsweise durch während des Operationsverlaufs verwendete Operationsinstrumente verursacht werden. Der Operationsverlauf kann unter Berücksichtigung derartiger akustischer Signale ggf. vollständiger erfasst werden.
In noch einer weiteren Ausführungsform weist das medizinisch-optische Beobachtungsgerät eine Filtereinrichtung zum Filtern der aufgenommenen akustischen Signale auf, wobei die Filtereinrichtung dazu eingerichtet ist, eine für ein zwischen der Mikrofonvorrichtung und dem Operationsgebiet angeordnetes Trennmittel charakteristische Dämpfung zumindest teilweise zu kompensieren. So wird ein „akustischer Kanal“ durch das Trennmittel ermöglicht und die Mikrofoneinrichtung kann in einem von einem sterilen Bereich, der das Operationsgebiet umfasst, getrennten unsterilen Bereich angeordnet werden. Als Trennmittel wird beispielsweise eine Drape-Abdeckung bzw. ein Drape-Abdecktuch verwendet. Die Filtereinrichtung, die bei der Anwendung von digitaler Filterung im Rahmen einer Datenverarbeitungseinrichtung des medizinisch-optischen Beobachtungsgeräts realisiert sein kann, ist hierzu zumindest dazu eingerichtet, eine charakteristische Dämpfung des Trennmittels zu kompensieren. Zusätzlich kann z. B. vorgesehen sein, die gefilterten Signale zu verstärken.
In einer bevorzugten Ausführungsform umfasst das medizinisch-optische Beobachtungsgerät eine Datenverarbeitungseinrichtung, die dazu eingerichtet ist, im Zeitverlauf der aufgenommenen akustischen Signale (durch Auswerten von deren gespeicherten elektronischen Repräsentationen) das Operationsgebiet betreffende Geräusche zu detektieren. Das Auswerten umfasst insbesondere das Anwenden geeigneter digitaler Filterungsverfahren, um aus den akustischen Signalen Informationen zu extrahieren, beispielsweise das Auftreten neuer Ereignisse und das Auftreten bzw. Verschwinden von Geräuschquellen. Falls nicht die jeweilige Aufnahmeeinrichtung bereits eine Analog-Digitalwandlung und ggf. eine zugehörige Vorverarbeitung durchführt, um digitale Repräsentationen zu erzeugen, kann dies auch als Teil der Datenverarbeitungseinrichtung ausgeführt sein, wofür diese dann über eine geeignete Schnittstelle verfügt. Für eine Detektion einzelner Phasen des Operationsverlaufs kann beispielsweise bereits die detektierte Abfolge und Länge von Ereignissen ausgewertet werden und verschiedene Phasen im Zeitverlauf der Operation erkannt werden.
In einer bevorzugten Ausführungsform ist vorgesehen, dass die Datenverarbeitungseinrichtung außerdem dazu eingerichtet ist, die das Operationsgebiet betreffenden Geräusche in Abhängigkeit von gespeicherten Geräuschen zu klassifizieren bzw. zu identifizieren.
Die gespeicherten Geräusche, d. h. gespeicherten akustischen Signale, können als elektronische Repräsentationen gespeichert sein. Dies umfasst, die direkte Speicherung von digitalen Abtastwerten der akustischen Signale, aber es können auch vorverarbeitete Daten sein, wobei die Vorverarbeitung z. B. eine Codierung oder Kompression der Audiodaten und/oder eine Parametrisierung des Signalverlaufs umfassen kann und/oder Parameterwerte, die auf beschreibenden Modellen der akustischen Signale beruhen, beispielsweise mit Hilfe von maschinellen Lernverfahren erzeugt. Die als elektronische Repräsentationen gespeicherten Geräusche können auch unterschiedliche Varianten derselben umfassen.
Identifizierbare Geräusche können beispielsweise Geräusche sein, die beim Schneiden mit einer Schere entstehen, Geräusche eines Saugers oder eines Skalpells oder Geräusche beim Schließen eines Aneurysma-Clips oder beim Koagulieren von Gewebe usw. Zudem können beispielsweise auch durch das Gewebe verursachte Geräusche identifiziert werden, z. B. entstehende Blutungen, Aufreißen von Gewebe, Blutfluss durch Gefäße usw. Auf diese Weise kann anhand der erkannten Geräusche und beispielsweise deren Abfolge, Lautstärke, Frequenz bzw. der Änderung der Parameter über der Zeit die Detektion verschiedener Phasen im Zeitverlauf der Operation präzisiert werden und ggf. auch die Phasen erkannt werden und Abweichungen von einem bekannten gespeicherten Ablauf der Operationsphasen erkannt und/oder folgende Operationsphasen vorhergesagt werden. In einer Ausführungsform kann dabei auch vorgesehen sein, dass auch mit fehlerhaft durchgeführten gespeicherten Abläufen von Operationsvorgängen verglichen wird, so dass ggf. automatisiert vor einem unveränderten Fortsetzen des Operationsvorgangs gewarnt werden kann.
In einer weiteren Ausführungsform ist die Datenverarbeitungseinrichtung außerdem dazu eingerichtet, im Zeitverlauf der aufgenommenen optischen Signale das Operationsgebiet betreffende Ereignisse zu detektieren. So können mit Bild- und Videoanalyseverfahren beispielsweise der Beginn und/oder das Ende der Verwendung bestimmter Hilfsmittel und Operationsinstrumente, aber auch bestimmte für den Operationsverlauf charakteristische Ansichten des behandelten Gewebes, das Stoppen einer Blutung usw. detektiert werden. Insbesondere ist in einer Ausführungsform vorgesehen, in den optischen Signalen und den akustischen Signalen Ereignisse zu detektieren und diese ggf. miteinander in Beziehung zu setzen und aus der Kombination zusätzliche Informationen zu gewinnen oder die Zuverlässigkeit der Detektionen so zu erhöhen.
In einer beispielhaften Ausführungsform ist die Datenverarbeitungseinrichtung dabei außerdem dazu eingerichtet, die das Operationsgebiet betreffenden Ereignisse in Abhängigkeit von gespeicherten Ansichten zu klassifizieren. Auf diese Weise können beispielsweise anhand von gespeicherten Ansichten verwendete Instrumente genau bestimmt werden oder die durch die Operation geänderte Ansicht des Operationsgebiets mit üblichen, beabsichtigten Ansichten verglichen werden, beispielsweise ein Schnittverlauf während der Operation, die Position oder Form eines Knochens oder von Gewebe.
Die gespeicherten Ansichten sind als elektronische Repräsentationen gespeichert. Dies umfasst, die direkte Speicherung von digitalen Abtastwerten von Bildsignalen, aber es können auch vorverarbeitete Daten sein, wobei die Vorverarbeitung z. B. eine Codierung oder Kompression der Bilddaten und/oder eine Parametrisierung des Signalverlaufs umfassen kann und/oder Parameterwerte, die auf beschreibenden Modellen von Ansichten eines gesamten Operationsbereichs, aber auch von einzelnen Objekten beruhen (z. B. einem 3D-Modell eines Organs, Knochens oder eines zu verwendenden chirurgischen Instruments), wobei die Modelle z. B. anhand von historischen Operationsdaten beispielsweise mit Hilfe von maschinellen Lernverfahren angepasst sein können. Die als elektronische Repräsentationen gespeicherten Ansichten können auch unterschiedliche Varianten derselben umfassen.
In einer bevorzugten Ausführungsform ist die Datenverarbeitungseinrichtung dazu eingerichtet, Merkmale in den über dem Zeitverlauf aufgenommenen akustischen Signalen und optischen Signalen zu ermitteln und kombiniert auszuwerten und basierend auf der Auswertung den Zeitverlauf in zugehörige Verlaufsphasen einzuteilen. Die kombinierte Auswertung kann dabei sowohl das kombinierte Ermitteln von Ereignissen gleichzeitig anhand sowohl der akustischen als auch der optischen Signale als auch das Ermitteln von Ereignissen in den akustischen Signalen und Ereignissen in den optischen Signalen und eine anschließende kombinierte Auswertung beider Ereignisgruppen umfassen. Die Datenverarbeitungseinheit ist hierfür dazu eingerichtet, einen Sensor- bzw. Informationsfusionsalgorithmus, beispielsweise basierend auf einem maschinellen Lernverfahren auszuführen, mit dem aus den Ereignisinformationen die jeweilige zugehörige Phase des Operationsverlaufs ermittelt bzw. vorhergesagt werden kann. In einer Ausführungsform kann vorgesehen sein, außer aus akustischen und optischen Signalen gewonnenen Daten auch weitere Daten zu berücksichtigen, beispielsweise Einstellungsdaten des medizinisch-optischen Beobachtungsgeräts und deren Änderungen, Positionsdaten eines robotischen Arms, an dem das medizinisch-optische Beobachtungsgerät befestigt ist, mit einer weiteren Mikrofoneinrichtung aufgenommene akustische Signale, z. B. Sprache aus dem Operationssaal usw.
In einer beispielhaften Ausführungsform ist die Datenverarbeitungseinrichtung außerdem dazu eingerichtet, die Verlaufsphasen den Phasen einer chirurgischen Operation zuzuordnen, d. h. die anhand der vorgenommenen Signalauswertung festgestellten Verlaufsphasen im Zeitverlauf der Signale als bekannten bzw. gespeicherten typischen tatsächlichen Phasen einer chirurgischen Operation entsprechende Phasen zu klassifizieren.
In einer bevorzugten beispielhaften Ausführungsform ist die Datenverarbeitungseinrichtung zudem dazu eingerichtet, basierend auf den zugeordneten Verlaufsphasen, d. h. den verschiedenen Phasen der chirurgischen Operation zugeordneten Verlaufsphasen, einen Operationsbericht, d. h. einen OP-Bericht, zu erzeugen. Ein Operationsbericht soll zumindest den Ablauf einer durchgeführten Operation beschreiben, wobei vorzugsweise auch weitere Angaben aufgenommen werden, beispielsweise das Ziel der Operation und aufgetretene Probleme sowie weitere Angaben aus der Patientenakte. In einer Ausführungsform kann insbesondere auch vorgesehen sein, dass mit beispielsweise in einer Datenbank vorhandenen standardmäßig für die jeweilige Operation vorgesehenen Phasenabläufen verglichen wird und Abweichungen der zugeordneten Verlaufsphasen von den vorgesehenen Phasen festgestellt werden. Feststellbare Abweichungen können beispielsweise das Auslassen einer Phase, die Wiederholung einer Phase, die Abweichung von einer vorgesehenen oder durchschnittlichen Dauer der Phase, die Abweichung von einer vorgesehenen Reihenfolge der Phasen oder das Durchführen einer unbekannten, nicht vorgesehenen oder eigentlich für eine andere Operation vorgesehenen Phase sein. Dies bietet beispielsweise den Vorteil, dass die Aufmerksamkeit des Chirurgen bei einer Nachbearbeitung des Operationsberichts direkt auf möglicherweise erklärungsbedürftige Phasen gelenkt werden kann.
In einer weiteren beispielhaften Ausführungsform des medizinisch-optischen Beobachtungsgeräts sind den Phasen der chirurgischen Operation Einstellungen mindestens einer Betriebsmodalität des medizinisch-optischen Beobachtungsgeräts zugeordnet und die Datenverarbeitungseinrichtung ist dazu eingerichtet, aktuelle Einstellungen der mindestens einen Betriebsmodalität des medizinisch-optischen Beobachtungsgeräts in die Einstellungen der mindestens einen Betriebsmodalität zu verändern, die einer jeweils aktuellen Phase der chirurgischen Operation zugeordnet sind. Eine Betriebsmodalität eines medizinisch-optischen Geräts ist beispielsweise die Zoom-Einstellung, die Stativ-Pose und die Beleuchtung, aber auch die ausgewählte Darstellung auf einem Bildschirm, bei der z. B. zusätzliche Bedienungsmenüs oder Zusatzinformationen eingeblendet oder die Bilddarstellung geändert bzw. andere Darstellungsmodalitäten wie Fluoreszenzdarstellung oder OCT-Aufnahmen zugeschaltet (OCT - optische Kohärenztomographie) werden. So kann beispielsweise vorgesehen sein, den Zoomfaktor zu ändern und durch Verändern der Stativ-Pose die Ausrichtung des Beobachtungsgeräts anzupassen und ggf. auch die Beleuchtung des Operationsgebiets zu ändern, wenn erkannt wurde, dass die Operation in die nächste Phase eingetreten ist. Dies kann beispielsweise direkt automatisch oder nach Freigabe durch den Chirurgen bzw. Benutzer des medizinisch-optischen Beobachtungsgeräts erfolgen. Um den Arbeitsablauf wenig zu stören, kann beispielsweise vorgesehen sein, dass die Freigabe durch einen Sprachbefehl erfolgt. Die Steuerung von Betriebsmodalitäten in Abhängigkeit von erkannten Phasen des Operationsverlaufs ist insbesondere sinnvoll, da die Phasen und Phasenwechsel mit Hilfe der beschriebenen kombinierten Auswertung von Audio- und Bildsignalen sehr zuverlässig und präzise erkannt werden.
In einer bevorzugten Ausführungsform ist die Datenverarbeitungseinrichtung dazu eingerichtet, zur Ermittlung der Merkmale, z. B. Ereignisse, und/oder Verlaufsphasen, einen Maschinenlernalgorithmus auszuführen. Maschinenlernalgorithmen können trainierbar sein und basieren beispielsweise auf der Verwendung von Entscheidungsbäumen, Support-Vector-Machines mit Relevanz-Feedback-Mechanismus oder anderen Cluster-Verfahren.
In einer beispielhaften bevorzugten Ausführungsform umfasst der Maschinenlernalgorithmus mindestens ein künstliches neuronales Netz, z. B. ein Convolutional Neural Network. Dies bietet den Vorteil, dass dem Algorithmus „überlassen“ werden kann, selbst charakteristische und diskriminative Merkmale aus den Analysedaten zu bestimmen, um basierend darauf die jeweilige zugehörige Phase des Operationsverlaufs korrekt klassifizieren zu können. Dabei kann die Fusion der Bild- und Akustikdaten zu verschiedenen Punkten in der Klassifikationspipeline erfolgen, d. h. es können beispielsweise zunächst getrennte Klassifikationen der akustischen und optischen Signale erfolgen und dann eine Fusion der ermittelten Daten, um daraus die Verlaufsphasen zu ermitteln und diese zu klassifizieren, oder es kann auch zunächst bereits eine Fusion der akustischen und optischen Signale bei der Analyse erfolgen und dann eine Klassifikation der so ermittelten Verlaufsphasen.
Gemäß einem zweiten Aspekt der Erfindung weist ein Computerprogrammprodukt Codebestandteile auf, die, wenn sie von einem Prozessor einer Datenverarbeitungseinrichtung als einer programmierbaren Einrichtung mit Prozessor und Speicher ausgeführt werden, die Datenverarbeitungseinrichtung einrichten, als Datenverarbeitungseinrichtung eines medizinisch-optischen Beobachtungsgeräts nach einer der Ausführungsformen gemäß dem ersten Aspekt der Erfindung betrieben zu werden. Auf diese Weise werden die Vorteile und Besonderheiten des erfindungsgemäßen medizinisch-optischen Beobachtungsgeräts auch im Rahmen eines Computerprogrammprodukts umgesetzt. Hierzu wird das Computerprogrammprodukt beispielsweise auf einem nichtflüchtigen computerlesbaren Speichermedium bereitgestellt, auf dem das Computerprogrammprodukt gespeichert ist.
Gemäß einem dritten Aspekt der Erfindung wird daher auch ein nichtflüchtiges bzw. nichttransitives computerlesbares Speichermedium bereitgestellt, das Codebestandteile gespeichert hat, die, wenn sie von einem Prozessor einer Datenverarbeitungseinrichtung ausgeführt werden, die Datenverarbeitungseinrichtung einrichten, als Datenverarbeitungseinrichtung eines medizinisch-optischen Beobachtungsgeräts nach einer der Ausführungsformen gemäß dem ersten Aspekt der Erfindung betrieben zu werden. So werden die Vorteile und Besonderheiten des erfindungsgemäßen medizinisch-optischen Beobachtungsgeräts auch im Rahmen eines computerlesbaren Speichermediums umgesetzt.
Die Erfindung wird nachstehend im Zusammenhang mit der folgenden Beschreibung von Ausführungsbeispielen mit Bezug auf die begleitende Zeichnung näher erläutert. Es zeigt:

1 eine schematische Darstellung eines Beispiels eines medizinisch-optischen Beobachtungsgeräts gemäß einer Ausführungsform der Erfindung.

Es versteht sich, dass andere Ausführungsformen benutzt und strukturelle oder logische Änderungen vorgenommen werden können, ohne von dem Schutzumfang der vorliegenden Erfindung abzuweichen. Es versteht sich, dass die Merkmale der beschriebenen verschiedenen beispielhaften Ausführungsformen miteinander kombiniert werden können, sofern nicht spezifisch anders angegeben. Die Beschreibung ist deshalb nicht in einschränkendem Sinne aufzufassen, und der Schutzumfang der vorliegenden Erfindung wird durch die angefügten Ansprüche definiert.
In 1 wird eine schematische Darstellung eines Beispiels eines medizinisch-optischen Beobachtungsgeräts 100 gemäß einer Ausführungsform der Erfindung gezeigt. Das medizinisch-optische Beobachtungsgerät 100 kann insbesondere ein Operationsmikroskop sein. Das medizinisch-optische Beobachtungsgerät 100 umfasst eine Bildaufnahmeeinrichtung 101 mit einem optischen System 102. Es weist einen optischen Sichtbereich 103 auf (angedeutet durch gepunktete Linien). In der gezeigten Ausführungsform ist der optische Sichtbereich 103, d. h. das Sichtfeld, kegelförmig, konzentrisch um die (als Strichpunktlinie angedeutete) optische Achse 104 des optischen Systems 102 ausgebildet. Mit der Bildaufnahmeeinrichtung 101 werden optischen Signale, d. h. Bildsignale, eines Operationsgebiets 105, d. h. eines Situs, eines Patienten 106 aufgenommen. In 1 ist der Patient 106 liegend auf einem Operationstisch 107 gezeigt. Das Aufnehmen der optischen Signale umfasst das Erfassen und Lenken der optischen Signale durch das optische System 102 auf einen elektronischen Bildsensor 108, der eine elektronische Repräsentation der optischen Signale erzeugt, die fortlaufend bzw. in regelmäßigen Zeitabständen als Video, d. h. als Folge von Bildern über der Zeit, gespeichert werden. In der gezeigten Ausführungsform sieht die Bildaufnahmeeinrichtung hierfür eine (nicht gezeigte) Schnittstelle und eine drahtlose oder drahtgebundene Verbindung zu einer Speichereinrichtung 109 vor, in der die Speicherung erfolgt.
Das medizinisch-optische Beobachtungsgerät 100 verfügt außerdem über eine Mikrofoneinrichtung 110 mit einem akustischen Richtbereich 111 (durch gestrichelte Linien angedeutet), zur gerichteten Aufnahme von akustischen Signalen mit Bezug zum Operationsgebiet 105. In der gezeigten Ausführungsform weist die Mikrofoneinrichtung 110 ein Mikrofon bzw. eine ringförmig um auf optische System 102 der Bildaufnahmeeinrichtung 101 angeordnete Mehrzahl von Mikrofonen auf, das bzw. die mit der Bildaufnahmeeinrichtung 101 verbunden sind, wobei der akustische Richtbereich 111 ebenfalls einen konzentrisch um die auf das Operationsgebiet 105 gerichtete optische Achse 104 angeordneten kegelförmigen Bereich ausbildet und wobei der akustische Richtbereich 111 den optischen Sichtbereich 103 umfasst. In anderen Ausführungsformen kann auch der optische Sichtbereich 103 den akustischen Richtbereich 111 umfassen. Zum Aufnehmen erfasst die Mikrofoneinrichtung 110 aus dem akustischen Richtbereich 111 empfangene akustische Signale, führt, falls erforderlich, eine Analog-Digitalwandlung durch, und speichert elektronische Repräsentationen des Zeitverlaufs der akustischen Signale. In der gezeigten Ausführungsform sieht die Mikrofoneinrichtung 110 hierfür eine (nicht gezeigte) Schnittstelle und eine drahtlose oder drahtgebundene Verbindung zu der Speichereinrichtung 109 vor, in der die Speicherung erfolgt, wobei akustische und optische Signale mit einem gemeinsamen Zeitbezug gespeichert werden.
Akustische Signale von Geräuschquellen außerhalb des akustischen Richtbereichs 111 werden von der Mikrofoneinrichtung 110 ausgeblendet bzw. unterdrückt. Aufgenommen werden akustische Signale direkt aus dem Operationsgebiet 105, aber beispielsweise auch von chirurgischen Instrumenten, die im optischen Sichtbereich 103 im bzw. am Operationsgebiet 105 eingesetzt werden. In 1 wird beispielsweise von einem Chirurgen 112 ein chirurgisches Operationsinstrument 113 am Operationsgebiet 105 des Patienten 106 eingesetzt, von dem sowohl Betriebsgeräusche als auch im Operationsgebiet 105 dadurch erzeugte Geräusche, z. B. beim Zerschneiden von Gewebe oder beim Austreten von Flüssigkeit usw., aufgenommen werden. So ist es möglich, im Zeitverlauf der Operation viele, auch zum Teil sehr leise akustische Signale aufzunehmen, die Informationen über den Ablauf der Operation beinhalten, die eine Identifikation bzw. Zuordnung eines Vorgangs zu einer spezifischen Phase im Ablauf der chirurgischen Operation ermöglichen.
In der gezeigten Ausführungsform ist die Mikrofoneinrichtung 110 fest mit der Bildaufnahmeeinrichtung 101 verbunden, so dass bei einer Veränderung der räumlichen Ausrichtung des optischen Sichtbereichs 103 der Bildaufnahmeeinrichtung 101 die räumliche Ausrichtung des akustischen Richtbereichs 111 der Mikrofoneinrichtung 110 relativ zur räumlichen Ausrichtung des optischen Sichtbereichs 103 konstant bleibt, auch wenn, wie in der in 1 gezeigten Ausführungsform zur Veränderung der räumlichen Ausrichtung des optischen Sichtbereichs 103 die Bildaufnahmeeinrichtung 101 an einem beweglichen robotischen Stativ 114 angebracht ist.
In einer Ausführungsform ist die Mikrofoneinrichtung 110 zwar fest mit der Bildaufnahmeeinrichtung 101 verbunden, aber, z. B. mit einem Schienensystem (nicht gezeigt), parallel zur optischen Achse linear verschiebbar angebracht. Eine Mikrofon-Steuereinrichtung, die entweder separat oder als Teil einer Datenverarbeitungseinrichtung 115 realisiert sein kann, ist dann dazu vorgesehen, einer Entfernung der Mikrofoneinrichtung 110 zum Operationsgebiet 105 in Abhängigkeit von einem Fokuswert des optischen Systems 102 der Bildaufnahmeeinrichtung 101 zu verändern, so dass die Entfernung der Mikrofoneinrichtung 110 in Abhängigkeit von der Änderung des Fokuswerts des optischen Systems 102 angepasst wird. Die Mikrofon-Steuereinrichtung kann auch zum Anpassen einer Breite des akustischen Richtbereichs 111 der Mikrofoneinrichtung 110 in Abhängigkeit von einer Änderung der Breite des optischen Sichtbereichs 103 der Bildaufnahmeeinrichtung 101 eingerichtet sein.
Bei der Datenverarbeitungseinrichtung 115 handelt es sich im gezeigten Ausführungsbeispiel um eine programmierbare Einrichtung, die einen Prozessor 116 und einen Speicher 117, z. B. einen Arbeitsspeicher, aufweist, in den Codeanteile eines Computerprogrammprodukts geladen werden, die, wenn sie von dem Prozessor 116 ausgeführt werden, die Datenverarbeitungseinrichtung 115 dazu einrichten, das medizinisch-optische Beobachtungsgerät 100 zu steuern und die aufgenommenen Signale auszuwerten, insbesondere im Zeitverlauf der aufgenommenen akustischen Signale (durch Auswerten von deren gespeicherten elektronischen Repräsentationen) das Operationsgebiet 105 betreffende Geräusche zu detektieren und Informationen zu extrahieren, um einzelne Phasen im Zeitverlauf der Operation zu erkennen. Dabei ist die Datenverarbeitungseinrichtung 115 außerdem dazu programmiert, die Geräusche in Abhängigkeit von gespeicherten Geräuschen zu klassifizieren bzw. zu identifizieren.
Außerdem ist die Datenverarbeitungseinrichtung 115 dazu eingerichtet, im Zeitverlauf der aufgenommenen optischen Signale, d. h. in der Folge von aufgenommenen Bildern, Ereignisse im oder am Operationsgebiet 105 zu detektieren, beispielsweise den Beginn und/oder das Ende der Verwendung des chirurgischen Operationsinstruments 113.
Die Datenverarbeitungseinrichtung 115 setzt in den optischen und den akustischen Signalen detektierte Ereignisse miteinander in Beziehung und erhöht so die Zuverlässigkeit der Detektionen. Es werden Merkmale in den über den Zeitverlauf aufgenommenen akustischen Signalen und optischen Signalen ermittelt, die es ermöglichen, den Zeitverlauf in zugehörige Verlaufsphasen einzuteilen. Die Datenverarbeitungseinrichtung 115 führt hierfür als Maschinenlernalgorithmus einen Informationsfusionsalgorithmus aus, der beispielsweise auf einem Convolutional Neural Network basiert. Um diesen zu trainieren, wird beispielsweise nach der Operation die von der Datenverarbeitungseinheit 115 ermittelte Phaseneinteilung dem Chirurgen 112 als Kapitel einer Operationsdokumentation, d. h. eines Operationsberichts, zumindest visuell angezeigt, beispielsweise auf einer Bildausgabeeinrichtung 118, d. h. eines Bildschirms, des medizinisch-optischen Beobachtungsgeräts 100, über das der Chirurg 112 während der Operation das von der Bildaufnahmeeinrichtung 101 aufgenommene optische Signal angezeigt bekommt, wobei in anderen Ausführungsformen auch eine andere Bildausgabeeinrichtung vorgesehen sein kann. Zu Trainingszwecken kann der Chirurg die ermittelte Phaseneinteilung dann bestätigen, ablehnen oder korrigieren.
Die Figur ist nicht detailgetreu und maßstabsgetreu. Daher sind hier offenbarte funktionale Einzelheiten nicht einschränkend zu verstehen, sondern lediglich als anschauliche Grundlage, die dem Fachmann auf diesem Gebiet der Technik Anleitung bietet, um die vorliegende Erfindung auf vielfältige Weise einzusetzen. Es versteht sich, dass Abgrenzungen zwischen Einheiten des vorgestellten Beobachtungsgeräts der Illustration der Funktionalität des Geräts dienen und in anderen Ausführungsformen Einheiten beispielsweise zusammengefasst oder Funktionalitäten anderen Einheiten zugeordnet sein können. So kann z. B. in anderen Ausführungsformen die in 1 gezeigte Bildaufnahmeeinrichtung 101 selbst die Speichereinrichtung 109 beinhalten oder eine Mikrofon-Steuereinrichtung als separate Einheit realisiert sein, um nur einige Beispiele zu nennen. Mit anderen Worten: Es werden die vorliegenden Beschreibungen zum Zwecke der Veranschaulichung bestimmter Ausführungsformen bereitgestellt und sollten nicht als Beschränkung des offenbarten Gegenstands aufgefasst werden.
Der hier verwendete Ausdruck „und/oder“, wenn er in einer Reihe von zwei oder mehreren Elementen benutzt wird, bedeutet, dass jedes der aufgeführten Elemente alleine verwendet werden kann, oder es kann jede Kombination von zwei oder mehr der aufgeführten Elementen verwendet werden. Wird beispielsweise eine Zusammensetzung beschrieben, dass sie die Komponenten A, B und/oder C, enthält, kann die Zusammensetzung A alleine; B alleine; C alleine; A und B in Kombination; A und C in Kombination; B und C in Kombination; oder A, B, und C in Kombination enthalten.
Die vorliegende Erfindung wurde anhand von Ausführungsbeispielen zu Erläuterungszwecken im Detail beschrieben. Der Fachmann erkennt, dass mit Bezug auf eine Ausführungsform beschriebene Details auch in anderen Ausführungsformen zum Einsatz kommen können. Die Erfindung soll daher nicht auf einzelne Ausführungsformen beschränkt sein, sondern lediglich durch die beigefügten Ansprüche.
Bezugszeichenliste

100: medizinisch-optisches Beobachtungsgerät
101: Bildaufnahmeeinrichtung
102: optisches System
103: optischer Sichtbereich
104: optische Achse
105: Operationsgebiet
106: Patient
107: Operationstisch
108: elektronischer Bildsensor
109: Speichereinrichtung
110: Mikrofoneinrichtung
111: akustischer Richtbereich
112: Chirurg
113: chirurgisches Operationsinstrument
114: robotisches Stativ
115: Datenverarbeitungseinrichtung
116: Prozessor
117: Speicher
118: Bildausgabeeinrichtung

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2019/0324252 A1 [0004]
US 2016/0055886 A1 [0007]
US 2019/0057760 A1 [0009]
US 2018/0366231 A1 [0010]
US 2018/0242985 A1 [0011]
US 2018/0071047 A1 [0012]

Claims

Medizinisch-optisches Beobachtungsgerät (100), umfassend - eine Bildaufnahmeeinrichtung (101) mit einem optischen System (102) und einem optischen Sichtbereich (103), zur Aufnahme von optischen Signalen eines Operationsgebiets (105); und - eine Mikrofoneinrichtung (110) mit einem akustischen Richtbereich (111), zur gerichteten Aufnahme von akustischen Signalen mit Bezug zum Operationsgebiet (105), dadurch gekennzeichnet, dass der akustische Richtbereich (111) den optischen Sichtbereich (103) umfasst.
Medizinisch-optisches Beobachtungsgerät nach Anspruch 1, wobei die Mikrofoneinrichtung (110) dazu eingerichtet ist, akustische Signale von Geräuschquellen im optischen Sichtbereich (103) der Bildaufnahmeeinrichtung (101) aufzunehmen und andere akustische Signale zu dämpfen.
Medizinisch-optisches Beobachtungsgerät nach Anspruch 1 oder Anspruch 2, wobei der akustische Richtbereich (111) im Wesentlichen mit dem optischen Sichtbereich (103) übereinstimmt.
Medizinisch-optisches Beobachtungsgerät nach einem der vorhergehenden Ansprüche, wobei das medizinisch-optische Beobachtungsgerät (100) eine Mikroskopeinrichtung, vorzugsweise ein Operationsmikroskop umfasst.
Medizinisch-optisches Beobachtungsgerät nach einem der vorhergehenden Ansprüche, außerdem umfassend - Mittel, um bei einer Veränderung der räumlichen Ausrichtung des optischen Sichtbereichs (103) der Bildaufnahmeeinrichtung (101) die räumliche Ausrichtung des akustischen Richtbereichs (111) der Mikrofoneinrichtung (110) relativ zur räumlichen Ausrichtung des optischen Sichtbereichs (103) konstant zu halten.
Medizinisch-optisches Beobachtungsgerät nach einem der vorhergehenden Ansprüche, umfassend - eine Mikrofon-Steuereinrichtung, eingerichtet zum Steuern einer Entfernung der Mikrofoneinrichtung (110) zum Operationsgebiet (105) in Abhängigkeit von einem Fokuswert des optischen Systems (102) der Bildaufnahmeeinrichtung (101).
Medizinisch-optisches Beobachtungsgerät nach einem der Ansprüche 1 bis 5, umfassend - eine Mikrofon-Steuereinrichtung, eingerichtet zum Anpassen einer Breite des akustischen Richtbereichs (111) der Mikrofoneinrichtung (110) in Abhängigkeit von einer Änderung einer Breite des optischen Sichtbereichs (103) der Bildaufnahmeeinrichtung (101).
Medizinisch-optisches Beobachtungsgerät nach einem der vorhergehenden Ansprüche, wobei die Mikrofoneinrichtung (110) eine Mehrzahl von akustischen Sensoren aufweist.
Medizinisch-optisches Beobachtungsgerät nach einem der vorhergehenden Ansprüche, wobei eine Sensitivität der Mikrofoneinrichtung (110) gegenüber akustischen Signalen zumindest auch einen Frequenzbereich außerhalb des menschlichen Hörbereichs umfasst.
Medizinisch-optisches Beobachtungsgerät nach einem der vorhergehenden Ansprüche, umfassend eine Filtereinrichtung zum Filtern der aufgenommenen akustischen Signale, wobei die Filtereinrichtung dazu eingerichtet ist, eine für ein zwischen der Mikrofoneinrichtung (110) und dem Operationsgebiet (105) angeordnetes Trennmittel charakteristische Dämpfung zumindest teilweise zu kompensieren.
Medizinisch-optisches Beobachtungsgerät nach einem der vorhergehenden Ansprüche, umfassend - eine Datenverarbeitungseinrichtung (115), dazu eingerichtet, im Zeitverlauf der aufgenommenen akustischen Signale das Operationsgebiet (105) betreffende Geräusche zu detektieren.
Medizinisch-optisches Beobachtungsgerät nach Anspruch 11, wobei die Datenverarbeitungseinrichtung (115) außerdem dazu eingerichtet ist, die das Operationsgebiet (105) betreffenden Geräusche in Abhängigkeit von gespeicherten Geräuschen zu klassifizieren.
Medizinisch-optisches Beobachtungsgerät nach Anspruch 11 oder Anspruch 12, wobei die Datenverarbeitungseinrichtung (115) außerdem dazu eingerichtet ist, im Zeitverlauf der aufgenommenen optischen Signale das Operationsgebiet (105) betreffende Ereignisse zu detektieren.
Medizinisch-optisches Beobachtungsgerät nach Anspruch 13, wobei die Datenverarbeitungseinrichtung (115) außerdem dazu eingerichtet ist, die das Operationsgebiet (105) betreffenden Ereignisse in Abhängigkeit von gespeicherten Ansichten zu klassifizieren.
Medizinisch-optisches Beobachtungsgerät nach einem der Ansprüche 11 bis 14, wobei die Datenverarbeitungseinrichtung (115) dazu eingerichtet ist, Merkmale in den über den Zeitverlauf aufgenommenen akustischen Signalen und optischen Signalen zu ermitteln und kombiniert auszuwerten und basierend auf der Auswertung den Zeitverlauf in zugehörige Verlaufsphasen einzuteilen.
Medizinisch-optisches Beobachtungsgerät nach Anspruch 15, wobei die Datenverarbeitungseinrichtung (115) außerdem dazu eingerichtet ist, die Verlaufsphasen Phasen einer chirurgischen Operation zuzuordnen.
Medizinisch-optisches Beobachtungsgerät nach Anspruch 16, wobei die Datenverarbeitungseinrichtung (115) dazu eingerichtet ist, basierend auf den zugeordneten Verlaufsphasen einen Operationsbericht zu erzeugen.
Medizinisch-optisches Beobachtungsgerät nach Anspruch 16 oder Anspruch 17, wobei den Phasen der chirurgischen Operation Einstellungen mindestens einer Betriebsmodalität des medizinisch-optischen Beobachtungsgeräts (100) zugeordnet sind und die Datenverarbeitungseinrichtung (115) dazu eingerichtet ist, aktuelle Einstellungen der mindestens einen Betriebsmodalität des medizinisch-optischen Beobachtungsgeräts (100) in die Einstellungen der mindestens einen Betriebsmodalität zu verändern, die einer jeweils aktuellen Phase der chirurgischen Operation zugeordnet sind.
Medizinisch-optisches Beobachtungsgerät nach einem der Ansprüche 15 bis 18, wobei die Datenverarbeitungseinrichtung (115) dazu eingerichtet ist, zur Ermittlung der Merkmale und/oder Verlaufsphasen einen Maschinenlernalgorithmus auszuführen.
Medizinisch-optisches Beobachtungsgerät nach Anspruch 19, wobei der Maschinenlernalgorithmus ein künstliches neuronales Netz umfasst.
Computerprogrammprodukt, das Codebestandteile aufweist, die, wenn sie von einem Prozessor (116) einer Datenverarbeitungseinrichtung (115) ausgeführt werden, die Datenverarbeitungseinrichtung (115) einrichten, als Datenverarbeitungseinrichtung (115) eines medizinisch-optischen Beobachtungsgeräts (100) gemäß einem der Ansprüche 11 bis 20 betrieben zu werden.
Nichtflüchtiges computerlesbares Speichermedium, das Codebestandteile gespeichert hat, die, wenn sie von einem Prozessor (116) einer Datenverarbeitungseinrichtung (115) ausgeführt werden, die Datenverarbeitungseinrichtung (115) einrichten, als Datenverarbeitungseinrichtung (115) eines medizinisch-optischen Beobachtungsgeräts (100) gemäß einem der Ansprüche 11 bis 20 betrieben zu werden.