-
Die Erfindung betrifft ein Verfahren zum Betreiben eines Visualisierungssystems bei einer chirurgischen Anwendung und ein Visualisierungssystem für eine chirurgische Anwendung.
-
Bei der Vornahme von medizinischen Eingriffen, insbesondere in der (Mikro-)Chirurgie, kommen vermehrt technische Hilfsmittel wie großflächige Anzeigeeinrichtungen zum Einsatz, die das Anzeigen von zusätzlichen Informationen ermöglichen. Es kann sich hierbei beispielsweise um das Anzeigen eines Videodatenstroms eines operativen Situs in Echtzeit handeln, der mittels einer Erfassungseinrichtung, insbesondere mittels eines mit einer Kamera ausgerüsteten Operationsmikroskops, erfasst wird. Im Fall einer exoskopisch mit Hilfe eines solchen (ggf. robotischen) Visualisierungssystems durchgeführten Operation ist die Anzeigeeinrichtung ein großer Bildschirm, der im Operationssaal aufgestellt wird.
-
Aus der
WO 2015/149557 A1 sind ein Anzeigesteuerungsverfahren und eine Anzeigesteuerungseinrichtung bekannt, die sich auf das Gebiet der augennahen Anzeigetechnologien beziehen. Das Verfahren umfasst: Bestimmen eines ersten Anzeigebereichs im Sichtfeld eines Benutzers eines auf einem Hauptanzeigegerät angezeigten Bildes; und Verwenden mindestens einer augennahen Anzeigeeinrichtung gemäß dem ersten Anzeigebereich, um Augmentationsinformationen in Bezug auf das Bild anzuzeigen. In dem Verfahren und der Einrichtung wird mindestens eine augennahe Anzeigeeinrichtung verwendet, um eine Anzeige zu ergänzen, die in einem geeigneten Betrachtungsabstand eines Benutzers von einer Einrichtung bereitgestellt wird, aber das Sichtfeld des Benutzers nicht vollständig ausfüllen kann, und Augmentationsinformationen werden verwendet, um das Sichtfeld des Benutzers so weit wie möglich zu füllen, damit ein gutes Erlebnis beim Betrachten von Immersionsmedien erzielt werden kann.
-
Aus der
US 2019/0250873 A1 ist ein Visualisierungssystem bekannt. Dieses stellt Grafiken zur Darstellung auf Displays mehrerer Benutzer bereit, die Head-Mounted-Displays (HMDs) tragen. In einer Ausgestaltung bestimmt das System, dass eine erste Blickrichtung eines ersten Benutzers auf eine erste Anzeige gerichtet ist. Das System bestimmt Benutzereingaben, die vom ersten Benutzer ausgeführt werden. Die Benutzereingaben können freihändig erfolgen, wie beispielsweise Gesten einer Hand oder eines Fingers oder Sprachbefehle. Das System erzeugt eine grafische Anmerkung unter Verwendung der Benutzereingaben. Das System stellt einem ersten HMD die grafische Anmerkung zur Präsentation für den ersten Benutzer bereit. Das System bestimmt eine zweite Anzeige, die mit der ersten Anzeige gepaart ist. Das System liefert die grafische Anmerkung an ein zweites HMD zur Präsentation an einen zweiten Benutzer, der auf die zweite Anzeige schaut. Die Displays können beispielsweise in einer Augmented-Reality-Umgebung ein physisches Display oder ein virtuelles Display umfassen.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren zum Betreiben eines Visualisierungssystems bei einer chirurgischen Anwendung und ein Visualisierungssystem für eine chirurgische Anwendung zu schaffen, mit denen ein Arbeitsablauf eines Nutzers verbessert werden kann.
-
Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und ein Visualisierungssystem mit den Merkmalen des Patentanspruchs 9 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
-
Es ist eine der Grundideen der Erfindung, eine von einem zu operierenden und/oder operierten Bereich erfasste Abbildung mit Hilfe von mindestens einer dreidimensionalen Augmentierungsinformation zu augmentieren. Hierdurch können einem Chirurgen oder einer assistierenden Person zusätzliche Informationen bereitgestellt werden, die eine medizinische Operation insbesondere im Hinblick auf eine räumliche Orientierung und einen Arbeitsablauf unterstützen können. Hierzu wird die mindestens eine dreidimensionale Augmentierungsinformation einem Nutzer, insbesondere einem Chirurgen, auf einer Anzeigeeinrichtung einer am Kopf tragbaren Visualisierungseinrichtung angezeigt. Um die mindestens eine Augmentierungsinformation in geeigneter Weise anzuzeigen, wird eine Lage der Visualisierungseinrichtung relativ zu einer Anzeigefläche einer Hauptanzeigeeinrichtung, auf der mindestens eine erfasste Abbildung des zu operierenden und/oder operierten Bereich angezeigt wird, mittels einer Lagesensorik erfasst. Das Erzeugen und/oder Bereitstellen der mindestens einen dreidimensionalen Augmentierungsinformation erfolgt unter Berücksichtigung der erfassten Lage, und zwar derart, dass die mindestens eine auf der Hauptanzeigeeinrichtung angezeigte Abbildung durch die mindestens eine dreidimensionale Augmentierungsinformation in einen dreidimensionalen Bereich erweitert wird. Anders ausgedrückt erfolgt das Erzeugen und/oder Bereitstellen insbesondere derart, dass die mindestens eine dreidimensionale Augmentierungsinformation für einen Nutzer der Visualisierungseinrichtung korrespondierend mit der angezeigten mindestens einen Abbildung in einem dreidimensionalen Bereich um die Anzeigefläche der Hauptanzeigeeinrichtung herum erscheint. Da die mindestens eine dreidimensionale Augmentierungsinformation in Korrespondenz mit der angezeigten mindestens einen Abbildung erzeugt und/oder bereitgestellt (und angezeigt wird), wirken die mindestens eine Abbildung und die mindestens eine dreidimensionale Augmentierungsinformation auf den Nutzer der Visualisierungseinrichtung einheitlich und inhaltlich und/oder kontextuell zusammenhängend. Insbesondere ist ein Übergang zwischen den Inhalten hierbei positionsgenau und maßstabsgerecht, sodass insbesondere ein nahtloser Übergang erfasst werden kann.
-
Insbesondere wird ein Verfahren zum Betreiben eines Visualisierungssystems bei einer chirurgischen Anwendung zur Verfügung gestellt, wobei mindestens eine Abbildung eines zu operierenden und/oder operierten Bereichs mittels einer Erfassungseinrichtung des Visualisierungssystems erfasst wird, wobei die mindestens eine Abbildung auf einer Hauptanzeigeeinrichtung angezeigt wird, wobei eine Lage einer am Kopf tragbaren Visualisierungseinrichtung relativ zu einer Anzeigefläche der Hauptanzeigeeinrichtung mittels einer Lagesensorik erfasst wird, und wobei mindestens eine mit der angezeigten mindestens einen Abbildung korrespondierende dreidimensionale Augmentierungsinformation erzeugt und/oder bereitgestellt wird und auf einer Anzeigeeinrichtung der am Kopf tragbaren Visualisierungseinrichtung angezeigt wird, wobei das Erzeugen und/oder Bereitstellen der mindestens einen dreidimensionalen Augmentierungsinformation unter Berücksichtigung der erfassten Lage derart erfolgt, dass die mindestens eine auf der Hauptanzeigeeinrichtung angezeigte Abbildung durch die mindestens eine hiermit korrespondierende dreidimensionale Augmentierungsinformation in einen dreidimensionalen Bereich erweitert wird.
-
Ferner wird insbesondere eine Visualisierungssystem für eine chirurgische Anwendung geschaffen, umfassend eine Erfassungseinrichtung, eingerichtet zum Erfassen mindestens einer Abbildung eines zu operierenden und/oder operierten Bereichs, eine Hauptanzeigeeinrichtung, eingerichtet zum Anzeigen der erfassten mindestens einen Abbildung, eine am Kopf tragbare Visualisierungseinrichtung mit einer Anzeigeeinrichtung, eine Lagesensorik, eingerichtet zum Erfassen einer Lage der am Kopf tragbaren Visualisierungseinrichtung relativ zu einer Anzeigefläche der Hauptanzeigeeinrichtung, und eine Steuereinrichtung, wobei die Steuereinrichtung dazu eingerichtet ist, mindestens eine mit der angezeigten mindestens einen Abbildung korrespondierende dreidimensionale Augmentierungsinformation zu erzeugen und/oder bereitzustellen und zum Anzeigen an die Anzeigeeinrichtung der am Kopf tragbaren Visualisierungseinrichtung zu übermitteln, und das Erzeugen und/oder Bereitstellen der mindestens einen dreidimensionalen Augmentierungsinformation unter Berücksichtigung der erfassten Lage derart durchzuführen, dass die mindestens eine auf der Hauptanzeigeeinrichtung angezeigte Abbildung durch die mindestens eine hiermit korrespondierende dreidimensionale Augmentierungsinformation in einen dreidimensionalen Bereich erweitert wird.
-
Ein Vorteil des Verfahrens und des Visualisierungssystems ist, dass die mindestens eine dreidimensionale Augmentierungsinformation durch einen Nutzer der am Kopf tragbaren Visualisierungseinrichtung insbesondere in inhaltlichem und räumlichem Zusammenwirken mit der auf der Anzeigefläche der Hauptanzeigeeinrichtung angezeigten mindestens einen Abbildung erfasst werden kann. Dies ermöglicht es, dem Nutzer eine breite Palette an dreidimensionalen Zusatzinformationen während einer Operation bereitzustellen. Diese über die mindestens eine Augmentierungsinformation bereitgestellten Zusatzinformationen können inhaltlich und örtlich (insbesondere räumlich) beim Anzeigen jeweils an, vor oder hinter der angezeigten mindestens einen Abbildung angeordnet werden. Dies ermöglicht es insbesondere, beim Anzeigen alle drei Dimensionen zu verwenden und insbesondere die dreidimensionale Ortsinformation als zusätzliche Information bereitzustellen, sodass ein Informationsfluss zum Nutzer und ein Arbeitsfluss beim Operieren verbessert werden können.
-
Eine Hauptanzeigeeinrichtung ist insbesondere ein Bildschirm, ein Fernseher, ein Monitor und/oder eine sonstige stationär angeordnete Anzeigeeinrichtung. Die Hauptanzeigeeinrichtung ist insbesondere in einem Operationssaal angeordnet, sodass ein Chirurg und/oder eine assistierende Person diese ohne weitere Hilfsmittel erfassen können.
-
Das Visualisierungssystem ist insbesondere ein Visualisierungssystem, das einer Visualisierung bei medizinischen, insbesondere chirurgischen oder mikrochirurgischen, Operationen dient. Das Visualisierungssystem kann beispielsweise ein Operationssystem sein, insbesondere ein (robotisches) chirurgisches Operationsmikroskop. Alternativ kann ein chirurgisches Operationssystem, insbesondere ein Operationsmikroskop, das Visualisierungssystem auch umfassen. Das Visualisierungssystem weist eine Erfassungseinrichtung auf. Die Erfassungseinrichtung ist insbesondere eine Kamera, welche einen Erfassungsbereich, insbesondere einen zu operierenden und/oder operierten Bereich, mit einer ersten Bildgröße (z.B. 4K) erfasst und mindestens eine Abbildung, insbesondere einen Videodatenstrom, bereitstellt. Die Erfassungseinrichtung, insbesondere die Kamera, kann eine optische Abbildungseinrichtung aufweisen, mit der eine Vergrößerung und ein Fokus eingestellt werden können. Das Visualisierungssystem kann ferner eine Aktorik aufweisen, mittels der zumindest eine Lage, insbesondere eine Position und/oder eine Ausrichtung, der Erfassungseinrichtung verändert werden kann, sodass hierüber eine Position eines Erfassungsbereichs der Erfassungseinrichtung verändert werden kann. Das Visualisierungssystem kann dann auch als robotisches Visualisierungssystem bezeichnet werden. Die Aktorik kann insbesondere als robotisches Stativ der Erfassungseinrichtung ausgebildet sein. Das Visualisierungssystem umfasst ferner eine Steuereinrichtung, eine Lagesensorik und eine am Kopf tragbare Visualisierungseinrichtung. Die Steuereinrichtung und die Visualisierungseinrichtung sind über eine drahtgebundene oder drahtlose Kommunikationsverbindung miteinander verbunden. Die Visualisierungseinrichtung weist eine Anzeigeeinrichtung auf, auf der die mindestens eine dreidimensionale Augmentierungsinformation angezeigt wird, sodass ein Nutzer diese erfassen kann.
-
Die Lagesensorik ist insbesondere an der am Kopf tragbaren Visualisierungseinrichtung angeordnet oder kann Teil der Visualisierungseinrichtung sein. Alternativ oder zusätzlich kann die Lagesensorik auch woanders angeordnet sein. Beispielsweise kann vorgesehen sein, dass die Lagesensorik alternativ oder zusätzlich an einer geeigneten Position in einem Raum angeordnet ist, in dem das Visualisierungssystem verwendet wird.
-
Die Lage der am Kopf tragbaren Visualisierungseinrichtung wird mittels der Lagesensorik erfasst. Eine Lage umfasst hierbei insbesondere eine Position und eine Ausrichtung der Visualisierungseinrichtung oder alternativ oder zusätzlich eine Lage des Kopfes des Nutzers der Visualisierungseinrichtung relativ zu einer Anzeigefläche der Hauptanzeigeeinrichtung. Ausgehend von der bestimmten Lage, lässt sich insbesondere bestimmen in welchem Abstand sich die Visualisierungseinrichtung zur Anzeigefläche der Hauptanzeigeeinrichtung befindet und welche Ausrichtung die Visualisierungseinrichtung relativ zur Anzeigefläche aufweist. Es kann vorgesehen sein, die Lage mit Bezug auf ein (globales) Koordinatensystem des Umfeldes zu bestimmen. Sind eine Position und eine Ausrichtung der Anzeigefläche der Hauptanzeigeeinrichtung innerhalb dieses (globalen) Koordinatensystems bekannt, so kann die Lage der Visualisierungseinrichtung relativ zur Anzeigefläche der Hauptanzeigeeinrichtung hieraus bestimmt werden. Die Position und die Ausrichtung der Anzeigefläche der Hauptanzeigeeinrichtung können ebenfalls mittels der Lagesensorik bestimmt werden oder alternativ fest vorgegeben werden bzw. vorgegeben sein.
-
Es kann vorgesehen sein, die Lage der Visualisierungseinrichtung mittels Inside-Out-Tracking zu erfassen bzw. zu bestimmen, wobei die Lagesensorik hierzu eine Umfeldsensorik aufweist, die insbesondere an der Visualisierungseinrichtung angeordnet ist. Mittels der Umfeldsensorik, insbesondere mittels einer Kamera und/oder Tiefensensoren, kann ein dreidimensionales, geometrisches Raummodell des Umfeldes erstellt werden. Dies erfolgt beispielsweise mittels des an sich bekannten Simultaneous Localization and Mapping-(SLAM)-Verfahrens. Mittels des Raummodells und Inertialmesseinheiten (engl. Inertial Measurement Units, IMU) der Lagesensorik kann dann die Lage der Visualisierungseinrichtung im Umfeld und/oder relativ zur Anzeigefläche der Hauptanzeigeeinrichtung bestimmt werden. Es kann vorgesehen sein, dass die Anzeigefläche der Hauptanzeigeeinrichtung zum Erfassen der Lage mit Hilfe von Verfahren der Computer Vision und/oder des Maschinenlernens erkannt wird. Dies kann mit oder ohne der Hilfe von zusätzlich an der Anzeigefläche angeordneten Markierungen erfolgen.
-
Die am Kopf tragbare Visualisierungseinrichtung ist insbesondere als Head-Mounted-Display (HMD) ausgebildet. Die Visualisierungseinrichtung kann beispielsweise einen Schirm aufweisen, durch den ein Umfeld direkt erfasst werden kann und auf dem ein zusätzlicher Inhalt projiziert werden kann, der von dem Nutzer zusammen und/oder überlagert mit dem realen Umfeld erfasst werden kann. Der Schirm in Zusammenwirken mit der Projektion bildet insbesondere die Anzeigeeinrichtung der Visualisierungseinrichtung aus. Die Visualisierungseinrichtung kann die Lagesensorik oder einen Teil der Lagesensorik aufweisen. Mittels der Visualisierungseinrichtung ist es insbesondere möglich, neben einem realen Umfeld und der mindestens einen Augmentierungsinformation zusätzlich oder alternativ weitere Informationen in der Anzeigeeinrichtung darzustellen. Die Visualisierungseinrichtung kann weitere Einrichtungen aufweisen, beispielswiese eine Steuereinrichtung zum Steuern der Anzeigeeinrichtung, der Lagesensorik und weiterer Einrichtungen, sofern diese vorhanden sind. Ferner kann die Visualisierungseinrichtung auch die Steuereinrichtung des Visualisierungssystems umfassen. Die Visualisierungseinrichtung kann batteriebetrieben sein oder über eine externe Energieversorgung gespeist werden. Die Visualisierungseinrichtung kann dazu eingerichtet sein, eine Augmentierte Realität (engl. Augmented Reality, AR), eine gemischte Realität (engl. Mixed Reality, MR) und/oder eine virtuelle Realität (engl. Virtual Reality, VR) bereitzustellen. Die am Kopf tragbare Visualisierungseinrichtung kann insbesondere auch als AR-Brille bezeichnet werden.
-
Es ist insbesondere vorgesehen, dass das Verfahren zyklisch wiederholt wird. Hierdurch kann fortlaufend eine aktuelle mindestens eine dreidimensionale Augmentierungsinformation unter Berücksichtigung einer aktuellen Lage der Visualisierungseinrichtung erzeugt und/oder bereitgestellt und angezeigt werden.
-
Teile des Visualisierungssystems, insbesondere die Steuereinrichtung, können einzeln oder zusammengefasst als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird. Es kann jedoch auch vorgesehen sein, dass Teile einzeln oder zusammengefasst als anwendungsspezifische integrierte Schaltung (ASIC) ausgebildet sind. Insbesondere umfasst die Steuereinrichtung eine Recheneinrichtung und eine Speichereinrichtung (Arbeitsspeicher und/oder Langzeitspeicher) sowie insbesondere geeignete Schnittstellen zum Ausbilden von Kommunikationsverbindungen mit der Erfassungseinrichtung, der Hauptanzeigeeinrichtung, der Lagesensorik und der am Kopf tragbaren Visualisierungseinrichtung sowie weiterer Einrichtungen, sofern diese vorhanden sind.
-
Es ist vorgesehen, dass eine Lage der Erfassungseinrichtung relativ zu dem zu operierenden und/oder operierten Bereich bestimmt wird, wobei die mindestens eine dreidimensionale Augmentierungsinformation unter Berücksichtigung der bestimmten Lage der Erfassungseinrichtung erzeugt und/oder bereitgestellt wird. Hierdurch kann die mindestens eine Augmentierungsinformation in Korrespondenz mit dem in der mindestens einen erfassten Abbildung abgebildeten zu operierenden und/oder operierten Bereich erzeugt und/oder bereitgestellt werden. In Korrespondenz zueinander soll hierbei insbesondere bedeuten, dass die angezeigte mindestens eine Augmentierungsinformation in Bezug auf eine Größe und eine Position relativ zu der auf der Anzeigefläche der Hauptanzeigeeinrichtung angezeigten mindestens einen Abbildung positionsgenau und maßstabsgerecht ist. Umfasst die mindestens eine Augmentierungsinformation beispielsweise präoperative Tumorsegmentierungen oder Faserstränge des Gehirns (Fibertract) oder eine vaskuläre Struktur, so können diese bei bekannter Lage der Erfassungseinrichtung relativ zu dem zu operierenden und/oder operierten Bereich positionsgenau und maßstabsgerecht erzeugt und/oder bereitgestellt und angezeigt werden. Es kann vorgesehen sein, die Lage der Erfassungseinrichtung beispielsweise in einem Koordinatensystem relativ zum Patienten zu erfassen und/oder zu bestimmen wird. Ausgehend von der in diesem Koordinatensystem bestimmten Lage der Erfassungseinrichtung kann ein Erfassungsbereich bestimmt werden, wobei hierbei noch eine Vergrößerung etc. der Erfassungseinrichtung berücksichtigt werden kann. Ist der Erfassungsbereich bestimmt, so kann die mindestens eine Augmentierungsinformation inhaltlich bestimmt werden, beispielsweise indem auf, insbesondere dreidimensionale, Messdaten von medizinischen Messgeräten zurückgegriffen wird. Hierbei wird insbesondere ein Ausschnitt der Messdaten bestimmt, der mit dem bestimmten Erfassungsbereich korrespondiert und der entsprechend als Augmentierungsinformation erzeugt und/oder bereitgestellt und angezeigt werden soll.
-
In einer Ausführungsform ist vorgesehen, dass eine Topographie des zu operierenden und/oder operierten Bereichs erfasst und/oder empfangen wird, wobei die mindestens eine dreidimensionale Augmentierungsinformation unter Berücksichtigung von der erfassten und/oder empfangenen Topographie erzeugt und/oder bereitgestellt wird. Hierdurch können einem Nutzer topographische Informationen des zu operierenden und/oder operierten Bereichs überlagert mit der mindestens einen Abbildung bereitgestellt werden. Die Topographie kann beispielsweise mittels einer Stereoskopie erfasst und bereitgestellt werden, wobei der zu operierende und/oder operierte Bereich stereoskopisch erfasst wird und zugehörige stereoskopische Daten in einem Koordinatensystem, beispielsweise in einem Koordinatensystem mit Bezug zum Patienten, das mit der erfassten mindestens einen Abbildung korrespondiert, angeordnet werden. Ausgehend hiervon wird mittels der Steuereinrichtung die mindestens eine Augmentierungsinformation erzeugt und/oder bereitgestellt. Die topographischen Daten bzw. die Topographie wird dann dreidimensional auf der Anzeigeeinrichtung der Visualisierungseinrichtung angezeigt, sodass der Nutzer diese positionsgenau und maßstabsgerecht überlagert mit der mindestens einen Abbildung erfassen kann.
-
In einer Ausführungsform ist vorgesehen, dass mit dem zu operierenden und/oder operierten Bereich korrespondierende dreidimensionale tomographische Daten erfasst und/oder empfangen werden, wobei die mindestens eine dreidimensionale Augmentierungsinformation unter Berücksichtigung von den erfassten und/oder empfangenen dreidimensionalen tomographischen Daten erzeugt und/oder bereitgestellt wird. Hierdurch können auch Informationen zu innenliegenden Bereichen von Organen oder Gewebe überlagert mit der mindestens einen Abbildung bereitgestellt werden. Beispielsweise kann ein Tumor dreidimensional mit der mindestens einen Abbildung überlagert angezeigt werden, um einem Chirurgen beim Vorarbeiten zum Tumor und/oder beim Entfernen von Tumorgewebe die Außenkontur und/oder eine Segmentierung des Tumors anzuzeigen. Das Vorgehen ist grundsätzlich analog wie bei der voranstehend beschriebenen Ausführungsform. Insbesondere ist vorgesehen, dass die tomographischen Daten in einem Koordinatensystem vorliegen, in dem auch eine Position und Ausrichtung der erfassten mindestens einen Abbildung bekannt ist. Tomographische Daten können beispielsweise eine Tumorsegmentierung, Faserstränge im Gehirn und/oder eine vaskuläre Struktur umfassen. Die tomographischen Daten beruhen insbesondere auf erfassten Messdaten. Es kann jedoch alternativ oder zusätzlich auch vorgesehen sein, dass die tomographischen Messdaten modellierte und/oder simulierte Daten umfassen, beispielsweise eine modellierte und/oder simulierte vaskuläre Struktur etc. Zum Erfassen und/oder Bereitstellen der tomographischen Daten können an sich bekannte Verfahren und Vorrichtungen eingesetzt werden, beispielsweise Computertomographie, Magnetresonanztomographie oder Optische Kohärenztomographie.
-
In einer Ausführungsform ist vorgesehen, dass mit Bezug auf die angezeigte mindestens eine Abbildung und/oder die erfasste und/oder empfangene Topographie und/oder die erfassten und/oder empfangenen tomographischen Daten mindestens eine dreidimensionale Markierung erzeugt und/oder empfangen wird, wobei die mindestens eine dreidimensionale Augmentierungsinformation unter Berücksichtigung der mindestens einen dreidimensionalen Markierung erzeugt und/oder bereitgestellt wird. Hierdurch können Punkte und/oder Bereiche mit Markierungen versehen werden, die das nachfolgende Identifizieren und/oder Wiederfinden erleichtern. Anders ausgedrückt kann über eine Markierung eine Art Lesezeichen gesetzt werden, das eine Position oder einen Bereich von Interesse besonders heraushebt und eine Orientierung sowie ein Wiederauffinden und/oder ein schrittweises Vorgehen und/oder Abarbeiten erleichtert. Es kann beispielsweise vorgesehen sein, dass ein Nutzer der Visualisierungseinrichtung, beispielsweise eine Chirurg, während eines operativen Eingriffs bestimmte Punkte oder Bereiche eines Tumors zur späteren Bearbeitung oder Diagnose etc. markiert. Für eine solche Markierung wird dann mindestens eine dreidimensionale Position mit Bezug auf ein Koordinatensystem, beispielsweise mit Bezug auf den Patienten bzw. den zu operierenden und/oder operierten Bereich, festgelegt und gespeichert, beispielsweise in einem Speicher der Steuereinrichtung. Es kann vorgesehen sein, dass zusätzlich inhaltliche Informationen zur Markierung hinterlegt und angezeigt werden können, beispielsweise eine Farbe, ein Text, Abmessungen, eine Textur und/oder ein Muster etc. Diese können dann ebenfalls beim Erzeugen und Bereitstellen der mindestens einen Augmentierungsinformation berücksichtigt werden.
-
In einer Ausführungsform ist vorgesehen, dass eine Lage mindestens eines Betätigungselements erfasst wird, wobei die mindestens eine dreidimensionale Augmentierungsinformation unter Berücksichtigung von der erfassten Lage des mindestens einen Betätigungselements erzeugt und/oder bereitgestellt wird. Hierdurch kann eine Lage, insbesondere eine dreidimensionale Position und/oder Ausrichtung, des mindestens einen Betätigungselements bezüglich der mindestens einen Abbildung bzw. bezüglich des zu operierenden und/oder operierten Bereichs durch Erzeugen und/oder Bereitstellen einer entsprechenden Augmentierungsinformation verdeutlicht werden. Ein Betätigungselement ist insbesondere nutzergeführt. Ein Betätigungselement kann beispielsweise eine Hand eines Chirurgen oder einer assistierenden Person oder ein chirurgisches Werkzeug oder Hilfsmittel sein. Insbesondere kann einem Chirurgen oder einer assistierenden Person hierdurch eine Orientierung bezüglich der mindestens einen angezeigten Abbildung erleichtert werden. Ein Arbeitsablauf kann hierdurch verbessert werden. Die Lage des mindestens einen Betätigungselements kann beispielsweise mittels eines stereoskopischen Verfahrens erfasst und bereitgestellt werden. Alternativ oder zusätzlich kann die Lage des mindestens einen Betätigungselements auch mittels Verfahren der Computervision und/oder des Maschinenlernens bestimmt oder geschätzt werden, beispielsweise mittels eines Objekttrackingverfahrens, bei dem das mindestens eine Hilfsmittel in einer erfassten Abbildung erkannt wird und ausgehend hiervon eine Lage des mindestens einen Hilfsmittels geschätzt wird. Beispielsweise kann an einer im Rahmen der Lageschätzung geschätzten dreidimensionalen Position ein graphisches Symbol angezeigt werden, um dem Chirurgen zu verdeutlichen, an welcher dreidimensionalen Position sich das Betätigungselement bezüglich des zu operierenden und/oder operierten Bereichs aktuell befindet.
-
In einer weiterbildenden Ausführungsform ist vorgesehen, dass aus der erfassten Lage des mindestens einen Betätigungselements eine Trajektorie erzeugt wird, wobei die mindestens eine dreidimensionale Augmentierungsinformation unter Berücksichtigung von der erzeugten Trajektorie erzeugt und/oder bereitgestellt wird. Hierdurch kann ein zurückgelegter Weg bzw. eine Historie des mindestens einen Betätigungselements mittels der mindestens einen Augmentierungsinformation verdeutlicht werden. Eine Orientierung des Nutzers bezüglich des zu operierenden und/oder operierten Bereichs wird hierdurch noch weiter unterstützt und verbessert. Insbesondere werden die erfassten Lagen miteinander verknüpft und gespeichert, beispielsweise in einem Speicher der Steuereinrichtung.
-
In einer Ausführungsform ist vorgesehen, dass zusätzlich mindestens eine zweidimensionale Augmentierungsinformation erzeugt und/oder bereitgestellt wird, wobei die mindestens eine zweidimensionale Augmentierungsinformation mittels der Anzeigeeinrichtung der am Kopf tragbaren Visualisierungseinrichtung derart angezeigt wird, dass diese die Anzeigefläche der Hauptanzeigeeinrichtung zumindest teilweise überlagert und/oder dass diese die Anzeigefläche der Hauptanzeigeeinrichtung erweitert. Hierdurch können auch zweidimensionale Informationen, beispielsweise direkt in eine Ebene der Anzeigefläche überlagerte Informationen, erzeugt und bereitgestellt werden. Ferner kann hierdurch eine zweidimensionale Erweiterung der Anzeigefläche der Hauptanzeigeeinrichtung erfolgen, sodass beispielsweise ein Bereich um den Rand der Anzeigefläche herum mit zusätzlichen Informationen angereichert werden kann, indem entsprechende Augmentierungsinformationen erzeugt und/oder bereitgestellt und angezeigt werden.
-
In einer Ausführungsform ist vorgesehen, dass eine Lage mindestens einer weiteren am Kopf tragbaren Visualisierungseinrichtung relativ zu der Anzeigefläche der Hauptanzeigeeinrichtung mittels der Lagesensorik und/oder einer weiteren Lagesensorik erfasst wird, und wobei mindestens eine weitere mit der angezeigten mindestens einen Abbildung korrespondierende dreidimensionale Augmentierungsinformation erzeugt und/oder bereitgestellt wird und auf einer weiteren Anzeigeeinrichtung der mindestens einen weiteren am Kopf tragbaren Visualisierungseinrichtung angezeigt wird, wobei das Erzeugen und/oder Bereitstellen der mindestens einen weiteren dreidimensionalen Augmentierungsinformation unter Berücksichtigung der erfassten Lage der mindestens einer weiteren am Kopf tragbaren Visualisierungseinrichtung derart erfolgt, dass die mindestens eine auf der Hauptanzeigeeinrichtung angezeigte Abbildung durch die mindestens eine hiermit korrespondierende weitere dreidimensionale Augmentierungsinformation in einen dreidimensionalen Bereich erweitert wird. Hierdurch ist es möglich, mehreren Nutzern Augmentierungsinformationen bereitzustellen. Insbesondere kann hierbei vorgesehen sein, dass den Nutzern sich voneinander unterscheidende Augmentierungsinformationen bereitgestellt und angezeigt werden. Dies ermöglicht es, jedem Nutzer die jeweils nutzerspezifisch relevanten Zusatzinformationen bereitzustellen. So kann beispielsweise vorgesehen sein, einem Chirurgen in Ausbildung oder einer assistierenden Person mehr und/oder andere Augmentierungsinformationen bereitzustellen als einem erfahrenen Chirurgen. Das Erzeugen und/oder Bereitstellen der jeweiligen Augmentierungsinformationen für die mehreren Nutzer kann beispielsweise durch Auswählen von in einem Speicher der Steuereinrichtung hinterlegten Nutzerprofilen gesteuert werden. In diesen Nutzerprofilen ist jeweils definiert, welche Augmentierungsinformationen dem jeweiligen Nutzer bereitgestellt werden sollen.
-
Weitere Merkmale zur Ausgestaltung des Visualisierungssystems ergeben sich aus der Beschreibung von Ausgestaltungen des Verfahrens. Die Vorteile des Visualisierungssystems sind hierbei jeweils die gleichen wie bei den Ausgestaltungen des Verfahrens.
-
Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren näher erläutert. Hierbei zeigen:
- 1 eine schematische Darstellung einer Ausführungsform des Visualisierungssystems für eine chirurgische Anwendung;
- 2 eine schematische Darstellung von weiteren Ausführungsformen des Visualisierungssystems und des Verfahrens;
- 3 eine schematische Darstellung zur Verdeutlichung von Ausführungsformen des Visualisierungssystems und des Verfahrens;
- 4 ein schematisches Ablaufdiagramm einer Ausführungsform des Verfahrens zum Betreiben eines Visualisierungssystems bei einer chirurgischen Anwendung.
-
In 1 ist eine schematische Darstellung einer Ausführungsform des Visualisierungssystems 1 für eine chirurgische Anwendung gezeigt. Das Visualisierungssystem 1 wird insbesondere im Kontext einer Operation an einem Patienten in einem Operationssaal verwendet. Ein Umfeld des Visualisierungssystems 1 korrespondiert hierbei insbesondere mit einem typischen Umfeld in einem Operationssaal. Das Visualisierungssystem 1 umfasst eine Erfassungseinrichtung 2, eine Hauptanzeigeeinrichtung 3, eine am Kopf tragbare Visualisierungseinrichtung 4, eine Lagesensorik 4-1 und eine Steuereinrichtung 5. Nachfolgend wird das Verfahren zum Betreiben eines Visualisierungssystems bei einer chirurgischen Anwendung anhand des Visualisierungssystems 1 erläutert.
-
Die Erfassungseinrichtung 2 umfasst beispielsweise eine Kamera 2-1 mit einem Erfassungsbereich 20, über den ein zu operierender und/oder operierter Bereich 21 erfasst werden kann (ein Patient ist der Übersichtlichkeit halber nicht dargestellt). Die Kamera 2-1 ist beispielsweise über ein Stativ mit einer Aktorik 2-2 verbunden, sodass eine Lage der Kamera 2-1 mittels der Aktorik 2-2 verändert werden kann, um den Erfassungsbereich 20 zu verändern. Die Erfassungseinrichtung 2 kann ferner ein optisches Abbildungssystem (nicht gezeigt) umfassen, mit dem ein Fokus und eine Bildvergrößerung der Kamera 2-1 eingestellt werden können. Die Erfassungseinrichtung 2 kann insbesondere Teil eines (robotischen) Operationsmikroskops sein. Mittels der Erfassungseinrichtung 2 wird mindestens eine des zu operierenden und/oder operierten Bereichs 21 erfasst und an die Steuereinrichtung 5 übermittelt, beispielsweise als Abbildungssignal oder Abbildungsdaten.
-
Die Hauptanzeigeeinrichtung 3 ist beispielsweise ein Computermonitor oder ein Fernseher (z.B. mit einer Bilddiagonale von 55"). Die Hauptanzeigeeinrichtung 3 weist eine Anzeigefläche 3-1 auf, auf der ein Bildinhalt angezeigt werden kann. Die Hauptanzeigeeinrichtung 3 kann insbesondere Teil eines (robotischen) Operationsmikroskops sein. Der Hauptanzeigeeinrichtung 3 wird von der Steuereinrichtung 5 die erfasste mindestens eine zugeführt, wobei die erfasste mindestens eine auf der Anzeigefläche 3-1 angezeigt wird.
-
Die am Kopf tragbare Visualisierungseinrichtung 4 umfasst die Lagesensorik 4-1 und eine Anzeigeeinrichtung 4-2. Die Visualisierungseinrichtung 4 kann beispielsweise ein Head-Mounted-Display (HMD), beispielsweise eine AR-Brille, sein. Ein Nutzer 40, insbesondere ein Chirurg oder eine bei der Operation assistierende Person, kann durch die Visualisierungseinrichtung 4 sowohl das Umfeld, als auch einen auf der Anzeigeeinrichtung 4-2 angezeigten Inhalt wahrnehmen. Die Anzeigeeinrichtung 4-2 ist eine dreidimensionale Anzeigeeinrichtung, das heißt jedem Auge eines Nutzers 40 kann ein eigener Inhalt angezeigt werden.
-
Die Lagesensorik 4-2 ist dazu eingerichtet, eine Lage 11 der am Kopf tragbaren Visualisierungseinrichtung 4 relativ zu der Anzeigefläche 3-1 der Hauptanzeigeeinrichtung 3 zu erfassen und/oder zu bestimmen. Die Lage 11 umfasst eine Position und eine Ausrichtung der Visualisierungseinrichtung 4 relativ zur Anzeigefläche 3-1 der Hauptanzeigeeinrichtung 3. Das Erfassen und/oder Bestimmen der Lage 11 erfolgt beispielsweise mittels Inside-Out-Tracking, wobei die Lagesensorik 4-1 hierzu eine Umfeldsensorik (nicht gezeigt) aufweist, die insbesondere an der Visualisierungseinrichtung 4 angeordnet ist. Mittels der Umfeldsensorik, insbesondere mittels einer Kamera und/oder Tiefensensoren, kann ein dreidimensionales, geometrisches Raummodell des Umfeldes erstellt werden. Dies erfolgt beispielsweise mittels des an sich bekannten Simultaneous Localization and Mapping-(SLAM)-Verfahrens. Mittels des Raummodells und Inertialmesseinheiten (engl. Inertial Measurement Units, IMU) der Lagesensorik 4-1 kann dann die Lage 11 der Visualisierungseinrichtung 4 im Umfeld und relativ zur Anzeigefläche 3-1 der Hauptanzeigeeinrichtung 3 bestimmt werden. Es kann vorgesehen sein, dass die Anzeigefläche 3-1 der Hauptanzeigeeinrichtung 3 zum Erfassen der Lage 11 mit Hilfe von Verfahren der Computer Vision und/oder des Maschinenlernens erkannt wird. Dies kann mit oder ohne Hilfe von zusätzlich an der Anzeigefläche 3-1 angeordneten Markierungen (nicht gezeigt) erfolgen. Die erfasste und/oder bestimmte Lage 11 wird an die Steuereinrichtung 5 übermittelt, beispielsweise als Lagesignal oder Lagedaten.
-
Es kann alternativ oder zusätzlich vorgesehen sein, dass die Lagesensorik 4-1 auch woanders angeordnet ist, insbesondere an einer geeigneten Position in dem Raum, in dem das Visualisierungssystem 1 eingesetzt wird.
-
Die Steuereinrichtung 5 umfasst eine Recheneinrichtung 5-1 und einen Speicher 5-2. Die Recheneinrichtung 5-1 ist dazu eingerichtet, Rechenoperationen auf in dem Speicher 5-2 hinterlegten Daten ausführen zu können und kann hierdurch zum Durchführen des Verfahrens notwendige Maßnahmen ausführen. Die Recheneinrichtung 5-1 umfasst beispielsweise einen Mikroprozessor, der einen in dem Speicher 5-2 hinterlegten Programmcode zum Durchführen von Teilen des in dieser Offenbarung beschriebenen Verfahrens ausführen kann.
-
Die Steuereinrichtung 5 weist ferner geeignete Schnittstellen 5-3 auf, um mit der Erfassungseinrichtung 2, der Hauptanzeigeeinrichtung 3 und der Visualisierungseinrichtung 4 kommunizieren zu können. Die Steuereinrichtung 5 empfängt die erfasste mindestens eine und führt die mindestens eine der Anzeigeeinrichtung 3 zu.
-
Die Steuereinrichtung 5 ist dazu eingerichtet, mindestens eine mit der erfassten und angezeigten mindestens einen korrespondierende dreidimensionale Augmentierungsinformation 12 zu erzeugen und/oder bereitzustellen und zum Anzeigen an die Anzeigeeinrichtung 4-2 der am Kopf tragbaren Visualisierungseinrichtung 4 zu übermitteln. Korrespondierend bedeutet hierbei insbesondere, dass die mindestens eine Augmentierungsinformation 12 mit der auf der Anzeigefläche 3-1 angezeigten mindestens einen einen inhaltlich zusammenhängenden Eindruck ausbildet. Beispielsweise kann die mindestens eine dreidimensionale Augmentierungsinformation 12 einen von der mindestens einen umfassten zweidimensionalen Bildinhalt in die dritte Dimension ergänzen und/oder erweitern.
-
Hierbei ist vorgesehen, dass die Steuereinrichtung 5 das Erzeugen und/oder Bereitstellen der mindestens einen dreidimensionalen Augmentierungsinformation 12 unter Berücksichtigung der erfassten Lage 11 derart durchführt, dass die mindestens eine auf der Hauptanzeigeeinrichtung 3 angezeigte durch die mindestens eine hiermit korrespondierende dreidimensionale Augmentierungsinformation 12 in einen dreidimensionalen Bereich 25 erweitert wird. Der Nutzer 40 kann die mindestens eine und die hiermit korrespondierende mindestens eine dreidimensionale Augmentierungsinformation 12 dann insbesondere gemeinsam und zusammenhängend erfassen. Der in der 1 dargestellte dreidimensionale Bereich 25 ist hierbei lediglich beispielhaft gewählt. Der dreidimensionale Bereich 25 kann sowohl kleiner als auch größer ausgebildet sein und kann auch eine andere Form aufweisen. Hierzu empfängt die Steuereinrichtung 5 die erfasste Lage 11 und wertet diese aus. Die Lage 11 umfasst insbesondere eine Position und eine Ausrichtung der Visualisierungseinrichtung 4 relativ zur Anzeigefläche 3-1 der Hauptanzeigeeinrichtung 3. Ausgehend hiervon und ausgehend von der mindestens einen Augmentierungsinformation 12 erzeugt die Steuereinrichtung 5 insbesondere ein dreidimensionales Bildsignal 13 oder dreidimensionale Bilddaten 14 (z.B. side-by-side, interlaced oder sequentiell), die der Anzeigeeinrichtung 4-2 zugeführt werden, sodass die mindestens eine dreidimensionale Augmentierungsinformation 12 für den Nutzer 40 korrespondierend mit der angezeigten mindestens einen in dem dreidimensionalen Bereich 25 um die Anzeigefläche 3-1 herum erscheint. Eine dreidimensionale Augmentierungsinformation 12 ist beispielshaft in dem dreidimensionalen Bereich 25 gezeigt, wobei die Augmentierungsinformation 12 nur von dem Nutzer 40 über die Anzeigeeinrichtung 4-2 der Visualisierungseinrichtung 4 erfasst werden kann.
-
Es kann vorgesehen sein, dass die Steuereinrichtung 5 Teil der am Kopf tragbaren Visualisierungseinrichtung 4 ist. Hierdurch kann eine Anbindung der Steuereinrichtung 5 an die Anzeigeeinrichtung 4-2 mit kurzen Signallaufzeiten erfolgen, was eine Kommunikation mit verkürzten Latenzzeiten ermöglicht und eine Echtzeiterfahrung durch den Nutzer begünstigt. Insbesondere kann hierdurch auch verbessert auf schnelle Kopfbewegungen des Nutzers und eine hiermit einhergehende Lageänderung der Visualisierungseinrichtung 4 reagiert werden.
-
Die Steuereinrichtung 5 kann zum Erzeugen und/oder Bereitstellen der mindestens einen Augmentierungsinformation 12 beispielsweise ein aus medizinischen Daten (z.B. topographische und/oder tomographische Daten) erzeugtes dreidimensionales Modell verwenden, welches in dem Speicher 5-2 der Steuereinrichtung 5 hinterlegt ist. In Abhängigkeit der erfassten Lage der Visualisierungseinrichtung 4 relativ zur Anzeigefläche 3-1 der Hauptanzeigeeinrichtung 3 berechnet die Steuereinrichtung 5 korrespondierend mit der mindestens einen eine dreidimensionale perspektivische Sicht auf das dreidimensionale Modell und stellt diese berechnete Sicht als mindestens eine Augmentierungsinformation 12 bereit. Das Erzeugen kann auch schrittweise erfolgen, wobei nach Berechnen einer ersten dreidimensionalen Sicht kurz vor dem Anzeigen der mindestens einen Augmentierungsinformation 12 die dreidimensionale Sicht ausgehend von einer aktuell erfassten Lage nochmals berechnet und/oder aktualisiert wird.
-
In der 2 ist eine schematische Darstellung von weiteren Ausführungsformen des Visualisierungssystems 1 und des in dieser Offenbarung beschriebenen Verfahrens gezeigt. Die Ausführungsformen sind grundsätzlich wie die in der 1 gezeigte Ausführungsform ausgestaltet. Gleiche Bezugszeichen bezeichnen hierbei gleiche Begriffe und Merkmale.
-
Es ist vorgesehen, dass eine Lage 15 der Erfassungseinrichtung 2, insbesondere einer Kamera 2-1 der Erfassungseinrichtung 2, relativ zu dem zu operierenden und/oder operierten Bereich 21 bestimmt wird, wobei die mindestens eine dreidimensionale Augmentierungsinformation 12 mittels der Steuereinrichtung 5 unter Berücksichtigung der bestimmten Lage 15 der Erfassungseinrichtung 2 erzeugt und/oder bereitgestellt wird. Die Lage 15 der Erfassungseinrichtung 2 relativ zu dem zu operierenden und/oder operierten Bereich 21 kann beispielsweise mit Hilfe von Verfahren der Computer Vision und/oder des Maschinenlernens bestimmt werden. Alternativ oder zusätzlich kann die Lage 15 der Erfassungseinrichtung 2 mittels eines optischen und/oder elektromagnetischen Trackingsystems erfasst bzw. bestimmt werden. Hierdurch lässt sich insbesondere bestimmen, welcher Bereich eines Patienten in welcher Weise (z.B. aus welcher Erfassungsrichtung mit welcher Vergrößerung etc.) erfasst wird. Dies ermöglicht es, das Erzeugen und/oder Bereitstellen der mindestens einen dreidimensionalen Augmentierungsinformation 12 auf den zu operierenden und/oder operierten Bereich 21 anzupassen, sodass eine von dem Nutzer erfasste Überlagerung der mindestens einen und der mindestens einen dreidimensionalen Augmentierungsinformation 12 ohne Abweichungen in Bezug auf die jeweiligen Positionen, das heißt insbesondere positionsgenau und maßstabsgerecht, erfasst werden kann. Es kann vorgesehen sein, dass die bestimmte Lage 15 der Erfassungseinrichtung 2 relativ zu dem zu operierenden und/oder operierten Bereich 21 in einem Koordinatensystem mit Bezug auf einen Patienten bestimmt wird. Dies erlaubt es, beispielsweise Positionen von Untersuchungsdaten von bildgebenden Verfahren mit der erfassten mindestens einen in inhaltliche und/oder kontextuelle Korrespondenz zu bringen.
-
Es kann vorgesehen sein, dass eine Topographie 16 des zu operierenden und/oder operierten Bereichs 21 erfasst und/oder empfangen wird, wobei die mindestens eine dreidimensionale Augmentierungsinformation 12 unter Berücksichtigung von der erfassten und/oder empfangenen Topographie 16 erzeugt und/oder bereitgestellt wird. Hierbei kann insbesondere die bestimmte Lage 15 der Erfassungseinrichtung 2 berücksichtigt werden. Die Topographie 16 kann beispielsweise mittels stereoskopischer Verfahren erzeugt werden. Hierbei kann vorgesehen sein, dass die Erfassungseinrichtung 2 eine entsprechende stereoskopisch erfassende Einrichtung (nicht gezeigt) aufweist.
-
Es kann vorgesehen sein, dass mit dem zu operierenden und/oder operierten Bereich 21 korrespondierende dreidimensionale tomographische Daten 17 erfasst und/oder empfangen werden, wobei die mindestens eine dreidimensionale Augmentierungsinformation 12 unter Berücksichtigung von den erfassten und/oder empfangenen dreidimensionalen tomographischen Daten 17 erzeugt und/oder bereitgestellt wird. Hierbei kann insbesondere die bestimmte Lage 15 der Erfassungseinrichtung 2 berücksichtigt werden. Insbesondere kann vorgesehen sein, dass die tomographischen Daten 17 mittels einer tomographischen Erfassungseinrichtung (nicht gezeigt) erfasst werden oder erfasst wurden und als Datensatz bereitgestellt werden. Die Steuereinrichtung 5 ist dann dazu eingerichtet, durch geeignete, insbesondere positionsabhängige, Auswahl aus den tomographischen Daten 17 die mindestens eine Augmentierungsinformation 12 zu erzeugen und/oder bereitzustellen.
-
Es kann vorgesehen sein, dass mit Bezug auf die angezeigte mindestens eine und/oder die erfasste und/oder empfangene Topographie 16 und/oder die erfassten und/oder empfangenen tomographischen Daten 17 mindestens eine dreidimensionale Markierung 18 erzeugt und/oder empfangen wird, wobei die mindestens eine dreidimensionale Augmentierungsinformation 12 unter Berücksichtigung der mindestens einen dreidimensionalen Markierung 18 erzeugt und/oder bereitgestellt wird. Die mindestens eine dreidimensionale Markierung 18 umfasst insbesondere eine Position mit Bezug auf den zu operierenden und/oder operierten Bereich 21 bzw. die erfasste mindestens eine und/oder die Anzeigefläche 3-1. Eine beispielhafte dreidimensionale Markierung 18 ist in dem dreidimensionalen Bereich 25 dargestellt. Zur Verdeutlichung der Position der beispielhaften dreidimensionalen Markierung 18 ist diese mit auf Begrenzungsflächen des dreidimensionalen Bereichs 25 führenden Hilfslinien versehen. Die dreidimensionale Markierung 18 kann ferner eine vorgegebene Farbe, eine vorgegebene Größe oder Fläche und/oder Zusatzinformationen, wie beispielsweise ein Symbol und/oder einen Text, umfassen. Die Markierung 18 ermöglicht es dem Nutzer 40, Wegmarken und/oder Lesezeichen zu setzen, die einen Arbeitsablauf strukturieren, vereinfachen und unterstützen können.
-
Es kann vorgesehen sein, dass eine Lage 19 mindestens eines Betätigungselements 41 erfasst wird, wobei die mindestens eine dreidimensionale Augmentierungsinformation 12 unter Berücksichtigung von der erfassten Lage 19 des mindestens einen Betätigungselements 41 erzeugt und/oder bereitgestellt wird. Das Betätigungselement 41 ist beispielsweise eine Hand des Nutzers 40 oder ein vom Nutzer 40 geführtes chirurgisches Werkzeug. Die Lage 19 des mindestens einen Betätigungselements 41 kann beispielsweise mit Hilfe von Verfahren der Computer Vision und/oder des Maschinenlernens ausgehend von der erfassten mindestens einen bestimmt werden, beispielsweise mittels Verfahren des Objekttracking. Es kann beispielsweise vorgesehen sein, dass die mindestens einen Augmentierungsinformation 12 derart erzeugt und/oder bereitgestellt wird, dass eine Position im dreidimensionalen Bereich 25 markiert wird, die mit der Lage 19 des Betätigungselements 41 zusammenfällt, wie beispielhaft in der 2 angedeutet.
-
Weiterbildend kann vorgesehen sein, dass aus der erfassten Lage 19 des mindestens einen Betätigungselements 41 eine Trajektorie 42 erzeugt wird, wobei die mindestens eine dreidimensionale Augmentierungsinformation 12 unter Berücksichtigung von der erzeugten Trajektorie 42 erzeugt und/oder bereitgestellt wird. Hierzu werden erfasste Lagen 19 des mindestens einen Betätigungselements 41 mittels der Steuereinrichtung 5 zu einer Trajektorie 42 verknüpft.
-
Es kann vorgesehen sein, dass zusätzlich mindestens eine zweidimensionale Augmentierungsinformation 22 erzeugt und/oder bereitgestellt wird, wobei die mindestens eine zweidimensionale Augmentierungsinformation 22 mittels der Anzeigeeinrichtung 4-2 der am Kopf tragbaren Visualisierungseinrichtung 4 derart angezeigt wird, dass diese die Anzeigefläche 3-1 der Hauptanzeigeeinrichtung 3 zumindest teilweise überlagert und/oder dass diese die Anzeigefläche 3-1 der Hauptanzeigeeinrichtung 3 erweitert, wie dies schematisch in der 2 verdeutlicht ist.
-
Es kann vorgesehen sein, dass eine Lage 511 mindestens einer weiteren am Kopf tragbaren Visualisierungseinrichtung 54 relativ zu der Anzeigefläche 3-1 der Hauptanzeigeeinrichtung 3 mittels der Lagesensorik 4-1 und/oder einer weiteren Lagesensorik 54-1 erfasst wird, und wobei mindestens eine weitere mit der angezeigten mindestens einen korrespondierende dreidimensionale Augmentierungsinformation 512 erzeugt und/oder empfangen wird und auf einer weiteren Anzeigeeinrichtung 54-2 der mindestens einen weiteren am Kopf tragbaren Visualisierungseinrichtung 54 angezeigt wird. Die Steuereinrichtung 5 ist dazu eingerichtet, die mindestens eine weitere dreidimensionale Augmentierungsinformation 512 unter Berücksichtigung der erfassten Lage 511 der mindestens einer weiteren am Kopf tragbaren Visualisierungseinrichtung 54 derart zu erzeugen und/oder bereitzustellen, dass die mindestens eine auf der Hauptanzeigeeinrichtung 3 angezeigte durch die mindestens eine hiermit korrespondierende weitere dreidimensionale Augmentierungsinformation 512 in einen dreidimensionalen Bereich 25 erweitert wird. Ein weiterer Nutzer 540 kann die mindestens eine und die hiermit korrespondierende mindestens eine weitere dreidimensionale Augmentierungsinformation 512 dann insbesondere gemeinsam und zusammenhängend erfassen. Die dreidimensionalen Augmentierungsinformationen 12, 512 für den Nutzer 40 und den Nutzer 540 können sich hierbei inhaltlich unterscheiden. Hierdurch lassen sich unterschiedliche Zusatzinformationen bereitstellen. Die Augmentierungsinformationen 12, 512 können beispielsweise in Abhängigkeit von in dem Speicher 5-2 hinterlegten Nutzerprofilen erzeugt und/oder bereitgestellt werden. Beispielsweise kann vorgesehen sein, dass die mindestens eine Augmentierungsinformation 512 für den Nutzer 540 nicht die Markierungen 18 und die Lage 19 des mindestens einen Betätigungselements 41 sowie die Trajektorie 42 umfasst.
-
In 3 ist eine schematische Darstellung zur Verdeutlichung von Ausführungsformen des Visualisierungssystems und des Verfahren gezeigt. Gezeigt ist lediglich die Hauptanzeigeeinrichtung 3 mit der Anzeigefläche 3-1, links in einer Ansicht von vorne, rechts in einer Seitenansicht. Die mindestens eine umfasst eine Abbildung des zu operierenden und/oder operierten Bereichs, wobei dieser beispielsweise einen Tumor 50 und umliegendes Gewebe 51 umfasst. In der Seitenansicht ist ein dreidimensionaler Eindruck verdeutlicht, wie ihn ein Nutzer mittels des in dieser Offenbarung beschriebenen Verfahrens und des beschriebenen Visualisierungssystems erfasst. Der Tumor 50 erscheint durch eine entsprechende Augmentierungsinformation 12 für den Nutzer dreidimensional, wohingegen für das umliegende Gewebe 51 keine solche Information bereitgestellt wird und dieses daher nicht hervorgehoben wird. Eine Orientierung und ein Operieren kann hierdurch erleichtert werden.
-
In 4 ist ein schematisches Ablaufdiagramm einer Ausführungsform des Verfahrens zum Betreiben eines Visualisierungssystems bei einer chirurgischen Anwendung gezeigt.
-
In einer Maßnahme 100 wird mindestens eine Abbildung eines zu operierenden und/oder operierten Bereichs mittels einer Erfassungseinrichtung des Visualisierungssystems erfasst.
-
In einer Maßnahme 101 wird die mindestens eine Abbildung auf einer Anzeigefläche einer Hauptanzeigeeinrichtung angezeigt.
-
In einer Maßnahme 102 wird eine Lage einer am Kopf tragbaren Visualisierungseinrichtung relativ zu der Anzeigefläche der Hauptanzeigeeinrichtung mittels einer Lagesensorik erfasst.
-
In einer Maßnahme 103 wird mindestens eine mit der angezeigten mindestens einen Abbildung korrespondierende dreidimensionale Augmentierungsinformation mittels einer Steuereinrichtung des Visualisierungssystems erzeugt und/oder bereitgestellt. Das Erzeugen und/oder Bereitstellen der mindestens einen dreidimensionalen Augmentierungsinformation erfolgt hierbei unter Berücksichtigung der erfassten Lage derart, dass die mindestens eine auf der Hauptanzeigeeinrichtung angezeigte Abbildung durch die mindestens eine hiermit korrespondierende dreidimensionale Augmentierungsinformation in einen dreidimensionalen Bereich erweitert wird.
-
Insbesondere werden die mindestens eine Abbildung und die mindestens eine Augmentierungsinformation in dem gleichen Koordinatensystem betrachtet. Sofern notwendig, werden die jeweiligen Koordinaten mittels der Steuereinrichtung erzeugt und/oder angepasst auf das gleiche Koordinatensystem. Das Koordinatensystem kann hierbei beispielsweise ein Koordinatensystem relativ zur Anzeigefläche der Hauptanzeigeeinrichtung oder ein Koordinatensystem relativ zu einem Raum, in dem das Visualisierungssystem verwendet wird, sein. Durch das Anpassen auf das gleiche Koordinatensystem werden die mindestens eine Abbildung und die mindestens eine Augmentierungsinformation miteinander in inhaltliche und/oder kontextuelle Korrespondenz gebracht.
-
In einer Maßnahme 104 wird die erzeugte und/oder bereitgestellte mindestens eine Abbildung auf einer Anzeigeeinrichtung der am Kopf tragbaren Visualisierungseinrichtung angezeigt.
-
Die Maßnahmen 100 bis 104 können wiederholt werden. Da sich die Lage der Visualisierungseinrichtung am Kopf des Nutzers fortlaufend ändert, wird hierdurch erreicht, dass stets eine der aktuellen erfassten Lage entsprechende mindestens eine Augmentierungsinformation erzeugt und/oder bereitgestellt wird, und diese in dem dreidimensionalen Bereich positionsgenau und maßstabsgerecht angeordnet bleibt.
-
Bezugszeichenliste
-
- 1
- Visualisierungssystem
- 2
- Erfassungseinrichtung
- 2-1
- Kamera
- 2-2
- Aktorik
- 3
- Hauptanzeigeeinrichtung
- 3-1
- Anzeigefläche
- 4
- Visualisierungseinrichtung
- 4-1
- Lagesensorik
- 4-2
- Anzeigeeinrichtung
- 5
- Steuereinrichtung
- 5-1
- Recheneinrichtung
- 5-2
- Speicher
- 5-3
- Schnittstelle
- 10
- Abbildung
- 11
- Lage (Visualisierungseinrichtung)
- 12
- Augmentierungsinformation
- 13
- dreidimensionales Bildsignal
- 14
- dreidimensionale Bilddaten
- 15
- Lage (Erfassungseinrichtung)
- 16
- Topographie
- 17
- tomographische Daten
- 18
- dreidimensionale Markierung
- 19
- Lage (Betätigungselement)
- 20
- Erfassungsbereich
- 21
- zu operierender und/oder operierter Bereich
- 22
- zweidimensionale Augmentierungsinformation
- 25
- dreidimensionaler Bereich
- 40
- Nutzer
- 41
- Betätigungselement
- 42
- Trajektorie
- 50
- Tumor
- 51
- Gewebe
- 54
- weitere Visualisierungseinrichtung
- 54-1
- weitere Lagesensorik
- 54-2
- weitere Anzeigeeinrichtung
- 100-104
- Maßnahmen des Verfahrens
- 511
- Lage (weitere Visualisierungseinrichtung)
- 512
- weitere Augmentierungsinformation
- 540
- Nutzer
