-
Die Erfindung betrifft ein Verfahren zum Betreiben eines Visualisierungssystems bei einer chirurgischen Anwendung und ein Visualisierungssystem für eine chirurgische Anwendung.
-
Visualisierungssysteme können Chirurgen bei einer medizinischen Operation unterstützen. Hierzu erfasst das Visualisierungssystem einen Erfassungsbereich mittels einer Erfassungseinrichtung, beispielsweise einer Kamera. Ein von der Erfassungseinrichtung bereitgestellter Videodatenstrom wird in einer am Kopf tragbaren Visualisierungseinrichtung, insbesondere in einem Head-Mounted-Display (HMD), angezeigt. Solche Visualisierungssysteme werden insbesondere eingesetzt, um einen Situs bei einer medizinischen Operation vergrößert oder zusammen mit Zusatzinformationen darstellen zu können.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren zum Betreiben eines Visualisierungssystems bei einer chirurgischen Anwendung und ein Visualisierungssystem für eine chirurgische Anwendung zu schaffen, bei denen insbesondere eine an die Visualisierungseinrichtung zu übermittelnde Datenmenge reduziert werden kann.
-
Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und ein Visualisierungssystem mit den Merkmalen des Patentanspruchs 10 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
-
Es ist eine der Grundideen der Erfindung, eine Bildgröße eines zu übertragenen Videodatenstroms auf einen festgelegten Bildausschnitt zu verringern, um hierdurch eine Datenmenge, die an die am Kopf tragbare Visualisierungseinrichtung zu übermitteln ist, zu reduzieren. Der Bildausschnitt wird hierbei in Abhängigkeit von einer Blickrichtung eines Nutzers der am Kopf tragbaren Visualisierungseinrichtung festgelegt. Die Blickrichtung wird hierzu mittels einer Sensorik erfasst und/oder bestimmt. Ausgehend von dem Videodatenstrom, der von einer Erfassungseinrichtung eines Visualisierungssystems mit einer ersten Bildgröße bereitgestellt wird, wird der Bildausschnitt mit einer zweiten, gegenüber der ersten Bildgröße kleineren, Bildgröße erzeugt und ein auf den festgelegten Bildausschnitt verkleinerter Videodatenstrom wird an die am Kopf tragbare Visualisierungseinrichtung übermittelt und von dieser auf einer Anzeigeeinrichtung dargestellt. Anders ausgedrückt kann mittels des Verfahrens und mittels des Visualisierungssystems ein mittels der Anzeigeeinrichtung angezeigtes Blickfeld bzw. Bildfeld (engl. field of view) des Nutzers, insbesondere dynamisch, in Abhängigkeit von der Blickrichtung des Nutzers festgelegt und verändert werden. Auf diese Weise kann der Bildausschnitt durch Verändern der Blickrichtung des Nutzers über eine gesamte Höhe und Breite des Videodatenstroms entlanggefahren werden, sodass der Nutzer gezielt alle Bereiche des Videodatenstroms erfassen kann.
-
Insbesondere wird ein Verfahren zum Betreiben eines Visualisierungssystems bei einer chirurgischen Anwendung zur Verfügung gestellt, wobei eine Erfassungseinrichtung des Visualisierungssystems als Ausgabe einen Videodatenstrom mit einer ersten Bildgröße bereitstellt, wobei ein Bildausschnitt des Videodatenstroms mit einer gegenüber der ersten Bildgröße kleineren zweiten Bildgröße über eine Kommunikationsverbindung an eine am Kopf tragbare Visualisierungseinrichtung übermittelt wird und auf einer Anzeigeeinrichtung der Visualisierungseinrichtung angezeigt wird, wobei eine Blickrichtung eines Nutzers mittels einer Sensorik erfasst wird, und wobei der Bildausschnitt des Videodatenstroms in Abhängigkeit von der erfassten Blickrichtung festgelegt wird.
-
Ferner wird insbesondere ein Visualisierungssystem für eine chirurgische Anwendung geschaffen, umfassend eine Erfassungseinrichtung, eine Kommunikationsverbindung, eine am Kopf tragbare Visualisierungseinrichtung mit einer Anzeigeeinrichtung, und eine Sensorik, die dazu eingerichtet ist, um eine Blickrichtung eines Nutzers zu erfassen, und eine Steuereinrichtung, wobei die Erfassungseinrichtung dazu eingerichtet ist, als Ausgabe einen Videodatenstrom mit einer ersten Bildgröße bereitzustellen, wobei die Steuereinrichtung dazu eingerichtet ist, einen Bildausschnitt des Videodatenstroms mit einer gegenüber der ersten Bildgröße kleineren zweiten Bildgröße zu erzeugen und über die Kommunikationsverbindung an die Visualisierungseinrichtung zu übermitteln, wobei der Bildausschnitt des Videodatenstroms in Abhängigkeit von der erfassten Blickrichtung festgelegt wird, und wobei die Visualisierungseinrichtung dazu eingerichtet ist, den übermittelten Bildausschnitt auf der Anzeigeeinrichtung anzuzeigen.
-
Das Verfahren und das Visualisierungssystem ermöglichen es, eine zu übermittelnde Datenmenge zu reduzieren, wodurch auch eine Bandbreite zur Datenübertragung in Richtung der Visualisierungseinrichtung reduziert werden kann. Zusätzlich wird es möglich, eine in Bezug auf eine Anzahl von Bildelementen gegenüber dem bereitgestellten Videodatenstrom kleinere Anzeigeeinrichtung in der Visualisierungseinrichtung zu verwenden. Stellt die Erfassungseinrichtung beispielsweise einen Videodatenstrom mit einer (ersten) 4K-UHD-Bildgröße (z.B. 3840 x 2160 Bildelemente) bereit, so kann mittels des in dieser Offenbarung beschriebenen Verfahrens und des beschriebenen Visualisierungssystems hieraus in Abhängigkeit der erfassten Blickrichtung des Nutzers ein Bildausschnitt mit einer (zweiten) Full-HD-Bildgröße (z.B. 1920 x 1080 Bildelemente) erzeugt und angezeigt werden, wenn die Anzeigeeinrichtung beispielsweise lediglich Full-HD anzeigen kann. Da der Bildausschnitt in Abhängigkeit von der erfassten Blickrichtung festgelegt wird, kann trotzdem die volle erste Bildgröße (im Beispiel 4K) der Erfassungseinrichtung des Visualisierungssystems dem Nutzer nach Bedarf angezeigt werden. Das Anzeigen kann hierbei intuitiv über das Verändern der Blickrichtung gesteuert werden.
-
Ein weiterer Vorteil des Verfahrens und des Visualisierungssystems ist, dass im Gegensatz zu einer Herunterskalierung von der ersten Bildgröße auf die zweite Bildgröße oder der Verwendung eines fest vorgegebenen Bildausschnitts das Visualisierungssystem nicht bewegt werden muss, wenn sich eine Blickrichtung ändert. Hingegen kann ein mit der geänderten Blickrichtung korrespondierender geänderter Bildausschnitt zumindest in einem an den vorherigen Bildausschnitt angrenzenden Bereich durch Rückgriff auf bereits erfasste angrenzende Bildbereiche in der größeren Bildgröße des bereitgestellten Videodatenstroms erzeugt und bereitgestellt werden. Ein Bewegen der Erfassungseinrichtung mittels einer gegebenenfalls vorhandenen Aktorik des Visualisierungssystems kann hierdurch vermieden werden. In der Folge können durch die Aktorik hervorgerufene Erschütterungen, die aufgrund einer mechanischen Schwingungsträgkeit auch nach dem Betätigen der Aktorik noch nachwirken können, ebenfalls vermieden werden. Da sich die Erschütterungen auf die Erfassungseinrichtung übertragen und zu einem Verwackeln des erfassten Videodatenstroms führen können, kann durch einen Verzicht auf eine Betätigung der Aktorik eine störende Unruhe im angezeigten Bildausschnitt vermieden oder zumindest der Anzahl nach verringert werden.
-
In Abhängigkeit von der erfassten Blickrichtung soll insbesondere bedeuten, dass die erfasste Blickrichtung diejenige Größe ist, anhand derer bestimmt wird, in welchem Bereich bzw. wo der Bildausschnitt festgelegt wird.
-
Das Visualisierungssystem ist insbesondere ein Visualisierungssystem, das einer Visualisierung bei medizinischen, insbesondere chirurgischen oder mikrochirurgischen, Operationen dient. Das Visualisierungssystem kann beispielsweise ein Operationssystem sein, insbesondere ein (robotisches) chirurgisches Operationsmikroskop. Alternativ kann ein chirurgisches Operationssystem, insbesondere ein Operationsmikroskop, das Visualisierungssystem auch umfassen. Das Visualisierungssystem weist eine Erfassungseinrichtung auf. Die Erfassungseinrichtung ist insbesondere eine Kamera, welche einen Erfassungsbereich mit einer ersten Bildgröße (z.B. 4K) erfasst und einen entsprechenden Videodatenstrom bereitstellt. Die Kamera kann eine optische Abbildungseinrichtung aufweisen, mit der eine Vergrößerung und ein Fokus eingestellt werden können. Das Visualisierungssystem kann ferner eine Aktorik aufweisen, mittels der zumindest eine Lage, insbesondere eine Position und/oder eine Ausrichtung, der Erfassungseinrichtung verändert werden kann, sodass hierüber eine Position eines Erfassungsbereichs der Erfassungseinrichtung verändert werden kann. Das Visualisierungssystem kann dann auch als robotisches Visualisierungssystem bezeichnet werden. Die Aktorik kann insbesondere als robotisches Stativ der Erfassungseinrichtung ausgebildet sein. Das Visualisierungssystem umfasst ferner eine Steuereinrichtung und eine am Kopf tragbare Visualisierungseinrichtung. Die Steuereinrichtung und die Visualisierungseinrichtung sind über eine drahtgebundene oder drahtlose Kommunikationsverbindung miteinander verbunden. Die Visualisierungseinrichtung weist eine Anzeigeeinrichtung auf, auf der ein von der Erfassungseinrichtung bereitgestellter Videodatenstrom in der zweiten Bildgröße angezeigt wird, sodass ein Nutzer diesen erfassen kann. Insbesondere ist das Visualisierungssystem dazu eingerichtet, einen Situs bei einer medizinischen Operation, insbesondere vergrößert, darzustellen.
-
Es ist insbesondere vorgesehen, dass eine Änderung der Blickrichtung in eine hierzu analoge Änderung des Bildausschnitts übersetzt wird. Es kann beispielsweise vorgesehen sein, dass eine Anzahl von Bildelementen, um die der Bildausschnitt bei einer Änderung der Blickrichtung verschoben wird, direkt proportional zu einer Änderung, insbesondere zu einer Winkeländerung, in der Blickrichtung ist. Eine zugehörige Abbildungsvorschrift oder Umrechnungsfunktion kann beispielsweise in einem Speicher der Steuereinrichtung hinterlegt sein und beim Festlegen des Bildausschnittes berücksichtigt werden.
-
Es kann vorgesehen sein, dass das Visualisierungssystem den Erfassungsbereich zweidimensional erfasst und einen Videodatenstrom aus zweidimensionalen Bildern bereitstellt. Entsprechend wird ein Bildausschnitt aus dem zweidimensionalen Videodatenstrom erzeugt und auf der Anzeigeeinrichtung angezeigt. Es kann jedoch auch vorgesehen sein, dass das Visualisierungssystem den Erfassungsbereich dreidimensional, das heißt insbesondere stereoskopisch, erfasst und einen Videodatenstrom aus dreidimensionalen Bildern bereitstellt. Entsprechend wird ein Bildausschnitt aus dem dreidimensionalen Videodatenstrom erzeugt und auf der Anzeigeeinrichtung dreidimensional, das heißt in stereoskopischer Weise, angezeigt. Eine Übermittlung des dreidimensionalen Videodatenstroms bzw. des Bildausschnitts aus dem dreidimensionalen Videodatenstrom kann beispielsweise side-by-side, interlaced oder sequentiell erfolgen.
-
Die Sensorik ist insbesondere an der am Kopf tragbaren Visualisierungseinrichtung angeordnet oder kann Teil der Visualisierungseinrichtung sein. Alternativ oder zusätzlich kann die Sensorik auch woanders angeordnet sein. Beispielsweise kann vorgesehen sein, dass die Sensorik alternativ oder zusätzlich an einer geeigneten Position in einem Raum angeordnet ist, in dem das Visualisierungssystem verwendet wird.
-
Die am Kopf tragbare Visualisierungseinrichtung ist insbesondere als Head-Mounted-Display (HMD) ausgebildet. Die Visualisierungseinrichtung kann die Sensorik oder einen Teil der Sensorik aufweisen, die dazu eingerichtet ist, eine Blickrichtung des Nutzers der Visualisierungseinrichtung zu erfassen. Mittels der Visualisierungseinrichtung ist es insbesondere möglich, neben dem auf die zweite Bildgröße des Bildausschnitts reduzierten Videodatenstrom zusätzlich oder alternativ virtuelle Informationen in der Anzeigeeinrichtung darzustellen. Die Visualisierungseinrichtung kann weitere Einrichtungen aufweisen, beispielswiese eine Steuereinrichtung zum Steuern der Anzeigeeinrichtung, der Sensorik und weiterer Einrichtungen, sofern diese vorhanden sind. Die Visualisierungseinrichtung kann batteriebetrieben sein oder über eine externe Energieversorgung gespeist werden. Die Visualisierungseinrichtung kann dazu eingerichtet sein, eine Augmentierte Realität (engl. Augmented Reality, AR), eine gemischte Realität (engl. Mixed Reality, MR) und/oder eine virtuelle Realität (engl. Virtual Reality, VR) bereitzustellen.
-
Es ist insbesondere vorgesehen, dass das Verfahren zyklisch wiederholt wird. Hierdurch kann fortlaufend ein (neuer bzw. aktueller) Bildausschnitt in Abhängigkeit der erfassten Blickrichtung festgelegt und auf der Anzeigeeinrichtung angezeigt werden.
-
Es kann vorgesehen sein, dass ein Übergang zu einem (neu) festgelegten Bildausschnitt stetig erfolgt. Die Steuereinrichtung bestimmt dann eine Sequenz aus Bildausschnitten, die örtlich zwischen dem vorherigen festgelegten Bildausschnitt und dem neu festgelegten Bildausschnitt liegen und übermittelt die bestimmte Sequenz aus Bildausschnitten an die Visualisierungseinrichtung. Einem Nutzer wird hierdurch ein flüssiges und intuitives Erfassen des (neu) festgelegten Bildausschnittes ermöglicht. Insbesondere kann ein abrupter Wechsel des festgelegten Bildausschnittes vermieden werden.
-
Teile des Visualisierungssystems, insbesondere die Steuereinrichtung, können einzeln oder zusammengefasst als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird. Es kann jedoch auch vorgesehen sein, dass Teile einzeln oder zusammengefasst als anwendungsspezifische integrierte Schaltung (ASIC) ausgebildet sind.
-
In einer Ausführungsform ist vorgesehen, dass der Bildausschnitt erst festgelegt wird, wenn die erfasste Blickrichtung für eine vorgegebene Mindestdauer konstant bleibt. Hierdurch kann das Erfassen des Bildausschnitts durch den Nutzer erleichtert werden, da nicht jede Änderung der Blickrichtung in eine Änderung des Bildausschnittes übersetzt wird, sondern ein (geänderter) Bildausschnitt erst festgelegt wird, wenn die erfasste Blickrichtung für eine vorgegebene Mindestdauer konstant bleibt. Die vorgegebene Mindestdauer liegt insbesondere im Bereich von einigen 100 Millisekunden bis zu mehreren Sekunden, beispielsweise bei 1 bis 2 Sekunden. Ist die vorgegebene Mindestdauer überschritten, so wird der Bildausschnitt (neu) festgelegt. Die Steuereinrichtung erzeugt einen entsprechenden Bildausschnitt aus dem Videodatenstrom und übermittelt diesen an die Visualisierungseinrichtung, die dann den übermittelten (neu) festgelegten Bildausschnitt auf der Anzeigeeinrichtung anzeigt.
-
In einer Ausführungsform ist vorgesehen, dass eine Lage eines Kopfes eines Nutzers der Visualisierungseinrichtung mittels der Sensorik erfasst wird, wobei die Blickrichtung unter Berücksichtigung der erfassten Lage des Kopfes bestimmt wird. Eine Lage kann hierbei eine Position und/oder Ausrichtung des Kopfes umfassen. Hierdurch kann insbesondere bestimmt werden, in welche Richtung der Kopf des Nutzers weist. Insbesondere kann hierdurch erreicht werden, dass der Nutzer durch eine Änderung der Lage des Kopfes einen Bildausschnitt festlegen bzw. ändern kann. Die Sensorik kann hierzu beispielsweise eine Lagesensorik umfassen. Die Lagesensorik erfasst insbesondere eine Lage, das heißt eine Position und eine Ausrichtung, der am Kopf tragbaren Visualisierungseinrichtung, (z.B. ein HMD oder eine AR-Brille) in Bezug auf ein Umfeld, das heißt insbesondere in Bezug auf dreidimensionale Raumkoordinaten eines Koordinatensystems. Alternativ oder zusätzlich wird mittels der Lagesensorik eine Änderung der Lage in Bezug auf das Umfeld bestimmt. Das Bestimmen der Lage kann beispielsweise mittels Inside-Out-Tracking erfolgen, wobei die Lagesensorik hierzu eine Umfeldsensorik aufweist. Mittels der Umfeldsensorik, insbesondere mittels einer Kamera und/oder Tiefensensoren, kann ein dreidimensionales, geometrisches Raummodell des Umfeldes erstellt werden. Dies erfolgt beispielsweise mittels des an sich bekannten Simultaneous Localization and Mapping-(SLAM)-Verfahrens. Mittels des Raummodells und Inertialmesseinheiten (engl. Inertial Measurement Units, IMU) der Lagesensorik kann dann die Lage der Visualisierungseinrichtung im Umfeld bestimmt werden. Aus der bestimmten Lage der Visualisierungseinrichtung wird auf die Lage des Kopfes geschlossen und die Blickrichtung wird unter Berücksichtigung der Lage des Kopfes geschätzt. Wird das Festlegen des Bildausschnittes nur über die Lage des Kopfes festgelegt, so kann der auf der Anzeigeeinrichtung angezeigte Bildausschnitt für einen Nutzer besonders intuitiv geändert werden, da dies einer natürlichen Änderung des Sichtfeldes wie beim natürlichen Sehen entspricht.
-
In einer Ausführungsform ist vorgesehen, dass eine Augenblickrichtung mittels der Sensorik erfasst wird, wobei die Blickrichtung unter Berücksichtigung der erfassten Augenblickrichtung bestimmt wird. Hierdurch kann der Bildausschnitt mit Hilfe der Augenblickrichtung festgelegt werden. Die Sensorik kann hierzu beispielsweise eine Augenblickrichtungssensorik umfassen. Die Augenblickrichtungssensorik umfasst beispielsweise eine Eye-/Gaze-Trackingeinrichtung. Beim Eye-Tracking (mittels einer Eye-Tracking-Sensorik) wird eine Augenblickrichtung jedes Auges des Nutzers erfasst und/oder bestimmt. Beim Gaze-Tracking (ebenfalls mittels einer Eye-Tracking-Sensorik) wird ein fokussierter Blickpunkt (d.h. dort, wo die beiden Eye-Tracking-Geraden sich schneiden) der Augen bestimmt. Das Eye-Tracking erfolgt insbesondere bildbasiert. Hierzu wird mindestens eine Kamera, insbesondere mindestens eine an der Visualisierungseinrichtung angeordnete Kamera, auf die Augen gerichtet und bei einer schwachen Infrarot-Beleuchtung werden Bilder der Augen erfasst. Zum Auswerten werden mittels eines Algorithmus die Pupillen der Augen in den Bildern verfolgt und hieraus die Augenblickrichtung für jedes der Augen bestimmt, insbesondere geschätzt. Es kann hierbei vorgesehen sein, dass das Eye-/Gaze-Tracking vor einer ersten Anwendung kalibriert werden muss, wobei ein Nutzer seinen Blick gezielt auf in der Anzeigeeinrichtung der Visualisierungseinrichtung angezeigte oder projizierte Kalibrierungspunkte richten muss.
-
In einer Ausführungsform ist vorgesehen, dass eine Position eines Erfassungsbereichs der Erfassungseinrichtung des Visualisierungssystems geändert wird, sofern der festgelegte Bildausschnitt zumindest teilweise außerhalb eines mit dem Erfassungsbereich der Erfassungseinrichtung und der ersten Bildgröße korrespondierenden und im Videodatenstrom abgebildeten Bereichs liegt. Hierdurch kann der Bildausschnitt auch auf Bereiche verschoben werden, die außerhalb des (aktuellen) Erfassungsbereichs der Erfassungseinrichtung liegen. Der Erfassungsbereich wird insbesondere mit Hilfe einer Aktorik des Visualisierungssystems verändert. Die Änderung des Erfassungsbereichs erfolgt hierbei insbesondere in gleichem Maße wie eine Blickrichtung geändert wird bzw. wurde, das heißt insbesondere direkt proportional zu einer Änderung der Blickrichtung. Je weiter der festgelegte Bildausschnitt außerhalb des bisherigen Erfassungsbereichs liegt, desto größer ist eine Änderung der Position des Erfassungsbereichs bzw. der Erfassungseinrichtung.
-
Es kann hierbei vorgesehen sein, dass eine Änderung der Position des Erfassungsbereichs und/oder der Erfassungseinrichtung sofort durch eine in entsprechendem Maße erfolgende Änderung der Blickrichtung bewirkt wird, das heißt, dass die Position ohne Verzögerung verändert wird.
-
In einer Ausführungsform ist vorgesehen, dass eine Auflösung des festgelegten Bildausschnittes vor dem Übermitteln an die Visualisierungseinrichtung für zumindest einen Teilbereich des festgelegten Bildausschnittes reduziert wird. Hierdurch kann eine Datenmenge weiter reduziert werden.
-
In einer weiterbildenden Ausführungsform ist vorgesehen, dass die Auflösung umso mehr reduziert wird, je weiter ein Bildelement von einer Bildmitte des Bildausschnitts entfernt ist. Insbesondere kann vorgesehen sein, dass eine übermittelte Information in Bezug auf die Bildelemente in Richtung von Rändern des Bildausschnittes immer geringer wird. Auf der Anzeigeeinrichtung werden Bildelemente, zu denen keine Information übermittelt wurde, dann aus den anderen Bildelementen interpoliert, zu denen jeweils Informationen übermittelt wurden.
-
In einer Ausführungsform ist vorgesehen, dass der Bildausschnitt bei einer Inbetriebnahme und/oder bei einem Rücksetzen des Visualisierungssystems auf eine Bildmitte des Videodatenstroms festgelegt wird. Hierdurch kann bei einer Inbetriebnahme und/oder beim Rücksetzen des Visualisierungssystems erreicht werden, dass ein Nutzer auch an den festgelegten Bildausschnitt angrenzende Bereiche durch entsprechende Änderung der Blickrichtung erfassen kann, ohne dass sofort eine Position des Erfassungsbereichs der Erfassungseinrichtung verändert werden muss. Dies ermöglicht es dem Nutzer, sich schnell einen Überblick zu verschaffen und sich zu orientieren.
-
In einer Ausführungsform ist vorgesehen, dass Änderungen in der erfassten Blickrichtung, die oberhalb eines vorgegebenen Schwellenwertes liegen, erkannt werden, wobei die Änderungen oberhalb des vorgegebenen Schwellenwertes beim Festlegen des Bildausschnitts und/oder beim Ändern der Position der Erfassungseinrichtung unberücksichtigt bleiben. Hierdurch kann eine als ruckartig erfasste bzw. empfundene Änderung des Bildausschnittes, die durch eine schnelle bzw. abrupte Änderung der Blickrichtung hervorgerufen wird, vermieden werden. Zum Erkennen wird eine zeitliche Änderung der erfassten Blickrichtung mittels der Steuereinrichtung ausgewertet und mit einem vorgegebenen Schwellenwert verglichen. Ergibt ein Vergleichsergebnis, dass die Änderung der Blickrichtung über der Zeit kleiner oder gleich dem vorgegebenen Schwellenwert ist, so wird das Verfahren wie in dieser Offenbarung beschrieben ausgeführt und der Bildausschnitt wird (neu) festgelegt. Ergibt das Vergleichsergebnis hingegen, dass die Änderung oberhalb des vorgegebenen Schwellenwertes liegt, so erfolgt kein (erneutes) Festlegen des Bildausschnittes. Der vorgegebene Schwellenwert kann beispielsweise absolut (z.B. Winkel pro Zeiteinheit oder Bildelemente pro Zeiteinheit) oder relativ vorgegeben werden (z.B. 50 % des Bildausschnittes pro Zeiteinheit).
-
Weitere Merkmale zur Ausgestaltung des Visualisierungssystems ergeben sich aus der Beschreibung von Ausgestaltungen des Verfahrens. Die Vorteile des Visualisierungssystems sind hierbei jeweils die gleichen wie bei den Ausgestaltungen des Verfahrens.
-
Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren näher erläutert. Hierbei zeigen:
- 1 eine schematische Darstellung einer Ausführungsform des Visualisierungssystems für eine chirurgische Anwendung;
- 2a, 2b, 2c schematische Darstellungen zur Verdeutlichung des Visualisierungssystems und des Verfahrens;
- 3a, 3b, 3c schematische Darstellungen zur Verdeutlichung einer Ausführungsform des Visualisierungssystems und des Verfahrens;
- 4 eine schematische Darstellung zur Verdeutlichung einer weiteren Ausführungsform des Visualisierungssystems und des Verfahrens;
- 5 ein schematisches Ablaufdiagramm einer Ausführungsform des Verfahrens zum Betreiben eines Visualisierungssystems bei einer chirurgischen Anwendung.
-
In 1 ist eine schematische Darstellung einer Ausführungsform des Visualisierungssystems 1 für eine chirurgische Anwendung gezeigt. Das Visualisierungssystem 1 umfasst eine Erfassungseinrichtung 2, eine Steuereinrichtung 3 und eine am Kopf tragbare Visualisierungseinrichtung 4 mit einer Anzeigeeinrichtung 5, und eine Sensorik 6. Die Erfassungseinrichtung 2, die Steuereinrichtung 3 und die Visualisierungseinrichtung 4 sind über drahtgebundene und/oder drahtlose Kommunikationsverbindungen 7 miteinander verbunden. Das in dieser Offenbarung beschriebene Verfahren wird nachfolgend anhand des Visualisierungssystems 1 näher beschrieben. Insbesondere ist das Visualisierungssystem 1 dazu eingerichtet, das in dieser Offenbarung beschriebene Verfahren zum Betreiben eines Visualisierungssystems 1 bei einer chirurgischen Anwendung auszuführen.
-
Die Erfassungseinrichtung 2 umfasst eine Kamera 2-1, welche als zweidimensionale oder dreidimensionale Kamera 2-1 ausgebildet sein kann. Die Kamera 2-1 erfasst einen Erfassungsbereich 20, der bei einer Anwendung des Visualisierungssystems 1 insbesondere mit einem Situs einer medizinischen Operation zusammenfällt, sodass die Kamera 2-1 den Situs erfasst. Der Erfassungsbereich 20 wird mit einer ersten Bildgröße 21 erfasst (z.B. in 4K-UHD-Bildgröße). Als Ausgabe stellt die Erfassungseinrichtung 2 einen Videodatenstrom 30 in der ersten Bildgröße 21 bereit. Der Videodatenstrom 30 wird an die Steuereinrichtung 3 übermittelt. Die Erfassungseinrichtung 2 kann ferner eine Aktorik 2-2 aufweisen, mit der eine Position der Erfassungseinrichtung 2 verändert werden kann. Insbesondere erlaubt es die Aktorik 2-2, eine Position des Erfassungsbereichs 20 zu verändern.
-
Die Steuereinrichtung 3 umfasst eine Recheneinrichtung 3-1 und einen Speicher 3-2. Die Recheneinrichtung 3-1 kann auf in dem Speicher 3-2 hinterlegte Daten zugreifen und Rechenoperationen auf den Daten ausführen. Die Recheneinrichtung 3-1 weist beispielsweise einen Mikroprozessor auf, auf dem Programmcode zum Ausführen von Verfahrensschritten des Verfahrens ausgeführt werden kann.
-
Über eine Schnittstelle 3-3 empfängt die Steuereinrichtung 3 den Videodatenstrom 30. Die Steuereinrichtung 3-1 ist dazu eingerichtet, einen festgelegten Bildausschnitt 22 des Videodatenstroms 30 mit einer gegenüber der ersten Bildgröße 21 kleineren zweiten Bildgröße 23 zu erzeugen und über eine hierfür eingerichtete Schnittstelle 3-4 und die Kommunikationsverbindung 7 an die Visualisierungseinrichtung 4 zu übermitteln. Hierzu schneidet die Recheneinrichtung 3-1 den festgelegten Bildausschnitt 22 mit einer gegenüber der ersten Bildgröße 21 kleineren zweiten Bildgröße 23 (z.B. Full-HD) aus dem Videodatenstrom 30 heraus. Der festgelegte Bildausschnitt 22 ist zur Verdeutlichung schematisch innerhalb des Erfassungsbereichs 20 dargestellt.
-
Die Visualisierungseinrichtung 4 zeigt den Bildausschnitt 22 auf der Anzeigeeinrichtung 5 an. Ein Nutzer 40 des Visualisierungssystems 1, beispielsweise ein Chirurg, kann den angezeigten Bildausschnitt 22 dann erfassen.
-
Es ist bei diesem Ablauf vorgesehen, dass der Bildausschnitt 22 des Videodatenstroms 30 in Abhängigkeit von der erfassten Blickrichtung 10 des Nutzers festgelegt wird. Hierzu wird die Blickrichtung 10 mittels der Sensorik 6 erfasst. Die Sensorik 6 ist an der Visualisierungseinrichtung 4 angeordnet. Alternativ oder zusätzlich kann die Sensorik 6 auch woanders angeordnet sein, beispielsweise an einer geeigneten Position in einem Raum, in dem das Visualisierungssystem 1 verwendet wird.
-
Die Blickrichtung 10 kann sich aus einer Augenblickrichtung und einer Lage des Kopfes des Nutzers zusammensetzen. Die Blickrichtung bezieht sich hierbei insbesondere auf ein ortsfestes dreidimensionales Koordinatensystem relativ zu einem Umfeld, indem das Visualisierungssystem 1 verwendet wird. Zum Erfassen der Augenblickrichtung werden beispielsweise an sich bekannte Verfahren des Eye-/Gaze-Tracking verwendet. Zum Erfassen bzw. Bestimmen der Lage des Kopfes können Inside-Out-Verfahren, beispielsweise mit Hilfe von einer Kamera und/oder Tiefenkamera, und/oder Inertialen Messeinheiten (engl. Inertial Measurement Units, IMU) in an sich bekannter Weise verwendet werden. Die erfasste Blickrichtung 10 wird beispielsweise als Blickrichtungssignal 11 an die Steuereinrichtung 3 übermittelt, welche das Blickrichtungssignal 11 mittels einer hierfür eingerichteten Schnittstelle 3-5 empfängt. Beim Festlegen des Bildausschnitts 22 berücksichtigt die Steuereinrichtung 3 dann die erfasste Blickrichtung 10.
-
Dies wird nachfolgend näher anhand der 2a, 2b und 2c erläutert. Die 2a, 2b und 2c zeigen schematische Darstellungen des Erfassungsbereichs 20, der mit der ersten Bildgröße 21 und dem von der Erfassungseinrichtung erzeugten Videodatenstrom 30 korrespondiert, und dem erzeugten Bildausschnitt 22 mit der zweiten Bildgröße 23. Hierbei sei angenommen, dass der Bildausschnitt 22 bei einer Inbetriebnahme und/oder bei einem Rücksetzen des Visualisierungssystems auf eine Bildmitte 25 des Videodatenstroms 30 festgelegt wird bzw. festgelegt ist (vgl. 2a). Beim Inbetriebnehmen und/oder Rücksetzen des Visualisierungssystems korrespondiert eine initial erfasste Blickrichtung dann mit der Bildmitte 25. Die erste Bildgröße 21 entspricht beispielsweise dem 4K-Format und die zweite, gegenüber der ersten kleinere, Bildgröße 23 dem Full-HD-Format. Die zweite Bildgröße 23 korrespondiert hierbei insbesondere mit der Bildgröße einer Anzeigeeinrichtung der Visualisierungseinrichtung des Visualisierungssystems.
-
Ein Nutzer des Visualisierungssystems bzw. der Visualisierungseinrichtung ändert anschließend seine Blickrichtung von einem mit der Blickrichtung 10 korrespondierenden Punkt A (der mit der Bildmitte 25 korrespondiert) zu einem mit der Blickrichtung 10 korrespondierenden Punkt B durch Änderung der Augenblickrichtung und/oder durch Änderung der Lage des Kopfes (vgl. 2b). Diese Änderung der Blickrichtung 10 wird erfasst und der Bildausschnitt 22 wird entsprechend der erfassten geänderten Blickrichtung 10 festgelegt. Der Bildausschnitt 22 verschiebt sich hierdurch von der Bildmitte 25 weg in den unteren rechten Bereich des Erfassungsbereichs 20 der Erfassungseinrichtung (2c).
-
Innerhalb des Erfassungsbereichs 20 kann der Bildausschnitt 22 über eine Änderung der Blickrichtung 10 frei verschoben werden, ohne dass der Erfassungsbereich 20 selbst verändert werden muss.
-
Es kann vorgesehen sein, dass eine Position eines Erfassungsbereichs 20 der Erfassungseinrichtung 2 (vgl. 1) des Visualisierungssystems 1 geändert wird, sofern der festgelegte Bildausschnitt 22 zumindest teilweise außerhalb eines mit dem Erfassungsbereich 20 der Erfassungseinrichtung 2 und der ersten Bildgröße 21 korrespondierenden und im Videodatenstrom 30 abgebildeten Bereichs liegt. Die Steuereinrichtung 3 steuert dann die Aktorik 2-2 der Erfassungseinrichtung 2 entsprechend an, um eine Position des Erfassungsbereichs 20 zu verändern, und erzeugt hierzu ein entsprechendes Steuersignal 15 und übermittelt dieses über die Schnittstelle 3-6 an die Aktorik 2-2 der Erfassungseinrichtung 2.
-
Dies ist schematisch in den 3a, 3b und 3c verdeutlicht. Die Ausgangssituation in 3a ist die gleiche wie die in 2a.
-
Ein Nutzer des Visualisierungssystems bzw. der Visualisierungseinrichtung ändert ausgehend von der in der 3a gezeigten Situation seine Blickrichtung 10 von einem mit der Blickrichtung 10 korrespondierenden Punkt A zu einem mit der Blickrichtung 10 korrespondierenden Punkt B durch Änderung der Augenblickrichtung und/oder durch Änderung der Lage des Kopfes (vgl. 3b). Diese Änderung der Blickrichtung 10 wird erfasst. Im Gegensatz zu der in der 2b gezeigten Situation, ist die Änderung der Blickrichtung 10 von Punkt A zu Punkt B jedoch so groß, dass der Punkt B außerhalb des Erfassungsbereichs 20 der Erfassungseinrichtung liegt. Ein reines Ausschneiden des mit dem Punkt B korrespondierenden Bildausschnittes 22 aus dem bereitgestellten Videodatenstrom 30 ist daher nicht möglich, da ein entsprechender Bildausschnitt 22 in dem Videodatenstrom 30 nicht vorhanden ist. Es ist daher vorgesehen, dass eine Position eines Erfassungsbereichs 20 der Erfassungseinrichtung 2 (vgl. 1) des Visualisierungssystems 1 geändert wird, sodass der Videodatenstrom 30 wieder einen mit der Blickrichtung 10 korrespondierenden Bildausschnitt 22 umfasst. Hierzu wird mittels der Steuereinrichtung ein entsprechendes Steuersignal erzeugt und an eine Aktorik der Erfassungseinrichtung übermittelt. Hierbei kann insbesondere vorgesehen sein, dass die Aktorik der Erfassungseinrichtung derart angesteuert wird, dass nach Ändern der Position des Erfassungsbereichs 20 der Punkt B mit einer Bildmitte 25 des (geänderten) Erfassungsbereichs 20 zusammenfällt. Der Bildausschnitt 22 wird dann im geänderten Erfassungsbereich 20 bzw. im hieraus resultierenden geänderten Videodatenstrom 30 festgelegt und wie bereits voranstehend beschrieben auf der Anzeigeeinrichtung dargestellt.
-
Es kann vorgesehen sein, dass der Bildausschnitt 22 erst festgelegt wird, wenn die erfasste Blickrichtung 10 für eine vorgegebene Mindestdauer 16 konstant bleibt. Hierzu bestimmt die Steuereinrichtung 3 anhand des Blickrichtungssignals 11 beispielsweise, wie lange die erfasste Blickrichtung 10 in einem Bereich, insbesondere einen Raumwinkel, verweilt und vergleicht die bestimmte Dauer mit der vorgegebenen Mindestdauer 16. Die vorgegebene Mindestdauer 16 ist beispielsweise in dem Speicher 3-2 hinterlegt und kann beispielsweise 1 bis 2 Sekunden betragen. Es kann vorgesehen sein, dass die vorgegebene Mindestdauer 16 durch den Nutzer vorgegeben werden kann.
-
Es kann vorgesehen sein, dass eine Auflösung des festgelegten Bildausschnittes 22 vor dem Übermitteln an die Visualisierungseinrichtung 4 für zumindest einen Teilbereich des festgelegten Bildausschnittes 22 reduziert wird. Hierzu verringert die Steuereinrichtung 3 (1) eine Auflösung des Bildausschnitts 22 in dem zumindest einen Teilbereich. Der Teilbereich kann beispielsweise ein Randbereich sein.
-
Dies ist schematisch in der 4 gezeigt. Insbesondere kann vorgesehen sein, dass die Auflösung umso mehr reduziert wird, je weiter ein Bildelement 26 von einer Bildmitte 25 des Bildausschnitts 22 entfernt ist. Für den gezeigten Bildausschnitt 22 wird eine Auflösung derart reduziert, dass nur für die schraffierten Bildelemente 26 eine Information übermittelt wird. Die nicht schraffierten Bildelemente 26 werden hingegen durch Interpolation zwischen den schraffierten Bildelementen 26 bestimmt. Randbereiche werden dann in einer geringeren Auflösung angezeigt als Bereiche in der Bildmitte 25.
-
Es kann weiter vorgesehen sein, dass Änderungen in der erfassten Blickrichtung 10, die oberhalb eines vorgegebenen Schwellenwertes 17 (1) liegen, erkannt werden, wobei die Änderungen oberhalb des vorgegebenen Schwellenwertes 17 beim Festlegen des Bildausschnitts 22 und/oder beim Ändern der Position der Erfassungseinrichtung 2 unberücksichtigt bleiben. Hierzu bestimmt die Steuereinrichtung 3 anhand des Blickrichtungssignals 11 beispielsweise, wie groß eine zeitliche Änderung der erfassten Blickrichtung 10 ist und vergleicht die zeitliche Änderung mit dem vorgegebenen Schwellenwert 17. Der vorgegebene Schwellenwert 17 ist beispielsweise in dem Speicher 3-2 hinterlegt und kann beispielsweise in Form einer maximalen Anzahl von Bildelementen pro Zeiteinheit vorgegeben sein (z.B. maximal 500 Bildelemente pro Zeiteinheit). Es kann vorgesehen sein, dass der vorgegebene Schwellenwert 17 durch den Nutzer 40 vorgegeben werden kann.
-
Das Visualisierungssystem 1 und das Verfahren ermöglichen es, eine Datenmenge, die an die Visualisierungseinrichtung 4 übermittelt wird, zu reduzieren und dennoch den vollständigen Erfassungsbereich 20 in der vollen Auflösung der Erfassungseinrichtung 2 bereitzustellen. Insbesondere ermöglichen es das Visualisierungssystem 1 und das Verfahren, einen mittels der Anzeigeeinrichtung 5 der Visualisierungseinrichtung 4 erfassbaren Sichtbereich (field of view) dynamisch in Abhängigkeit der Blickrichtung des Nutzers anzupassen. Das Festlegen des Bildausschnittes 22 in Abhängigkeit der Blickrichtung ermöglicht insbesondere eine intuitive Anpassung des Bildausschnittes 22, insbesondere in Abhängigkeit von einer erfassten Lage des Kopfes und/oder in Abhängigkeit einer erfassten Augenblickrichtung. Das Verwenden des Visualisierungssystems 1 kann hierdurch in Bezug auf einen Arbeitsablauf verbessert, insbesondere intuitiver ausgestaltet, werden. Ein weiterer Vorteil ist, dass die Erfassungseinrichtung 2 nur bewegt werden muss, wenn der Bildausschnitt 22 außerhalb der ersten Bildgröße 21 des Videodatenstroms 30 liegt. Hierdurch können das Bewegen der Erfassungseinrichtung 2 und hiermit einhergehende störende Auswirkungen auf den angezeigten Bildausschnitt 22, wie beispielsweise ein Verwackeln oder Nachschwingen, vermieden oder zumindest hinsichtlich ihrer Anzahl reduziert werden.
-
In 5 ist ein schematisches Ablaufdiagramm einer Ausführungsform des Verfahrens zum Betreiben eines Visualisierungssystems bei einer chirurgischen Anwendung gezeigt.
-
In einer Maßnahme 100 wird ein Erfassungsbereich mittels einer Erfassungseinrichtung des Visualisierungssystems erfasst, wobei die Erfassungseinrichtung als Ausgabe einen Videodatenstrom mit einer ersten Bildgröße bereitstellt und an eine Steuereinrichtung des Visualisierungssystems übermittelt.
-
In einer Maßnahme 101 wird eine Blickrichtung eines Nutzers einer am Kopf tragbaren Visualisierungseinrichtung (z.B. ein HMD oder eine AR-Brille) des Visualisierungssystems mittels einer an der Visualisierungseinrichtung angeordneten Sensorik erfasst. Alternativ oder zusätzlich kann die Sensorik auch woanders angeordnet sein. Insbesondere wird die Lage des Kopfes des Nutzers und/oder eine Augenblickrichtung des Nutzers erfasst, um hieraus die Blickrichtung zu bestimmen.
-
In einer Maßnahme 102 wird ein Bildausschnitt des Videodatenstroms mit einer gegenüber der ersten Bildgröße kleineren zweiten Bildgröße in Abhängigkeit von der erfassten Blickrichtung festgelegt. Eine Mitte des festgelegten Bildausschnitts korrespondiert hierbei insbesondere mit der erfassten Blickrichtung.
-
In einer Maßnahme 103 wird überprüft, ob der festgelegte Bildausschnitt vollständig innerhalb des Erfassungsbereichs bzw. des Videodatenstroms liegt. Ist dies nicht der Fall, so ist in einer Maßnahme 104 vorgesehen, dass eine Position des Erfassungsbereichs der Erfassungseinrichtung des Visualisierungssystems geändert wird. Die Änderung erfolgt hierbei insbesondere derart, dass der festgelegte Bildausschnitt anschließend in einer Bildmitte des geänderten Erfassungsbereichs liegt. Nach der Maßnahme 104 wird wieder zur Maßnahme 100 zurückgekehrt.
-
Ist das Ergebnis von Maßnahme 103 hingegen, dass der festgelegte Bildausschnitt vollständig innerhalb des Erfassungsbereichs liegt, so erzeugt die Steuereinrichtung in einer Maßnahme 105 den Bildausschnitt aus dem Videodatenstrom und stellt insbesondere einen auf den Bildausschnitt reduzierten Videodatenstrom bereit.
-
In einer Maßnahme 106 wird der bereitgestellte Bildausschnitt des Videodatenstroms über eine Kommunikationsverbindung an die am Kopf tragbare Visualisierungseinrichtung übermittelt.
-
In einer Maßnahme 107 wird der übermittelte Bildausschnitt auf einer Anzeigeeinrichtung der Visualisierungseinrichtung angezeigt.
-
Anschließend werden die Maßnahmen 100-107 wiederholt, sodass ein Nutzer fortlaufend einen Bildausschnitt in Abhängigkeit von einer aktuellen Blickrichtung bereitgestellt bekommt. Über die Blickrichtung kann hierbei intuitiv gesteuert werden, welcher Bildausschnitt festgelegt, erzeugt und auf der Anzeigeeinrichtung angezeigt wird.
-
Bezugszeichenliste
-
- 1
- Visualisierungssystem
- 2
- Erfassungseinrichtung
- 2-1
- Kamera
- 2-2
- Aktorik
- 3
- Steuereinrichtung
- 3-1
- Recheneinrichtung
- 3-2
- Speicher
- 3-3
- Schnittstelle
- 3-4
- Schnittstelle
- 3-5
- Schnittstelle
- 3-6
- Schnittstelle
- 4
- Visualisierungseinrichtung
- 5
- Anzeigeeinrichtung
- 6
- Sensorik
- 7
- Kommunikationsverbindung
- 10
- Blickrichtung
- 11
- Blickrichtungssignal
- 15
- Steuersignal
- 16
- Mindestdauer
- 17
- Schwellenwert
- 20
- Erfassungsbereich
- 21
- erste Bildgröße
- 22
- Bildausschnitt
- 23
- zweite Bildgröße
- 25
- Bildmitte
- 26
- Bildelement
- 30
- Videodatenstrom
- 40
- Nutzer
- 100-107
- Maßnahmen des Verfahrens
- A
- Punkt (korrespondierend mit Blickrichtung)
- B
- Punkt (korrespondierend mit Blickrichtung)
