DE102021205688A1

DE102021205688A1 - Virtuelle Erweiterung eines Kamerabildes

Info

Publication number: DE102021205688A1
Application number: DE102021205688.1A
Authority: DE
Inventors: Amilcar ALZAGA; Alois Regensburger
Original assignee: Siemens Healthcare GmbH
Current assignee: Siemens Healthineers Ag De
Priority date: 2021-06-04
Filing date: 2021-06-04
Publication date: 2022-12-08
Also published as: US20220392173A1

Abstract

Gemäß einem Verfahren zur virtuellen Erweiterung eines Kamerabildes wird ein Kamerabild erzeugt, welches ein Objekt (2) abbildet. Eine geometrische Beschreibung eines virtuellen Hilfsobjekts (9) als Fläche im Raum sowie eine Pose des Hilfsobjekts (9) bezüglich des Objekts (2) werden vorgegeben, wobei das Hilfsobjekt (9) einen Teil (3) des Objekts (2) vom Rest des Objekts (2) trennt. Ein erweitertes Bild (13) wird basierend auf einer Überlagerung des Kamerabildes mit einer Darstellung des Hilfsobjekts (9) abhängig von der geometrischen Beschreibung und der Pose des Hilfsobjekts (9) mittels einer Recheneinheit (7) erzeugt und auf einem Anzeigegerät (8) angezeigt. Das erweiterte Bild (13) derart erzeugt und angezeigt wird, dass das Hilfsobjekt (9) eine räumlich veränderliche Transparenz aufweist.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur virtuellen Erweiterung eines Kamerabildes, wobei ein Kamerabild erzeugt wird, welches ein Objekt abbildet, sowie eine entsprechende Vorrichtung zur virtuellen Erweiterung eines Kamerabildes und ein Computerprogrammprodukt.
Der Einsatz erweiterter Realität, auch als augmentierte Realität oder Augmented Reality bezeichnet, zur Unterstützung bei der Durchführung medizinischer Eingriffe, insbesondere chirurgischer Eingriffe, ist an sich bekannt. Dabei können beispielsweise zu entfernende Gewebeteile, Gefäßbäume oder sonstige anatomische Strukturen als virtuelle Objekte einem Kamerabild überlagert werden.
Es zeigt sich jedoch, dass auch entsprechend geschultes Fachpersonal Schwierigkeiten bei der Tiefenwahrnehmung solcher Überlagerungen hat. Dies hat beispielsweise zur Folge, dass die Person, die den medizinischen Eingriff durchführt, die überlagerten virtuellen Objekte mitunter an anderen Stellen wahrnimmt, als sie tatsächlich dargestellt werden sollen. Dieses Problem tritt auch auf, wenn die Registrierung des Kamerabilds zu den überlagerten virtuellen Strukturen an sich fehlerfrei ist, so dass der durchführenden Person missverständliche räumliche Informationen über verborgene anatomische Strukturen oder Trajektorien zur Schnittführung vermittelt werden. Dadurch wird der Mehrwert durch die Überlagerung der virtuellen Objekte reduziert.
Es ist eine Aufgabe der vorliegenden Erfindung, eine Möglichkeit zur virtuellen Erweiterung eines Kamerabildes anzugeben, durch das die visuelle Wahrnehmung eines virtuellen Objekts im räumlichen Zusammenhang mit einem realen Objekt verbessert wird.
Diese Aufgabe wird gelöst durch den jeweiligen Gegenstand der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
Die Erfindung beruht auf der Idee, einem Objekt auf einem Kamerabild ein virtuelles Hilfsobjekt, welches einen Teil des Objekts vom Rest des Objekts trennt, mit einer räumlich veränderlichen Transparenz darzustellen.
Gemäß einem Aspekt der Erfindung wird ein Verfahren zur virtuellen Erweiterung eines Kamerabildes angegeben. Dabei wird, insbesondere mittels eines Kamerasystems, ein Kamerabild erzeugt, welches ein Objekt abbildet. Eine geometrische Beschreibung eines virtuellen Hilfsobjekts als Fläche im Raum, also insbesondere als zweidimensionale Mannigfaltigkeit mit oder ohne Rand im dreidimensionalen Raum, sowie eine Pose des Hilfsobjekts bezüglich des Objekts werden vorgegeben. Das Hilfsobjekt trennt dabei einen Teil des Objekts von einem Rest des Objekts. Ein erweitertes Bild wird basierend auf einer Überlagerung des Kamerabildes mit einer Darstellung des Hilfsobjekts abhängig von der geometrischen Beschreibung und abhängig von der Pose des Hilfsobjekts mittels einer Recheneinheit erzeugt und auf einem Anzeigegerät angezeigt. Das erweiterte Bild wird derart erzeugt, insbesondere mittels der Recheneinheit, und auf dem Anzeigegerät angezeigt, dass das Hilfsobjekt eine räumlich veränderliche Transparenz aufweist.
Mit anderen Worten wird neben der geometrischen Beschreibung und der Pose des Hilfsobjekts bezüglich des Objekts auch eine Funktion vorgegeben, welche einen Wert der Transparenz auf der Fläche des Hilfsobjekts als Funktion der räumlichen Position auf dem Hilfsobjekt definiert.
Die virtuelle Erweiterung des Kamerabildes kann als Überlagerung des Kamerabildes mit der Darstellung des virtuellen Hilfsobjekts verstanden werden. In diesem Zusammenhang kann auch von augmentierter Realität oder Augmented Reality die Rede sein. Das erweiterte Bild kann insbesondere auch als augmentiertes Bild bezeichnet werden.
Die virtuelle Erweiterung des Kamerabildes durch Überlagerung der Darstellung des Hilfsobjekts dient insbesondere zur visuellen Kennzeichnung oder Hervorhebung des Teils des Objekts, welches durch das Hilfsobjekt von dem Rest des Objekts getrennt wird. Dadurch wird insbesondere eine räumliche Lage des Teils des Objekts in dem Objekt ebenso wie eine Grenzfläche des Teils des Objekts in Form des Hilfsobjekts visuell dargestellt.
Ein Betrachter des erweiterten Bildes auf dem Anzeigegerät kann dann beispielsweise mit einem Werkzeug auf das Objekt einwirken, wobei der Betrachter die Darstellung des Hilfsobjekts als Orientierungshilfe wahrnehmen kann. Auf diese Weise kann der Betrachter insbesondere bei der Entfernung von Weichteilgewebe aus dem Objekt unterstützt werden, also beispielsweise bei einer Dissektion oder Resektion. Bei dem Objekt handelt es sich dann insbesondere um ein menschliches oder tierisches Organ oder ein sonstiges voluminöses anatomisches Objekt. Der Teil des Objekts, der durch das Hilfsobjekt vom Rest des Objekts getrennt wird, befindet sich insbesondere teilweise im Inneren des Objekts und kann sich beispielsweise vollständig im Inneren des Objekts befinden oder abschnittsweise eine Oberfläche des Objekts enthalten. Das Objekt ohne den Teil des Objekts entspricht also dem Rest des Objekts.
An dieser Stelle soll darauf hingewiesen werden, dass die Einwirkung auf das Objekt insbesondere mittels des Werkzeugs, beispielsweise zum chirurgischen Entfernen des Teils des Objekts aus dem Objekt, nicht Teil des erfindungsgemäßen Verfahrens ist. Mit anderen Worten enthält das Verfahren keine chirurgischen Schritte. Vielmehr können die Verfahrensschritte des erfindungsgemäßen Verfahrens im Kontext eines chirurgischen Eingriffs durchgeführt werden, stellen aber selbst keine chirurgischen Schritte dar, sondern unterstützen lediglich den Chirurgen bei der Durchführung der chirurgischen Schritte. Insbesondere können sämtliche Schritte des erfindungsgemäßen Verfahrens durchgeführt werden, während gleichzeitig keine Einwirkung auf das Objekt mittels des Werkzeugs erfolgt.
Das Kamerasystem kann eine oder mehrere Kameras beinhalten. Das Kamerasystem kann auch beispielsweise in einem Endoskop integriert sein. Die Einführung des Endoskops in eine Kavität eines menschlichen oder tierischen Körpers ist ebenfalls nicht Teil des erfindungsgemäßen Verfahrens, sondern findet vor der Durchführung des erfindungsgemäßen Verfahrens statt.
Das Kamerasystem kann auch als stereoskopisches Kamerasystem ausgestaltet sein. Die Verfahrensschritte gemäß der Erfindung werden dann beispielsweise für jedes Teilbild durchgeführt.
Das Anzeigegerät enthält insbesondere einen Bildschirm oder ein Display. Das Anzeigegerät kann auch ein visuelles Ausgabegerät enthalten, das ein Benutzer auf dem Kopf tragen kann. Solche Geräte werden auch als HMD (engl.: „Head mounted display“) bezeichnet werden. Andere Bezeichnungen sind beispielsweise Videobrille, AR-Brille, AR-Headset und so weiter.
Das virtuelle Hilfsobjekt wird als Fläche im Raum, also als zweidimensionale Mannigfaltigkeit im dreidimensionalen Raum, vorgegeben. Dies bedeutet insbesondere, dass die Oberfläche des virtuellen Hilfsobjekts im Allgemeinen gekrümmt sein kann, jedoch nicht notwendigerweise ist. Die geometrische Form des Hilfsobjekts, welche durch die geometrische Beschreibung definiert ist, kann von beliebiger Gestalt sein, ist also insbesondere nicht auf regelmäßige geometrische Figuren oder dergleichen beschränkt. Beispielsweise kann die geometrische Beschreibung basierend auf Simulationen, Modellen oder Bilddaten vorab durchgeführter bildgebender Verfahren, wie beispielsweise röntgenbasierten Verfahren oder Magnetresonanztomographie-Verfahren und so weiter, konstruiert werden. Auf diese Weise kann die geometrische Beschreibung des Hilfsobjekts derart festgelegt werden, dass ein zu entfernendes Objekt, beispielsweise ein Tumor, in dem Objekt räumlich durch das Hilfsobjekt vom Rest des Objekts abgetrennt wird. Das Hilfsobjekt kann also eine Schnittfläche für einen Chirurgen definieren.
Zusätzlich können bei der Konstruktion der geometrischen Beschreibung auch sonstige anatomische Gegebenheiten, insbesondere die Lage und der Verlauf von Blutgefäßen oder Gefäßbäumen in dem Objekt berücksichtigt werden. Mit Vorteil kann die geometrische Beschreibung derart konstruiert werden, dass keine Gefäße durch die Fläche des Hilfsobjekts verlaufen. Auf diese Weise kann verhindert werden, dass ein Chirurg beim Schnitt entlang der Fläche des Hilfsobjekts Gefäße beschädigt, die in dem realen Kamerabild nicht sichtbar sind.
Zur Überlagerung des Kamerabildes mit der Darstellung des Hilfsobjekts kann insbesondere eine Registrierung der geometrischen Beschreibung des Hilfsobjekts mit dem Kamerabild durchgeführt werden, um eine korrekte anatomische Lage entsprechend der Konstruktion des Hilfsobjekts sicherzustellen. Solche Registrierungsverfahren sind an sich bekannt.
Insbesondere sind die geometrische Beschreibung des Hilfsobjekts und die Pose des Hilfsobjekts derart, dass die Fläche des Hilfsobjekts eine Oberfläche des Objekts schneidet. Mit anderen Worten definieren die geometrische Form und die Pose des Hilfsobjekts bezüglich des Objekts eine Oberflächenkontur auf der Oberfläche des Objekts, wobei die Oberflächenkontur einer Schnittlinie des Hilfsobjekts mit der Oberfläche des Objekts entspricht.
Unter der Pose des Hilfsobjekts kann eine Kombination aus der Position des Hilfsobjekts und der Orientierung des Hilfsobjekts verstanden werden. Die Pose beinhaltet also die Position und die Orientierung des Hilfsobjekts bezüglich des Objekts. Dass die Pose bezüglich des Objekts vorgegeben ist, kann beispielsweise derart verstanden werden, dass die Position und Orientierung direkt bezüglich einer entsprechenden Position und Orientierung des Objekts gespeichert sind. Die Position und Orientierung des Hilfsobjekts können aber auch in einem Referenzkoordinatensystem gegeben sein, in dem auch die Position und Orientierung des Objekts bekannt ist. Durch die Angabe von Absolutkoordinaten und absoluten Orientierungen in dem Referenzkoordinatensystem sowohl des Hilfsobjekts als auch des Objekts ist indirekt auch die Pose des Hilfsobjekts bezüglich des Objekts vorgegeben.
Die Transparenz des Hilfsobjekts kann beispielsweise Werte zwischen einem minimalen Transparenzwert und einem maximalen Transparenzwert annehmen, beispielsweise zwischen 0 und 1, wobei der maximale Transparenzwert einer vollständig transparenten Darstellung entspricht und der minimale Transparenzwert einer vollständig opaken Darstellung. Die Transparenz kann insbesondere auch als Kehrwert der Opazität betrachtet werden. Hierbei können Transparenz und Opazität derart verstanden werden, dass sie sich auf Licht im sichtbaren Spektralbereich beziehen, also insbesondere im Wellenlängenbereich von 380 nm bis 780 nm. Mit anderen Worten kann die Transparenz auch als Transmissionsgrad oder mittlerer Transmissionsgrad für Licht aus dem sichtbaren Spektralbereich verstanden werden.
Jeder Punkt auf der Fläche des Hilfsobjekts kann in Form von entsprechenden dreidimensionalen Koordinaten in einem vorgegebenen Koordinatensystem definiert werden. Die Transparenz ist dann über das gesamte Hilfsobjekt betrachtet eine nicht konstante Funktion dieser dreidimensionalen räumlichen Koordinaten.
Durch die räumlich veränderliche Transparenz kann einem Betrachter des erweiterten Bildes eine Richtungsinformation vermittelt werden, die eine Tiefenlage der entsprechenden Punkte auf dem Hilfsobjekt intuitiv wahrnehmbar macht. Durch das erfindungsgemäße Verfahren wird also eine zusätzliche Informationsebene bereitgestellt, die über die geometrische Form des Hilfsobjekts hinausgeht und durch welche die Tiefenwahrnehmung bei der Betrachtung des überlagerten Bildes verbessert werden kann.
Ausgebildete Chirurgen haben in der Regel jahrelange Erfahrung im Bereich chirurgischer Eingriffe ohne die Unterstützung durch Möglichkeiten der erweiterten Realität. Dabei lernen Chirurgen realen anatomischen Strukturen in die Tiefe des Gewebes zu folgen und entlang dieser anatomischen Strukturen Schnitte durchzuführen. Bei den anatomischen Strukturen kann es sich beispielsweise um so genannte embryonale Schichten handeln, also Zellschichten, die während der Embryonalentwicklung des Menschen oder des Tiers entstehen und durch die demzufolge keine Blutgefäße verlaufen. Indem der Chirurg der embryonalen Schicht folgt, kann er somit Schnitte durchführen, ohne Blutgefäße zu verletzen. Die embryonalen Schichten oder andere anatomische Strukturen werden also zur Definition der Schnittflächen und Schnittlinien herangezogen. Diese anatomischen Strukturen sind für den Chirurgen in der Regel als subtiler Schimmer durch das umgebende teiltransparente Gewebe erkennbar. Dabei sind die anatomischen Strukturen und insbesondere die embryonalen Schichten umso besser erkennbar, je näher sie an der Oberfläche des umgebenden Gewebes liegen.
Solche anatomischen Leitstrukturen, wie embryonale Schichten sie darstellen, stehen jedoch nicht in jedem Fall zur Verfügung, beispielsweise bei der Dissektion von Tumoren in voluminösen Organen, wie beispielsweise der Leber.
Durch die räumlich veränderliche Transparenz des Hilfsobjekts im erfindungsgemäßen Verfahren kann also gewissermaßen eine virtuelle anatomische Struktur oder eine virtuelle embryonale Schicht simuliert werden, an der sich der Chirurg orientieren kann, auch wenn keine entsprechenden anatomischen Strukturen im tatsächlichen Objekt vorhanden sind oder die anatomischen Strukturen nur sehr schlecht erkennbar sind.
Durch das Training und die Erfahrung des Chirurgen, embryonalen Schichten oder sonstigen anatomischen Strukturen mit entsprechenden Werkzeugen in die Tiefe des Gewebes zu folgen, spricht das erfindungsgemäße Verfahren und insbesondere die Darstellung des Hilfsobjekts mit räumlich veränderlicher Transparenz, die kognitiven Fähigkeiten des Chirurgen an, bewusst oder auch unbewusst. Durch die Erfindung wird es also dem Chirurgen erleichtert, die relevanten Informationen aus dem erweiterten Bild korrekt wahrzunehmen, insbesondere wird die Tiefenwahrnehmung verbessert.
Die Idee, welcher der Erfindung zugrunde liegt, kann in verschiedenen Ausführungsformen auch derart verstanden werden, dass ein intuitives Verständnis, welches der Chirurg beim Betrachten realer anatomischer Strukturen hat, in Situationen künstlich hervorgerufen wird, in denen entsprechende anatomische Strukturen nicht vorhanden sind oder nicht ausreichend gut erkennbar sind..
Die räumlich veränderliche Transparenz des Hilfsobjekts kann in verschiedenen Ausführungsformen auch gezielt einer embryonalen Schicht nachempfunden werden. Mit anderen Worten wird das Hilfsobjekt als künstliche embryonale Schicht simuliert, um die räumlich veränderliche Transparenz zu bestimmen.
Hierzu kann beispielsweise ein Referenztransparenzverlauf vorgegeben werden, wie er für embryonale Schichten typisch ist. Um den Referenztransparenzverlauf zu bestimmen, können beispielsweise entsprechende Referenzmessungen an realen embryonalen Schichten vorgenommen werden.
Einem Punkt auf dem Hilfsobjekt kann eine Tiefe zugeordnet werden, die einem Abstandsmaß des jeweiligen Punkts von der Oberflächenkontur entspricht, welche der Schnittlinie des Hilfsobjekts mit der Oberfläche des Objekts entspricht.
Dabei ist die Tiefe im Inneren des Objekts insbesondere positiv, auf der Oberflächenkontur gleich Null und außerhalb des Objekts negativ. Das Abstandsmaß kann dabei beispielsweise einer Länge der kürzesten Verbindungslinie zwischen dem entsprechenden Punkt und der Oberflächenkontur entsprechen. Bei gekrümmten Oberflächen ist diese Linie im Allgemeinen nicht gerade. Es können auch andere Abstandsmaße oder Metriken als Abstandsmaß verwendet werden.
Gemäß zumindest einer Ausführungsform des Verfahrens wird das erweiterte Bild derart erzeugt und angezeigt, dass die Transparenz eine Funktion der Tiefe des Punktes des Hilfsobjekts ist.
Durch die räumlich veränderliche Darstellung der Transparenz als Funktion der Tiefe kann dem Betrachter insbesondere ein Eindruck vermittelt werden, in welche Richtung das Hilfsobjekt ins Innere des Objekts verläuft, wie es insbesondere auch bei realen embryonalen Schichten der Fall wäre. Dadurch werden eine besonders intuitive Wahrnehmung und eine besonders gute Tiefenwahrnehmung für den Betrachter ermöglicht.
Gemäß zumindest einer Ausführungsform nimmt der Wert der Transparenz mit zunehmender Tiefe zu.
Der Wert der Transparenz kann dabei kontinuierlich verlaufen, stückweise kontinuierlich verlaufen und/oder abschnittsweise konstant sein.
Mit anderen Worten ist der Wert der Transparenz für einen ersten Punkt auf der Fläche zur Beschreibung des Hilfsobjekts kleiner als der Wert der Transparenz für einen zweiten Punkt auf der Fläche zur Beschreibung des Hilfsobjekts, wenn der erste Punkt auf der Oberflächenkontur liegt und der zweite Punkt innerhalb des Objekts liegt. Dies kann, muss aber nicht notwendiger Weise, für alle Paare von entsprechenden Punkten gelten. Es kann beispielsweise auch nur dann gelten, wenn die Tiefe des zweiten Punkts größer oder gleich einem vorgegebenen Schwellwert ist.
Auf diese Weise kann das Erscheinungsbild einer embryonalen Struktur besonders gut nachgestellt werden. Durch die zunehmende Transparenz mit zunehmender Tiefe wird das Hilfsobjekt in der Tiefe weniger gut sichtbar als an der Oberfläche. Die Abnahme der Sichtbarkeit mit der Tiefe muss jedoch nicht gezwungenermaßen ebenso stark ausfallen, als dies bei realen anatomischen Strukturen der Fall wäre. Dadurch kann der transportierte Informationsgehalt durch das erweiterte Bild weiter erhöht werden und auch im Vergleich zu einer realen anatomischen Struktur erhöht werden.
Gemäß zumindest einer Ausführungsform ist der Wert der Transparenz konstant, wenn die Tiefe größer oder gleich einer vorgegebenen Maximaltiefe ist.
Mit anderen Worten haben alle Punkte auf dem Hilfsobjekt mit einer Tiefe, die größer oder gleich der vorgegebenen Maximaltiefe ist, einen vorgegebenen konstanten Transparenzwert, der beispielsweise dem maximalen Transparenzwert, also beispielsweise 1, entsprechen kann.
Der Wert der Transparenz auf der Oberflächenkontur kann beispielsweise konstant sein, beispielsweise dem minimalen Transparenzwert, insbesondere 0, entsprechen.
Gemäß zumindest einer Ausführungsform weist das Hilfsobjekt einen Abschnitt auf, der sich außerhalb des Objekts befindet und insbesondere die Oberflächenkontur berührt.
Mit anderen Worten wird das Hilfsobjekt derart dargestellt, dass der Abschnitt des Hilfsobjekts scheinbar aus der Oberfläche des Objekts herausragt. So wird eine verbesserte Erkennbarkeit für den Betrachter erreicht.
Insbesondere ist die Fläche zur geometrischen Beschreibung des Hilfsobjekts an der Oberflächenkontur differenzierbar, insbesondere an jedem Punkt der Oberflächenkontur.
Mit anderen Worten ist die Fläche des Hilfsobjekts wenigstens lokal an der Oberflächenkontur regulär ausgestaltet, so dass keine Ecken oder Kanten an der Oberflächenkontur vorhanden sind. Dies hat zur Folge, dass aus dem räumlichen Verlauf des Abschnittes, der außerhalb des Objekts angeordnet ist, auf den räumlichen Verlauf eines weiteren Abschnitts innerhalb des Objekts, der die Oberflächenkontur von innen berührt, geschlossen werden kann. Dadurch wird eine noch intuitivere die Richtungsinformation an der Oberfläche noch intuitiver vermittelt.
Gemäß zumindest einer Ausführungsform ist der Wert der Transparenz in dem Abschnitt, der sich außerhalb des Objekts befindet, konstant.
Beispielsweise kann der Wert der Transparenz in dem Abschnitt dem minimalen Transparenzwert, insbesondere 0, entsprechen oder einem sonstigen konstanten Transparenzwert.
Der Abschnitt, der sich außerhalb des Objekts befindet kann also beispielsweise als Band oder Streifen mit konstanter Transparenz und/oder konstanter Breite dargestellt werden.
Gemäß zumindest einer Ausführungsform wird eine weitere geometrische Beschreibung eines Volumenbereichs an der Oberfläche des Objekts vorgegeben, wobei der Volumenbereich wenigstens einen Teil der Oberflächenkontur beinhaltet. Das erweiterte Bild wird basierend auf einer Überlagerung des Kamerabilds mit der Darstellung des Hilfsobjekts und einer Darstellung des Volumenbereichs abhängig von der weiteren geometrischen Beschreibung erzeugt. Das erweiterte Bild wird derart erzeugt, dass der Volumenbereich teilweise transparent dargestellt wird.
Dass der Volumenbereich an der Oberfläche angeordnet ist, kann insbesondere derart verstanden werden, dass ein Teil der Oberfläche den Volumenbereich begrenzt. Der Volumenbereich kann also beispielsweise als Schicht an der Oberfläche verstanden werden.
Die Darstellung des Volumenbereichs entspricht also einer Simulation des tatsächlichen Objekts an einem Teil der Oberfläche des Objekts. Der Volumenbereich verdeckt dabei in dem erweiterten Bild das tatsächliche Objekt an der entsprechenden Stelle. Da der Volumenbereich teilweise transparent dargestellt wird, also mit einem, beispielsweise konstanten, Transparenzwert, der kleiner ist als der maximale Transparenzwert und größer ist als der minimale Transparenzwert, kann ein visueller Eindruck entstehen, der den Volumenbereich wie eine teiltransparente Flüssigkeits- oder Glasschicht auf der Oberfläche des Objekts erscheinen lässt.
Da der Volumenbereich wenigstens einen Teil der Oberflächenkontur beinhaltet, verläuft das Hilfsobjekt, also die Fläche des Hilfsobjekts, wenigstens teilweise durch den Volumenbereich. Der Verlauf des Hilfsobjekts durch den Volumenbereich kann aufgrund der teilweise transparenten Darstellung des Volumenbereichs für den Betrachter gut erkannt werden, so dass die Richtungsinformation im oberen Bereich nahe der Oberfläche des Objekts noch besser vermittelt werden kann.
Gemäß zumindest einer Ausführungsform wird basierend auf dem Kamerabild und/oder basierend auf weiteren Sensordaten betreffend das Objekt eine anatomische Struktur des Objekts, insbesondere eine reale anatomische Struktur des Objekts, detektiert. Die geometrische Beschreibung des Hilfsobjekts wird basierend auf der detektierten anatomischen Struktur erzeugt und/oder die Pose des Hilfsobjekts bezüglich des Objekts wird basierend auf der detektierten anatomischen Struktur bestimmt.
Die weiteren Sensordaten können dabei zum Beispiel wenigstens teilweise durch eine Ultraschalluntersuchung des Objekts und/oder durch konfokale Mikroskopie und/oder durch hyperspektrale Bildgebung erzeugt werden.
In solchen Ausführungsformen wird das Hilfsobjekt also derart erzeugt, dass es die Lage der tatsächlichen anatomischen Struktur widerspiegelt, die vorab durch die weiteren Sensordaten und/oder durch das Kamerabild ermittelt werden können.
Beispielsweise kann mittels der Recheneinheit ein trainiertes künstliches neuronales Netzwerk auf das Kamerabild und/oder die weiteren Sensordaten angewandt werden, um die anatomische Struktur zu detektieren und insbesondere um die Form und Lage der anatomischen Struktur zu bestimmen.
In entsprechenden Ausführungsformen wird also die reale anatomische Struktur in Form des Hilfsobjekts nachgestellt, so dass eine bessere Erkennbarkeit oder Sichtbarkeit für den Betrachter ermöglicht wird.
Gemäß einem weiteren Aspekt der Erfindung wird auch eine Vorrichtung zur virtuellen Erweiterung eines Kamerabildes angegeben. Die Vorrichtung weist ein Kamerasystem auf, welches dazu eingerichtet ist, ein Kamerabild zu erzeugen, welches ein Objekt abbildet. Die Vorrichtung weist ein Speicherelement auf, welches eine geometrische Beschreibung eines virtuellen Hilfsobjekts als Fläche im Raum speichert sowie eine Pose des Hilfsobjekts bezüglich des Objekts speichert. Das Hilfsobjekt trennt dabei einen Teil des Objekts vom Rest des Objekts. Die Vorrichtung weist ein Anzeigegerät auf sowie eine Recheneinheit, die dazu eingerichtet ist, ein erweitertes Bild basierend auf einer Überlagerung des Kamerabildes mit einer Darstellung des Hilfsobjekts abhängig von der geometrischen Beschreibung und der Pose des Hilfsobjekts zu erzeugen und auf dem Anzeigegerät anzuzeigen. Die Recheneinheit ist dazu eingerichtet, das erweiterte Bild derart zu erzeugen und auf dem Anzeigegerät anzuzeigen, dass das Hilfsobjekt eine räumlich veränderliche Transparenz aufweist.
Gemäß zumindest einer Ausführungsform der Vorrichtung weist die Vorrichtung ein Endoskop auf, insbesondere ein Laparoskop, welches das Kamerasystem enthält.
Gemäß zumindest einer Ausführungsform enthält die Vorrichtung ein Sensorsystem, welches dazu eingerichtet ist, weitere Sensordaten betreffend das Objekt zu erzeugen. Die Recheneinheit ist dazu eingerichtet, basierend auf den Sensordaten oder basierend auf den Sensordaten und dem Kamerabild eine anatomische Struktur des Objekts zu detektieren und die geometrische Beschreibung des Hilfsobjekts basierend auf der detektierten anatomischen Struktur zu erzeugen und auf dem Speicherelement zu speichern und/oder die Pose des Hilfsobjekts bezüglich des Objekts basierend auf der detektierten anatomischen Struktur zu bestimmen und auf dem Speicherelement zu speichern.
Das Sensorsystem kann dabei beispielsweise ein Ultraschallsensorsystem, insbesondere einen Ultraschalltransmitter oder eine Ultraschallsonde, ein Konfokalmikroskop, oder ein System zur hyperspektralen Bildgebung, also eine Hypospektralkamera, aufweisen.
Weitere Ausführungsformen der erfindungsgemäßen Vorrichtung folgen unmittelbar aus den verschiedenen Ausgestaltungsformen des erfindungsgemäßen Verfahrens und umgekehrt. Insbesondere kann eine Vorrichtung gemäß der Erfindung dazu eingerichtet sein, ein erfindungsgemäßes Verfahren durchzuführen oder sie führt ein solches Verfahren durch.
Gemäß einem weiteren Aspekt der Erfindung wird ein Computerprogramm mit Befehlen angegeben. Bei Ausführung der Befehle durch eine erfindungsgemäße Vorrichtung, insbesondere durch die Recheneinheit der Vorrichtung, veranlassen die Befehle die Vorrichtung dazu, ein erfindungsgemäßes Verfahren durchzuführen.
Gemäß einem weiteren Aspekt der Erfindung wird ein computerlesbares Speichermedium angegeben, welches ein erfindungsgemäßes Computerprogramm speichert.
Das erfindungsgemäße Computerprogramm und das erfindungsgemä-ße computerlesbare Speichermedium können auch als jeweilige Computerprogrammprodukte mit den Befehlen aufgefasst werden.
Unter einer Recheneinheit kann insbesondere ein Datenverarbeitungsgerät verstanden werden, die Recheneinheit kann also insbesondere Daten zur Durchführung von Rechenoperationen verarbeiten. Darunter fallen gegebenenfalls auch Operationen, um indizierte Zugriffe auf eine Datenstruktur, beispielsweise eine Umsetzungstabelle, LUT (englisch: „look-up table“), durchzuführen.
Die Recheneinheit kann insbesondere einen oder mehrere Computer, einen oder mehrere Mikrocontroller und/oder einen oder mehrere integrierte Schaltkreise enthalten, beispielsweise eine oder mehrere anwendungsspezifische integrierte Schaltungen, ASIC (englisch: „application-specific integrated circuit“), eines oder mehrer feldprogrammierbare Gate-Arrays, FPGA, und/oder eines oer mehrere Einchipsysteme, SoC (englisch: „system on a chip“). Die Recheneinheit kann auch einen oder mehrere Prozessoren, beispielsweise einen oder mehrere Mikroprozessoren, eine oder mehrere zentrale Prozessoreinheiten, CPU (englisch: „central processing unit“), eine oder mehrere Grafikprozessoreinheiten, GPU (englisch: „graphics processing unit“) und/oder einen oder mehrere Signalprozessoren, insbesondere einen oder mehrere digitale Signalprozessoren, DSP, enthalten. Die Recheneinheit kann auch einen physischen oder einen virtuellen Verbund von Computern oder sonstigen der genannten Einheiten beinhalten.
In verschiedenen Ausführungsbeispielen beinhaltet die Recheneinheit eine oder mehrere Hardware- und/oder Softwareschnittstelle und/oder eine oder mehrere Speichereinheiten.
Ist im Rahmen der vorliegenden Offenbarung die Rede davon, dass eine Komponente der erfindungsgemäßen Vorrichtung, insbesondere die Recheneinheit oder das Anzeigegerät, dazu eingerichtet, ausgebildet, ausgelegt, oder dergleichen ist, eine bestimmte Funktion auszuführen oder zu realisieren, eine bestimmte Wirkung zu erzielen oder einem bestimmten Zweck zu dienen, so kann dies derart verstanden werden, dass die Komponente, über die prinzipielle oder theoretische Verwendbarkeit oder Eignung der Komponente für diese Funktion, Wirkung oder diesen Zweck hinaus, durch eine entsprechende Anpassung, Programmierung, physische Ausgestaltung und so weiter konkret und tatsächlich dazu in der Lage ist, die Funktion auszuführen oder zu realisieren, die Wirkung zu erzielen oder dem Zweck zu dienen.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren gezeigten Merkmale und Merkmalskombinationen können nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen von der Erfindung umfasst sein. Es sind insbesondere auch Ausführungen und Merkmalskombinationen von der Erfindung umfasst, die nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen von der Erfindung umfasst, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
Die Erfindung wird im Folgenden anhand konkreter Ausführungsbeispiele und zugehöriger schematischer Zeichnungen näher erläutert. In den Figuren können gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen sein. Die Beschreibung gleicher oder funktionsgleicher Elemente wird gegebenenfalls nicht notwendigerweise bezüglich verschiedener Figuren wiederholt.
In den Figuren zeigen:

1 eine schematische Darstellung einer erfindungsgemäßen Vorrichtung;
2 eine schematische Darstellung eines erweiterten Bildes;
3 eine weitere schematische Darstellung eines erweiterten Bildes; und
4 eine weitere schematische Darstellung eines erweiterten Bildes.

In 1 ist eine schematische Darstellung einer beispielhaften Ausführungsform einer Vorrichtung 1 zur virtuellen Erweiterung eines Kamerabildes gemäß der Erfindung gezeigt.
Die Vorrichtung 1 weist ein Kamerasystem 4 auf, das beispielsweise in einem Endoskop 5 integriert sein kann. Die Vorrichtung 1 weist außerdem eine Recheneinheit 7 auf, welche mit dem Kamerasystem 4 derart in einer Kommunikationsverbindung steht, dass das Kamerasystem 4 Bilddaten beziehungsweise Kamerabilder an die Recheneinheit 7 übermitteln kann. Die Vorrichtung 1, beispielsweise die Recheneinheit 7, weist außerdem ein Speicherelement 6 auf sowie ein Anzeigegerät 8, das mit der Recheneinheit 7 verbunden ist, so dass die Recheneinheit 7 das Anzeigegerät 8 zur Anzeige von Bildinformationen an einen Benutzer (nicht dargestellt) ansteuern kann.
In 1 ist außerdem ein Objekt 2, beispielsweise ein Organ eines Menschen, insbesondere eine Leber, dargestellt. In dem Objekt 2 befindet sich in einem Teil 3 des Objekts 2 ein zu entfernendes weiteres Objekt 3', beispielsweise ein Tumor oder dergleichen.
Nachdem das Kamerasystem 4 derart positioniert und ausgerichtet wurde, dass es einen Bereich des Objekts 2 abbilden kann, beispielsweise durch entsprechendes Einführen des Endoskops 5 in die Bauchhöhle des Menschen, kann die Vorrichtung 1 ein Verfahren zur virtuellen Erweiterung eines Kamerabildes gemäß der Erfindung durchführen.
Dazu kann das Kamerasystem 4 insbesondere ein Kamerabild erzeugen, welches das Objekt 2 in dem entsprechenden Sichtfeld des Kamerasystems 4 abbildet und an die Recheneinheit übermitteln. Die Recheneinheit 7 kann ein erweitertes Bild 13 (siehe 2 bis 4) erzeugen, indem sie dem Kamerabild eine Darstellung eines Hilfsobjekts 9 überlagert. Die Recheneinheit 7 kann dann das Anzeigegerät 8 ansteuern, so dass dieses das erweiterte Bild 13 anzeigt.
Das Speicherelement 6 speichert dabei eine Beschreibung des virtuellen Hilfsobjekts 9 als Fläche im Raum sowie eine Pose des Hilfsobjekts 9 bezüglich des Objekts 2. Das Hilfsobjekt 9 ist dabei derart ausgeformt und positioniert, dass es den Teil 3 des Objekts 2 vom Rest des Objekts 2 trennt. Dabei schneidet das Hilfsobjekt 9 insbesondere eine Oberfläche des Objekts 2, so dass eine Oberflächenkontur 10 an der Oberfläche des Objekts entsteht.
Die Recheneinheit 7 erzeugt das erweiterte Bild 13 dabei derart, dass das Hilfsobjekt 9 auf dem Anzeigegerät 8 mit einer räumlich veränderlichen Transparenz dargestellt wird.
Beispiele für die Darstellung werden im Folgenden anhand der Figuren 2 bis 4 erläutert, in denen jeweils ein schematisches Beispiel für ein erweitertes Bild 13 gezeigt ist.
In den Figuren 2 bis 4 ist das weitere Objekt 3' in dem Teil 3 des Objekts 2 jeweils als Kreis oder Ellipse dargestellt. Das Hilfsobjekt 9 hat beispielsweise die näherungsweise Form eines Kreiskegels oder eines Kreiskegels mit abgerundeter Spitze oder dergleichen. Es sind jedoch auch andere, insbesondere weit komplexere und/oder asymmetrische Formen des Hilfsobjekts 9 möglich. In den Figuren 2 bis 4 ist außerdem beispielhaft ein Gefäßbaum 12 in dem Objekt 2 dargestellt. Mit Vorteil kann die geometrische Form und Lage des Hilfsobjekts 9 derart gewählt werden, das Hilfsobjekt 9 keine Gefäße des Gefäßbaums 12 berührt.
Andererseits kann die Form des Hilfsobjekts 9 auch weniger komplex sein. Beispielsweise kann das Hilfsobjekt 9 die Form einer Ebene oder einer sonstigen nicht geschlossenen Fläche haben. Die Form des Hilfsobjekts 9 kann auch aus mehreren Ebenen oder nicht geschlossenen Flächen zusammengesetzt sein.
Wie beispielsweise in 3 und 4 dargestellt, nimmt die Transparenz des Hilfsobjekts 9 mit zunehmender Tiefe in dem Objekt 2 zu, so dass das Hilfsobjekt 9 an der Oberfläche des Objekts 2 deutlicher sichtbar ist, als in der Tiefe des Objekts 2. Damit wird dem Betrachter eine verbesserte Tiefenwahrnehmung vermittelt, die an das Erscheinungsbild einer embryonalen Schicht erinnert.
Optional kann das Hilfsobjekt 9 derart vorgegeben sein, dass ein Abschnitt 11 (siehe 3) des Hilfsobjekts 9 aus der Oberfläche des Objekts 2 heraussteht, so dass eine noch intuitivere Richtungsinformation, wie die Fläche des Hilfsobjekts 9 im Inneren des Objekts 2 verläuft, erzielt werden kann.
Wie beschrieben, insbesondere hinsichtlich der Figuren, wird durch die Erfindung einem Betrachter ein natürlicherer Eindruck vermittelt, insbesondere hinsichtlich der Tiefenwahrnehmung.
Nach langjähriger Ausbildung sind Chirurgen in der Regel sehr geübt darin, feinen anatomischen Strukturen in die Tiefe eines Organs zu folgen. Ein Beispiel für solche Strukturen sind embryonale Schichten, die zur Führung der chirurgischen Schnittfläche herangezogen werden können. Sie schimmern subtil durch das Gewebe, sodass von ausgebildeten Chirurgen beim Betrachten dieser Strukturen intuitiv erkannt werden kann, in welche Richtung sie mit ihren Instrumenten gehen müssen, um diesen Strukturen zu folgen.
In verschiedenen Ausführungsformen und Varianten der Erfindung können virtuelle anatomische Strukturen als Augmented Reality gerendert werden, sodass diese ähnlich echten anatomischen Strukturen erscheinen. Insbesondere kann das Erscheinungsbild von embryonalen Schichten simuliert werden. Die chirurgische Trajektorie erscheint dann näherungsweise so, wie ein Chirurg eine echte embryonale Schicht sehen würde, der er dann tiefer in das Gewebe folgen kann.
Das dem Kamerabild überlagerte Hilfsobjekt fügt der Gewebeoberfläche nicht lediglich eine Linie hinzu, sondern einen Transparenzgradienten, der den Betrachter wahrnehmen lässt, in welche Richtung die überlagerte Fläche in das Gewebe hinein verläuft. Das Rendern kann aus der Perspektive des Betrachters erfolgen, so dass eine Änderung dieser Perspektive sowie gegebenenfalls der virtuellen Umgebungslichtverhältnisse dem Betrachter helfen kann, die Richtung der virtuellen anatomischen Struktur noch besser abzuschätzen.
In verschiedenen Ausführungsformen kann das Hilfsobjekt derart dargestellt werden, dass es ein kleines Stück aus der Gewebeoberfläche herausragt, beispielsweise etwa 2 mm. Dies lässt den Chirurgen die Richtung der chirurgischen Ebenen in das Gewebe noch besser abschätzen. In verschiedenen Ausführungsformen kann auch das Gewebe gerendert werden, so dass der oberste Bereich, beispielsweise die obersten 3 mm, teiltransparent erscheinen.
In verschiedenen Ausführungsformen können reale anatomische Strukturen, wie nahe der Gewebeoberfläche sichtbaren embryonalen Schichten, segmentiert werden. Diese sind in manchen Situationen mit bloßem Auge schwer zu erkennen. Zur automatischen Erkennung dieser anatomischen Strukturen kann beispielsweise ein trainiertes künstliches neuronales Netzwerk eingesetzt werden. Die Erkennung kann rein Bild- oder Videobasiert sein oder weitere Datenquellen, wie intraoperativer Ultraschall, ein registriertes präoperatives Modell oder andere Kontextinformationen über den Patienten, können genutzt werden.
Optional können fortgeschrittene Bildgebungsverfahren wie das Scannen der Oberfläche mit konfokaler Mikroskopie oder die Integration hyperspektraler Bildgebungsfunktionen in die Segmentierung beziehungsweise Erkennung der tatsächlichen anatomischen Struktur an der Gewebeoberfläche unterstützen. Außerdem können Kontinuitätsbedingungen zur Unterstützung der Segmentierung angewendet werden. Embryonale Ebenen sind keine punktförmigen Objekte, sondern erstrecken sich als gekrümmte Linien entlang der sichtbaren Gewebeoberfläche. Verdeckte Teile der embryonalen Ebenen können daher interpoliert werden, auch unter Verwendung geometrischer Informationen aus der präoperativen oder weiteren intraoperativen Bildgebung. Optional kann eine selektive Kontrastverstärkung und/oder eine künstliche Überlagerung an der Position der anatomischen Strukturen vorgesehen werden, um sie für den Chirurgen noch besser sichtbar zu machen.
In einer weiteren Ausführungsform kann die Orientierung der embryonalen Schicht oder einer anderen anatomischen Struktur bestimmt werden, beispielsweise indem der lokale Normalenvektor der Ebene geschätzt wird, beispielsweise basierend auf einer Video-Analyse, basierend auf präoperativen Informationen und/oder basierend auf intraoperativer Bildgebung, beispielsweise durch Ultraschall oder konfokale Mikroskopie.
Beispielsweise können überlagerte künstliche anatomische Strukturen farbkodiert werden, um die Nähe zu Risikostrukturen unter der sichtbaren Gewebeoberfläche anzuzeigen.
Durch die Erfindung können insbesondere visuelle Hinweise einer virtuellen Welt auf reale Objekte angewendet werden und umgekehrt. Es kann somit ein natürlicherer Eindruck erreicht werden, falsche Interpretationen der Darstellung durch den Betrachter können vermieden werden und ein leichteres Verfolgen künstlicher und/oder natürlicher Führungsstrukturen kann ermöglicht werden.

Claims

Verfahren zur virtuellen Erweiterung eines Kamerabildes, wobei ein Kamerabild erzeugt wird, welches ein Objekt (2) abbildet, dadurch gekennzeichnet dass - eine geometrische Beschreibung eines virtuellen Hilfsobjekts (9) als Fläche im Raum sowie eine Pose des Hilfsobjekts (9) bezüglich des Objekts (2) vorgegeben werden, wobei das Hilfsobjekt (9) einen Teil (3) des Objekts (2) vom Rest des Objekts (2) trennt; - ein erweitertes Bild (13) basierend auf einer Überlagerung des Kamerabildes mit einer Darstellung des Hilfsobjekts (9) abhängig von der geometrischen Beschreibung und der Pose des Hilfsobjekts (9) mittels einer Recheneinheit (7) erzeugt und auf einem Anzeigegerät (8) angezeigt wird; und - das erweiterte Bild (13) derart erzeugt und angezeigt wird, dass das Hilfsobjekt (9) eine räumlich veränderliche Transparenz aufweist.
Verfahren nach Anspruch 1, wobei - das erweiterte Bild (13) derart erzeugt und angezeigt wird, dass die Transparenz eine Funktion einer Tiefe eines jeweiligen Punktes des Hilfsobjekts (9) ist; - die Tiefe einem Abstandsmaß des jeweiligen Punktes von einer Oberflächenkontur (10) entspricht; und - die Oberflächenkontur (10) einer Schnittlinie des Hilfsobjekts (9) mit einer Oberfläche des Objekts (2) entspricht.
Verfahren nach Anspruch 2, wobei ein Wert der Transparenz mit zunehmender Tiefe zunimmt.
Verfahren nach einem der Ansprüche 2 oder 3, wobei der Wert der Transparenz konstant ist, wenn die Tiefe größer oder gleich einer vorgegebenen Maximaltiefe ist.
Verfahren nach einem der Ansprüche 2 bis 4, wobei - das Hilfsobjekt (9) einen Abschnitt (11) aufweist, der sich außerhalb des Objekts (2) befindet; und - die Fläche zur geometrischen Beschreibung des Hilfsobjekts (9) an der Oberflächenkontur (10) differenzierbar ist.
Verfahren nach Anspruch 5, wobei der Wert der Transparenz in dem Abschnitt, der sich außerhalb des Objekts (2) befindet, konstant ist.
Verfahren nach einem der Ansprüche 2 bis 6, wobei - eine weitere geometrische Beschreibung eines Volumenbereichs an der Oberfläche des Objekts (2) vorgegeben wird, wobei der Volumenbereich wenigstens einen Teil der Oberflächenkontur (10) beinhaltet; - das erweiterte Bild (13) basierend auf einer Überlagerung des Kamerabildes mit der Darstellung des Hilfsobjekts (9) und einer Darstellung des Volumenbereichs abhängig von der weiteren geometrischen Beschreibung erzeugt wird; und - das erweiterte Bild (13) derart erzeugt wird, dass der Volumenbereich teilweise transparent dargestellt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Hilfsobjekt (9) als künstliche embryonale Schicht in dem Objekt (2) simuliert wird, um die räumlich veränderliche Transparenz zu bestimmen.
Verfahren nach einem der vorhergehenden Ansprüche, wobei mittels der Recheneinheit (7) - basierend auf dem Kamerabild und/oder basierend auf weiteren Sensordaten betreffend das Objekt (2) eine anatomische Struktur des Objekts (2) detektiert wird; und - die geometrische Beschreibung des Hilfsobjekts (9) basierend auf der detektierten anatomischen Struktur erzeugt wird und/oder die Pose des Hilfsobjekts (9) bezüglich des Objekts (2) basierend auf der detektierten anatomischen Struktur bestimmt wird.
Verfahren nach Anspruch 9, wobei die weiteren Sensordaten - wenigstens teilweise durch eine Ultraschalluntersuchung des Objekts (2) erzeugt werden; und/oder - wenigstens teilweise durch konfokale Mikroskopie erzeugt werden; und/oder - wenigstens teilweise durch hyperspektrale Bildgebung erzeugt werden.
Verfahren nach einem der Ansprüche 9 oder 10, wobei mittels der Recheneinheit (7) ein trainiertes künstliches neuronales Netzwerk auf das Kamerabild und/oder die weiteren Sensordaten angewandt wird, um die anatomische Struktur zu detektieren.
Vorrichtung (1) zur virtuellen Erweiterung eines Kamerabildes, aufweisend ein Kamerasystem (4), welches dazu eingerichtet ist, ein Kamerabild zu erzeugen, welches ein Objekt (2) abbildet, dadurch gekennzeichnet dass die Vorrichtung (1) - ein Speicherelement (6) aufweist, welches eine geometrische Beschreibung eines virtuellen Hilfsobjekts (9) als Fläche im Raum sowie eine Pose des Hilfsobjekts (9) bezüglich des Objekts (2) speichert, wobei das Hilfsobjekt (9) einen Teil (3) des Objekts (2) vom Rest des Objekts (2) trennt; - ein Anzeigegerät (8) aufweist und eine Recheneinheit (7) aufweist, welche dazu eingerichtet ist, i) ein erweitertes Bild (13) basierend auf einer Überlagerung des Kamerabildes mit einer Darstellung des Hilfsobjekts (9) abhängig von der geometrischen Beschreibung und der Pose des Hilfsobjekts (9) zu erzeugen und auf dem Anzeigegerät (8) anzuzeigen; und ii) das erweiterte Bild (13) derart zu erzeugen und auf dem Anzeigegerät (8) anzuzeigen, dass das Hilfsobjekt (9) eine räumlich veränderliche Transparenz aufweist.
Vorrichtung (1) nach Anspruch 12, aufweisend ein Endoskop (5), insbesondere ein Laparoskop, welches das Kamerasystem (4) enthält.
Vorrichtung (1) nach einem der Ansprüche 12 oder 13, wobei die Vorrichtung (1) ein Sensorsystem enthält, welches dazu eingerichtet ist, weitere Sensordaten betreffend das Objekt (2) zu erzeugen und die Recheneinheit (7) dazu eingerichtet ist, - basierend auf den Sensordaten eine anatomische Struktur des Objekts (2) zu detektieren; und - die geometrische Beschreibung des Hilfsobjekts (9) basierend auf der detektierten anatomischen Struktur zu erzeugen und/oder die Pose des Hilfsobjekts (9) bezüglich des Objekts (2) basierend auf der detektierten anatomischen Struktur zu bestimmen.
Computerprogrammprodukt mit Befehlen, welche bei Ausführung durch eine Vorrichtung (1) nach einem der Ansprüche 12 bis 14 die Vorrichtung (1) dazu veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 11 durchzuführen.