-
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur stereoskopischen Darstellung von Bilddaten, insbesondere ein Verfahren und eine Vorrichtung zur stereoskopischen Darstellung von Bilddaten in der minimal invasiven Chirurgie.
-
Endoskopische Behandlungen und Untersuchungen im Bereich der Medizin ermöglichen im Vergleich zu einem offenen Eingriff am Patienten eine deutlich schonendere und weniger traumatisierende Behandlung. Daher gewinnt diese Behandlungsmethode zunehmend große Bedeutung. Bei einem minimal invasiven Eingriff werden von einem Operateur über einen oder mehrere relativ kleine Zugänge am Körper des Patienten optische und chirurgische Instrumente (Endoskope) in den Körper eines Patienten eingeführt. Der Operateur kann somit mittels der chirurgischen Instrumente eine Untersuchung und Behandlung durchführen. Gleichzeitig kann dieser Vorgang durch die optischen Instrumente überwacht werden. Einfache Endoskope erlauben dabei entweder einen direkten Blick durch ein Okular des Endoskops oder eine Betrachtung des zu operierenden Bereichs über eine am Endoskop angebrachte Kamera und einen externen Monitor. Bei diesem einfachen Endoskop ist kein räumliches Sehen möglich. Verfügt das Endoskop darüber hinaus über einen zweiten Beobachtungskanal, der eine Betrachtung des Objektes aus einer zweiten Richtung ermöglicht, so kann räumliches Sehen ermöglicht werden, indem beide Richtungen mittels zweier Okulare für das rechte und linke Auge nach außen geführt werden. Da bei einem einzelnen Endoskop der Abstand zwischen den Beobachtungskanälen in der Regel sehr klein ist (typischerweise maximal 6 mm), liefert ein solches stereoskopisches Endoskop auch nur ein sehr eingeschränktes räumliches Sehen im mikroskopischen Bereich. Für eine räumliche Betrachtung, die einem menschlichen Augenabstand von etwa 10 cm entspricht, ist es daher erforderlich, einen weiteren beabstandeten Zugangskanal zu schaffen. Da eine weitere Öffnung am Körper des Patienten für einen zusätzlichen Zugangskanal jedoch mit einer weiteren Traumatisierung des Patienten verbunden ist, sollte ein zusätzlicher Zugangskanal möglichst vermieden werden.
-
Soll in der minimal invasiven Chirurgie eine räumliche Visualisierung des Behandlungsbereichs durch ein einzelnes Endoskop ermöglicht werden, so müssen daher entweder innerhalb des Querschnitts des Endoskops zwei Beobachtungsstrahlengänge nach außen geführt werden, oder alternativ an der Endoskopspitze zwei voneinander beabstandete Kameras angeordnet werden, wie dies oben ausgeführt wurde. In beiden Fällen ist aufgrund des sehr begrenzten Querschnitts des Endoskops nur eine äußerst geringe räumliche Auflösung möglich, was zu einer stark eingeschränkten Auflösung des Darstellungsbereiches führt.
-
Alternativ ist es auch möglich, mittels eines digitalen Systems den Behandlungsbereich im Inneren des Patienten dreidimensional zu vermessen. Die Druckschrift
DE 10 2006 017 003 A1 offenbart zum Beispiel ein Endoskop mit einer optischen Tiefendatenaquisition. Hierbei wird moduliertes Licht in den Behandlungsbereich ausgesendet und basierend auf dem empfangenen Lichtsignal werden Tiefendaten des Behandlungsraumes berechnet.
-
Dabei bleibt auch nach der Ermittlung der verfügbaren Tiefendaten im Inneren des Behandlungsraumes dem Operateur weiterhin der unmittelbare räumliche Blick in den Behandlungsbereich verwehrt. Der Operateur muss basierend auf einem an einem zweidimensionalen Bildschirm dargestellten Modell seine Behandlungsschritte planen und ausführen.
-
Es besteht somit ein Bedarf nach einer verbesserten stereoskopischen Darstellung von Bilddaten, insbesondere besteht ein Bedarf nach einer stereoskopischen Darstellung von Bilddaten in der minimal invasiven Chirurgie.
-
Die vorliegende Erfindung schafft gemäß einem Aspekt ein Verfahren zur stereoskopischen Darstellung von Bilddaten in der minimal invasiven Chirurgie mit den Schritten des zumindest teilweisen dreidimensionalen Erfassens einer Oberfläche; des Erstellens einer Tiefenkarte der zumindest teilweise dreidimensional erfassten Oberfläche; des Texturierens der erstellten Tiefenkarte; des Berechnens von stereoskopischen Bilddaten aus der texturierten Tiefenkarte; und des Visualisierens der berechneten stereoskopischen Bilddaten.
-
Gemäß eines weiteren Aspekts schafft die vorliegende Erfindung eine Vorrichtung zur stereoskopischen Darstellung von Bilddaten in der minimal invasiven Chirurgie mit einer Sensorvorrichtung, die dazu ausgelegt ist, eine Oberfläche zumindest teilweise dreidimensional zu erfassen; einer Vorrichtung zur Erstellung einer Tiefenkarte, die dazu ausgelegt ist, eine Tiefenkarte aus der zumindest teilweise dreidimensional erfassten Oberfläche zu erstellen; einer Texturierungsvorrichtung, die dazu ausgelegt ist, die erstellte Tiefenkarte zu texturieren; einem Bilddatengenerator, der dazu ausgelegt ist, stereoskopische Bilddaten aus der texturierten Tiefenkarte zu berechnen; und einer Visualisierungsvorrichtung, die dazu ausgelegt ist, die berechneten stereoskopischen Bilddaten zu visualisieren.
-
Es ist eine Idee der vorliegenden Erfindung, einen nicht unmittelbar zugänglichen Bereich durch einen Sensor zunächst dreidimensional zu erfassen und aus dieser dreidimensionalen Erfassung ein digitales Modell in Form einer Tiefenkarte zu erstellen. Aus dieser Tiefenkarte können daraufhin auf einfache Weise automatisch stereoskopische Bilddaten für einen Benutzer generiert werden, die optimal auf den Augenabstand des Benutzers angepasst sind.
-
Durch die dreidimensionale Vermessung des Beobachtungsbereichs mittels eines speziellen Sensorsystems kann dabei der unzugängliche Bereich, beispielsweise im Körperinneren eines Patienten durch einen Sensor mit nur sehr geringer Baugröße erfasst werden. Die so erfassten Daten können auf einfache Weise nach außen geleitet werden, ohne dass hierzu ein Endoskop mit besonders großem Querschnitt erforderlich wäre.
-
Somit wird eine ausgezeichnete räumliche Erfassung des Behandlungsbereiches erzielt, ohne dass hierzu ein Endoskop mit außergewöhnlich großem Querschnitt oder weitere Zugänge zu dem Operationsbereich im Körperinneren des Patienten erforderlich sind.
-
Ein weiterer Vorteil besteht darin, dass ein solches Sensorsystem den zu erfassenden Bereich in einer sehr guten räumlichen Auflösung und einer entsprechend hohen Anzahl von Pixeln erfassen kann, da der Sensor am Endoskop nur eine einzelne Kamera erfordert. Somit kann bei nur geringer Traumatisierung des Patienten der zu überwachende Operationsbereich in einer sehr guten Bildqualität dargestellt werden.
-
Ein weiterer Vorteil besteht darin, dass aus dem vom Sensorsystem bereitgestellten dreidimensionalen Daten eine stereoskopische Visualisierung des zu überwachenden Bereiches generiert werden kann, die optimal auf den Augenabstand eines Benutzers angepasst ist. Somit kann die Visualisierung der Bilddaten so für einen Benutzer aufbereitet werden, dass eine optimale räumliche Erfassung möglich ist.
-
Weiterhin vorteilhaft ist, dass die Berechnung der stereoskopischen Bilddaten unabhängig von der dreidimensionalen Erfassung der Objektoberfläche durch den Sensor erfolgt. Somit kann einem Benutzer auch eine stereoskopische Darstellung des Behandlungsbereiches bereitgestellt werden, die von der aktuellen Position des Endoskops abweicht.
-
Durch geeignete Aufbereitung der Tiefenkarte aus den dreidimensional erfassten Objektdaten kann somit einem Benutzer eine Darstellung des Behandlungsbereiches bereitgestellt werden, die den realen Gegebenheiten sehr nahe kommt.
-
Gemäß einer Ausführungsform korrespondieren die berechneten stereoskopischen Bilddaten zu zwei Blickrichtungen zweier Augen eines Benutzers. Durch die Aufbereitung der stereoskopischen Bilddaten entsprechend den Blickrichtungen der Augen des Benutzers kann eine für den Benutzer optimale stereoskopische Visualisierung des Behandlungsbereiches ermöglicht werden.
-
In einer Ausführungsform umfasst die Tiefenkarte Raumpunkte der zumindest teilweise dreidimensional erfassten Oberfläche. Eine solche Tiefenkarte ermöglicht eine sehr gute Weiterverarbeitung der dreidimensional erfassten Oberfläche.
-
Gemäß einer Ausführungsform wird die dreidimensionale Erfassung der Oberfläche kontinuierlich ausgeführt, und die Tiefenkarte wird basierend auf der kontinuierlich dreidimensional erfassten Oberfläche angepasst. Auf diese Weise ist es möglich, die Tiefenkarte kontinuierlich zu ergänzen und gegebenenfalls auch zu korrigieren, so dass sukzessive ein vollständig dreidimensionales Modell des zu beobachtenden Bereiches aufgebaut wird. Somit können nach einiger Zeit auch Bildinformation über Bereiche bereitgestellt werden, die zunächst aufgrund von Abschattungen oder ähnlichem nicht erfasst werden konnten.
-
In einer weiteren Ausführungsform umfasst das erfindungsgemäße Verfahren die Schritte des Bereitstellens weiterer Bildinformationen und des Kombinierens der weiteren Bildinformationen mit der erfassten dreidimensionalen Oberfläche. Durch diese Kombination der dreidimensional erfassten Oberfläche mit weiteren Bilddaten kann eine besonders gute und realistische Visualisierung der stereoskopischen Bilddaten ermöglicht werden.
-
In einer speziellen Ausführungsform sind die weiteren Bildinformationen diagnostische Bilddaten, insbesondere Daten aus einer Computertomographie, einer Magnetresonanztomographie, einer Röntgenaufnahme und/oder einer Sonographie. Solche diagnostischen Bilddaten, die vor oder während der Behandlung erstellt wurden und im Zusammenhang mit dem zu beobachtenden Behandlungsbereich stehen, liefern besonders wertvolle Informationen für die Aufbereitung und Visualisierung des Behandlungsbereiches. Beispielsweise können diese Bilddaten direkt von den bildgebenden Diagnosevorrichtungen, oder einer Speichervorrichtung 21 bereitgestellt werden.
-
In einer weiteren Ausführungsform werden in dem Schritt zur Berechnung der stereoskopischen Bilddaten die Bilddaten für eine vorgegebene Blickrichtung berechnet. Diese Blickrichtung kann von der aktuellen Position des Endoskops mit dem Sensor zur dreidimensionalen Erfassung der Oberfläche verschieden sein. Somit kann eine besonders flexible Visualisierung des Behandlungsbereiches erreicht werden.
-
In einer speziellen Ausführungsform umfasst das erfindungsgemäße Verfahren ferner einen Schritt zum Erfassen einer Benutzereingabe, wobei die vorgegebene Blickrichtung entsprechend der erfassten Benutzereingabe angepasst wird. Somit ist es dem Benutzer möglich, die Blickrichtung individuell an seine Bedürfnisse anzupassen.
-
In einer weiteren Ausführungsform der erfindungsgemäßen Vorrichtung ist die Sensorvorrichtung an oder in einem Endoskop angeordnet.
-
In einer speziellen Ausführungsform umfasst das Endoskop ferner mindestens ein chirurgisches Instrument. Somit ist es möglich, durch einen einzigen Zugang gleichzeitig einen chirurgischen Eingriff auszuführen und dabei diesen Eingriff optisch zu überwachen.
-
In einer Ausführungsform der vorliegenden Erfindung umfasst die erfindungsgemäße Vorrichtung eine Sensorvorrichtung mit einer Time-of-Flight-Kamera und/oder eine Vorrichtung zur Triangulation, insbesondere eine Vorrichtung zur aktiven Triangulation. Durch solche Sensorvorrichtungen kann eine besonders gute dreidimensionale Erfassung der Oberfläche erreicht werden.
-
In einer weiteren Ausführungsform umfasst die Sensorvorrichtung eine Kamera, vorzugsweise eine Farbkamera. Somit können durch die Sensorvorrichtung neben der dreidimensionalen Erfassung der Oberfläche auch gleichzeitig digitale Bilddaten gewonnen werden, die zur Visualisierung des Behandlungsbereiches dienen.
-
In einer weiteren Ausführungsform berechnet der Bilddatengenerator die Bilddaten für eine vorgegebene Blickrichtung.
-
In einer speziellen Ausführungsform umfasst die erfindungsgemäße Vorrichtung ferner eine Eingabevorrichtung, die dazu ausgelegt ist, eine Eingabe eines Benutzers zu erfassen, wobei der Bilddatengenerator die stereoskopischen Bilddaten für eine Blickrichtung basierend auf der Eingabe des Benutzers berechnet.
-
In einer weiteren speziellen Ausführungsform erfasst die Eingabevorrichtung dabei eine Bewegung des Benutzers, insbesondere eine durch den Benutzer ausgeübte Geste. Vorzugsweise wird diese Bewegung oder Geste durch eine Kamera erfasst.
-
Weitere Merkmale und Vorteile von Ausführungsformen der Erfindung ergeben sich aus der nachfolgenden Beschreibung mit Bezug auf die beigefügten Zeichnungen.
-
Kurze Beschreibung der Zeichnungen
-
Es zeigen:
-
1: eine schematische Darstellung einer Vorrichtung zur stereoskopischen Darstellung von Bilddaten gemäß einer Ausführungsform der vorliegenden Erfindung;
-
2: eine schematische Darstellung der Komponenten einer erfindungsgemäßen Vorrichtung gemäß einer weiteren Ausführungsform;
-
3 und 4: schematische Darstellungen von Monitorelementen für eine stereoskopische Visualisierung; und
-
5: eine schematische Darstellung eines Verfahrens zur stereoskopischen Darstellung von Bilddaten, wie es einer weiteren Ausführungsform der vorliegenden Erfindung zugrunde liegt.
-
1 zeigt eine schematische Darstellung eines minimal invasiven Eingriffs mit einem Endoskop, das eine Vorrichtung zur stereoskopischen Darstellung gemäß einer Ausführungsform der vorliegenden Erfindung umfasst. In den Körper 2 eines Patienten ist dabei über einen Zugang 2d ein Endoskop 12 in den Körper 2b eingeführt. Dabei kann der Behandlungsraum 2a beispielsweise durch Einbringen eines geeigneten Gases geweitet werden, nachdem der Zugang 2d entsprechend abgedichtet wurde. Somit entsteht vor dem behandelnden Objekt 2c ein ausreichend großer Behandlungsraum. Durch das Endoskop 12 kann in dem Behandlungsraum 2a einerseits eine Sensorvorrichtung 10 und darüber hinaus ein oder mehrere chirurgische Instrumente 11 in den Behandlungsraum eingebracht werden. Die chirurgischen Instrumente 11 können dabei durch eine geeignete Vorrichtung 11a von außen gesteuert werden, um die Behandlung im Innenraum 2a durchzuführen.
-
Die optische Überwachung dieser Behandlung erfolgt dabei durch die Sensorvorrichtung 10. Diese Sensorvorrichtung 10 ist dabei ein Sensor, der die Oberfläche des Behandlungsraums 2a und dabei insbesondere auch die Oberfläche des behandelnden Objekts 2c dreidimensional erfassen kann. Bei der Sensorvorrichtung 10 kann es sich beispielsweise um einen Sensor handeln, der nach dem Prinzip einer Time-of-Flight-Kamera (ToF-Kamera) arbeitet. Dabei werden von einer Lichtquelle modulierte Lichtpulse ausgesendet und das von der Oberfläche gestreute und zurückgeworfene Licht von einem entsprechenden Sensor, beispielsweise einer Kamera ausgewertet. Basierend auf der Ausbreitungsgeschwindigkeit des Lichtes kann daraufhin ein dreidimensionales Modell erstellt werden.
-
Alternativ kann die Sensorvorrichtung 10 beispielsweise auch eine Triangulation durchführen, um die dreidimensionale Lage der Oberfläche im Behandlungsraum 2a zu ermitteln. Grundsätzlich kann eine solche Triangulation beispielsweise mittels passiver Triangulation durch zwei separate Kameras erfolgen. Da jedoch bei passiver Triangulation bei kontrastarmen Oberflächen (z.B. die Leber) die Lösung des Korrespondenzproblems schwierig ist und die 3D-Datendichte sehr gering ist, erfolgt vorzugsweise eine aktive Triangulation. Hierbei wird von der Sensorvorrichtung 10 ein bekanntes Muster auf die Oberfläche im Behandlungsraum 2a projiziert und die Oberfläche dabei von einer Kamera aufgenommen. Vorzugsweise erfolgt die Projizierung des bekannten Musters auf der Oberfläche mittels sichtbaren Lichtes. Zusätzlich oder alternativ kann der Operationsbereich jedoch auch mit Licht außerhalb des sichtbaren Wellenlängenbereiches beleuchtet werden, beispielsweise mit infrarotem oder ultraviolettem Licht.
-
Durch einen Vergleich des von der Kamera aufgenommenen Musters an der Oberfläche des Behandlungsraums 2a mit dem bekannten von dem Projektor ausgesendeten idealen Muster kann daraufhin die Oberfläche des Behandlungsraumes 2a dreidimensional erfasst und ausgewertet werden.
-
Dabei kann gleichzeitig oder alternierend zur dreidimensionalen Erfassung der Oberfläche auch der Behandlungsraum 2a und dessen Oberfläche von der Kamera konventionell erfasst werden. Auf diese Weise kann ein entsprechendes Farb- oder Schwarz/Weiß-Bild vom Behandlungsraum 2a erfasst werden. Vorzugsweise können dabei die Lichtquellen der Sensorvorrichtung 10 auch gleichzeitig zur Beleuchtung des Behandlungsraums 2a verwendet werden, um konventionelle Bilddaten zu erhalten.
-
Die von der Sensorvorrichtung 10 erfassten Daten über die dreidimensionale Lage der Oberfläche im Behandlungsraum 2a, sowie die von der Kamera erfassten Farb- oder Schwarz/Weiß-Bilddaten werden nach außen geführt und stehen somit für eine Weiterverarbeitung, insbesondere einer Visualisierung zur Verfügung.
-
2 zeigt eine schematische Darstellung einer Vorrichtung zur Visualisierung stereoskopischer Bilddaten, wie sie beispielsweise aus dem im Zusammenhang mit 1 beschriebenen Beispiel generiert worden sind. Die Sensorvorrichtung 10 erfasst dabei eine im Sichtbereich der Sensorvorrichtung 10 befindliche Oberfläche und deren dreidimensionale Lage einzelner Oberflächenpunkte im Raum. Wie zuvor beschrieben, kann dabei gleichzeitig oder alternierend zu der dreidimensionalen Erfassung der Raumpunkte auch eine konventionelle Erfassung von Bilddaten mittels Schwarz/Weiß- oder Farbkamera erfolgen. Die Information über die dreidimensionale Lage der Raumpunkte wird daraufhin einer Vorrichtung 20 zur Erstellung einer Tiefenkarte zugeführt. Diese Vorrichtung 20 zur Erstellung einer Tiefenkarte wertet die Informationen über die dreidimensionale Lage der Oberflächenpunkte von der Sensorvorrichtung 10 aus und erzeugt daraus eine Tiefenkarte, die Information über die dreidimensionale Lage der von der Sensorvorrichtung 10 erfassten Raumpunkte umfasst.
-
Da die Sensorvorrichtung 10 nur einen eingeschränkten Sichtbereich besitzt und darüber hinaus auch beispielsweise aufgrund von Erhebungen im Behandlungsraum 2a einige Teilbereiche zunächst aufgrund von Abschattungen nicht erfasst werden können, wird zu Beginn der dreidimensionalen Erfassung der Oberfläche im Behandlungsraum 2a die Tiefenkarte zunächst noch mehr oder weniger große Lücken aufweisen. Durch weitere kontinuierliche Erfassung der Oberfläche im Behandlungsraum 2a durch die Sensorvorrichtung 10 wird sich im Laufe der Zeit und insbesondere dann, wenn die Sensorvorrichtung 10 sich innerhalb des Behandlungsraumes 2a bewegt, die erstellte Tiefenkarte mehr und mehr vervollständigen. Somit liegen nach einiger Zeit in dieser Tiefenkarte auch Informationen über Raumpunkte vor, die aktuell nicht von der Sensorvorrichtung 10 erfasst werden können, weil sie beispielsweise außerhalb des Sichtbereiches oder hinter einer Verschattung liegen. Darüber hinaus kann durch die kontinuierliche Erfassung der Oberfläche durch die Sensorvorrichtung 10 auch eine Veränderung der Oberfläche in der Tiefenkarte korrigiert werden. Somit spiegelt die Tiefenkarte stets den aktuell vorliegenden Zustand der Oberfläche im Behandlungsraum 2a wider.
-
Die in der Tiefenkarte vorliegenden Raumpunkte der Oberfläche des Behandlungsraums 2a werden an eine Texturierungsvorrichtung 30 weitergegeben. Gegebenenfalls kann die Texturierungsvorrichtung 30 dabei die Informationen aus der Tiefenkarte mit den Bilddaten einer endoskopischen Schwarz/Weiß- oder Farbkamera kombinieren. Die Texturierungsvorrichtung 30 erzeugt aus den Raumpunkten der Tiefenkarte ein dreidimensionales Objekt mit einer zusammenhängenden Oberfläche. Durch Kombination der dreidimensionalen Raumdaten der Tiefenkarte mit den endoskopischen Kameradaten kann dabei die Oberfläche bei Bedarf geeignet eingefärbt oder schattiert werden.
-
Weitergehend ist es darüber hinaus möglich, zusätzliche diagnostische Bilddaten mit einzubeziehen. Beispielsweise können bereits präoperativ von dem behandelnden Bereich Aufnahmen erstellt werden. Hierzu eignen sich beispielsweise bildgebende diagnostische Verfahren wie Computertomographie (CT), Magnetresonanztomographie (MR oder MRT), Röntgenaufnahmen, Sonographie oder ähnliches. Ebenso ist es auch denkbar, gegebenenfalls während der Behandlung durch geeignete bildgebende diagnostische Verfahren zusätzliche Informationen zu erzeugen, die mit in den Bildgenerierungsprozess einfließen können.
-
Nachdem aus den Raumdaten der Tiefenkarte und gegebenenfalls den weiteren Bilddaten in der Texturierungsvorrichtung 30 eine Texturierung der Oberfläche des Behandlungsraumes 2a durchgeführt wurde, werden die so aufbereiteten Informationen an einen Bilddatengenerator 40 weitergegeben. Dieser Bilddatengenerator 40 erzeugt aus den texturierten dreidimensionalen Informationen stereoskopische Bilddaten. Diese stereoskopischen Bilddaten umfassen zumindest zwei zueinander leicht versetzte Bilder, die den Augenabstand eines menschlichen Betrachters berücksichtigen. Üblicherweise beträgt dabei der verwendete Abstand zwischen den beiden Augen ca. 80 mm. Einen besonders guten räumlichen Eindruck erhält ein Betrachter dabei, wenn angenommen wird, dass das zu betrachtende Objekt sich ca. 25 cm vor seinen Augen befindet. Grundsätzlich sind jedoch auch andere Parameter möglich, die für einen Betrachter einen räumlichen Eindruck des zu betrachtenden Objektes ermöglichen. Der Bilddatengenerator 40 berechnet somit aus einer vorgegebenen Blickrichtung heraus mindestens zwei Bilddatensätze, wobei sich die Blickrichtungen der beiden Bilddatensätze um den Augenabstand eines Betrachters unterscheiden. Die so generierten Bilddaten werden daraufhin einer Visualisierungsvorrichtung 50 zugeführt. Sollte für die Visualisierungsvorrichtung 50 noch weitere Information oder Daten für eine räumliche Darstellung erforderlich sein, so können diese ebenfalls durch den Bilddatengenerator 40 erzeugt und bereitgestellt werden.
-
Als Visualisierungsvorrichtung 50 eignen sich dabei alle Vorrichtungen, die dazu geeignet sind, den beiden Augen eines Betrachters jeweils unterschiedliche Bildinformationen bereitzustellen. Beispielsweise kann es sich bei der Visualisierungsvorrichtung 50 um einen 3D-Monitor handeln, oder um eine spezielle Brille, die für die beiden Augen eines Benutzers unterschiedliche Bilddaten anzeigt.
-
3 zeigt eine schematische Darstellung eines Ausschnitts von Pixeln für eine erste Ausführungsform eines 3D Monitors. Auf dem Bildschirm sind dabei nebeneinander abwechselnd Bildpunkte 51 für ein linkes Auge und Bildpunkte 52 für ein rechtes Auge angeordnet. Aufgrund einer vor diesen Bildpunkten 51 und 52 angeordneten Schlitzblende 53 sehen dabei das linke und das rechte Auge jeweils nur die für sie bestimmten Bildelemente, während die Bildpunkte für das jeweils andere Auge des Benutzers durch die Schlitzblende 53 aufgrund der jeweiligen Blickrichtung verdeckt werden.
-
4 zeigt eine alternative Form eines 3D Monitors. Dabei sind vor den Bildpunkten 51 für das linke Auge und den Bildpunkten 52 für das rechte Auge jeweils kleine Linsen 54 angeordnet, die den Strahlengang für das linke und das rechte Auge so lenken, dass ebenfalls jedes Auge nur die für das entsprechende Auge bestimmten Bildpunkte sieht.
-
Grundsätzlich sind darüber hinaus auch alle anderen Arten von 3D-fähigen Monitoren denkbar und geeignet. So können beispielsweise auch Monitore eingesetzt werden, die für das linke und das rechte Auge jeweils Licht mit einer unterschiedlichen Polarisation aussenden. Hierbei muss der Benutzer jedoch eine Brille mit einem geeigneten Polarisationsfilter tragen. Auch bei Monitoren, die abwechselnd Bilddaten für das linke und das rechte Auge ausgeben, muss ein Benutzer eine geeignete Shutterbrille tragen, die synchron zu den abwechselnd angezeigten Bildern jeweils nur für das linke und das rechte Auge abwechselnd den Blick auf den Monitor freigibt. Aufgrund der Komforteinbußen, die das Tragen einer Brille mit sich bringt, werden jedoch Visualisierungsvorrichtungen, die nach dem Prinzip der 3 und 4 arbeiten, von einem Benutzer eher akzeptiert werden, als Anzeigesysteme, die von einem Benutzer das Tragen spezieller Brillen erfordern.
-
Da die Tiefenkarte und die sich daran anschließende Texturierung, wie zuvor beschrieben, nach und nach sukzessive vervollständigt werden, liegt nach einiger Zeit ein nahezu vollständiges Modell des Behandlungsraumes 2a vor, der auch Informationen über aktuell gerade nicht sichtbare und verschattete Bereiche enthält. Daher ist es für den Bilddatengenerator 40 auch möglich, Bilddaten aus einem Betrachtungswinkel zu generieren, der nicht mit der aktuellen Position der Sensorvorrichtung 10 übereinstimmt. Es kann somit beispielsweise auch auf der Visualisierungsvorrichtung 50 eine Darstellung des Behandlungsraums 2a angezeigt werden, die mehr oder weniger stark von der aktuellen Position der Sensorvorrichtung 10 und auch der ebenfalls am Endoskopende angeordneten chirurgischen Instrumente 11 abweicht. Nachdem die Tiefenkarte ausreichend vervollständigt wurde, kann der Benutzer die gewünschte Blickrichtung nahezu beliebig vorgeben. Insbesondere durch die Kombination der räumlichen Informationen aus der Tiefenkarte mit den weiteren Bilddaten der endoskopischen Kamera und zusätzlichen diagnostischen Bildinformationen kann einem Benutzer somit auf der Visualisierungsvorrichtung 50 eine Darstellung angezeigt werden, die einer Darstellung eines geöffnetem Körpers sehr nahe kommt.
-
Für eine bessere Orientierung während des chirurgischen Eingriffs kann der Benutzer daher die Blickrichtung nach seinen Wünschen beliebig vorgeben und ändern. Dies ist beispielsweise insbesondere dann hilfreich, wenn an einem zu behandelnden Organ eine bestimmte Stelle gefunden werden soll, oder durch die Identifizierung bestimmter Blutgefäße oder ähnlichem eine Orientierung an dem entsprechenden Organ unterstützt werden soll.
-
Das Vorgeben der gewünschten Blickrichtung kann dabei durch eine geeignete Eingabevorrichtung 41 erfolgen. Bei dieser Eingabevorrichtung 41 kann es sich beispielsweise um eine Tastatur, eine Computermaus, einen Joystick, einen Trackball oder ähnliches handeln. Da der Benutzer während des chirurgischen Eingriffs jedoch normalerweise mit beiden Händen das Endoskop und die daran enthaltenen chirurgischen Mittel 11 bedienen muss, wird er in vielen Fällen keine Hand frei haben, um die Eingabevorrichtung 41 zur Steuerung der vorzugebenden Blickrichtung zu bedienen. Daher kann die Steuerung der Blickrichtung in einer bevorzugten Ausführungsform auch berührungslos erfolgen. Beispielsweise kann die Steuerung der Blickrichtung über eine Sprachsteuerung durchgeführt werden. Darüber hinaus ist auch eine Steuerung der Blickrichtung mittels spezieller, vorgegebener Bewegungen möglich. Beispielsweise kann der Benutzer durch Ausführen bestimmter Gesten die gewünschte Blickrichtung steuern. Insbesondere ist es denkbar, dass die Augenbewegungen des Benutzers überwacht und ausgewertet werden. Basierend auf den erfassten Augenbewegungen wird daraufhin die Blickrichtung für die stereoskopische Darstellung angepasst. Eine Überwachung anderer Körperteile des Benutzers zur Steuerung der Blickrichtung ist jedoch ebenso möglich. Vorzugsweise werden solche Bewegungen oder Gesten des Benutzers durch eine Kamera überwacht und ausgewertet. Alternativ kann im Falle einer Sprachsteuerung die Eingabevorrichtung 41 ein Mikrofon sein. Aber auch weitere Möglichkeiten zur Steuerung der vorgegebenen Blickrichtung sind denkbar, beispielsweise durch Bewegung eines Fußes oder ähnliches.
-
5 zeigt eine schematische Darstellung eines Verfahrens 100 zur stereoskopischen Darstellung von Bilddaten, wie es der vorliegenden Erfindung zugrunde liegt. In einem ersten Schritt 110 wird zunächst eine Oberfläche eines Behandlungsraumes 2a mindestens teilweise dreidimensional erfasst. Wie zuvor beschrieben, kann diese dreidimensionale Erfassung der Oberfläche des Behandlungsraumes 2a durch einen beliebigen geeigneten Sensor 10 erfolgen. Weiterhin wird in Schritt 120 basierend auf der dreidimensionalen Erfassung der Objektoberfläche eine Tiefenkarte erstellt. Diese erstellte Tiefenkarte enthält Raumpunkte der dreidimensional erfassten Oberfläche. Da die Sensorvorrichtung 10 nur einen begrenzten Blickwinkel aufweist und darüber hinaus gegebenenfalls Teilbereiche durch Verschattungen zunächst nicht erfasst werden können, kann die so erstellte Tiefenkarte zu Beginn zunächst unvollständig sein. Durch Bewegen des Endoskops und somit auch der Sensorvorrichtung 10 innerhalb des Behandlungsraums 2a können kontinuierlich weitere Raumpunkte der Oberfläche dreidimensional erfasst werden und diese Informationen in die Tiefenkarte mit integriert werden. Ebenso können bei Veränderungen an der erfassten Oberfläche entsprechende Informationen in der Tiefenkarte korrigiert werden.
-
Nachdem eine Tiefenkarte mit einer zumindest teilweise dreidimensional erfassten Oberfläche erstellt wurde, wird mit dem in der Tiefenkarte vorhandenen Raumpunkten in Schritt 130 eine Texturierung durchgeführt. Dieser Texturierung können gegebenenfalls vorhandene weitere Bilddaten aus einer Kamera der Sensorvorrichtung 10 und/oder weiteren diagnostischen Bildinformationen von bildgebenden Verfahren wie Computertomographie, Magnetresonanztomographie, Sonographie oder Röntgen mit integriert werden. Auf diese Weise entsteht zunächst ein dreidimensionales farbiges oder schwarz-weißes Bild der Oberfläche des Behandlungsraums 2a. Aus der so texturierten Tiefenkarte werden daraufhin in Schritt 140 stereoskopische Bilddaten errechnet. Diese stereoskopischen Bilddaten umfassen mindestens zwei Darstellungen aus einer vorgegebenen Blickrichtung, wobei sich die Darstellung entsprechend dem Augenabstand eines Betrachters unterscheiden. Abschließend werden in Schritt 150 die zuvor berechneten stereoskopischen Bilddaten auf einem geeigneten Anzeigegerät visualisiert.
-
Die Blickrichtung, die der Berechnung der stereoskopischen Bilddaten in Schritt 140 zugrunde liegt, kann dabei beliebig angepasst werden. Insbesondere kann die Blickrichtung für die Berechnung der stereoskopischen Bilddaten von der Blickrichtung der Sensorvorrichtung 10 verschieden sein. Zur Einstellung der Blickrichtung, die der Berechnung der stereoskopischen Bilddaten in Schritt 140 zugrunde liegt, kann das erfindungsgemäße Verfahren einen weiteren Schritt umfassen, in dem eine Benutzereingabe erfasst wird und daraufhin die Blickrichtung für die Berechnung der stereoskopischen Bilddaten entsprechend der Benutzereingabe angepasst wird. Vorzugsweise erfolgt die Benutzereingabe zur Anpassung der Blickrichtung dabei berührungslos. Beispielsweise kann die Benutzereingabe durch Auswertung einer vorgegebenen Benutzergeste erfolgen.
-
Zusammenfassend betrifft die vorliegende Erfindung eine Vorrichtung und ein Verfahren zur stereoskopischen Darstellung von Bilddaten, insbesondere zur dreidimensionalen Darstellung von Bildinformationen bei einer minimal invasiven Chirurgie, die mittels eines Endoskops ausgeführt wird. Dabei wird zunächst der Operationsbereich eines Endoskops mittels einer Sensorvorrichtung dreidimensional erfasst. Aus den sensorisch gewonnenen 3D-Daten werden stereoskopische Bilddaten generiert und auf einer geeigneten Anzeigevorrichtung visualisiert.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102006017003 A1 [0004]
