DE102006060957B4

DE102006060957B4 - Verfahren und Vorrichtung zur komprimierten Speicherung von Interaktionen an computergraphischen Volumenmodellen

Info

Publication number: DE102006060957B4
Application number: DE200610060957
Authority: DE
Inventors: Prof. Dr. Höhne Karl Heinz; Andreas Petersik; Bernhard Pflesser; Dr. Pommert Andreas; Dr. Tiede Ulf
Original assignee: Universitatsklinikum Hamburg Eppendorf
Current assignee: Universitatsklinikum Hamburg Eppendorf
Priority date: 2006-12-20
Filing date: 2006-12-20
Publication date: 2011-09-15
Anticipated expiration: 2026-12-21
Also published as: DE102006060957A1

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Codierung von aus computergraphischen Volumenmodellen erzeugten Bildfolgen, insbesondere ein Verfahren zur Codierung der durch Interaktion eines Benutzers mit einem computergraphischen Volumenmodell hervorgerufenen Veränderungen an diesem.

Description

Gegenstand der vorliegenden Erfindung ist ein Verfahren und eine Vorrichtung zur komprimierten Speicherung von Interaktionen an computergraphischen Volumenmodellen. Insbesondere betrifft die vorliegende Erfindung ein Verfahren zur komprimierten Speicherung der durch Interaktion eines Benutzers mit einem computergraphischen Volumenmodell hervorgerufenen Veränderungen an diesem.
Ein Anwendungsbeispiel ist die Simulation von Bohr- und Fräsvorgängen in der Chirurgie, wonach ein Benutzer mit einem virtuellen Werkzeug, vorzugsweise geführt durch ein Eingabegerät mit Kraftrückkopplung, mit einem computergraphischen Volumenmodell interagiert. Dem Betrachter erscheint die virtuelle Operation dabei als eine Echtzeit-Bildfolge (z. B. mit größer ca. 25 Bilder/sec) auf dem Bildschirm.
Gegenwärtig betrachten Chirurgen zur Vorbereitung und/oder während eines chirurgischen Eingriffes mehrere statische Ansichten des Operationsraums eines Patienten. Solche Daten können durch schnittbildgebende Verfahren wie die Computer-Tomographie (CT), Magnetresonanz-Tomographie (MRT), Ultraschall, Positronen-Emissions-Tomographie (PET) oder Kombinationen von diesen erzeugt werden. Jede dieser Techniken erzeugt eine ebene gitterartige Anordnung von Werten für jede einzelne einer Aufeinanderfolge von Schichten (2D-Matrix) eines Objektes. Üblicherweise ist der Operationsraum ein Teil des menschlichen Körpers, obwohl das Verfahren gleichermaßen auch auf andere natürliche oder künstliche Körper bzw. Ausschnitte aus diesen anwendbar ist.
Im Falle einer CT-Abtastung wäre der physikalische Wert der Koeffizient einer Röntgenstrahlungs-Absorption. Bei einer MRT-Bildgebung wäre der physikalische Wert die Spin/Spin- oder die Spin/Gitter-Relaxationszeit. In jedem Falle reflektieren die gemessenen physikalischen Werte die Änderungen in der Zusammensetzung, Dichte oder Oberflächeneigenschaften der darunter liegenden physikalischen Strukturen.
Die aus den Schichtbildern erhältlichen Informationen können zu einer 3D-Matrix der Messwerte zusammengefasst werden (Bildvolumen). Jedem einen Ort bzw. Volumenelement beschreibenden Wert wird in Form einer Matrix ein Messwert und zumindest ein weiteres Attribut zugeordnet. Dieses Attribut kann z. B. die Zugehörigkeit zu einem Organ und/oder den Bearbeitungszustand (z. B. abgetragen mit dem Operationswerkzeug/nicht abgetragen mit dem Operationswerkzeug) beschreiben. Aus den Schichtbildern kann z. B. ein Bildvolumen (sprich 3D-Matrix) generiert werden bestehend aus 512 × 512 × 256 adressierbaren Volumenelementen (Voxel), die jeweils mit Intensitätswerten (typischerweise Skala 0-4095) versehen sind, die mit den physikalischen Messwerten gewonnen aus den Schichtbildern für das jeweilige Volumenelement korrelieren. Um die Zugehörigkeit zu einem bestimmten Objekt festzulegen (Segmentierung), werden den Volumenelementen Attribute zugewiesen, wobei zumindest ein Attribut das jeweilige Objekt kennzeichnet. Das Objekt kann dann anhand des Attributs für die Darstellung ausgewählt und visualisiert werden.
Aus dem gewonnen 3D-Modell lassen sich mit bekannten Verfahren räumliche Ansichten (3D-Darstellung) der inneren Strukturen erzeugen. Zudem ist es möglich, aus diesen 2D-Schichtbilder beliebiger Lage und Orientierung zu extrahieren.
Neben der Diagnostik oder der Navigationsunterstützung kann obiges Verfahren auch für das Training und die präoperative Simulation von Operationen auf der Basis des 3D-Modells verwendet werden. Hierbei wird ein Werkzeug durch ein dreidimensionales virtuelles Modell repräsentiert, das mit einem 3D-Eingabegerät vom Benutzer geführt wird.
Weitere Details zur Simulation der Interaktion eines Operationswerkzeugs mit einem Volumenmodell können der Veröffentlichung „Volume cutting for virtual petrous bone surgery” in Comput. Aided Surg. 7, 2 (2002), 74–83 von Bernhard Pflesser, Andreas Petersik, Ulf Tiede, Karl Heinz Höhne und Rudolf Leuwer entnommen werden. Der Offenbarungsgehalt dieser Veröffentlichung wird zu diesem Zweck durch ausdrücklichen Verweis auch zum Gegenstand dieser Anmeldung gemacht.
In einer bevorzugten Ausführungsform übt ein 3D-Eingabegerät eine Kraftrückkopplung auf die Hand des Benutzers aus. Ein solches Eingabegerät misst die Position im Raum (3 Koordinaten) sowie die Richtung des Handgriffes (Vektor mit 3 Komponenten), an dem das Gerät geführt wird. Ein entsprechendes Programm berechnet aufgrund des 3D-Modells der Anatomie und der Position und Form des Werkzeugs die zu erwartenden Kräfte. Dazu wird eine Reihe von Abtastpunkten auf der Oberfläche des Werkzeugs verwendet, an denen permanent überprüft wird, ob eine Kollision zwischen dem zu bearbeitenden Objekt und dem Werkzeug vorliegt. In dem Fall wird eine Gegenkraft von der Objektoberfläche weg induziert, die proportional zur Eindringtiefe ist und überdies von zumindest einer Attributinformation des Voxels beeinflusst wird, z. B. in Form eines Multiplikators. Als 3D-Eingabegerät mit Kraftrückkopplung können entsprechende kommerziell vertriebene Geräte wie z. B. das Phantom^® Omni von SensAble Technologies, Inc eingesetzt werden.
Die Methodik zum Generieren einer Kraftrückkopplung ist detailliert erläutert in IS4TM 2003: 194-202, „Realistic Haptic Interaction in Volume Sculpting for Surgery Simulation” von Andreas Petersik, Bernhard Pflesser, Ulf Tiede, Karl Heinz Höhne und Rudolf Leuwer. Der Offenbarungsgehalt dieser Veröffentlichung wird hiermit durch ausdrücklichen Verweis auch zum Gegenstand dieser Anmeldung gemacht.
Das Werkzeug oder auch jedes andere vom Benutzer bewegte Objekt kann als polygonales 3D-Objekt generiert und dargestellt sein und ist in der Regel skalierbar. Es kann aus einer Bibliothek unterschiedlicher mit Polygonfunktionen dargestellter Objekte ausgewählt sein. Ist das Objekt ein Werkzeug, kann es erwünscht sein, einen aktiven Bereich (Veränderungen hervorrufende Arbeitsoberfläche des Werkzeugs, z. B. Bohrkopf) und einen passiven Bereich (z. B. Schaft) zu definieren. Ist der aktive Bereich aktiviert, ist er in der Lage, das mittels eines Volumenmodells wiedergegebene Objekt zu modifizieren. Bei deaktivierter Arbeitsoberfläche kann das Werkzeug durch den freien Raum geführt werden und ggf. zum Abtasten der (im Wesentlichen festen) Körperstrukturen verwendet werden. Das aktivierte Werkzeug bewirkt, dass das geschnittene Volumenelement (Bildung der Schnittmenge zwischen den durch ein Attribut ausgezeichneten Volumenelementen z. B. Knochen und dem aktiven Bereich des Werkzeugs) mittels eines zusätzlichen Attributs als „bearbeitet” gekennzeichnet wird.
Soweit gewünscht, können aus dem 3D-Bildvolumen 2D-Schichtbilder durch Definition einer gewünschten Ebene extrahiert werden, vorzugsweise in Richtung zumindest einer Körperachse (transversal, sagittal bzw. koronal) durch das Zentrum der Arbeitsoberfläche oder nach freier Auswahl. Dabei werden die mit „bearbeitet” gekennzeichneten Volumenelemente bevorzugt durch Anfärben unter Beibehaltung der durch das bildgebende Verfahren gelieferten Intensitätswerte visualisiert.
Die US 2004/0249303 A1 beschreibt ein Verfahren zur dreidimensionalen Darstellung und Speicherung mehr-schichtiger Objekte. Die Offenlegung betrifft das Speichern von ganzen Objekten und nicht eines reduzierten Datensatzes wiedergebend die Aktion eines Werkzeuges und Manipulationen von durch das Werkzeug bearbeiteten Objekten.
M. Jahnke: „3D-Exploration von Volumendaten”, Diplomarbeit an der Rheinischen Friedrich-Wilhelms-Universität Bonn, veröffentlicht offenbar Anfang 2002, offenbart Verfahren zur Programmierung von virtuellen Werkzeugen zur Bearbeitung von 3D-Darstellungen, gibt aber keinen Hinweis auf ein Aufzeichnungsverfahren.
Die US 2004/0085335 A1 offenbart ein Verfahren für eine integrierte zeitlich und räumliche Steuerung von Interaktionen eines einzelnen Benutzers an einem dreidimensional dargestellten Objekt. Hiernach wird eine virtuelle Kamera auf einem vorbestimmten Weg im Raum bewegt, wobei das fokussierte Objekt aus veränderlichen Blickwinkeln dargestellt wird. Im Unterschied zum vorliegenden Gegenstand kann der Benutzer lediglich den Blickwinkel der Kamera in einem vorher festgelegten Rahmen verändern, das dargestellte Objekt selbst jedoch nicht verändern. Auch die Speicherung, Bearbeitung und Wiedergabe der Daten wird nicht offenbart.
O. Sommer et al.: „An Interactive Visualization and Navigation Tool for Medical Volume Data”; veröffentlicht in Computer & Graphics, 1999, 23: 233–244 beschreiben ein Verfahren zur Verbesserung der dreidimensionalen Darstellung eines virtuellen, mehrschichtigen Objekts. Bei den so erzeugten Darstellungen kann der Benutzer keine Manipulation an dem Objekt an sich vornehmen. Auch die Art der Speicherung, Bearbeitung und Wiedergabe der Daten wird offengelassen.
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren und eine Vorrichtung zur komprimierten Speicherung der weiter oben beschriebenen Interaktion mit den oben ebenso näher beschriebenen computergraphischen Volumenmodellen zu schaffen, die es erlaubt, die Veränderungen an einem in Form eines Volumenmodells gespeicherten Objekt zu visualisieren, komprimiert aufzuzeichnen, einfach Veränderungen an einer bestehenden Aufzeichnung vorzunehmen, wiederzugeben, die Wiedergabe bzw. den Modus der Wiedergabe nachträglich zu verändern, die Wiedergabe an beliebiger Stelle anzuhalten und die zuvor gespeicherte Sequenz der Interaktionen an beliebiger Stelle anders fortzusetzen.
Die Aufgabe der vorliegenden Erfindung besteht insbesondere darin, die bekannten Verfahren, wie sie vorstehend kurz erläutert sind, dahingehend zu verbessern, dass sie zum Erstellen einer speicherextensiven Arbeitsanweisung an einen Operationsroboter und insbesondere zur Simulation für Trainingszwecke eingesetzt werden können, wobei das Werkzeug aus dem Abspulen des Speicherinhalts heraus, jederzeit ohne einen anderen Arbeitsschritt bzw. Programmablauf zu wählen, in den manuell geführten Zustand überführt werden kann.
Die Erfindung ist durch die unabhängigen Ansprüche gekennzeichnet. Bevorzugte Ausführungsformen sind Gegenstand der Unteransprüche oder nachfolgend beschrieben.
Das zu bearbeitende Objekt, z. B. ein Modell des knöchernen Schädels, liegt als ein einem Computer zugänglicher separater Speicherinhalt vor, z. B. als Bildvolumen in Form eines Kubus mit z. B. 400 × 400 × 400 Voxeln (= Volumenelementen). Den einzelnen Voxeln ist jeweils ein, aus einem Bildgebungsverfahren wie der Computertomographie stammenden, Grau- bzw. Farbwert und eine Markierung, die die Zugehörigkeit zu einem anatomischen Teilobjekt (z. B. Trommelfell) bezeichnet, zugeordnet.
Durch die Interaktion des Benutzers mit einem Werkzeug, z. B. in Form eines virtuellen Bohrers, der durch den Benutzer mittels des Eingabegeräts, vorzugsweise mit Kraftrückkopplung gesteuert wird, wird die Visualisierung des gespeicherten 3D-Bildvolumens in Echtzeit verändert.
Nach dem erfindungsgemäßen Verfahren werden die Veränderungen in Form einer Abfolge von Aktionen protokolliert. Diese Aktionen betreffen z. B. die Änderung der Blickrichtung des Beobachters, des Vergrößerungsfaktors des sichtbaren Bildes, die Änderung der Form und Größe des Bohrers, seiner Lage und Richtung im Raum und die jeweils ausgeübte Kraft, wobei die Aktionen durch Befehle codiert werden und die Abfolge der Befehle gespeichert wird.
Am Ende steht dann das Simulationsergebnis als Ergebnis der Bearbeitung des computergraphischen Volumenmodells mit dem virtuellen Werkzeug, wobei allerdings auch der Weg, der zu dem Simulationsergebnis geführt hat, nachvollziehbar sein soll. Gemäß der vorliegenden Erfindung wird der gesamte Vorgang in Form eines Aktionsprotokolls gespeichert, umfassend zumindest eine ggf. editierbare Datei, um die Interaktion später z. B. für die Dokumentation als Film abzuspielen, „zurückzuspulen” und an gewünschter Stelle neu fortzusetzen, um daraus Randbedingungen für eine Navigation bzw. kontrollierte Navigation zu berechnen oder sogar um den Vorgang einem Operationsroboter als Arbeitsanweisung zu übergeben.
Mit dem initialen Bildvolumen zusammen definiert die in das Aktionsprotokoll mitgeschriebene Sequenz der Befehle den gesamten Vorgang, sowie in Bezug auf die graphische Darstellung des Vorgangs die daraus resultierende Bildfolge auf dem Bildschirm. Sie kann deshalb vollständig aus der Befehlssequenz rekonstruiert werden. Die Bildfolge kann aus einer einzelnen oder mehreren Ansichten bestehen. In der Ausprägung des VOXEL-MAN^®-Chirurgie-Simulators besteht die Bildfolge aus zwei Ansichten des Schädels und drei orthogonalen Schnittbildern an der jeweiligen Position des Bohrers.
Das Aktionsprotokoll enthält eine Abfolge von Befehlen, die lesbar und deshalb auch leicht modifizierbar sind. Ein Fachmann kann daraus im Nachhinein auch eine neue Sequenz generieren, die das Objekt aus einem anderen Blickwinkel, anderer Vergrößerung, in anderen Farben etc. zeigt. So ist es als Anwendungsmöglichkeit z. B. gegeben, dass der Lehrende dem Studenten aus einer anderen Perspektive zeigt, was er besser oder anders hätte machen können.
Das erfindungsgemäße Verfahren erlaubt eine verlustfreie Echtzeitkompression der Bildfolge mit einem Kompressionsfaktor von 100 und mehr je nach Länge der aufgezeichneten Sequenz. Bei einer Übersetzung der Befehle in Binärcode kann der Kompressionsfaktor 1000 und mehr betragen. Damit wird die Datenmenge einer Bewegungssequenz, welches bei herkömmlicher Datenaufzeichnung typischerweise 1 bis 2 Gigabyte aufweist, auf eine Größe reduziert, die man als Email-Anhang verschicken oder auf einer elektronischen Patientenkarte speichern kann. Aus dem Code kann trotzdem ein normaler digitaler Film (z. B. im QuickTime^® Format) erzeugt werden, der auf jedem PC abgespielt werden kann.
Ebenso kann eine früher erzeugte (Teil)Sequenz in den Simulator geladen werden und die Bearbeitung fortgesetzt werden. Ein Operationsvorgang kann ebenso zu einem Zustand „zurückgespult” werden, von dem aus die Operation anders und ggf. besser fortgesetzt werden kann.
Der Code kann auch als Arbeitsanweisung für einen Operationsroboter benutzt werden oder zur Vorgabe von Randbedingungen bei der „kontrollierten Navigation” genutzt werden, z. B. kann der Bohrer abgeschaltet werden, wenn der Benutzer nicht in der richtigen Abfolge vorgeht.
Der aufgezeichnete Vorgang besteht aus einer Datei, die das Aktionsprotokoll umfasst, und einer initialen Bildvolumendatei, die das ursprüngliche Bildvolumen umfasst. Beides gemeinsam bildet das kodierte Datenobjekt. Mittels des Aktionsprotokolls kann die durch den Bearbeiter hervorgerufene Modifikation des ursprünglichen Bildvolumens als Funktion der Zeit gespeichert, rekonstruiert und dann wiedergegeben werden.
Das Aktionsprotokoll umfasst typischerweise folgende Informationen

(a) ein initiales Informations-Paket beinhaltend eines oder mehrere der nachfolgenden Merkmale: – eine Verknüpfung zum Voxel-Datensatz (initiales 3D-Datenvolumen), – eine initiale Blickrichtung, – die Definition des Eingabegerätes, einschließlich der Transformation der Bewegung des Eingabegerätes in die Raumkoordinaten der Voxeldaten, – eine Start-Position für das Werkzeug, – eine Vorgabe für die Frequenz der Datenaufzeichnung (z. B. 20 Hz) (wenn die Methode der Erfassung von Schritten mit einem Zeitstempel erfolgt ist dieses Merkmal nur fakultativ) und – eine Grundeinstellung für die Visualisierung der Voxeldaten anhand der Attribute (ggf. einschließlich der Voxel, die als mit dem Werkzeug nicht interagierend gekennzeichnet sind);
(b) ein ständiges Informations-Paket, das in dem Aufzeichnungsintervall in der Frequenz der Datenaufzeichnung geschrieben wird, umfassend eines oder mehrere der nachfolgenden Merkmale: – die gegenwärtige Position des Werkzeugs (z. B. in Form von 3 Koordinaten), – die gegenwärtige Orientierung des Werkzeugs (z. B. in Form von 3 Koordinaten) und – die Kraft (in Form eines Kraftvektors, 0 = keine Oberflächenberührung);
(c) ein Informations-Paket zum Werkzeug, das im Falle der Veränderung eines Werkzeuges neu/geändert geschrieben wird, aber eine initiale obligatorische Information darstellt, beinhaltend eines oder mehrere der nachfolgenden Merkmale: – Werkzeugform (Form und Größe) – Werkzeug aktiviert/nicht aktiviert (1 Bit) und – aktive Fläche des Werkzeuges und ggf. Schärfe des Werkzeuges;
(d) ein weiteres fakultatives Informations-Paket dient der Voxel-Attribut-Modifikation, das nicht ständig, sondern nur im Falle der Modifikation geschrieben wird und umfasst eines oder mehrere der nachfolgenden Merkmale: – Attribut-Zuordnung bohrbar/nicht bohrbar (Volumenelement zeigt keine Veränderung bei Berührung mit dem Werkzeug) und – Attribut-Zuordnung verletzlich / nicht verletzlich (auslösend z. B. ein akustisches Signal bei Berührung mit dem Werkzeug);

Das Paket (d) bzw. die zugehörige Information kann auch Bestandteil des initialen Datenvolumens sein oder in das initiale Informations-Paket (a) geschrieben werden.

(e) ein weiteres fakultatives Informations-Paket dient der Visualisierung, das nicht ständig, sondern nur im Falle der Modifikation geschrieben wird, und umfasst eines oder mehrere der nachfolgenden Merkmale: – Orientierung der Kamera (z. B. 3 Koordinaten Richtung, 3 Koordinaten Position, Vergrößerung, Brennweite), – Mitführen der Schichten in der 2-D Darstellung auf den Bohrerkopf fokussiert, – eine Stereoinformation (z. B. Augenabstand).

Die beanspruchte Vorrichtung kann weiterhin umfassen eine Bildaufnahmevorrichtung zum Aufnehmen und Erzeugen von volumetrischen dreidimensionalen Bilddaten der inneren Strukturen und ein Softwareprogramm zur Herstellung eines Datenvolumens aus den volumetrischen dreidimensionalen Bilddaten definierend die körperliche Ausdehnung der inneren Struktur durch eine Vielzahl räumlicher Koordinaten und eine Größe, die einem physikalischen Messwert entspricht. Der Messwert ist jedem durch die Koordinaten beschriebenen Orte zugeordnet. Es erfolgt ein Generieren einer Vielzahl einzelner adressierbarer Volumenelemente durch die Software aus dem Datenvolumen, wobei die Volumenelemente jeweils mit Attributen versehen werden und die mit Attributen versehenen Volumenelemente ein 3D-Modell der inneren Struktur darstellen, wobei zumindest ein Attribut, die Zugehörigkeit zu einer inneren Struktur kennzeichnet und deren Visualisierung erlaubt und das Attribut unter Verwendung der Größe, die dem physikalischen Messwert entspricht, durch Segmentierung der Volumenelemente gewinnbar ist. Vorzugsweise besteht der physikalische Messwert in einer Helligkeitsinformation erhältlich aus der Bildaufnahmevorrichtung. Die Bildaufnahmevorrichtung kann eine medizinische Bildaufnahmevorrichtung wie ein Computer-Tomograph (CT), ein Magnetresonanz-Tomograph (MRT), ein Ultraschall-Gerät, oder ein Positronen-Emissions-Tomograph (PET) sein.
Die Erfindung wird durch die Figuren beispielhaft erläutert. Es zeigen:
1 den Kodiervorgang,
2 den Dekodiervorgang,
3 Code des Aktionsprotokolls und
4 Die Abbildung modifizierter Attributinformationen als Teil einer Bohrsequenz.
Das erfindungsgemäße Verfahren wird nachfolgend beispielhaft anhand der Figuren beschrieben.
Mittels eines vom Benutzer geführten 3D-Eingabegerätes wird ein Objekt wie z. B. ein Werkzeug im 3D-Bildvolumen bewegt. Aktiviert der Benutzer den Aufzeichnungsmodus, wird zunächst das initiale Informations-Paket in das Aktionsprotokoll geschrieben, womit eine Verknüpfung zum statischen Voxel-Datensatz (initiales 3D-Datenvolumen), eine initiale Blickrichtung, die Definition des Eingabegerätes einschließlich der Transformation der Bewegung des Eingabegerätes in die Raumkoordinaten der Voxeldaten, eine Start-Position für das Werkzeug und die Frequenz der Datenaufzeichnung definiert sind.
Daneben müssen auch Informationen zum Werkzeug initial festgehalten werden, die im Falle der Auswahl eines neuen Werkzeuges aus einer Programmbibliothek modifiziert werden und Werkzeugform und Größe sowie die aktive Fläche des Werkzeuges und ggf. dessen Schärfe festhalten.
Fortfolgend wird im Takt der initialen Datenaufzeichungsfrequenz ein ständiges Informations-Paket geschrieben, das u. a. die gegenwärtige Position des Werkzeugs (z. B. in Form von 3 Koordinaten) einschließlich Orientierung und einen Kraftvektor umfasst, der bei fehlender Oberflächenberührung des Werkzeuges null ist oder einem Basiswert entspricht.
Gleichzeitig werden Attribut-Änderungen des Voxel-Datensatzes, die durch Kollision mit der aktiven Fläche des Werkzeuges verursacht werden, vorzugsweise durch Speichern in einem ergänzenden Attributvolumen erfasst, das die Volumenelemente, an denen durch die Interaktion Veränderungen hervorgerufen wurden, bezeichnet und das jeweilige geänderte Attribut (ergänzende Attributinformation). Das ergänzende Attributvolumen gibt vorzugsweise den momentanen Status aller durch die Interaktion veränderter Attributinformation wieder, jedoch nicht deren zeitliche Veränderung (Historie).
Das ergänzende Attributvolumen wird ausgelesen, um den 3D-Gegenstand gemäß momentanem Zustand darzustellen, ohne diesen aus Aktionsprotokoll und dem initialen Datenvolumen errechnen zu müssen. Es können aber auch mehrere ergänzende Attributvolumen festgehalten werden, etwa wenn der Vorgang an einem beliebigen Zeitpunkt, der nicht der Anfangszeitpunkt und nicht der Endzeitpunkt ist, fortgesetzt werden soll (quasi als Zwischenmarke) oder sonst wie zurückgegriffen werden soll, ohne den gesamten Vorgang bis dahin aus dem Aktionsprotokoll und dem initialen Datenvolumen zu rekonstruieren.
Das entsprechende Volumenelement wird dann mit dem Attribut „bearbeitet” gekennzeichnet, wobei Attribut-Änderungen nicht in dem statischen Voxel-Datensatz (initiales Datenvolumen) sondern in das ergänzende Attributvolumen geschrieben werden, das ergänzende Attributinformation umfasst, die Attributinformation des initialen Datenvolumens überschreiben oder ergänzen.
Ein weiteres fakultatives Visualisierungs-Informations-Paket zeichnet im Falle der Änderung die Orientierung der Kamera (z. B. 3 Koordinaten Richtung, 3 Koordinaten Position, Vergrößerung, Brennweite), das Mitführen der Schichten in der 2-D Darstellung auf den Bohrerkopf fokussiert, die Definition für die Schichten (z. B. Fixieren auf unmittelbar vor dem Bohrkopf und die Stereoinformation (z. B. Augenabstand) auf.
Das Aktionsprotokoll dient, auch wenn es nicht auf einem Datenträger aufgezeichnet bzw. mitgeschrieben wird, dazu mittels eines Computers ausgelesen und in eine Visualisierung in Form einer Bildfolge umgesetzt zu werden.
Die Dekodierung (2) ist letztlich nichts anderes als die Kodierung (1), nur dass nicht das Eingabegerät zum Generieren einer Bildschirmausgabe das Aktionsprotokoll schreibt, sondern das gespeicherte Aktionsprotokoll unter Zugriff auf das initiale Datenvolumen eine Bildschirmausgabe oder sogar die Steuerung eines realen Werkzeuges im Raum erzeugt bzw. bewirkt, wobei das Aktionsprotokoll die Bewegung des Werkzeuges beinhaltet und wiedergibt, sowie andererseits differentielle Änderungen an Attributen des initialen Voxel-Datenvolumens, zur Darstellung der Bildschirmausgabe aber stets des initialen Voxel-Datenvolumens bedarf, welche durch den vorherigen Vorgang, der das Schreiben des Aktionsprotokolls umfasst, nicht modifiziert wurde. Eine kommentierte Beispielssequenz des Aktionsprotokolls ist in 3 dargestellt.

Claims

Verfahren zur komprimierten Speicherung von Interaktionen an computergraphischen Volumenmodellen und zur Darstellung derselben umfassend die folgenden Schritte: – Zugreifen auf ein initiales Datenvolumen umfassend eine Vielzahl von mit Attributinformationen versehenen Volumenelementen zur Darstellung eines initialen Zustandes eines visualisierten 3D-Objekts, – Bereitstellen zumindest eines durch ein 3D-Eingabegerät relativ zum visualisierten 3D-Objekt beweglichen virtuellen 3D-Gegenstandes, – Bewegen des virtuellen 3D-Gegenstandes relativ zum visualisierten 3D-Objekt durch das 3D-Eingabegerät und Hervorrufen von Veränderungen am visualisiertem 3D-Objekt durch Interaktionen des virtuellen 3D-Gegenstandes mit dem visualisierten 3D-Objekt, dadurch gekennzeichnet, dass – Befehle definierend zumindest Form und Größe des virtuellen 3D-Gegenstandes und die zeitliche Änderung der Position und Ausrichtung und ggf. den Zustand (aktiv oder passiv) desselben in ein Aktionsprotokoll zum Erfassen der Bewegungen des 3D-Gegenstandes relativ zum 3D-Objekt geschrieben werden und – der 3D-Gegenstand und das 3D-Objekt durch Auswerten des Aktionsprotokolls oder Teilen davon und des unveränderten initialen Datenvolumens zur Darstellung oder Rekonstruktion des teilweisen oder ganzen Interaktionsvorgangs umfassend die Veränderungen am 3D-Objekt visualisiert wird.
Verfahren gemäß Anspruch 1, weiterhin umfassend – das Festhalten der durch Interaktion des 3D-Gegenstandes mit dem 3D-Objekt an diesem hervorgerufenen Veränderungen durch Schreiben von ergänzenden Attributinformationen für Volumenelemente, an denen durch die Interaktion Veränderungen hervorgerufen wurden, in ein ergänzendes Attributvolumen, und – das Visualisieren des 3D-Gegenstandes und des 3D-Objektes durch Auswerten auch des ergänzenden Attributvolumens.
Verfahren gemäß Anspruch 1 oder 2, dadurch gekennzeichnet, dass der bewegliche virtuelle 3D-Gegenstand ein Werkzeug mit passiven und aktiven oder aktivierbaren Oberflächenbereichen ist, wobei nur die aktiven oder aktivierbaren Oberflächenbereiche, wenn aktiviert, bei Interaktion mit einem oder mehreren Volumenelementen des visualisierten 3D-Objektes das Schreiben ergänzender Attributinformationen zu den entsprechenden Volumenelementen des initialen Datenvolumens bewirken.
Verfahren gemäß Anspruch 1 oder 2, dadurch gekennzeichnet, dass das mit einer Vielzahl von attributisierten Volumenelementen darstellbare 3D-Objekt ein menschlicher oder tierischer Körper oder ein Ausschnitt aus diesem ist.
Verfahren gemäß Anspruch 1 oder 2, dadurch gekennzeichnet, dass aus dem 3D-Objekt, wie durch das Aktionsprotokoll, das initiale Datenvolumen und ggf. das ergänzende Attributvolumen definiert, 2D-Schichtbilder berechnet und extrahiert werden und der virtuelle 3D-Gegenstand und ggf. dessen Bewegung in den 2D-Schichtbildern in 3D dargestellt wird.
Verfahren gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das initiale Datenvolumen definierend die körperliche Ausdehnung des 3D-Objektes und seine inneren Strukturen aus einer Vielzahl räumlicher Koordinaten zugewiesener physikalischer Messwerte des 3D-Objektes und durch Generieren einer Vielzahl von Volumenelementen über das durch die Vielzahl räumlicher Koordinaten beschriebene 3D-Objekt hergestellt ist, wobei die Volumenelemente jeweils mit Attributen versehbar sind, und die mit Attributen versehenen Volumenelemente ein 3D-Modell der inneren Strukturen darstellen, und zumindest ein Attribut die Zugehörigkeit zu einer inneren Struktur kennzeichnet und deren Visualisierung als abgegrenztes Objekt erlaubt, wobei dass Attribut unter Verwendung der Größe, die den physikalischen Messwerten entspricht, durch Segmentierung der Volumenelemente gewinnbar ist.
Verfahren gemäß Anspruch 6, dadurch gekennzeichnet, dass die Größe, die den physikalischen Messwerten entspricht, weiterhin in Helligkeitsinformation umgesetzt wird, um Volumenelemente und/oder den 2D-Schnitt durch die Volumenelemente mit unterschiedlicher Helligkeit abzubilden.
Verfahren gemäß Anspruch 6, dadurch gekennzeichnet, dass die räumlichen Koordinaten aus Schichtbildern in Form einer 3D-Matrix gewonnen werden, wie sie mit medizinischen Bildaufnahmeverfahren wie Computer-Tomographie (CT), Magnetresonanz-Tomographie (MRT), Ultraschall, Positronen-Emissions-Tomographie (PET) oder Kombinationen zugänglich sind.
Verfahren gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das 3D-Eingabegerät eine elektronische Eingabeeinheit umfasst, die die Raumkoordinaten eines realen Objektes wie eines Werkzeuges mittels eines Navigationssystems aufnimmt und das Objekt durch die abgebildete innere Struktur geführt wird oder Teile davon verändert oder bearbeitet, wobei das 3D-Modell einer Abbildung der realen Struktur einschließlich ihres Bearbeitungszustandes entspricht, und ggf. das reale Objekt von dem 3D-Modell eine Information über die Nähe zu einer zu bearbeitenden Struktur oder einer Risikostruktur erhält und dies dem Benutzer kenntlich macht.
Verfahren gemäß einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass das 3D-Eingabegerät eine Kraftrückkopplung auf die Hand des Benutzers ausübt und die Information der Kraftrückkopplung wiedergibt, mit welchem Kraftaufwand das zugehörige Volumenelement veränderlich ist.
Verfahren gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Abbildung des 3D-Objektes und ggf. zusätzlich von 2D-Schichtbildern mit einer 3D-Display-Vorrichtung erfolgt, welche Stereobilder darstellt, zur Abbildung von zumindest dem beweglichen virtuellen 3D-Gegenstand, wobei stereoskopisch rechte und linke Bilder zumindest des beweglichen virtuellen 3D-Gegenstandes angezeigt werden.
Verfahren gemäß Anspruch 11, dadurch gekennzeichnet, dass neben dem 3D-Modell zumindest ein mit diesem korrespondierendes 2D-Schichtbild in dem Aktionsprotokoll in Form einer Ebenendefinition codiert ist.
Verfahren gemäß Anspruch 11, dadurch gekennzeichnet, dass der bewegliche virtuelle 3D-Gegenstand in einem 2D-Schichtbild dargestellt wird, wobei eine 3D-Ausdehnung und Orientierung optisch simuliert ist mit Methoden der Computergraphik.
Verfahren gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bewegung des beweglichen virtuellen 3D-Gegenstandes oder in Form der dargestellten 2D-Schichtbilder gemäß Anspruch 11 als Videosequenz aufgezeichnet wird.
Verfahren gemäß einem der Ansprüche 5, 7 und 11 bis 14, dadurch gekennzeichnet, dass die dargestellten 2D-Schichtbilder den aktiven Bereich des beweglichen virtuellen 3D-Gegenstandes oder Werkzeugs schneiden und dessen Bewegung folgen.
Verfahren gemäß einem der Ansprüche 1 bis 15, dadurch gekennzeichnet, dass das Verfahren die Auswertung des initialen Datenvolumens, des Aktionsprotokolls und ggf. auch des ergänzenden Attributvolumens zur Berechnung einer realen Navigation, einer realen kontrollierten Navigation oder zur Steuerung eines realen Operationsroboters, ggf. unter manueller Einflussnahme, umfasst.
Vorrichtung, ggf. mehrteilig, zur Darstellung von 3D-Bildfolgen innerer Strukturen umfassend die Darstellung – innerer Strukturen, – der körperlichen Ausdehnung eines 3D-Werkzeuges und dessen Bewegung in den inneren Strukturen und ggf. von Veränderungen an einer oder mehreren inneren Strukturen durch die Einwirkung des Werkzeuges, wobei die Vorrichtung aufweist, – eine Datenverarbeitungsanlage umfassend einen Speicher und einen Prozessor und ein Softwareprogramm, – der Speicher ein gespeichertes initiales Datenvolumen umfassend eine Vielzahl von mit Attributinformationen versehenen Volumenelementen zur Darstellung eines initialen Zustandes eines 3D-Objektes mitsamt innerer Strukturen vorhält, und zumindest ein Attribut die Zugehörigkeit des jeweiligen Volumenelements zu einer bestimmten inneren Struktur kennzeichnet und deren Visualisierung erlaubt, – die Datenverarbeitungsanlage Werkzeuge als 3D-Computer-Simulation vorhält und deren Auswahl ermöglicht, – eine 3D-Eingabe- oder Ausgabeeinheit und – ein Display zur Darstellung des Werkzeuges in 3D und des 3D-Objektes in Form einer durch das Werkzeug hervorgerufenen Veränderung an dem 3D-Objekt, dadurch gekennzeichnet, dass – die Definition des 3D-Objektes, des Werkzeuges und der Veränderungen des 3D-Objekts durch das Werkzeug durch Lesen des Speichers über das initiale Datenvolumen und eines Aktionsprotokolls sowie durch Auswerten derselben erfolgen, – wobei das initiale Datenvolumen eine Vielzahl von mit Attributinformationen versehenen Volumenelementen zur Darstellung eines unveränderlichen initialen Zustandes eines visualisierten 3D-Objektes umfasst, – wobei das Auswerten des Aktionsprotokolls ein Auslesen von Befehlen definierend zumindest Form und Größe des Werkzeuges und dessen zeitliche Änderung, Position, Ausrichtung und ggf. Zustand (aktiv oder passiv) zum Abbilden der Bewegungen des Werkzeuges relativ zum 3D-Objekt umfasst, – wobei das initiale Datenvolumen und das Aktionsprotokoll oder das Ausführen des Aktionsprotokolls geänderte Attributinformationen, die den durch das Werkzeug verursachten Bearbeitungszustand beschreiben, ergeben und darstellen und die geänderten Attributinformationen vorzugsweise in eine separate Datei als ergänzendes Attributvolumen geschrieben werden.
Vorrichtung gemäß Anspruch 17, dadurch gekennzeichnet, dass die 3D-Eingabeeinheit ein Eingabegerät umfasst, das eine Kraftrückkopplung auf die Hand des Benutzers ausübt.
Vorrichtung gemäß Anspruch 17, dadurch gekennzeichnet, dass die 3D-Eingabe- oder Ausgabeeinheit ein Navigationssystem umfasst, das das reale Werkzeug ortet oder führt.
Vorrichtung gemäß einem der Ansprüche 17 bis 19, dadurch gekennzeichnet, dass das Display Stereobilder darstellt, zur Abbildung des 3D-Werkzeuges und der inneren Strukturen, wobei jeweils stereoskopische rechte und linke Bilder dargestellt werden.
Vorrichtung gemäß einem der Ansprüche 17 bis 20, dadurch gekennzeichnet, dass auf dem Display ein 3D-Modell korrespondierend mit einem zugehörigen 2D-Schichtbild dargestellt wird, in dem das Werkzeug in 3D zu sehen ist.
Vorrichtung gemäß einem der Ansprüche 17 bis 21, dadurch gekennzeichnet, dass die Datenverarbeitungsanlage solche 2D-Schichtbilder errechnet, die bei bewegtem Werkzeug stets einen bestimmten Punktdes Werkzeugs schneiden.
Vorrichtung gemäß einem der Ansprüche 17 bis 22, dadurch gekennzeichnet, dass das Aktionsprotokoll editierbar ist und die Bildfolge an beliebiger Stelle angehalten und das Aktionsprotokoll dort anders fortgesetzt werden kann durch Schreiben eines neuen Aktionsprotokolls oder Aktionsprotokoll-Abschnittes.
Vorrichtung gemäß einem der Ansprüche 17 bis 23, dadurch gekennzeichnet, dass die Vorrichtung ein ergänzendes Attributvolumen umfasst, in das die ergänzenden Attributinformationen für Volumenelemente, an denen durch die Interaktion Veränderungen hervorgerufen wurden, geschrieben sind, um die Veränderungen an den Volumenelementen abzubilden oder festzuhalten, wobei das ergänzende Attributvolumen vorzugsweise die Summe der geänderten Attributinformationen zur Beschreibung des Istzustandes umfasst, nicht aber die Historie der Änderungen.