DE19726390A1 - Ultraschallsimulator mit Falldatenbasis - Google Patents

Description

Die Erfindung betrifft ein Verfahren zur Simulation einer Ultraschalluntersuchung anhand von dreidimensionalen Bilddaten unter Verwendung einer (1) Falldatenbasis mit dreidimensionalen Ultraschallbilddaten auf einem Datenspeicher, (2) einer Visualisierungseinheit zur graphischen Darstellung eines Patientenmodells, eines Modells des Ultraschallapplikators und der durch die Simulation erzeugten Ultraschallbilder auf einem Computermonitor, (3) einer Interaktionskomponente zur Steuerung des Ultraschallapplikators und (4) einer Rekonstruktionseinheit zur Erzeugung von Ultraschallbildern aus den Falldaten.

In der Technik, insbesondere aber der medizinischen Diagnostik spielt der Ultraschall heute eine bedeutende Rolle. Als bildgebendes Verfahren erlaubt er Einblick in den menschlichen Körper. Die Visualisierung erfolgt i.a. durch Schichtbilder, die anatomische Strukturen einer Abbildungsebene darstellen. Die Interpretation der erzeugten Bilder setzt Kenntnisse und Erfahrungen im Umgang mit Ultraschallgeräten voraus. Von besonderer Bedeutung ist hierbei die mentale Einordnung von Schichtbildern in die dreidimensionale Realität und die Zuordnung von Grautonmustern zu Organen bzw. pathologischen Veränderungen. Aufgabe der Erfindung ist es, ein Verfahren für einen Trainingssimulator zur Verfügung zu stellen, welcher diese Kenntnisse und Erfahrungen auf einfache Weise vermittelt, ohne den Zugriff auf relativ teure Technik eines Ultraschallgeräts und auf entsprechende Probanden vorauszusetzen. Das Verfahren erlaubt es, durch graphische Interaktion das Modell eines Ultraschallapplikators (Transducer) bzw. des von diesem beschallten Bereichs bzgl. der Oberfläche des Patientenmodells zu bewegen und quasi in Echtzeit zugehörige Schichtbilder aus einem Ultraschall-Bilddatenvolumen zu generieren und darzustellen.

Ultraschallsimulatoren, wie sie z. B. in Grunst et al.1

Grunst, G.; Fox, T.; Quast, K.-J. und Redel, D.A. (1995): Szenische Enablingsysteme - Trainingsumgebungen in der Echokardiographie. In: Glowalla, U.; Engelmann, E.; de Kemp, A.; Rossbach, G. and Schoop, E.: Auffahrt zum Information Highway, Kongreßband Deutscher Multimedia Kongreß 95, Berlin, Heidelberg, Springer, S. 174-178) und Bergman et al.

2

Bergman, M.; Aiger, D.; Levit, D.; Tepper, R. (1994): Medical Reproduction System, US-Patent NR. 5,609,485, 11. März 1997 beschrieben werden, arbeiten mit physikalischen Modellen eines Patienten und des Ultraschall-Applikators. Dabei wird ein physikalisches Modell eines Applikators über einem Patientenmodell, z. B. eine Puppe, bewegt und mit Hilfe eines Sensorsystems Position und Orientierung des Applikators erfaßt. Auf einem Computermonitor kann dann diese Anordnung durch graphische Visualisierung eines digitalen Patientenmodells und eines digitalen Modells des Applikators zur Kontrolle angezeigt werden. Bei der Erfindung nach Anspruch 1 sind weder physikalische Modelle des Patienten und des Ultraschall-Applikators, noch eine Sensoreinheit zur Erfassung geometrischer Raumparameter notwendig. Die Interaktion erfolgt hier rein graphisch anhand der dreidimensionalen Visualisierung des digitalen Patienten- und des Applikatormodells.

Die Erfindung nach den Ansprüchen 2 bis 4 bietet zudem den Vorteil, daß die auf einem Datenträger gespeicherte Falldatenbasis sehr einfach durch neue Fälle in der Form von Ultraschall-Volumenbilddatensätzen, die durch Ultraschall- Untersuchung lebender Körper gewonnen wurden, erweitert werden kann und schließlich die Basis für ein umfassendes Ultraschall-Trainingssystem mit einer Vielzahl unterschiedlicher Organe und Pathologien werden kann. Dabei besteht die Hauptaufgabe in der geometrischen Zuordnung bzw. Transformation zwischen dem digitalen Patientenmodell und dem Ultraschall-Volumenbilddatensatz. Durch Verwendung eines volumenorientierten Patientenmodells auf der Basis von dreidimensionalen Bilddaten z. B. aus der Kernspin-Tomographie oder der Computertomographie und ein Verfahren der geometrischen Registrierung anhand anatomischer Landmarken wird diese Aufgabe gelöst.

Es ist weiterhin von Vorteil, daß sowohl Ultraschall-Schichtbilder rekonstruiert und auf dem Monitor dargestellt werden können, als auch Schichtbilder, die aus dem digitalen Patientenmodell rekonstruiert werden und in Lage und Orientierung den Ultraschallbildern entsprechen. Damit läßt sich die Interpretation der Ultraschallbilder unterstützen.

Ausführungsbeispiel

Das Verfahren der Ultraschallsimulation besteht aus folgenden wesentlichen Komponenten:

• 1. Verfahren zur Visualisierung des Patientenmodells, eines Modells eines Ultraschall-Applikators und rekonstruierter Bilder und zur graphischen Interaktion.
• 2. Verfahren zur Rekonstruktion von Schichtbildern aus Volumenbilddatensätzen.
• 3. Verfahren zur Definition und Berechnung der geometrischen Transformation zwischen Volumenbilddatensätzen anhand anatomischer Landmarken.

Abb. 1 zeigt eine mögliche Konfiguration eines Ultraschall-Simulationssystems. Auf einem peripheren Speicher, z. B. einer Festplatte oder einer optischen Platte, befinden sich Falldaten. Diese bestehen aus bildbeschreibenden (z. B. Angaben über Anatomie, Pathologie, Herkunft der Daten) und Bilddaten, wobei jeder Bildpunkt (Voxel) Eigenschaften eines kleinen Gewebevolumens durch einen oder mehrere Intensitätswerte beschreibt. Die Information über die geometrische Einordnung jedes Bildpunktes in ein Raumkoordinatensystem ist ebenfalls Bestandteil der Bilddaten. Ein Bilddatenvolumen kann z. B. aus einem dreidimensionalen, regelmäßigen Gitter bestehen, wobei an jedem Gitterkreuzungspunkt ein Voxel existiert. Es können aber auch unregelmäßige Gitterstrukturen vorliegen. Nach Auswahl des für die Simulation zu verwendenden Falls werden die zugehörigen Bilddaten in einen flüchtigen Speicher, i.d.R. den Arbeitsspeicher eines Computersystems, geladen und stehen dort für die Rekonstruktion von Schichtbildern zur Verfügung.

Desweiteren existiert auf einem peripheren Speicher ein digitales Modell eines Patienten bzw. von Körperteilen eines Patienten. Dieses besitzt ein Raumkoordinatensystem - im folgenden genannt Patientenkoordinatensystem - und besteht aus mehreren Bilddatensätzen. Ein Bilddatensatz beschreibt die dreidimensionale Geometrie der Körper- bzw. von Organoberflächen bzgl. des Patientenkoordinatensystems. Die Beschreibung kann z. B. als Dreiecksnetz vorliegen. Dabei wird die Oberfläche durch kleine Dreiecke approximiert, wobei die Raumkoordinaten der Eckpunkte den wesentlichen Inhalt des Datensatzes bilden. Weitere Bilddatensätze beschreiben den Inhalt des Körpers bzw. von Organen volumenorientiert. Es handelt sich hierbei um Volumenbilddatensätze (s. o.), die durch bildgebende Verfahren, wie z. B. Computer- und Kernspin-Tomographie von lebenden oder toten Körpern aufgenommen werden können. Es können auch digitale anatomische Atlanten verwendet werden. Zu jedem Bilddatensatz existiert eine geometrische Transformationsvorschrift zur Abbildung des Bildkoordinatensystems in das Patientenkoordinatensystem. Das Patientenmodell wird zu Beginn der Simulation ebenfalls in den Arbeitsspeicher geladen.

Desweiteren existiert ein digitales Modell eines Ultraschall-Applikators (Transducer). Dieses beinhaltet Daten, die seine Oberfläche beschreiben. Die Daten sind auf einem peripheren Speicher abgelegt und werden zu Beginn der Simulation in den Arbeitsspeicher geladen.

Die Visualisierung des Patientenmodells zum Zwecke der Interaktion erfolgt mit Methoden der Oberflächengraphik auf der Basis der Oberflächendaten. Dabei wird eine Pseudo-3D-Darstellung des Modells erzeugt und in einem Darstellungsfenster eines Computermonitors dargestellt. Es können verschiedene Visualisierungsarten verwendet werden, z. B. als Drahtgittermodell oder als oberflächenschattiertes Modell mit Gouraud-Schattierung. Die Visualisierung kann aber auch durch Methoden der Volumengraphik auf der Basis der Volumenbilddaten erfolgen. In die erzeugte Pseudo-3D-Darstellung wird das Modell des Ultraschall-Applikators durch Oberflächengraphik eingeblendet. Zusätzlich oder alternativ dazu kann die beschallte Schicht als Ebene eingeblendet werden.

Die Interaktion erfolgt anhand der Pseudo-3D-Darstellung von Patient und Ultraschall-Applikator. Als Eingabemedium kann z. B. eine Computermaus verwendet werden. Durch "Ergreifen des Applikators" in der Pseudo-3D-Dar­ stellung und Verschieben, Kippen oder Drehen desselben kann eine Ultraschalluntersuchung simuliert werden. Die Interaktion kann auch auf indirektem Wege, z. B. durch Einstellen von Parametern der Position und Orientierung über Zahleneingabe erfolgen. Ohne wesentliche Zeitverzögerung wird die Pseudo-3D-Darstellung den veränderten Parametern angepaßt, d. h. der eingeblendete Applikator bzw. die eingeblendete Ebene werden neu gezeichnet. Die so definierte Schicht wird durch Rekonstruktion aus dem im Arbeitsspeicher befindlichen Ultraschall-Volumenbilddaten als Schnittbild berechnet und in einem weiteren Fenster des Monitors zur Darstellung gebracht. Desweiteren können aus den Volumenbilddaten des Patientenmodells rekonstruierte Schnittbilder in weiteren Monitorfenstern bzw. durch Umschalten im selben Monitorfenster dargestellt werden (Abb. 2).

Bei der Rekonstruktion von Schichtbildern aus Volumenbilddatensätzen werden die geometrischen Parameter der bzgl. des Patientenkoordinatensystems interaktiv definierten Schallebene auf das Bildkoordinatensystem übertragen. Dazu wird die bei der geometrischen Registrierung ermittelte Transformationsvorschrift des Volumenbilddatensatzes verwendet. Damit läßt sich die Lage und Position der Ebene im Bildkoordinatensystem bestimmen. Zur Erzeugung des Schichtbildes wird im einfachsten Falle für jeden Bildpunkt der Ebene (Pixel) seine Ortskoordinaten im Bildvolumen bestimmt. Damit können die Nachbarpunkte des Volumendatensatzes (Voxel) für diesen Ort ermittelt werden. Aus deren Intensitätswerten wird dann z. B. durch trilineare Interpolation oder durch Wahl des nächstgelegenen Nachbarpunkts der Intensitätswert des zu bestimmenden Pixels berechnet. Für die Simulation best. Transducer-Techniken können verschiedene Geometrien der Schallebene bzw. ihrer Rasterung berücksichtigt werden. So kann z. B. ein Curved-Array-Transducer durch eine fächerförmige Anordnung des Abtastrasters simuliert werden.

Von besondere Bedeutung ist die einfache Erweiterbarkeit der Falldatenbasis. Ein wesentlicher Vorteil der Erfindung besteht darin, daß das Simulationsverfahren nicht nur mit einem einzelnen besonders gut aufbereiteten Ultraschall-Bilddatenvolumen arbeitet, sondern die Integration einer Vielzahl von Fällen (Organen, Pathologien) zuläßt. Die Aufnahme eines neuen Ultraschall-Bilddatenvolumens in die Falldatenbasis erfolgt durch Aufbereiten der Bilddaten, d. h. ihrer Konvertierung in ein vom Simulator lesbares Format, durch Speichern der Bilddaten auf dem peripheren Datenspeicher und durch Ermittlung und Speichern der geometrischen Transformationsbeziehung zwischen dem Bilddatenvolumen und dem Patientenkoordinatensystem (Abb. 3). Letzteres erfolgt durch geometrische Registrierung auf der Basis des digitalen Patientenmodells. Dazu werden auf dem Monitor Bilder des Patientenmodells sowie des Ultraschall-Bilddatenvolumens dargestellt. Beispielsweise können in zwei Fenstern Schnittbilder dargestellt werden, die aus einem Bilddatenvolumen des Patientenmodells und dem Bilddatenvolumen des aufzunehmenden Falls rekonstruiert wurden. Eine Interaktionskomponenten erlaubt für jedes der beiden Bilddatenvolumen die freie Wahl der Rekonstruktionsebene. Bei der interaktiven Definition von Landmarken werden anatomische Landmarken, die sowohl in dem einen wie auch dem anderen Bilddatenvolumen anhand der rekonstruierten Schnittbilder sichtbar gemacht wurden, z. B. durch Markieren mit einer Computermaus einander zugeordnet. Es werden also Paare von Bildpunkten, die sich anatomisch entsprechen, definiert. Die Ortskoordinaten dieser Paare im jeweils zugehörigen Bildkoordinatensystem werden gespeichert. Aus mindestens 3 dieser Koordinatenpaare läßt sich z. B. durch die mathematische Methode der Minimierung der mittleren quadratischen Abweichung eine Transformationsbeziehung zwischen den beiden Datensätzen bzw. den zugrundeliegenden Raumkoordinatensystemen bestimmen. Es werden mindestens Translations-, Rotations- und Skalierungsparameter bestimmt. Denkbar sind auch Verfahren der elastischen Registrierung.

Claims (4)

1. Verfahren zur Simulation einer Ultraschalluntersuchung anhand von dreidimensionalen Bilddaten unter Verwendung einer (1) Falldatenbasis mit dreidimensionalen Ultraschallbilddaten auf einem Datenspeicher, (2) einer Visualisierungseinheit zur graphischen Darstellung eines Patientenmodells, eines Modells des Ultraschallapplikators und der durch die Simulation erzeugten Ultraschallbilder auf einem Computermonitor, (3) einer Interaktionskomponente zur Steuerung des Ultraschallapplikators und (4) einer Rekonstruktionseinheit zur Erzeugung von Ultraschallbildern aus den Falldaten, dadurch gekennzeichnet, daß die Interaktion ohne Einsatz physikalischer Modelle auf graphisch-interaktivem Wege durch die gemeinsame graphische Darstellung (1) des digitalen Patientenmodells und (2) des digitalen Modells des Ultraschallapplikators und/oder des vom Applikator beschallten Körpervolumens auf einem Computermonitor erfolgt, wobei Position und Orientierung des Ultraschallapplikators bzgl. des Patientenmodells über ein graphisches Eingabemedium, wie z. B. eine Computermaus, durch den Benutzer gesteuert werden können.

2. Verfahren zur Simulation einer Ultraschalluntersuchung anhand von dreidimensionalen Bilddaten unter Verwendung einer (1) Falldatenbasis mit dreidimensionalen Ultraschallbilddaten auf einem Datenspeicher, (2) einer Visualisierungseinheit zur graphischen Darstellung eines Patientenmodells, eines Modells des Ultraschallapplikators und der durch die Simulation erzeugten Ultraschallbilder auf einem Computermonitor, (3) einer Interaktionskomponente zur Steuerung des Ultraschallapplikators und (4) einer Rekonstruktionseinheit zur Erzeugung von Ultraschallbildern aus den Falldaten, dadurch gekennzeichnet, daß das verwendete digitale Patientenmodell auf einem Datenspeicher abgelegt ist und den menschlichen Körper oder einen Körperteil beschreibt durch (1) ein oder mehrere Volumenbilddatensätze und/oder (2) Daten, die die Geometrie von Gewebe- oder Organoberflächen beschreiben. Dabei besteht ein Volumenbilddatensatz aus Bildelementen (Voxel), die bestimmte Eigenschaften des vom Voxel überdeckten Gewebevolumens durch einen Zahlenwert beschreiben, und geometrischer Information, die die Einordnung jedes Voxels in ein räumliches Koordinatensystem erlaubt. Volumenbilddatensätze können durch bildgebende Verfahren, wie z. B. Computertomographie und Kernspin-Tomographie von einem lebenden oder toten Probanden gewonnen werden.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß die Falldatenbasis dadurch erweitert werden kann, daß ein von einem Probanden aufgenommener Ultraschall-Volumenbilddatensatz retrospektiv mit dem digitalen Patientenmodell geometrisch registriert wird, wobei in den Bilddaten des Patientenmodells und des neuen Falls erkennbare anatomische Landmarken einander zugeordnet werden und aus diesen Angaben die geometrische Transformationsbeziehung zwischen den beiden Bilddatensätzen ermittelt wird.

4. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß bei der Rekonstruktion und Visualisierung neben den Ultraschall-Volumenbilddaten des gewählten Falls weitere Volumenbilddaten, insbesondere die des Patientenmodells, quasi gleichzeitig verwendet werden können, so daß auf dem Monitor alternativ oder simultan neben dem Ultraschall- Schichtbild des Falls Schichtbilder, die in Lage und Orientierung bzgl. des Patienten dem Ultraschallbild entsprechen, angezeigt werden können und so eine bessere Orientierung bzw. anatomische Interpretation für den Benutzer möglich wird.