-
Die Erfindung betrifft eine medizinische
Systemarchitektur zur Übertragung
und Darstellung von Bilddaten medizinischer Multikomponentenbilder
mit wenigstens einer Modalität
zur Erfassung von Untersuchungs-Bildern, mit den jeweiligen Modalitäten zugeordneten
Rechnerarbeitsplätzen
zur Verarbeitung der Untersuchungs-Bilder, mit einer Vorrichtung
zur Übertragung
von den Untersuchungs-Bildern, mit einer Vorrichtung zur Speicherung
der Daten und Untersuchungs-Bilder und mit weiteren Benutzerarbeitsplätzen zur
Nachbearbeitung der Untersuchungs-Bilder sowie ein Verfahren zum
Betrieb einer derartigen medizinischen Systemarchitektur. In diesen
medizinischen Systemarchitekturen werden große Bilddatensätze übertragen
und visualisiert, wobei oft nur eine vergleichsweise geringe Übertragungsbandbreite
zur Verfügung
steht.
-
Aus dem Buch "Bildgebende Systeme für die medizinische
Diagnostik", herausgegeben
von H. Morneburg, 3. Auflage, 1995, Seiten 684ff sind medizinische
Systemarchitekturen, sogenannte PACS (Picture Archival and Communication
Systeme), bekannt, bei denen die durch Modalitäten erzeugten Bilder in einem
Bildspeicher- und Bildarchivierungssystem abgelegt werden. Zum Abruf
von Patienten- und Bilddaten sind Bildbetrachtungs- und Bildbearbeitungsplätze, sogenannte
Workstations, über
ein Bildkommunikationsnetz miteinander verbunden.
-
Bei den Bilddaten kann es sich um
Einzelbilder, Bildserien oder Volumina handeln. Bei Einzelbildern,
die derzeit nur langsam übertragen
werden können,
handelt es sich beispielsweise um Mammographiebilder. Eine Bildserie
oder auch Multikomponentenbild umfasst u.a. einen Satz von Einzelbildern, sogenannte
Bildkomponenten oder auch einfach nur Komponenten, die Bezug zueinander
aufweisen. Weiterhin kann ein Multikom ponentenbild neben den Bildern
auch Nichtbildinformationen enthalten, z.B. EKG-Signale. Beispielsweise
kann es sich dabei um CT-Schichten handeln, deren Lage sich entlang
einer sog. z-Achse, die Richtung der Spiralbahn, festlegen lässt. Natürlich können Multikomponentenbilder
nicht nur mit CT sondern auch mit anderen Modalitäten, beispielsweise
mittels Magnetresonanzverfahren erzeugt werden. Selbst Volumina,
wie sie bei 3D-Rotations Angiographie gewonnen werden, können als Multikomponentenbilder
interpretiert werden, und auch Bildsequenzen, wie sie bei Herzuntersuchungen
anfallen, gehören
dazu. Im ersten Fall liegen die Daten nämlich in einem gemeinsamen
räumlichen Koordinatensystem
vor. Im zweiten Fall gibt es zwei Raum- und eine Zeitachse, die
allen Einzelkomponenten gemeinsam sind.
-
Zur Steuerung einer interaktiven Übertragung
komprimierter Multikomponentendaten können Parameter verwendet werden,
die innerhalb bestimmter Intervalle frei einstellbar sind. Beispielsweise
kann man so komprimierte Bilddaten übertragen, mit denen sich nach
Empfang und Dekomprimierung ein Bildteilbereich (ROI) in einer gewählten Auflösung mit
geforderter Bildqualität
ergibt. Bereits während
der Datenübertragung
ist eine Bildanzeige jedoch möglich,
bei der beispielsweise ein Bild anfangs in einer niedrigen Auflösungsstufe
mit geringer Qualität
angezeigt wird. Sobald mehr Daten vorliegen, geht man dann zu höheren Auflösungen mit
besserer Qualität über. Dieser
Visualisierungsvorgang wird als progressive Bilddarstellung bezeichnet.
-
Derzeitige Bilddatenkompressionsverfahren wie
JPEG-2000 oder Motion JPEG-2000 sind in der Lage, komprimierte Einzelbilddaten
und Komponenten von Farbbildern paketorientiert zu repräsentieren. Man
kann Farbbilder als spektrale Multikomponentenbilder verstehen,
bei denen normalerweise alle Komponenten zusammen als Farbbild dargestellt werden.
JPEG-2000 bietet die Möglichkeit,
durch gezielte Übertragung
von Paketen die Auflösung,
den Ausschnitt und die Bildqualität von Einzel- (farb)bildern zu
steuern. Das standardisierte JPEG-2000 (Part 1) bietet
bereits wichtige Voraussetzungen zur Übertragung komprimierter Bilddaten
und deren progressiven, mehrfachaufgelösten Darstellung. Mit JPEG-2000
lassen sich während
der Bilddatenkompression Pakete generieren, deren komprimierter
Bilddateninhalt sich durch die vier Parameter Bildauflösung (A),
Qualität
(Q), Komponentenindex (K) sowie Position im Bild (ROI) beschreiben
lässt.
Auch ist JPEG-2000 in der Lage, diese Daten in einen sogenannten "Codestream" zu schreiben, der
einen Zugriff auf einzelne Pakete zulässt. Allerdings sieht Part 1 Multikomponenten-Transformationen
nur bei Farbbildern vor. Damit bietet dieser Teil des Standards keine
Möglichkeit,
Einzelkomponenten eines (medizinischen) Multikomponentenbildes mit
variabler Schichtdicke zu generieren. Will man an JPEG-2000 festhalten,
so könnte
man jedoch mit Part 3 (Motion JPEG-2000) Komponenten mit
variabler Schichtdicke generieren, indem man drei untereinander
folgende Graukomponenten als Farbkomponenten eines Einzelbildes
betrachtet und beispielsweise eine Reversible Coder Transformation
(RCT) durchführt. Dabei
erhält
man eine "Durchschnittskomponente" und zwei Differenzkomponenten.
Der JPEG-Standard ist beispielsweise von Skodras et al in "The JPEG 2000 Still
Image Compression Standard", IEEE
Signal Processing Magazine, Seiten 36 bis 58, September 2001, beschrieben.
-
Neben Part 1 sieht JPEG-2000
u.a. einen sog. Part 10 (JP3D) vor, dessen Standardisierungsprozess
noch nicht abgeschlossen ist. Derzeit beschäftigt man sich damit, diesen
Teil des JPEG-2000 Standards zu konkretisieren und eine Referenzimplementierung
(sog. VM) zu erstellen. Ein wesentlicher Unterschied von JP3D zum
herkömmlichen JPEG-2000
Ansatz dürfte
sein, dass man bei JP3D eine 3-D Wavelettransformation zur Dekorrelation
eines Volumens vorsieht, die rekursiv entlang aller drei Raumrichtungen
erfolgen kann. Nach der Berechnung der Wavelettransformation, werden
die Koeffizienten dann wahrscheinlich in sog. "code blocks" (eigentlich wohl "code cubes") unterteilt und kodiert.
-
Auch gibt es bereits Entwürfe für die interaktive Übertragung
von Bilddaten, die mit JPEG-2000 komprimiert wurden. Mit dem in
diesem Zusammenhang diskutierten JPIP (JPEG-2000 Internet Protokoll)
ist eine interaktive Übertragung
von Datenpaketen eines Bildes bereits möglich.
-
Allerdings weisen die bisherigen
Varianten von JPIP einige Mängel
auf. So stellt JPIP nur einen unvollständigen Satz an Metadaten zur
Verfügung. Dadurch
ist der Client beispielsweise nicht in der Lage festzustellen, welchen
Status ein bestimmtes erhaltenes Paket aufweist, da der bei JPIP
verwendete sog. "Unique
Data Bin Identifier" keine
derartigen Informationen vorsieht. Dies kann mit JPIP u.U. dazu
führen,
dass einzelne Komponenten eines großen Multikomponentenbildes
mit einer anderen Qualität
angezeigt werden als der Rest. Dieses Problem tritt vorzugsweise
bei großen
Schichtbilddatensätzen und
langsamen Datenraten auf, bei denen es vergleichsweise lange dauern
kann, bis man konsistente Daten für alle Schichtbilder erhalten
hat. Auch nimmt das Berechnen und Rendern großer Multikomponentenbilder
eine nicht unerhebliche Zeit in Anspruch. Deswegen ist man bestrebt,
Bilder nur zu ausgesuchten Zeitpunkten einheitlich darzustellen,
um Visualisierungsschwierigkeiten zu vermeiden.
-
Aus dem Artikel der Firma Merge Technologies
Inc. "Image ChannelTM White Paper," vom 22.04.02 ist ein Übertragungssystem
bekannt, mit dem Bilder z.B. einer Studie in einer bestimmten Auflösung mit
progressiver Qualität
von einem Server an einen Client übertragen werden können, sofern
die Bilder im JPEG-2000 Format vorliegen. Weiterhin besteht die
Möglichkeit,
anhand eines niedrig aufgelösten
Vollbildes ROIs auszuwählen.
Auf diesem Weg lassen sich entsprechende Daten komprimiert anfordern,
die sich dann (nach Empfang und Dekompression) in der höchsten Auflösung darstellen
lassen. Dabei geht Merge als Hersteller von PACS-Software davon
aus, dass die Bilder im DICOM-Format vorliegen. In DICOM sind derzeit
aber erst JPEG-2000 Einzelbilder vorgesehen. Multikomponenten-Bilder mit mehreren
Einzelschichten, die im JPEG-2000 Format vorliegen, sind derzeit
noch nicht DICOM-kompatibel.
-
Die Erfindung geht von der Aufgabe
aus, eine medizinische Systemarchitektur der eingangs genannten
Art sowie ein Verfahren derart auszubilden, dass alle erhaltenen
Pakete der Bilddaten getrennt abspeicherbar und somit später einzeln
weiterverarbeitet werden können,
wobei Steuersignale für die
Visualisierung vorgesehen sind.
-
Die Aufgabe wird erfindungsgemäß für eine Vorrichtung
dadurch gelöst,
dass eine Vorrichtung die Bilddaten komprimiert, organisiert und
in Pakete derart mit bestimmten Parametern speichert, dass ein Zugriff
auf Einzelpakete möglich
ist, und eine Vorrichtung die paketierten Bilddaten paketweise aufgrund
einer Anforderung von einem Benutzerarbeitsplatz derart dekomprimiert,
dass Multikomponentenbilder wie Bildserien oder Volumina mit progressiven Parametern
erzeugt werden.
-
In vorteilhafter Weise geben die
Parameter die Auflösungsstufen,
die Qualitätsstufen,
den interessierenden Bereich (ROI), die Schichtdicke und/oder den
Komponentenindex an, aufgrund derer Multikomponentenbilder mit progressiver
Auflösung, progressiven
Qualitätsstufen,
konsistenter ROI-Funktionalität,
und/oder variabler Schichtdicke erzeugt werden.
-
Es hat sich als vorteilhaft erwiesen,
dem Client Empfehlungen mitzuteilen, die ihm helfen könnten, gezielt
Aktionen einzuleiten, wenn von der Vorrichtung Zusatzinformationen
und Aufforderungen an den Benutzerarbeitsplatz (Client) übermittelt
werden. Dadurch können
die Bilddaten gerendert (dekomprimiert und angezeigt) oder empfangene
Daten in einem konsistenten Zustand zwischengespeichert werden.
-
Erfindungsgemäß kann die Vorrichtung derart
ausgebildet sein, dass die gesamte zu übermittelnde Datenmenge bei
den aktuel len Parametereinstellungen und/oder die gesamte Bilddateigröße in komprimiertem
Zustand an den Benutzerarbeitsplatz vorab übermittelt wird.
-
Eine Darstellung von Fortschrittsbalken
am Client lässt
sich steuern, wenn die Vorrichtung derart ausgebildet ist, dass
die Informationen an den Benutzerarbeitsplatz vorab übermittelt
werden, welche Pakete mit welchen Parametern bereits gesendet wurden.
-
In vorteilhafter Weise kann nach
Abschluss der Übertragung
eines konsistenten Datensatzes die Vorrichtung eine Einzelmitteilung
(Message) an den Benutzerarbeitsplatz übermitteln.
-
Erfindungsgemäß kann die Einzelmitteilung eine
Renderaufforderung oder eine Speicherempfehlung sein.
-
Sicherheitsaspekte lassen sich berücksichtigen,
wenn einem Benutzer eines Benutzerarbeitsplatzes Benutzerrechte
zugeordnet sind, aufgrund derer die Vorrichtung die Bildzugriffe
im Hinblick auf bestimmte Parameter eingeschränkt.
-
Die Aufgabe wird erfindungsgemäß für ein Verfahren
durch folgende Schritte gelöst:
- a) Erzeugung von Rohdaten mittels einer Modalität erstellter
medizinischer Multikomponentenbilder,
- b) Erzeugung komprimierter Daten aus den Rohdaten,
- c) Organisierung und Speicherung der komprimierten Bilddaten
in Pakete, so dass ein Zugriff auf Einzelpakte möglich ist,
- d) Übertragung
der komprimierten Bilddaten von Meta-Daten und von Aktions-Empfehlungen,
- e) Dekompression der komprimierten Bilddaten zu Multikomponentenbilder
mit progressiven Wiedergabe-Parametern.
-
Fortschrittsbalken können dargestellt
werden, wenn Anfragen über
Bilddaten bestimmter Parameterwerte erfolgen.
-
Eine Einschränkung des Zugriffs der unterschiedlichen
Benutzer auf die Bilddaten kann erreicht werden, wenn eine Überprüfung von
Benutzerrechten im Hinblick auf die Parameter erfolgt.
-
Erfindungsgemäß kann eine Übermittlung von
Zusatzinformationen und Aufforderungen an den Benutzerarbeitsplatz
erfolgen.
-
In vorteilhafter Weise können die
progressiven Wiedergabe-Parameter
progressive Auflösung, progressive
Qualitätsstufen,
konsistente ROI-Funktionalität
und/oder variable Schichtdicke sein.
-
Die Erfindung ist nachfolgend anhand
von in der Zeichnung dargestellten Ausführungsbeispielen näher erläutert. Es
zeigen:
-
1 ein
Beispiel einer Systemarchitektur einer Radiologieabteilung,
-
2 Systemarchitektur
und Beispielkommunikation mit drei Clients,
-
3 ein
erstes Beispiel für
einen Dialog zwischen Server und Client und
-
4 ein
zweites Beispiel für
einen Dialog zwischen Server und Client.
-
In der 1 ist
beispielhaft die Systemarchitektur eines Krankenhausnetzes dargestellt,
wie man es in der Radiologie antreffen könnte. Zur Erfassung medizinischer
Bilder dienen die Modalitäten 1 bis 4, die
als bilderzeugende Systeme beispielsweise eine CT-Einheit 1 für Computertomographie,
eine MR-Einheit 2 für
Magnetische Resonanz, eine DSA-Einheit 3 für digitale
Subtraktionsangiographie und eine Röntgeneinheit 4 für die digitale
Radiographie 4 aufweisen kann. An diese Modalitäten 1 bis 4 sind
Bedienerkonsolen 5 bis 8 der Modalitäten oder
Workstations als Rechnerarbeitsplätze angeschlossen, mit denen
die erfassten medizinischen Bilder verarbeitet und lokal abgespeichert
werden können.
Auch lassen sich zu den Bildern gehörende Patientendaten eingeben.
-
Die Bedienerkonsolen 5 bis 8 sind
mit einem Kommunikationsnetz 9 als LAN/WAN Backbone zur Verteilung
der erzeugten Bilder und Kommunikation verbunden. So können beispielsweise
die in den Modalitäten 1 bis 4 erzeugten
Bilder und die in den Bedienerkonsolen 5 bis 8 weiter
verarbeiteten Bilder in zentralen Bildspeicher- und Bildarchivierungssystemen 10 abgespeichert
oder an andere Workstations weitergeleitet werden.
-
An dem Kommunikationsnetz 9 sind
weitere Viewing-Workstations 11 als Befundungskonsolen oder
Rechnerarbeitsplätze
angeschlossen, die lokale Bildspeicher aufweisen. Eine derartige
Viewing-Workstation 11 ist beispielsweise ein sehr schneller
Kleincomputer auf der Basis eines oder mehrerer schneller Prozessoren.
In den Viewing-Workstations 11 können die erfassten und im Bildarchivierungssystem 10 abgelegten
Bilder nachträglich
zur Befundung abgerufen und in dem lokalen Bildspeicher abgelegt werden,
von dem sie unmittelbar der an der Viewing-Workstation 11 arbeitenden
Befundungsperson zur Verfügung
stehen können.
-
Weiterhin sind an dem Kommunikationsnetz 9 Server 12,
beispielsweise Patientendaten-Server (PDS), Fileserver, Programm-Server
und/oder EPR-Server angeschlossen. An dem Kommunikationsnetz 9 sind
neben diesen üblichen
Servern 12 ein Daten-Server 13 sowie ein Bild-Server 14 angeschlossen.
-
Der Bild- und Datenaustausch über das Kommunikationsnetz 9 erfolgt
dabei nach dem DICOM-Standard, einem Industriestandard zur Übertragung
von Bildern und weiteren medizinischen Informationen zwischen Computern,
damit eine digitale Kommu nikation zwischen Diagnose- und Therapiegeräten unterschiedlicher
Hersteller möglich
ist. An dem Kommunikationsnetz 9 kann ein Netzwerk-Interface 15 angeschlossen
sein, über
das das interne Kommunikationsnetz 9 mit einem globalen
Datennetz, beispielsweise dem World Wide Web verbunden ist, so dass
die standardisierten Daten mit unterschiedlichen Netzwerken weltweit
ausgetauscht werden können.
So können
beispielsweise auch Benutzer in Arztpraxen auf die Bilder zugreifen.
-
In der 2 ist
der Datenfluss von den bildgebenden Modalitäten 1 bis 3 bis
zu Benutzern 11a bis 11c an den Workstations 11 schematisch
dargestellt. Anstelle der Workstations 11 können auch Rechner
in Arztpraxen Verwendung finden.
-
Dabei ist folgende Situation dargestellt,
dass der Benutzer 11a ein komplettes Bild anfordert und dies
auch erhält.
Der Benutzer 11b fordert ebenso das gesamte Bild an, bekommt
aber aufgrund von Zugriffsrechten die höchste Auflösung nicht geliefert. Der Benutzer 11c fordert
von einem Bild nur einen Teilausschnitt (ROI) an.
-
Von den bildgebenden Modalitäten 1 bis 3 werden
die Rohdaten 16, wie durch Pfeile dargestellt, in eine
Datenbank 17 eingelesen und abgespeichert. Mittels des
Daten-Servers 13 werden die in der Datenbank 17 gespeicherten
Rohdaten 16 zu komprimierten und paketierten Bilddaten 18,
beispielsweise JPEG-2000
Code-Streams, gewandelt, die in einer zweiten Datenbank 19 abgespeichert
werden. An dieser Datenbank 19 ist der Bild-Server 14 angeschlossen.
-
Aus dieser zweiten Datenbank 19 können die Benutzer über die
Workstations 11 die Datenpakete abrufen, wobei jedem Benutzer
unterschiedliche Autoritäten
und Zugriffsrechte zugeordnet sein können. So kann beispielsweise
der Benutzer 11a Bilder mit kleiner, mittlerer oder großer Auflösung aus
der Datenbank 19 abrufen, wie dies durch die verschieden gestrichelten Pfeile 20 bis 22 und
die entsprechenden, die Bilder 23 bis 25 symbolisierenden Rechtecke
gezeigt wird. Der Benutzer 11b kann zwar die Bilder 23 und 24 mit
niedriger und mittlerer Auflösung sowohl
abrufen als auch einspeichern, zu Bildern 27 mit der höchsten Auflösung ist
ihm jedoch der Zugriff verwehrt, wie dies durch den Pfeil 27 und
das durchgestrichene Rechteck symbolisiert wird. Der Pfeil 27 zeigt
jedoch auch, dass der Benutzer 11b Bilder mit hoher Auflösung abspeichern
kann.
-
Dem Benutzer 11c sind die
gleichen Zugriffsrechte wie dem Benutzer 11a zugeordnet
und zusätzlich
der Zugriff auf die interessierenden Bereiche (ROIs) 28 bis 30 in
den Bildern 23 bis 25 mit unterschiedlicher Auflösung zugelassen.
Dies wird wiederum durch die Doppelpfeile 20 bis 22 und
die entsprechend markierten Bilder 23 bis 25 mit
den ROIs 28 bis 30 symbolisiert.
-
Aufgrund der Zugriffsrechte und von
den jeweiligen Benutzern 11a bis 11c angegebenen
Parametern, die noch nachfolgend näher erläutert werden, werden die Datenpakete
aus der Datenbank 19 den Benutzern 11a bis 11c zugeführt, wobei
der Benutzer 11a bis 11c (Client) oder der Bild-Server 14 eine
Auswahl der Datenpakete aufgrund der Parameter vornimmt. Beim Benutzer 11a bis 11c erfolgt dann
eine Dekomprimierung der Datenpakete und auf ein Signal des Bild-Servers 14 hin
eine Visualisierung der bisher übertragenen
Bilddaten, so dass sich das Bild aufbaut.
-
In der 3 ist
schematisch der Dialog zwischen dem Bild-Server 14 und dem Benutzer 11a, eine
Server Client Kommunikation, mit zwei verschiedenen Anforderungen
des Clients an den Server wiedergegeben.
-
Die dargestellten Monitorbilder auf
der rechten Seite des Benutzers 11a sind das Ergebnis einzelner,
progressiver Rendervorgänge
zu verschiedenen Zeitpunkten am Client (Benutzer
11a).
Auf der Clientseite sind ebenfalls den Monitorbildern zugeordnete
Fortschrittsbalken zu sehen. Sie zeigen eine mögliche graphische Darstellungsweise
für die übertragenen
Qualitätsstufen,
mit denen die einzelnen Komponenten am Client dargestellt (gerendert)
werden.
-
Als Beispiel sind in der Datenbank 19 Bilddaten
von fünf
Komponenten (K = 5) enthalten, die mit einer Auflösungsstufe
(A = 1) und zwei Qualitätsstufen
(Q = 2) betrachtet werden können.
Diese Bilddaten können
beispielsweise zu fünf
verschiedenen Schichten einer CT-Untersuchung gehören.
-
Zuerst meldet sich der Benutzer 11a beim Bild-Server 14 an
und übermittelt
die Authentifizierung 31 mit Benutzername und Passwort.
Dann schickt der Benutzer 11a eine Anforderung 32,
mit der er aus den in der Datenbank 19 enthaltenen Bilddaten
die Komponenten eins und drei (K = 1, 3) mit einer Qualitätsstufe
zwei und der Auflösungsstufe eins
anfordert.
-
Nun übermittelt der Bild-Server 14 die
Daten 33 für
die erste Komponente (K = 1, Q = 1, A = 1) in einer ersten, niedrigen
Qualitätsstufe
an den Benutzer 11a. Anschließend werden die Daten 34 für die zweite
Komponente (K = 3, Q = 1, A = 1) mit der ersten Qualitätsstufe übermittelt.
Jetzt sendet der Bild-Server 14 eine Renderempfehlung 35 für die Komponenten
eins und drei, so dass der Benutzer 11a nunmehr mit der
Visualisierung der Daten beginnen kann, wie dies auf den Monitorbildern 36 geringer
Qualitätsstufe
mit den zugehörigen
Verlaufs- oder Fortschrittsbalken 37 zu sehen ist. Da die
Bilder erst mit einer geringen Qualität, jedoch auch mit einer geringen
Datenmenge übertragen
worden sind, sind die Monitorbilder 36 noch unscharf. Anschließend werden
die restlichen Daten 38 für die Komponente eins mit einer
Qualitätsstufe
zwei übertragen,
worauf nachfolgend die Renderempfehlung 39 vom Server für diese
erste Komponente übermittelt
wird. Nun wird ein Monitorbild 40 mit hoher Qualität aufgebaut und
der Fortschrittsbalken 41 signalisiert, dass das Monitorbild 40 für die Komponente
eins vollständig geladen
ist. Das daneben liegende Monitorbild 36 für die Komponente
drei mit seinem Fortschrittsbalken 37 zeigt jedoch, dass
hier erst die Hälfte
der Daten übertragen
wurde.
-
Anschließend werden nun die Daten 42 für die Komponente
drei mit hoher Qualität übertragen und
die Renderempfehlung 43 gegeben. Dadurch baut sich auch
das zweite Monitorbild 40 in voller Qualität auf und
der Fortschrittsbalken 41 zeigt, dass der Aufbau vollendet
ist. Abschließend
schickt der Bild-Server 14 ein
Informationssignal 44 zum Ende der Datenübertragung.
-
In einem weiteren Schritt 45 fordert
der Benutzer 11a noch die Komponente zwei mit einer Qualitätsstufe
eins (K = 2, Q = 1, A = 1) an. Die Daten 46 für diese
Komponente werden vom Bild-Server 14 an den
Benutzer 11a übertragen,
anschließend
die Renderempfehlung 47 sowie die Information 48 über das Ende
der Übertragung übermittelt.
-
In der 4 ist
schematisch ein weiterer Dialog zwischen dem Bild-Server 14 und
dem Benutzer 11b wiedergegeben. In dieser Kommunikation
fordert der Client eine Auflösung
an, die ihm vom Server aus aufgrund der definierten Benutzerrechte
nicht genehmigt wird.
-
Die Fortschrittsbalken 57, 58, 62 und 67 auf der
rechten Seite des Benutzers 11b stellen die empfangene
Datenmenge relativ im Verhältnis
zur Gesamtbilddatenmenge graphisch dar. Die den Monitorbildern zugeortneten
Fortschrittsbalken 56, 61 und 66 zeigen
Qualitäts-
oder Auflösungsstufen
an.
-
Als Beispiel werden in der Datenbank 19 enthaltene
Bilddaten mit einer Komponente (K = 1), drei Auflösungsstufen
(A = 3) und zwei Qualitätsstufen
(Q = 2) betrachtet.
-
Zuerst meldet sich der Benutzer 11b beim Bild-Server 14 mit
seiner Authentifizierung 49 mit Benutzername und Passwort
an. Dann schickt der Benutzer 11b eine Anforderung 50,
mit der er aus den in der Datenbank 19 enthaltenen Bilddaten
die Komponenten (K = 1) mit einer Qualitätsstufe zwei (Q = 2) und der
Auflösungsstufe
drei (A = 3) anfordert.
-
Da, wie bereits zu 2 erläutert
wurde, der Benutzer 11b keine Zugriffsrechte auf die höchste Auflösungsstufe
drei hat, erzeugt der Bild-Server 14 eine Fehlermeldung 51,
in der er dem Benutzer 11b mitteilt, dass die Auflösungsstufe
drei nicht erlaubt ist.
-
Daraufhin schickt der Benutzer 11b eine neue
Anforderung 52 an den Bild-Server 14, mit der er
aus den in der Datenbank 19 enthaltenen Bilddaten die Komponenten
(K = 1) mit einer Qualitätsstufe zwei
(Q = 2) und der für
ihn maximal möglichen
Auflösungsstufe
zwei (A = 2) anfordert.
-
Nun übermittelt der Bild-Server 14 die
Daten 53 für
die Komponente (K = 1, Q = 1, A = 1) in einer ersten Qualitätsstufe
und einer ersten Auflösungsstufe
an den Benutzer 11b. Anschließend sendet der Bild-Server 14 eine
Renderempfehlung 54 für
die Komponente eins, so dass der Client-Rechner des Benutzers 11b nunmehr
mit der Visualisierung der Daten beginnen kann, wie dies auf dem
Monitorbild 55 geringer Qualitätsstufe und niedriger Auflösung mit
den zugehörigen
Fortschrittsbalken 56 zu sehen ist. Der Fortschrittsbalken 56 zeigt
dabei den Fortschritt des Verlaufs der Datenübertragung im Hinblick auf
die angeforderte Datenmenge. Ein weiterer vorgesehener Fortschrittsbalken 57 zeigt
den Fortschritt des Verlaufs der Datenübertragung im Hinblick auf die
gesamte Datenmenge, so dass der Benutzer 11b erkennen kann,
wie viele Daten und damit wie viel Zeit er noch brauchen würde, wenn
er alle gespeicherten Daten abrufen würde. Bis zur ersten Datenübertragung 53 ist
der Fortschrittsbalken 57 leer. Danach zeigt der Fortschrittsbalken 58 an,
dass eine erste kleine Teilmenge übertragen wurde.
-
Anschließend werden die Daten 59 für die Komponente
(K = 1, Q = 2, A = 1) mit einer zweiten Qualitätsstufe übermittelt. Jetzt sendet der
Bild-Server 14 eine Renderempfehlung 60 für die Komponente
eins, so dass das Monitorbild 61 mit hoher Qualitätsstufe
und niedriger Auflösung
mit dem zugehörigen
Fortschrittsbalken 62 und 63 zu sehen ist.
-
Abschließend werden die restlichen
Daten 64 für
die Komponente eins mit einer Qualitätsstufe zwei und mittlerer
Auflösung übertragen,
worauf nachfolgend die Renderempfehlung 65 vom Bild-Server 14 übermittelt
wird. Nun wird ein Monitorbild 66 mit hoher Qualität und mittlerer
Auflösungsstufe
aufgebaut und der Fortschrittsbalken 67 signalisiert, dass
das Monitorbild 66 für
die Komponente eins vollständig
geladen ist. Der daneben liegende Fortschrittsbalken 68 zeigt
jedoch, dass nur etwa zwei Drittel der gesamten verfügbaren Datenmenge übertragen
wurde.
-
Zum Abschluß schickt der Bild-Server 14 ein Informationssignal 69 zum
Ende der Datenübertragung.
-
Zum Senden bzw. Laden großer Bilddatensätze von
beispielsweise Multikomponentenbilder über das Kommunikationsnetz 9 werden
die Bilddaten erst komprimiert gespeichert und dann komprimiert übertragen.
Dabei ist es erfindungswesentlich, dass die komprimierten Daten
derart organisiert werden, dass sie bereits während der Übertragung der vollständigen Daten
unmittelbar nach Empfang einzelner Datenpakete dekomprimiert und
angezeigt werden können
und zwar auch dann, wenn noch nicht alle komprimierten Daten beim
Empfänger
vorhanden sind.
-
Bei diesen medizinischen Multikomponentenbildern
kann jede ("graue") Einzelkomponente von
Interesse sein. Deshalb wird JPEG-2000 so erweitert, dass man mit
den dann entstandenen Paketen sowohl einzelne Schichtbilder als
auch den gesamten Datensatz progressiv abrufen kann. Im ersten Fall
lassen sich individuelle Einzelschichten nacheinander zum Beispiel
progressiv in verschiedenen Auflösungsstufen
und/oder mit variabler Qualität anzeigen.
Es ist aber auch möglich,
Pakete so abzurufen, dass immer alle Komponenten eines Multikomponentenbildes
mit einheitlichen Eigenschaften vorliegen. So kann ein Multikomponentenbild
in einer bestimmten Auflösungsstufe
erst in einer einheitlich niedrigen Qualität angezeigt werden, nachdem
die empfangenen Daten dekomprimiert wurden. Im nächsten Schritt können dann
weitere Pakete angefordert werden, mit denen alle Einzelkomponenten gemeinsam
auf die nächste
Qualitätsstufe
gebracht werden. Solch ein Vorgehen bietet sich beispielsweise für einen "Movie-Mode" an, bei dem die
Einzelkomponenten schichtweise durchlaufen werden. Schließlich lässt sich
die Auflösungsstufe
aller Komponenten durch weiteren Datentransfer einheitlich erhöhen. Man
kann also bei geeigneter Datenkompression und -organisation von
Multikomponentenbildern Paketreihenfolgen derart übertragen,
dass sich sowohl Einzelschichtbilder als auch Multikomponentenbilder
progressiv darstellen lassen.
-
Insbesondere eine paketorientierte
Organisation der komprimierten Bilddaten, bei denen Einzelpakete
mit definierten Auflösungs-
und Qualitätsstufen
assoziiert sind, erlaubt es, Einzelbilder, Komponenten einer Bildserie
oder Volumina, bzw. ROIs davon, beispielsweise mit zunehmender Ortsauflösung und
Qualität
darzustellen. Dabei wird in diesem Zusammenhang Bildqualität als ein
Fehlermaß verstanden,
das die Abweichung zwischen Originalbild und angezeigtem Bild nach
Empfang eines Teils der vorhandenen Daten angibt. Bei einer hohen
Bildqualität
ist der Fehler gering und je mehr Einschränkungen man bei der Bildqualität in Kauf
nimmt, desto größer wird
die Abweichung vom Originalbild. Desto stärker lässt sich jedoch die zu übertragende
Datenmenge reduzieren.
-
Multikomponentenbilder können auf
unterschiedliche Art und Weise visualisiert werden, z.B. als Einzelschichten,
mittels MPR (Multiplanar Reformations), MIP (Maximum Intensity Projecition)
oder unter Verwendung von VR (Volume Rendering). Auch hier ist eine
progressive Vorgehensweise möglich,
sofern die Daten bei der Kompression entsprechend generiert und
formatiert/organisiert wurden.
-
Außerdem setzt die Erfindung
eine Client-Server Systemarchitektur voraus, die auf sog. Sessions
beruht. Dabei wird die Datenübertragung und
Bilddarstellung vom Client oder Benutzer aus initiiert, woraufhin
er beispielsweise vom Server eine Identifikationsnummer (ID) zugewiesen
bekommt. Für
alle weiteren interaktiven Clientanfragen wird dann die gleiche
ID verwendet. Auch kann der Server so ein Datenmodell des Clients
lokal im Speicher halten, anhand dessen er die Datenübertragung
und -darstellung optimieren kann. Um eine gewünschte Bilddarstellung zu erreichen,
kann der Benutzer jedoch stets unabhängig vom Server die Einstellungen der Übertragungsparameter
verändern,
womit sich eine echte Zwei-Wege Kommunikation ergibt. Der Server
ist allerdings dazu berechtigt, Parameter die vom Client spezifiziert
werden, zu ändern,
falls diese nicht mit dem Bild in Einklang zu bringen sind.
-
Die vom Server empfangenen Pakete
mit den komprimierten Bilddaten hält der Client auch getrennt
in dieser Form im Speicher. Zusammen mit vorhandenen Bildinformationen
bietet dies dem Client die Möglichkeit,
evtl. nur einen Ausschnitt aus der übertragenen Datenmenge später getrennt
abzuspeichern oder für
weitere Anfragen erneut zu verwenden.
-
Bei geeigneter Benutzerführung erlaubt
die Erfindung, gezielt nur solche Daten in komprimierter Form zu übertragen,
zu dekomprimieren und anzuzeigen, die ein Benutzer für relevant
hält. Dabei
kann es sich beispielsweise um ein Vollbild in niedrigerer Ortsauflösung handeln
oder um einen Bildaus schnitt des Vollbildes in höchster Ortsauflösung. In
jedem Fall kann die Darstellung der Bilddaten progressiv erfolgen,
d.h., die Bilddarstellung ändert
sich mit der Menge an empfangenen Daten und verbessert sich damit.
-
Durch die erfindungsgemäße Anwendung
einer Datenkompression auf medizinische Multikomponentenbilder wie
beispielsweise CT- oder MR-Schichtbilder, wobei die komprimierten
Bilddaten organisiert und in Pakete speichert, ist ein Zugriff auf Einzelpakte
möglich.
Abhängig
davon, wie ausgewählte
Pakete übertragen
werden, können
nach deren Dekompression Multikomponentenbilder, beispielsweise
Bildserien oder Volumina, mit progressiver Auflösung, progressiven Qualitätsstufen,
konsistenter ROI-Funktionalität
und/oder variabler Schichtdicke erzeugt werden. Dabei dient die
Idee einer progressiven Schichtdicke dazu, in jeder Auflösungsstufe
Voxel zu erhalten, die in allen Dimensionen die möglichst
gleichen Abmessungen aufweisen (isotrope Voxel). Natürlich ist
auch der direkte Zugriff auf unterschiedliche Einzelkomponenten
möglich.
-
Bei der sessionorientierten Client-Server Systemarchitektur
zur paketorientierten, interaktiven Anforderung und Übertragung
komprimierter medizinischer Bilddaten wie Bilder, Bildserien und
Volumina werden Client-Anfragen über
bestimmte Parameterwerte an einen Server mitgeteilt. Dieses System zeichnet
sich insbesondere dadurch aus, dass der Server während der Datenübertragung
bisher in JPIP noch nicht berücksichtigte
Zusatzinformationen und Aufforderungen an den Client mitteilt. Die
Bereitstellung von Zusatzinformationen und von Aufforderungen vom
Server an einen Client dient zur Benutzerführung und dazu, am Client bestimmte
Aktionen wie beispielsweise das Rendern einer Bildserie in einer bestimmten
Auflösung
mit einer bestimmten Qualität gezielt
anzuregen. Insbesondere sind folgende Informationen wichtig:
- a. Gesamtdatenmenge des Bildes bzw. die zu
erwartende Datenmenge des Bildausschnitts bei den aktuellen Parametereinstellungen,
- b. laufende Auskünfte
an den Client darüber,
welche Pakete mit welchen Parametern bereits gesendet wurden wie
Auflösungsstufen,
Qualitätsstufen,
ROI, Schichtdicke und/oder Komponentenindex, um z.B. die Darstellung
von Fortschrittsbalken am Client zu steuern und/oder
- c. vom Server abgesetzte Einzelmitteilungen (Messages) an den
Client, beispielsweise Renderaufforderungen oder Speicherempfehlungen, sobald
ein konsistenter Datensatz fertig übertragen wurde.
-
Durch die erfindungsgemäße serverseitige Sicherheitsverwahrung
der Bilddaten können
anhand von vorgegebenen Benutzerrechten die Bildzugriffe eingeschränkt werden.
Abhängig
von Benutzerrechten dürfen
komprimierte Bilddaten nur mit bestimmten Parametern angefordert
werden. Damit kann man beispielsweise für Benutzer mit geringen Rechten
die Bildauflösung,
die Bildqualität
und den Bildausschnitt beschränken.
Bei Bildserien kann man darüber
hinaus den Zugriff auf gewisse Einzelbilder sperren. Derartige Benutzerrechte
lassen sich beispielsweise am Server über ein System erschließen, das
Benutzer mittels Login und Passwort identifiziert.
-
Wird ein geeignetes Kompressionsverfahren,
beispielsweise ein Wavelet-Kompressionsverfahren, nicht nur auf
einzelne Komponenten eines Multikomponentenbildes angewendet, sondern
werden in diesem Zusammenhang auch aufeinanderfolgende Komponenten
geschickt dekorreliert und kombiniert, dann werden sog. "Durchschnittskomponenten" und "Differenzkomponenten" erhalten. Die Durchschnittskomponenten
können
als ein neues Multikomponentenbild aufgefasst werden, bei dem weniger
Komponenten mit entsprechend vergrößerter Schichtdicke vorliegen.
Der Vorteil einer variablen Schichtdicke ist es, bei der progressiven Übertragung
und Visualisierung von Multikomponentenbil dern in jeder Auflösungsstufe
eine zumindest annähernd
isotrope Voxelgröße erreichen
zu können.
-
Ist die Gesamtdatenmenge des Bildes
bzw. die Gesamtdatenmenge der zu erwartenden Daten für einen
gewählten
Bildausschnitt abhängig
von aktuell spezifizierten Parametern bekannt, dann kann bei Überwachung
der bereits empfangenen Datenmenge am Client festgestellt werden,
wie viele Daten bereits relativ zur jeweiligen Gesamtdatenmenge übertragen
wurden bzw. welcher Anteil noch zu erwarten ist. Damit lassen sich
die Fortschrittsbalken 37, 56 und 57 ect.,
sogenannte "Progress
Bars" steuern, die
dem Benutzer mitteilen, wie die Datenübertragung oder die Qualität der empfangenen
Bilder fortschreitet. Bei sehr langsamen Übertragungskanälen dient
diese Information dazu, dass ein Benutzer beispielsweise die Übertragung
eines Gesamtbildes in höchster
Auflösung
beenden kann und alternativ nur einen Ausschnitt davon anfordert.
-
Die Eigenschaften des komprimierten
Multikomponentenbildes, die Komponentenzahl, Auflösungsstufen,
Anzahl an Qualitätsstufen
und ggf. auch der Schichtdickenverlauf, sind normalerweise bekannt,
weil sie zu Beginn einer Datenübertragung mitgeteilt
werden. Hat man dann noch Informationen über die bereits empfangenen
Pakete und die damit assoziierten Parameter, dann kann man diese
Aussagen ebenfalls zur Benutzerführung
verwenden. Zum Beispiel kann man erneut mit einem Fortschrittsbalken
aufzeigen, welche Qualitätsstufe
bisher erreicht wurde, welche angefordert wurde, und welche die
höchstmögliche Stufe
ist. Eine ähnliche
Darstellung kann erreicht werden, wenn zuerst wenig Einzelschichten
mit großer
Dicke gesendet werden, die dann bei Erhalt weiterer Daten progressiv
immer dünner
und damit detaillierter werden.
-
Eine Mitteilung vom Bild-Server 14 an
den Client 11, sobald die Übertragung aller Pakete mit
einem bestimmten Parameter abgeschlossen ist, kann dazu dienen,
dort einen bestimmten Vorgang anzustoßen. So können beispielsweise ein Visualisie rungsvorgang
ausgelöst
oder empfangene Daten zwischengespeichert werden. Damit kann man
am Client sicher sein, dass beispielsweise alle Komponenten einer
Bildserie oder alle Voxel eines Volumendatensatzes mit einheitlichen
Eigenschaften vorliegen. Wird anders vorgegangen und beispielsweise zeitgesteuert
agiert, z.B. alle 10 ms, dann ist es nicht unwahrscheinlich, dass
sich Komponenten einer Bildserie oder Voxel eines Volumens zu einem
beliebigen Zeitpunkt in ihren Parametern unterscheiden, indem sie
zum Beispiel eine unterschiedliche Qualitäts- oder Auflösungsstufe
aufweisen. Entweder erfolgt beim Rendern oder Speichern eine Einigung
auf den kleinsten gemeinsamen Parameter aller Komponenten oder die
Daten werden mit unterschiedlichen Eigenschaften verarbeitet. Beides
ist i.A. nicht erstrebenswert.
-
Das vorgeschlagene Client-Server
System ist auch dazu in der Lage, aufgrund von Benutzerinformationen
und Benutzerrechten Entscheidungen zu treffen, wer welche Daten
mit welchen Parametern anfordern und einsehen darf. Dabei kann ein
Server prüfen,
ob ein Benutzer überhaupt
dazu berechtigt ist, eine Anforderung mit den von ihm gewünschten Parametern
durchzuführen.
Beispielsweise könnte der
Bild-Server 14 speziellen Benutzerkreisen verweigern, Bilddaten
oder Ausschnitte davon in hohen Auflösungsstufen oder hohen Qualitäten einzusehen. Weiterhin
ist es bei Bildserien so möglich,
den Zugriff auf gewisse Einzelkomponenten zu sperren.