DE102006043894B3

DE102006043894B3 - Detailtiefenstufen-Einstellung mehrdimensionaler Bilddaten mit einem Client/Server-basierten Bildrenderingsystem

Info

Publication number: DE102006043894B3
Application number: DE102006043894A
Authority: DE
Inventors: Klaus Dr. Engel; Fernando Vega-Higuera
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2006-09-19
Filing date: 2006-09-19
Publication date: 2007-10-04
Anticipated expiration: 2026-09-20
Also published as: US20080069458A1; CN101149842A; CN101149842B

Abstract

Die vorliegende Erfindung bezieht sich allgemein auf ein Client/Server-basiertes Bildarchivierungs-, Bildretrieval- und Bildrenderingsystem zum Speichern, Abrufen und grafischen Visualisieren mehrdimensionaler digitaler Bilddaten, das z.B. im klinischen Bereich im Rahmen der ärztlichen Befundung von Bilddaten, die inneren Organe, Knochen- und Muskelgewebe eines zu untersuchenden Patienten darstellen, eingesetzt werden kann. Die Erfindung ist dabei insbesondere auf einen Bildschirm-Client (104) und ein von diesem durchgeführtes Verfahren zur Einstellung der Detailtiefenstufe über ein Datenübertragungsnetz empfangener, in grafischer Form darzustellender Volumendaten gerichtet. Die komprimierten Volumendaten darzustellender Objekte (604) sind erfindungsgemäß mit einer von einem Bildgebungssystem vorgegebenen feinstmöglichen Auflösung in einer von einem Server (102) verwalteten und nur von diesem direkt zugreifbaren Datenbank (103) gespeichert. Obwohl das Client/Server-basierte Bildarchivierungs-, Bildretrieval- und Bildrenderingsystem dazu in der Lage ist, Volumendaten mit der von einem Bildgebungssystem bereitgestellten feinstmöglichen Auflösung auf Anforderung eines Bildschirm-Clients (104) an jedem Ort des Systems anzubieten, werden Volumendaten erfindungsgemäß nur bis hin zu einer bestimmten ortsvarianten, bereichs- bzw. objektspezifischen Datailtiefenstufe in komprimierter Form abgerufen, zu einem Bildschirm-Client (104) übertragen und auf diesem in grafischer Form ...

Description

Die vorliegende Erfindung bezieht sich allgemein auf ein Client/Server-basiertes Bildarchivierungs-, Bildretrieval- und Bildrenderingsystem zum Speichern, Abrufen und grafischen Visualisieren mehrdimensionaler digitaler Bilddaten, das z.B. im klinischen Bereich im Rahmen der ärztlichen Befundung von Bilddaten, die innere Organe, Knochen- und Muskelgewebe eines zu untersuchenden Patienten darstellen, eingesetzt werden kann. Die Erfindung ist dabei insbesondere auf einen Bildschirm-Client und ein von diesem durchgeführtes Verfahren zur Einstellung der Detailtiefenstufe über ein Datenübertragungsnetz empfangener, in grafischer Form darzustellender volumetrischer Bilddaten (Volumendaten) gerichtet.
Derzeitig verfügbare, nach dem von der ANSI normierten „Picture Archiving and Communication System" (PACS)-Standard arbeitende Bildarchivierungssysteme speichern digitale Bilddaten zweidimensionaler Bilder entweder direkt in einem Speicherbereich der jeweiligen bildgebenden Modalität (z.B. durch Rekonstruktion von Schnittbildern aus den von einem Bildgeber, z.B. einem Magnetresonanz- oder Computertomografiegerät, erhaltenen Rohdaten) oder in einem Speicherbereich einer zur Bildnachbearbeitung verwendeten, über ein Datenübertragungsnetz mit der bildgebenden Modalität verbundenen PACS-Workstation. Sobald die Bilder generiert und in einer zentralen PACS-Datenbank gespeichert sind, können sie über die Workstation abgerufen, auf deren Bildschirm in grafischer Form dargestellt und von einem behandelnden Arzt untersucht werden.
Diese Systemarchitektur herkömmlicher, auf dem PACS-Standard basierender Bildarchivierungs- und Kommunikationssysteme wirft eine Vielzahl von Problemen auf, was den klinischen Arbeitsablauf anbelangt.
Da herkömmlicherweise nur Bilddaten rekonstruierter Bilder im Speicherbereich einer bildgebenden Modalität gespeichert werden (z.B. rekonstruierte Schnittbilder eines dreidimensionalen abdominalen Computertomografie-Abtastbildes mit einem Schnittbildabstand von 7 mm), erreicht einen an der PACS-Workstation arbeitenden Arzt nur ein Bruchteil der Information. Falls beispielsweise eine weitere Untersuchung der Daten ergibt, dass für eine präzise Diagnose eine erneute Bildrekonstruktion mit einer höheren Auflösung notwendig ist, ist der behandelnde Arzt gezwungen, eine neue Bildrekonstruktion anzufordern bzw. gar seinen Arbeitsplatz zu verlassen, um sich zu dem Aufstellungsort der bildgebenden Modalität hin zu begeben. Falls es misslingt, Bilddaten mit einer gewünschten Auflösung interaktiv über die PACS-Workstation abzurufen, führt dies zu ernstzunehmenden Störungen des klinischen Arbeitsablaufs.
Bilddaten von in einer PACS-Datenbank gespeicherten Bilderserien werden bisher ungeachtet des tatsächlichen Informationsbedarfs eines behandelnden Arztes in voller Auflösung zu der PACS-Workstation übertragen. Auch dann wenn der darstellbare Bildschirmbereich auf eine bestimmte Anzahl von Bildpunkten (Pixeln) beschränkt ist, z.B. auf 420×420 Bildpunkte, werden herkömmlicherweise alle Bilder eines Bilddatensatzes unverändert mit einer Auflösung von beispielsweise 512×512 Bildpunkten übertragen. Dies wirkt sich negativ auf die Leistungsfähigkeit des zugrunde liegenden Krankenhaus-internen Datenübertragungsnetzes aus, wenn eine kritische Anzahl von Nutzern gleichzeitig auf die PACS-Datenbank zugreift. In diesen Situationen wird ein Grenzwert erreicht, bei dem die Leistungsfähigkeit des Systems auf einen Wert zusammenbricht, der die Verwendung des PACS-Systems nicht mehr praktikabel erscheinen lässt. Darüber hinaus ist zu erwarten, dass dieses Problem bei Bildmatrizen höherer Auflösung (z.B. mit 1024×1024 Bildpunkten) die Funktionsfähigkeit derzeitiger PACS-Systeme einschränken wird.
Zur Zeit verfügen PACS-Workstations nicht über dieselbe Bildnachbearbeitungsfunktionalität, über die mit speziellen Softwareprogrammen zur Segmentierung und 3D-Visualisierung medizinischer Bilddaten ausgerüstete Workstations (wie z.B. Siemens Leonardo-Workstations) verfügen. Falls der an einer PACS-Workstation arbeitende behandelnde Arzt während der Befundung einzelner, auf dem Bildschirm der PACS-Workstation in grafischer Form dargestellter CT- oder MRT-Daten eines Patienten eine weitere Nachbearbeitung der Bilddaten benötigt (z.B. zur Verfeinerung der Segmentierung, zur Feinpositionierung der in Volumen-Rendering-Technik (VRT) erstellten 3D-Bildrekonstruktionen zu untersuchender Organe etc.), kommt es zu einer Unterbrechung des normalen Arbeitsablaufs. Dabei ist der behandelnde Arzt gezwungen, die Nachbearbeitungsschritte mit neuen Parameterwerten erneut durchzuführen oder sich zu der bildgebenden Modalität hin zu begeben, um die Bildgebungsprozesse neu zu starten. Dabei wird der klinische Arbeitsablauf durch die begrenzten Nachbearbeitungsmöglichkeiten des PACS-Systems unterbrochen.
Infolge der vorstehend aufgezählten Leistungsgrenzen herkömmlicher PACS-Systeme sind viele computergestützte Diagnose (CAD)-Applikationen derzeit nicht transparent in den klinischen Arbeitsablauf integriert. Der Nutzen von Bildnachbearbeitungsapplikationen spielt für eine Mehrzahl der Ärzte nur eine untergeordnete Rolle, falls sie gezwungen sind, ihren normalen Arbeitsablauf zu unterbrechen.
Derzeitige PACS-Systeme basieren auf der Speicherung rekonstruierter Schnittbilder in einer zentralen Datenbank, nachdem eine Patientenuntersuchung am Aufstellungsort einer bildgebenden Modalität durchgeführt wurde. Dabei generiert ein technisch versierter Fachmann mit Hilfe der bildgebenden Modalität aus einer Vielzahl abgetasteter Rohdaten unter Verwendung eines vorgegebenen Schnittbildabstands und einer vorgegebenen Auflösung eine Serie von Schnittbildern. Diese rekonstruierten Bilder werden dann zu einem Server übermittelt, welcher sie in der zentralen Datenbank speichert. PACS- und andere zur Bildnachbearbeitung geeignet konfigurierte Workstations tätigen dann eine Anfrage an den Server, welcher seinerseits die Daten der einzelnen Schnittbilder gemäß dem DICOM-Standard über ein Datenübertragungsnetz liefert. Die abgetasteten Rohdaten werden üblicherweise nicht in der Datenbank gespeichert. Sofern dies dennoch der Fall sein sollte, werden diese unmittelbar nach Abschluss der Diagnose wieder gelöscht, um den Speicherplatzbedarf gering zu halten. Die Generierung von Schnittbildern mit unterschiedlichen Auflösungen ist bei PACS-Workstations nicht möglich. Ein weiteres Problem ist das Fehlen von computergestützter Diagnose-Werkzeuge bei vielen PACS-Workstations. Um dieses Problem zu lösen, wurden einige Client/Server-basierte Softwareprogramme auf den Markt gebracht.
Beispielsweise bietet die Firma TeraRecon Inc. den Aquarius-NET^TM-Server als Lösung an, welcher auf der VolumePro-Strahlverfolgungs-Hardware basiert. Die Systemarchitektur basiert auf einem 3D-Bilddatenserver, welcher für die Generierung von Bilddaten voller Auflösung und eine Datenstrom-Übertragung der generierten Bilddaten zu einer Anzahl von Bildschirm-Clients zuständig ist. Die Bildschirm-Clients dienen dabei nur als Bildanzeigegeräte, die Bildgenerierungsanfragen an den Server übermitteln. Falls jedoch die Anzahl der Clients zunimmt, fällt die Bildgenerierungsrate steil ab, da der Server die Bildgenerierungsressourcen auf die jeweiligen Clients verteilen muss. Außerdem können bei der Datenstrom-Übertragung generierter Bilddaten in Echtzeit sehr große Datenmengen anfallen. Zum Beispiel fallen bei einem für einen Bildschirmbereich mit 1280×1024 Bildpunkten generierten RGB-kodierten Bild bei einer Datenübertragungsrate von 30 Rahmens mehr als 110 MByte an Daten in nur einer Sekunde an. Andererseits bietet kein herkömmliches PACS-System die Möglichkeit einer Detailtiefenstufen (LOD)-basierten Navigation und Visualisierung.
Geografische Informationssysteme (GIS) stehen einem ähnlichen Problem gegenüber wie die derzeitigen Visualisierungssysteme zur grafischen Darstellung medizinischer Bilddaten: Es müssen nämlich in beiden Fällen gewaltige Mengen an Vektordaten (z.B. in Bezug auf die Position, Größe, Temperatur und Landbedeckung geografischer Objekte etc.) interaktiv visualisiert und manipuliert werden. Viele der heute im Handel erhältlichen Web-basierten GIS-Software-Lösungen, wie beispielsweise Map24 oder Google Earth, lösen dieses Problem, indem sie Bilddaten gemäß den aktuellen Anforderungen eines Anwenders unter Verwendung verschiedener Detailtiefenstufen zur Anzeige bringen. In der vorliegenden Erfindung wird dieselbe Idee zum Aufbau eines PACS-Systems verwendet, das zur transparenten grafischen Visualisierung in voller Auflösung vorliegender medizinischer Bilddaten geeignet ist. Um diese Idee zu verwirklichen, wird auf Seiten der PACS-Clients eine kundenspezifische Grafik-Hardware zur Erfassung und grafischen Visualisierung mehrdimensionaler digitaler Bilddaten verwendet, und es wird ein effizientes Datenkomprimierungsschema zur Speicherung in voller Auflösung vorliegender Volumendaten auf dem Server eingeführt.
Die auf dem JPEG 2000-Format beruhende Komprimierung und Datenstrom-Übertragung von Bilddaten zweidimensionaler Bilder ist in der Bildverarbeitungs-Fachwelt wohlbekannt (vgl. z.B. Thomos, N., Boulgouris, N.V. und Strintzis, M.G.: „Wireless Transmission of Images Using JPEG 2000", in: Proceedings of IEEE International Conference on Image Processing, ICIP 2004, Singapur, S. 2523-2526, Oktober 2004). Darüber hinaus beruhen die im Handel erhältlichen Softwarewerkzeuge zur Komprimierung medizinischer Volumendaten, wie beispielsweise Aware JPEG 2000-3D der Firma Aware Inc., auf dem JPEG 2000-Format. Diese Technologie wurde bereits von der Forschungsabteilung der Firma Siemens entwickelt (vgl. z.B. Siegel, E., Siddiqui, K. u.a., „Compression of Multislice CT: 2D vs. 3D JPEG 2000 and Effects of Slice Thickness", in: Proc. SPIE, Band 5748, 5. 162-170, Medical Imaging 2005: PACS and Imaging Informatics). Schließlich ist die Visualisierung sehr großer Mengen an Volumendaten auf dem Gebiet der Datenkompression mit einer kundenspezifischen Grafik-Hardware ein aktuelles Thema in der Computergrafik-Fachwelt (vgl. z.B. Guthe, S. und Straßer, W., „Real-Time Decompression and Visualization of Animated Volume Data", in: Proceedings of the Conference on Visualization '01 (San Diego, Kalifornien, 21.-26. Oktober 2001), IEEE Computer Society, Washington, DC, S. 349-356 sowie Schneider, J. und Westermann, R., „Compression Domain Volume Rendering", in: Proceedings IEEE Visualization 2003).
In US 6,683,933 B2 ist ein Client/Server-basiertes Bildretrieval- und Bildrenderingsystem mit einem an ein Datenübertragungsnetz angeschlossenen Bildschirm-Client offenbart, der über geeignete Mittel zur Erfassung und Auswertung von einem Netzserver empfangener voxelbasierter 3D-Bildddaten darzustellender Objekte (Volumendaten), über Mittel zur Nachbearbeitung dieser 3D-Bilddaten im Hinblick auf die Raumkoordinaten und Orientierungswinkel, die Oberflächenfarbe und Opazität dargestellter Objekte, sowie über Mittel zur Bildaufbereitung und dreidimensionalen grafischen Visualisierung der darzustellenden Objekte durch projektive Abbildung dieser nachbearbeiteten Volumendaten auf die zweidimensionale Bildebene des Client-Bildschirms verfügt. Die Parameterwerte der projektiven Abbildung können dabei von einem Anwender über eine Benutzerschnittstelle des Bildschirm-Clients individuell vorgegeben werden.
US 2004/0 179 744 A1 beschreibt ein Datenübertragungsverfahren in einem auf dem Client/Server-Prinzip basierenden Datenübertragungssystem, bei dem Bilddaten, welche von einem Server zu einem Client-Terminal übertragen werden sollen, vor der Datenübertragung vom Server durch Redundanzreduktion in eine hierarchische Datenrepräsentation umgewandelt werden, so dass diese Bilddaten auf dem Client-Terminal in Abhängigkeit von der durch die Redundanzreduktion erzielten Kompressionsrate mit einer gewünschten, entsprechend niedrigeren Auflösung rekonstruiert und in grafischer, gerenderter Form dargestellt werden können. Zur Rekonstruktion einer neuen, höher aufgelösten Ansicht fordert das Client-Terminal vom Server zusätzliche Daten an, welche dann vom Server bereitgestellt und über eine Datenübertragungsleitung eines Rechnernetzes zu dem betreffenden Client-Terminal gesendet werden. Die Bilddaten liegen dabei in einer hierarchischen Datenrepräsentation in Form einer aus mehreren Hierarchieebenen bestehenden „pyramidalen Datenstruktur" vor, bei der jeder dieser Hierarchieebenen nicht redundante, in einem Speicherbereich des Servers vorgehaltene Daten („incremental transform data") zugeordnet sind, mit denen komprimierte 2D- bzw. 3D-Bilddaten einer bestimmten Mindestauflösung z.B. mittels Wavelet-Zerlegung je nach gewünschter, von einem Anwender vorzugebender Hierarchieebene bildbereichsweise zu Bilddaten einer höheren Detailtiefenstufe (Multiskalendarstellung) ergänzt werden können, nachdem vom Server entsprechende Wavelet-Koeffizienten angefordert und in einen Speicherbereich des Client-Terminals nachgeladen wurden.
In den unter der URL http://vadl.cc.gatech.edu/documents/ 34_Yang_class5_multireex.pdf zugänglichen Vorlesungsunterlagen des im Herbst 2005 von Dr. Jing Yang zum Thema „An Introduction to Information Visualization Techniques for Exploring Large Database" an der University of North Carolina in Charlotte gehaltenen Kurses werden konventionelle Techniken zur Visualisierung zwei- bzw. dreidimensionaler Bilddaten in mehreren Detailtiefenstufen (engl.: „multi-resolution visualization", MRV), die z.B. bei Video-on-Demand- oder Internetbasierten Bildserver-Applikationen zum Einsatz kommen, diskutiert und einander gegenübergestellt. Dabei wird z.B. auf die Generierung von Multiskalendarstellungen mit Hilfe von Wavelet-Zerlegungen, auf Volume Rendering-Techniken zur Rekonstruktion von unterschiedlich aufgelösten 3D-Ansichten darzustellender Bildbereiche mittels 3D Texture Mapping wie auch auf die Möglichkeit einer Bilddatenkompression mittels selektiv verfeinerbarer progressiver Netze (engl.: „multiresolution meshes") zur Darstellung von Bildbereichen in einer vorgebbaren Detailtiefenstufe eingegangen.
Der Fachzeitschriftenartikel „Radiology on Handheld Devices: Image Display, Manipulation, and PACS Integration Issues" (in: RadioGraphics (RG), Vol. 24, No. 1, pp. 299-310, ^©RSNA 2004) von B. Raman u.a. bezieht sich auf die Verwendung von einhändig tragbaren Personal Digital Assistants (PDAs) im Bereich der Teleradiologie sowie auf ein DICOM-konformes, nach dem Client/Server-Prinzip arbeitendes medizintechnisches Bildarchivierungs-, Bildretrieval- und Bildrenderingsystem gemäß dem PACS-Standard, in welchem ein PDA-Server als Gateway zwischen einer Bilddatenbank und einer Anzahl an das System angeschlossener Client-PDAs fungiert und angeforderte Bilddaten in einer bestimmten Farbtiefe und einer bestimmten Detailtiefenstufe, die durch die verwendete Display-Technologie bzw. die Bildschirm- bzw. Display-Auflösung (d.h. durch die Pixelanzahl pro Bildschirm- bzw. Display-Fläche) der jeweiligen Client-PDAs vorgegeben sind, zu den einzelnen Clients überträgt.
AUFGABE DER VORLIEGENDEN ERFINDUNG
Ausgehend von dem oben genannten Stand der Technik, ist die vorliegende Erfindung der Aufgabe gewidmet, den Workflow zur Erreichung einer zwecks Senkung des Systemauslastungsgrads durchgeführten Reduzierung des Datenverkehrs zwischen einem Bilddatenserver und Client-Terminals eines auf dem Client/Server-Prinzip basierenden Bildarchivierungs-, Bildretrieval- und Bildrenderingsystems im Hinblick auf die Anforderung und Übertragung für ein Bildrendering benötigter komprimierter Bilddaten, welche zur Darstellung von Bildbereichen unterschiedlicher Detailtiefenstufen auf einem Bildschirm-Client benötigt werden, zu vereinfachen.
Diese Aufgabe wird erfindungsgemäß durch die Merkmale der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsbeispiele, die den Gedanken der Erfindung weiterbilden, sind in den abhängigen Patentansprüchen definiert.
ZUSAMMENFASSENDE DARSTELLUNG DER VORLIEGENDEN ERFINDUNG
Die zugrunde liegende Erfindung offenbart, entsprechend der im vorangehenden Abschnitt definierten Aufgabe, einen Bildschirm-Client eines Client/Server-basiertes Bildarchivierungs-, Bildretrieval- und Bildrenderingsystems zum Erfassen, Speichern, Abrufen und grafischen Visualisieren mehrdimensionaler digitaler Bilddaten, sowie ein von diesem Bildschirm-Client durchgeführtes Verfahren zur Einstellung der Detailtiefenstufe darzustellender digitaler Bilddaten. Das Verfahren kann z.B. im klinischen Bereich im Rahmen der ärztlichen Befundung von grafisch darzustellenden Bilddaten, die den inneren Aufbau von Organen eines zu untersuchenden Patienten zeigen, eingesetzt werden.
Die der Erfindung zugrunde liegende Grundidee besteht darin, pro Patientenuntersuchung einen einzigen, in voller Auflösung vorliegenden Satz Volumendaten in einer PACS-Datenbank zu speichern. Das Erfassen und Auswerten dieser Volumendaten wird über einen Client/Server-Mechanismus ermöglicht, bei dem Informationen, ungeachtet der Menge an Volumendaten, nur bis hin zu einer Detailtiefenstufe (LOD) angezeigt werden, die durch die aktuellen Erfordernisse eines an der PACS-Workstation arbeitenden Arztes vorgegeben sind. Dies wird durch eine angemessene Datenstrom-Komprimierung und Speicherung der Volumendaten auf Seiten des Servers mit anschließender Datenübertragung zu den einzelnen Clients erreicht, wobei, gestützt auf die kundenspezifische Grafik-Hardware, eine schrittweise Rekonstruierung und Anzeige der Volumendaten erfolgt. Dabei sind die Daten mit der größtmöglichen Auflösung immer an allen an den PACS-Server angeschlossenen Clients für die Ärzte verfügbar. Außerdem wird eine unnötige redundante Speicherung und Übertragung der Daten vermieden. Bildnachbearbeitungsfunktionalitäten werden an den PACS-Clients angeboten, wobei ein ähnlicher Client/Server-Ansatz zur Anwendung kommt. Hiermit ist eine Verschiebung der Denkweise weg von dem derzeitigen Schnittbild-orientierten PACS-System hin zu einer Volumendaten-orientierten PACS-Systemarchitektur verbunden.
Die vorliegende Erfindung bezieht sich insbesondere auf ein Verfahren zum Abrufen und grafischen Visualisieren von mehrdimensionalen komprimierten Bilddaten auf einem Bildschirm-Client eines auf dem Client/Server-Prinzip basierenden Bildarchivierungs-, Bildretrieval- und Bildrenderingsystems, bei dem über den Bildschirm-Client von einem Server angeforderte, für ein Bildrendering benötigte komprimierte Volumendaten darzustellender Objekte nur bis zu einer bestimmten ortsvarianten, bereichs- bzw. objektspezifischen Detailtiefenstufe zu dem Bildschirm-Client übertragen und auf diesem in grafischer Form dargestellt werden.
Die ortsvariante, bereichs- bzw. objektspezifische Detailtiefenstufe der darzustellenden Objekte kann hierbei z.B. von der perspektivischen Tiefenentfernung der Objekte von einem definierten Betrachtungspunkt vor der Bildschirmebene des Bildschirm-Clients abhängen. Um einzelne Objekte in einer objektspezifischen (d.h. für alle Raumpunkte eines darzustellenden Objekts gleichen, jedoch für verschiedene Objekte mit unterschiedlichen Objektentfernungen zu einem Betrachter unterschiedlichen) Detailtiefenstufe darstellen zu können, können z.B. Ergebnisdaten eines zur Segmentierung dieser Objekte durchgeführten Segmentierungsalgorithmus zum Nachladen von höher aufgelösten Volumendaten mit einer von der jeweiligen Objektentfernung zum Betrachter abhängigen objektspezifischen Detailtiefenstufe verwendet werden. Erfindungsgemäß kann auch vorgesehen sein, dass die ortsvariante, bereichs- bzw. objektspezifische Detailtiefenstufe angeforderter Volumendaten bei einer von einem Benutzer durchgeführten Bildausschnittsvergrößerungsoperation zur Wahl eines größeren Darstellungsmaßstabs dargestellter Objekte in einem benutzerdefinierbaren Maß zunimmt.
Die für ein Bildrendering benötigten komprimierten Volumendaten darzustellender Objekte sind mit einer von einem Bildgebungssystem vorgegebenen feinstmöglichen Auflösung in einer von dem Server verwalteten und nur von diesem direkt zugreifbaren Datenbank gespeichert. Auf den Volumendaten durchzufüh rende komplexe Filterungs-, Segmentierungs-, Clustering-, Rendering-, Merkmalsextraktions- und/oder Mustererkennungsalgorithmen werden erfindungsgemäß auf Seiten des Servers ausgeführt, während weniger aufwändige Bildverarbeitungs- bzw. Bildnachbearbeitungsalgorithmen auf diesen Volumendaten erfindungsgemäß auf Seiten des Bildschirm-Clients ausgeführt werden.
Auf Seiten des Bildschirm-Clients wird erfindungsgemäß ein Bildretrieval- und Bildrenderingverfahren durchgeführt, welches die folgenden Schritte umfasst: Nach einer Partitionierung eines in grafischer Form darzustellenden virtuellen Objektraums in Volumeneinheiten einer vorgegebenen Form und Größe, dem Laden komprimierter Volumendaten im Inneren dieses virtuellen Objektraums angeordneter, grafisch darzustellender Objekte mit einer durch die Größe dieser Volumeneinheiten vorgegebenen Detailtiefenstufe von einem Server und dem Dekomprimieren dieser Volumendaten wird erfindungsgemäß zunächst eine Ansicht des virtuellen Objektraums sowie der darin befindlichen Objekte in der durch die Größe der Volumeneinheiten vorgegebenen Detailtiefenstufe dargestellt. Im Anschluss daran werden die von den betreffenden Objekten eingenommenen Volumeneinheiten des virtuellen Objektraums sukzessive in jeweils kleinere Untereinheiten bis zu einer bestimmten, von der Entfernung der jeweiligen Objekte von dem Betrachtungspunkt vor der Bildschirmebene des Bildschirm-Clients abhängigen Teilungstiefe unterteilt, wobei die Feinheit dieser Unterteilung erfindungsgemäß in Richtung des Betrachtungspunkts zunimmt und in der Gegenrichtung abnimmt, und es werden automatisch höher aufgelöste komprimierte Volumendaten der Objekte mit einer durch die Größe der Untereinheiten vorgegebenen Detailtiefenstufe sukzessive vom Server nachgeladen und schrittweises dekomprimiert. Die Ansicht dargestellter Objekte wird dann durch Generieren einer höher aufgelösten Darstellung dieser Objekte mit einer durch die Größe der jeweiligen Untereinheiten vorgegebenen Detailtiefenstufe schrittweise verfeinert.
Bei der vorgenannten Partitionierung wird der virtuelle Objektraum erfindungsgemäß unter Verwendung einer baumartig strukturierten hierarchischen Datenstruktur in Volumeneinheiten der vorgegebenen Form und Größe unterteilt, welche es erlaubt, nur solche Volumendaten abzurufen, die Bildbereichen, welche zeitgleich von einem an dem Bildschirm-Client arbeitenden Anwender verwendet werden, entsprechen.
Gemäß vorliegender Erfindung kann sich der Server zur Komprimierung der über den Bildschirm-Client angeforderten Volumendaten z.B. eines Komprimierungsschemas bedienen, das die Regelmäßigkeit von Formen, Oberflächentexturen bzw. Objektstrukturen darzustellender Objekte kodiert. Bei diesem Komprimierungsschema kann es sich beispielsweise um eine Wavelet-Kompression über den Bildschirm-Client angeforderter Volumendaten handeln. Bei diesen Volumendaten handelt es sich erfindungsgemäß um Daten für ein Bildrendering zwei- oder dreidimensionaler Rastergrafiken, die zeitunabhängig oder zeitabhängig sein können. Erfindungsgemäß werden dabei für die Volumendaten jedes gerenderten Bildes Funktionswerte der ortsvarianten, bereichs- bzw. objektspezifischen Detailtiefenstufe dargestellter Objekte gespeichert.
Außerdem ist die vorliegende Erfindung auf einen Server eines Client/Server-basierten Bildarchivierungs-, Bildretrieval- und Bildrenderingsystems gerichtet, der über Mittel zur lokalen Zwischenspeicherung komprimierter Volumendaten mit einer für dieses System vorgegebenen feinstmöglichen Auflösung aus einer von dem Server verwalteten und nur von diesem direkt zugreifbaren Datenbank verfügt sowie über Mittel zur Umwandlung dieser Volumendaten in ein niedriger aufgelöstes Datenformat mit einer ortsvarianten, von der perspektivischen Tiefenentfernung darzustellender Objekte von einem definierten Betrachtungspunkt vor der Bildschirmebene eines Bildschirm-Clients abhängigen Detailtiefenstufe und Mittel zur Komprimierung und Bereitstellung der in dieses Datenformat umgewandelten Volumendaten.
Die Erfindung bezieht sich ferner auf einen über ein Datenübertragungsnetz an einen Server eines Client/Serverbasierten Bildarchivierungs-, Bildretrieval- und Bildrenderingsystems angeschlossenen Bildschirm-Client, wobei Letzterer unter anderem über Mittel zum Partitionieren eines in grafischer Form darzustellenden virtuellen Objektraums in Volumeneinheiten einer vorgegebenen Form und Größe sowie zum sukzessiven Unterteilen dieser Volumeneinheiten in jeweils kleinere Untereinheiten bis zu einer maximal erreichbaren Teilungstiefe verfügt, wobei die Feinheit dieser Unterteilung in Richtung eines Betrachters zunimmt und in der Gegenrichtung abnimmt. Darüber hinaus umfasst dieser Bildschirm-Client erfindungsgemäß Mittel zum Laden von komprimierten Volumendaten im Inneren dieses virtuellen Objektraums angeordneter, grafisch darzustellender Objekte mit einer durch die Größe der Volumeneinheiten vorgegebenen Detailtiefenstufe von einem Server sowie zum sukzessiven automatischen Nachladen von höher aufgelösten komprimierten Volumendaten der Objekte mit einer durch die Größe der Untereinheiten vorgegebenen Detailtiefenstufe von dem Server und Mittel zum Dekomprimieren dieser Volumendaten. Ferner sind auf Seiten des Bildschirm-Clients erfindungsgemäß Mittel zum Darstellen einer Ansicht des virtuellen Objektraums und der darin befindlichen Objekte in der durch die Größe der Volumeneinheiten vorgegebenen Detailtiefenstufe sowie zum schrittweisen Verfeinern der Ansicht dargestellter Objekte durch Generieren einer höher aufgelösten Darstellung dieser Objekte mit einer durch die Größe der jeweiligen Untereinheiten vorgegebenen Detailtiefenstufe vorgesehen.
Darüber hinaus bezieht sich die vorliegende Erfindung auf ein Client/Server-basiertes Bildarchivierungs-, Bildretrieval- und Bildrenderingsystem zum Speichern, Abrufen und grafischen Visualisieren von mehrdimensionalen komprimierten Bilddaten, bei dem über einen Bildschirm-Client von einem Server angeforderte, für ein Bildrendering benötigte komprimierte Volumendaten darzustellender Objekte nur bis zu einer bestimmten ortsvarianten, bereichs- bzw. objektspezifischen Detailtie fenstufe zu dem Bildschirm-Client übertragbar und auf diesem in grafischer Form darstellbar sind.
Die ortsvariante, bereichs- bzw. objektspezifische Detailtiefenstufe darzustellender Objekte kann hierbei wiederum z.B. von der perspektivischen Tiefenentfernung dieser Objekte von einem definierten Betrachtungspunkt vor der Bildschirmebene des Bildschirm-Clients abhängen.
Die für ein Bildrendering benötigten komprimierten Volumendaten darzustellender Objekte sind mit einer für dieses System vorgegebenen feinstmöglichen Auflösung in einer von dem Server verwalteten und nur von diesem direkt zugreifbaren Datenbank gespeichert.
Schließlich bezieht sich die vorliegende Erfindung auch auf ein Computersoftware-Programmprodukt zur Durchführung des geschilderten Bildretrieval- und Bildrenderingverfahrens bei Betrieb auf einem Bildschirm-Client des vorstehend beschriebenen Client/Server-basierten Bildarchivierungs-, Bildretrieval- und Bildrenderingsystems.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Weitere Eigenschaften, Merkmale, Vorteile und Anwendungen der zugrunde liegenden Erfindung ergeben sich aus den untergeordneten abhängigen Patentansprüchen sowie aus der folgenden Beschreibung zweier Ausführungsbeispiele der Erfindung, welche in den folgenden Zeichnungen abgebildet sind. Hierbei zeigt
1A ein Blockdiagramm zur Veranschaulichung der Systemarchitektur des erfindungsgemäßen Client/Server-basierten Bildarchivierungs-, Bildretrieval- und Bildrenderingsystems,
1B ein Blockdiagramm zur Darstellung der auf Seiten eines Servers bzw. auf Seiten eines Bildschirm-Clients zur Realisierung eines solchen Systems er findungsgemäß benötigten Systemkomponenten,
2 die Benutzeroberfläche eines Web-basierten geografischen Informationssystems (Google Maps) mit drei Ansichten unterschiedlichen Darstellungsmaßstabs einer geografischen Maßstabskarte zur maßstabsgetreuen kartografischen Darstellung geografischer Regionen in unterschiedlichen Detailtiefenstufen je nach Darstellungsmaßstab,
3 ein Magnetresonanzbild zur zweidimensionalen Darstellung partitionierter Volumendaten eines Längsschnitts durch das Knochen- und Muskelgewebe im Bereich des Abdomens, des Beckens und der unteren Extremitäten eines zu untersuchenden Patienten mit einem strichpunktiert dargestellten quadratischen Gitternetz zur Veranschaulichung der Partitionierung des dargestellten Bildbereiches mit Hilfe einer Oktonärbaumstruktur in eine Anzahl abhängig von der Entfernung zu einem Betrachter mit unterschiedlichen Detailtiefenstufen abzuspeichernder Volumenbereiche,
4 eine Magnetresonanzaufnahme in sieben verschiedenen Größenformaten und sieben verschiedenen Darstellungsmaßstäben zur zweidimensionalen Darstellung der Volumendaten des vorstehend bezeichneten Knochen- und Muskelgewebes in sieben verschiedenen Detailtiefenstufen („MIP Mapping"-Schema),
5 drei Ansichten von Satellitenaufnahmen eines Teils der Erdoberfläche zur realistischen Darstellung geografischer Regionen in unterschiedlichen Darstellungsmaßstäben und Detailtiefenstufen, abgerufen von einem Web-basierten geografischen Informationssystem (Google Earth), und
6 ein Schaubild zur Veranschaulichung des in vorlie gender Erfindung verwendeten Lösungsansatzes zur Partitionierung und automatischen Detailtiefenstufen-Einstellung darzustellender Volumendaten mit Hilfe einer Oktonärbaumstruktur zur sukzessiven Unterteilung eines Objektraums in würfelförmige Volumeneinheiten, bei dem einem Betrachter räumlich nahe Objekte in einer höheren Detailtiefenstufe dargestellt werden als räumlich entfernte Objekte.
DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
In den folgenden Abschnitten werden die Systemkomponenten des erfindungsgemäßen Client/Server basierten Bildarchivierungs-, Bildretrieval- und Bildrenderingsystems und die Schritte des zugehörigen erfindungsgemäßen Verfahrens anhand der beigefügten Zeichnungen im Detail beschrieben. Bisweilen ist dabei ohne Beschränkung der Allgemeinheit von einem Server und einer Vielzahl von Bildschirm-Clients (auch bezeichnet als Client-Workstations) die Rede, die mit Hilfe des Kommunikationsstandards PACS über ein Datenübertragungsnetz miteinander kommunizieren. Die vorliegende Erfindung ist jedoch nicht nur auf ein derartiges PACS-System, sondern allgemein auf Client/Server-basierte Bildarchivierungs-, Bildretrieval- und Bildrenderingsysteme anwendbar und somit von dem der Datenübertragung zugrunde liegenden Kommunikationsstandard unabhängig.
Wie aus 1A ersichtlich, ist das erfindungsgemäße Bildarchivierungs-, Bildretrieval- und Bildrenderingsystem um eine Client/Server-Architektur herum konstruiert, in der nur ein für die Übertragung von Volumendaten an eine Vielzahl von Bildschirm-Clients 104 zuständiger Server 102 und dessen Datenspeicher 103 direkten Zugriff auf Volumendaten voller Auflösung haben. Der Server 102 ist dabei für die Verarbeitung von von Seiten der Clients 104 getätigten Anfragen in Bezug auf die Einstellung von Detailtiefenstufen für bestimmte Bildbereiche generierter Volumendaten zuständig. Nach der Verarbeitung einer solchen Anfrage werden die betreffenden Volumendaten als Datenstrom zu den Clients 104 übertragen. Die diese Daten einlesenden Clients 104 führen dabei eine schrittweise Dekomprimierung der Volumendaten durch und stellen diese z.B. in Form von zweidimensionalen Bildern oder in Volumen-Rendering-Technik erstellten 3D-Bildrekonstruktionen dar. Falls die Clients 104, wie in 1a dargestellt, über keine Bildaufbereitungsfunktionalität verfügen, stellt der Server 102 einen Bildaufbereitungsdienst zur Verfügung, welcher eine Fernvisualisierung nach erfolgter Datenstrom-Übertragung generierter Volumendaten zu den Clients 104 ermöglicht. Komplexe Bildnachbearbeitungsalgorithmen, wie beispielsweise Filterungs-, Segmentierungs- oder Mustererkennungsalgorithmen, werden auf Seiten des Servers 102 ausgeführt, während weniger aufwändige Aufgaben auf Seiten der Clients 104 erledigt werden. Dabei führen die Clients 104, gestützt auf eine kundenspezifische Grafik-Hardware in Form von lokalen Bildaufbereitungsmodulen 105, ein Bildaufbereitungsverfahren durch.
Ein detaillierteres Blockdiagramm zur Darstellung der auf Seiten eines Servers 102 bzw. auf Seiten eines Bildschirm-Clients 104 zur Realisierung des erfindungsgemäßen Bildarchivierungs-, Bildretrieval- und Bildrenderingsystems benötigten Systemkomponenten ist in 1b skizziert. Wie dieser Zeichnung zu entnehmen ist, sind Volumendaten mit einer für dieses System vorgegebenen feinstmöglichen Auflösung, die zur Verfeinerung der Rasterbild-Darstellung einer Anzahl auf einem Bildschirm 106 des Bildschirm-Clients 104 in einer mittleren Detailtiefenstufe dargestellter Objekte 604 benötigt werden, in einem nur von dem Server 102 zugreifbaren externen Bildarchiv 103 gespeichert. Die Detailtiefenstufe dargestellter Rasterbilder ist dabei durch ein Partitionierungsmittel 104c des Bildschirm-Clients 104, durch das ein darzustellender virtueller Objektraum in Volumeneinheiten einer bestimmten Form und Größe unterteilt wird, vorgegeben. Bei Erhalt einer entweder automatisch oder beispielsweise im Zuge einer Bildausschnittsvergrößerungs-Operation eines Anwenders getätig ten Anfrage des Bildschirm-Clients 104 zur Erhöhung der Auflösung segmentierter Bildbereiche werden die feinstmöglich aufgelösten Volumendaten über eine Eingabe-/Ausgabe-Schnittstelle 102a in einen lokalen Zwischenspeicher 102b des Servers 102 geladen und über ein Bussystem bei einem entsprechenden Steuerbefehl der Zentralverarbeitungseinheit 102c (CPU) des Servers 102 Letzterer zugeführt. Die Server-interne Zentralverarbeitungseinheit 102c rechnet die Volumendaten der dargestellten Objekte 604 und die von dem externen Bildarchiv 103 erhaltenen Volumendaten erfindungsgemäß in Abhängigkeit von der Entfernung der jeweiligen Objekte 604 von einem definierten Betrachtungspunkt 601 vor der Bildschirmebene des Bildschirm-Clients 104 in Volumendaten einer höheren Detailtiefenstufe um und leitet die Ergebnisdaten dieses Prozesses an ein Komprimierungsmodul 102d weiter, wo sie, je nachdem, ob es sich bei den Volumendaten um Standbild- oder Bewegtbilddaten handelt, einer JPEG- bzw. MPEG-Komprimierung unterzogen werden. Die komprimierten Volumendaten werden dann über das Bussystem zu der Eingabe-/Ausgabe-Schnittstelle 102a des Servers 102 geführt, über ein (nicht dargestelltes) Datenübertragungsnetz zu einer Eingabe-/Ausgabe-Schnittstelle 104a des Bildschirm-Clients 104 übertragen und sukzessive von einem Lademittel 104b des vorgenannten Bildschirm-Clients 104 geladen. Die sukzessive geladenen Volumendaten werden stoßweise von einem Dekomprimierungsmodul 104d dekomprimiert, woraufhin der darzustellende virtuelle Objektraum mit Hilfe des Partitionierungsmittels 104c in Abhängigkeit von der ortsabhängigen Detailtiefenstufe der stoßweise dekomprimierten Volumendaten sukzessive in Volumeneinheiten 602c einer bestimmten Form und Größe bis zu einer bestimmten ortsabhängigen Teilungstiefe unterteilt wird. Die Feinheit dieser Unterteilung nimmt dabei in Richtung des Betrachtungspunkts 601 zu und in der Gegenrichtung ab. Währenddessen werden die dekomprimierten Volumendaten einem ersten Ausführungsbeispiel vorliegender Erfindung zufolge einem auf Seiten des Bildschirm-Clients 104 verfügbaren lokalen Bildaufbereitungsmodul 105 zugeführt, wo sie (im Falle drei- oder bei Berücksichtigung einer Zeitabhängigkeit vierdimensionaler Bilddaten) mit Hilfe einer projektiven Abbildung in eine zur zweidimensionalen Darstellung auf einem Bildschirm geeignete perspektivische Darstellungsform überführt werden, bevor sie auf dem Bildschirm 106 des Bildschirm-Clients 104 mit der durch die geladenen Volumendaten vorgegebenen ortsabhängigen Detailtiefenstufe zur Anzeige gebracht werden. Sollte die Rechenkapazität des Bildschirm-Clients 104 nicht ausreichen, um die dafür benötigten aufwändigen Bildrendering- und Bildnachbearbeitungsprozesse lokal auszuführen, werden diese Prozesse, wie gemäß einem zweiten Ausführungsbeispiel der vorliegenden Erfindung vorgesehen, ebenfalls von der Zentralverarbeitungseinheit 102c des Servers 102 durchgeführt.
Der in 1B dargestellte Server 102 ist beispielsweise dazu imstande, einer Vielzahl von Bildschirm-Clients 104 Patientendaten, die in mehreren unterschiedlichen Auflösungsstufen vorliegen, je nach der von den Anwendern auf Seiten der Clients 104 aktuell benötigten Detailtiefenstufe bereitzustellen. Dieses Schema kann genauso wie ein Web-basiertes geografisches Informationssystem, wie beispielsweise Google Maps oder Google Earth, beschaffen sein, bei dem hoch aufgelöste geografische Daten auf einem zentralen Server gespeichert und in Form verschiedener Ansichten unterschiedlichen Darstellungsmaßstabs als geografische Maßstabskarte (I, II und III) zur maßstabsgetreuen kartografischen Darstellung geografischer Regionen in unterschiedlichen Detailtiefenstufen je nach Darstellungsmaßstab wiedergegeben werden (siehe 2). Wie 2 zu entnehmen ist, nimmt die Detailtiefenstufe dabei mit zunehmendem Darstellungsmaßstab der auf diesen Maßstabskarten I, II und III abgebildeten geografischen Regionen zu.
Die Clients 104 können sich dabei mit dem Server 102 in Verbindung setzen und individuelle Datenanfragen in Bezug auf bestimmte Bildbereiche und Auflösungsstufen tätigen. Das erfindungsgemäße Bildretrievalsystem baut auf dieser Idee auf, verwendet jedoch anstelle von geografischen Daten tomografische Daten als dreidimensionale „Landkarte" des menschlichen Körpers. Um Anfragen einer Vielzahl von Clients 104 bedienen und den Datenverkehr über das Datenübertragungsnetz innerhalb des normalen Betriebsbereichs klinischer Institutionen halten zu können, muss auf Seiten des Servers 102 ein effizientes Datenkompressionsverfahren durchgeführt werden.
Ein weiterer, in Betracht zu ziehender Aspekt bei der Festlegung der von dem Server 102 bereitgestellten Dienste ist die Verfügbarkeit von computergestützten Diagnose-Werkzeugen auf Seiten der PACS-Clients 104. Algorithmen, die im Rahmen der computergestützten Diagnose eingesetzt werden, sind oft sehr komplex und mit hohem Rechenaufwand verbunden. Um die Leistungsfähigkeit des Bildretrievalsystems auf einem hohen Niveau und gleichzeitig die Anforderungen an die Clients104, was die benötigte Hardware-Ausstattung anbelangt, in einem erschwinglichen Ausmaß zu halten, stellt der Server 102 erfindungsgemäß Bildverarbeitungsdienste zur Durchführung von Filterungs-, Segmentierungs-, Clustering-, Rendering-, Merkmalsextraktions-, Mustererkennungs- und/oder anderen komplexen Bildverarbeitungsalgorithmen zur Verfügung.
Patientendaten können mit Hilfe zweier fundamentaler Prozesse generiert werden: durch Erstellung von Abtastbildern auf Seiten der bildgebenden Modalitäten oder durch Bildnachbearbeitung auf Seiten der jeweiligen Workstations. Im ersteren Fall entsprechen die Patientendaten Bilderserien, welche zu einem oder mehreren vierdimensionalen Skalarfeldern φ_n(x →_e(t)) mit der Funktionsvorschrift φ_n: x →_e(t) ↦ φ_n(x →_e(t)) ∀ n (mit x →_e(t) ≋ [x, y, z, t]^T ∊
für t ≥ 0, φ_n(x →_e(t))∊
∀ n und n ∊ ➓) gehören, wobei n die Indexnummer des jeweiligen Skalarfeldes bezeichnet und der Parametervektor x →_e(t) einen um die Zeitkoordinate t ergänzten dreidimensionalen Ortsvektor x → ≔ [x, y, z]^T ≡ OP ∊
in einem kartesischen Objektkoordinatensystem mit dem Koordinatenursprung O, welche die Abhängigkeit der drei kartesischen Ortskoordinaten x, y und z eines darzustellenden Objektpunktes P(x, y, z) von der Zeit t wiedergibt. Bilddaten zweidimensionaler Schnittbilder sowie mit Hilfe eines radiologischen Bildgebungsverfahrens erhalte ne Volumendaten werden dabei als Spezialfälle animierter 3D-Rastergrafiken, im Folgenden auch als 4D-Bilddatensätze bzw. zeitvariante 3D-Bilddatensätze bezeichnet, angesehen. Dabei können auch durch Bildnachbereitung erhaltene Bilddaten als Skalarfelder oder als Daten eines speziellen Datentyps generiert werden, z.B. zur Durchführung einer Segmentierung, einer Darstellungstransformation oder Bereichsmarkierung abgebildeter Objekte. Bei dem erfindungsgemäßen Client/Serverbasierten Bildarchivierungs-, Bildretrieval- und Bildrenderingsystem werden diese spezielle Datentypen im Allgemeinen unter Verwendung üblicher Komprimierungsschemata (zip, gzip, bzip2 etc.) gespeichert und übermittelt. Volumendaten werden dagegen unter Verwendung eines speziellen Komprimierungsschemas gespeichert, welches sich die Regelmäßigkeit von Formen, Oberflächentexturen bzw. Objektstrukturen darzustellender Objekte zunutze macht und eine schrittweise Übertragung von komprimierten Bilddaten in Form eines Datenstroms erlaubt.
Bei dem erfindungsgemäßen Verfahren zur Komprimierung von volumendaten handelt es sich um eine dreidimensionale Erweiterung des JPEG 2000-Dateiformats, welches zur Speicherung von Bilddaten zweidimensionaler Bilder verwendet wird. Da aufeinander folgende Schnittbilder eines aus gemeinsamen Volumendaten bestehenden Datensatzes zueinander sehr ähnlich sind, sind die Kompressionsraten für die mit Hilfe eines radiologischen Bildgebungsverfahrens erhaltenen Volumendatensätze sehr hoch. Gemäß diesem Kompressionsverfahren wird pro Patientenuntersuchung ein einziger Datensatz mit der größten zum Rekonstruktionszeitpunkt verfügbaren Auflösung auf dem Server gespeichert. Zusätzlich werden die Volumendaten eines Objektraums unter Verwendung einer Oktonärbaumstruktur partitioniert, welche es erlaubt, nur solche Daten abzurufen, die Bildbereichen, welche gerade von dem an einem der Clients 104 arbeitenden Anwender verwendet werden, entsprechen. Bei einem Oktonärbaum handelt es sich um eine hierarchische Datenstruktur, welche einen Objektraum 602 durch sukzessive Unterteilung in würfelförmige Volumeneinheiten 602c, die aus jeweils acht über ihre Seitenflächen paarweise aneinander angrenzen den Teilwürfeln 602a/b der halben Kantenlänge bestehen, bis zu einer vorgegebenen Teilungstiefe (z.B. bis hin zu einzelnen Voxeln) beschreibt und somit geeignet ist, reelle bzw. virtuelle Objekte 602 durch würfelförmige Raumunterteilung mit einer bestimmten Detailtiefenstufe, also mit einer vorgebbaren Differenziertheit, darzustellen. Ein Beispiel für die mit Hilfe einer solchen Oktonärbaumstruktur erfindungsgemäß vorgenommene Partitionierung eines darzustellenden Objektraums in eine Anzahl mit unterschiedlichen Detailtiefenstufen abzuspeichernder Volumenbereiche abhängig von der Entfernung dieser Volumenbereiche zu einem Betrachter ist durch das quadratische Gitternetz der in 3 abgebildeten Magnetresonanzaufnahme veranschaulicht, in der ein Längsschnitt durch das Knochen- und Muskelgewebe im Bereich des Abdomens, des Beckens und der unteren Extremitäten eines zu untersuchenden Patienten 604 dargestellt ist. In diesem Beispiel wird davon ausgegangen, dass sich die Volumeneinheiten 602a mit der geringsten Entfernung zum Betrachter in der oberen linken Ecke des dargestellten Bildausschnitts befinden und die Volumeneinheiten 602c mit der größten Entfernung zum Betrachter in der rechten unteren Ecke des dargestellten Bildausschnitts. Infolgedessen werden die Volumeneinheiten in Richtung der linken oberen Ecke des dargestellten Bildausschnitts sukzessive feiner partitioniert und die zugehörigen Bildbereiche dieser Volumeneinheiten in Richtung der linken oberen Ecke mit zunehmender Auflösung abgespeichert, was durch die um den Faktor zwei bzw. um den Faktor vier kleineren Kantenlängen der durch sukzessiv feinere Partitionierung erhaltenen Volumeneinheiten 602b bzw. 602a in der linken oberen Ecke im Vergleich zu den nicht feiner partitionierten Volumeneinheiten 602c des restlichen Bildausschnitts angedeutet ist.
Um die Bildaufbauzeit auf Seiten der Bildschirm-Clients 104 so kurz wie möglich zu halten, werden Volumendaten, die zu unterschiedlichen Detailtiefenstufen gehören, solange als Datenstrom zu den einzelnen Clients 104 übertragen, bis eine für die Bildgenerierung gewünschte Auflösung erreicht ist.
Dies kann z.B. durch Verwenden von gespeicherten Wavelet-Transformierten zu den in den JPEG 2000-Dateien enthaltenen Volumendaten erreicht werden. Ähnlich wie beim Textur MIP-Mapping (abgeleitet von lat.: „multum in parvo" = Vieles auf engem Raum, vielfältig) – einem Verfahren zur Erzielung eines 3D-Effekts zur realistischen, vielseitigen Darstellung der Oberflächen naher und entfernter Objekte durch Verwendung von Texturen unterschiedlicher Auflösung, mit dessen Hilfe störende Treppeneffekte und Schlieren naher Objekte durch zu grobe Texturen vermieden und perspektivische Tiefenwirkungen durch eine Reduzierung der Detailtiefenstufe von Texturen entfernter Objekte erzielt werden – werden Volumendaten von Bildern mittlerer Auflösung, d.h. Volumendaten von Bildern mit einer von einer bildgebenden Modalität bereitgestellten Detailtiefenstufe, ohne weitere Verzögerung auf den Bildschirmen der Clients 104 angezeigt, wobei eine schrittweise Verfeinerung der Detailtiefenstufe vorgenommen wird, sobald vom Server 102 hierzu benötigte Zusatzinformationen in Form eines Datenstroms geliefert werden.
Für Clients 104, die die Anforderungen für ein Erfassen, Auswerten und Bearbeiten eines aus zwei-, drei- oder (bei zusätzlicher Berücksichtigung einer Zeitabhängigkeit) vierdimensionalen Bilddaten bestehenden Datenstroms mit Hilfe der an ihrem Aufstellungsort verfügbaren Rechnerbetriebsmittel 105 nicht erfüllen, stellt der Server 102 einen Fernbildgenerierungsdienst (in 1a bezeichnet als „Bildaufbereitungsdienst") zur Verfügung. Der Server 102 ist hierbei dazu imstande, eine grafische Visualisierung von Volumendaten mit unterschiedlichen Detailtiefenstufen gemäß von Seiten der Clients 104 getätigter Anfragen durchzuführen. Es werden dann auf Seiten des Servers 102 generierte Bilddaten unter Verwendung von Videokomprimierungsschemata in Form eines Datenstroms zu den Clients 104 übertragen.
Computergestützte Diagnoseaufgaben, die Datenverarbeitungskapazitäten jenseits der Fähigkeiten durchschnittlicher Anwender-Hardware erfordern, werden erfindungsgemäß auf Seiten des Servers 102 ausgeführt, um die Gesamtrechenleistung des auf Seiten der Clients 104 installierten Systems auf einem konstanten Niveau zu halten. Als „Server-gestützt" klassifizierte Aufgaben werden von den Clients 104 in Anfrage-Datenpakete umgesetzt, die zum Server 102 übermittelt werden. Der Server 102 führt dann den betreffenden Algorithmus (z.B. einen Filterungs-, Segmentierungs- oder Mustererkennungsalgorithmus etc.) auf den Daten durch und liefert dann die Ergebnisse dieser Verarbeitung an den betreffenden Client 104 zurück. Dabei wird ein Lastverteilungsverfahren mit Prioritäten, die je nach Komplexität einer zu vollbringenden Aufgabe vergeben werden, angewendet, bei dem einfach durchzuführende Aufgaben von den auf Seiten der Clients bereitstehenden Rechnerbetriebsmitteln 105 (in 1a als „lokale Bildaufbereitungsmodule" bezeichnet) erledigt werden. Bei dieser Zuteilung von Rechnerbetriebsmitteln werden die Verarbeitungszeitdauern auf Seiten der Clients 104 sicher innerhalb eines Zeitfensters gehalten, welches zur Integration von computergestützten Diagnose-Werkzeugen in den klinischen Arbeitsablauf erforderlich ist.
Bei dem erfindungsgemäßen Client/Server-basierten Bildarchivierungs-, Bildretrieval- und Bildrenderingsystem sind die PACS-Workstations 104 dafür konzipiert, ein schnelles Erfassen und Auswerten eines aus zwei-, drei- oder (bei zusätzlicher Berücksichtigung einer Zeitabhängigkeit) vierdimensionalen Bilddaten bestehenden Datenstroms zu bewerkstelligen sowie auf Anwender-PCs laufende computergestützte Diagnose-Werkzeuge zur Verfügung zu stellen. Dies wird bei einem auf einem dieser Bildschirm-Clients 104 laufenden, für eine Bildnachbearbeitung zuständigen Prozess dadurch erreicht, dass komplexe Aufgaben an den Server 102 delegiert werden, während einfachere Aufgaben an Ort und Stelle, d.h. von dem betreffenden Client selbst, erledigt werden. Mit Hilfe eines auf einem der Bildschirm-Clients 104 laufenden, für das Erfassen und Auswerten empfangener Bilddaten zuständigen Prozesses werden Bilddaten zweidimensionaler Bilder mit unterschiedlichen Detailtiefenstufen nach einem Konzept generiert, welches das vorstehend erläuterte Speicherungsschema verwendet. In Volumen-Rendering-Technik erstellte 3D-Bildrekonstruktionen mit drei- und vierdimensionalen Bilddaten erfordern ein besonderes, Textur-basiertes Bildaufbereitungsmodul für Volumendaten in Zusammenhang mit einer Anwendergrafik-Hardware. Sofern die Client-Hardware keine Funktionalitäten zur Bildgenerierung, ausgehend von einem aus zwei-, drei- oder vierdimensionalen Bilddaten bestehenden Datenstrom, zur Verfügung stellt, schaltet das erfindungsgemäße Bildretrievalsystem automatisch auf einen Fernbildgenerierungsmodus um und zeigt die von dem Server 102 eintreffenden Bilddaten in grafischer Form auf einem Client-Bildschirm an. Bei diesem Schema ist der betreffende Client 104 von der Generierung dreidimensionaler Bildrekonstruktionen aus Bilddaten zweidimensionaler Schnittbilder befreit, da er auf einen Datensatz von Volumendaten zugreifen kann, in dem die Nummern einzelner Schnittbilder oder deren jeweilige Auflösungen ohne Bedeutung sind. Der Anwender nimmt dabei Bilddaten eines Bildes als ein Bild mit „unbegrenzter Auflösung" wahr, wobei er/sie ungeachtet der jeweiligen Datenmenge transparent navigieren kann.
Ähnlich wie bei einem digitalen Landkartendienst (wie z.B. Map24, ViaMichelin, Google Earth etc.), bei dem z.B. verschiedene Ansichten von Satellitenaufnahmen (I, II und III) eines Teils der Erdoberfläche zur realistischen Darstellung geografischer Regionen in unterschiedlichen Darstellungsmaßstäben und Detailtiefenstufen wiedergegeben werden (siehe 5), fordert der Client 104 anfangs Bilddaten mit einer verhältnismäßig groben Detailtiefenstufe vom Server 102 an, um dem Anwender zu ermöglichen, sich zu orientieren. Sobald der Anwender einen Bildbereich, für den er/sie sich interessiert, erkannt hat, führt er/sie eine Bildausschnittsvergrößerungs- (Zooming) bzw. Bildbeschneidungs-Operation (Cropping) auf dem gewünschten Bildausschnitt durch. Der Client 104 tätigt dann eine Anfrage an den Server 102, welche sich auf den vorgegebenen Bildausschnitt und die größtmögliche, in dem jeweiligen Bildschirmlayout darstellbare Detailtiefenstufe bezieht. Der von dem Server 102 abgerufene Teil der Bild daten entspricht dabei Segmenten eines Oktonärbaums, welche sich auf den interessierenden Bildbereich zuzüglich eines Randbereiches um diesen herum beziehen, um Navigation sowohl in der Bildebene als auch orthogonal zu dieser Ebene zu ermöglichen. Falls der Anwender aus dem anfangs abgerufenen Bildbereich herausnavigiert, wird eine neue Anfrage getätigt, und es werden Bilddaten eines aktualisierten Bildbereiches in den Client 104 geladen. Dabei werden die jeweils neuesten Datenanfragen in lokalen Speichervorrichtungen auf Seiten des Clients 104 lokal zwischengespeichert, um ein schnelles Abrufen von Bildbereichen zu ermöglichen, die unterdessen vom Anwender zusammenhängend untersucht werden.
Bei dem erfindungsgemäßen Client/Server-basierten Bildarchivierungs-, Bildretrieval- und Bildrenderingsystem wird ein auf Anwender-Hardware gestütztes, Textur-basiertes Bildaufbereitungsmodul 105 für Volumendaten zum Erfassen und Auswerten eines aus drei- oder (bei zusätzlicher Berücksichtigung einer Zeitabhängigkeit) vierdimensionalen Bilddaten bestehenden Datenstroms verwendet. Dabei handelt es sich um eine Erweiterung des beim VRT-System Syngo 3D der Firma Siemens verwendeten Grafikprozessor-gestützten Bildaufbereitungsmoduls. Um ungeachtet der verwendeten Detailtiefenstufe eine hohe Bildaufbaurate zu erhalten, wird das zu untersuchende Objektvolumen 604 unter Verwendung einer zu der Oktonärbaumstruktur, die zur Speicherung der Volumendaten auf Seiten des Servers 102 verwendet wird, analogen Oktonärbaumstruktur in Teilvolumina partitioniert. Für den Fall, dass zu einem Betrachtungszeitpunkt to das gesamte Objektvolumen auf dem Client-Bildschirm dargestellt ist, wird für alle Teilvolumina ein Rasterbild mit einer verhältnismäßig groben Detailtiefenstufe aus einer Folge von Rasterbildern unterschiedlicher Auflösung, die alle dasselbe Objekt 604 darstellen (engl.: „MIP map"), verwendet. Ein Beispiel für ein solches „MIP Mapping"-Schema ist in 4 dargestellt, welches eine Magnetresonanzaufnahme in sieben unterschiedlichen Größenformaten und sieben unterschiedlichen Darstellungsmaßstäben (I bis VII) zur zweidimensionalen Darstellung der Volumendaten des Kno chen- und Muskelgewebes im Bereich des Abdomens, des Beckens und der unteren Extremitäten eines zu untersuchenden Patienten 604 in sieben verschiedenen Detailtiefenstufen („MIP-Levels") zeigt. Wie 4 zu entnehmen ist, nimmt die Detailtiefenstufe dabei mit zunehmendem Darstellungsmaßstab der auf diesem Magnetresonanzbild abgebildeten Körperregionen und damit mit zunehmendem Größenformat des Magnetresonanzbildes zu. Um dieses Magnetresonanzbild auf einem vorgebbaren Größenformat in einem vorgebbaren Darstellungsmaßstab darstellen zu können, werden Bilddaten unterschiedlicher Detailtiefenstufen, die auf einem Server als partitionierte Volumeneinheiten unterschiedlicher Größe in Form einer Oktonärbaumstruktur gespeichert sind, abhängig von der Entfernung der jeweils darzustellenden Volumenbereiche von einem Betrachter auf einen Bildschirm-Client geladen und dort in 2D-gerenderter Form grafisch visualisiert, wobei Bildbereiche betrachternaher Volumeneinheiten in einer größeren Detailtiefenstufe dargestellt werden als Bildbereiche betrachterferner Volumeneinheiten. Falls der Anwender eine Bildausschnittsvergrößerungs-Operation auf einem bestimmten Bildbereich durchführt, werden die entsprechenden Teile der Bilddaten vom Server 102 abgerufen, und es werden nur diejenigen Teilvolumina, die in den aktualisierten Kameraperspektivbereich hineinfallen, einer Aktualisierung unterzogen. Im Anschluss daran werden Rasterbilder unterschiedlicher Detailtiefenstufen je nach Entfernung zwischen Objekt und Kamera verwendet.
Dieses Prinzip wird durch das in 6 dargestellte Schaubild veranschaulicht, welches den in vorliegender Erfindung verwendeten Lösungsansatz zur Partitionierung und automatischen Detailtiefenstufen-Einstellung darzustellender Volumendaten mit Hilfe einer Oktonärbaumstruktur zur sukzessiven Unterteilung eines dargestellten reellen bzw. virtuellen Objektraums 602 in würfelförmige Volumeneinheiten 602c bis zu einer vorgegebenen Teilungstiefe zeigt. Letztere bestehen dabei aus jeweils acht über ihre Seitenflächen paarweise aneinander angrenzenden Teilwürfeln 602a/b der halben Kantenlänge. Wie 6 zu entnehmen ist, wird eine automatische Einstel lung der Detailtiefenstufe abhängig von der Entfernung zwischen der Kameraposition und dem Standort eines darzustellenden reellen bzw. virtuellen Objekts 604 vorgenommen, bei der in Bezug auf den Standort eines Betrachters 601 (d.h. in Bezug auf die Kameraposition) räumlich nahe Objekte in einer höheren Detailtiefenstufe dargestellt werden als in Bezug auf den Betrachter-Standort räumlich entfernte Objekte. Aus diesem Grund wird die Unterteilung des dargestellten Objektraums 602 in würfelförmige Volumeneinheiten 602a-c und damit die Differenziertheit der Darstellung des dargestellten reellen bzw. virtuellen Objekts 604 in Richtung des Betrachters 601 (zumindest innerhalb seines/ihres Blickwinkels 603, d.h. innerhalb des von der Kamera erfassbaren Objektszenarios) immer feiner. Darüber hinaus ist bei dem erfindungsgemäßen Bildretrievalsystem auf Seiten des Bildschirm-Clients 104 ein Programm zur Erfassung und Visualisierung vom Server 102 angeforderter und gerenderter zwei- und dreidimensionaler zeitabhängiger Bilddaten implementiert.
Im Allgemeinen stellen Bildschirm-Clients je nach Grenzen der Leistungsfähigkeit ihrer vor Ort installierten Computer-Hardware und -Software Bildnachbearbeitungsfunktionalitäten nur in begrenztem Umfang zur Verfügung. Daher werden erfindungsgemäß nur einfachere Aufgaben, die mit Hilfe des vor Ort, d.h. am Aufstellungsort der jeweiligen Clients 104, verfügbaren Grafikprozessors bzw. mit Hilfe der Zentralverarbeitungseinheit des Clients innerhalb zumutbarer Zeitrahmen erledigt werden können (wie z.B. eine einfache Filteroperation) vor Ort durchgeführt. Komplexe Aufgaben, wie beispielsweise die Durchführung von Mustererkennungs- oder komplexen Segmentierungsalgorithmen, werden in der Form von Bildverarbeitungsanfragen an den Server 102 delegiert. Sobald der Server 102 die angeforderte Aufgabe erledigt hat, überträgt er die erhaltenen Ergebnisdaten als Datenstrom an den betreffenden Client 104, welcher sie seinerseits vor Ort zur Anzeige bringt.
Zusätzlich zu den Befundungs- und Berichtsfunktionalitäten derzeitiger PACS-Systeme verfügt das erfindungsgemäße Client/Server-basierte Bildarchivierungs-, Bildretrieval- und Bildrenderingsystem über eine Funktionalität zum Speichern von VRT-Parametern, die eine Reproduzierbarkeit der Detailtiefenstufen-Einstellungen computergestützter Diagnose-Werkzeuge gewährleisten. Falls der behandelnde Arzt entscheidet, Ergebnisdaten eines Bildnachbearbeitungsprozesses in einer Berichtsdatei zu speichern, in der üblicherweise Befunddaten zusammen mit CT- bzw. MRT-Aufnahmen vorgenommener radiologischer Untersuchungen, Untersuchungsparametern und den Stammdaten eines Patienten gespeichert werden, um die Reproduzierbarkeit dieser Untersuchungen zu gewährleisten, werden die zugehörigen VRT-Parameterwerte in der Berichtsdatei transparent gespeichert und schließlich zum Server 102 übermittelt. Falls die Berichtsdatei zu einem späteren Zeitpunkt erneut in den Client 104 geladen wird, ist das erfindungsgemäße Bildretrievalsystem dazu imstande, die zugehörigen Detailtiefenstufen-Einstellungen für die computergestützten Diagnose-Werkzeuge abzurufen, welche es ermöglichen, die Untersuchung zu dem Zeitpunkt, in dem die gespeicherten Ergebnisdaten erhalten wurden, fortzusetzen. Falls der behandelnde Arzt zum Beispiel Bilddaten eines mittels Volumen-Rendering-Technik erstellten Bildes als Teil der Berichtsdatei speichert, speichert das Bildretrievalsystem die Detailtiefenstufen-Einstellungen und die Bilddaten eines interessierenden Bildbereiches für den jeweiligen Bilddatensatz zusammen mit den VRT-Parameterwerten für das Bildaufbereitungsmodul (z.B. die Funktionsvorschrift einer projektiven Abbildung zur Projektion dreidimensionaler Bilddaten eines darzustellenden reellen bzw. virtuellen Objekts 604 auf die zweidimensionale Bildebene eines Client-Bildschirms, Parameterwerte zur Beschreibung der Kameraperspektive und/oder der Beleuchtung des dargestellten Objektszenarios etc.). Für den Fall, dass die Berichtsdatei zu einem späteren Zeitpunkt erneut in die Client-Workstation geladen wird und der Anwender das in Volumen-Rendering-Technik erstellte Bild z.B. durch Betätigen einer Funktionstaste einer an die Client-Workstation ange schlossenen Computermaus anklickt, ruft das Bildretrievalsystem die betreffenden Volumendaten mit der vor dem Speichern der Berichtsdatei zuletzt dargestellten Detailtiefenstufe vom Server 102 ab und erstellt mit Hilfe der vorgegebenen Parameterwerte mittels Volumen-Rendering-Technik eine perspektivische 3D-Darstellung der Volumendaten, so dass der Anwender die Untersuchung in dem zuletzt durchgeführten Stadium, d.h. in dem Stadium zu dem Zeitpunkt, in dem die Berichtsdatei gespeichert wurde, fortsetzen kann.
Im Vergleich zu herkömmlichen PACS-Systemen nach dem Stand der Technik bringt die vorstehend beschriebene automatische Detailtiefenstufen-Einstellung des Client/Server-basierten Bildretrievalverfahrens gemäß vorliegender Erfindung einige entscheidende Vorteile mit sich:
Da nur ein einziger Datensatz hoch aufgelöster Volumendaten pro Patientenuntersuchung auf Seiten des Servers gespeichert wird, sind allen an das Bildarchivierungs-, Bildretrieval- und Bildrenderingsystem angeschlossenen behandelnden Ärzten Bilddaten voller Auflösung jederzeit zugänglich. Auf diese Weise wird eine unnötige redundante Speicherung von Bildrekonstruktionen unterschiedlicher Auflösung auf Seiten des Clients 104 vermieden. Außerdem vermeidet die transparente Integration voll aufgelöster Bilddaten in den klinischen Arbeitsablauf lästige Unterbrechungen des Diagnoseprozesses, die in herkömmlichen, auf einer Verarbeitung von 2D-Schnittbildern basierenden PACS-Systemen vorkommen können. Bei dem erfindungsgemäßen Client/Server-basierten Bildarchivierungs-, Bildretrieval- und Bildrenderingsystem nimmt der behandelnde Arzt dagegen Bilddaten einer Patientenuntersuchung in der Form eines 2D-, 3D- oder (bei zusätzlicher Berücksichtigung der Zeitabhängigkeit) 4D-Bildes „unbegrenzter Auflösung" wahr, welches transparent untersucht werden kann.
Herkömmliche, auf einer Verarbeitung von Schnittbildern basierende PACS-Systeme übermitteln voll aufgelöste Bilddaten durchgeführter Patientenuntersuchungen über ein Datenübertra gungsnetz. Dieser Lösungsansatz erzeugt einen extrem hohen Datenverkehr mit daraus sich ergebenden erhöhten Antwortzeiten für den Fall, dass eine Vielzahl von Anwendern mit dem PACS-Server verbunden ist. Im Vergleich dazu werden bei dem erfindungsgemäßen Client/Server-basierten Bildarchivierungs-, Bildretrieval- und Bildrenderingsystem die Systemantwortzeiten und der über das Datenübertragungsnetz geführte Datenverkehr mit Hilfe von intelligenten Kompressions- und Datenstromübertragungsschemata, die unterschiedliche Detailtiefenstufen darzustellender Volumendaten berücksichtigen, auf niedrigeren Werten gehalten. Auf diese Weise erhalten an den Bildschirm-Clients 104 arbeitende Ärzte – ungeachtet der Datenmenge der in grafischer Form darzustellenden Bilddaten – die für eine zweidimensionale Darstellung aufbereiteten drei- oder vierdimensionalen Bilddaten zu generierender Bilder ohne merkliche Verzögerungen.
Derzeit verfügbare PACS-Systeme können den klinischen Arbeitsablauf durch Unterbrechungen eines Untersuchungsvorgangs derartig erschweren, dass die behandelnden Ärzte gezwungen sind, bereits getätigte Bildnachbearbeitungsschritte an der betreffenden Client-Workstation 104 zu wiederholen oder neue Bildrekonstruktionen mit höherer Auflösung am bildgebenden Gerät durchzuführen. Das erfindungsgemäße Client/Serverbasierte Bildarchivierungs-, Bildretrieval- und Bildrenderingsystem integriert Bildnachbearbeitungsfunktionalitäten auf Seiten der PACS-Workstation 104, welche es den behandelnden Ärzten ermöglichen, computergestützte Diagnose-Werkzeuge zu bedienen, ohne ihren Arbeitsplatz zu verlassen. Auf diese Weise wird eine Störungsquelle für den klinischen Arbeitsablauf vermieden.
Da die Bildnachbearbeitungsfunktionalitäten bei dem erfindungsgemäßen Client/Server-basierten Bildarchivierungs-, Bildretrieval- und Bildrenderingsystem zwischen den Clients 104 und dem Server 102 aufgeteilt sind, liegen die Hardware-Anforderungen an die Clients 104 weit genug innerhalb des Leistungsbereichs von Heim-PCs, um die Ausnutzung der vollen Leistungsfähigkeiten des Bildretrievalsystems an vielen Orten ermöglichen, ohne zusätzliche Kosten zu verursachen. Außerdem ermöglicht die Fähigkeit, mit computergestützten Diagnose-Werkzeugen von Seiten einer Vielzahl von PACS-Workstations 104 aus zu interagieren, die volle Integration dieser Softwarewerkzeuge in den klinischen Arbeitsablauf.

Claims

Verfahren zum Abrufen und grafischen Visualisieren von mehrdimensionalen komprimierten Bilddaten auf einem Bildschirm-Client (104) eines auf dem Client/Server-Prinzip basierenden Bildarchivierungs-, Bildretrieval- und Bildrenderingsystems, wobei über den Bildschirm-Client (104) von einem Server (102) angeforderte, für ein Bildrendering benötigte komprimierte Volumendaten in einem virtuellen Objektraum (602) darzustellender Objekte (604) zu dem Bildschirm-Client (104) übertragen und auf diesem in grafischer Form dargestellt werden, dadurch gekennzeichnet, dass der Bildschirm-Client (104) automatisch eine von der Tiefenentfernung darzustellender Volumenbereiche zu einem vor der Bildschirmebene des Bildschirm-Clients (104) liegenden Betrachtungspunkt (601) abhängige Partitionierung (S1) des virtuellen Objektraums (602) in Volumeneinheiten (602a-c) unterschiedlicher Größe vornimmt, die in Richtung des Betrachtungspunktes (601) in definierter Weise abnimmt, komprimierte Bilddaten niedriger Auflösung eines Volumendatensatzes der am gröbsten partitionierten, betrachterfernsten Volumenbereiche lädt (S2a) und sukzessive in Richtung abnehmender Tiefenentfernung schwächer komprimierte volumetrische Bilddaten höherer Auflösung für die Volumeneinheiten (602a) der in Richtung des Betrachtungspunktes (601) immer feiner partitionierten Volumenbereiche nachlädt (S5c), welche dann mit zunehmender Nähe zu diesem Betrachtungspunkt (601) in einer jeweils höheren ortsvarianten Detailtiefenstufe dargestellt werden (S5e) als die Volumeneinheiten (602b+c) der gröber partitionierten, betrachterferneren Volumenbereiche.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die ortsvariante Detailtiefenstufe der von dem Server (102) angeforderten und auf dem Bildschirm-Client (104) in grafi scher, gerenderter Form dargestellten volumetrischen Bilddaten objektbereichs- bzw. objektspezifisch ist.
Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass die ortsvariante, objektbereichs- bzw. objektspezifische Detailtiefenstufe darzustellender Objekte (604) von der perspektivischen Tiefenentfernung dieser Objekte von einem definierten Betrachtungspunkt (601) vor der Bildschirmebene des Bildschirm-Clients (104) abhängt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die ortsvariante, objektbereichs- bzw. objektspezifische Detailtiefenstufe angeforderter Volumendaten bei einer von einem Benutzer durchgeführten Bildausschnittsvergrößerungsoperation zur Wahl eines größeren Darstellungsmaßstabs dargestellter Objekte (604) in einem benutzerdefinierbaren Maß zunimmt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für ein Bildrendering benötigte komprimierte Volumendaten darzustellender Objekte (604) mit einer für dieses System vorgegebenen feinstmöglichen Auflösung in einer von dem Server (102) verwalteten und nur von diesem direkt zugreifbaren Datenbank (103) gespeichert sind.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass komplexe Filterungs-, Segmentierungs-, Clustering-, Rendering-, Merkmalsextraktions- und/oder Mustererkennungsalgorithmen (S4a, S4b) auf den Volumendaten auf Seiten des Servers (102) ausgeführt werden, während weniger aufwändige Bildverarbeitungs- bzw. Bildnachbearbeitungsalgorithmen auf diesen Volumendaten auf Seiten des Bildschirm-Clients (104) ausgeführt werden.
Verfahren nach einem der vorhergehenden Ansprüche, aufweisend die folgenden Schritte: Partitionieren (S1) eines in grafischer Form darzustellenden virtuellen Objektraums (602) in Volumeneinheiten (602c) einer vorgegebenen Form und Größe, Laden (S2a) von komprimierten Volumendaten im Inneren dieses virtuellen Objektraums (602) angeordneter, grafisch darzustellender Objekte (604) mit einer durch die Größe dieser Volumeneinheiten (602c) vorgegebenen Detailtiefenstufe von einem Server (102) und Dekomprimieren (S2b) dieser Volumendaten, Darstellen (S3) einer Ansicht des virtuellen Objektraums (602) sowie der darin befindlichen Objekte (604) in der durch die Größe der Volumeneinheiten (602c) vorgegebenen Detailtiefenstufe, sukzessives Unterteilen (S5b) der von den betreffenden Objekten eingenommenen Volumeneinheiten (602c) des virtuellen Objektraums (602) in jeweils kleinere Untereinheiten (602a/b) bis zu einer bestimmten, von der Tiefenentfernung der jeweiligen Objekte (604) von dem Betrachtungspunkt (601) vor der Bildschirmebene des Bildschirm-Clients (104) abhängigen Teilungstiefe, wobei die Feinheit dieser Unterteilung in Richtung des Betrachtungspunktes (601) zunimmt und in der Gegenrichtung abnimmt, sukzessives automatisches Nachladen (S5c) von höher aufgelösten komprimierten Volumendaten der Objekte (604) mit einer durch die Größe der Untereinheiten (602a/b) vorgegebenen Detailtiefenstufe vom Server (102) und schrittweises Dekomprimieren (S5d) dieser Volumendaten, sowie schrittweises Verfeinern (S5e) der Ansicht dargestellter Objekte (604) durch Generieren einer höher aufgelösten Darstellung dieser Objekte (604) mit einer durch die Größe der jeweiligen Untereinheiten (602a/b) vorgegebenen Detailtiefenstufe.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der virtuelle Objektraum (602) unter Verwendung einer baumartig strukturierten hierarchischen Datenstruktur in Volumen einheiten (602c) der vorgegebenen Form und Größe partitioniert wird, welche es erlaubt, nur solche Volumendaten abzurufen, die Bildbereichen, welche zeitgleich von einem an dem Bildschirm-Client (104) arbeitenden Anwender verwendet werden, entsprechen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass sich der Server (102) zur Komprimierung der über den Bildschirm-Client (104) angeforderten Volumendaten eines Komprimierungsschemas bedient, das die Regelmäßigkeit von Formen, Oberflächentexturen bzw. Objektstrukturen darzustellender Objekte (604) kodiert.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass es sich bei dem Komprimierungsschema um eine Wavelet-Kompression der über den Bildschirm-Client (104) angeforderten Volumendaten handelt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass es sich bei den über den Bildschirm-Client (104) angeforderten Volumendaten um Daten für ein Bildrendering zwei- oder dreidimensionaler Rastergrafiken handelt, die zeitunabhängig oder zeitabhängig sein können.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für die Volumendaten jedes gerenderten Bildes Funktionswerte der ortsvarianten, objektbereichs- bzw. objektspezifischen Detailtiefenstufe dargestellter Objekte (604) gespeichert werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass es sich bei dem auf dem Client/Server-Prinzip basierenden Bildarchivierungs-, Bildretrieval- und Bildrenderingsystem um ein PACS-System zur Archivierung und Übertragung medizinischer Volumendaten handelt.
Server eines Client/Server-basierten Bildarchivierungs-, Bildretrieval- und Bildrenderingsystems, wobei der Server (102) gekennzeichnet ist durch Mittel zur Komprimierung (102d) und Bereitstellung (102a) von einem Bildschirm-Client (104) angeforderter, für ein Bildrendering darzustellender Objekte (604) in einem virtuellen Objektraum (602) benötigter komprimierter Bilddaten eines Volumendatensatzes an den Bildschirm-Client (104), wobei diese Mittel (102a+d) abhängig von einer von dem Bildschirm-Client (104) vorgenommenen Partitionierung des virtuellen Objektraums (602) in Volumeneinheiten (602a-c) unterschiedlicher, in Richtung eines vor der Bildschirmebene des Bildschirm-Clients (104) liegenden Betrachtungspunktes (601) in definierter Weise abnehmender Größe sukzessive schwächer komprimierte volumetrische Bilddaten höherer Auflösung für die Volumeneinheiten (602a) der in Richtung des Betrachtungspunktes (601) immer feiner partitionierten Volumenbereiche bereitstellen.
Server nach Anspruch 14, dadurch gekennzeichnet, dass die ortsvariante Detailtiefenstufe der von dem Server (102) bereitgestellten volumetrischen Bilddaten objektbereichs- bzw. objektspezifisch ist.
Server nach einem der Ansprüche 14 oder 15, wobei der Server (102) die folgenden Systemkomponenten aufweist: Mittel (102b) zur lokalen Zwischenspeicherung komprimierter Volumendaten mit einer von einem Bildgebungssystem vorgegebenen feinstmöglichen Auflösung aus einer von dem Server (102) verwalteten und nur von diesem direkt zugreifbaren Datenbank (103) sowie Mittel zur Umwandlung (102c) dieser Volumendaten in ein niedriger aufgelöstes Datenformat mit einer ortsvarianten, von der perspektivischen Tiefenentfernung darzustellender Objekte (604) von einem definierten Betrachtungspunkt (601) vor der Bildschirmebene eines Bildschirm-Clients (104) abhängigen Detailtiefenstufe.
Bildschirm-Client, über ein Datenübertragungsnetz angeschlossen an einen Server (102) eines Client/Server-basierten Bildarchivierungs-, Bildretrieval- und Bildrenderingsystems, wobei der Bildschirm-Client (104) gekennzeichnet ist durch Mittel (104c) zum Partitionieren eines in grafischer Form darzustellenden virtuellen Objektraums (602) in Volumeneinheiten (602a-c) unterschiedlicher Größe bis hin zu einer maximal erreichbaren Teilungstiefe, wobei die Feinheit dieser Unterteilung mit abnehmender Tiefenentfernung zu einem vor der Bildschirmebene des Bildschirm-Clients (104) liegenden Betrachtungspunkt (601) in definierter Weise zunimmt, Mittel (104b) zum Laden von komprimierten Bilddaten eines Volumendatensatzes im Inneren dieses virtuellen Objektraums (602) angeordneter, grafisch darzustellender Objekte (604) mit einer durch die Größe der Volumeneinheiten (602c) in dem am gröbsten partitionierten, betrachterfernsten Volumenbereich vorgegebenen Detailtiefenstufe von einem Server (102) sowie zum sukzessiven Nachladen von schwächer komprimierten, höher aufgelösten volumetrischen Bilddaten dieser Objekte (604) mit einer in Richtung abnehmender Tiefenentfernung zunehmenden, durch die Größe der Volumeneinheiten (602a+b) in den feiner partitionierten, betrachternäheren Volumenbereichen vorgegebenen Detailtiefenstufe, Mittel (104d) zum Dekomprimieren dieser volumetrischen Bilddaten sowie Mittel (105) zum Darstellen einer Ansicht des virtuellen Objektraums (602), in der die Volumeneinheiten (602a) der einzelnen, mit zunehmender Nähe zum Betrachtungspunkt (601) immer feiner partitionierten Volumenbereiche in einer jeweils höheren ortsvarianten Detailtiefenstufe dargestellt sind als die Volumeneinheiten (602b+c) der gröber partitionierten, betrachterferneren Volumenbereiche.
Bildschirm-Client nach Anspruch 17 , dadurch gekennzeichnet, dass die ortsvariante Detailtiefenstufe der von dem Server (102) bereitgestellten volumetrischen Bilddaten objektbereichs- bzw. objektspezifisch ist.
Client/Server-basiertes Bildarchivierungs-, Bildretrieval- und Bildrenderingsystem zum Speichern, Abrufen und grafischen Visualisieren von mehrdimensionalen komprimierten Bilddaten, gekennzeichnet durch einen über ein Datenübertragungsnetz an einen Server (102) angeschlossenen Bildschirm-Client (104), welcher automatisch eine von der Tiefenentfernung darzustellender Volumenbereiche zu einem vor der Bildschirmebene des Bildschirm-Clients (104) liegenden Betrachtungspunkt (601) abhängige Partitionierung (S1) des virtuellen Objektraums (602) in Volumeneinheiten (602a-c) unterschiedlicher Größe vornimmt, die in Richtung des Betrachtungspunktes (601) in definierter Weise abnimmt, komprimierte Bilddaten niedriger Auflösung eines Volumendatensatzes der am gröbsten partitionierten, betrachterfernsten Volumenbereiche vom Server (102) lädt (S2a) und mit abnehmender Tiefenentfernung sukzessive schwächer komprimierte volumetrische Bilddaten höherer Auflösung für die Volumeneinheiten (602a) der in Richtung des Betrachtungspunktes (601) immer feiner partitionierten Volumenbereiche vom Server (102) nachlädt (S5c), welche dann mit zunehmender Nähe zum Betrachtungspunkt (601) in einer jeweils höheren ortsvarianten Detailtiefenstufe dargestellt werden (S5e) als die Volumeneinheiten (602b+c) der gröber partitionierten, betrachterferneren Volumenbereiche.
Client/Server-basiertes Bildarchivierungs-, Bildretrieval- und Bildrenderingsystem nach Anspruch 19, dadurch gekennzeichnet, dass die ortsvariante Detailtiefenstufe der von dem Server (102) angeforderten und auf dem Bildschirm-Client (104) in grafischer, gerenderter Form dargestellten volumetrischen Bilddaten objektbereichs- bzw. objektspezifisch ist.
Client/Server-basiertes Bildarchivierungs-, Bildretrieval- und Bildrenderingsystem nach einem der Ansprüche 19 oder 20, dadurch gekennzeichnet, dass die ortsvariante, objektbereichs- bzw. objektspezifische Detailtiefenstufe darzustellender Objekte (604) von der perspektivischen Tiefenentfernung dieser Objekte von einem definierten Betrachtungspunkt (601) vor der Bildschirmebene des Bildschirm-Clients (104) abhängt.
Client/Server-basiertes Bildarchivierungs-, Bildretrieval- und Bildrenderingsystem nach einem der Ansprüche 19 bis 21, dadurch gekennzeichnet, dass für ein Bildrendering benötigte komprimierte Volumendaten darzustellender Objekte (604) mit einer für dieses System vorgegebenen feinstmöglichen Auflösung in einer von dem Server (102) verwalteten und nur von diesem direkt zugreifbaren Datenbank (103) gespeichert sind.
Client/Server-basiertes Bildarchivierungs-, Bildretrieval- und Bildrenderingsystem nach Anspruch 22 in Form eines PACS-Systems zur Archivierung und Übertragung medizinischer Volumendaten.
Computersoftware-Programmprodukt zur Durchführung eines Verfahrens nach Anspruch 7 bei Betrieb auf einem Bildschirm-Client (104) eines Client/Server-basierten Bildarchivierungs-, Bildretrieval- und Bildrenderingsystems nach einem der Ansprüche 19 bis 23.