DE102007040585B4

DE102007040585B4 - Bereitstellen repräsentativer Bildinformation

Info

Publication number: DE102007040585B4
Application number: DE102007040585.7A
Authority: DE
Inventors: Qiang Cheng; Steven F. Owens
Original assignee: Siemens Medical Solutions USA Inc
Current assignee: Siemens Medical Solutions USA Inc
Priority date: 2006-08-30
Filing date: 2007-08-28
Publication date: 2019-08-14
Anticipated expiration: 2027-08-29
Also published as: US20080056586A1; DE102007040585A1; US8238678B2

Abstract

Verfahren zum Bereitstellen von Information, die repräsentativ ist für ein Bild, in einem interaktiven Visualisierungssystem, wobei das Verfahren aufweist:
Auswählen eines gegenwärtigen Bilds (B) von einem Strom von Bildern;
Holen von Daten, die repräsentativ sind für das gegenwärtige Bild (B) aus einem 3D Datensatz;
Wiedergeben des gegenwärtigen Bilds (B) unter Verwendung von Wiedergabeparametern (T, Φ), die von einer Benutzerstation (130) bereitgestellt werden;
Erzeugen eines Voraussagebilds (B') durch eine Voraussageeinheit (410) basierend auf den Wiedergabeparametern (T, Φ) und einem vorher vorausgesagten Bild (A) in einem Kompressor (210);
Erzeugen eines Fehlerbilds Δ (B, B') durch Vergleichen des gegenwärtigen Bilds (B) mit dem Voraussagebild (B');
Evaluieren innerhalb des Visualisierungssystems zum Bestimmen ob, das gegenwärtige Bild (B) oder das Fehlerbild Δ (B, B') und die Wiedergabeparameter (T, Φ) gesendet werden sollen oder ob eine alternative Voraussagung notwendig ist;
Senden des Fehlerbilds Δ (B, B') und der Wiedergabeparameter (T, Φ), wenn bestimmt wird, dass das Fehlerbild Δ (B, B') und die Wiedergabeparameter (T, Φ) zu senden sind mit einer Übertragungsrate an einen Dekompressor (230);
Neuvoraussagen des Voraussagebilds (B') in dem Dekompressor (230);
Reproduzieren des gegenwärtigen Bilds (B) in dem Dekompressor (230) durch Kombinieren des gesendeten Fehlerbilds Δ (B, B') mit dem neuvorausgesagten Bild (B'); und
Steuern der Übertragungsrate mittels Feedback- oder Feedforwardmechanismus basierend auf Kontextinformation.

Description

Die Erfindung betrifft die Visualisierung von Bildern, und spezieller die Kompression von Bildinformation.
Eine entsprechende visuelle Präsentation von gemessenen Daten ist in einer Vielzahl von technologischen Gebieten wesentlich, beispielsweise in der medizinischen und wissenschaftlichen Forschung sowie in der klinischen Praxis. Die Visualisierung von volumetrischen Daten als 2D Bild wird erreicht durch Visualisierungsanwendungen, beispielsweise durch eine Volumenwiedergabeanwendung. Die Visualisierungsanwendung kann interaktiv sein, also einem Benutzer erlauben, Betrachtungsparameter wie Betrachtungswinkel und Vergrößerung einzustellen (zu steuern). Darüber hinaus kann die Visualisierungsanwendung ferngesteuert werden. Beispielsweise kann die Menge an Wiedergabeberechnung auf einem speziell ausgerüsteten Wiedergabecomputer ausgeführt werden, während der Benutzer die Visualisierung von einem anderen Computer aus steuert. Allgemein hängt die Qualität der Analyse und der Interpretation der Daten davon ab, wie wirkungsvoll (effizient) und mit welcher Qualität derartige Visualisierungsanwendungen erforderliche Bildinformation an einen Benutzer liefern können.
Medizinische Anwendungen handhaben beispielsweise Volumendaten, die gewonnen werden durch Computertomographie, Radiographie, Herz- oder Peripherangiographie, und Nuklearresonanzbildgebung. In derartigen Anwendungen interagiert das medizinische Personal mit Visualisierungsanwendungen, um die beste Betrachtung (Ansicht) eines Objekts für die Analyse zu finden. Während derartigen Interaktionen berechnen Wiedergabealgorithmen die unterschiedlichen Ansichten. Typische Wiedergabealgorithmen enthalten einen Raycasting und Raytracing Algorithmus.
In Visualisierungsanwendungen ist ein wiedergegebenes Bild hauptsächlich eine Projektion eines 3D Volumenobjekts auf eine Betrachtungsebene(oder Bildgebungsebene). Die Projektion kann entweder orthografisch, paraperspektivisch oder perspektivisch sein. Ein Wiedergabealgorithmus kann beispielsweise auf einer einzelnen Arbeitsstation oder innerhalb eines entfernten Client-Serversystems oder Peer-to-Peer Systems laufen. Wichtige Anforderungen für ein Wiedergabesystem sind eine hohe Zuverlässigkeit für eine schnelle und qualitativ hochwertige Visualisierung, die so genau wie möglich eine Echtzeitvisualisierung von 3D Daten erlaubt.
In einer Client-Server Umgebung macht die Aufrissmenge von 3D Daten, die 10 Gigabyte überschreiten kann, es nicht praktikabel, Daten an jeden individuellen Benutzer zu replizieren und zu übertragen. Die Komplexitäts- und Performanceanforderungen von Wiedergabeanwendungen können ebenfalls die Installation von Wiedergabewerkzeugen auf Benutzerendmaschinen begrenzen. In diesem Fall kann ein Benutzer eine Anfrage zur Wiedergabe eines Datensatzes senden, der auf einem entfernt lokalisierten Wiedergabedienst gespeichert ist, der speziell bestimmt ist zur Handhabe (Behandlung) der Komplexitäts- und Performanceanforderungen der Volumenvisualisierung. In derartigen Client-Server Umgebungen gibt der Server eine Sequenz von 2D Bildern von Volumendaten in Antwort auf Clientanfragen wieder, und sendet diese wiedergegebenen Bilder dann über ein Kommunikationsnetzwerk an den anfragenden Client. Der Client präsentiert diese Bilder dem Benutzer als einen Strom von Bildern, der den Visualisierungsanforderungen des Benutzers entspricht.
Die Qualität des Dienstes der Fernvisualisierung erfordert wenig Wartezeit. Oft ist nahezu keine Wartezeit auf der Clientseite kritisch für einen effizienten klinischen Arbeitsablauf. Für Echtzeitinteraktionen zwischen Benutzern und wiedergegebenen Bildern sollten die Wiedergabe und die Übertragung über ein Kommunikationsnetzwerk an den Client vorzugsweise schnell sein. Interaktive Anwendungen bevorzugen nicht nur eine leistungsstarke Wiedergabe durch den Server, sondern verlangen auch eine umgehende Übertragung durch das Netzwerk. Wenn das Kommunikationsnetzwerk nicht in der Lage ist die Bandbreitenanforderung zu erfüllen, beispielsweise aufgrund von Resourceeinschränkungen und Netzwerkverkehr, können Kompressionstechniken verwendet werden, um die Bandbreitenanforderung zu reduzieren.
Eine Videokompression, Zwischenrahmenredundanz, also Information, die jedem Rahmen in einer Serie von Rahmen gemeinsam ist, ist für eine wirkungsvolle Kompression oft wichtig. Speziell nutzen viele Kompressionstechniken die Redundanz zwischen Nachbarrahmen, speziell wenn die Abtastfrequenz hoch ist.
Interaktive Visualisierungsanwendungen haben jedoch Anforderungen und Charakteristiken, die von den meisten anderen Visualisierungsanwendungen abweichen. Aufgrund dieser Differenzen kann ein Client keine ausreichende Rechenleistung haben, um standardmäßige Videokompressionsverfahren anzuwenden. Folglich erfordern interaktive Visualisierungsanwendungen Kompressionsstrukturen, Verfahren und Systeme, die sich von existierenden Videokompressionstechniken unterscheiden.
DE 101 49 556 A1 betrifft ein Verfahren zur Erzeugung eines zweidimensionalen Bildes aus einem 3D-Datensatz eines Tomographie-Geräts zur medizinischen Untersuchung eines Patienten.
US 5,524,130 A betrifft ein Computertomographiegerät zur Gewinnung eines Tomographiebilds durch Erfassen von Projektionsdaten durch Drehung (Rotation) eines Röntgenstrahls um ein zu untersuchendes Objekt herum, und zum Durchführen eines Rekonstruktionsberechnung der Proj ektionsdaten.
US 2004/0136501 A1 betrifft eine CT Bildgebung und speziell Verfahren und eine Vorrichtung zur Reduktion von bewegungsinduzierten Artefakten.
US 5,764,803 A betrifft das Gebiet der Videosignalcodierung und speziell das Codieren von Videosignalen und speziell das Codieren von Videosignalen zur Verwendung in Videokommunikationen geringer Bit-Rate.
US 2003/0123551 A1 betrifft eine Bewegungsdetektionstechnologie, mit der genau eine Bewegung in einem digitalen Videoaufzeichnungssystem unter Verwendung einer MPEG Videokompressionstechnik genau detektiert werden kann.
Aufgabe der Erfindung ist die Bereitstellung eines Verfahrens, eines computerlesbaren Mediums mit darauf enthaltener Software und eines Visualisierungssystems mit denen es möglich ist mittels einer einfach aufgebauten Benutzerstation Bilder basierend auf eingegebenen Wiedergabeparametern zu drehen.
Die Lösung dieser Aufgabe ist den Patentansprüchen 1, 15 und 16 zu entnehmen. Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.
Die Erfindung basiert teilweise auf der Tatsache, dass interaktive Kompressionssystemkontextinformation ausgenutzt werden kann, um zu bestimmen, welche Art von repräsentativer Information für ein gegenwärtiges Bild für die Übertragung bereitgestellt werden soll.
Gemäß einem Aspekt enthält das Bereitstellen von Information, die für ein Bild repräsentativ ist, in einem interaktiven Visualisierungssystem ein Auswählen eines gegenwärtigen Bilds aus einem Strom von Bildern, Evaluieren von Kontextinformation innerhalb des Visualisierungssystems, und Bestimmen von repräsentativer Information für das augenblickliche Bild basierend auf der Kontextinformation.
Gemäß einem anderen Aspekt enthält ein Visualisierungssystem zum Bereitstellen von Information, die für ein Bild repräsentativ ist, ein Wiedergabesystem zum Wiedergeben von Bildern von 3D Daten und ein kontextempfindliches Kompressionssystem, das Bildinformation, die repräsentativ ist für ein wiedergegebenes Bild, basierend auf der kontextempfindlichen Information liefert.
Implementierungen können ein oder mehrere der folgenden Merkmale enthalten. Daten werden aus einem 3D-Datensatz geholt, der repräsentativ ist für das gegenwärtige Bild, und das gegenwärtige Bild wird basierend auf den geholten Daten wiedergegeben. Die repräsentative Bildinformation wird codiert für eine Übertragung, und die codierte repräsentative Bildinformation wird an eine Visualisierungseinheit des Visualisierungssystems übertragen. Die codierte repräsentative Bildinformation wird rekonstruiert in ein rekonstruiertes Bild, das angezeigt wird.
Die Kontextinformation wird ausgewählt aus einer Gruppe bestehend aus einem benutzerinduzierten Visualisierungsparameter, einem visualisierungsimpliziten Parameter, einem benutzerinduzierten Systemparameter und einem systemimpliziten Parameter.
Die repräsentative Bildinformation wird bestimmt als eine von der Gruppe bestehend aus dem gegenwärtigen Bild, Intra-Rahmen (Zwischenrahmen), mit reduzierter Bildinformation des gegenwärtigen Bilds, und kontextempfindlicher komprimierter Bildinformation des gegenwärtigen Bilds.
Die repräsentative Bildinformation wird bestimmt, um eine Genauigkeit zu haben, die eine Rekonstruktion eines verlustbehafteten rekonstruierten Bilds spezifiziert. Die repräsentative Bildinformation enthält einen Intra-Rahmen (Zwischenrahmen) mit reduzierter Bildinformation, die erzeugt wird unter Verwendung eines Downsamplingverfahrens (nach unten Abtastverfahren), eines Nebenbandbildverarbeitungsverfahrens oder eines Schneeballprinzipverfahrens.
Das Bereitstellen von repräsentativer Information kann ferner ein Bereitstellen eines Eingangsbilds enthalten, das eine Voraussageinformation angibt, die gegeben ist durch die Kontextinformation, und ein Bestimmen eines vorausgesagten Bilds unter Verwendung der Voraussageinformation und des Eingangsbilds. Ein Fehlerbild wird bestimmt basierend auf dem vorausgesagten Bild und dem gegenwärtigen Bild und es wird statistisch evaluiert, um zu bestimmen, ob die Voraussageinformation und das Fehlerbild die kontextempfindliche komprimierte Bildinformation bilden.
Das Eingangsbild kann ausgewählt werden aus der Gruppe bestehend aus dem gegenwärtigen Bild, einem vorherigen vorausgesagten Bild und einem vorherigen rekonstruierten Bild. Das vorausgesagte Bild kann bestimmt werden unter Verwendung eines Voraussagestadiums, das ausgewählt wird aus der Gruppe bestehend aus einem Linearvoraussagestadium, einem Voraussagungsstadium unter Verwendung eines vorausgesagten Parameters und einer bekannten Operation, und eines Voraussagungsstadiums unter Verwendung einer vorausgesagten Operation und eines vorausgesagten Parameters der vorausgesagten Operation.
Die Voraussagungsinformation kann angewendet werden auf einen Abschnitt des Eingangsbilds und die kontextempfindliche komprimierte Bildinformation des Abschnitts kann Teil der repräsentativen Bildinformation sein.
Das vorausgesagte Bild kann reproduziert werden unter Verwendung der Voraussagungsinformation und der Eingangsinformation und das vorausgesagte Bild kann kombiniert werden mit dem Fehlerbild, um ein rekonstruiertes Bild zu rekonstruieren, das angezeigt wird.
Basierend auf der verfügbaren Kontextinformation kann das Codieren der repräsentativen Information des gegenwärtigen Bilds und/oder die Rekonstruktion angepasst werden. Das Codieren der repräsentativen Information des gegenwärtigen Bilds kann ein Mehrfachbeschreibungsschema verwenden.
Das Visualisierungssystem kann eine Steuereinheit innerhalb des kontextempfindlichen Kompressionssystems enthalten zum Steuern der bereitgestellten repräsentativen Bildinformation, um von der Gruppe zu sein, die besteht aus dem gegenwärtigen Bild, einem Intra-Rahmen mit reduzierter Bildinformation des gegenwärtigen Bilds, und kontextempfindlicher komprimierter Bildinformation des gegenwärtigen Bilds.
Das Visualisierungssystem kann ein Dekompressionssystem und eine Visualisierungseinheit enthalten, das Dekompressionssystem kann mit dem Kompressionssystem über ein Netzwerk verbunden sein, um die repräsentative Bildinformation zur Rekonstruktion eines rekonstruierten Bilds zu empfangen, und das Dekompressionssystem kann mit der Visualisierungseinheit verbunden sein, um das rekonstruierte Bild der Visualisierungseinheit für Anzeigen des rekonstruierten Bilds bereitzustellen.
Das Visualisierungssystem kann eine Codierungseinheit enthalten, um die repräsentative Bildinformation zur Übertragung von codierter repräsentativer Bildinformation an das Dekompressionssystem zu codieren.
Diese allgemeinen und spezifischen Aspekte können implementiert werden unter Verwendung eines Systems, Verfahrens, computerlesbaren Mediums oder eines Computerprogramms oder einer Kombination von Systemen, Verfahren, eines computerlesbaren Mediums oder Computerprogrammen.
Bestimmte Implementierungen können einen oder mehrere der folgenden Vorteile haben. Die Kontextinformation kann verwendet werden, um hohe Kompressionsraten zu erreichen. Flexible Strukturen ermöglichen es dem System starke Änderungen, progressive und unterbrechbare Qualitätsanforderungen und Resourcebeschränkungen zu handhaben. Verlustfreie und verlustbehaftete repräsentative Bildinformation kann in einem interaktiven Modus bzw. definitiven Modus bereitgestellt werden.
Die Qualität kann steuerbar sein durch die Benutzer gemäß der Benutzerpräferenz für die visuelle Qualität. Folglich ist die repräsentative Bildinformation anpassbar an einen Bereich von Szenarien, die unterschiedliche Qualitätslevel (Niveaus) von rekonstruierten Bildern erfordern.
Die Kompression verwendet eine flexible Struktur, die sich dynamisch an wiedergegebene Sequenzen und Kontextinformation anpasst; speziell kann die Kontextinformation und Zwischenrahmeninformation „im Flug“ (On-the-Fly) verwendet werden, ohne die Zwischenrahmenintervalle zu fixieren. Die Rahmenraten sind variabel in Abhängigkeit von der Dichte der wiedergegebenen Sequenzen oder Benutzeranfragen.
Die Berechnung eines Clients kann an die Resourcen des Clients angepasst werden. Die Adaption kann entweder manuell durch die Benutzer gewählt werden oder automatisch eingestellt werden durch einen „Feedback“ Mechanismus innerhalb des Visualisierungssystems. Folglich ist die Berechnung auf der Clientseite minimal und die Speicheranforderung für die Clients kann gering sein.
Das Kompressionssystem kann die Kontextinformation in mehreren Stadien und mehreren Auflösungsarten verwenden. Das Mehrstadiendesign macht die Kompression geeignet für heterogene Clientmaschinen und Bandbreitenbedingungen.
Die bereitgestellte repräsentative Bildinformation kann entweder dynamisch selbst angepasst werden basierend auf den Rechenfähigkeiten der Clients, oder sich ändernden Netzwerkbedingungen, oder manuell eingestellt werden durch den Benutzer. Wenn beispielsweise die Netzwerkbandbreite groß ist und ein einfacher Client vorhanden ist, der wiedergegebene Bilder anfordert, passt sich das System an, indem es den Rekonstruktionsschritt einfach gestaltet Umgekehrt, wenn ein komplexer Client vorhanden ist, der mit einem Netzwerk geringer Bandbreite verbunden ist, passt sich die Kompression an, indem die Daten minimiert werden, die übertragen werden, und indem dem Client erlaubt wird mehr von dem Rekonstruktionsprozess während der Dekompression durchzuführen.
Die Details von einem oder von mehreren Ausführungsbeispielen der Erfindung werden in den beigefügten Zeichnungen und der folgenden Beschreibung genannt. Andere Merkmale, Aufgaben und Vorteile der Erfindung werden durch die Beschreibung und die Zeichnungen und aus den Ansprüchen offensichtlich.

1 zeigt eine schematische Darstellung eines Wiedergabesystems.
2 zeigt eine Gesamtansicht des kontextempfindlichen Kompressionssystems.
3 zeigt ein Diagramm, das ein beispielhaftes System verdeutlicht zur Durchführung einer hierarchischen Zwischenrahmenkompression für eine interaktive Fernansicht.
4 zeigt eine Gesamtansicht eines Flussdiagramms einer verlustlosen kontextempfindlichen Kompression.
5 zeigt ein Bild eines gegenwärtig wiedergegebenen 2D Bilds.
6 zeigt ein Bild eines vorausgesagten Bilds.
7 zeigt ein Bild eines Fehlerbilds.
8 zeigt ein beispielhaftes Flussdiagramm einer kontextempfindlichen Kompression unter Verwendung eines vorherigen vorausgesagten Bilds.
9 zeigt ein detailliertes Flussdiagramm einer kontextempfindlichen Kompression.
10 zeigt ein Diagramm, das ein beispielhaftes Datenverarbeitungssystem gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt.

Ähnliche Bezugszeichen in den verschiedenen Zeichnungen geben ähnliche Elemente an.
1 zeigt ein Wiedergabeanwendungssystem 100. Für volumetrische Daten, die durch eine Datenbank 115 bereitgestellt werden, berechnet ein Wiedergeber 120 eine Serie von 2D Projektionsbildern A, B, C, D, E ... Die Bilder werden einer Benutzerstation 130 als Datenstrom 125 bereitgestellt und beispielsweise auf einem Bildschirm der Benutzerstation 130 präsentiert. Der Wiedergeber 120 und die Benutzerstation können beispielsweise über ein Netzwerk verbunden sein. Unter Verwendung der Benutzerstation 130 steuert ein Benutzer den Wiedergeber 120 durch Spezifizieren von Wiedergabeparametern. Beispiele für Wiedergabeparameter enthalten den Betrachtungswinkel, die Vergrößerung und den Typ von Präsentation (beispielsweise Maximumintensitätsprojektion, Multi-Planarrekonstruktion, oberflächenschattierte Anzeige oder Volumenwiedergabetechnik). Unter Verwendung der Wiedergabeparameter berechnet der Wiedergeber 120 das gegenwärtige Bild, das durch den Benutzer angefordert wird. Der Benutzer verwendet eine Schnittstelle der Benutzerstation 130, um die Wiedergabeparameter zuzuordnen. Beispielsweise kann er einen Joystick verwenden, um seine Betrachtungsrichtung langsam zu drehen, in Antwort darauf berechnet der Wiedergeber 120 eine Serie von Bildern mit leicht unterschiedlichen Projektionswinkeln. Alternativ kann der Benutzer in die 3D Daten von einer fixierten Betrachtungsrichtung hineinzoomen, wobei in Antwort darauf der Wiedergeber 120 eine Serie von Bildern mit erhöhter Vergrößerung erzeugt.
Allgemeines Konzept der kontextempfindlichen Kompression
2 zeigt einen Überblick über ein beispielhaftes kontextempfindliches Visualisierungssystem 200. Wie in 1 gibt der Wiedergeber 120 eine Serie von 2D Projektionsbildern A, B in Antwort auf Wiedergabeparameter, die durch die Benutzerstation 130 bereitgestellt werden, wieder. Ein Kompressor 210 verwendet die Kontextinformation, die verfügbar ist von einem Kontextinformationsspeicher 220, um ein Voraussagebild vorauszusagen, um diese Voraussagung zu evaluieren, und um Daten bereitzustellen für eine komprimierte Übertragung der Bildinformation an die Benutzerstation 130. Beispiele von Kontextinformation enthalten Wiedergabeparameter, die die Wiedergabebilder spezifizieren, sowie implizite Wiedergabeparameter (beispielsweise Typ der Strahlprojektion), die durch den Wiedergeber 120 verwendet werden, oder Systemkontextinformation, beispielsweise Information über eine Last eines Netzwerks 225 und Information über spezifische Benutzeranforderungen, beispielsweise ob die Kompression verlustlos oder verlustbehaftet ist. Falls notwendig dekomprimiert ein Dekompressor 230 die Bildinformation bevor sie an die Benutzerstation 130 geliefert wird.
Durch Benutzen und Evaluieren der Kontextinformation bestimmt das System 200, ob die gesendete Bildinformation unkomprimiert wiedergegebene Bildinformation (angegeben durch Großbuchstaben in dem Datenstrom 240) oder komprimierte Bildinformation ist. Beispielsweise kann Information über eine bekannte Bewegung (T, Φ) oder eine vorausgesagte Bewegung (T', Φ') des Betrachtungspunkts mit oder ohne einem Fehlerbild (Δ) gesendet werden, um ein Wiedergewinnen eines Bilds zu erlauben, ohne das gesamte Wiedergabebild zu senden. Wenn der Benutzer eine verlusthafte Kompression toleriert, kann die gesendete Bildinformation ein wiedergegebenes Bild oder ein Fehlerbild mit einer reduzierten Genauigkeit enthalten. Dies ist angegeben als Bild E* in dem komprimierten Datenstrom 240.
3 zeigt ein Diagramm, das ein beispielhaftes System zum Durchführen der Kompression für eine interaktive Fernbetrachtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung verdeutlicht. Das System 300 enthält einen Server 310, ein Netzwerk 320 und ein Benutzerendgerät (Terminal) 330. Das Netzwerk 320 kann ein Lokalbereichsnetzwerk (LAN), ein Weitbereichsnetzwerk (WAN) oder eine Kombination davon sein. Der Server 310 und das Benutzerendgerät 330 enthalten Computer. Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung schiebt das System 300 adaptiv Berechnungen zwischen dem Server 310 und dem Benutzerendgerät 330 in Antwort auf Benutzerpräferenzen, Netzwerkbedingungen, Rechenfähigkeiten des Benutzerendgeräts 330 und/oder in Antwort auf ein Feedback von dem Benutzerendgerät 330. Zusätzlich kann eine Benutzerinteraktion, wie vordefinierte Bewegungen bezüglich eines interaktiven Modus verwendet werden, um zu bestimmen, wie Bilder zu komprimieren oder wiederzugeben sind.
Verlustfreie Kompression
4 zeigt ein Flussdiagramm, das die Übertragung von komprimierter Bildinformation verdeutlicht, die erlaubt das gegenwärtige Bild B ohne Verlust dem Benutzer bereitzustellen. Das kontextempfindliche Kompressionssystem 400 enthält eine Voraussagungseinheit 410 zum Voraussagen eines Voraussagebilds B' basierend auf einem Eingangsbild, und eine Analyseeinheit 420, die die Voraussagung analysiert.
Speziell gibt der Wiedergeber 120 das gegenwärtige Bild B unter Verwendung der Wiedergabeparameter T und Φ, die von der Benutzerstation 130 bereitgestellt werden, wieder. Die Wiedergabeparameter T und Φ repräsentieren Information bezüglich der Bewegung des Benutzerbetrachtungsstandpunkts bezüglich der 3D Daten, also der Parameter T ist eine Benutzereingabe einer Bewegungsoperation und der Parameter Φ ist ein Bewegungsparameter, der das Ausmaß der Bewegungsoperation T angibt. In dem Beispiel gemäß 4 sind T und Φ beispielsweise die Kontextinformation, die verfügbar ist für die Voraussagungseinheit 410. Die Wiedergabeparameter T und Φ werden von der Voraussagungseinheit 410 als Voraussagungsparameter verwendet, um das Voraussagebild B' von einem vorher vorausgesagten Bild A vorauszusagen, das als ein Eingangsbild oder als Startpunkt der Voraussagung verwendet wird.
In der Analyseeinheit 420 wird das Voraussagebild B' mit dem gegenwärtigen Bild B verglichen, um ein Fehlerbild Δ (B, B') zu erzeugen. Das Fehlerbild Δ (B, B') enthält Daten, die kennzeichnend sind für die Differenzen zwischen dem gegenwärtigen Bild B und dem vorausgesagten Bild B'. Es kann evaluiert werden unter Verwendung einer Schwellenwertanalyse der repräsentativen statistischen Werte, beispielsweise mittlerer Quadratfehlerwert oder mittlerer absoluter Differenzwert. Die Analyse erlaubt das Bestimmen, ob das gegenwärtige Bild oder die komprimierte Bildinformation, also das Fehlerbild Δ (B, B') und die Wiedergabeparameter T und Φ gesendet werden sollen oder ob eine alternative Voraussagung notwendig ist. Beispielsweise kann ein alternativ vorausgesagtes Bild B' bestimmt werden mit einem hierarchischen mehrstufigen Algorithmus, wie unten beschrieben. 5 bis 8 zeigen für eine Zoomoperation Beispiele des gegenwärtigen Bilds B, des Eingangsbilds A, des Voraussagebilds B' und des Fehlerbilds Δ (B, B').
Eine verlustlose Visualisierung des gegenwärtigen Bilds B kann natürlich dadurch erreicht werden, wenn das gegenwärtige Bild B übertragen wird. Wenn das Eingangsbild A beispielsweise von einem lokalen Speicher 430 akzeptabel ist, kann die Dekompression der komprimierten Bildinformation in dem Dekompressor 230 in einer verlustlosen Reproduktion des Bilds B resultieren. In derartigen Fällen werden das Eingangsbild A und die Wiedergabeparameter T und Φ verwendet zur Neuvoraussagung des Voraussagebilds B' in der Voraussagungseinheit 440. In der Rekonstruktionseinheit 450 wird das Voraussagebild B' kombiniert mit dem gesendeten Fehlerbild Δ (B, B'), um das gegenwärtige Bild B, das dann der Benutzerstation 130 bereitgestellt wird, zu rekonstruieren.
Es kann verschiedene Abweichungen der Voraussagung geben. Anstelle der Verwendung des vorherigen wiedergegebenen Bilds als Eingangsbild A kann die Voraussagung irgendein vorangegangenes Bild, irgendein dekomprimiertes Bild oder irgendein vorheriges vorausgesagtes Bild A verwenden. Der Voraussagungsparameter, der an die Voraussagungseinheit 410 geliefert wird, kann den exakten und vollständigen Bewegungsparameter enthalten, der definiert wird durch den Benutzer oder geschätzte Parameter (Φ', T') des Bewegungsparameters Φ und/oder der Bewegungsoperation T. In jedem Fall kann das verlustlose Bild B dem Benutzer 130 bereitgestellt werden, solange die Information über die Voraussagung und das Fehlerbild Δ (B, B') ausreichend präzise übertragen werden. Einige Ungewissheiten, beispielsweise in dem Fehlerbild Δ (B, B'), können jedoch verursacht werden durch Berechnungsfehler, die auftreten, wenn das Voraussagebild B' mit dem gegenwärtigen Bild B verglichen wird. Eine derartige Ungenauigkeit kann die Qualität des rekonstruierten Bilds B reduzieren.
Verlustbehaftete Kompression
Eine größere (stärkere) Kompression kann erforderlich sein, um die Qualität des Dienstes (Quality-of-Service) aufrechtzuerhalten, während ein Benutzer mit dem visualisierten Bild interagiert, beispielsweise während ein rechter Betrachtungswinkel gewählt wird. In derartigen Fällen kann ein Benutzer ein verlustbehaftetes Bild mit einer reduzierten Genauigkeit im Austausch mit einer geringeren Wartezeit tolerieren. Eine größere Kompression kann auch notwendig sein, wenn Nichtwiedergabekontextinformation vorhanden ist. Beispielsweise kann der Kompressor 210 adaptiv ein Bild komprimieren in Antwort auf das Detektieren einer geringen Übertragungsrate des Netzwerks.
Die Datenmenge, die zu übertragen ist, kann auch reduziert werden durch Reduzieren der Genauigkeit des gegenwärtigen Bilds B unter Verwendung eines Zwischenrahmencodierens (beispielsweise Niederabtasten, Nebenbandtechniken oder Schneeballprinzipverfahren). Ähnlich reduziert ein Reduzieren der Qualität des Fehlerbilds Δ durch Quantisierung die Datenmenge, die zu übertragen ist.
Kontextinformation
Beispiele für Kontextinformation umfassen einen benutzerinduzierten Visualisierungsparameter, einen visualisierungsimpliziten Parameter, einen benutzerinduzierten Systemparameter und systemimpliziten Parameter. Die benutzerinduzierten Visualisierungsparameter sind Parameter, die die Visualisierung spezifizieren, die von einem Benutzer angefordert wird, beispielsweise die Wiedergabeparameter, wie Bewegungsoperation T und Parameter Φ. Beispiele für Operationen T enthalten innerhalb des klinischen Arbeitsablaufs die Auswahl von Parametern für Windowing/Leveling, Drehen, Schwenken und Zoomen. Die visualisierungsimpliziten Parameter sind Parameter, die innerhalb des Visualisierungssystems verwendet werden, beispielsweise für Wiedergabealgorithmen, Parameter, die verwendet werden innerhalb des Algorithmus, und sind beispielsweise voreingestellt als der Typ der Projektion.
Algorithmen bezüglich der Kontextinformation können auch Charakteristiken des Algorithmus enthalten. Beispielsweise, wenn ein deformiertes Volumen wiederzugegeben wäre, und wenn diese Wiedergabe das Ergebnis einer Fusion von zwei Bildern wäre (PET + CT, beispielsweise), kann der Kompressionsalgorithmus vorteilhafterweise diese Tatsache verwenden durch Voraussagen, dass das Ausgabebild die gleiche Größe und Orientierung (also keine Bewegungsvektoren) haben soll und lediglich eine andere Form haben soll. Darüber hinaus würde sich die Voraussagung wahrscheinlich verbessern, wenn bekannt wäre, ob die Verformung eine einfache starre Verformung oder eine nicht starre Verformung ist.
Benutzerinduzierte Systemparameter sind Parameter, die von dem Benutzer dem visuellen System zugeordnet werden, und steuern nicht den Wiedergeber (Nichtwiedergabekontextinformation). Wenn das System beispielsweise eingestellt wurde, um in dem interaktiven Modus verwendet zu werden, beispielsweise zum Finden der besten Ansicht und Darstellung eines Betrachtungsgebiets, ist eine verlustbehaftete Visualisierung akzeptabel. Wenn jedoch das System eingestellt ist, um in dem definitiven Modus verwendet zu werden, beispielsweise für eine präzise Bilddiagnose, wird eine verlustlose Visualisierung erwartet. Ein anderes Beispiel eines benutzerinduzierten Systemparameters ist der Typ des Wiedergebers, der erforderlich ist.
Systemimplizite Parameter sind Parameter, die durch die Systemkomponenten selbst definiert sind, beispielsweise durch die Systemstruktur, Netzwerkbedingung (beispielsweise die Last auf dem Netzwerk und durch den Typ des Netzwerks: drahtlos, 10 Mb, 100 Mb) und Rechenfähigkeit (beispielsweise das Vorhandensein einer zentralen Verarbeitungseinheit, einer graphischen Verarbeitungseinheit oder einer graphischen Allzweckverarbeitungseinheit). In einem Mehrbenutzersystem kann beispielsweise der Kompressionsalgorithmus vorsorglich seine Parameter anpassen in Abhängigkeit davon, ob er während Zeitperioden einer Netzwerklastspitze oder während Zeitperioden einer Netzwerklastruhe betrieben wurde.
Die Kontextinformation in Form derartiger Parameter kann durch das kontextbasierte Kompressionssystem angewendet werden, um die repräsentative Information für das gegenwärtige Bild zu bestimmen. Die Kontextinformation wird in dem Kontextinformationsspeicher 220 gespeichert und kann mit unterschiedlichen Teilen des Systems interagieren, wenn sie durch die Steuerung 910 evaluiert wird. Beispielsweise kann sie den Fluss des Kompressionsalgorithmus beeinträchtigen, beispielsweise Eingabeparameter für die Voraussagungseinheit und die Analyseeinheit oder zutreffende Entscheidungen.
9 zeigt eine beispielhafte Implementierung eines kontextempfindlichen Kompressionssystems, das auf Kontextinformation antwortet. Die Kontextinformation wird verwendet, um die Übertragung eines Bilds gemäß der Qualität, die von einem Benutzer angefordert wird, zu steuern, und um das Ausmaß an Daten, die an die Benutzerstation 130 zu übertragen sind, zu reduzieren, während eine Visualisierung eines Bilds mit einer angeforderten Qualität erlaubt wird.
Im Betrieb fordert ein Benutzer ein Bild B an, das ein wiedergegebenes Bild ist, das von 3D Daten hergeleitet wurde, die durch die Datenbank 115 bereitgestellt wurden. Basierend auf der verfügbaren Kontextinformation wählt eine Kompressionssteuerung 910, die mit einer Steuereingabe eines Multiplexers 920 verbunden ist, aus, welcher von verschiedenen Typen von Daten, die für das Bild B repräsentativ sind, gesendet wird, also welche Art von repräsentativer Bildinformation der Multiplexer 920 an einen Codierer 930 liefert. Beispiele von Bildinformation, die der Multiplexer 920 liefern kann, enthalten das gegenwärtige Bild B, eine zwischenrahmenkomprimierte Version B* des gegenwärtigen Bilds B oder kontextempfindliche komprimierte Bildinformation (Δ (B, B'), T, Φ). Der Codierer 930 arbeitet (bereitet vor) egal welche Bildinformation die Steuerung für ihre Übertragung über das Netzwerk 225 auswählt. Der optionale Dekompressor 230 erzeugt das rekonstruierte Bild R aus den übertragenen Daten. Ein Bild, das aus diesen Daten hergeleitet wird, wird dann auf der Benutzerstation 130 visualisiert.
Durch Steuern eines Schalters 940 kann die Steuerung 910 ein Bild B direkt dem Multiplexer 920 oder einer Zwischenrahmenkompressionseinheit 950 bereitstellen, die herkömmliche Zwischenrahmenkompressionstechniken verwendet, um ein zwischenrahmenkomprimiertes Bild B* zu erzeugen. Zusätzlich kann die Steuerung 910 den Schalter 940 veranlassen das Bild B an eine Vergleichseinheit 960 zu liefern. Die Vergleichseinheit 960 empfängt ein vorausgesagtes Bild und Kontextinformation von der Voraussagungseinheit 410, vergleicht diese mit dem wiedergegebenen Bild B und liefert das resultierende Vergleichsergebnis an eine Evaluierungseinheit 970.
Das kontextempfindliche Kompressionsverfahren sagt ein Bild B' voraus, das so ähnlich wie möglich dem Bild B ist. Die Vergleichseinheit 960 und die Evaluierungseinheit 970 arbeiten zusammen, um das vorausgesagte Bild B' zu analysieren. Wenn das vorausgesagte Bild B' dem Bild B ähnlich genug ist, sendet der Kompressor 210 die Restinformation, also das Fehlerbild Δ (B, B') zusammen mit der Information darüber, wie die Voraussagung erreicht wurde.
Das gezeigte Verfahren verwendet ein Eingangsbild I für die Voraussagung. Unter Verwendung eines Multiplexers 980 kann die Steuereinheit 910 Eingangsbilder von verschiedenen Quellen auswählen, wobei zwei gezeigt sind, ein vorheriges wiedergegebenes Bild A oder Bilder A_p , die in einer Puffereinheit 985 gespeichert sind. Das Eingangsbild I und die Kontextinformation von der Steuerung 910 erlauben der Voraussagungseinheit 410 das vorausgesagte Bild B' zu erzeugen. Die Vergleichseinheit 960 vergleicht das vorausgesagte Bild B' mit dem gegenwärtigen Bild B, um das Fehlerbild Δ (B, B') zu erzeugen. Die Evaluierungseinheit 970 verwendet dann das Fehlerbild Δ (B, B'), um die Information über die Qualität der Voraussagung zu gewinnen. Messungen für den Vergleich und die Evaluierung können gesteuert werden durch Berücksichtigung verfügbarer Kontextinformation. Beispielsweise kann das Fehlerbild Δ (B, B') mit einem Schwellenwert τ verglichen werden, der von der Netzwerklast abhängt. In Abhängigkeit von dem Ergebnis der Evaluierung wird das Fehlerbild Δ (B, B') und die Voraussagungsparameter, das augenblickliche Bild B und/oder ein zwischenrahmenkomprimiertes Bild B* an den Benutzer gesendet, oder das Voraussagungsbild wird weiter verbessert durch die Anwendung einer anderen Stufe (Stadium in der Voraussagungseinheit 410).
Das Fehlerbild Δ (B, B') wird einer Quantisierungseinheit 990 bereitgestellt. Die Kompressorsteuerung 910 veranlasst die Quantisierungseinheit 990 entweder dazu nichts zu tun, in welchem Fall das Fehlerbild Δ (B, B') mit hoher Genauigkeit übertragen wird, oder es veranlasst die Quantisierungseinheit 990 das Fehlerbild Δ (B, B') zu quantisieren, um die Datenmenge weiter zu reduzieren, wenn beispielsweise die Visualisierung eines Bilds geringer Auflösung ausreichend ist.
Das Wiedergeben von Kontextinformation kann die Voraussagung in verschiedener Weise beeinflussen. Die Nichtwiedergabe- oder Systemkontextinformation kann die Analyse beeinträchtigen, beispielsweise die Bestimmung des Fehlerbilds Δ (B, B') und des Schwellenwerts τ für die Evaluierung. Nichtwiedergabekontextinformation kann auch die Voraussagung beeinträchtigen und ob überhaupt eine kontextempfindliche Kompression erforderlich ist, oder ob eine Quantisierung oder Zwischenrahmenoperationen ausreichend sind.
Mehrstufige Voraussagung
Im Gegensatz zu einem generischen Video Codec, der willkürliche Bewegungen verarbeitet, betrachtet das Kompressionssystem 210 hauptsächlich einen Nebensatz von denjenigen potenziellen Bewegungen, die verfügbar sind bei einer interaktiven Visualisierung von 3D Objekten. Allgemein gesprochen sind diese potenziellen Bewegungen durch die Benutzerschnittstelle der interaktiven Visualisierungsanwendungen vordefiniert. Diese Bewegungen enthalten eine oder mehrere der folgenden Operationen: Ändern eines Abstands, einer Rollbewegung oder einer Verschiebung des Objekts, ein Hinein- oder Herauszoomen, ein Scheren, ein Windowing, Verschieben und Schwenken des Objekts. Die Bewegungen werden durch einen Benutzer über eine graphische Schnittstelle mittels einer Maus, Joystick oder Trackball manipuliert. Unter Verwendung einer Tastatur ordnen Benutzer spezifische Werte (im Allgemeinen als Wiedergabeparameter Φ bezeichnet) den Bewegungsoperationen zu. Die Operationen (allgemein als „T“ bezeichnet) und die Wiedergabeparameter Φ stellen die Wiedergabekontextinformation dar.
Es gibt mindestens drei Szenarien, in denen ein Wiedergeben von Kontextinformation verfügbar ist für die Voraussagung des Voraussagebilds:

Szenarium (a) Vollständige Kenntnis der relativen Bewegungsinformation zwischen dem Eingangsbild und dem gegenwärtigen Bild, also T und Φ sind bekannt.
Szenarium (b) Teilkenntnis der relativen Bewegungsinformation zwischen dem Eingangsbild und dem gegenwärtigen Bild, also nur T ist bekannt und Φ muss geschätzt werden.
Szenarium (c) Keine Kenntnis der spezifischen Operation ist bekannt, und deren Parameter: T und Φ müssen geschätzt werden, aber der Bereich von Φ und die verfügbaren Operationen sind bekannt.

Um die Berechnungen zu reduzieren, werden die Bilder behandelt und die temporäre Zwischenrahmeninformation wird in einer hierarchischen Art und Weise verwendet. Die unterschiedlichen Szenarien werden evaluiert, um progressiv das Voraussagungsbild B' unter Verwendung eines hierarchischen mehrstufigen Algorithmus mit progressiver Komplexität zu schätzen.
In einer ersten Stufe der Voraussagungseinheit 410 werden kleine Änderungen von dem Eingangsbild zu dem gegenwärtigen Bild angenommen, und der Operator T ist bekannt. Drei mögliche „direkte Voraussagungen“ werden präsentiert. Zuerst wird die Bewegungsoperation T als der identische Operator angenommen und das vorausgesagte Bild gleicht dem Eingangsbild (B' = A). Angenommen, dass die Evaluierung des Fehlerbilds eine ausreichende Kompression angibt, bildet die komprimierte Bildinformation einen Beitrag zu dem Identitätsoperator und dem Fehlerbild. Zweitens, im Falle des Szenarium (a) sind die Bewegungsinformation und das Eingangsbild I bekannt. Unter Verwendung von T und Φ wird das gegenwärtige Bild B berechnet: B = I (T, Φ). Aufgrund von Laufzeitfehlern oder kleinen Differenzen, die durch die Anwendung der 3D Wiedergabeparameter für das 2D Bild verursacht werden, kann das berechnete Bild leicht von dem gegenwärtigen Bild abweichen: B ≈ I(_T, _Φ). Die Differenz der Bilder B und I(_T, _Φ) kann als Restfehlerbild berechnet werden. Bis zu dem Ausmaß, wie ein solches Fehlerbild existiert, verbindet es die Bewegungsinformation als Teil der komprimierten Bildinformation. Drittens, nur eine Änderung der Pixelwerte ist erforderlich aufgrund einer Änderung in Windowing und Leveling. Ein derartiges Skalieren kann vorausgesagt werden beispielsweise mit der Least-Square-Näherung (B' = al + b). In diesem Fall bilden das Fehlerbild und die Näherungsparameter a und b die komprimierte Bildinformation.
Wenn basierend auf der Kontextinformation eine weitere Kompression erwünscht ist, kann das Fehlerbild quantisiert werden, während die Näherungsparameter a und b mit hoher Genauigkeit übertragen werden. In einer zweiten Stufe der Voraussagungseinheit 410 ist ein Bewegungsoperator T bekannt, aber dessen Parameter Φ muss für die Berechnung des Voraussagebilds B' (Szenarium b) geschätzt werden. Beispielhafte Ansätze zum Schätzen des Bewegungsparameters Φ sind ein Least-Square-Verfahren, ein starres Bewegungsmodell (affines Modell) oder ein Phasenkorrelationsmodell.
In einer dritten Stufe der Voraussagungseinheit 410 müssen ein Bewegungsoperator T und dessen Parameter Φ geschätzt werden für die Berechnung des vorausgesagten Bilds B' (Szenarium c). Beispielhafte Ansätze sind das starre Bewegungsmodell (affine Modell) und das Phasenkorrelationsmodell, wie in Stufe 2.
In einer vierten Stufe der Voraussagungseinheit 410 wird das Bild in kleinere Blöcke partitioniert, für die eine oder mehrere der vorherigen Stufen individuell angewendet werden.
Ein spezifisches Beispiel für unterschiedliche Voraussagungsverfahren der unterschiedlichen Stufen wird im Folgenden diskutiert.
Stufe 1: Least-Square-Näherung
Wenn die Ableitungen sowie die Bewegungsparameter klein sind, werden die Bildähnlichkeit und das Fehlerbild bei dem Gesamtbildniveau berechnet ohne zu einer expliziten Bewegungsparameterschätzung weiterzugehen. Es wird also I (x + u, y + v, t) genähert durch I (x, y, t - 1) unter Verwendung eines linearen Voraussagungsverfahrens, beispielsweise der Least-Square-Näherung. Die Variablen x und y repräsentieren die Pixelposition und u und v repräsentieren die Bewegungsparameter. Die Variable t gibt die Serien von Bildern zeitlich an. Diese Näherung ist nützlich, wenn (virtuelle) Kamerapositionen (Betrachtungspunkte) nahe zusammen sind, in welchem Fall die Ähnlichkeiten zwischen den Bildern signifikant wäre. Durch direktes Berechnen des Fehlerbilds für das Gesamtbild ohne Zerlegung der Bilder in kleinere Makroblöcke und Abgleichen dieser in einer paarweisen Art und Weise, werden die relativen Berechnungen für einen großen Teil der Bilder, die zu übertragen sind, minimiert. Die Gesamtrahmenbewegungsbeschreibung arbeitet gut, wenn die Abtastfrequenz hoch ist, oder wenn die Kamerabewegung gering ist. In derartigen Fällen wird nur das Fehlerbild gesendet, anstatt den gesamten Rahmens zu senden.
Wenn jedoch starke (virtuelle) Kamerabewegungen vorhanden sind, werden die Differenzen zwischen Bildern groß. In diesem Fall ist das Codieren des neu wiedergegebenen Bilds separat von dem Vorherigen eine Option. Wenn diese Option verwendet wird, sind die Berechnungen auf der Serverseite und der Clientseite gering.
Der Kompressor 210 entscheidet, ob die Ähnlichkeit ausreichend ist, und verwendet ein Flag, um den Client beispielsweise zu informieren. Der Client dekomprimiert den übertragenen Bitstrom und liest die Flaginformation. Wenn das Bild B unabhängig codiert worden ist, ist das decodierte Bild das Bild B, das angezeigt wird; im übrigen ist das decodierte Bild das Fehlerbild, das zur Rekonstruktion des Bilds B verwendet wird. Diese einfache Option ist speziell nützlich, wenn der Client wenig komplex (einfach aufgebaut) ist.
Stufe 1: Vollständige Bewegungsinformation
Wenn eine a priori Bewegungsinformation für das Kompressionssystem 210 verfügbar ist, beispielsweise abgeleitet aus Endbenutzermausbewegungen, und als Hilfsdaten außerhalb des Wiedergabekontextes an den Kontextinformationsspeicher 220 gesendet werden, kann die a priori Bewegungsinformation direkt verwendet werden. Der Ansichtsinformationsprozess bestimmt die neue Position auf der Bildebene und die Bewegung des Objekts wird dargestellt durch eine Transformationsmatrix, wie beispielsweise beschrieben von J. Foley et al., „Computer Graphics: Principles And Practice“, Addison-Wesley, 1997, auf dessen Inhalt hier Bezug genommen wird.
Die Parameter für die Translationen entlang der x-, y- und z-Achse, der Zoomfaktor und die Drehungen werden direkt aus dieser Transformationsmatrix abgeleitet. Nach einem Projezieren auf die Bildebene unter Verwendung einer Projektionsmatrix des Wiedergebers werden die entsprechenden Positionen auf der Bildebene gefunden. Die Bewegungsinformation ist folglich verfügbar und wird von dem Kompressionssystem 210 verwendet. Selbst wenn eine a priori Information nicht derart spezifisch ist, beispielsweise in der Form von bekannten Parametern von der Transformationsmatrix, ist die Kenntnis der Typen von Operationen bereits hilfreich für die Kompression, da man spezifische Voraussagungen und Bewegungskompensationsverfahren, die auf jede individuelle Operation zugeschnitten sind, entwerfen kann.
Stufe 2 und 3: Teilinformation oder keine Bewegungsinformation
In vielen Fällen ist eine a priori Bewegungsinformation für das Kompressionssystem nicht verfügbar, beispielsweise wenn die Wiedergabe- und Kompressionssysteme unabhängig voneinander implementiert sind. Dies ist z. B. der Fall, wenn die Systeme von unterschiedlichen Herstellern sind. In derartigen Fällen empfängt das Kompressionssystem 210 nur die Sequenz von Bildem als Eingabe, und leitet direkt das Voraussagebild B' von den wiedergegebenen Bildern ab, beispielsweise von den Bildern A und B. Aufgrund der gegebenen Tatsache, dass Änderungen des Betrachtungspunkts und Benutzerinteraktionen hauptsächlich verschiedene vordefinierte Typen betreffen, beispielsweise Schwenken, Zoomen, Drehen, Scheren und Windowing, hat das neu wiedergegebene Bild eine enge Beziehung mit dem vorangegangenen. Entsprechend kann die Bewegung des Objekts auf der Bildebene modelliert werden durch Verwenden einer affinen Projektion oder durch Verwenden von orthographischen Projektionsmodellen.
Affines Modell zum Bestimmen von Bewegungsparametern
Die Anwendung eines affinen Modells für das Kompressionssystem wird im Folgenden beschrieben, aber andere Modelle können auch in ähnlicher Art und Weise verwendet werden. Bei der Diskussion des affinen Modells sind die folgenden Gleichungen hilfreich: $\begin{array}{l} x + u = ax + by + e, \\ y + v = cx + dy + f . \end{array}$
In der Gleichung (1) stellt (u, v) das Vektorfeld dar, und (x, y) stellt die Pixelpositionen dar. Die Bewegungen des Objekts in der Bildebene enthalten ein Skalieren, eine Translation, eine Rotation, ein Scheren, etc. Dieses affine Modell ist folglich eine einfache effektive Weise für eine interaktive Fernvisualisierungsanwendung, um die Effekte von gemeinsam verwendeten Operationen zu erfassen. Die Einfachheit der Verwendung von sechs Parametern (a, b ... f) zur Darstellung der Bewegungen in der Bildebene reduziert die Komplexität stark.
Als ein Beispiel, sei angenommen, dass die wiedergegebenen Bilder durch ein Markov-Modell erster Ordnung beschrieben werden mit einem wiedergegebenen Bild zum Zeitpunkt t definiert durch I (x, y, t), wobei x und y Pixelpositionen sind, und t einen temporären Index darstellt, beispielsweise eine Rahmennummer. Dann ist die Bewegungsinformation, die vorauszusagen wird, I (x, y, t) verfügbar aus I (x, y, t - 1) ohne Berücksichtigung irgendwelcher Bilder mit temporären Indizes vor t - 1. Dieses Markov-Modell erster Ordnung reduziert folglich die Rechenkomplexität und den erforderlichen Speicherbedarf.
Um die Bewegungsparameter zu schätzen, kann man ein anderes Modell anwenden, beispielsweise eine Least-Square Schätzung. Man beachte, dass das affine Modell ferner vereinfacht werden kann, wenn die Kenntnis der angewendeten Operation T einen oder mehrere der sechs affinen Parameter auf Null setzt. Folglich kann der Rechenaufwand weiter reduziert werden.
Angenommen, dass die Bewegung gering ist, ergibt eine Taylor Reihenschätzung aufeinanderfolgender Rahmen basierend auf einem früheren Rahmen folgendes: $I (x + u, y + v, t) = I (x, y, t - 1) + I1 (x, y, t - 1) v + I3 (x, y, t - 1) + o (u, v)$
In der obigen Gleichung stellen (u, v) die Versetzungen am Ort (x, y) dar, 11, 12 und 13 sind Teilableitungen bezüglich x, y bzw. t; und o (u, v) stellt Terme höherer Ordnung dar. Diese Darstellung verbindet die Bewegung und die nachfolgenden Bilder mit den Berechnungen von räumlichen und zeitlichen Ableitungen. Wenn das affine Modell angewendet wird, werden die affinen Parameter geschätzt.
Schätzung von affinen Parametern
Unter Verwendung von n Pixeln für die Schätzung kann die Gleichung (1) umgeschrieben werden in $T = GX + N$
mit X^T = (a, b, c, d, e, f), kennzeichnend den affinen Parametervektor, G ist eine Matrix mit der Größe n x 6 und definiert durch G^T = [H(x₁, y₁)|H(x₂, y₂)|...|H(x_n, y_n)|], wobei H(x,y) definiert ist durch H (x, y)^T = (xI1, yI1, xI2, yI2, I1, I2) und ein Fehlervektor N und ein örtlicher Ableitungsvektor T sind definiert durch $\begin{array}{l} N^{T} = [I (x_{1} + u_{1}, y_{1} + v_{1}, t) = I (x_{1}, y_{1}, t - 1) + o (u_{1}, v_{1},), \dots, I (x_{n} + u_{n}, y_{n} + v_{n}, t) - I (x_{n}, y_{n}, t - 1) + o (u_{n}, v_{n},)], \\ T^{T} = [- I 3 (x_{1}, y_{1}), \dots, - I 3 (x_{n}, y_{n})] \end{array}$
G ist normalerweise eine überbestimmte Matrix. Die Fehlerausdrücke bestehen hauptsächlich aus Näherungsfehlern höherer Ordnung und Intensitätsdifferenzen nach der Bewegung. Wenn die Bewegung klein ist, ist der Fehlervektor klein. Angenommen, dass N ein Vektor für weißes Gauß Rauschen ist, wird ein Linearsystem von weißem Gauß Rauschen beeinträchtigt. Die Koeffizienten X können durch einfache Dateneinpassungsverfahren gefunden werden. Beispielsweise wird ein Least-Square Verfahren verwendet, um die Koeffizienten zu finden: $\hat{X} = {(G^{T} G)}^{- 1} G^{T} T$
Zufallswahl von n Pixeln
Da eine Matrixinversion und Multiplikation verwendet werden, werden die Berechnungen reduziert durch Wählen eines kleinen Nebensatzes von Datenpunkten, die in diesem Fall den Pixeln entsprechen. Um eine Zunahme an Ungenauigkeiten zu vermeiden, kann man hervorstehende Datenpunkte wählen, um X zu berechnen. Für diesen Zweck wählt man zuerst eine Region, von der die Datenpunkte gewählt werden. Aus Bequemlichkeitsgründen wird ein zentraler Teil mit der Größe, die um einen Faktor 2 reduziert ist, ausgewählt. Die hervorstehenden Punkte können mit einem Verbindungszufallauswahlverfahren (Joint Random Selection Verfahren) gewählt werden. Wenn der hervorstehende Kandidatenpunkt räumliche Ableitungen hat, die größer als ein vorbestimmter Schwellenwert sind, wird dieser Kandidatenpunkt beibehalten; im übrigen wird er zurückgewiesen und der nächste Kandidatenpunkt wird ausgewählt. Wenn nach einer bestimmten Anzahl an Iterationen kein Datenpunkt verbleibt, wird eine andere Region verwendet, um Kandidatendatenpunkte auszuwählen. Ein entsprechender Algorithmus kann die folgenden Grundaspekte zeigen:

Schritt 1: Fixiere eine Region Ω1;
Schritt 2: Wähle einen Punkt (x, y) in Ω1, berechne I1 (x, y), 12 (x, y);
Schritt 3: Wenn I1 (x, y) > Schwellenwert1 und I2 (x, y) > 2, behalte ihn; sonst verwerfe ihn;
Schritt 4: Wenn die Anzahl an verbleibenden Punkten kleiner als eine vorbestimmte Anzahl ist, kehre zu Schritt 2 zurück; sonst Ende;
Schritt 5: Wenn die Anzahl an Iterationen einen Iterationsschwellenwert erreicht und keine Punkte in der Region Ω1 verbleiben, dann bestimme eine andere Region als Ω1, und kehre zu Schritt 1 zurück.

Eine derartige ableitungsbasierte Evaluierung behält Randdatenpunkte, die Information bezüglich Rändern innerhalb des Bilds geben können. In der Praxis wird ein Kandidatendatenpunkt akzeptiert, wenn er zwischen zwei Schwellenwerten liegt.
Anzahl der Datenpunkte
Die Anzahl an Datenpunkten kann im Voraus bestimmt werden. Beispielsweise zeigt die Verwendung von zwölf Datenpunkten Ergebnisse, die zufriedenstellend sind. Mehr Datenpunkte machen den Algorithmus stabiler, rechnerisch jedoch weniger effizient. Das Zufallsverfahren wird bestimmt für ein wirkungsvolles Suchen nach Bewegungsfeldern zwischen Bildern mit stabiler Performance.
Für ein allgemeines affines Modell gibt es sechs unbekannte Parameter. Für eine Pseudo-Invers-Matrix, die gut konditioniert ist, muss das lineare System von Gleichung (4) mindestens sechs unabhängige Gleichungen haben. Für spezielle bekannte Operationen (Stufe 2), beispielsweise Schwenken, Zoomen, etc., ist die Anzahl an unbekannten Parametern kleiner, und in der Tat kann sie gleich 1 sein. In derartigen Fällen wird das lineare System von Gleichung (4) auf eine kleinere Größe reduziert, und die Schätzung ist weniger rechenkomplex. Wenn für Fälle, wie beispielsweise Schwenken, die Kontextinformation geholt werden kann, können die Gleichungen explizit ausgeschrieben werden. Die Berechnungen sind signifikant geringer und die Ergebnisse sehr genau.
Wenn das weiße Gaußsche Rauschmodell für die Daten schlecht geeignet ist, kann die Leistungsfähigkeit reduziert werden. In derartigen Fällen ist es nützlich andere Datenpassverfahren zu verwenden. Beispielsweise wenn die Flügel der Fehlerverteilung stark gebogen sind, kann ein entsprechendes Modell angepasst werden zur Verwendung als Datenpassverfahren. Ein derartiges Modell ist ein Least-Median-Verfahren, das das Ordnen der Ableitungen erfordert, aber robuster sein kann.
Multiskalarverfahren
Wenn die Bewegungsvektoren für interaktive Fernvisualisierungsanwendungen klein sind, arbeitet der oben beschriebene Ansatz gut. Dies ist begründet, wenn eine Kamerabewegungskurve kontinuierlich ist in der Praxis und die Abtastfrequenzen hoch sind, was häufig auftritt für glatte visuelle Vorgänge.
Es gibt jedoch Fälle, bei denen die Annahme einer geringen Bewegung nicht gilt, beispielsweise wenn die Benutzer starke Änderungen durch Bewegen der Maus machen. In derartigen Fällen wird ein Multiskalarverfahren verwendet. Multiskalarverfahren beruhen auf der Tatsache, dass eine große Bewegung, die viele Pixel umspannt, eine langsamere Bewegung mit geringeren Auflösungen wird, und die Annahme einer kleinen Bewegung gültig wird.
Das Multiskalarverfahren kann für eine Anzahl an Zeitpunkten wiederholt werden. Bei der geringsten Auflösung wird die Bewegung zuerst gesucht. Indem die Auflösungen verfeinert werden, werden allmählich die Bewegungsparameter gebildet. Zu diesem Zweck sind speziell Mehrfach-Level-hierarchische Verfahren geeignet. Gemäß einem Ausführungsbeispiel wird das Bild iterativ nach unten abgetastet (downsampled) mit einem Faktor von 2, um geringere Auflösungen zu gewinnen. Die Level (Pegel) können zwischen 0 und 4 liegen. Das Downsampling wird aus Einfachheitsgründen verwendet. Andere Multi-Auflösungsansätze können in ähnlicher Weise verwendet werden.
Transformationsdomainverfahren zum Bestimmen von Bewegungsparametern
Als eine Alternative zu dem affinen Modell in den Stufen 2 und 3 können Transformationsdomainverfahren angewendet werden. Beispielsweise kann ein Phasenkorrelationsverfahren verwendet werden, um die Bewegungsparameter zu berechnen. Der erste Schritt ist die Verwendung der Phasenkorrelation, um den Verschiebungsparameter zu berechnen. Eine Verschiebung oder Translation im Raumbereich (Raumdomain) entspricht einer Phasenverschiebung im Frequenzbereich (Frequenzdomain). Durch Verwenden einer Fast Fourier Transformation kann die Phasenverschiebung berechnet werden. Nach diesem Schritt, wenn das Fehlerbild unter einem bestimmten Pegel ist, wird die Vorhersagung gestoppt. Im Übrigen fährt die Voraussagung damit fort irgendein Zoomen oder Drehen zu identifizieren und zu quantifizieren. In Transformationsdomainverfahren ist es nützlich eine Koordinatentransformation in ein Polarkoordinatensystem vorzunehmen, und dann den Logarithmus zu evaluieren. In dem Polarkoordinatensystem wird ein Zoomen oder ein Drehen zu einer Verschiebung und eine Phasenkorrelation kann verwendet werden. Die Korrelation kann auf einem zufällig ausgewählten Satz von Datenpunkten basieren.
Stufe 4: Partition
Wenn das vorausgesagte Bild signifikant verschieden ist von dem gegenwärtigen Bild kann das augenblickliche Bild unabhängig codiert werden, oder eine vierte Stufe kann angewendet werden, um genauere Bewegungsparameter zu suchen. Gemäß einem Beispiel eines vierten Schritts (vierte Stufe) wird das Bild in kleinere Blöcke partitioniert, wobei für jeden Block eine lokale Bewegungsschätzung durchgeführt wird. Die Partitionierung des Bilds ist wirkungsvoll, wenn die Bewegung des Objekts durch ein affines Modell, beispielsweise aufgrund von großen Okklusionsbereichen, nicht gut beschrieben wird. Die Effizienz des Partitionierens der Bilder und der blockbasierten Verarbeitung, um lokale Bewegungen für jeden Block zu finden, wird erhalten zu dem Preis einer höheren Rechenkomplexität. Der Verwender entscheidet, ob er diese weitere Verarbeitung durchführt, beispielsweise durch Angeben dieser Wahl auf der graphischen Benutzerschnittstelle. Dies kann erfolgen, wenn ein Benutzer eine größere Genauigkeit wünscht, oder wenn das Clientsystem eine adäquate Rechenleistungsfähigkeit aufweist. Im übrigen kann der Benutzer das zusätzliche Detail anhängen und das Bild unabhängig komprimieren.
Die Voraussagungseinheit 410 berechnet das Voraussagebild mit den Bewegungsparametern, die von den affinen Parametern oder Phasenkorrelationsparametern herresultieren. Sobald sie dies macht, vergleicht die Vergleichseinheit 960 das vorausgesagte Bild mit dem gegenwärtigen Bild. Basierend auf dieser Voraussagung berechnet die Evaluierungseinheit 970 ein Fehlerbild.
Codieren
Die Steuerung 910 wählt entweder das gegenwärtige Bild oder das Fehlerbild für eine teilweise Übertragung basierend auf der Kontextinformation. Beispielsweise wird eine verlustlose Codierung verwendet für den definitiven Modus und eine verlustbehaftete für den interaktiven Modus.
Der Server wählt die Raten, die Verteilung und die Kompressionseinstellungen zum Codieren, durch Überwachen des Netzwerkverkehrs, der Bandbreitenbedingungen sowie der Rechenfähigkeiten der Clients. Neben den Hierarchien von mehreren Stufen des Systems und dem Feedbackratensteuermechanismus, wie im Folgenden beschrieben, ist ein Mehrfachbeschreibungsschema nützlich für eine weitere Anpassung an die Bandbreitenbedingungen und Clientresourcen, siehe beispielsweise Y. Wang et al. „Multiple Description Coding For Video Delivery", Proc. IEEE, Ausgabe 93, Nr. 1, Seiten 57 - 70, Januar 1995. Die Mehrfachbeschreibung enthält das Erzeugen einer Anzahl von Bitstream Layers (Bitstromschichten), die jeweils ähnliche Information über die Quelle enthalten, und die jeweils verwendet werden zum Bilden eines Bilds geringerer Auflösung. Mehrere Schichten ergeben bessere Qualitäten. Das eine Ausführungsbeispiel verwendet eine 8 × 8 diskrete Fourier Blocktransformation für schnelle Berechnungen. Andere Transformationen, enthaltend die Wavelet Transformation, können in ähnlicher Weise enthalten sein.
Codieren und Nichtwiedergeben von Kontextinformation
Wenn das Voraussagebild ähnlich dem gegenwärtigen Bild ist, codiert der Codierer 930 nur die neue Information in dem gegenwärtigen Bild, die von dem verbesserten (gleichgerichteten) Bild nicht verfügbar ist. Das Codierungsverfahren wird gemäß der Kontextinformation gewählt, beispielsweise gemäß dem ausgewählten Kompressionsgrad (Level). Dies enthält die Auswahl des Benutzers, die Bitrateneingabe von dem Server, der den Netzwerkverkehr und die Bandbreitenverwendung überwacht, und/oder das Schalten zwischen dem interaktiven Modus und dem definitiven Modus. Die Auswahl des Benutzers hat eine hohe Priorität. Mit der standardmäßigen Einstellung wählt das Kompressionssystem automatisch die Bitrate gemäß den Netzwerkzuständen. Gemäß einigen Ausführungsbeispielen werden die Ressourcen der Clientmaschine als Rückführung (Feedback) zu dem Server bereitgestellt, so dass der Server eine Ratensteuerung durchführen kann. Der Feedbackmechanismus beruht auf entsprechenden Änderungen des Kommunikationsprotokolls zwischen den Fernclients und dem Server. Wenn die Wiedergabeanforderungen beispielsweise an den Server gesendet werden, wird gleichzeitig der Status der verfügbaren Ressourcen gesendet. Die Statusse können im Voraus und in einfacher Weise definiert werden. Beispielsweise werden nur die Typen von Operationen des Benutzers spezifiziert. Um einen Kommunikationsoverhead zu reduzieren, wird die Anzahl an Statussen so klein wie möglich gehalten konsistent mit den Rechenfähigkeiten der Clients und der Benutzerschnittstelle.
Kontextempfindliche Ratensteuerung
Gemäß mindestens einem Ausführungsbeispiel steuert ein Feedback- oder Feedforwardmechanismus die Übertragungsrate basierend auf Kontextinformation. Die Ratensteuerung wird durchgeführt beispielsweise durch Ändern der Kompressionsquantisierungsschrittgröße oder durch Tiefpassfiltern der Fehlerbilder. Die Quantisierungsschrittgrößen oder das Tiefpassfilter können in deterministischer Art und Weise gewählt werden. Gemäß einigen Ausführungsbeispielen erreicht eine feste Schrittgröße oder Bandbreite des Tiefpassfilters eine entsprechende Bitrate gemäß den Netzwerkzuständen. Dies ist geeignet, wenn eine 8 × 8 diskrete Fourier Blocktransformation verwendet wird, für die die Quantisierungsschrittgrößen bekannte Entsprechungen zu den Bitraten haben, also die Daten können an die Bandbreite des Netzwerks angepasst werden. Ein Nachteil dieses deterministischen Verfahrens ist, dass es auf Bandbreiteninformation beruht, was ein Überwachen des Netzwerkverkehrs oder der Benutzungsbandbreite erfordert.
Andere adaptive Verfahren vermeiden die Notwendigkeiten einer genauen Überwachung des Netzwerks durch Verwenden eines Feedbacks von dem Client. Gemäß einem Ausführungsbeispiel, wenn die resultierende Bitrate von der Kompression inadäquat ist, sendet der Client die Anfrage mit einem Flagbit, das nach einer höheren Bitrate fragt. Im Übrigen sendet der Client die Anfrage mit einem anderen Flagbit, das nach einer geringeren Bitrate fragt. Bei Empfangen dieser Flagbits passt das Kompressionssystem die Quantisierungsschritte entsprechend an. Als Konsequenz wird das zu sendende Bild grober quantisiert und die Kompressionsrate wird größer. Ein entsprechender Algorithmus zeigt die folgenden Grundaspekte:

Wenn Unterbrechungsmodus, ja; Stopp irgendwo in der Schleife;
wenn deterministischer Modus, keine Quantisierung; komprimiere verlustfrei;
sonst wenn interaktiver Modus,
wenn COMP_COARSE, Quantisierungsschrittgröße + = Δ Schrittgröße;
erhöhe Schwellenwert für Differenzbildvergleichen;
sonst wenn COMP_FINE, Quantisierungsschrittgröße - = Δ Schrittgröße; erhöhe Schwellenwert für Differenzbildvergleichen;
sonst Quantisierungsschrittgröße ist die gleiche, Schwellenwert ist der gleiche.

Das Flagbit wird zusammen mit dem Modusdeklarationsbit verwendet. Wenn die Visualisierung in dem interaktiven Modus erfolgt, wird die Rate vorzugsweise unverzögert eingestellt; in dem definitiven Modus wird das grob komprimierte Bild zuerst gesendet wird, gefolgt durch die Differenzen zwischen dem grob komprimierten Bild und dem Originalbild. Diese Differenzen erleben eine verlustlose Kompression. Da die Differenzen sehr viel kleinere Informationsmengen enthalten, und aufgrund eines definitiven Modus, kann der Benutzer normalerweise erlauben zu warten, die zusätzliche Verzögerungszeit aufgrund der verlustlosen Komprimierung ist nicht kritisch. Das verlustlose Codieren/Decodieren kann nicht sehr anspruchsvoll sein, aber die Berechnung ist vorzugsweise einfach genug, um einfach aufbebaute Clients zu berücksichtigen. In dem Unterbrechungsmodus kann die Kompression gestoppt werden und zu irgendeiner Zeit ohne Anforderung neu gestartet werden, beispielsweise die Übertragung eines Pakets von Bildern.
Wie in 10 gezeigt, kann gemäß einem Ausführungsbeispiel der vorliegenden Erfindung ein Computersystem 1001 zur Implementierung der vorliegenden Erfindung u. a. eine zentrale Verarbeitungseinheit (CPU) 1002, einen Speicher 1003 und eine Eingabe/Ausgabe (I/O) Schnittstelle 1004 enthalten. Das Computersystem 1001 ist allgemein durch die I/O Schnittstelle 1004 an eine Anzeige 1005 und verschiedene Eingabevorrichtungen 1006, wie Maus und Tastatur, gekoppelt. Die Unterstützungsschaltungen können Schaltungen enthalten, wie Cache Speicher, Energielieferer, Taktschaltungen und einen Kommunikationsbus. Der Speicher 1003 kann einen RAM (Random Access Memory), ROM (Read Only Memory), Diskettenlaufwerk, Bandlaufwerk, etc. oder Kombinationen davon enthalten. Die vorliegende Erfindung kann implementiert werden als eine Routine 1007, die in dem Speicher 1003 gespeichert und von der CPU 1002 ausgeführt wird, um die Signale von der Signalquelle 1008 zu verarbeiten. Als solches kann das Computersystem 1001 ein Allzweckcomputersystem sein, das zu einem Spezialzweckcomputersystem wird, wenn die Routine 1007 gemäß der vorliegenden Erfindung ausgeführt wird.
Das Computersystem 1001 enthält auch ein Betriebssystem und Mikrobefehlscode. Die verschiedenen Prozesse und Funktionen, wie hier beschrieben, können entweder Teil des Mikrobefehlscodes oder Teil des Anwendungscodes (oder Kombinationen davon) sein, das über das Betriebssystem ausgeführt wird. Darüber hinaus können verschiedene andere periphere Vorrichtungen mit der Computerplattform verbunden sein, wie eine zusätzliche Datenspeichervorrichtung und eine Druckvorrichtung.
Es soll ferner verstanden werden, dass, da einige der Systemkomponenten und der Verfahrensschritte, die in den beigefügten Figuren gezeigt sind, in Software implementiert werden können, die tatsächlichen Verbindungen zwischen den Systemkomponenten (oder Prozessschritten) verschieden sein können in Abhängigkeit von der Art und Weise, in der die vorliegende Erfindung programmiert ist. Mit den hier gegebenen Lehren der vorliegenden Erfindung ist ein Fachmann auf diesem Gebiet in der Lage, diese und ähnliche Implementierungen oder Konfigurationen der vorliegenden Erfindung in Erwägung zu ziehen.
Beispielsweise können die numerischen und symbolischen Schritte, wie hier beschrieben, in ein digitales Programm umgewandelt werden, das beispielsweise auf einem digitalen Signalprozessor gemäß bekannten Verfahren ausgeführt wird. Das digitale Programm kann auf einem computerlesbaren Medium gespeichert werden, wie Festplatte, und kann von einem Computerprozessor ausgeführt werden. Alternativ können die entsprechenden Schritte in ein digitales Programm konvertiert werden, das fest verdrahtet in bestimmten elektronischen Schaltungen mit dem Kompressor ist, der die Schritte ausführt. Verfahren zum Erzeugen derartiger bestimmter elektronischer Schaltungen basieren auf einer gegebenen numerischen oder symbolischen Analyseprozedur gemäß dem Stand der Technik.
Eine Anzahl von Ausführungsbeispielen der Erfindung ist beschrieben worden. Nichts desto trotz soll verstanden werden, dass verschiedene Modifikationen durchgeführt werden können, ohne den Bereich der Erfindung zu verlassen. Entsprechend fallen andere Ausfuhrungsbeispiele in den Schutzbereich der folgenden Ansprüche.

Claims

Verfahren zum Bereitstellen von Information, die repräsentativ ist für ein Bild, in einem interaktiven Visualisierungssystem, wobei das Verfahren aufweist: Auswählen eines gegenwärtigen Bilds (B) von einem Strom von Bildern; Holen von Daten, die repräsentativ sind für das gegenwärtige Bild (B) aus einem 3D Datensatz; Wiedergeben des gegenwärtigen Bilds (B) unter Verwendung von Wiedergabeparametern (T, Φ), die von einer Benutzerstation (130) bereitgestellt werden; Erzeugen eines Voraussagebilds (B') durch eine Voraussageeinheit (410) basierend auf den Wiedergabeparametern (T, Φ) und einem vorher vorausgesagten Bild (A) in einem Kompressor (210); Erzeugen eines Fehlerbilds Δ (B, B') durch Vergleichen des gegenwärtigen Bilds (B) mit dem Voraussagebild (B'); Evaluieren innerhalb des Visualisierungssystems zum Bestimmen ob, das gegenwärtige Bild (B) oder das Fehlerbild Δ (B, B') und die Wiedergabeparameter (T, Φ) gesendet werden sollen oder ob eine alternative Voraussagung notwendig ist; Senden des Fehlerbilds Δ (B, B') und der Wiedergabeparameter (T, Φ), wenn bestimmt wird, dass das Fehlerbild Δ (B, B') und die Wiedergabeparameter (T, Φ) zu senden sind mit einer Übertragungsrate an einen Dekompressor (230); Neuvoraussagen des Voraussagebilds (B') in dem Dekompressor (230); Reproduzieren des gegenwärtigen Bilds (B) in dem Dekompressor (230) durch Kombinieren des gesendeten Fehlerbilds Δ (B, B') mit dem neuvorausgesagten Bild (B'); und Steuern der Übertragungsrate mittels Feedback- oder Feedforwardmechanismus basierend auf Kontextinformation.
Verfahren nach Anspruch 1, ferner mit Codieren der repräsentativen Bildinformation zur Übertragung; und Senden der codierten repräsentativen Bildinformation an eine Visualisierungseinheit des Visualisierungssystems.
Verfahren nach Anspruch 2, ferner mit Rekonstruieren der codierten repräsentativen Bildinformation in ein rekonstruiertes Bild; und Anzeigen des rekonstruierten Bilds.
Verfahren nach einem der Ansprüche 1 bis 3, wobei die Kontextinformation aus der Gruppe ausgewählt wird, die einen benutzerinduzierten Visualisierungsparameter, einen visualisierungsimpliziten Parameter, einen benutzerinduzierten Systemparameter und einen systemimpliziten Parameter enthält.
Verfahren nach einem der Ansprüche 1 bis 4, ferner mit einem Bestimmen der repräsentativen Bildinformation als eine von der Gruppe enthaltend das gegenwärtige Bild, zwischenrahmenreduzierte Bildinformation des gegenwärtigen Bilds, und kontextempfindliche komprimierte Bildinformation des gegenwärtigen Bilds.
Verfahren nach einem der Ansprüche 1 bis 5, ferner mit einem Bestimmen der repräsentativen Bildinformation, um eine Genauigkeit zu haben, die eine Rekonstruktion eines verlustbehafteten rekonstruierten Bilds spezifiziert.
Verfahren nach Anspruch 5, wobei die repräsentative Bildinformation zwischenrahmenreduzierte Bildinformation enthält, das Verfahren ferner ein Erzeugen der zwischenrahmenreduzierten Bildinformation des gegenwärtigen Bilds unter Verwendung eines Downsamplingverfahrens enthält.
Verfahren nach einem der Ansprüche 1 bis 7, ferner mit Bereitstellen eines Eingangsbilds; Identifizieren von Voraussagungsinformation, die durch die Kontextinformation gegeben ist; Bestimmen eines vorausgesagten Bilds unter Verwendung der Voraussagungsinformation und des Eingangsbilds; Bestimmen eines Fehlerbilds basierend auf dem vorausgesagten Bild und dem gegenwärtigen Bild; statistisches Evaluieren des Fehlerbilds, um zu bestimmen, ob die kontextempfindliche komprimierte Bildinformation die vorbestimmte Information und das Fehlerbild enthält.
Verfahren nach Anspruch 8, ferner mit einem Auswählen des Eingangsbilds aus der Gruppe enthaltend das gegenwärtige Bild, ein vorheriges vorausgesagtes Bild und ein vorheriges rekonstruiertes Bild.
Verfahren nach Anspruch 8 oder 9, ferner mit einem Bestimmen des vorausgesagten Bilds unter Verwendung einer Voraussagungsstufe, die von der Gruppe ausgewählt wird, die eine lineare Voraussagungsstufe, eine Voraussagungsstufe, die einen vorausgesagten Parameter und eine bekannte Operation verwendet, und eine Voraussagungsstufe, die eine Voraussagungsoperation und einen Voraussageparameter der vorausgesagten Operation verwendet, enthält.
Verfahren nach einem der Ansprüche 8 bis 10, ferner mit einem Anwenden der Voraussagungsinformation auf einen Abschnitt des Eingangsbilds und Bestimmen von kontextempfindlicher komprimierter Bildinformation des Abschnitts als Teil der repräsentativen Bildinformation.
Verfahren nach einem der Ansprüche 8 bis 11, ferner mit Reproduzieren des vorausgesagten Bilds unter Verwendung der Voraussagungsinformation und des Eingangsbilds; Kombinieren des vorausgesagten Bilds mit dem Fehlerbild, um ein rekonstruiertes Bild zu rekonstruieren; und Anzeigen des rekonstruierten Bilds.
Verfahren nach Anspruch 2, ferner enthaltend ein Anpassen des Codierens der repräsentativen Information des gegenwärtigen Bilds basierend auf verfügbarer Kontextinformation.
Verfahren nach Anspruch 2, ferner enthaltend ein Codieren der repräsentativen Information des gegenwärtigen Bilds unter Verwendung eines Mehrfachbeschreibungsschemas.
Computerlesbares Medium mit darauf enthaltener Software, wobei die Software Anweisungen enthält, die von einem Computer ausführbar sind, und die, wenn sie ausgeführt werden, den Computer veranlassen zum Durchführen des Verfahrens gemäß einem der Ansprüche 1 bis 14.
Visualisierungssystem zum Bereitstellen von Information, die repräsentativ ist für ein Bild, wobei das System enthält: ein kontextempfindliches Komprimierungssystem (400) zum Auswählen eines gegenwärtigen Bilds (B) von einem Strom von Bildern, Holen von Daten, die repräsentativ sind für das gegenwärtige Bild aus einem 3D Datensatz, und Wiedergeben des gegenwärtigen Bilds (B) unter Verwendung von Wiedergabeparametern (T, Φ), die von einer Benutzerstation (130) bereitgestellt werden, wobei das kontextempfindliche Komprimierungssystem (400) eine Voraussagungseinheit (410) aufweist zum Erzeugen eines Voraussagebilds (B') basierend auf den Wiedergabeparametern (T, Φ), die von der Benutzerstation (130) bereitgestellt werden, und einem vorher vorausgesagten Bild (A) innerhalb eines Kompressors (210); eine Analyseeinheit (420) zum Erzeugen eines Fehlerbilds Δ (B, B') durch Vergleichen des Voraussagebilds (B') mit dem gegenwärtigen Bild (B) und zum Bestimmen, ob das gegenwärtige Bild (B) oder Fehlerbild Δ (B, B') und die Wiedergabeparameter (T, Φ) gesendet werden sollen oder ob eine alternative Voraussagung notwendig ist, und Senden des Fehlerbilds Δ (B, B') und der Wiedergabeparameter (T, Φ), wenn bestimmt wird, dass das Fehlerbild Δ (B, B') und die Wiedergabeparameter (T, Φ) zu senden sind mit einer Übertragungsrate an einen Dekompressor (230), und Neuvoraussagen des Voraussagebilds (B') in dem Dekompressor (230); und eine Rekonstruktionseinheit (450) in dem Dekompressor (230) zum Reproduzieren des gegenwärtigen Bilds (B) durch Kombinieren des gesendeten Fehlerbilds Δ (B, B') mit dem neuvorausgesagten Bild (B'); und Steuern der Übertragungsrate mittels Feedback- oder Feedforwardmechanismus basierend auf Kontextinformation.
Visualisierungssystem nach Anspruch 16, ferner enthaltend eine Steuereinheit innerhalb des kontextempfindlichen Kompressionssystems zum Steuern der bereitgestellten repräsentativen Bildinformation als von der Gruppe stammend enthaltend das gegenwärtige Bild, zwischenrahmenreduzierte Bildinformation des gegenwärtigen Bilds und kontextempfindliche komprimierte Bildinformation des gegenwärtigen Bilds.
Visualisierungssystem nach Anspruch 16 oder 17, ferner mit einem Dekompressionssystem und einer Visualisierungseinheit, wobei das Dekompressionssystem mit dem Kompressionssystem über ein Netzwerk verbunden ist, um die repräsentative Bildinformation zu empfangen zum Rekonstruieren eines rekonstruierten Bilds, und das Dekompressionssystem mit der Visualisierungseinheit verbunden ist, um das rekonstruierte Bild bereitzustellen für die Visualisierungseinheit zur Anzeige des rekonstruierten Bilds.
Visualisierungssystem nach einem der Ansprüche 16 bis 18, ferner mit einer Codiereinheit zum Codieren der repräsentativen Bildinformation zum Übertragen der codierten repräsentativen Bildinformation an das Dekompressionssystems.