DE10138532A1 - Verfahren zum dynamischen, priorisierbaren und wahlfreien Zugriff auf Bildbereiche in JPEG2000-komprimierten Bildern sowie darauf aufbauende Client-Server-Architektur - Google Patents

Verfahren zum dynamischen, priorisierbaren und wahlfreien Zugriff auf Bildbereiche in JPEG2000-komprimierten Bildern sowie darauf aufbauende Client-Server-Architektur

Info

Publication number
DE10138532A1
DE10138532A1 DE10138532A DE10138532A DE10138532A1 DE 10138532 A1 DE10138532 A1 DE 10138532A1 DE 10138532 A DE10138532 A DE 10138532A DE 10138532 A DE10138532 A DE 10138532A DE 10138532 A1 DE10138532 A1 DE 10138532A1
Authority
DE
Germany
Prior art keywords
client
image information
server
image
jpeg
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE10138532A
Other languages
English (en)
Inventor
Rene Rosenbaum
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to DE10138532A priority Critical patent/DE10138532A1/de
Publication of DE10138532A1 publication Critical patent/DE10138532A1/de
Ceased legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162User input
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6581Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

Um eine JPEG 2000 standardkonforme Decodierung zu gewährleisten, muss die darin festgelegte Datenreihenfolge eingehalten werden. Damit ist es aber nicht ohne weiteres möglich, spezielle Bildbereiche gesondert zu übertragen. Um dies dennoch zu erreichen, werden erfindungsgemäß an solchen Stellen, die nicht zu einer "Region of Interest" RoI gehören, standardkonforme Platzhalter mit geringem Bandbreitenbedarf eingefügt. Diese signalisieren dem Decoder, dass für diesen Bildbereich zur Zeit keine Bildinformation vorliegt. Das Einfügen der Platzhalter geschieht durch mehrere Transcodiererschritte auf dem Datenstrom des codierten Bildes und wird vorzugsweise nur auf Bildteile angewandt, die noch nicht übertragen wurden. Nach einem diskreten Transcodierungsschritt ist es möglich, eine Neudefinition oder Änderung der Priorisierung von RoIs durchzuführen. Damit wird keine Neucodierung des Bildes durchgeführt, da der bestehende Datenstrom lediglich geeignet umsortiert und formatiert wird. Festgelegte und übertragene Bildinformation wird durch nachfolgend definierte Bereiche nicht beeinflusst und kann weiterverwendet werden. Damit erfolgt eine redundanzfreie Übertragung der Bilddaten.

Description

  • Die Erfindung betrifft ein Verfahren zur Übertragung einer nach dem JPEG-2000 Bildstandard codierten digitalen Bildinformation, wobei innerhalb dieser Bildinformation senderseitig vor der Codierung spezielle räumliche Bildbereiche, sogenannte "Regions of Interest" RoI, als relativ wichtig gegenüber anderen Bildbereichen priorisierbar sind und wobei die Anordnung von priorisierten Teilbildinformationen im resultierenden codierten Datenstrom zur Gewährleistung einer konformen empfängerseitigen Decodierung vorgegeben ist, sowie eine darauf aufbauende Client-Server Architektur.
  • Durch die vorliegende Erfindung soll eine Client-Server- Umgebung für die bedarfsgesteuerte Übertragung von Standbildern geschaffen werden. Ziel der Bedarfssteuerung ist es dabei, bestimmte wichtige räumliche Bereiche (Regions of Interest, RoI) eines JPEG 2000-codierten Bildes schnell und in sehr guter Qualität bzw. Auflösung darzustellen, während weniger wichtige Bildbereiche erst später in ihrer Qualität bzw. Auflösung verfeinert werden.
  • JPEG 2000 bezeichnet den Namen eines Kompressionsverfahrens für Standbilder, wobei JPEG als Abk. für "Joint Photographic Expert Group" steht, welche die Entwicklung des Standards begleitet hat. Der Algorithmus arbeitet nach dem Verlustprinzip, d. h. es werden irrelevante, für das menschliche Auge und daher den Qualitätseindruck des Bildes unwichtige Informationen entfernt. Es ist allerdings auch möglich, verlustfrei zu arbeiten. Zugrunde liegt dabei ein symmetrischer Codec- Algorithmus, der verschiedene Qualitätsstufen zulässt. Dabei wird jedes Bild in verschieden Wavelet-Auflösungsstufen zerlegt. Jede dieser Auflösungsstufen wird nun mit Hilfe einer diskreten Wavelettransformation (DWT) komprimiert, wobei die Bildinformation von Kanten eher in den höheren Auflösungen und die Bildinformation von Flächen eher in den niedrigeren Auflösungen gespeichert wird.
  • In einem zweiten Schritt werden die aus der DWT resultierenden Koeffizienten verlustbehaftet reduziert, so dass Koeffizienten mit kleinen Werten mit erheblich weniger Speicher codiert werden können als Koeffizienten mit relevanten Werten.
  • In einem dritten Schritt werden die codierten Koeffizienten in Blöcke unterteilt und in einem 3-stufigen Codierungsdurchlauf erneut verlustfrei verarbeitet.
  • In einem vierten Schritt werden diese Blöcke zu Precincts zusammengefasst. Diese Vorgehensweise ist maßgeblich für der Verteilung der Bildinformation im resultierenden Datenstrom.
  • In einem fünften Schritt werden die codierten Koeffizienten der zu einem Precinct gehörenden Blöcke in sogenannten Paketen zusammengefasst. Dabei enthält ein Paket immer nur eine Teilinformation der kodierten Koeffizienten, wobei die Unterteilung der Gesamtinformation durch sogenannte Qualitäts- Layer vorgenommen wird. Mit jedem Qualitätslayer eines Precincts verbessert sich somit die Bildinformation eines Precincts. Die resultierenden Pakete bilden zusammen mit Organisationsdaten den finalen JPEG 2000-Datenstrom.
  • Ein Server soll das Bild bereitstellen, welches auf dem Client dargestellt werden soll. Dieser wiederum signalisiert dem Server, welche Regionen für ihn von Interesse sind. Der Server reagiert auf diese Anfrage und schickt dem Client einen den Anforderungen entsprechenden Datenstrom. Während der Decodierung auf dem Client werden die Bereiche der RoI's dann früher oder in einer besseren Qualität dargestellt als der restliche Teil des Bildes.
  • Für den Bildstandard JPEG 2000 sind zur Zeit nur die im Standard beschriebenen Unterstützungen von "Regions of Interest" RoI bekannt. Alle diese Mechanismen unterstützen die Definition von "Regions of Interest" nur vor der Codierung der Bildinformation. Der JPEG 2000-Bildcodierungsstandard zeichnet sich durch seine große Funktionsvielfalt und Flexibilität gegenüber veränderten Bedingungen zu Beginn der Codierung aus. Teil der beschriebenen Funktionalität ist die Unterstützung von RoI's, welche herkömmlich allerdings nur statisch eingebracht werden können. Diese müssen vor Beginn der Codierung definiert werden und beeinflussen einzelne Codierungsschritte durch die Manipulation der vorliegenden Bildinformation. Bei einer dynamischen Änderung oder Neudefinition von Regionen während einer laufenden Übertragung muss die gesamte rechen- und zeitintensive Codierung oder bestimmte Teile der Codierung wiederholt werden. In der Praxis ist es mit den herkömmlichen Möglichkeiten für die Codierung von statischen RoI's nicht möglich, einen dynamischen, redundanz- und wahlfreien Zugriff zu erreichen.
  • In der Regel muss somit die ursprünglich gesendete Bildinformation auf dem Client verworfen werden, und es kommt zu einer redundanten Übertragung von Bildinformation. Diese kostet Bandbreite und ist bei einer hohen Interaktionsrate nicht mehr praktikabel. Einige Verfahren gestatten weiterhin keine priorisierte Übertragung von einzelnen RoIs. Es ist kein Verfahren bekannt, welches das beschriebene technische Problem ohne hochgradig redundante Übertragung der Bildinformation löst. Diese Redundanzen lassen sich jedoch nicht allgemeingültig beschreiben, da sie vom Interaktionsverhalten des Nutzers abhängen.
  • Sind noch nicht alle Teile der Bildinformation an den Client gesendet worden, so soll die Möglichkeit geschaffen werden, andere Regionen zu definieren bzw. die Priorisierung der Übertragung bestehender Regionen zu verändern.
  • Aufgabe der vorliegenden Erfindung ist es daher, einen dynamischen und wahlfreien Zugriff auf die Bildinformation von einer oder mehreren RoIs zu erreichen. Zusätzlich wird eine standardkonforme Decodierung und eine Redundanzfreiheit in der Übertragung angestrebt, da eine schmalbandige Übertragung erwünscht wird.
  • Gemäß der vorliegenden Erfindung wird diese Aufgabe durch ein Verfahren der eingangs genannten Art gelöst, welches dadurch weitergebildet wird, dass ein empfängerseitiger dynamischer und wahlfreier Zugriff auf einen gewünschten räumlichen Bildbereich innerhalb des bestehenden codierten Datenstroms erfolgt, indem durch eine senderseitige Transcodierung solche codierten Teilbildinformationen des Datenstromes, die nicht zum angeforderten räumlichen Bildbereich gehören, im Rahmen der empfängerseitig geforderten vorgegebenen Anordnung derart umsortiert werden und an deren Stelle konforme Platzhalter mit geringem Bandbreitenbedarf eingefügt werden, dass der Datenstrom zunächst die dem angeforderten räumlichen Bildbereich zugehörigen Teilbildinformationen und die Platzhalter aufweist.
  • Vorteilhafterweise werden senderseitige Transcodierungsschritte auf dem digitalen Datenstrom der codierten Bildinformation nur auf solche Bildteile angewendet, die noch nicht zum Empfänger übertragen wurden.
  • Weiter hat es sich als besonders vorteilhaft erwiesen, wenn leere Datenpakete als konforme Platzhalter dienen.
  • Wenn priorisierte Teilbildinformationen in Form von Datenpaketen in zugeordneten Layern angeordnet werden, wobei zur konformen empfängerseitigen Decodierung und Darstellung höherpriore Layer schneller und/oder in besserer Auflösung übertragbar sind, als Layer mit Teilbildinformationen von vergleichsweise niedriger prioren Bildbereichen, die erst später nach abnehmender Priorität zur stetigen empfängerseitigen, qualitativen Verfeinerung der Bildinformation übertragen werden, erfolgt nach einer weiteren vorteilhaften Ausprägung eine Transcodierung des solchermaßen priorisierten Bilddatenstroms durch Einfügen eines weiteren Layers in den bestehenden codierten Bilddatenstrom, das die Datenpakete der angeforderten, dem räumlichen Bildbereich zugehörigen Teilbildinformationen und die Datenpakete der Platzhalter aufnimmt, und das mit höchster Priorität vor den anderen Layern übertragen wird.
  • Ferner wird die Aufgabe der Erfindung durch ein korrespondierendes Client-Server-System zur clientseitigen Übertragung einer nach dem JPEG-2000 Bildstandard codierten serverseitig vorliegenden digitalen Bildinformation mit einer serverseitigen Codiereinheit und einer clientseitigen korrespondierenden Decodiereinheit gelöst, indem der serverseitigen Codiereinheit eine Transcodiereinheit zur Durchführung des Verfahrens nach einem der vorangehenden Ansprüche nachgeschaltet ist.
  • Dabei hat es sich als besonders effektiv und vorteilhaft erwiesen, wenn eine clientseitige Anforderungssteuerung vorgesehen ist, die zur Anforderungsansteuerung der serverseitigen Transcodiereinheit dient.
  • Diese serverseitige Transcodiereinheit umfasst nach einer weiteren vorteilhaften Ausprägung
    • - eine Sortiereinheit zur Selektion und Formatierung der zu übertragenden Datenpakete und
    • - eine Logikeinheit zur Entgegennahme von clientseitigen Anforderungen und einer von diesen abhängigen Steuerung der Sortiereinheit durch Verwaltung eines temporären Status eines Sortierprozesses sowie Ermittlung der relevanten Teilbildinformationen für einen neuen Transcodierschritt.
  • Der sog. JPEG 2000-Baseline Codec legt eine Reihenfolge fest, wie die Bildinformation einzelner Bildbereiche im resultierenden Datenstrom des codierten Bildes angeordnet werden muss. Um die standardkonforme Decodierung zu gewährleisten, muss diese Reihenfolge eingehalten werden. Damit ist es aber nicht ohne weiteres möglich, spezielle Bildbereiche gesondert zu übertragen. Um dies dennoch zu erreichen, werden erfindungsgemäß an solchen Stellen, die nicht zur RoI gehören, standardkonforme Platzhalter mit geringem Bandbreitenbedarf eingefügt. Diese signalisieren dem Decoder, dass für diesen Bildbereich zur Zeit keine Bildinformation vorliegt.
  • Das Einfügen der Platzhalter geschieht durch mehrere Transcodiererschritte auf dem Datenstrom des codierten Bildes und wird vorzugsweise nur auf Bildteile angewandt, die noch nicht übertragen wurden. Nach einem diskreten Transcodierungsschritt ist es möglich, eine Neudefinition oder Änderung der Priorisierung von RoIs durchzuführen. Es wird keine Neucodierung des Bildes durchgeführt, da der bestehende Datenstrom lediglich geeignet umsortiert und formatiert wird. Festgelegte und übertragene Bildinformation wird durch nachfolgend-definierte Bereiche nicht beeinflusst und kann weiterverwendet werden. Damit erfolgt eine redundanzfreie Übertragung der Bilddaten.
  • Der beschriebene erfindungsgemäße Ansatz unterscheidet sich komplett von den herkömmlichen statischen Vorgehensweisen und ist deshalb nicht mit diesen vergleichbar. Anstatt die RoI's während der Codierung in den Datenstrom einzubringen, werden diese Regionen, wie alle anderen, einmalig codiert und später anforderungsgesteuert umgeordnet. Damit kann sehr viel flexibler auf eventuelle Änderungen der RoIs reagiert werden. Dies betrifft sowohl die Änderung der Priorisierung von RoI's als auch deren Neudefinition.
  • Der Sonderfall einer statischen RoI kann mit dem erfindungsgemäßen Verfahren ebenfalls behandelt werden. Dieser tritt ein, wenn der Client keine Änderungen an den vom Server vorgegebenen initialen Bereichen von Interesse signalisiert. Diese werden dann ohne Änderung priorisiert übertragen und als erstes auf dem Client dargestellt, was der Funktionalität der statischen Verfahren entspricht. Für JPEG 2000-konformes Arbeiten ist im Moment kein vergleichbares dynamisches Verfahren für die Codierung von RoI's bekannt.
  • Weitere Vorteile und Details der Erfindung ergeben sich anhand des im folgenden beschriebenen vorteilhaften Ausführungsbeispiels und im Zusammenhang mit den Figuren. Es zeigt:
  • Fig. 1 ein Diagramm mit einer initialen Anordnung von Layern und Precincts im JPEG 2000-Datenstrom nach einer Beispielcodierung,
  • Fig. 2 eine graphische Darstellung der Zuordnung von Bildinformation zu Layern und Precincts nach einem ersten Transcodierungsschritt,
  • Fig. 3 eine graphische Darstellung der Zuordnung von Bildinformation zu Layern und Precincts nach dem letzten Transcodierungsschritt und
  • Fig. 4 eine typische Client-Server-Architektur zur Durchführung des erfindungsgemäßen Verfahrens.
  • Es folgt eine genauere Beschreibung der Vorgehensweise zur Durchführung des Verfahrens gemäß der vorliegenden Erfindung am Beispiel einer JPEG 2000 codierten Bildinformation:
    Während der Codierung eines Bildes mit JPEG 2000 wird eine wavelet-codierte Bildinformation in Layer unterteilt, wobei sich mit der Übertragung von Layern zum Client die Bildinformation qualitativ verfeinert.
  • Unter einer wavelet-Codierung versteht man ein Codierverfahren, das Vorteile hinsichtlich einer Datenreduktion für Bild- und Bewegtbilddaten mit sich bringt. Anstelle einer weitverbreiteten Fast Fourier Transformation (FFT) wird eine sog. wavelet-Transformation genanntes Verfahren genutzt. Grundidee ist, wie bei der Fourier-Transformation, die Zerlegung eines komplexen Signalverlaufs in mehrere, verschiedene Grundformen einfach zu handhabender Signale.
  • Das ursprüngliche, komplexe Signal ergibt sich dabei aus der Überlagerung der einfachen Grundsignale, die sog. wavelets. Während bei der Fourier-Analyse ein Signal in unendlich lange, periodische Sinusschwingungen zerlegt wird, werden bei der wavelet-Codierung die komplexen Signale in zeitlich eng begrenzte und nur sehr wenige Schwingungen umfassende Signalelemente zerlegt, die mit wavelets bezeichnet werden. Es gibt verschiedene Mengen von grundlegenden wavelets. Derartige Mengen werden gezielt für bestimmte, zu codierende Signalformen entwickelt. Mit einer passend definierten Menge von aufeinander abgestimmten wavelets ist es möglich, beliebige Signalformen zu rekonstruieren. Ein beliebiges Signal wird dann in eine Menge von wavelets zu bestimmten Zeitpunkten und mit bestimmten wavelet-Koeffizienten zerlegt. Die wavelet- Koeffizienten geben ähnlich der Fourier-Koeffizienten an, wie stark ein wavelet an dieser Stelle zum ursprünglichen Signal beiträgt.
  • Wavelets eignen sich insbesondere für die Analyse sehr unstetiger Signale, z. B. von Standbild- oder Bewegtbildsignalen, bei denen in einer Bildzeile starke Kontraste auftauchen können. Andere Anwendungsfelder ergeben sich bei der Filterung verrauschter Signale und bei der Berechnung von großen Matrizen.
  • Weiterhin wird das Bild im wavelet-Raum in sog. "Precincts" unterteilt, welche die Bildinformation von jeweils einem konkreten Bildbereich in einem Subband einer wavelet- Zerlegungsstufe enthalten. Alle Precincts einer Zerlegungsstufe, die den gleichen Bildbereich in der Bilddomäne beschreiben und zu einem bestimmten Layer gehören, werden zu einem Datenpaket zusammengefasst. Erst nach der Übertragung eines kompletten Layers kann wieder auf eventuelle Änderungen der RoIs eingegangen werden. Damit ist dies der kleinste mögliche "Transkodierungsschritt". Die kleinste und unteilbare Datenmenge, welche übertragen und auf Clientseite decodiert werden kann, ist ein Datenpaket. Layer setzen sich aus einer Vielzahl dieser Pakete zusammen. Entscheidet sich der Client die Übertragung zu stoppen, ohne dass der gesamte Datenstrom übertragen wurde, werden alle vollständig übertragenen Pakete decodiert, selbst wenn der zugehörige Layer nicht vollständig übertragen wurde.
  • Die Information, welches Paket welche Bildinformation trägt, wird dabei intern aus der Reihenfolge der Pakete im finalen Datenstrom abgeleitet. Ein einfaches Verschieben von Paketen führt daher nicht zum Ziel.
  • Die Kernidee der Erfindung für die direkte und standardkonforme Umsetzung der dynamischen RoI-Funktionalität in JPEG 2000 besteht im Einfügen neuer Layer und der Verwendung von leeren Paketen als Platzhalter für Bereiche, die nicht zur RoI gehören. Dazu muss eine spezielle Reihenfolge, in der die Bildinformation durchlaufen wird, eingehalten werden. D. h. es muss immer erst die gesamte Bildinformation eines Layers übertragen werden, bevor Bildinformation des nächsten Layers übertragen wird. Diese Reihenfolge kann jedoch von einem beliebigen standard-konformen Decoder erkannt und behandelt werden. Erfolgt die Anforderung, eine bestimmte Region bevorzugt zu übertragen, wird ein neuer Layer gebildet, der nur Bildinformation von Precincts enthält, die zur RoI gehört. Alle restlichen Bildbereiche werden mit leeren Paketen aufgefüllt. Der Decoder erkennt diesen Layer als regulär an, decodiert diesen und zeigt nun zusätzlich die neu übertragene Bildinformation an.
  • Ausgangspunkt für ein im Folgenden dargestelltes, erläuterndes Beispiel ist ein JPEG 2000 codiertes Bild, wie es in der Fig. 1 anhand eines Diagramms dargestellt ist. Das gezeigte JPEG 2000 codierte Bild enthält vereinfachend nur 2 Layer L1, L2. Es werden weiterhin nur 3 Precincts P1 bis P3 betrachtet.
  • In Fig. 1 ist die Anordnung der Layer und Precincts graphisch dargestellt, wobei die Layer horizontal und die Precincts vertikal aufgetragen sind. Die einzelnen Precincts beinhalten in den jeweiligen Layern immer Bildinformation. Die in unterschiedlichen Graustufen aufgetragenen Rechtecke repräsentieren dabei Teile der codierten Bildinformation, die jeweils einem Precinct räumlich zugeordnet sind.
  • Im Folgenden wird erklärt, wie ein JPEG 2000-Datenstrom gebildet wird, der dynamisch generierte Regionen von Interesse enthält:
    Beginnt man mit der Übertragung des Ausgangsbildes, fordert der Client vom Server eine bestimmte Bildregion an. Im Beispiel besteht die Anforderung des räumlichen Bildbereiches, der von Precinct P2 überdeckt wird. Infolge dessen wird auf Serverseite ein neuer Layer 1, nämlich L1', gebildet und die bestehenden Layer komplett eine Stufe nach oben verschoben. Die gesamte Bildinformation von Precinct P2 wird dann um eine Layer-Ebene nach unten verschoben. Auf dem neuen ersten Layer L1' befindet sich nun nur noch Bildinformation, die räumlich zum Precinct P2 gehört. Die Fig. 2 zeigt eine der Fig. 1 entsprechende graphische Darstellung dieser Zuordnung von Bildinformation zu Layern und Precincts nach diesem ersten Transcodierungsschritt. Die mit dem Zusatz "'" versehenen Layer sind somit bereits solchermaßen transcodierte Layer. Die Bildinformation der anderen Precincts P1 und P3 dieses Layers L1' ist nunmehr leer und wird durch leere Pakete repräsentiert. Der erste Layer L1' kann nun übertragen und auf Client-Seite decodiert werden. Es wird dabei nur Bildinformation von Precinct P2 übertragen und dargestellt.
  • Bei der Übertragung eines Layers handelt es sich regelmäßig um den kleinsten möglichen Transcodierungsschritt, da erst ein ganzer Layer übertragen werden muss, bis eine weitere Neuanordnung erfolgen kann. Übertragene Layer ändern sich während der gesamten Transcodierung nicht mehr. Die Neuanordnung wird darauf mit dem nächsten Layer L2, wie in Fig. 2 gezeigt, fortgesetzt und endet mit dem Layer, welcher die letzte Bildinformation beinhaltet. Dies ist im vorliegenden Fall Layer L5', wie in Fig. 3 gezeigt. In Fig. 3 ist die der Fig. 2 entsprechende Anordnung nach dem letzten Transcodierungsschritt gezeigt, der im Folgenden beschrieben wird. Die grau-hinterlegten Layer L1' bis L4' zeigen die bereits übertragenen Layer an, welche sich nicht mehr ändern. Das bereits transcodierte Layer L5' hingegen wurde noch nicht übertragen.
  • Im nächsten Transcodierungsschritt des gegebenen Beispiels fordert der Client eine Region an, die von Precinct P1 überdeckt wird. Zusätzlich dazu signalisiert der Client das Stoppen der Übertragung der zu Precinct P2 gehörenden Region. Es erfolgt somit nur die Übertragung des Pakets, das Precinct P1 enthält (Layer L2' gemäß Fig. 3). Im Beispiel ändert sich diese Anforderung auch im nächsten Übertragungsschritt (Layer L3' gemäß Fig. 3) nicht. Danach benötigt der Client alle Bildbereiche, was zu einer Inkludierung aller verbleibenden Precincts führt (Layer L4' gemäß Fig. 3).
  • Der nächsten Übertragungsschritt sendet die verbleibende Bildinformation des Precinct P3, da auch diesmal keine Änderungen vom Client signalisiert wurden (Layer L5' gemäß Fig. 3). Da dies die letzte Bildinformation ist, wird ein Ende- Marker eingefügt, welcher dem Decoder das Ende des Datenstromes anzeigt. Während der Übertragung war es dem Client jederzeit möglich, die übertragenen Layer zu decodieren und ggf. anzuzeigen. Durch das beschriebene erfindungsgemäße Vorgehen ist es also möglich, bestimmte Teile des Bildes dynamisch zu selektieren, umzuordnen, zu übertragen und früher anzuzeigen.
  • Die voranstehend beschriebene, erfindungsgemäße Vorgehensweise für die bevorzugte Übertragung und Darstellung von RoI's wird vor allem in Umgebungen benötigt, in denen es notwendig ist, dynamisch auf Veränderungen in den Eigenschaften von bestehenden RoI's oder der Definition von neuen RoI's zu reagieren. Dazu gehören vor allem Client-Server-Architekturen in denen ein beliebiger Client-Nutzer bestimmt, welche Bildregionen ihn besonders interessieren und welche eine niedrigere Priorität haben.
  • Ein solches Szenario wird im folgenden Beispiel anhand einer in der Darstellung nach Fig. 4 gezeigten Client-Server- Struktur dargestellt. Es ist ein Server 1 gezeigt, der auf uncodierte digitale Bildinformationen 3 zugreift und der neben einer JPEG 2000 Codiereinheit 4 eine dieser nachgeschaltete Transcodiereinheit 5 umfasst. Ein Client 2 verfügt über eine Anforderungssteuerung 9, über die Informationen bzgl. einem wahlfreien und dynamischen Zugriff auf die Bildinformation 3 an den Server 1 übermittelt wird. Der Client verfügt des weiteren über eine JPEG 2000 Decodiereinheit 6, die ein decodiertes Bild als Datei 7 zur Verfügung stellt, das schließlich clientseitig mittels einer graphischen Bildausgabe 8 visualisiert werden kann.
  • Das beschriebene Verfahren wird dabei einfach als zusätzlicher Transcodierschritt 5 auf Serverseite 1 nachgeschaltet. Ausgangspunkt ist der JPEG 2000-Codierer 4, welcher codierte Datenströme von beliebigen Bildern erzeugt. Dieser Codierer 4 codiert nun einmalig ein bestimmtes originales Bild 3. Als Ausgabe liefert er einen JPEG 2000-Datenstrom. Dieser dient als Eingabe für die Transcodiereinheit 5, welche ein Logikmodul 5' und ein Sortiermodul 5" umfasst. Das Logikmodul 5' nimmt die Anforderungen 9 des Client 2 entgegen und steuert den Sortierprozess, indem es den temporären Status der Sortierung 5" verwaltet und die relevanten Pakete für den neuen Transcodierschritt ermittelt.
  • Dazu sind ebenfalls Informationen über den JPEG 2000- Datenstrom nötig. Der Sortierprozess 5" sorgt dann für die Selektion und Formatierung der übermittelten Datenpakete. Nach der Zusammenstellung der Pakete eines Transcodierungsschrittes werden diese an den Client 2 geschickt. Im Client 2 wird dann der übermittelte Teil des JPEG 2000- konformen Datenstromes an den bereits vorliegenden Teil angehängt und decodiert. Der Client 2 ist nun in der Lage, die vorliegende und gemäß der Anforderung verfeinerte Bildinformation mittels der graphischen Ausgabe 8 darzustellen.
  • Ändern sich die Prioritäten der RoI's oder sollen neue RoI's erzeugt werden, kann der Client 2 dies dem Logikmodul 5' des Transcodierers über die Anforderungssteuerung 9 signalisieren und der Transcodierer passt die Sortierung, wie voranstehend beschrieben, geeignet an. Diese Verfahrensweise wird solange durchgeführt, bis der gesamte Datenstrom übertragen wurde oder der Client die Datenübertragung abbricht.

Claims (7)

1. Verfahren zur Übertragung einer nach dem JPEG-2000 Bildstandard codierten digitalen Bildinformation, wobei innerhalb dieser Bildinformation senderseitig vor der Codierung spezielle räumliche Bildbereiche (RoI) als relativ wichtig gegenüber anderen Bildbereichen priorisierbar sind, wobei die Anordnung von priorisierten Teilbildinformationen im resultierenden codierten Datenstrom zur Gewährleistung einer konformen empfängerseitigen Decodierung vorgegeben ist, dadurch gekennzeichnet, dass ein empfängerseitiger dynamischer und wahlfreier Zugriff auf einen gewünschten räumlichen Bildbereich (RoI) innerhalb des bestehenden codierten Datenstroms erfolgt, indem durch eine senderseitige Transcodierung solche codierten Teilbildinformationen des Datenstromes, die nicht zum angeforderten räumlichen Bildbereich (RoI) gehören, im Rahmen der empfängerseitig geforderten vorgegebenen Anordnung derart umsortiert werden und an deren Stelle konforme Platzhalter mit geringem Bandbreitenbedarf eingefügt werden, dass der Datenstrom zunächst die dem angeforderten räumlichen Bildbereich (RoI) zugehörigen Teilbildinformationen und die Platzhalter aufweist.
2. Verfahren zur Übertragung einer nach dem JPEG-2000 Bildstandard codierten digitalen Bildinformation nach Anspruch 1, dadurch gekennzeichnet, dass senderseitige Transcodierungsschritte auf dem digitalen Datenstrom der codierten Bildinformation nur auf solche Bildteile angewendet werden, die noch nicht zum Empfänger übertragen wurden.
3. Verfahren zur Übertragung einer nach dem JPEG-2000 Bildstandard codierten digitalen Bildinformation nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass leere Datenpakete als konforme Platzhalter dienen.
4. Verfahren zur Übertragung einer nach dem JPEG-2000 Bildstandard codierten digitalen Bildinformation nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, dass priorisierte Teilbildinformationen in Form von Datenpaketen (P1. . .P3) in zugeordneten Layern (L1. . .L5) angeordnet werden, wobei zur empfängerseitigen Decodierung und Darstellung höherpriore Layer schneller und/oder in besserer Auflösung übertragbar sind, als Layer mit Teilbildinformationen von vergleichsweise niedriger prioren Bildbereichen, die erst später nach abnehmender Priorität zur stetigen empfängerseitigen, qualitativen Verfeinerung der Bildinformation übertragen werden, wobei eine Transcodierung (5, 5', 5") des solchermaßen priorisierten Bilddatenstroms durch Einfügen eines weiteren Layers (L1') in den bestehenden codierten Bilddatenstrom erfolgt, das (L1') die Datenpakete der angeforderten, dem räumlichen Bildbereich (RoI) zugehörigen Teilbildinformationen und die Datenpakete der Platzhalter aufnimmt, und das mit höchster Priorität vor den anderen Layern übertragen wird.
5. Client-Server-System zur clientseitigen (2) Übertragung einer nach dem JPEG-2000 Bildstandard codierten serverseitig (1) vorliegenden digitalen Bildinformation (3) mit einer serverseitigen Codiereinheit (4) und einer clientseitigen korrespondierenden Decodiereinheit (6), dadurch gekennzeichnet, dass der serverseitigen Codiereinheit (4) eine Transcodiereinheit (5) zur Durchführung des Verfahrens nach einem der vorangehenden Ansprüche nachgeschaltet ist.
6. Client-Server-System nach Anspruch 5, dadurch gekennzeichnet, dass eine clientseitige Anforderungssteuerung (9) vorgesehen ist, die zur Anforderungsansteuerung der serverseitigen Transcodiereinheit (5) dient.
7. Client-Server-System nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass die serverseitige Transcodiereinheit (5)
eine Sortiereinheit (5") zur Selektion und Formatierung der zu übertragenden Datenpakete und
eine Logikeinheit (5') zur Entgegennahme von clientseitigen Anforderungen und einer von diesen abhängigen Steuerung der Sortiereinheit (5") durch Verwaltung eines temporären Status eines Sortierprozesses sowie Ermittlung der relevanten Teilbildinformationen für einen neuen Transcodierschritt umfasst.
DE10138532A 2001-08-06 2001-08-06 Verfahren zum dynamischen, priorisierbaren und wahlfreien Zugriff auf Bildbereiche in JPEG2000-komprimierten Bildern sowie darauf aufbauende Client-Server-Architektur Ceased DE10138532A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE10138532A DE10138532A1 (de) 2001-08-06 2001-08-06 Verfahren zum dynamischen, priorisierbaren und wahlfreien Zugriff auf Bildbereiche in JPEG2000-komprimierten Bildern sowie darauf aufbauende Client-Server-Architektur

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE10138532A DE10138532A1 (de) 2001-08-06 2001-08-06 Verfahren zum dynamischen, priorisierbaren und wahlfreien Zugriff auf Bildbereiche in JPEG2000-komprimierten Bildern sowie darauf aufbauende Client-Server-Architektur

Publications (1)

Publication Number Publication Date
DE10138532A1 true DE10138532A1 (de) 2003-02-27

Family

ID=7694541

Family Applications (1)

Application Number Title Priority Date Filing Date
DE10138532A Ceased DE10138532A1 (de) 2001-08-06 2001-08-06 Verfahren zum dynamischen, priorisierbaren und wahlfreien Zugriff auf Bildbereiche in JPEG2000-komprimierten Bildern sowie darauf aufbauende Client-Server-Architektur

Country Status (1)

Country Link
DE (1) DE10138532A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1667460A2 (de) * 2004-12-02 2006-06-07 Mitsubishi Denki Kabushiki Kaisha Verfahren zur skalierbaren Bildtranskodierung

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1667460A2 (de) * 2004-12-02 2006-06-07 Mitsubishi Denki Kabushiki Kaisha Verfahren zur skalierbaren Bildtranskodierung
EP1667460A3 (de) * 2004-12-02 2009-02-11 Mitsubishi Denki Kabushiki Kaisha Verfahren zur skalierbaren Bildtranskodierung

Similar Documents

Publication Publication Date Title
DE69833004T2 (de) Verlustfreie kodierung eines interessierenden gebiets
DE4339753C2 (de) Vorrichtung zum Komprimieren und Dekomprimieren von Bilddaten
DE69233411T2 (de) Verfahren und Einrichtung zur Kompression von sich bewegenden Videobildern mit adaptiver Bitzuordnung und Quantisierung
DE60209888T2 (de) Kodieren eines audiosignals
DE60001896T2 (de) Quantisierer für videokompression
DE10043188A1 (de) Fehlerkorrekturverfahren für Videokompressionskodierung unter Verwendung von mehreren Referenzpuffern und einem Nachrichtenkanal
DE10218812A1 (de) Generische Datenstrombeschreibung
DE19821727B4 (de) Vorrichtung und Verfahren zur Codierung mit variabler Länge
DE60008233T2 (de) Übertragung von profilierten mediadateien an kunden über ein netzwerk
DE60211790T2 (de) Videokodierung mit konstanter Qualität
EP1472888B1 (de) Kontextsensitive kodierung und dekodierung eines videodatenstroms
DE60107149T2 (de) Digitales Bildausgabegerät
DE60015755T2 (de) Verlustfreie adaptive codierung von daten eines endlichen alphabets
DE19903605B4 (de) Verfahren zum Neuanordnen von Signalverlaufspacket-Koeffizienten
WO2003026307A2 (de) Verfahren zur videocodierung und computerprogrammprodukt
EP0336510B1 (de) Prädiktiver Standbildcodierer
DE2460654A1 (de) Verfahren und einrichtung zum codieren eines gegebenen informationssignals
DE10138532A1 (de) Verfahren zum dynamischen, priorisierbaren und wahlfreien Zugriff auf Bildbereiche in JPEG2000-komprimierten Bildern sowie darauf aufbauende Client-Server-Architektur
EP0442096A2 (de) Einrichtung zur bandbreitenreduzierenden Codierung von Videosignalen
DE3726601C2 (de)
EP1110407A1 (de) Verfahren und anordnung zur codierung und decodierung eines digitalisierten bildes mit anwendung eines objektgesamtbewegungsvektors
EP1869890B1 (de) Verfahren und vorrichtung zur reduktion eines quantisierungsfehlers
DE69828019T2 (de) Verfahren und Vorrichtung zur iterativen Bildtransformation und -dekodierung
WO2001062009A1 (de) Verfahren und anordnung zur kodierung bzw. zur kodierung und dekodierung einer zahlenfolge
DE102005011124B4 (de) Verfahren und Vorrichtung zur Übertragung von Bilddaten

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8131 Rejection