DE69216339T2 - Neue Video-Misch-Technik mit JPEG-komprimierten Daten - Google Patents

Neue Video-Misch-Technik mit JPEG-komprimierten Daten

Info

Publication number
DE69216339T2
DE69216339T2 DE69216339T DE69216339T DE69216339T2 DE 69216339 T2 DE69216339 T2 DE 69216339T2 DE 69216339 T DE69216339 T DE 69216339T DE 69216339 T DE69216339 T DE 69216339T DE 69216339 T2 DE69216339 T2 DE 69216339T2
Authority
DE
Germany
Prior art keywords
coding
data
group
image data
intervals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE69216339T
Other languages
English (en)
Other versions
DE69216339D1 (de
Inventor
Mon-Song Chen
Zon-Yin Shae
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Application granted granted Critical
Publication of DE69216339D1 publication Critical patent/DE69216339D1/de
Publication of DE69216339T2 publication Critical patent/DE69216339T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/02Handling of images in compressed format, e.g. JPEG, MPEG
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Digital Computer Display Output (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Circuits (AREA)
  • Image Processing (AREA)

Description

  • Die vorliegende Erfindung bezieht sich auf ein Anzeigesystem mit mehreren Fenstern. Genauer ausgedrückt bezieht sich die vorliegende Erfindung auf ein Verfahren und eine Vorrichtung zur Anzeige einer Mehrzahl von Bildfenstern auf einem Anzeigebildschirm, wobei die Daten für die Fenster im Bereich der komprimierten Daten gemischt werden.
  • Die Vorteile der Hochgeschwindigkeitsnetzwerkarbeit und der Multimedia-Technologie hat eine ganz neue Dimension von Multimedia-Anwendungen ins Leben gerufen. Die Bildverarbeitung stellt eine der größten Herausforderungen in der Entwicklung dieser neuen Anwendungen dar. Insbesondere besteht häufig die Notwendigkeit, gleichzeitig mehrere bewegte Bilder von unterschiedlichen Quellen zu empfangen und sie in einer Gruppe übereinandergelagerter Bildfenster anzuzeigen. Diese Methode bezeichnet man als Bildmischung oder Bildkomposition.
  • Die Bilder werden unabhängig voneinandervon verschiedenen Quellen erzeugt. Sie können unterschiedliche Abmessungen und Formate aufweisen, beispielsweise NTSC (30 Frames/Sekunde) und PAL (25 Frames/Sekunde). Aus Gründen einer besseren Veranschaulichung wird von der Annahme ausgegangen, daß die Abmessungen eines Bildfensters an der Quelle und am Empfänger dieselben sind und die Abmessungen des Anzeigebildschirms am Empfänger nicht übersteigen. HS und VS seien die Pixel in der horizontalen bzw. in der vertikalen Ausdehnung des Anzeigebildschirms, und Hi und Vi seien die horizontale und die vertikale Ausdehnung des Bildfensters i. Hi ≤ HS für 1 ≤ i ≤ N.
  • Die Vorgehensweise, die ab jetzt verwendet wird, soll eine komprimierte Datenwarteschlange für jedes Bildfenster aufweisen. Wenn Daten eines vollständigen Bild-Frames zur Verfügung stehen, werden sie vom Dekoder dekomprimiert. Die dekomprimierten Daten oder Pixel werden in einer Pixelwarteschlange gespeichert und sind daraufhin zum Mischen bereit. Als Bitmap des Anzeigebildschirms wird ein Anzeige-Frame- Puffer verwendet. Um diese Bildfenster zusammenzusetzen und gleichzeitig anzuzeigen, werden Pixel in den Anzeige-Frame- Puffer geschrieben, und zwar in Übereinstimmung mit (1) der relativen Position eines Pixels in seinem Bildfenster, (2) der Position eines Bildfensters auf dem Anzeigebildschirm, und (3) der Überlagerung der Bildfenster.
  • Diese Vorgehensweise birgt jedoch zwei große Nachteile. Der erste besteht darin, daß eine große Anzahl an schnellen Pixel- Puffern erforderlich ist. Normalerweise ist es erforderlich, vor dem Mischen für jede Quelle die Pixel eines vollständigen Frames zu speichern, damit auf diese Weise Netzwerkschwankungen wie beispielsweise Paketverluste, Datenschäden und Verzögerungsstörungen ausgeglichen werden können. Das bedeutet, daß eine Pufferanzahl von
  • Pixeln benötigt wird. Im extremen Fall, daß jedes Bildfenster ungefähr die Größe des Anzeigebildschirms aufweist, betrüge die Anzahl der benötigten Pixelpuffer NHSVS Pixel. Wenn wir vom Beispiel des beliebten VGA ausgehen, dessen Abmessungen 640 Pixel mal 480 Pixel betragen, bedeutet dies 307N tausend Pixel. Wenn ein Pixel durch drei Bytes repräsentiert ist, dann beträgt die Anforderung an den Puffer 0,9N Megabytes.
  • Müßte für jedes Bildfenster mehr als ein Frame in die Warteschlange eingereiht werden, beispielsweise, um eine höhere Wiedergabeleistung zu erzielen, dann wären die Anforderungen an den Pufferspeicher sogar noch größer. Darüber hinaus muß es sich bei diesen Puffern um hochschnelle Speicher handeln, da die Daten mit der vollen Bildgeschwindigkeit, das heißt 27 Megabytes pro Sekunde, um 30 VGA-Frames pro Sekunde zu erzielen, ausgelesen werden müssen.
  • Der zweite Nachteil liegt in der erforderlichen Dekompressionsleistung. Da alle komprimierten Daten zuerst dekomprimiert werden müssen, bevor die Pixel verarbeitet werden können, muß der Empfänger
  • Pixel dekomprimieren. Auch in diesem Fall kann dieser Wert im extremen Fall, daß jedes Bildfenster ungefähr die Größe des Anzeigebildschirms hat, eine Größe von NHSVS erreichen. Diese Konstellation ist sehr kostenaufwendig, da höchstwahrscheinlich eine parallellaufende Dekoderbank erforderlich wäre.
  • Aus den genannten Gründen besteht ein Bedarf nach einem Bildanzeigesystem mit mehreren Fenstern, bei dem die Anforderungen an den Pixelpufferspeicher geringer sind und eine Dekompressionsfunktion vorhanden ist.
  • Das US-Patent Nr. 4,890,257 an Anthias et al. beschreibt ein Verfahren zur Aufrechterhaltung der Anzeigeurheberschaft bei Vorhandensein mehrerer Anzeigequellen durch Angabe der Position und der Anordnung jedes einzelnen Fensters. Das vorliegende Verfahren jedoch beschreibt das Mischen oder die Überlagerung mehrerer Fenster in einem Pixelbereich. Ein solches Verfahren eignet sich für Text oder Graphikfenster, ist jedoch für Fenster mit bewegten Bildern in Echtzeit relativ kostenaufwendig.
  • Quellenverweise
  • (1) Sonderausgabe zum Thema "Asynchronous Transfer Mode", Int. J. Digital & Analog Cabled Systems, 1, (4), (1988).
  • (2) I. Cidon und I. S. Gopal, "PARIS: An Approach to Integrated High-Speed Private Networks," Intl. Journal of Digital and Analog Cabled Systems, Vol 1, pp. 77-85, 1988.
  • (3) CCITT SGXV, Working Party XV/4, Document # 339, März 1988, RMS.
  • Daher ist es ein Ziel der vorliegenden Erfindung, ein verbessertes Anzeigesystem bereitzustellen.
  • Die Erfindung reduziert insbesondere die Anzahl an schnellen Pixelpuffern, die in einem Bildanzeigesystem mit mehreren Fenstern benötigt werden, sowie die erforderliche Dekompressionsleistung in einem Anzeigesystem mit mehreren Fenstern.
  • Das Ziel der vorliegenden Erfindung wird im wesentlichen durch die in den unabhängigen Ansprüchen aufgeführten Funktionen erreicht.
  • Entsprechend beschreibt die vorliegende Erfindung ein Verfahren und eine Vorrichtung zur Anzeige mehrerer Bildfenster auf einem Anzeigebildschirm. Zunächst sieht die Erfindung eine Teilung eines Stroms von Bilddaten in Kodierungsintervalle vor, wobei jeder Datenstrom einem auf dem Bildschirm anzuzeigenden Bildfenster entspricht. Jedes Kodierungsintervall besitzt Bilddaten für einen entsprechenden Teil eines der Fenster. Danach wird jedes der Kodierungsintervalle der Bilddaten komprimiert, und diese komprimierten Kodierungsintervalle werden anschließend so miteinander vermischt, daß eine Gruppe komprimierter Daten für jede anzuzeigende Bildschirmposition erzeugt wird. Schließlich werden die gemischten komprimierten Daten dekomprimiert, so daß Pixeldaten für die auf dem Anzeigebildschirm anzuzeigenden Fenster erzeugt werden.
  • Nachfolgend werden bevorzugte Ausführungsbeispiele der vorliegenden Erfindung beschrieben, wobei auf Zeichnungen verwiesen wird.
  • Figur 1 ist eine schematische Darstellung eines Systems in Übereinstimmung mit der vorliegenden Erfindung.
  • Figur 2 ist eine schematische Darstellung eines typischen komprimierten Bilddatenstroms und eines Kodierungsintervalls mit Geschwindigkeit 2400.
  • Figur 3 ist eine schematische Darstellung einer Überlagerungstabelle, die zur Mischung komprimierter Daten verwendet wird.
  • Figur 4 ist ein Flußdiagramm zur Bereitstellung der Mischfunktion.
  • Figur 5 ist eine Filterungstabelle, die zur Filterung der komprimierten Bilddatenströme verwendet wird.
  • Figur 6 ist ein Flußdiagramm, das die Funktion des Filters beschreibt.
  • Figur 1 ist eine schematische Darstellung des Verfahrens und der Vorrichtung der vorliegenden Erfindung. Die Bilddaten für die Fenster 24-A, 24-B und 24-C auf dem Anzeigebildschirm 22 werden für die Ströme der Bilddaten bereitgestellt, die in den Datenquellen A, B bzw. C erzeugt werden. Jeder Strom von Bilddaten ist in Kodierungsintervalle (CI's) wie beispielsweise A-1 bis A-N der Datenguelle A unterteilt. Entsprechend erhält man die Kodierungsintervalle (CI's) B-1 bis B-N durch Teilung des Bilddatenstroms von der Datenquelle B. Entsprechend erhält man die Kodierungsintervalle (CI's) C-1 bis C-N durch Teilung des Bilddatenstroms von der Datenquelle C. Jedes der Kodierungsintervalle (CI's) wird anschließend unter Verwendung einer Komprimierungsfunktion einzeln komprimiert. Unter Verwendung der Formate Discrete Cosigne Transform (DCT) und Joint Photographic Expert Group (JPEG) werden die Kodierungsintervalle in komprimierte Kodierungsintervalle komprimiert. Das DCT erzeugt eine Gruppe von Koeffizienten für jeden der Kodierungsintervalle. Diese Koeffizienten werden anschließend unter Verwendung der Modulation mit der Bezeichnung Digital Pulse Code Modulation, der Kodierung durch Run Length und des Huffman-Codes quantiert. Diese Codes werden im JPEG- Standard beschrieben. Um die Notwendigkeit, komprimierte Daten speichern zu müssen, weiter reduzieren zu können, wird der Filter 12 verwendet, um diejenigen Kodierungsintervalle (CI's) herauszufiltern, die Informationen über die Anteile der nicht angezeigten Bildfenster enthalten. Beispielsweise werden auf dem Anzeigebildschirm 22 Teile des Bildfensters 24-A nicht angezeigt, weil sie nicht von entsprechenden Teilen des Bildfensters 24-B überlagert werden. Die komprimierten Datenwarteschlangen 14-A bis 14-C zur Speicherung der komprimierten Kodierungsintervalle werden ebenfalls dargestellt. Die komprimierten Daten aus den Warteschlangen werden anschließend vom Mischer 16 so gemischt, daß dabei für jede auf dem Anzeigebildschirm anzuzeigende Punktposition eine Gruppe komprimierter Daten erzeugt wird. Diese gemischten komprimierten Daten gehen anschließend an den Dekompressor 18, der die zur Anzeige der Bildfenster auf dem Anzeigebildschirm erforderlichen Pixeldaten erzeugt.
  • Figur 2 zeigt schematisch einen komprimierten Datenstrom 20 auf jeder der Ausgangsleitungen 13-1 bis 13-3 des Kompressors 8 aus Figur 1. In JPEG, kann ein Bildrahmen eine Größe von bis zu 65535 Pixel mal 65535 Pixel haben. Der Einfachheit halber wird im vorliegenden Ausführungsbeispiel VGA verwendet, ohne daß dadurch die Allgemeingültigkeit beeinträchtigt wird. In VGA stehen für den Anzeigebildschirm 640 Pixel mal 480 Pixel zur Verfügung. Der Datenstrom (beispielsweise ein JPEG- Datenstrom) besitzt außerdem eine Gruppe von Markierungscodes wie beispielsweise SOI, SOF usw., um sich selbst zu delimitieren. Die Markierungscodes sind unter Berücksichtigung zweier byte-ausgerichteter 8-Bit-Ganzzahlen eingebettet. Die Byte- Ausrichtung ist so ausgelegt, daß sich die Markierungscodes in einem Datenstrom leicht identifizieren lassen. Für das neue Verfahren sind mehrere Markierungscodes von Bedeutung, die nachfolgend beschrieben werden:
  • * SOI (Start Of Image): startet einen Datenstrom.
  • * SOF (Start Of Frame): startet einen Frame.
  • * SOS (Start Of Scan): startet einen Scan.
  • Ein Frame besteht aus mehreren Scans. Ein Scan besteht aus mehreren Kodierungsintervallen. Die Größe und die wichtigen Steuerparameter jedes Scans sind in den beiden Feldern genau nach SOS kodiert, das heißt, in den Sektionen, die mit "length" und "parameters" gekennzeichnet sind. Ein Kodierungsintervall ist ein Ganzzahlvielfaches der Mindestdateneinheit (MDU), die aus zwei aufeinanderfolgenden Blöcken (8 Pixel mal 8 Pixel) oder einem Block (16 Pixel mal 8 Pixel) besteht. Jede Sektion (35), die durch die Bezeichnungen "words" gekennzeichnet ist, repräsentiert eine Sequenz komprimierter Kodierungsintervalldaten für ein entsprechendes Kodierungsintervall. Diese komprimierten Daten werden anschließend gemäß Darstellung durch die RSCs getrennt.
  • * RSC (Resynchronisation): beendet die DPCM-Abhängigkeit (Delta Pulse Code Modulation) zwischen den DC- Koeffizienten (siehe unten).
  • * EOI (End Of Image): beendet einen Datenstrom.
  • Figur 2 zeigt auch einen Anzeigebildschirm 10, der in 2400 Kodierungsintervalle unterteilt ist, wobei jedes Kodierungsintervall 8 mal 16 Pixel aufweist. Die Kodierungsintervalle sind von links nach rechts und von oben nach unten numeriert, wobei jede Zeile 40 Kodierungsintervalle aufweist.
  • Das direkte Mischen mit komprimierten Daten wird unter Verwendung von RSCs zur Begrenzung und Abbildung der Kodierungsintervalle in Pixelblöcke erreicht. Wie oben bereits angeführt wurde, kann ein Kodierungsintervall so klein wie eine MDU sein, beispielsweise wie ein Block aus 16 Pixel mal 8 Pixel. Setzt man diese Granularität ins Verhältnis zur Größe eines typischen Bildschirms, beispielsweise eines VGA-Bildschirms, müßte sie fein genur für die Überlagerung von Fenstern in den meisten Anwendungen sein.
  • Die folgende einfache Systemarchitektur kann dieses neue Mischverfahren verwenden. Alle Quellen verwenden dasselbe Größenkodierintervall. Beispielsweise ist ein Kodierintervall ein MDU. Jedes Videofenster ist in ein Gitter von CI's unterteilt, die aufeinanderfolgend von links nach rechts und von oben nach unten gekennzeichnet sind. Die Positionskennzeichnungen der in einem Paket enthaltenen CI's sind im Pakettitel kodiert. Auf diese Weise kann der Receiver, wenn er die Abmessungen eines Videofensters und seine Kodierintervallgröße kennt, die Positionskennzeichnung verwenden, um ein beliebiges Kodierintervall auf seinen entsprechenden Pixelblock abzubilden. Am Receiver ist der Anzeigebildschirm in ein Gitter von CI's unterteilt, die ebenfalls aufeinanderfolgend von links nach rechts und von oben nach unten gekennzeichnet sind. Wenn beispielsweise das Kodierintervall ein MDU ist, dann wird ein VGA-Anzeigebildschirm in 2400 Kodierintervalle partitioniert, wie dies in Abbildung 2 dargestellt ist.
  • Die Datenstruktur zur Mischung mehrerer JPEG-komprimierter Datenströme ist in Figur 3 als Überlagerungstabelle (OT) 40 abgebildet. Es wird von der Annahme ausgegangen, daß die komprimierten Daten so empfangen und verarbeitet werden, daß die Blöcke der komprimierten Daten und ihre Positionskennzeichnungen in separaten Warteschlangen gespeichert werden, wie dies in den Abbildungen 14-A bis 14-C von Figur 1 dargestellt ist, also entsprechend ihren Quellen eine Warteschlange für jede Quelle. Es wird ebenfalls von der Annahme ausgegangen, daß ein separates Wiedergabemodul, das für die Kompensation von Paketverlusten, Datenfehlern und Verzögerungsstörungen verantwortlich ist, gewährleistet, daß die komprimierten Daten eines vollständigen Rahmens in den Warteschlangen auf das Mischen warten
  • Die Überlagerungstabelle 40 wird verwendet, um die Überlagerungskonfiguration von Videofenstern anzugeben. Diese Tabelle besitzt einen Eintrag für jedes Kodierungsintervall auf dem Anzeigebildschirm, wie dies in Figur 2 dargestellt ist. Im Fall eines VGA-Bildschirms hat die Überlagerungstabelle 40 genau 2400 Einträge, und jeder Eintrag bildet ein Kodierungsintervall auf dem Anzeigebildschirm auf ein spezifisches Steuerintervall eines spezifischen Videofensters ab. Diese Information wird von der Definition der Positionen der Videofenster durch den Benutzer sowie der Überlagerungskonfiguration der Videofenster abgeleitet. Ein freies Kodierungsintervall wird durch ein spezielles Symbol in der Quellenspalte der Tabelle spezifiziert. Das Videofenster 1 beispielsweise hat die Größe von 2 MDU mal 2 MDU und befindet sich in der Ecke oben links, nämlich auf den MDU's 1, 2, 41 und 42 im VGA- Anzeigegitter. Das Videofenster 2 beispielsweise hat die Größe von 3 MDU mal 2 MDU und befindet sich auf den MDU's 42, 43, 44, 82, 83 und 84 im VGA-Anzeigegitter. Das überlagernde MDU, nämlich 42, zwischen den beiden Fenstern ist auf das Videofenster 1 eingerichtet. In diesem Fall besitzt die Überlagerungstabelle die folgenden Einträge für diese beiden Videofenster:
  • Alle P Sekunden wird ein zusammengesetzter Rahmen erstellt. Um einen zusammengesetzten Rahmen zu erstellen, durchläuft der Mixer jeden Eintrag in der Überlagerungstabelle und liest entweder das spezifizierte Kodierungsintervall (CI) aus der Warteschlange aus oder erzeugt ein leeres Kodierungsintervall.
  • Darüber hinaus muß der Mixer außerdem in dem neuen zusammengesetzten komprimierten Datenstrom die nötigen Markierungskodes wie beispielsweise RSC und SOS, die Quantizierungstabellenspezifikation usw. einbetten, um die Anforderungen des JPEG- Formats zu erfüllen. Der JPEG-Dekoder liest anschließend den zusammengesetzten komprimierten Datenstrom, dekomprimiert ihn und gibt die Pixel in einer Form aus, die sich zur Anzeige auf dem Bildschirm eignet.
  • In Figur 4 wird das Flußdiagramm des Mixers dargestellt. Der Mixer kann entweder in der Software wie beispielsweise in PS/2, Apple-Computern, oder in dedizierter Hardware wie TI, Intel Digital Signal Processors implementiert sein, um die Geschwindigkeit zu erhöhen.
  • Zuerst muß das System Speicherplatz zur Speicherung der Überlagerungstabelle (401) zuordnen. Dann wartet es, bis der Benutzer an der Tastatur oder über eine Datei (402) die Layoutinformationen über den Anzeigebildschirm eingibt. Die benötigten Informationen sind Fenstergröße, relative Fensterposition und überlagertes Layout der Videoquelle.
  • Anschließend initialisiert das System die Überlagerungstabelle (403) auf der Grundlage der in 402 enthaltenen Benutzerspezifikationen. Jetzt kann das System damit beginnen, durch Einlesen der Datenwarteschlange (14-A bis 14-C in Figur 1) in systematischer Reihenfolge auf der Grundlage der Überlagerungstabelle, die nachfolgend beschrieben wird, den zusammengesetzten Rahmen zu erstellen.
  • Für das VGA-Format besitzt die Überlagerungstabelle 2400 Einträge (404). Von i=1 bis 2400 liest das System wiederholt den i-ten Eintrag der Überlagerungstabelle ein, um die Quellenidentifikation(en) und ihre relative(n) Position(en) zu ermitteln. Wenn die Quellenidentifikation (oder die Quellenidentifikationen) ein leeres MDU (406) anzeigt, dann bereitet das System ein leeres MDU (408) vor und sendet dieses leere MDU an den Dekompressor (409); ansonsten liest das System das m-te MDU aus der s-ten Warteschlange (siehe Figur 1) (407) und sendet diesen MDU an den Dekompressor (409).
  • Die Schritte von (404) bis (409) wiederholen sich 2400 mal, um einen vollständigen zusammengesetzten komprimierten Rahmen zur Dekompression zu erstellen.
  • In Figur 6 ist das Flußdiagramm des Filters dargestellt. Der Filter kann entweder in der Software wie beispielsweise in PS/2, Apple-Computern, oder in dedizierter Hardware wie TI, Intel Digital Signal Processors implementiert sein, um die Geschwindigkeit zu erhöhen.
  • Zuerst muß das System Speicherplatz zur Speicherung der FT- Tabelle (601) zuordnen. Dann wartet es, bis der Benutzer das Überlagerungslayout der Videoquellen eingibt, die die Anzeige (602) bilden sollen. Daraufhin initialisiert das System die FT-Tabelle (603) auf der Grundlage der Benutzerspezifikation. Für das VGA-Format besitzt die FT-Tabelle 2400 Einträge.
  • Anschließend wartet das System, bis ein komprimiertes Kodierungsintervall ankommt (604). Man erhält die Quellenidentifikation (i) und die relative Position (j) des eingehenden komprimierten Kodierungsintervalls (605). Anschließend liest das System die Eingabe (i,j) der FT-Tabelle (606) ein. Ist der Inhalt gleich Null, so ist das komprimierte Kodierungsintervall (608) zu ignorieren. Andernfalls ist das komprimierte Kodierungsintervall in der Warteschlange (i) (609) zu speichern.
  • Die Schritte (602) bis (608) oder (609) werden wiederholt.
  • Im vorigen Abschnitt wird von der Annahme ausgegangen, daß die komprimierten Daten eines Rahmens in jeder Warteschlange stets auf das Mischen warten. Das bedeutet, daß Puffer benötigt werden, um komprimierte Daten für bis zu
  • Pixel zu speichern. Diese Pufferanforderung läßt sich reduzieren, wenn man berücksichtigt, daß ein CI nicht in die Warteschlange eingereiht werden muß, wenn es durch ein anderes CI eines beliebigen Videofensters abgedeckt ist. Mit einem geeigneten Paketfilter wird die Pufferanforderung auf eine Größe reduziert, die zur Speicherung der Datenmenge für einen Bildschirm von Pixeln benötigt wird, und zwar unabhängig von der Anzahl der Videofenster und ihrer Abmessungen.
  • Figur 5 veranschaulicht die Datenstruktur für den Paketfilter. Eine Filtertabelle (FT) 50 für jedes Videofenster wird verwendet, um den Filter zu führen, wenn er eingehende CI's ignorieren oder im Puffer speichern soll. Eine FT-Tabelle besitzt einen Eintrag für jeden CI in jedem Videofenster. Im Beispiel der VGA-Anzeige und der üblichen Kodierungsintervallgröße eines MDU besitzt die FT-Tabelle 2400 Einträge, da jedes Videofenster so groß wie ein VGA-Bildschirm sein kann. Jeder Eintrag besitzt N Flags - einen für jede Quelle. Ein Flag wird eingerichtet, wenn das dazugehörige CI angezeigt wird; andernfalls wird er von anderen Videofenstern überlagert. Aus diesem Grund wird ein CI nur dann gespeichert, wenn sein Flag eingerichtet wurde.

Claims (8)

1. Ein Verfahren zur Anzeige einer Mehrzahl an Videofenstern auf einem Anzeigebildschirm, wobei jedes Videofenster aus einem entsprechenden Strom an Bilddaten erstellt wird, und wobei das genannte Verfahren folgende Schritte umfaßt:
(a) Teilung jedes genannten Stroms von Bilddaten in Kodierungsintervalle, wobei jedes der genannten Kodierungsintervalle Bilddaten für einen entsprechenden Teil eines der genannten Fenster besitzt;
(b) Komprimierung jedes der genannten Kodierungsintervalle von Bilddaten, um eine erste Gruppe komprimierter Daten für jedes der genannten Kodierungsintervalle zu erstellen;
(c) Mischen aller komprimierten Daten aus der genannten ersten Gruppe, um mindestens eine zweite Gruppe komprimierter Daten für jeden genannten entsprechenden Teil, der auf dem genannten Anzeigebildschirm dargestellt werden soll, zu erstellen; und
(d) Dekomprimierung jeder zweiten Datengruppe, um Pixeldaten für jeden genannten entsprechenden Teil, der auf dem genannten Anzeigebildschirm dargestellt werden soll, zu erstellen.
2. Das Verfahren gemäß Anspruch 1, bei dem in jedem der genannten Ströme die Kodierungsintervalle durch Begrenzer voneinander getrennt sind.
3. Das Verfahren gemäß Anspruch 1 oder 2, bei dem die Komprimierung jedes der genannten Kodierungsintervalle von Bilddaten auch die Umwandlung jedes der genannten Kodierungsintervalle von ßilddaten mit einer diskreten Cosinusumwandlung einschließt, so daß für jedes der genannten Kodierungsintervalle eine Gruppe von Koeffizienten erstellt wird.
4. Das Verfahren gemäß allen vorigen Ansprüchen, wobei die Komprimierung jedes der genannten Kodierungsintervalle von Bilddaten auch folgendes umfaßt:
(a) Umwandlung jedes der genannten Kodierungsintervalle von Bilddaten mit einer diskreten Cosinusumwandlung, so daß für jedes der genannten Kodierungsintervalle eine Gruppe von Koeffizienten erstellt wird; und
(b) Quantizierung der genannten Koeffizienten für jedes der genannten Kodierungsintervalle durch Kodierung von Wechselstrom-Koeffizienten unter Verwendung einer Differenzialimpulscodemodulation und durch Kodierung von Gleichstrom-Koeffizienten unter Verwendung eines Lauflängenverfahrens.
5. Das Verfahren gemäß allen vorigen Ansprüchen, wobei die Komprimierung von Daten weiterhin den Schritt einschließt, an den kodierten Wechselstrom-Koeffizienten und den kodierten Gleichstrom-Koeffizienten von Schritt b in Anspruch 5 den Huffman-Code anzuwenden.
6. Das Verfahren gemäß allen vorigen Ansprüchen, wobei es weiterhin folgendes umfaßt:
Filterung der komprimierten Daten aus der genannten ersten Gruppe vor dem Mischen der komprimierten Daten aus der genannten ersten Gruppe, wobei die genannte erste Datengruppe unter Verwendung einer Filtertabelle für jedes der genannten Fenster gefiltert wird, und wobei jede genannte Filtertabelle einen Eintrag für jeden genannten Teil eines der genannten Fenster besitzt, wobei jeder genannte Eintrag angibt, von welchem genannten Strom von Bilddaten eine betreffende genannte erste Gruppe komprimierter Daten dekomprimiert werden soll, um sie auf dem genannten Anzeigebildschirm darzustellen.
7. Das Verfahren gemäß allen vorherigen Ansprüchen, wobei jede genannte erste Gruppe komprimierter Daten unter Verwendung einer Überlagerungstabelle, in der ein Eintrag für jede auf dem genannten Bildschirm angezeigte Bildschirmposition enthalten ist, gemischt wird, wobei jeder genannte Eintrag angibt, welches Kodierungsintervall der genannten Kodierungsintervalle und welcher Strom der genannten Ströme für eine betreffende Bildschirmposition dekomprimiert werden soll.
8. Ein Verfahren zur Anzeige einer Mehrzahl an Videofenstern auf einem Anzeigebildschirm, wobei jedes Videofenster aus einem entsprechenden Strom an Bilddaten erstellt wird, und wobei das genannte Verfahren folgendes umfaßt:
(a) Mittel zur Teilung jedes genannten Stroms von Bilddaten in Kodierungsintervalle, wobei jedes der genannten Kodierungsintervalle Bilddaten für einen entsprechenden Teil eines der genannten Fenster besitzt;
(b) Mittel zur Komprimierung jedes der genannten Kodierungsintervalle von Bilddaten, um eine erste Gruppe komprimierter Daten für jedes der genannten Kodierungsintervalle zu erstellen;
(c) Mittel zum Mischen jeder genannten ersten Gruppe komprimierter Daten, um mindestens eine zweite Gruppe komprimierter Daten für jeden genannten entsprechenden Teil, der auf dem genannten Anzeigebildschirm dargestellt werden soll, zu erstellen; und
(d) Mittel zur Dekomprimierung jeder zweiten Datengruppe, um Pixeldaten für jeden genannten entsprechenden Teil, der auf dem genannten Anzeigebildschirm dargestellt werden soll, zu erstellen.
DE69216339T 1991-09-20 1992-08-21 Neue Video-Misch-Technik mit JPEG-komprimierten Daten Expired - Lifetime DE69216339T2 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US07/763,103 US5257113A (en) 1991-09-20 1991-09-20 Video mixing technique using JPEG compressed data

Publications (2)

Publication Number Publication Date
DE69216339D1 DE69216339D1 (de) 1997-02-13
DE69216339T2 true DE69216339T2 (de) 1997-07-17

Family

ID=25066890

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69216339T Expired - Lifetime DE69216339T2 (de) 1991-09-20 1992-08-21 Neue Video-Misch-Technik mit JPEG-komprimierten Daten

Country Status (5)

Country Link
US (1) US5257113A (de)
EP (1) EP0534139B1 (de)
JP (1) JP2521010B2 (de)
DE (1) DE69216339T2 (de)
SG (1) SG44412A1 (de)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594507A (en) * 1990-09-28 1997-01-14 Ictv, Inc. Compressed digital overlay controller and method for MPEG type video signal
AU655338B2 (en) * 1991-11-25 1994-12-15 Sony (Australia) Pty Limited Audio and multiple video monitoring on a computer display
JP3235903B2 (ja) * 1992-06-11 2001-12-04 株式会社リコー スチルカメラ
WO1994001971A2 (en) * 1992-07-01 1994-01-20 Avid Technology, Inc. Electronic film editing system using both film and videotape format
US5644364A (en) * 1993-04-16 1997-07-01 Avid Technology, Inc. Media pipeline with multichannel video processing and playback
US6357047B1 (en) 1997-06-30 2002-03-12 Avid Technology, Inc. Media pipeline with multichannel video processing and playback
JP3149303B2 (ja) * 1993-12-29 2001-03-26 松下電器産業株式会社 デジタル画像符号化方法及びデジタル画像復号化方法
US5481297A (en) * 1994-02-25 1996-01-02 At&T Corp. Multipoint digital video communication system
JP3560614B2 (ja) * 1994-03-18 2004-09-02 アヴィッド・テクノロジー・インコーポレーテッド デジタル映像効果のリアルタイム実行に適合させた静止画像のパイプライン処理
JP3784828B2 (ja) * 1994-04-01 2006-06-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ インタラクティブ画像表示システムの動作方法およびこの方法を実行する画像ソース装置
KR100354937B1 (ko) * 1994-04-15 2002-12-26 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오신호송수신장치및방법
US5453780A (en) * 1994-04-28 1995-09-26 Bell Communications Research, Inc. Continous presence video signal combiner
US5557538A (en) * 1994-05-18 1996-09-17 Zoran Microelectronics Ltd. MPEG decoder
JP3078215B2 (ja) * 1995-01-06 2000-08-21 ミツビシ・エレクトリック・インフォメイション・テクノロジー・センター・アメリカ・インコーポレイテッド ディスプレイ装置
US6359636B1 (en) 1995-07-17 2002-03-19 Gateway, Inc. Graphical user interface for control of a home entertainment system
JP2861890B2 (ja) * 1995-09-28 1999-02-24 日本電気株式会社 カラー画像表示装置
US5822523A (en) 1996-02-01 1998-10-13 Mpath Interactive, Inc. Server-group messaging system for interactive applications
US5883670A (en) * 1996-08-02 1999-03-16 Avid Technology, Inc. Motion video processing circuit for capture playback and manipulation of digital motion video information on a computer
US5867598A (en) * 1996-09-26 1999-02-02 Xerox Corporation Method and apparatus for processing of a JPEG compressed image
US5751865A (en) * 1996-09-26 1998-05-12 Xerox Corporation Method and apparatus for image rotation with reduced memory using JPEG compression
US5854857A (en) * 1996-09-26 1998-12-29 Xerox Corporation Using encoding cost data for segmentation and background suppression in JPEG-compressed images
US5838831A (en) * 1996-09-26 1998-11-17 Xerox Corporation Compression of image data with retaining cost data for each compressed image block
US6028586A (en) * 1997-03-18 2000-02-22 Ati Technologies, Inc. Method and apparatus for detecting image update rate differences
DE19717453C2 (de) * 1997-04-25 2001-08-30 Rohde & Schwarz Verfahren zum Einblenden eines neuen Bildabschnittes an einer vorbestimmten Stelle eines datenreduzierten Video-Datenstromes
US6105083A (en) * 1997-06-20 2000-08-15 Avid Technology, Inc. Apparatus and method for controlling transfer of data between and processing of data by interconnected data processing elements
US6317795B1 (en) 1997-07-22 2001-11-13 International Business Machines Corporation Dynamic modification of multimedia content
JPH11231849A (ja) * 1997-11-04 1999-08-27 Matsushita Electric Ind Co Ltd 画像合成装置
US6049390A (en) * 1997-11-05 2000-04-11 Barco Graphics Nv Compressed merging of raster images for high speed digital printing
JP3662129B2 (ja) * 1997-11-11 2005-06-22 松下電器産業株式会社 マルチメディア情報編集装置
EP1169860A1 (de) * 1999-04-06 2002-01-09 Satellite Advanced technologies Inc. Digitales lokales netzwerkvideosystem
US7145704B1 (en) 2003-11-25 2006-12-05 Cheetah Omni, Llc Optical logic gate based optical router
US7209657B1 (en) 2001-12-03 2007-04-24 Cheetah Omni, Llc Optical routing using a star switching fabric
US7110671B1 (en) 2001-12-03 2006-09-19 Cheetah Omni, Llc Method and apparatus for scheduling communication using a star switching fabric
US7034975B1 (en) 2001-12-03 2006-04-25 Cheetah Onmi, Llc High speed MEMS device
US7260655B1 (en) 2001-12-03 2007-08-21 Cheetah Omni, Llc Optical routing using star switching fabric with reduced effective switching time
US8074248B2 (en) 2005-07-26 2011-12-06 Activevideo Networks, Inc. System and method for providing video content associated with a source image to a television in a communication network
US7324922B2 (en) * 2005-10-26 2008-01-29 International Business Machines Corporation Run-time performance verification system
JP2007193159A (ja) * 2006-01-20 2007-08-02 Fujitsu Ltd 画像表示制御装置および画像表示制御方法
AT503668B1 (de) * 2006-06-21 2007-12-15 H P R Electronics Gmbh Entwick Verfahren und vorrichtung zur darstellung von signalen auf einer anzeigevorrichtung
EP3145200A1 (de) 2007-01-12 2017-03-22 ActiveVideo Networks, Inc. Mpeg-objekte und systeme und verfahren zur verwendung von mpeg-objekten
US9826197B2 (en) 2007-01-12 2017-11-21 Activevideo Networks, Inc. Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device
JP4831349B2 (ja) * 2007-01-23 2011-12-07 富士ゼロックス株式会社 画像処理装置、画像形成装置、画像形成システム、及びプログラム
JP5866125B2 (ja) 2010-10-14 2016-02-17 アクティブビデオ ネットワークス, インコーポレイテッド ケーブルテレビシステムを使用したビデオ装置間のデジタルビデオストリーミング
EP2695388B1 (de) 2011-04-07 2017-06-07 ActiveVideo Networks, Inc. Latenzreduktion in videoverteilungsnetzwerken mit adaptiver bitrate
KR101910110B1 (ko) * 2011-09-26 2018-12-31 삼성디스플레이 주식회사 표시 장치 및 그 구동 방법
EP2815582B1 (de) 2012-01-09 2019-09-04 ActiveVideo Networks, Inc. Wiedergabe einer interaktiven vereinfachten benutzerschnittstelle auf einem fernsehgerät
US9800945B2 (en) 2012-04-03 2017-10-24 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
US9123084B2 (en) 2012-04-12 2015-09-01 Activevideo Networks, Inc. Graphical application integration with MPEG objects
WO2014145921A1 (en) 2013-03-15 2014-09-18 Activevideo Networks, Inc. A multiple-mode system and method for providing user selectable video content
EP3005712A1 (de) 2013-06-06 2016-04-13 ActiveVideo Networks, Inc. Überlagerte darstellung einer benutzerschnittstelle auf quellvideoinhalten
US9294785B2 (en) 2013-06-06 2016-03-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
US9219922B2 (en) 2013-06-06 2015-12-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
US9788029B2 (en) 2014-04-25 2017-10-10 Activevideo Networks, Inc. Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60109381A (ja) * 1983-11-18 1985-06-14 Hitachi Ltd 画像の符号化方式
FR2582132B1 (fr) * 1985-05-15 1987-07-17 O Donnell Ciaran Circuit de memoire d'image virtuelle permettant le multifenetrage
US4920426A (en) * 1986-11-10 1990-04-24 Kokusai Denshin Denwa Co., Ltd. Image coding system coding digital image signals by forming a histogram of a coefficient signal sequence to estimate an amount of information
JPH031662A (ja) * 1989-05-30 1991-01-08 Fuji Photo Film Co Ltd 画像信号圧縮符号化装置

Also Published As

Publication number Publication date
JP2521010B2 (ja) 1996-07-31
SG44412A1 (en) 1997-12-19
EP0534139A2 (de) 1993-03-31
DE69216339D1 (de) 1997-02-13
US5257113A (en) 1993-10-26
EP0534139A3 (de) 1995-02-15
EP0534139B1 (de) 1997-01-02
JPH05241553A (ja) 1993-09-21

Similar Documents

Publication Publication Date Title
DE69216339T2 (de) Neue Video-Misch-Technik mit JPEG-komprimierten Daten
DE69021148T2 (de) Verfahren und vorrichtung zum komprimieren von information für eine vereinbarte dekodierung einer fernsehsignalfamilie mit steigender auflösung.
DE68914045T2 (de) Verfahren zur Kodierung von Hilfsdaten für die Rekonstruktion eines unterabgetasteten, elektronischen Bildes.
DE68923532T2 (de) Digitaler Videobandrecorder, geeignet zur Bildwiedergabe mit hoher Geschwindigkeit.
DE69917971T2 (de) Verfahren und Vorrichtung zur Verarbeitung von komprimierten Videodatenströmen
DE68922610T2 (de) Umfassendes System zur Codierung und Übertragung von Videosignalen mit Bewegungsvektoren.
DE69926469T2 (de) Filterung von Bilddaten bei der Verarbeitung zusammengesetzter Dokumente
DE19739266B4 (de) Verfahren und Vorrichtung zum Kodieren binärer Formen
DE69836890T2 (de) System zur Kodierung und Aufzeichnung einer Vielzahl von Bildern
DE19709391A1 (de) MPEG-Codier- und Decodiersystem für Multimediaanwendungen
DE19756210A1 (de) Verfahren und Vorrichtung zum Decodieren eines codierten MPEG-Videodatenstroms
DE69630297T2 (de) Weiterentwickeltes fernsehsystem
DE69915843T2 (de) Teilbandkodierung/-dekodierung
DE3874478T2 (de) Uebertragungssystem fuer bild und ton.
EP1472888B1 (de) Kontextsensitive kodierung und dekodierung eines videodatenstroms
DE19919412B4 (de) Decoder für einen digitalen Fernsehempfänger
DE69918980T2 (de) Videokompression mit speicherreduktion, farbrotation und kombinierter signal- und blockrandfilterung
DE3686505T2 (de) Verfahren und system zur zerlegung von ntsc-farbvideosignalen.
DE60119660T2 (de) Verfahren zur Verarbeitung von Videodateien
DE2460654A1 (de) Verfahren und einrichtung zum codieren eines gegebenen informationssignals
DE68908254T2 (de) Fernsehübertragungssystem mit differentieller Kodierung von Transformationskoeffizienten.
EP0336510B1 (de) Prädiktiver Standbildcodierer
EP0442096A2 (de) Einrichtung zur bandbreitenreduzierenden Codierung von Videosignalen
DE3828908A1 (de) Bilduebertragungssystem
DE3726601C2 (de)

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8320 Willingness to grant licences declared (paragraph 23)
8328 Change in the person/name/address of the agent

Representative=s name: DUSCHER, R., DIPL.-PHYS. DR.RER.NAT., PAT.-ANW., 7