DE4432436C2 - Datenkompressionsverfahren und Vorrichtung zum Komprimieren von Daten - Google Patents

Description

Die vorliegende Erfindung bezieht sich auf Verfahren zum Komprimieren von Daten sowie entsprechende Vorrichtungen hierzu, wobei es sich bei den zu komprimierenden Daten um analoge und digitale Sprach- und Bilddaten sowie um Daten, die von Computern bereitgestellt werden, handeln kann.

Datenkompressionsverfahren werden zur Beseitigung bzw. zur Ver­ ringerung von Redundanzen in zu übertragenden oder abzuspei­ chernden Datenströmen eingesetzt, um die Datenströme dann mit geringerem Speicherplatzbedarf abspeichern zu können bzw. sie mit geringeren Bandbreiten oder mit höherer Geschwindigkeit übertragen zu können.

Bekannte und derzeit angewendete Kompressionsverfahren zur Übertragung von Daten auf Daten- und Telefonleitungen basieren üblicherweise auf dem sogenannten LZW (Lempel-Ziv-Welch)-Algo­ rithmus oder auf dem sogenannten Huffman-Algorithmus, welcher insbesondere bei der Faksimileübertragung angewandt wird.

Der LZW-Algorithmus beruht vereinfacht ausgedrückt darauf, daß ein zu übertragender Datenstrom auf das Vorhandensein von darin enthaltenden elementaren Datengruppen untersucht wird und den aufgefundenen Datengruppen ein Platz in einem die einzelnen Datengruppen repräsentierenden Baum zugeordnet wird.

Durch entsprechende Vereinbarung mit der Empfängerseite können die aufgefundenen Datengruppen dann statt mit ihrem eigentli­ chen Informationsgehalt mittels Codes, die ihre Position inner­ halb des Baums repräsentieren, übertragen werden, wodurch sich, insbesondere bei Datenströmen mit sich ständig wiederholenden Mustern, gute Kompressionsergebnisse erzielen lassen.

Da der Speicherplatz für das Lernen von in dem Datenstrom vor­ kommenden elementaren Datengruppen begrenzt ist, d. h. die Ver­ ästelung des Baumes einen vorbestimmten Grad nicht überschrei­ ten kann, ist es erforderlich, den "gelernten Baum" von Zeit zu Zeit zu erneuern, um sich auf eine Veränderung in der Struktur der zu übertragenden Daten gegenüber der Struktur, wie sie beim Erlernen vorlag, einzustellen bzw. zu adaptieren.

Beim Erlernen eines neuen "Baumes" gehen somit auch die gelern­ ten strukturellen Zusammenhänge verloren, die unter Umständen auch für die neuen Daten Gültigkeit besitzen. Bis zum Aufbau des neuen Baumes werden die Daten zumindest vorübergehend mit geringerer Effizienz komprimiert, was insgesamt zu einer Abnahme des erzielbaren Kompressionsfaktors führt.

Diese verringerte Kompressionseffizienz wirkt sich insbesondere bei synchronen Systemen nachteilig aus, da hier eine Übertra­ gung nur innerhalb vorbestimmter Zeitschlitze erfolgen kann, so daß eine Verringerung der erzielbaren Kompression, anders als bei asynchronen Systemen, unter Umständen zu einem überpropor­ tionalen Anstieg der für die Übertragung benötigten Zeit führt.

Aus EP-A-0 286 719 ist bekannt, einen Datenstrom dadurch zu komprimieren, daß die einzelnen darin vorkommenden Wörter mit Einträgen in einem Wörterbuch verglichen und bei Übereinstim­ mung durch einen entsprechenden Code ersetzt werden. Die Ein­ träge in dem Wörterbuch sind dabei dem entsprechenden Textin­ halt angepaßt.

Aus EP-A-0 462 363 ist bekannt, zu komprimierende Daten darauf­ hin zu überprüfen, ob identische Daten bereits verarbeitet wur­ den, in welchem Fall die neu zu verarbeitenden Daten durch einen Pointer ersetzt werden, der auf die identischen, bereits verarbeiteten Datenabschnitte hinweist.

Aus EP-A-568 305 ist eine modifizierte Ziv-Lempel-Codiertechnik bekannt. Diese Codiertechnik baut im wesentlichen auf der her­ kömmlichen Ziv-Lempel-Codiertechnik auf, d. h. es werden Pointer erzeugt, die auf vorangegangene Datengruppen zeigen, und es wird ein entsprechendes Fenster festgelegt, das die Anzahl der zu berücksichtigenden Daten bestimmt. Weiterhin ist vorgeschla­ gen, die über die Ziv-Lempel-Codiertechnik vorkomprimierten Da­ ten einem Code zuzuführen, welcher die vorkomprimierten Daten über einer VLZ (variable length coding)-Codierung codiert.

Aus der EP-A-582 907 ist bekannt, einen Datenkompressionsalgo­ rithmus mit einem "sliding window" mit einer Huffman-Codierung zu kombinieren, wobei neu codierte Daten mit bereits codierten Daten verglichen werden.

Die Aufgabe der vorliegenden Erfindung besteht darin, Verfahren zur effizienteren Komprimierung von Daten sowie geeignete Vor­ richtungen hierfür anzugeben.

Diese Aufgabe wird in erfindungsgemäßer Weise durch die Gegen­ stände der Patentansprüche 1, 2, 5 sowie 18 gelöst.

Bevorzugte Ausführungsformen sind Gegenstand der Unteran­ sprüche.

Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, daß bisher übliche Kompressionsverfahren deshalb nicht effizient arbeiten, weil sie im wesentlichen nur kurzzei­ tige Variationen in den Datenströmen mittels der verwendeten Kompressionsalgorithmen erfassen und für die Kompression be­ rücksichtigen. Beispielsweise ist es bei der Verwendung eines LZW-Algorithmus in synchroner Umgebung üblich, lediglich die Variationen innerhalb eines Datenblocks (Frames) für die Kom­ pression zu berücksichtigen. Grundlegende Wiederholungen und Strukturen innerhalb einer bestimmten Datanart werden für die Kompression somit nicht in ausreichender Weise berücksichtigt.

Gemäß der vorliegenden Erfindung erfolgt die Kompression daher in zwei Stufen:
einer ersten Stufe, in der die über einen längeren Zeitraum ge­ lernten Strukturen, Zusammenhänge oder Muster, die innerhalb einer bestimmten Datenart auftreten, für das Komprimieren eines momentan anstehenden Datenstroms berücksichtigt werden, und
einer zweiten Stufe, in der kurzzeitige Variationen des zu kom­ primierenden Datenstroms berücksichtigt werden, wie dies bei­ spielsweise bei dem obenerwähnten LZW-Algorithmus der Fall ist.

Das erwähnte Verfahren ist insbesondere deshalb vorteilhaft, da die Kompression in der zweiten Stufe, die, wie erwähnt, durch herkömmliche Kompressionsverfahren verwirklicht sein kann, in ihrer Effizienz verbessert wird, da sie als Eingangsdaten vor­ komprimierte Daten erhält, die aus Datengruppen mit kleinen Eingangslängen bestehen in bezug auf die, beispielsweise der LZW-Algortihmus, in effizienterer Weise arbeiten kann, d. h. nä­ her an seinen theoretisch realisierbaren optimalen Komprimierungsfähigkeiten.

Für die Komprimierung innerhalb der ersten Stufe, d. h. der Vor­ komprimierung, werden vorzugsweise Häufigkeitsverteilungen von elementaren Datengruppen innerhalb des zu komprimierenden Da­ tenstroms berücksichtigt, wie sie über einen längeren Zeitraum für die entsprechende Datenart ermittelt wurden. Die dabei er­ mittelten elementaren Datengruppen, die selbst über lange Zeit­ räume ständig wiederkehren, beispielsweise bestimmte Sprach­ muster, bestimmte Zahlenkombinationen oder bestimmte Bildab­ schnitte, werden vorzugsweise ihrer Häufigkeit nach geordnet, so daß die am häufigsten vorkommenden Datengruppen durch ent­ sprechend kurze Codes und weniger häufig vorkommende Datengrup­ pen, aber noch in der Vorkomprimierung berücksichtigte Daten­ gruppen, durch entsprechend längere Codes repräsentiert werden.

Gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung beruht das erste Kompressionsver­ fahren darauf, daß für einen zu komprimierenden Datenstrom über einen längeren Zeitraum sich häufig wiederho­ lende elementare Datengruppen "gelernt" und in einem Speicher abgelegt werden. Der momentan zu komprimierende Datenstrom wird auf das Vorhandensein dieser gelernten elementaren Datengruppen untersucht und entsprechend gelernte Datengruppen werden an­ schließend durch Codes ersetzt, die die Position der gelernten Datengruppen innerhalb des Speichers bzw. innerhalb einer Ta­ belle repräsentieren, so daß der so komprimierte Datenstrom beim Abrufen aus einem Speicher bzw. auf der Empfängerseite durch Nachschlagen in der Tabelle wieder dekomprimiert werden kann.

Die verwendeten Codes entsprechen dabei vorzugsweise den Adres­ sen der gelernten und ersetzten Datengruppen innerhalb der Ta­ belle, wobei diese Adreßvereinbarung auch dahingehend erfolgen kann, daß nur Adreßdifferenzen zwischen jeweils zwei aufeinan­ derfolgenden ersetzten Datengruppen für die Codierung verwendet werden.

Weitere Aspekte der vorliegenden Erfindung betreffen Daten­ komprimierungsvorrichtungen bzw. Übertragungsvorrichtungen, die entsprechend den obigen Verfahren eine Datenkomprimierung erzielen.

Im folgenden werden bevorzugte Ausführungsformen der vorlie­ genden Erfindung unter Bezugnahme auf die beiliegende Zeich­ nung näher erläutert.

Dabei zeigt die Zeichnung ein Blockschaltbild zur Erläuterung von bevorzugten Ausführungsformen der erfindungsgemäßen Verfah­ ren sowie der erfindungsgemäßen Vorrichtungen.

Die Figur zeigt eine gestrichelt umrandete Funktionsgruppe 1, die zur Komprimierung von analogen oder digitalen Sprach- bzw. Bilddaten oder zur Komprimierung von Daten, die von Computern bereitgestellt werden, dient.

Eine zweite gestrichelt umrandete Funktionsgruppe 2 dient zur weiteren Komprimierung der von der ersten Stufe gelieferten vorkomprimierten Daten.

Mit der Bezugsziffer 3 ist eine Übertragungsvorrichtung zum Übertragen komprimierter Daten bezeichnet, wobei diese Über­ tragungsgruppe die beiden Kompressionsstufen 1 und 2 mit um­ faßt.

Ausdrücklich sei darauf hingewiesen, daß sich die vorliegende Erfindung auch auf jede der genannten Funktionsgruppen allein sowie sowohl auf ein Kompressionsverfahren, wie es anhand der Funktionsgruppe 1 beschrieben wird, als auch auf ein Kompres­ sionsverfahren, wie es anhand der Funktionsgruppen 1 und 2 be­ schrieben wird, unabhängig voneinander bezieht.

Die zugeführten Sprach-, Bild- oder Computerdaten werden einer Datenanalyseeinrichtung 4 zugeführt, in der einzelne sich wie­ derholende elementare Datengruppen erkannt werden können. Eine bestimmte Anzahl von unterschiedlichen, am häufigsten wieder­ kehrenden Datengruppen wird in der Speichereinrichtung 5 abge­ speichert. Vorzugsweise werden die am häufigsten vorkommenden Datengruppen innerhalb einer Tabelle in der Reihenfolge ihrer Häufigkeiten abgespeichert. Das Lernen dieser häufigsten Daten­ gruppen kann an dem aktuell zu komprimierenden Datenstrom oder an einem vorher analysierten Datenstrom mit ähnlichen Charakte­ ristiken erfolgen.

Der aktuelle zu komprimierende Datenstrom durchläuft ebenfalls die Datenanalyseeinrichtung 4, um dadurch bereits gelernte Da­ tengruppen innerhalb des Datenstroms zu erkennen und diese ent­ sprechenden Datengruppen in der ersten Kompressionsstufe 6 durch Codes ersetzen zu können.

Vorzugsweise werden die Adressen der in dem Speicher 5 gespei­ cherten häufigsten Datengruppen als Codes verwendet, so daß ein entsprechend komprimierter Datenstrom später unter Zuhilfenahme der bekannten Zuordnung zwischen Adressen und gespeicherten elementaren Datengruppen eine Dekomprimierung des Datenstroms gestattet.

Vorzugsweise werden als Codes die Differenzen zwischen den Adressen von jeweils zwei aufeinanderfolgenden ersetzten Datengruppen verwendet. Somit wird keine absolute Adreßzuord­ nung, sondern eine relative Adreßzuordnung vorgenommen. Dies führt in der Regel zu der Möglichkeit, kürzere Codes, d. h. Codes mit geringeren Bitanzahlen verwenden zu können.

Darüber hinaus können die vorher gelernten und in dem Speicher 5 abgespeicherten bekannten Datengruppen ihrer Häufigkeit nach geordnet sein, so daß häufigen Datengruppen kürzere Adressen zugewiesen werden als weniger häufigen Datengruppen.

In Tests hat sich beispielsweise gezeigt, daß bei Daten, die bei Transaktionen zwischen Banken übertragen werden, nur etwa 4000 unterschiedliche Datengruppen auftreten. Bei einer derart geringen Anzahl unterschiedlicher Datengruppen ist es sogar möglich, alle vorkommenden Datengruppen zu codieren, wodurch sich eine besonders hohe Kompression der Daten ergibt.

Die komprimierten Daten können in einem Speicher abgelegt wer­ den, wodurch sich eine erhebliche Reduzierung des notwendigen Speicherplatzes gegenüber der Abspeicherung in nicht-kompri­ mierter Form ergibt. Auch können die Daten an einen Empfänger übertragen werden, wodurch sich die für die Übertragung not­ wendige Bandbreite verringert bzw. die erzielbare Übertragungs­ geschwindigkeit erhöht. Nach Auslesen der Daten aus dem Speicher bzw. auf der Empfängerseite können die komprimierten Daten dann unter Zuhilfenahme des bekannten Zuordnungsschemas zwischen Codes und gelernten häufigsten Datengruppen dekompri­ miert werden. Dem Empfänger muß dazu die entsprechende Zuord­ nungstabelle selbstverständlich bekannt sein, was zu Beginn der Übertragung erfolgen kann oder auch nur sporadisch dann erfolgen kann, wenn sich die zu übertragenden Daten in ihrer Struktur und ihren Charakteristiken gegenüber dem Zeitpunkt des Lernens tatsächlich erheblich verändert haben.

Vorzugsweise erfolgt im Anschluß an die erste Kompressions­ stufe eine weitere Kompression, wobei diese Kompression auf bekannten Kompressionsmethoden, beispielsweise dem LZW-Algo­ rithmus oder dem Huffman-Algorithmus, aufbauen kann. In dieser weiteren Kompressionsstufe, die insgesamt durch den Funktions­ block 2 gebildet wird, kann eine Kompression erfolgen, bei der kurzzeitigere Variationen in den zu komprimierenden Daten berücksichtigt werden. Beispielsweise werden im Falle, daß diese Stufe eine Kompression entsprechend dem LZW-Algorith­ mus ausführt und in synchroner Umgebung arbeitet, nur die innerhalb eines Frames erkennbaren Muster bzw. Charakteristiken berücksichtigt.

Auch bei dieser weiteren Kompressionsstufe erfolgt zunächst eine Analyse der zu komprimierenden Daten in einer Daten­ analyseeinrichtung 7. In einem weiteren Speicher 8 werden wiederum gelernte Datengruppen abgespeichert, wobei dies im Falle der Verwendung eines LZW-Algorithmus die Struktur des erlernten Baumes ist. In der Einheit 9 erfolgt dann die eigentliche Kompression, aufbauend auf dem von den Einheiten 7 und 8 gelieferten Ergebnissen.

Wie eingangs erwähnt, werden bei Verwendung des LZW-Algorithmus die im zweiten Speicher abgespeicherten gelernten Daten von Zeit zu Zeit verworfen, um eine Adaption an die derzeit tat­ sächlich zu komprimierenden Daten zu erreichen. Dadurch, daß die Kompressionsstufe 2 von der Stufe 1 bereits vorkomprimierte Daten erhält, ist die Stufe 2 in der Lage, mit höherer Effizienz zu arbeiten, als dies der Fall wäre, wenn die Ein­ gangsdaten in unkomprimierter Form dieser zweiten Stufe zuge­ führt werden würden.

Sowohl die Funktionsgruppe 1 als auch die Funktionsgruppe 2 kann insgesamt in einer Übertragungsvorrichtung 3 enthalten sein, wobei dieser Übertragungsvorrichtung dann zusätzlich noch eine Übertragungseinrichtung 10 enthält, mit der die kompri­ mierten Daten an einen Empfänger übertragen werden können. Die Übertragungseinrichtung 10 kann dabei eine aus der Modemtechnik bekannte Einrichtung sein.

Claims (22)

1. Vorrichtung zum elektrischen Komprimieren von Daten mit:
einer ersten Kompressionseinrichtung zum Komprimieren eines mo­ mentanen Datenstroms durch Komprimieren von in dem Datenstrom enthaltenen Datengruppen, die aus einem Ähnlichkeiten mit dem momentanen Datenstrom aufweisenden früheren Datenstrom bekannt sind, und
einer zweiten Kompressionseinrichtung zum Komprimieren des vor­ komprimierten momentanen Datenstrom mittels eines die Wiederho­ lungen in dem vorkomprimierten momentanen Datenstrom ausnutzen­ den Kompressionsverfahrens.

2. Verfahren zum Komprimieren von Daten mittels elektrischer Einrichtungen mit folgenden Schritten:
erstes Komprimieren eines momentanen Datenstroms durch Kompri­ mieren von in dem Datenstrom enthaltenen Datengruppen, die aus einem Ähnlichkeiten mit dem momentanen Datenstrom aufweisenden früheren Datenstrom bekannt sind, um einen vorkomprimierten Da­ tenstrom zu erzeugen, und
zweites Komprimieren des vorkomprimierten momentanen Daten­ stroms mittels eines die Wiederholungen in dem vorkomprimierten momentanen Datenstrom ausnutzenden Kompressionsverfahrens.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß das erste Komprimieren entsprechend einem Verfahren nach einem der Ansprüche 5 bis 10 erfolgt.

4. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß das zweite Komprimieren auf dem LZW-Standard oder auf einem Kom­ pressionsverfahren beruht, wie es üblicherweise zur Faksimile­ übertragung eingesetzt wird.

5. Verfahren zum Komprimieren von Daten mittels elektrischer Einrichtungen mit folgenden Schritten:
Analysieren eines für die zu komprimierenden Daten repräsenta­ tiven Datenstroms über eine vorbestimmte Zeitperiode zum Erken­ nen von sich innerhalb des Datenstroms wiederholenden Daten­ gruppen,
Bestimmen einer bestimmten Anzahl unterschiedlicher Datengrup­ pen, welche innerhalb der vorbestimmten Zeitperiode am häufig­ sten auftreten,
Abspeichern der bestimmten unterschiedlichen Datengruppen in einer Tabelle,
Analysieren eines zu komprimierenden Datenstroms auf das Vor­ handensein von Datengruppen, die in der Tabelle enthalten sind,
Ersetzen der in dem zu komprimierenden Datenstrom gefundenen Datengruppen durch Codes, anhand derer die Position jeder zu ersetzenden Datengruppe innerhalb der Tabelle erkannt werden kann, um ein erstes Komprimieren zu erreichen, und
zweites Komprimieren des durch das erste Komprimieren bereits vorkomprimierten Datenstroms in einer zweiten Stufe mittels ei­ nes weiteren Kompressionsverfahrens.

6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, daß die zugewiesenen Codes den Adressen der entsprechenden Datengruppen in der Tabelle entsprechen.

7. Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, daß ein zugewiesener Code jeweils die Adressendifferenz zwi­ schen der Adressen der zuletzt codierten Datengruppe in der Tabelle und der Adresse der momentan codierten Datengruppen in der Tabelle repräsentiert.

8. Verfahren nach einem der Ansprüche 5 bis 7, dadurch gekenn­ zeichnet, daß die Datengruppen in der Tabelle in Reihenfolge ihrer Häufigkeiten geordnet sind.

9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, daß den Datengruppen mit den größten Häufigkeiten die kürzesten Codes zugeordnet sind.

10. Verfahren nach einem der Ansprüche 5 bis 9, dadurch gekenn­ zeichnet, daß die Tabelle durch Wiederholen der zu ihrer Erzeu­ gung notwendigen Schritte in vorbestimmten zeitlichen Abschnit­ ten im Hinblick auf die zu komprimierenden Daten aktualisiert wird.

11. Verfahren nach Anspruch 5, dadurch gekennzeichnet, daß das zweite Komprimieren auf dem LZW-Standard beruht.

12. Verfahren nach Anspruch 5, dadurch gekennzeichnet, daß das zweite Komprimierverfahren ein Kompressionsverfahren ist, wie es üblicherweise bei der Faksimileübertragung eingesetzt wird.

13. Verfahren nach einem der Ansprüche 5 bis 12, dadurch ge­ kennzeichnet, daß der komprimierte Datenstrom zu einem Empfän­ ger übertragen wird.

14. Verfahren nach einem der Ansprüche 5 bis 13, dadurch ge­ kennzeichnet, daß der komprimierte Datenstrom abgespeichert wird.

15. Verfahren nach Anspruch 13, dadurch gekennzeichnet, daß dem Empfänger die Tabelle mit den häufigsten Datengruppen sowie die vereinbarte Codierung mitgeteilt wird.

16. Verfahren nach Anspruch 15, dadurch gekennzeichnet, daß der Empfänger den Datenstrom mittels der Tabelle dekomprimiert.

17. Verfahren nach Anspruch 13, dadurch gekennzeichnet, daß die Übertragung synchron erfolgt.

18. Datenübertragungsvorrichtung mit:
einer Einrichtung (4) zum Analysieren der Art der zu übertra­ genden Daten und Erkennen sich darin wiederholender elementarer Datengruppen;
einer Einrichtung (4) zum Bestimmen derjenigen die während einer vorbestimmten Zeitperiode am häufigsten auftreten;
einer Einrichtung (5) zum Speichern der bestimmten häufigsten Datengruppen in einer Tabelle;
einer Einrichtung (4) zum Analysieren eines zu übertragenden Datenstroms auf das Vorhandensein von Datengruppen, die in der Tabelle gespeichert sind;
einer Einrichtung (6) zum Erzeugen eines vorkomprimierten Da­ tenstroms, in der die erkannten Datengruppen durch Codes er­ setzt werden, anhand derer die Positionen der entsprechenden ersetzten Datengruppen innerhalb der Tabelle erkannt werden können;
einer Einrichtung (7, 8, 9) zum zusätzlichen Komprimieren des vorkomprimierten Datenstroms, und
einer Einrichtung (10) zum Übertragen des komprimierten Daten­ stroms an einen Empfänger.

19. Datenübertragungsvorrichtung nach Anspruch 18, dadurch ge­ kennzeichnet, daß eine Einrichtung vorgesehen ist, mittels der die erzeugte Tabelle an den Empfänger übertragen werden kann.

20. Datenübertragungsvorrichtung nach Anspruch 18 oder 19, da­ durch gekennzeichnet, daß die Einrichtung zum Übertragen syn­ chron arbeitet.

21. Datenübertragungsvorrichtung nach einem der Ansprüche 18 bis 20, dadurch gekennzeichnet, daß die Einrichtung zum zusätz­ lichen Komprimieren eine Kompression, basierend auf dem LZW- Standard, durchführt.

22. Datenübertragungsvorrichtung nach einem der Ansprüche 18 bis 20, dadurch gekennzeichnet, daß die Einrichtung zum zusätz­ lichen Komprimieren eine Kompression ausführt, wie sie übli­ cherweise bei der Faksimileübertragung angewendet wird.