DE4432436A1 - Datenkompressionsverfahren und Vorrichtung zum Komprimieren von Daten - Google Patents

Description

Die vorliegende Erfindung bezieht sich auf Verfahren zum Komprimieren von Daten sowie entsprechende Vorrichtungen hierzu, wobei es sich bei den zu komprimierenden Daten um analoge und digitale Sprach- und Bilddaten sowie um Daten, die vom Computern bereitgestellt werden, handeln kann.

Datenkompressionsverfahren werden zur Beseitigung bzw. zur Ver­ ringerung von Redundanzen in zu übertragenden oder abzuspei­ chernden Datenströmen eingesetzt, um die Datenströme dann mit geringerem Speicherplatzbedarf abspeichern zu können bzw. sie mit geringeren Bandbreiten oder mit höherer Geschwindigkeit übertragen zu können.

Bekannte und derzeit angewendete Kompressionsverfahren zur Übertragung von Daten auf Daten- und Telefonleitungen basieren üblicherweise auf dem sogenannten LZW (Lempel, Ziv Welch)-Algo­ rithmus oder auf dem sogenannten Huffman-Algorithmus, welcher insbesondere bei der Faksimileübertragung angewandt wird.

Der LZW-Algorithmus beruht vereinfacht ausgedrückt darauf, daß ein zu übertragender Datenstrom auf das Vorhandensein von darin enthaltenden elementaren Datengruppen untersucht wird und den aufgefundenen Datengruppen ein Platz in einem die einzelnen Datengruppen repräsentierenden Baum zugeordnet wird.

Durch entsprechende Vereinbarung mit der Empfängerseite können die aufgefundenen Datengruppen dann statt mit ihrem eigentli­ chen Informationsgehalt mittels Codes, die ihre Position inner­ halb des Baums repräsentieren, übertragen werden, wodurch sich, insbesondere bei Datenströmen mit sich ständig wiederholenden Mustern, gute Kompressionsergebnisse erzielen lassen.

Da der Speicherplatz für das Lernen von in dem Datenstrom vor­ kommenden elementaren Datengruppen begrenzt ist, d. h. die Ver­ ästelung des Baumes einen vorbestimmten Grad nicht überschrei­ ten kann, ist es erforderlich, den "gelernten Baum" von Zeit zu Zeit zu erneuern, um sich auf eine Veränderung in der Struktur der zu übertragenden Daten gegenüber der Struktur, wie sie beim Erlernen vorlag, einzustellen bzw. zu adaptieren.

Beim Erlernen eines neuen "Baumes" gehen somit auch die gelern­ ten strukturellen Zusammenhänge verloren, die unter Umständen auch für die neuen Daten Gültigkeit besitzen. Bis zum Aufbau des neuen Baumes werden die Daten zumindest vorübergehend mit geringerer Effizienz komprimiert, was insgesamt zu einer Abnahme des erzielbaren Kompressionsfaktors führt.

Diese verringerte Kompressionseffizienz wirkt sich insbesondere bei synchronen Systemen nachteilig aus, da hier eine Übertra­ gung nur innerhalb vorbestimmter Zeitschlitze erfolgen kann, so daß eine Verringerung der erzielbaren Kompression, anders als bei asynchronen Systemen, unter Umständen zu einem überpropor­ tionalen Anstieg der für die Übertragung benötigten Zeit führt.

Die Aufgabe der vorliegenden Erfindung besteht darin, Verfahren zur effizienteren Komprimierung von Daten sowie geeignete Vor­ richtungen hierfür anzugeben.

Diese Aufgabe wird in erfindungsgemäßer Weise durch die Gegen­ stände der Patentansprüche 1, 5, 20 sowie 23 gelöst.

Bevorzugte Ausführungsformen sind Gegenstand der Unteran­ sprüche.

Einem Aspekt der vorliegenden Erfindung liegt die Erkenntnis zugrunde, daß bisher übliche Kompressionsverfahren deshalb nicht effizient arbeiten, weil sie im wesentlichen nur kurzzei­ tige Variationen in den Datenströmen mittels der verwendeten Kompressionsalgorithmen erfassen und für die Kompression be­ rücksichtigen. Beispielsweise ist es bei der Verwendung eines LZW-Algorithmus in synchroner Umgebung üblich, lediglich die Variationen innerhalb eines Datenblocks (Frames) für die Kom­ pression zu berücksichtigen. Grundlegende Wiederholungen und Strukturen innerhalb einer bestimmten Datanart werden für die Kompression somit nicht in ausreichender Weise berücksichtigt.

Gemäß dem erwähnten ersten Aspekt der vorliegenden Erfindung erfolgt die Kompression daher in zwei Stufen:
einer ersten Stufe, in der die über einen längeren Zeitraum ge­ lernten Strukturen, Zusammenhänge oder Muster, die innerhalb einer bestimmten Datenart auftreten, für das Komprimieren eines momentan anstehenden Datenstroms berücksichtigt werden, und
einer zweiten Stufe, in der kurzzeitige Variationen des zu kom­ primierenden Datenstroms berücksichtigt werden, wie dies bei­ spielsweise bei dem obenerwähnten LZW-Algorithmus der Fall ist.

Das erwähnte Verfahren ist insbesondere deshalb vorteilhaft, da die Kompression in der zweiten Stufe, die, wie erwähnt, durch herkömmliche Kompressionsverfahren verwirklicht sein kann, in ihrer Effizienz verbessert wird, da sie als Eingangsdaten vor­ komprimierte Daten erhält, die aus Datengruppen mit kleinen Eingangslängen bestehen in bezug auf die, beispielsweise der LZW-Algorithmus, in effizienterer Weise arbeiten kann, d. h. nä­ her an seinen theoretisch realisierbaren optimalen Komprimierungsfähigkeiten.

Für die Komprimierung innerhalb der ersten Stufe, d. h. der Vor­ komprimierung, werden vorzugsweise Häufigkeitsverteilungen von elementaren Datengruppen innerhalb des zu komprimierenden Da­ tenstroms berücksichtigt, wie sie über einen längeren Zeitraum für die entsprechende Datenart ermittelt wurden. Die dabei er­ mittelten elementaren Datengruppen, die selbst über lange Zeit­ räume ständig wiederkehren, beispielsweise bestimmte Sprach­ muster, bestimmte Zahlenkombinationen oder bestimmte Bildab­ schnitte, werden vorzugsweise ihrer Häufigkeit nach geordnet, so daß die am häufigsten vorkommenden Datengruppen durch ent­ sprechend kurze Codes und weniger häufig vorkommende Datengrup­ pen, aber noch in der Vorkomprimierung berücksichtigte Daten­ gruppen, durch entsprechend längere Codes repräsentiert werden.

Ein weiterer Aspekt der vorliegenden Erfindung gemäß Patentan­ spruch 1 betrifft ein einstufig ausführbares Kompressionsver­ fahren, welches darauf beruht, daß für einen zu komprimierenden Datenstrom über einen längeren Zeitraum sich häufig wiederho­ lende elementare Datengruppen "gelernt" und in einem Speicher abgelegt werden. Der momentan zu komprimierende Datenstrom wird auf das Vorhandensein dieser gelernten elementaren Datengruppen untersucht und entsprechend gelernte Datengruppen werden an­ schließend durch Codes ersetzt, die die Position der gelernten Datengruppen innerhalb des Speichers bzw. innerhalb einer Ta­ belle repräsentieren, so daß der so komprimierte Datenstrom beim Abrufen aus einem Speicher bzw. auf der Empfängerseite durch Nachschlagen in der Tabelle wieder dekomprimiert werden kann.

Die verwendeten Codes entsprechen dabei vorzugsweise den Adres­ sen der gelernten und ersetzten Datengruppen innerhalb der Ta­ belle, wobei diese Adreßvereinbarung auch dahingehend erfolgen kann, daß nur Adreßdifferenzen zwischen jeweils zwei aufeinan­ derfolgenden ersetzten Datengruppen für die Codierung verwendet werden.

Das Verfahren nach Anspruch 1 kann vorzugsweise wiederum mit einer zweiten Komprimierungsstufe kombiniert werden, ent­ sprechend dem ersten Aspekt der vorliegenden Erfindung.

Weitere Aspekte der vorliegenden Erfindung betreffen Daten­ komprimierungsvorrichtungen bzw. Übertragungsvorrichtungen, die entsprechend den obigen Verfahren eine Datenkomprimierung erzielen.

Im folgenden werden bevorzugte Ausführungsformen der vorlie­ genden Erfindung unter Bezugnahme auf die beiliegende Zeich­ nung näher erläutert.

Dabei zeigt die Zeichnung ein Blockschaltbild zur Erläuterung von bevorzugten Ausführungsformen der erfindungsgemäßen Verfah­ ren sowie der erfindungsgemäßen Vorrichtungen.

Die Figur zeigt eine gestrichelt umrandete Funktionsgruppe 1, die zur Komprimierung von analogen oder digitalen Sprach- bzw. Bilddaten oder zur Komprimierung von Daten, die von Computern bereitgestellt werden, dient.

Eine zweite gestrichelt umrandete Funktionsgruppe 2 dient zur weiteren Komprimierung der von der ersten Stufe gelieferten vorkomprimierten Daten.

Mit der Bezugsziffer 3 ist eine Übertragungsvorrichtung zum Übertragen komprimierter Daten bezeichnet, wobei diese Über­ tragungsgruppe die beiden Kompressionsstufen 1 und 2 mit um­ faßt.

Ausdrücklich sei darauf hingewiesen, daß sich die vorliegende Erfindung auch auf jede der genannten Funktionsgruppen allein sowie sowohl auf ein Kompressionsverfahren, wie es anhand der Funktionsgruppe 1 beschrieben wird, als auch auf ein Kompres­ sionsverfahren, wie es anhand der Funktionsgruppen 1 und 2 be­ schrieben wird, unabhängig voneinander bezieht.

Die zugeführten Sprach-, Bild- oder Computerdaten werden einer Datenanalyseeinrichtung 4 zugeführt, in der einzelne sich wie­ derholende elementare Datengruppen erkannt werden können. Eine bestimmte Anzahl von unterschiedlichen, am häufigsten wieder­ kehrenden Datengruppen wird in der Speichereinrichtung 5 abge­ speichert. Vorzugsweise werden die am häufigsten vorkommenden Datengruppen innerhalb einer Tabelle in der Reihenfolge ihrer Häufigkeiten abgespeichert. Das Lernen dieser häufigsten Daten­ gruppen kann an dem aktuell zu komprimierenden Datenstrom oder an einem vorher analysierten Datenstrom mit ähnlichen Charakte­ ristiken erfolgen.

Der aktuelle zu komprimierende Datenstrom durchläuft ebenfalls die Datenanalyseeinrichtung 4, um dadurch bereits gelernte Da­ tengruppen innerhalb des Datenstroms zu erkennen und diese ent­ sprechenden Datengruppen in der ersten Kompressionsstufe 6 durch Codes ersetzen zu können.

Vorzugsweise werden die Adressen der in dem Speicher 5 gespei­ cherten häufigsten Datengruppen als Codes verwendet, so daß ein entsprechend komprimierter Datenstrom später unter Zuhilfenahme der bekannten Zuordnung zwischen Adressen und gespeicherten elementaren Datengruppen eine Dekomprimierung des Datenstroms gestattet.

Vorzugsweise werden als Codes die Differenzen zwischen den Adressen von jeweils zwei aufeinanderfolgenden ersetzten Datengruppen verwendet. Somit wird keine absolute Adreßzuord­ nung, sondern eine relative Adreßzuordnung vorgenommen. Dies führt in der Regel zu der Möglichkeit, kürzere Codes, d. h. Codes mit geringeren Bitanzahlen verwenden zu können.

Darüber hinaus können die vorher gelernten und in dem Speicher 5 abgespeicherten bekannten Datengruppen ihrer Häufigkeit nach geordnet sein, so daß häufigen Datengruppen kürzere Adressen zugewiesen werden als weniger häufigen Datengruppen.

In Tests hat sich beispielsweise gezeigt, daß bei Daten, die bei Transaktionen zwischen Banken übertragen werden, nur etwa 4000 unterschiedliche Datengruppen auftreten. Bei einer derart geringen Anzahl unterschiedlicher Datengruppen ist es sogar möglich, alle vorkommenden Datengruppen zu codieren, wodurch sich eine besonders hohe Kompression der Daten ergibt.

Die komprimierten Daten können in einem Speicher abgelegt wer­ den, wodurch sich eine erhebliche Reduzierung des notwendigen Speicherplatzes gegenüber der Abspeicherung in nicht-kompri­ mierter Form ergibt. Auch können die Daten an einen Empfänger übertragen werden, wodurch sich die für die Übertragung not­ wendige Bandbreite verringert bzw. die erzielbare Übertragungs­ geschwindigkeit erhöht. Nach Auslesen der Daten aus dem Speicher bzw. auf der Empfängerseite können die komprimierten Daten dann unter Zuhilfenahme des bekannten Zuordnungsschemas zwischen Codes und gelernten häufigsten Datengruppen dekompri­ miert werden. Dem Empfänger muß dazu die entsprechende Zuord­ nungstabelle selbstverständlich bekannt sein, was zu Beginn der Übertragung erfolgen kann oder auch nur sporadisch dann erfolgen kann, wenn sich die zu übertragenden Daten in ihrer Struktur und ihren Charakteristiken gegenüber dem Zeitpunkt des Lernens tatsächlich erheblich verändert haben.

Vorzugsweise erfolgt im Anschluß an die erste Kompressions­ stufe eine weitere Kompression, wobei diese Kompression auf bekannten Kompressionsmethoden, beispielsweise dem LZW-Algo­ rithmus oder dem Huffman-Algorithmus, aufbauen kann. In dieser weiteren Kompressionsstufe, die insgesamt durch den Funktions­ block 2 gebildet wird, kann eine Kompression erfolgen, bei der kurzzeitigere Variationen in den zu komprimierenden Daten berücksichtigt werden. Beispielsweise werden im Falle, daß diese Stufe eine Kompression entsprechend dem LZW-Algorith­ mus ausführt und in synchroner Umgebung arbeitet, nur die innerhalb eines Frames erkennbaren Muster bzw. Charakteristiken berücksichtigt.

Auch bei dieser weiteren Kompressionsstufe erfolgt zunächst eine Analyse der zu komprimierenden Daten in einer Daten­ analyseeinrichtung 7. In einem weiteren Speicher 8 werden wiederum gelernte Datengruppen abgespeichert, wobei dies im Falle der Verwendung eines LZW-Algorithmus die Struktur des erlernten Baumes ist. In der Einheit 9 erfolgt dann die eigentliche Kompression, aufbauend auf dem von den Einheiten 7 und 8 gelieferten Ergebnissen.

Wie eingangs erwähnt, werden bei Verwendung des LZW-Algorithmus die im zweiten Speicher abgespeicherten gelernten Daten von Zeit zu Zeit verworfen, um eine Adaption an die derzeit tat­ sächlich zu komprimierenden Daten zu erreichen. Dadurch, daß die Kompressionsstufe 2 von der Stufe 1 bereits vorkomprimierte Daten erhält, ist die Stufe 2 in der Lage, mit höherer Effizienz zu arbeiten, als dies der Fall wäre, wenn die Ein­ gangsdaten in unkomprimierter Form dieser zweiten Stufe zuge­ führt werden würden.

Sowohl die Funktionsgruppe 1 als auch die Funktionsgruppe 2 kann insgesamt in einer Übertragungsvorrichtung 3 enthalten sein, wobei dieser Übertragungsvorrichtung dann zusätzlich noch eine Übertragungseinrichtung 10 enthält, mit der die kompri­ mierten Daten an einen Empfänger übertragen werden können. Die Übertragungseinrichtung 10 kann dabei eine aus der Modemtechnik bekannte Einrichtung sein.

Claims (23)

1. Verfahren zum Komprimieren von Daten mittels elektrischer Einrichtungen mit folgenden Schritten:
Analysieren eines für die zu komprimierenden Daten repräsen­ tativen Datenstroms über eine vorbestimmte Zeitperiode zum Erkennen von sich innerhalb des Datenstroms wiederholender Datengruppen,
Bestimmen einer bestimmten Anzahl unterschiedlicher Datengrup­ pen, welche innerhalb der vorbestimmten Zeitperiode am häufig­ sten auftreten,
Abspeichern der bestimmten unterschiedlichen Datengruppen in einer Tabelle,
Analysieren eines zu komprimierenden Datenstroms auf das Vor­ handensein von Datengruppen, die in der Tabelle enthalten sind, und
Ersetzen der in dem zu komprimierenden Datenstrom gefundenen Datengruppen durch Codes, anhand derer die Position jeder ersetzten Datengruppe innerhalb der Tabelle erkannt werden kann.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die zugewiesenen Codes den Adressen der entsprechenden Datengruppen in der Tabelle entsprechen.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß ein zugewiesener Code jeweils die Adressendifferenz zwischen der Adresse der zuletzt codierten Datengruppe in der Tabelle und der Adresse der momentan codierten Datengruppe in der Tabelle repräsentiert.

4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Datengruppen in der Tabelle in Reihen­ folge ihrer Häufigkeiten geordnet sind.

5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß den Datengruppen mit den größten Häufigkeiten die kürzesten Codes zugeordnet sind.

6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Tabelle durch Wiederholen der zur ihrer Erzeugung notwendigen Schritte in vorbestimmten zeit­ lichen Abschnitten im Hinblick auf die zu komprimierenden Daten aktualisiert wird.

7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekenn­ zeichnet, daß der komprimierte Datenstrom mittels eines wei­ teren Komprimierungsverfahrens innerhalb einer zweiten Stufe zusätzlich komprimiert wird.

8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, daß das weitere Komprimierungsverfahren auf dem LZW-Standard beruht.

9. Verfahren nach Anspruch 7, dadurch gekennzeichnet, daß das weitere Komprimierungsverfahren ein Komprimierungsverfahren ist, wie es üblicherweise bei der Faksimileübertragung einge­ setzt wird.

10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekenn­ zeichnet, daß der komprimierte Datenstrom zu einem Empfänger übertragen wird.

11. Verfahren nach einem der Ansprüche 1 bis 10, dadurch ge­ kennzeichnet, daß der komprimierte Datenstrom abgespeichert wird.

12. Verfahren nach Anspruch 10, dadurch gekennzeichnet, daß dem Empfänger die Tabelle mit den häufigsten Datengruppen sowie die vereinbarte Codierung mitgeteilt wird.

13. Verfahren nach Anspruch 12, dadurch gekennzeichnet, daß der Empfänger den Datenstrom mittels der Tabelle dekompri­ miert.

14. Verfahren nach Anspruch 10, dadurch gekennzeichnet, daß die Übertragung synchron erfolgt.

15. Datenübertragungsvorrichtung mit:
einer Einrichtung (4) zum Analysieren der Art der zu übertra­ genden Daten und Erkennen sich darin wiederholender (elemen­ tarer) Datengruppen;
einer Einrichtung (4) zum Bestimmen derjenigen Datengruppen, die während einer vorbestimmten Zeitperiode am häufigsten auftreten;
einer Einrichtung (5) zum Speichern der bestimmten häufigsten Datengruppen in einer Tabelle;
einer Einrichtung (4) zum Analysieren eines zu übertragenden Datenstroms auf das Vorhandensein der in der Tabelle gespei­ cherten häufigsten Datengruppen;
einer Einrichtung (6) zum Erzeugen eines vorkomprimierten Datenstroms, in der die erkannten häufigsten Datengruppen durch Codes ersetzt werden, anhand derer die Positionen der entsprechenden ersetzten Datengruppen innerhalb der Tabelle erkannt werden können;
einer Einrichtung (7, 8, 9) zum zusätzlichen Komprimieren des vorkomprimierten Datenstroms, und
einer Einrichtung (10) zum Übertragen des komprimierten Datenstroms an einen Empfänger.

16. Datenübertragungsvorrichtung nach Anspruch 15, dadurch ge­ kennzeichnet, daß eine Einrichtung vorgesehen ist, mittels der die erzeugte Tabelle an den Empfänger übertragen werden kann.

17. Datenübertragungsvorrichtung nach Anspruch 15 oder 16, dadurch gekennzeichnet, daß die Einrichtung zum Übertragung synchron arbeitet.

18. Datenübertragungsvorrichtung nach einem der Ansprüche 15 bis 17, dadurch gekennzeichnet, daß die Einrichtung zum zu­ sätzlichen Komprimieren eine Kompression, basierend auf dem LZW-Standard, durchführt.

19. Verfahren nach einem der Ansprüche 15 bis 17, dadurch ge­ kennzeichnet, daß die Einrichtung zum zusätzlichen Kompri­ mieren eine Kompression ausführt, wie sie üblicherweise bei der Faksimileübertragung angewendet wird.

20. Verfahren zum Komprimieren von Daten mittels elektrischer Einrichtungen mit folgenden Schritten:
erstes Komprimieren eines momentanen Datenstroms durch Kompri­ mieren von in dem Datenstrom enthaltenen Datengruppen, die aus einem Ähnlichkeiten mit dem momentanen Datenstrom aufweisenden früheren Datenstrom bekannt sind, um einen vorkomprimierten Datenstrom zu erzeugen, und
zweites Komprimieren des vorkomprimierten momentanen Daten­ stroms mittels eines die Wiederholungen in dem vorkomprimier­ ten momentanen Datenstrom ausnutzenden Kompressionsverfahrens.

21. Verfahren nach Anspruch 20, dadurch gekennzeichnet, daß die erste Kompression entsprechend einem Verfahren nach einem der Ansprüche 1 bis 6 erfolgt.

22. Verfahren nach Anspruch 21, dadurch gekennzeichnet, daß die zweite Kompression auf dem LZW-Standard oder auf einem Kompres­ sionsverfahren beruht, wie es üblicherweise zur Faksimileüber­ tragung eingesetzt wird.

23. Vorrichtung zum elektrischen Komprimieren von Daten mit:
einer ersten Kompressionseinrichtung zum Komprimieren eines momentanen Datenstroms durch Komprimieren von in dem Daten­ strom enthaltenen Datengruppen, die aus einem Ähnlichkeiten mit dem momentanen Datenstrom aufweisenden früheren Daten­ strom bekannt sind, und
einer zweiten Kompressionseinrichtung zum Komprimieren des vorkomprimierten momentanen Datenstroms mittels eines die Wiederholungen in dem vorkomprimierten momentanen Datenstrom ausnutzenden Kompressionsverfahrens.