DE19854179A1 - Verfahren und Anordnung zur Kompression bzw. Expansion von Zeichenketten durch eine DV-Einrichtung - Google Patents

Abstract

Es wird ein Verfahren zur Verfügung gestellt, das eine textspezifische Komprimierung durchführt, in dem Redundanzen der innerhalb der Zeichenketten des Textes vorhandenen Zeichenfolgen aufgespürt werden und durch Platzhalter ersetzt werden. Die Platzhalter und die ersetzten Zeichenfolgen werden in einer Zeichentabelle abgelegt. Bei der Expansion werden die Platzhalter aus der Zeichentabelle durch die ursprünglichen Zeichenfolgen ersetzt. Dieses Verfahren eignet sich besonders zur Anzeige von Menütexten auf speicherbeschränkten portablen Geräten, wie Telefonen, Taschenrechnern und Chipkarten. Zur Ausführung des Verfahrens wird eine Anordnung als Minimalkonfiguration beschrieben.

Description

Die Erfindung bezieht sich auf ein Verfahren und eine Anordnung womit die Speicherkapazität von flüchtigen und Festspeichern, bzw. die Übertragungskapazität von Datenleitungen in Bezug auf Zeichenketten gesteigert werden kann.

Im Prinzip sind Datenkompressionsverfahren für unterschiedliche Einsatzfälle bekannt. Der MPEG-Standard hat sich beispielsweise für die Kompression von Bewegtbildern etabliert. Zur optimalen Ausnutzung des Speicherplatzes von Festplatten auf Personalcomputern gibt es Softwarekompressionsroutinen, die Dateien vor dem Abspeichern auf der Festplatte komprimieren. Ein Beispiel dafür ist das Programm "Winzip".

Die Erfindung zugrunde liegende Aufgabe besteht darin, eine weitere Anordnung und ein weiteres Verfahren anzugeben, womit Zeichenketten komprimiert werden können. Diese Zeichenketten sollen insbesondere auf einer Anzeige zur Darstellung gebracht werden können.

Diese Aufgaben werden für das Verfahren gemäß den Merkmalen des Patentanspruches 1, für das Darstellungsverfahren gem. den Merkmalen des Patentanspruches 8 und für die Anordnung gem. den Merkmalen des Patentanspruches 9 gelöst.

Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.

Vorteilhaft werden bei Anwendung des beschriebenen Verfahrens Redundanzen innerhalb der zu komprimierenden Zeichenketten komplett eliminiert. Dieser Vorteil kommt um so mehr zum tragen, je größer die redundanten Zeichenfolgen, die ersetzt werden, innerhalb der Zeichenketten sind.

Besonders vorteilhaft wird bei einer Weiterbildung des beschriebenen Verfahrens eine Bewertung der zu ersetzenden Zeichenfolgen durchgeführt. Hierdurch kann insbesondere sichergestellt werden, daß besonders lange Zeichenfolgen, die sehr häufig innerhalb der Zeichenketten vorkommen, vorrangig ersetzt werden, bzw. daß kürzere Zeichenfolgen, die innerhalb langer zu ersetzender Zeichenfolgen enthalten sind, eine niedrigere Priorität für die Ersetzung durch Platzhalter erhalten.

Besonders vorteilhaft läßt sich eine Weiterbildung des beschriebenen Verfahrens auf Standardzeichensätze, wie beispielsweise den ASCII-Zeichensatz (American Standardcode for Information Interchange) anwenden.

Derartige Zeichensätze haben den Vorteil, daß DV- Einrichtungen in besonderem Maße auf ihren Einsatz hin optimiert sind, so daß ihre Verwendung einen geringen Speicherplatz in der Anlage erfordert. Insbesondere eignen sie sich deshalb bei derjenigen Weiterbildung des beschriebenen Verfahrens als Platzhalter, bei der nur solche Zeichen als Platzhalter verwendet werden, die nicht in den Zeichenketten enthalten sind. Durch eine derartige Weiterbildung wird eine höchstmögliche Kompression mit möglichst geringem Speicherbedarf erzielt.

Insbesondere läßt sich bei einer Weiterbildung des Verfahrens der Zahlencode, der dem ASCII-Code zugrunde liegt dafür verwenden, um Speicherplätze zu adressieren, bzw. Verweise zu Speicherplätzen zu generieren, in denen die Zeichenfolgen abgelegt sind, für die die ASCII-Zeichen als Platzhalter dienen. Auf diese Weise wird die höchstmögliche Datenkompression mit einer beschleunigten Verarbeitung durch das DV-System kombiniert, da die Zuordnungstabellen in jedem System, das diesen ASCII-Zeichensatz verwendet, enthalten sind.

Besonders vorteilhaft eignet sich bei einer Weiterbildung des beschriebenen Verfahrens eine komprimierte Zeichenkette zur Abspeicherung, da auf diese Weise möglichst viele Zeichenketten in einem beschränkten Speicher wie beispielsweise von Mobilgeräten, wie Telefonen, Personalcomputern, Chipkarten, etc. abgelegt werden können.

Besonders vorteilhaft eignet sich eine Weiterbildung des beschriebenen Verfahrens dazu, eine Mischung von unkomprimierten und komprimierten Zeichen abzulegen oder zu übertragen, ohne dabei auf einen Zugriff auf die kleinsten Zeichenfolgen-Einheiten verzichten zu müssen, womit durch das beschriebene Verfahren eine beliebige Mehrfachverwendung der einzelnen Zeichenfolgen für den Kompressionsvorgang möglich ist.

Besonders vorteilhaft zur Expansion von mit Hilfe von Platzhaltern komprimierten Zeichenketten eignet sich ein Verfahren, das zunächst diese Platzhalter sucht und dann durch die zugehörigen Zeichenfolgen ersetzt. Auf diese Weise wird eine schnelle Expansion mit möglichst geringem technischen Aufwand erzielt.

Besonders geeignet ist ein Verfahren zur Darstellung von komprimierten Zeichenketten, das zur Laufzeit die komprimierten Zeichenketten expandiert und im Anschluß zur Anzeige bringt, weil dadurch der Speicherplatz, beispielsweise Mobilgeräten von optimal genutzt werden kann. Dieser Sachverhalt ist besonders wichtig, weil Prozessorleistungen in Zukunft immer weiter steigen und in sehr großem Maße auch auf kleinen Endgeräten verfügbar sein werden, so daß der Zeitaufwand für die Expansion der Zeichen in Zukunft immer mehr in den Hintergrund treten wird.

Besonders vorteilhaft ist der Einsatz einer Anordnung zur Expansion bzw. Kompression von Zeichenketten, die lediglich mit drei Mitteln auskommt, da durch diese Mittel eine vollständige Kompression bzw. Expansion nach dem beschriebenen Verfahren möglich ist und ein möglichst geringer technischer Aufwand, d. h. also Chipaufwand in Form von Siliziumfläche bei der Realisierung der Anordnung anfällt, ohne daß dabei auf irgendeine Funktionalität des beschriebenen Verfahrens verzichtet werden muß.

Besonders vorteilhaft ist eine Datenverarbeitungseinrichtung, die eine Kombination aus einem flüchtigen und aus einem nicht flüchtigen Speicher aufweist, und diese mit einer Anzeigevorrichtung kombiniert, da durch diese Kombination eine Anordnung zur Verfügung gestellt wird, die sich besonders gut eignet, um das beschriebene Anzeigeverfahren in Verbindung mit der Kompression bzw. Expansion von Zeichenketten durchzuführen. In diesem Fall können an der Anordnung Eingabemittel vorgesehen sein, die es erlauben die Zeichenketten einzugeben, bzw. zu modifizieren.

Im folgenden wird die Erfindung anhand von Beispielen und Figuren weiter erläutert.

Fig. 1 zeigt ein Ablaufdiagramm eines Kompressionsverfahrens,

Fig. 2 zeigt ein Ablaufdiagramm eines Expansionsverfahrens,

Fig. 3 veranschaulicht den Vorgang bei der Expansion von Zeichenketten.

Wie Fig. 1 zeigt, besteht ein Ablaufdiagramm 1000 für ein Verfahren zur Kompression von Zeichenketten aus Funktionselementen 1010 bis 1100. Der Ablauf beginnt mit dem Start des Verfahrens 1010. In einem Initialisierungsschritt 1020 werden einzulesende Zeichenketten aus einer Datenquelle 1025 eingelesen. Für den Fall, daß bekannt ist, daß bei den Zeichenketten lediglich ein beschränkter Zeichensatz, dessen Zeichen alle bekannt sind verwendet wurde, wird in einem Prozeßschritt 1030 eine Ermittlung aller in den Zeichenketten vorkommenden Zeichen des Standardzeichensatzes und die Ablage dieser Zeichen in einer Platzhaltertabelle, die hier Metazeichen-Lookuptable 1035 genannt ist, vorgenommen. In Kenntnis der verwendeten Zeichen und der zur Verfügung stehenden nicht verwendeten Zeichen wird eine Diskriminierung vorgenommen, und die zur Verfügung stehenden in den Zeichenketten nicht verwendeten Zeichen des Zeichensatzes werden zur Verwendung als Platzhalter, bereitgehalten.

Die Anzahl dieser Zeichen beträgt hier beispielsweise N.

In einem Prozeßschritt 1040 wird nach allen unabhängigen Zeichenfolgen über alle möglichen Längen, bzw. vorgegebenen Längen, gesucht. Eine Bedingung bei der Suche ist dabei, daß keine Platzhalter innerhalb dieser Zeichenketten enthalten sein dürfen. In einem Verfahrensschritt 1050 findet eine Bewertung und Sortierung aller gefundenen Zeichenfolgen statt. Dabei wird als Qualität einer Zeichenfolge beispielsweise die Länge der Kette multipliziert mit der Anzahl ihrer Auftretenshäufigkeit innerhalb der Zeichenketten verwendet. Über diese Bewertung kann eine temporäre Bestenliste erstellt werden. Diese Bestenliste enthält beispielsweise N-Einträge entsprechend der Anzahl der zur Verfügung stehenden, im Prozeßschritt 1030 ermittelten, nicht verwendeten Zeichen des geschlossenen Zeichensatzes. Diese Bestenliste wird beispielsweise in einer temporären Datei 1055 abgelegt. In einem Verfahrensschritt 1060 wird im Anschluß dasjenige Element aus der temporären Bestenliste ausgewählt, das die größte vorkommende Länge und die beste Qualität aufweist und für dieses ein Platzhalter definiert.

Hierzu wird bevorzugt ein Platzhalter aus der bereitgehaltenen Menge verwendet.

Nach der Definition dieses Platzhalters wird im Verfahrensschritt 1070 die Zeichenfolge, für die der Platzhalter definiert wurde, in den Zeichenketten durch ihren Platzhalter ersetzt. Da nun ein zur Verfügung stehender Platzhalter bereits vergeben wurde, wird im Verfahrensschritt 1080 die Anzahl der noch vergebbaren Platzhalter um 1 reduziert: N = N - 1. In einer Abfrage 1090 wird im Anschluß überprüft, ob noch weitere Platzhalter zur Verfügung stehen, falls dies der Fall ist, wird wieder zu einem Punkt im Ablauf vor dem Verfahrensschritt 1040 verzweigt und der Prozeß zur Vergabe der Platzhalter erneut durchlaufen. Falls dies nicht der Fall ist, d. h. keine Platzhalter mehr zur Verfügung stehen, wird zum Ende 1100 des Prozesses 1000 verzweigt.

In diesem Zusammenhang ist darauf hinzuweisen, daß es sich bei der Verwendung von geschlossenen Zeichensätzen und insbesondere bei den nicht in den Zeichenketten verwendeten Zeichen als Platzhalter um einen Spezialfall der Anwendung des erfindungsgemäßen Verfahrens handelt. Dieser Spezialfall weist die Vorteile auf, daß standardisierte Zeichensätze verwendet werden können, für die Zuordnungstabellen vorhanden sind und diese sich DV-technisch leicht umformen lassen, wobei sie extrem wenig Speicherplatz im DV-System belegen. Es besteht jedoch auch die Möglichkeit, durch Vergabe weiterer Zahlencodes alle redundanten Zeichenfolgen innerhalb der Zeichenketten zu ersetzten, um Zeichenketten möglichst ressourcenoptimiert komprimieren zu können.

Fig. 2 zeigt den Verfahrensablauf 2000 zur Expansion von Zeichenketten, welche mittels Platzhaltern komprimiert wurden. Der Verfahrensablauf besteht aus Funktionselementen 2010 bis 2090. Zu Beginn wird in einem Schritt 2010 der Verfahrensablauf gestartet und aus einer Datenquelle 2025 werden Platzhalterzeichenketten in einem Verfahrensschritt 2020 eingelesen. Dabei wird der Zeichenkettenindex definiert K: M [K]. In einem Verfahrenschritt 2030 wird der Zeichenindex Z auf das erste Zeichen der Zeichenkette M [k] gesetzt. Es gilt: Z = 0. Es erfolgt also der Zugriff auf M [K][Z]. Im Anschluß wird in einem Schritt 2040 der für die Expansion der Zeichenkette benötigte Speicher, welcher als Schreib-/Lesespeicher oder in Form eines Eproms realisiert sein kann, initialisiert. Es gilt: E[0] = ETX, wobei ETX ein Textendezeichen angibt. Als Textendezeichen können beispielsweise Leerzeichen, bzw. Zeilenumbrüche, oder die in Programmiersprachen üblichen Schrägstriche mit Nullen verwendet werden. Auch andere Textendezeichen sind denkbar. In einer Abfrage 2050 wird daraufhin überprüft, ob der Zeichenindex innerhalb der Zeichenkette gleich dem Endezeichen ist: M[K][Z] ungleich Zeichen ETX?. Falls dies der Fall ist, wird mit dem Wert V = WERT (M[K] [Z]) als Verweis auf die Platzhaltertabelle die entsprechende Zeichenfolge S[V] des Platzhalterzeichensatzes an das Ende des zur Verfügung gestellten Expansionsspeichers in Form einer Speicherkette angehängt. Es gilt: E = E + S [V]. In diesem Fall überschreibt das erste Zeichen von S [V] das Textendezeichen von E, die restlichen Zeichen werden incl. der vorhandenen Textendezeichen aus der Platzhalterzeichentabelle angehängt. Dieser Zugriff auf die Platzhalterzeichentabelle ist mit Pfeilen V und S[V] und Bezugszeichen 2065 dargestellt. Nach erfolgreicher Expansion des ersten Platzhalters wird der Zeichenindex Z auf das nächste Zeichen gesetzt. Es gilt: Z = Z + 1. Dieser Vorgang erfolgt im Verfahrensschritt 2070. Danach wird zurückverzweigt zu der Abfrage 2050. Der Ablauf wird so lange durchgeführt, bis die Abfrage 2050 verneint wird. Im Anschluß wird in einem Verfahrensschritt 2080 die expandierte Zeichenkette ausgegeben und der Prozeß in einem Verfahrensschritt 2090 beendet.

Fig. 3 veranschaulicht den Vorgang der Expansion anhand des Wortes Beschreibung noch einmal graphisch. Beschreibungen wurde in diesem Fall durch die Platzhalterzeichenkette 63415 und ein Endezeichen ersetzt und so komprimiert. Die Platzhalterzeichentabelle, hier Metazeichentabelle, stellt die Zuordnung zwischen dem Platzhalter, hier Metazeichenwert, dem Standardzeichen und den Zeichenfolgen aus Standardzeichen her.

Mit Platzhalter 0 wird auf das Textendezeichen verwiesen. Mit Platzhalter 1 auf die Zeichenfolge UNG, mit Platzhalter 2 auf die Zeichenfolge SAMMEL, mit Platzhalter 3 auf die Zeichenfolge SCH, mit Platzhalter 4 auf die Zeichenfolge BIER, mit Platzhalter 5 auf die Zeichenfolge EN, mit Platzhalter 6 auf die Zeichenfolge Be, usw., bis n. Die Größe der Platzhalterzeichentabelle, die hier Metazeichentabelle genannt ist, richtet sich nach der Menge und der Anzahl der Redundanzen innerhalb der Zeichenketten und ist je nach Art der zu komprimierenden Menge von Zeichenketten verschieden. In Verbindung mit dem in Fig. 2 erläuterten Verfahren zur Expansion ist noch zu erwähnen, daß die Standardzeichenketten innerhalb der Platzhaltertabelle durch ein Textendezeichen abgeschlossen werden. Nach Anwendung des beschriebenen Expansionsverfahrens unter Verwendung der Platzhaltertabelle ergibt sich aus den Platzhaltern wieder die Zeichenfolge Beschreibungen. Dieser Vorgang ist durch Verbindungslinien L in Fig. 3 angedeutet.

Die Ablage einer Zeichenkette erfolgte hier in Metazeichendarstellung "".

Die Konvertierungsvorschrift zur Expansion wird der Metazeichentabelle entnommen: so entspricht das Metazeichen mit dem Wert 1 (Metazeichen) der Standardzeichenkette "ung", usw.

Durch Aneinanderhängen der entsprechenden Zeichenketten entsteht die Zeichenkette aus Standardzeichen, die dann wie andere Zeichenketten im Standardzeichenformat zur Anzeige oder Übertragung zur Verfügung steht.

Die Einsparung, ohne Berücksichtigung des Metazeichentabellen- Eintrags liegt somit pro Metazeichenkette (incl. Endzeichen in diesem Beispiel bei . . . Einsparung = (Länge Standardzeichenkette) - [Länge Metazeichenkette] = 15 - 6 = 9. Das ergibt einen relativen Speichergewinn von 67%. Der wirklich zu erwartende Gewinn hängt von der Häufigkeit des Auftretens der Elemente der Metazeichentabelle im betrachteten Original-Zeichenketten-Feld ab, da und das Vorhalten der Zeichenkette in der Metazeichentabelle beim Speicherbedarf berücksichtigt werden muß.

Im Anschluß wird ein mit Zeilennummern versehener Textblock in Form eines Computerausdruckes angefügt, welcher auf den Seiten 10-31 einen kompletten unkomprimierten Originaltext in Form von Zeichenketten zeigt und im Anschluß auf den Seiten 32-55 den mit Hilfe von Platzhaltern komprimierten Originaltext, sowie die zugehörige Platzhaltertabelle.

Beginnend mit Seite 10 werden ab Ausdruckzeile 7 einzelne Menüanzeigen eines Telekommunikationssystems dargestellt. In diesem Zusammenhang ist zu beachten, daß beim Ausdruck Umlaute nicht darstellbar waren, und diese deswegen durch ihre Oktalwerte der ASCII-Zeichen im Ausdruck kenntlich gemacht wurden. Hierbei gilt die Zuordnung: siehe Zeile 11 \374 für den Buchstaben Ü, Zeile 14\366 für den Buchstaben Ö, Zeile 15\337 für das "ß" und \344 für den Buchstaben Ä. Hierbei handelt es sich um eine Besonderheit des Computerausdruckes und nicht um eine Form von Kompression. Auf der rechten Seite der Darstellung sind jeweils die Kommentare zu den Anzeigen angegeben. Diese sind grau unterlegt und mit Hilfe von Sonderzeichen kenntlich gemacht. Links steht /*, rechts eine fortlaufende Nummer und */. Ab Seite 32 findet sich die nach dem beschriebenen Verfahren komprimierte Form dieser Texte in Form eines fortlaufend zeilennummerierten Computerausdruckes.

In Zeilen 5 bis 25 sind statistische Daten zur Textkompression angegeben. Die fortlaufende Nummer 33 der Zeile der komprimierten Texte entspricht dabei der fortlaufenden Nummer 6 der umkomprimierten Texte. Am Beispiel des umkomprimierten Textes in Zeile 7 "Tastenbelegung" kann erkannt werden, wie dieser mit Hilfe von Platzhaltern, nämlich auf Seite 32 in Zeile 34 durch T\204ND\335EG\224 komprimiert wurde.

Die Zahlen 204, 335 und 224 dienen hierbei als Platzhalter, deren zugehörige Zeichenfolgen sich aus der Platzhaltertabelle auf Seite 53 ermitteln lassen. Dort findet man unter der fortlaufenden Nummer 1626 zu \204 die Zeichenfolge "aste", unter der fortlaufenden Nummer 642 zu \224 die Zeichenfolge "ung" und unter der fortlaufenden Nummer 1715 zu \335 die Zeichenfolge "el". An diesem Wortbeispiel Tastenbelegung ist besonders gut zu erkennen, daß diese Platzhalter in Verbindung mit Originalzeichen des Zeichensatzes gemischt abgelegt werden können, und daß ein Zugriff auf Zeichenfolgen besteht, die derartig ausgebildet sind, daß sie bezüglich des komprimierten Textes optimal wenig Redundanzen aufweisen.

Claims (10)

1. Verfahren zur Kompression von einer Mehrzahl von Zeichenketten auch eine Datenverarbeitungseinrichtung,

• a) bei dem die Zeichenketten nach übereinstimmenden Zeichenfolgen zwischen diesen Zeichenketten durchsucht werden,
• b) und bei dem mindestens eine gefundene übereinstimmende Zeichenfolge von einer bestimmten Größe durch einen Platzhalter ersetzt wird, der eine kleinere Größe aufweist, als diese Zeichenfolge.

2. Verfahren nach Anspruch 1, bei dem für den Fall, daß mehrere verschiedene übereinstimmende Zeichenfolgen gefunden werden, diese mindestens bezüglich ihrer Größe und/oder ihrer. Auftretenshäufigkeit innerhalb der Mehrzahl von Zeichenketten bewertet werden, wobei als Ergebnis der Bewertung ein Bewertungsmaß für mindestens zwei von einander verschiedene Zeichenfolgen festgelegt wird und die Ersetzung dieser Zeichenfolgen durch einen Platzhalter in Abhängigkeit des Bewertungsmaß erfolgt.

3. Verfahren nach einem der vorangehenden Ansprüche,

• a) bei dem für den Fall, daß bekannt ist, daß die für die Mehrzahl von Zeichenketten verwendeten Zeichen einem endlich großen bekannten Zeichensatz entstammen, untersucht wird, welche Zeichen des Zeichensatzes in den Zeichenketten nicht verwendet werden,
• b) und bei dem ein solches nicht verwendetes Zeichen als Platzhalter verwendet wird.

4. Verfahren nach Anspruch 3, bei dem, falls bekannt ist, daß als bekannter Zeichensatz ein zahlencodierter Standardzeichensatz verwendet wird, der Zahlencode des Platzhalters als Verweis auf die Zeichenfolge für die der Platzhalter steht, verwendet wird.

5. Verfahren nach einem der vorangehenden Ansprüche, bei dem mindestens eine komprimierte Zeichenkette gespeichert wird.

6. Verfahren nach Anspruch 5, bei dem eine Zeichenkette als Sequenz aus Zeichen und Platzhalter gespeichert wird.

7. Verfahren zur Expansion einer Zeichenfolge aus einer Zeichenkette, die nach einem der Ansprüche 1 bis 4 komprimiert wurde,

• a) bei dem innerhalb einer Zeichenkette ein Platzhalter gesucht wird,
• b) und bei dem der Platzhalter durch die Zeichenfolge ersetzt wird, für die er steht.

8. Verfahren zur Darstellung einer komprimierten Zeichenkette auf einer Anzeigevorrichtung, bei dem eine nach einem der Ansprüche 1 bis 4 komprimierte Zeichenkette, die zur Anzeige gebracht werden soll unmittelbar vor der Anzeige nach mindestens einem Platzhalter durchsucht wird, der gefundenen Platzhalter durch die Zeichenfolge ersetzt werden für die er steht, und dann zur Anzeige gebracht wird.

9. Anordnung zur Kompression und/oder Expansion von einer Mehrzahl von Zeichenketten,

• a) bei der erste Mittel zum Vergleich von mindestens zwei Zeichenketten vorhanden sind, mit denen gleiche Zeichenfolgen dieser Zeichenketten gefunden werden,
• b) bei der zweite Mittel zur Bereitstellung von Platzhaltern für Zeichenfolgen vorhanden sind,
• c) bei der dritte Mittel zum Ersetzen von gefundenen gleichen Zeichenfolgen durch bereitgestellte Platzhalter und umgekehrt vorhanden sind,
• d) und bei der von den ersten Mitteln gefundene Zeichenfolgen durch von zweiten Mitteln bereitgestellte Platzhalter durch die dritten Mittel ersetzt werden und umgekehrt.

10. Datenverarbeitungseinrichtung mit

• a) einem flüchtigen Speicher zum Speichern von einer Mehrzahl von Zeichenketten,
• b) einer Anordnung zur Kompression und/Expansion von einer Mehrzahl von Zeichenketten nach Anspruch 9,
• c) einem festen Speicher zum Speichern von komprimierten Zeichenketten,
• d) und einer Anzeigevorrichtung zur Anzeige mindestens einer Zeichenkette.