DE3837843A1

DE3837843A1 - Datenkomprimierung auf charakter-basis fuer externe speicher von computern

Info

Publication number: DE3837843A1
Application number: DE19883837843
Authority: DE
Inventors: Heribert Portugall
Original assignee: Heribert Portugall
Current assignee: PORTUGALL, ELVIRA, 6094 BISCHOFSHEIM, DE
Priority date: 1988-11-08
Filing date: 1988-11-08
Publication date: 1990-05-10
Anticipated expiration: 2008-11-09
Also published as: DE3837843C2

Description

Idee zur Komprimierung von Daten

Jede Dateninformation in Form eines darstellbaren Zeichens belegt sowohl im Hauptspeicher eines Computers als auch auf einer externen Speichereinheit 8 Datenbits.

Die zur Zeit auf dem Markt befindlichen Komprimierungsroutinen arbeiten vorwiegend mit folgenden Techniken:

a) Zeichenwiederholungen werden entsprechend eliminiert
b) Durch umfangreiche Sortierungen werden Zeichenstrings in kürzere Bitkombinationen zusammengefaßt und tabellarisch abgespeichert.

Diese Tabellen sind sorgfältig zu sichern und aufzubewahren, denn bei Verlust einer solchen Tabelle ist eine Rückverschlüsselung unmöglich. Jede in dieser Weise zu verschlüsselnde Datei benötigt, bedingt durch die unterschiedliche Datenstruktur, eine eigene Tabelle.

Außerdem fallen im Vorfeld der Tabellenerstellungen, hervorgerufen durch umfangreiche Analyseläufe und Sortierungen, hohe CPU- und Durchlaufzeiten an.

Methode a)
Komprimierungsraten zwischen 5 und 60%
Der Durchschnittswert liegt bei ca. 25-35%.
Methode b)
erreicht Verdichtungen zwischen 40 und 80%, für wenig benutzte Dateien, die einer anschließenden Freigabe unterliegen, ist der Aufwand hinsichtlich der Vorarbeiten (Tabellenerstellungen) nicht zu vertreten.

Meine Idee besteht in der horizontalen Zeichenverschlüsselung für Textdateien. Die nur für Texte und Zifferndarstellung benötigten Zeichen werden in einer weniger als 8 Bits je Zeichen neuen variablen Code, der vom Benutzer bestimmt werden kann, umgesetzt.

Dadurch wird eine horizontale Verdichtungsrate erreicht, die bis zu 40% höher ist, als die unter Punkt a) beschriebene Verdichtungstechnik.

Somit werden in der Regel Werte erreicht, die der Verdichtungsrate unter Punkt b) entsprechen.

Der Vorteil meiner Methode liegt jedoch in dem nicht unerheblichen Overhead, der durch Tabellenerstellung und Sortierungen anfällt.

CPU-Vergleichstests zeigten bei Komprimierung und Dekompromierung, daß bei meiner Methode bis zu 50% der CPU-Zeit gegenüber der Tabellen-Verarbeitungsmethode eingespart werden.

Detailbeschreibung meiner Verdichtungsmethode

Dieses Komprimierungstool entfernt nicht nur Zeichenwiederholungen, es verschlüsselt auch ausgewählte Zeichen in andere Bitmodes.

Insgesamt werden in der Kompressions-Routine 3-Bitmodes erstellt.

a) 2-Bitmode (max. 4 Zeichen)
b) 4-Bitmode (max. 16 Zeichen)
c) 5-Bitmode (max. 32 Zeichen)

Alle übrigen Zeichen, die nicht im 2-, 4- oder 5-Bitmode definiert wurden, werden im Originalcode (8 Bit) belassen.

Der Standard-Zeichensatz 0-9 und A-Z sowie die häufigsten Sonderzeichen sind standardmäßig im Programm verankert.

Werden andere Zeichen zur Verschlüsselung herangezogen, so kann dies nur über eine "PARM"-Eintragung bei Aufruf des Compressions- Tools erfolgen.

Aufbau der Parm-Eintragung

Standardmäßig umfaßt die Parm-Eintragung 48 unterschiedliche Zeichen. Doppelvergaben von Zeichen unterliegen bestimmten Regeln. (Eine 64 Zeichen umfassende Kompression ist in Arbeit)

Parm-Stelle
01-04 umfaßt die Zeichen des 2-Bitmodes
01-16 umfaßt die Zeichen des 4-Bitmodes
17-48 umfaßt die Zeichen des 5-Bitmodes

Sollen hohe Verdichtungsraten erreicht werden, ist es sinnvoll, die am häufigsten benutzten Zeichen einer Datei in der Parm-Eintragung entsprechend zu plazieren.

Für die Komprimierung von Testdateien ohne Groß- und Kleinschreibung, (nur Großbuchstaben), ist folgende Empfehlung zu geben:

2-Bitmode
individuell zu entscheiden
4-Bitmode
Die Ziffern 0-9 und die Sonderzeichen, die vorwiegend in numerischen Zeichenfolgen verwendet werden.
5-Bitmode
Die Buchstaben A-Z und die Sonderzeichen, die vorwiegend in alphabetischen Zeichenfolgen verwendet werden.

Das Füllzeichen einer Datei ist zur Erreichung einer besseren Komprimierungsrate sowohl im 4- als auch im 5-Bitmode zu definieren, und zwar stellenmäßig auf der gleichen Position des 4- bzw. 5-Bitmodes.

Beispiel Füllzeichen X′40′ (blank)

Diese Doppeldefinition ist sowohl auf der Stelle 1 als auch auf der Stelle 17 der Parmeintragung gültig. Es könnte aber auch die Stelle 2 und Stelle 18 ausgewählt werden. (3 : 19 usw bis 16 : 32).

Die gewählte Position des zur Verschlüsselung ausgewählten Zeichens innerhalb der Parmeintragung bestimmt den Verschlüsselungscode.

Die Verschlüsselungsroutine enthält eine 512 Byte umfassende Verschlüsselungstabelle, die alle Zeichen des maschinenlesbaren Codes (X′00′ bis X′FF′) enthält.

Hinter dem Originalzeichen ist der Kurzcode und die Art der Verschlüsselung gespeichert.

Aufteilung des Kurzcode-Zeichens:

Bit 1 = 1 Keine Zeichenkomprimierung für dieses Zeichen vorgesehen
Bit 2 = 1 (Bit 1 und 3 = 0) 5-Bitmode-Verschlüsselung
Bit 3 = 1 (Bit 1 und 2 = 0) 4-Bitmode-Verschlüsselung
Bit 3 und 4 = 1 (Bit 1 und 2 = 0) 2-Bitmode-Verschlüsselung

Sonderbedingung für die Zeichen, die im 4- und 5-Bitmode den gleichen Code erhalten:

Bit 1 = 0
Bit 2 = 1
Bit 3 = 1
Bit 4 = 0 oder 1
Bit 5 bis 8 enthält den Verschlüsselung-Kurzcode des jeweiligen Zeichens.

Die ausgewählten Originalzeichen aus der Parm-Eintragung werden mittels Programmlogik in diese 512 Byte große Tabelle gebracht und wie schon vorhergehend beschrieben, nach dem Stellenwert innerhalb der Parm-Eintragung verschlüsselt.

Besonderheiten bei Komprimierung von IMS-Datenbanken, VSAM-Dateien, etc.

Zur Komprimierung dieser Dateien kann extern der Zeichensatz nicht bestimmt werden. Die zur Komprimierung gelangenden Zeichen sind in der 512-Byte umfassenden Verschlüsselungstabelle im Komprimierungs-Dekomprimierungsmodul fest verankert.

Außerdem wird zur Verarbeitung dieser Datein ein besonderes Modul benötigt, das den Gegebenheiten des jeweiligen Subsystems angepaßt ist. (z. B. IMS, DB2, Fast Path, VSAM etc.)

Verarbeitung

Die eigentliche Komprimierung der Daten wird sowohl in der Eingabe als auch die Ausgabe byteweise vorgenommen.

Jedes Byte der Eingabedatei wird in der 512 Byte umfassenden Verschlüsselungstabelle überprüft, welcher Bitmode für diese Bytedarstellung vorgesehen ist.

Diese werden in Zeichenstrings zusammengefaßt und mit einem Vorspannbyte versehen, (im 5-Bitmode 1 Vorspannbit), das alle Informationen zur Entschlüsselung enthält. (Beispiele: Bitmode, Einzelzeichen, Doppelzeichen etc.) Der genaue Code dieser Vorspannbits kann der Anlage entnommen werden.

Verschlüsselung im 5-Bitmode

Alle Zeichen, die im 5-Bitmode verschlüsselt werden, sind zu einem String von 3 Zeichen zusammengefaßt. Diese 3 Zeichen benötigen in der Ausgabe 3 Bytes. Aus 24-Bit-Eingabecode sind nach der Komprimierung nur noch 16 Bit Ausgabecode vorhanden.

Dieser setzt sich wie folgt zusammen:

Bit 01 Vorspannbit für 5-Bitmode (Wertigkeit immer ′1′)
Bit 02-06 Zeichen 1
Bit 07-11 Zeichen 2
Bit 12-16 Zeichen 3

Besteht der Zeichenstring im 5-Bitmode aus weniger als 3 Zeichen, so werden diese Zeichen als verschlüsselte Einzelzeichen (mit entsprechendem Vorspann) ausgegeben.

Eine Unterbrechung des jeweiligen Bitmodes tritt dann auf, wenn in der Eingabe das Zeichen zur Verarbeitung kommt, das in einem anderen Bitmode für die Ausgabe gegenüber dem vorhergehenden Zeichen dargestellt wird.

4-Bitmode-Verarbeitung

Defaultmäßig wird dieser Bitmode für die Zeichen 0-9 mit einigen Sonderzeichen und dem Füllbyte X′40′ benutzt. Je nach Auswahl in der Parm-Eintragung können jedoch alle 256 Zeichenkombinationen angegeben werden. Der Aufbau dieses Zeichenstrings setzt sich wie folgt zusammen.

Die maximale Länge dieses Strings ist auf 9 Byte beschränkt. Max. 8 Bytes werden zur Datenspeicherung benutzt, wobei für jedes komprimierte Zeichen 4 Datenbits benötigt werden. Ab einer Stringlänge von 4 Bytes enthält der Vorspann einen Zähler, der die Anzahl der Bytes enthält, die nach dem Vorspann folgen. Bei ungerader Zeichenanzahl wird aus Performancegründen das letzte Halbbyte nicht benutzt.

Sonderbedingungen gelten bei Strinlängen bis einschließlich 2 Bytes. Stringlängen von einem und zwei Zeichen werden als Einzelzeichen ausgegeben, bei drei Zeichen wird ein besonderer String von 2 Bytes erstellt.

Die Auswahl und die Länge des jeweils zutreffenden Strings wird durch die Programmlogik bestimmt.

Folgen in der Eingabe Zeichen, die nicht mehr in diesem Bitmode darstellbar sind, werden alle bis zu diesem Zeitpunkt angesammelten Character für diesen Bitmode nach oben aufgeführtem Schema ausgegeben.

2-Bitmode-Verarbeitung

Eine besonders hohe Verdichtung wird in diesem Bitmode erreicht. In 2 Byte Ausgabe werden 6 Byte Eingabe untergebracht, sofern 6 Zeichen hintereinander diesem Bitmode zugeordnet werden können. Die Verdichtungsrate liegt hier bei 66%. Ein Anwendungsgebiet sind dezimal gepackte Felder, die auf NULL gesetzt sind. In der Parm-Eintragung ist in diesem Fall zwischen Stelle 1-4 das Zeichen X′00′, X′0C′ oder X′0F′ zu definieren.

Kommen die 6 Zeichen in Folge für diesen Bitmode nicht zustande erfolgt automatisch per Programmlogik die Ausgabe im 4-Bitmode.

Aufbau der 2 Bytes:

Bit 01-04 Steuerinformation
Bit 05-06 Zeichen 1
Bit 07-08 Zeichen 2
Bit 09-10 Zeichen 3
Bit 11-12 Zeichen 4
Bit 13-14 Zeichen 5
Bit 15-16 Zeichen 6

Wiederholungszeichenspeicherung

Zeichenwiederholungen werden von bis zu 128 Eingabezeichen auf 2 Ausgabebytes reduziert.

Abhängig von der Wahl des jeweiligen Bitmodes variiert die max. Anzahl der Zeichenwiederholungen.

4-Bitmode max. 128 Wiederholungen möglich
5-Bitmode max. 64 Wiederholungen möglich
8-Bitmode max. 8 Wiederholungen möglich
2-Bitmode (wird im 4-Bitmode dargestellt)

Aufbau der 16 Bits für Zeichenwiederholungen siehe Steuerbitblatt.

Einzelzeichenspeicherung für 4-5- und 8-Bitmode

Die Einzelzeichenspeicherung incl. der Steuerzeichen wird in 8 Bits, im 8-Bitmode in 16 Bits vorgenommen. Aufbau und Beschreibung siehe Steuerbitblatt.

Übersicht der Steuerbits

Arbeitsweise des 64-Zeichen-Code

Außer nachfolgend aufgeführten Abweichungen entspricht die Arbeitsweise dem vorhergehend ausführlich beschriebenen 48-Zeichen-Code.

Anzahl der Bitmodes

a) 5-Bitmode (2 × 32 Zeichen).
b) 8-Bitmode (keine Veränderung des Originalzeichens).

Aufbau der Parm-Eintragung, Steuerkarte oder Festdefinition in Verschlüsselungs- und Entschlüsselungsprogramm:
Parm-Stelle
01-32 1. 5-Bitmode
	33-64 2. 5-Bitmode

Die Doppelvergabe von Zeichen in den zwei 5-Bitmodes entspricht der Arbeitsweise im 4- und 5-Bitmode (bereits beschrieben).

Aufteilung des Kurzcodezeichens in der 512 Byte umfassenden Verschlüsselungstabelle

Bit 1 = 1 (keine Zeichenkomprimierung für dieses Zeichen vorgesehen)
Bit 2 = 1 erste 5-Bitmode-Verschlüsselung
Bit 3 = 1 zweite 5-Bitmode-Verschlüsselung
Bit 4-8 Verschlüsselungs-Kurzcode

Verschlüsselung im 5-Bitmode

Bit 01-02 Vorspannbits (Steuerbits)
Bit 03- · · Dateninformation (Die Länge des Strings kann erst nach Praxistests bestimmt werden)

Die Arbeitsweise entspricht dem 5-Bitmode in der 48-Zeichen-Verarbeitung.

Übersicht der Steuerbits (64-Zeichencode)

Arbeitsweise im Computer

Vorstehende Idee ist bereits als Unterroutine testweise in IBM Großrechner der 370 Serie unter dem Betriebssystem MVS/XA (umgesetzt in der Programmiersprache Assembler) erfolgreich gelaufen.

Über Standard-Lese- und Schreibroutinen werden die entsprechenden Daten meiner Komprimierungs- bzw. Dekomprimierungsroutine zur Verfügung gestellt.

Verdichtung und Verschlüsselung

Vor der Ablage der Daten auf externe Datenträger werden die entsprechenden Testdaten von meinem Modul in der Weise verdichtet, daß ich bei z. Z. 48 Zeichen den Zeichencode von standardmäßig 8 Bit je Zeichen auf maximal 5 Bit je Zeichen verändere und gleichzeitig Redundanzen beseitige.

Somit belegen die geschriebenen Informationen auf den externen Datenträgern (z. B. Band, Platten, Laufwerke, Massenspeicher etc.) nur noch 20-60% des Platzes der ohne Einsatz meiner Komprimierungssoftware notwendig gewesen wäre.

In der Fernübertragung sind die eingesparten Kosten, ausgehend von einem auf diese Weise verminderten Datenvolumen von 40-80% ebenfalls nicht unerheblich.

Durch die Tatsache, daß ich die kleinste Einheit, das Zeichen selbst komprimiere, entfällt die aufwendige und rechnerzeitintensive Übersetzungstabellenerstellung.

Auch die Benutzung von Standard-Übersetzungstabellen zum Verdichten und Entschlüsseln verdichteter Daten benötigt wesentlich mehr Rechnerzeit als meine Methode.

Die Verdichtungsrate ist bei beiden Methoden fast identisch.

Verarbeitung verdichteter Daten

Vor der Weiterverarbeitung der Daten wird der verdichtet abgelegte Datensatz mit Standard-Software gelesen, meinem Modul zur Verfügung gestellt und wieder in den ursprünglichen Standard- Maschinencode transformiert. Dies alles geschieht mit geringstem Rechnerzeitaufwand, wobei die Entschlüsselung eine um ca. 45% verminderte Rechnerzeit gegenüber der Verschlüsselung benötigt.

Einsetzbar ist diese Methode auch zur Komprimierung von Daten in Datenbanksystemen (DL/1 DB2 etc.), da lediglich Zeichen für Zeichen zur Verdichtung gelangt.

Von den im 8-Bitmode möglichen 256 unterschiedlichen Zeichenkombinationen werden z. Z. von mir 48 Zeichen verdichtet. (In einer verbesserten Version sind 64 Zeichen geplant.) Zur Abdeckung von Textdaten reicht dieser Zeichensatz voll aus.

Die restlichen Zeichen werden wie bisher, unverdichtet im Originalcode auf den entsprechenden Speichermedien abgelegt. Lediglich die Redundanzien werden eliminiert.

Besonderheiten Datenschutz vor unbefugter Verarbeitung

Der Benutzer kann, wenn er seine Texte und Daten vor der Allgemeinheit schützen will oder dazu gezwungen ist, seinen persönliche Zeichenauswahl, die z. Z. 48 Zeichen umfaßt, dem Verschlüsselungsprogramm mittels eines Parameters oder Steuerkarte mitteilen.

Es ist unbedingt darauf zu achten, daß die gleiche Zeichenauswahl und Reihenfolge bei der Ver- und Entschlüsselung benutzt wird, ansonsten sind die verschlüsselten Daten nicht mehr entschlüsselbar.

Die Möglichkeiten, den vom Benutzer vergebenden Code zur Entschlüsselung der verschlüsselten Daten heranzuziehen, ist praktisch durch unbefugte Dritte nicht möglich. Es gibt ((48X 47X 46X 45 . . . usw. bis X2) Dezimalzahl mit 62 Nullen) unterschiedliche Möglichkeiten.

Speziell militärische oder streng geheime Texte sind für Dritte, (eingeschlossen den Programmautor) hiermit nicht mehr interpretierbar.

Einzig die Ausgabe der richtigen Zeichenauswahl in der Reihenfolge, die auch bei der Komprimierung verwendet wurde, führt zu dem Entschlüsseln der Daten.

Weiterentwicklungen (geplant zum Teil schon realisiert)

Ein 64 Zeichen umfassender Code ist bereits entwickelt und in der Testphase. Die Funktion entspricht dem 48 Zeichencode.

Eine vertikale Blockkomprimierung (Eliminierung der Redundanzen im Vertikalbereich unter Einschluß der Zeichenkomprimierung) ist in der Planung.

Mit dieser Methode sind noch höhere Verdichtungsergebnisse zu erwarten.

Claims

Mein Patentanspruch ist gekennzeichnet durch benutzerorientierte Verschlüsselung von Computerdaten gegen unbefugte Nutzung durch Dritte, unabhängig vom jeweiligen Computersystem, mit gleichzeitiger Komprimierung (Verdichtung) durch ein eigens zu diesem Zwecke entwickelten Verfahren mit Einsparungen zwischen 50 und 80 Prozent auf den Unrsprungstext.
Geschützt werden soll die Idee und damit verbunden zwangsweise die Verschlüsselungstechnik, die diese Verschlüsselung mit gleichzeitiger Datenkomprimierung durchführt. Die Detailunterlagen, die diese Technik beschreiben, liegen ihnen bereits vor. Kennzeichnender Teil:Die Verschlüsselung ist in alleine in der Verantwortung des Benutzers. Alleine die individuelle Anordnung von 48 unterschiedlichen Zeichen (z. B. A-Z und 0-9) ist bestimmend für den Datenschutz gegen unbefugte Nutzung durch Dritte. Die Wahrscheinlichkeit von unbefugter dritter Seite die richtige Kombination zu finden, ist nach folgender Formel auszurechnen. 48 unterschiedliche Eintragungen sind insgesamt zu tätigen. In jeder Eintragung kann 1 Zeichen von 256 möglichen Zeichen ausgewählt werden.
Die Wahrscheinlichkeit, die richtige Verschlüsselungs-Kombination zu finden, ist eine fast unendliche Dezimalzahl.Kennzeichnender Teil des UnteranspruchesMein Patentanspruch ist dadurch gekennzeichnet, daß sich noch kein Verfahren auf dem Markt befindet, welches die in Computersystemen befindlichen Daten, steuerbar durch jeden Anwender, absolut sicher vor ungefugter Nutzung durch Dritte schützt. Gleichzeitig werden Verdichtungsraten mit einem eigens von mir entwickelten Verfahren erreicht, die mit denen des Huffmann-Algorithmus vergleichbar ist, jedoch verbraucht meine Methode wesentlich weniger Rechnerzeit. Des weiteren sind bei meinem Verfahren gegenüber der Huffmann- Methode bei gleichen Verdichtungsergebnissen keine vorhergehenden Analyseläufe mit nachfolgenden Übersetzungstabellen-Erstellungen notwendig, da meine Methode unabhängig von Tabellen arbeitet und nicht nach dem Häufigkeitsprinzip von auftretenden Zeichen im Quelltext aufgebaut ist.