DE69421966T2

DE69421966T2 - Verfahren und System zum Suchen komprimierter Daten

Info

Publication number: DE69421966T2
Application number: DE69421966T
Authority: DE
Inventors: Marlin Jay Eller
Original assignee: Microsoft Corp
Current assignee: Microsoft Corp
Priority date: 1993-06-30
Filing date: 1994-06-28
Publication date: 2000-04-27
Anticipated expiration: 2014-06-29
Also published as: JPH0756955A; CA2125337A1; US5737733A; EP0633537B1; DE69421966D1; EP0633537A3; EP0633537A2; JP3234104B2

Description

Technisches Gebiet

Diese Erfindung betrifft allgemein ein Computer-Verfahren und -System zum Suchen von Daten in einem Computer.

Hintergrund der Erfindung

Das elektronische Sammeln und Speichern von Informationen stellt in vielen Umfeldern Probleme dar. Wenn beispielsweise Daten von einem Informationsdienst zu einem fernliegenden Computer heruntergeladen werden, werden große Datenmengen in kurzer Zeit übertragen. Der fernliegende Computer speichert typischerweise diese Daten in einem Computerspeicher zur späteren Verarbeitung. Um die von dem Informationsdienst übertragene Datenmenge, die von dem fernliegenden Computer gespeicherte Datenmenge und die zur Übertragung der Daten erforderliche Zeit zu verringern, komprimiert der Informationsdienst typischerweise die Daten, bevor die Daten zu dem fernliegenden Computer übertragen werden.
Komprimierungsverfahren fallen allgemein in zwei Gruppen: Komprimierungsverfahren mit fester Länge und Komprimierungsverfahren mit variabler Länge. Die Komprimierungsverfahren mit fester Länge stellen jedes Symbol durch die gleiche Anzahl Bits dar. Beispielsweise ist der Typ LZ 78 des Ziv-Lempel Codes ein Komprimierungsverfahren mit fester Länge. Komprimierungsverfahren mit variabler Länge stellen jedes Symbol durch eine sich ändernde Anzahl Bits dar. Komprimierungsverfahren mit variabler Länge ordnen typischerweise kürzere Code den häufiger verwendeten Symbolen zu. Beispielsweise ist der gut bekannte Morse-Code ein Komprimierungsverfahren mit veränderlicher Länge.
Bestehende Systeme wandeln den komprimierten Code, der die Daten darstellt, in ihre unkomprimierte Form zurück und verarbeiten dann die unkomprimierten Daten, wenn es erwünscht ist, die Daten zu durchsuchen. Die Suche durch nichtkomprimierte Daten ist aus "The Art of Computer Programming - Volume 3/Sorting and Searching" von Donald E. Knuth (ISBN 0-201-03803-X) bekannt. Dies verlangt einen zeitaufwendigen Schritt zur Entkomprimierung.
Es wäre wünschenswert, ein Suchverfahren zur Verfügung zu haben, das wirksameres Suchen von Daten ermöglicht, die komprimiert worden sind.

Zusammenfassung der Erfindung

Die vorliegende Erfindung schafft ein Verfahren und ein System zum Durchsuchen eines komprimierten Dokuments, wie es in den Ansprüchen 1 und 2 definiert ist.

Kurze Beschreibung der Zeichnungen

Fig. 1 ist ein Blockdiagramm eines Systems, das die vorliegende Erfindung zum Suchen von Zeichenreihen in einem komprimierten Dokument verkörpert, wobei die Zeichenreihen in einem komprimierten Code gespeichert sind.
Fig. 2 ist ein Blockdiagramm eines Probendokuments.
Fig. 3 ist ein Blockdiagramm der nichtkomprimierten Code des Probendokuments.
Fig. 4 ist ein Blockdiagramm einer Suchanforderung, die auf eine Anzeigeeinrichtung für das System der Fig. 1 angezeigt ist.
Fig. 5 ist ein Blockdiagramm der Zeichenreihe, die von der Suchanforderung einem Parser-Vorgang unterzogen wurde.
Fig. 6 ist ein Blockdiagramm eines komprimierten Codes variabler Länge für das System der Fig. 1.
Fig. 7A ist ein Blockdiagramm eines Wörterbuchs mit komprimierten Coden variabler Länge für einen Host-Computer des Systems der Fig. 1.
Fig. 7B ist ein Blockdiagramm eines Wörterbuchs mit komprimierten Coden variabler Länge für einen fernliegenden Computer des Systems der Fig. 1.
Fig. 8 ist ein Blockdiagramm eines komprimierten Dokuments mit komprimierten Coden variabler Länge, wie es in dem Speicher des Systems der Fig. 1 gespeichert ist.
Fig. 9 ist ein Blockdiagramm komprimierter Code variabler Länge, die die Zeichenreihe von der Suchanforderung darstellen.
Fig. 10, 11, 12 und 13 sind Blockdiagramme, die die Suche nach der Suchanforderung in dem komprimierten Code variabler Länge darstellen.

Ausführliche Beschreibung der Erfindung

Wie es in Fig. 1 gezeigt ist, ist die vorliegende Erfindung in einem Computer-System 100 und in einem in dem Computer-System ausgeführten Verfahren verkörpert, das Zeichenreihen in einem nichtkomprimierten Dokument 101 von einem nichtkomprimierten Code in einen komprimierten Code umwandelt, die Zeichenreihen in ihrem komprimierten Code in einem komprimierten Dokument 103 in Reaktion auf die Anforderung eines Benutzers speichert und Zeichenreihen in dem komprimierten Dokument 103 sucht, während die Zeichenreihen in ihrem komprimierten Code gespeichert bleiben.

Das System

Das Computer-System 100 umfaßt eine Tastatur 105 für den Host-Computer, eine Maus 107 für den Host-Computer einen Host-Computer 109, eine Tastatur 111 für den fernliegenden Computer, eine Maus 113 für den fernliegenden Computer, einen fernliegenden Computer 115 und einen Kommunikationskanal 117, um Daten zwischen dem Host-Computer 109 und dem fernliegenden Computer 115 zu übertragen. In dem Host- Computer 109 können Dokumente in ihrer nichtkomprimierten Form gespeichert werden, und dann, wenn es von dem fernliegenden Computer 115 verlangt wird, können die Dokumente komprimiert und über den Kommunikationskanal 117 zu dem femliegenden Computer 115 übertragen werden. Bei dem fernliegenden Computer 115 müssen die Dokumente nicht dekomprimiert werden, bevor eine Abfrage in bezug auf die Dokumente verarbeitet werden kann.
Der Host-Computer 109 umfaßt des weiteren eine zentrale Verarbeitungseinheit 119, eine Eingabe/Ausgabeeinheit 121 und einen Speicher 123 für den Host-Computer. Des weiteren speichert der Speicher 123 des Host-Computers ein Wörterbuch 125, das dekomprimierte Dokument 101, einen Parser 127, wenn in der zentralen Verarbeitungseinheit 119 ausgeführt wird, eine Komprimiereinrichtung 129 und das komprimierte Dokument 103. Der Parser 127 wiedergewinnt Zeichenreihen von dem dekomprimierten Dokument 101. Die wiedergewonnenen Zeichenreihen von dem dekomprimierten Dokument 101 sind in dem dekomprimierten Code. Ein typischer dekomprimierter Code ist der ASCII-Code, der jedes Zeichen als eine Reihe von 8 Bit mit Nullen und Einsen darstellt. Die Komprimiereinrichtung 129 wandelt, wenn in der zentralen Verarbeitungseinheit 119 ausgeführt wird, die nichtkomprimierte Zeichenreihe in eine komprimierte Zeichenreihe um, wobei das Wörterbuch 125 verwendet wird. Bei einer Ausführungsform ist die komprimierte Zeichenreihe als ein komprimierter Code variabler Länge dargestellt. Die Komprimiereinrichtung 129, wenn sie in der zentralen Verarbeitungseinheit 119 arbeitet, speichert dann die komprimierte Zeichenreihe in dem komprimierten Dokument 103.
Ein Beispiel der allgemeinen Arbeitsweise des Computer-Systems 100 (Fig. 1) stellt dar, wie die vorliegende Erfindung nach Zeichenreihen in dem komprimierten Dokument 149 auf dem fernliegenden Computer 115 sucht, während die Zeichenreihen in dem komprimierten Code der vorliegenden Erfindung gespeichert sind.
Eine Ausführungsform der vorliegenden Erfindung wandelt Zeichenreihen in einem nichtkomprimierten Dokument 101 von einem nichtkomprimierten Code in einen komprimierten Code variabler Länge um, speichert die Zeichenreihen in ihrem komprimierten Code variabler Länge in einem komprimierten Dokument 103 und sucht Zeichenreihen in dem komprimierten Dokument 103, während die Zeichenreihen in ihrem kompri mierten Code variabler Länge bleiben. Fig. 6 zeigt den bevorzugten komprimierten Code variabler Länge der vorliegenden Erfindung, der eine Längenanzeige 2601 und einen komprimierten Code 2603 umfaßt Die Längenanzeige 2601 gibt die Anzahl der Bits in dem komprimierten Code 2603 an. Beispielsweise enthält die Längenanzeige 2601, die in Fig. 6 gezeigt ist, eine Binärzahl, die dem Dezimalwert drei äquivalent ist, was angibt, daß der komprimierte Code 2603, der in Fig. 6 dargestellt ist, eine Länge von drei Bit hat.
Besondere Ausführungsbeispiele unter Verwendung komprimierter Code variabler Länge:
Ein besonderes Beispiel, das die Fig. 2-3, 4-5 und 6-13 verwendet, hilft, das bevorzugte Verfahren und System zum Suchen komprimierter Code variabler Länge des komprimierten Dokuments 103 darzustellen. Typischerweise gibt ein Benutzer des fernliegenden Computers 115 eine Anforderung ein, das nichtkomprimierte Dokument 101 von dem Host-Computer 109 zu dem fernliegenden Computer 115 zu übertragen. Fig. 2 zeigt das nichtkomprimierte Dokument 101, das auf der Anzeigeeinrichtung 163 des Host-Computers angezeigt ist. Fig. 3 zeigt das nichtkomprimierte Dokument 101, wie es in dem Speicher 123 des Host-Computers gespeichert ist.
In Antwort auf die Übertragungsanforderung ruft der Host-Computer 109 die Komprimierungseinrichtung 129 auf, die das nichtkomprimierte Dokument 101 in das komprimierte Dokument 103 umwandelt, das komprimierte Code variabler Länge enthält. Um das nichtkomprimierte Dokument 101 in das komprimierte Dokument 103 umzuwandeln, ruft die Komprimierungseinrichtung 129 den Parser 127 auf, der die nichtkomprimierten Zeichenreihen parsermäßig verarbeitet, die in dem nichtkomprimierten Dokument 101 gespeichert sind, und schickt die parsermäßig verarbeiteten Zeichenreihen zurück zu der Komprimierungseinrichtung 129.
Die Komprimierungseinrichtung 129 erhält von dem Parser 127 die parsermäßig verarbeitete Zeichenreihe in ihrem nichtkomprimierten Code. Dann sucht die Komprimierungseinrichtung 129 einen zu dem nichtkomprimierten Code passenden Code in dem Wörterbuch 125 (Fig. 2A) und wiedergewinnt von dem Wörterbuch 125 einen komprimierten Code variabler Länge, der dem zugehörigen nichtkomprimierten Code zuge ordnet ist. Schließlich speichert die Komprimierungseinrichtung 129 den wiedergewonnenen, komprimierten Code variabler Länge von dem Wörterbuch 125 in dem komprimierten Dokument 103.
Nachdem jede Zeichenreihe von dem nichtkomprimierten Dokument 101 in den komprimierten Code variabler Länge der vorliegenden Erfindung umgewandelt und in dem komprimierten Dokument 103 gespeichert worden ist, überträgt der Host-Computer 109 das komprimierte Dokument 103 von dem Host-Computer 109 über die Kommunikationskanäle 117 zu dem fernliegenden Computer 115, wo er es als komprimiertes Dokument 149 speichert. Fig. 8 zeigt das komprimierte Dokument 149, wie es in dem Speicher 143 des fernliegenden Computers gespeichert ist.
Ein Benutzer des fernliegenden Computers 115 gibt typischerweise eine Abfrage ein, um Informationen über das komprimierte Dokument 149 wiederzugewinnen. Fig. 4 stellt eine typische Abfrage-Anforderung 165 dar, die auf der Tastatur 111 des fernliegenden Computers eingegeben und später in dem Speicher 143 des fernliegenden Computers gespeichert wurde. Die Abfrage-Anforderung 165 fragt "which documents contain the word 'ready' ?". In Antwort auf den Erhalt der Abfrage-Anforderung 165 ruft der fernliegende Computer 115 die Abfrage-Einrichtung 147 auf. Die Abfrage-Einrichtung 147 wiedergewinnt das Wort, nach dem gesucht werden soll, aus der Abfrage-Anforderung 165; in diesem Fall wiedergewinnt die Abfrage-Einrichtung 147 das Wort "ready" aus der Abfrage-Anforderung 165 (siehe Fig. 5).
Als nächstes ruft die Abfrage-Einrichtung 147 das Umwandlungsprogramm 161 auf, das das Wort "ready" in komprimierten Code variabler Länge der vorliegenden Erfindung umwandelt. Das Umwandlungsprogramm 161 durchsucht das Wörterbuch 145, um zu sehen, ob es zu dem Wort "ready" ein passendes gibt. Wenn das Umwandlungsprogramm 161 bestimmt, daß das Wörterbuch 145 das Wort "ready" nicht enthält, sucht es das Wörterbuch 145 nach den ersten zwei Buchstaben des Wortes "ready" durch, d. h., die Zeichenreihe "re". Wenn das Umwandlungsprogramm 161 bestimmt, daß die Zeichenreihe "re" in dem Paar-Abschnitt des Wörterbuchs 145 gespeichert ist, liest es den komprimierten Code 0110000010 aus, der mit der Zeichenreihe "re" verbunden ist. Das Umwandlungsprogramm 161 speichert dann den wiedergewonnenen komprimierten Code in dem Speicher 143 des fernliegenden Computers (siehe Fig. 9).
Als nächstes fernliegend das Umwandlungsprogramm 161 die ersten zwei nicht verarbeiteten Zeichen aus dem Wort "ready", d. h., die Zeichenreihe "ad". Wenn das Umwandlungsprogramm 161 bestimmt, daß die Zeichenreihe "ad" in dem Paar-Abschnitt 153 des Wörterbuchs 145 gespeichert ist, gibt es den komprimierten Code 10100000000010 zurück, der mit der Zeichenreihe "ad" verbunden ist. Das Umwandlungsprogramm 161 speichert dann den wiedergewonnenen komprimierten Code in dem Speicher 143 des fernliegenden Computers (siehe Fig. 9).
Schließlich bestimmt das Umwandlungsprogramm 161, das nur ein nicht verarbeitetes Zeichen von dem Wort "ready" übrig ist, d. h., das Zeichen "y". Das Umwandlungsprogramm 161 wiedergewinnt den komprimierten Code 1111000000000000100, der in dem ASCII-Abschnitt 155 des Wörterbuchs 145 gespeichert ist. Das Umwandlungsprogramm 161 speichert den wiedergewonnenen komprimierten Code in dem Speicher 143 des fernliegenden Computers (siehe Fig. 9).
Nach Abschluß der Umwandlung des Worts "ready" in den komprimierten Code variabler Länge entsprechend der vorliegenden Erfindung ruft die Abfrage-Einrichtung 147 das Suchprogramm 159 auf, das das komprimierte Dokument 149 nach dem Auftreten des komprimierten Codes durchsucht, der das Wort "ready" darstellt. Das Suchprogramm 159 wiedergewinnt zuerst den komprimierten Code für die Zeichenreihe "re" (Fig. 9). Dann bestimmt das Suchprogramm 159 die Länge des komprimierten Codes 2901 für die Zeichenreihe "re" aus dem Wert der Längenanzeige 2903 für die Zeichenreihe "re". In diesem Fall gibt die Längenanzeige 2903 an, daß der komprimierte Code 2901 eine Länge von 6 Bit hat. Das Suchprogramm 159 setzt dann eine Anzeige mit dem Namen Match-ptr auf den ersten komprimierten Code variabler Länge in dem komprimierten Dokument 149 (siehe Fig. 10).
Indem die Länge des komprimierten Codes 2901 bestimmt wird, muß das Suchprogramm 159 nur den komprimierten Code 2901 gegenüber komprimierten Coden in dem komprimierten Dokument 149 mit identischen Längen vergleichen. Das Suchprogramm 159 vergleicht dann den Wert der Längenanzeige 3001 für die Zeichenfolge "Firstcap" mit dem Wert der Längenanzeige 2903 für die Zeichenreihe "re". Da der Wert der Längenanzeige 2903 gleich sechs ist, und der Wert der Längenanzeige 3001 gleich zwölf ist, bestimmt das Suchprogramm 159, daß der komprimierte Code 2901 kein passender für den komprimierten Code 3003 ist. Deshalb erhöht das Suchprogramm 159 Match-ptr und vergleicht die Längenanzeige 2903 der Zeichenreihe "re" mit den Längenanzeigen der Zeichenreihen, auf die durch Match-ptr gezeigt wird, bis eine Übereinstimmung gefunden ist. Fig. 11 stellt die Position von Match-ptr innerhalb des komprimierten Dokuments 149 dar, wenn eine Übereinstimmung mit der Längenanzeige 2903 für die Zeichenreihe "re" auftritt.
Das Suchprogramm 159 vergleicht dann den kromprimierten Code 2901 für die Zeichenreihe "re" mit dem komprimierten Code 3103 für die Zeichenreihe, auf die von Match-ptr gezeigt wird, und bestimmt, daß eine Übereinstimmung gefunden wurde.
Nachdem nun eine Übereinstimmung für die Zeichenreihe "re" gefunden worden ist, geht das Suchprogramm 159 weiter, um zu bestimmen, ob die nächsten zwei komprimierten Code variabler Länge, die in dem komprimierten Dokument 149 gespeichert sind, zu der Zeichenreihe "ad" bzw. der Zeichenreihe "y" passen. Das Suchprogramm 159 erhöht Match-ptr und vergleicht die Längenanzeige 2905 (Fig. 9) für die Zeichenreihe "ad" mit der Längenanzeige 3201 (Fig. 12) für die Zeichenreihe, auf die von Match- ptr gezeigt wird. Da der Wert der Längenanzeige 2905 gleich dem Wert der Längenanzeige 3201 ist, vergleicht das Suchprogramm 159 den komprimierten Code 2907 der Zeichenreihe "ad" mit dem komprimierten Code 3203 für die Zeichenreihe, auf die von Match-ptr gezeigt wird.
Da eine Übereinstimmung zwischen den komprimierten Coden auftritt, erhöht das Suchprogramm 159 Match-ptr und vergleicht die Längenanzeige 2909 der Zeichenreihe "y" mit der Längenanzeige 3301 für die Zeichenreihe, auf die von Match-ptr gezeigt wird (Fig. 13). Da der Wert der Längenanzeige 2909 für die Zeichenreihe "y" gleich dem Wert der Längenanzeige 3301 für die Zeichenreihe ist, auf die von Match-ptr gezeigt wird, vergleicht das Suchprogramm 159 den komprimierten Code 2911 für die Zeichenreihe "y" mit dem komprimierten Code 3303 für die Zeichenreihe, auf die von Match-ptr gezeigt wird. Da eine Übereinstimmung auftritt, teilt die Abfrage-Einrichtung 147 dem Initiator der Anforderung mit, daß das komprimierte Dokument 149 das Wort "ready" enthält.
Der Durchschnittsfachmann auf dem Gebiet wird verstehen, daß andere System-Architekturen verwendet werden können, das Verfahren der oben beschriebenen vorliegenden Erfindung auszuführen, wobei ein eigenständiger Computer ohne Beschränkung mit umfaßt wird, der ein nichtkomprimiertes Dokument komprimiert und eine Suche bei dem komprimierten Dokument vornimmt.
Man erkennt, obgleich eine bestimmte Ausführungsform der Erfindung hier zum Zweck der Darstellung beschrieben worden ist, verschiedene Abänderungen vorgenommen werden können, ohne von dem Bereich der Erfindung abzuweichen. Demgemäß ist die Erfindung außer durch die beigefügten Ansprüche nicht beschränkt.

Claims

1. Vorrichtung zum Suchen eines komprimierten Dokuments, das aus einer Mehrzahl komprimierter Code variabler Länge besteht, die ein nichtkomprimiertes Dokument darstellen, wobei jeder komprimierte Code variabler Länge eine Längenanzeige aufweist, die die Länge des komprimierten Codes variabler Länge angibt, wobei die Vorrichtung umfaßt:

eine Einrichtung zum Erhalten einer Abfrage-Anforderung in einem nichtkomprimierten Code;

eine Einrichtung zur Umwandlung der Abfrage-Anforderung aus dem nichtkomprimierten Code in eine umgewandelte Abfrage-Anforderung von einem der Mehrzahl komprimierte Code variabler Länge;

eine Einrichtung zur Bestimmung der Länge der umgewandelten Abfrage-Anforderung;

Einrichtung zum Vergleichen der umgewandelten Abfrage-Anforderung mit den komprimierten Coden variabler Länge des komprimierten Dokuments, um zu bestimmen, ob die komprimierten Code variabler Länge des komprimierten Dokuments zu der umgewandelten Abfrage-Anforderung passen, wobei die umgewandelte Abfrage-Anforderung nur mit jenen komprimierten Coden variabler Länge verglichen wird, deren Länge gleich der Länge der umgewandelten Abfrage- Anforderung ist, und

eine Einrichtung zum Antworten auf die Entscheidung, daß es eine Übereinstimmung zwischen den komprimierten Coden variabler Länge des Dokuments und der umgewandelten Abfrage-Anforderung gibt.

2. Verfahren zum Suchen eines komprimierten Dokuments, das aus einer Mehrzahl komprimierter Code variabler Länge besteht, die ein nichtkomprimiertes Dokument darstellen, wobei jeder komprimierte Code variabler Länge eine Längenanzeige aufweist, die die Länge des komprimierten Codes variabler Länge angibt, wobei das Verfahren umfaßt:

Erhalten einer Abfrage-Anforderung in einem nichtkomprimierten Code;

Umwandeln der Abfrage-Anforderung aus dem nichtkomprimierten Code in eine umgewandelte Abfrage-Anforderung von einem der Mehrzahl komprimierte Code variabler Länge;

Bestimmen der Länge der umgewandelten Abfrage-Anforderung;

Vergleichen der umgewandelten Abfrage-Anforderung mit den komprimierten Coden variabler Länge des komprimierten Dokuments, um zu bestimmen, ob die komprimierten Code variabler Länge des komprimierten Dokuments zu der umgewandelten Abfrage-Anforderung passen, wobei die umgewandelte Abfrage-Anforderung nur mit jenen komprimierten Coden variabler Länge verglichen wird, deren Länge gleich der Länge der umgewandelten Abfrage-Anforderung ist, und

Antworten auf die Entscheidung, daß es eine Übereinstimmung zwischen den komprimierten Coden variabler Länge des Dokuments und der umgewandelten Abfrage-Anforderung gibt.