DE19821876A1

DE19821876A1 - Verfahren und System zum Auffinden von Dokumenten im Rechnerverbund

Info

Publication number: DE19821876A1
Application number: DE19821876A
Authority: DE
Inventors: Bernd Lamparter
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1998-05-15
Filing date: 1998-05-15
Publication date: 1999-11-18
Also published as: US6421713B1

Abstract

Die vorliegende Erfindung beschreibt ein Verfahren zum Auffinden von Dokumenten in einem Rechnerverbund. DOLLAR A Dokumente, die erstmals aus dem Internet auf einen Rechnerverbund heruntergeladen werden, werden auf einem zugewiesenen Rechner im Rechnerverbund abgespeichert. Durch Anwendung einer HASH-Funktion über die Dokumenten-Adresse wird ein Rechner im Rechnerverbund ermittelt. Auf diesem Rechner wird die Dokumenten-Adresse und die Rechner-Adresse, auf welchem das Dokument gespeichert ist, abgespeichert. Die HASH-Funktion kann sicherstellen, daß entweder alle Rechner gleichmäßig zur Speicherung der Adressinformation für die im Rechnerverbund abgespeicherten Dokumente in Anspruch genommen werden oder kann auch unterschiedliche Kapazitäten der einzelnen Rechner bei der Speicherung der Adressinformationen berücksichtigen. Bei zukünftigen Anfragen auf ein im Rechnerverbund gespeichertes Dokument, ermittelt die HASH-Funktion aus der Dokumenten-Adresse den zuständigen Rechner. Der zuständige Rechner leitet die Dokumentenanfrage an den Rechner weiter, auf dem das Dokument gespeichert ist. Eine Übertragung des Dokumentes zum Anwender ist daher technisch einfach gewährleistet. Dieses Verfahren stellt sicher, daß Dokumentanfragen immer direkt an den richtigen Rechner im Rechnerverbund adressiert werden. Dadurch werden die Rechner im Rechnerverbund nicht mit unnötigen Dokumentanfragen blockiert.

Description

Die vorliegende Erfindung beschreibt ein Verfahren zum Auffinden von Dokumenten in einem Rechnerverbund insbesondere einem Proxy-Server-Verbund.

Moderne Internetbrowser erlauben das Einschalten eines Proxy-Servers bei der Anforderung von Dokumenten aus dem Internet. Die Proxy-Server werden üblicherweise mit einem Cache ausgestattet, so daß häufig angeforderte Dokumente nicht jedesmal neu aus dem Internet geholt werden müssen. Für große Service-Provider oder Unternehmen bedeutet dies eine enorme Einsparung an Bandbreite bei ihrer Verbindung zum Internet.

Die Caches können auf folgende Arten miteinander verbunden werden:
Parent-Relation: Es gibt mehrere kleine Caches und einen großen, zentralen Cache. Wenn ein Proxy-Server ein angefordertes Dokument nicht selbst im Cache hat, wendet er sich an seinen Parent-Proxy-Server, der das Dokument seinerseits aus seinem Cache oder aus dem Internet holt.
Sibling-Relation: Hat ein Proxy ein Dokument nicht in seinem Cache, so fragt er einen oder mehrere Siblings, ob sie dieses Dokument schon in ihrem Cache haben. Bei einer positiven Antwort holt er das Dokument vom entsprechendem Sibling, andernfalls aus dem Internet.

Diese beiden Verfahren eignen sich sehr gut, falls der Parent-Cache-Proxy nicht überlastet wird bzw. die Anzahl der Siblings überschaubar bleibt. Es ist praktisch nicht sinnvoll z. B. 20 Siblings nach einem Dokument zu fragen. Auch wird der einzelne Parent-Cache überlastet sein, wenn er Anfragen von 20 leistungsfähigen Proxy-Servern bewältigen muß.

Eine weitere Lösung zum Auffinden von Dokumenten bietet das Protokoll CARP von Microsoft. Dieses Protokoll ist auf jedem Proxy-Server installiert und ermöglicht das Auffinden der auf den Proxy-Servern gespeicherten Dokumenten. Hierbei wird die Anfrage des Anwenders über eine HASH-Funktion an einen zuständigen Proxy-Server geroutet, wo auch das Dokument abgespeichert ist. Ein Nachteil dieses Verfahrens besteht darin, daß bei Dokumenten die sich noch nicht im Proxy- Server-Verbund befinden ein zweiter Server unnötigerweise miteinbezogen wird. Von diesem Server müssen die angefragten Dokumente immer auf den vom Anwender angefragten Server übertragen werden.

Es ist daher Aufgabe der vorliegenden Erfindung ein Verfahren und System bereitzustellen, das es ermöglicht, im Rechnerverbund abgespeicherten Dokumente schnell und einfach auffinden zu können.

Diese Aufgabe wird durch die Merkmale des Anspruchs 1, 14 und 15 gelöst.

Weitere bevorzugte Ausführungsformen der vorliegenden Erfindung sind in den Unteransprüchen niedergelegt.

Die vorliegende Erfindung wird an Hand eines bevorzugten Ausführungsbeispieles beschrieben, wobei

Fig. 1 ein Verfahren zum Auffinden von Dokumenten in einem Rechnerverbund zeigt, wie es derzeit nach dem Stand der Technik erfolgt,

Fig. 2A das erfinderische Verfahren an Hand der Eintragung eines Dokumentes in den globalen Index zeigt.

Fig. 2B den Abruf des gewünschten Dokumentes an Hand des erfinderischen Verfahrens zeigt.

Die Grundidee der vorliegenden Erfindung liegt darin, die vorhandenen Proxy-Server gleichzeitig als globalen Cache zu betrachten.

Sobald ein Proxy-Server ein Dokument in seinen Cache aufnimmt, trägt er diese Information in einen global zugänglichen Index ein. Erhält ein anderer Proxy-Server eine Anfrage nach diesem Dokument, so kann er im globalen Index nachfragen und das Dokument aus dem ersten Proxy-Server beziehen.

Zum Aufbau des globalen Index bestehen folgende Möglichkeiten:

Zentral: Ein einzelner Rechner speichert den globalen Index

Nachteile

- Beim Ausfall dieses Rechners ist der Index nicht mehr zugänglich
- Der Rechner oder sein Netzzugang kann leicht zum Bottleneck werden
- Eine Skalierbarkeit mit der Anzahl der Proxy-Server ist nicht gegeben

Verteilt: Auf jedem Proxy-Server wird ein Teil des globalen Index gespeichert

Nachteile

- komplexere Verwaltung des Index
- höhere Ausfallwahrscheinlichkeit, allerdings nur für jeweils einen Teil

Die Aufgabe der vorliegenden Erfindung besteht nun darin, den globalen Index derart zu verteilen, daß immer der richtige Proxy-Server angefragt wird. Dies wird durch eine HASH Funktion erreicht. Dazu muß eine HASH-Funktion definiert werden, die in eindeutiger Weise aus der URL einen der Proxies bestimmt. Dazu werden beispielsweise mehrere Zeichen aus der URL genommen, als Zahlen interpretiert und mit einer mathematischen Funktion verknüpft. Vom Ergebnis wird der Modulo bezüglich der Anzahl der Proxies genommen. Jeder Proxy kann damit nach dem Abspeichern eines Dokumentes die URL einem eindeutigen Proxy zuordnen. Dieser nimmt die URL in seinen Teil des globalen Caches auf. Wird nun bei einem anderen Proxy-Server genau das gleiche Dokument angefragt, so wird er aufgrund der eindeutigen HASH Funktion beim gleichen Proxy-Server nachfragen und von diesem die Adresse des Proxy bekommen, der das Dokument bereits in seinem Cache hat.

Er kann das Dokument direkt beim richtigen Proxy Server abholen.

Fig. 1 zeigt das derzeitig eingesetzte Verfahren wie Dokumente aus dem Internet über einen Proxy-Server-Verbund abgerufen werden. Der Anwender sendet eine Anfrage, die ein bestimmtes Dokument spezifiziert, über einen ihm zugewiesenen Proxy-Server CW3. Der zugewiesene Proxy-Server CW3 fragt die ihm zugewiesenen Proxy-Server CW1, CW2, CW4, CW5 dahingehend ab, ob das angefragte Dokumente auf einem der Proxy-Server vorhanden ist. Hat keiner der Proxy-Server das angefragte Dokument, wird das Dokument aus dem Internet angefordert. Das angeforderte Dokument wird auf dem Proxy- Server CW3 gespeichert und an den Anwender gesendet.

Im Falle, daß das Dokument bereits auf einem der zugewiesenen Proxy-Server gespeichert ist, im vorliegenden Fall ist es CW1, wird das Dokument von diesem Proxy-Server CW1 auf den Proxy-Server CW3 übertragen und vom Proxy-Server CW3 wird das Dokument dem Anwender zur Verfügung gestellt.

Fig. 2A beschreibt das erfinderische Verfahren zum Auffinden von Dokumenten in einem Rechnerverbund insbesondere einem Proxy-Verbund CW1-CW5 für den Fall, daß das angefragte Dokument sich nicht auf einem der Proxy-Server CW1-CW5 befindet.

Der Anwender spezifiziert eine Dokumentenanfrage an Hand einer URL (universal resource locator) und sendet diese an einen ihm zugewiesenen Proxy-Server CW1. Auf jedem der Proxy-Server CW1-CW5 ist eine HASH-Funktion enthalten. Mit dieser Funktion wird aus der URL eindeutig einer der Proxy- Server CW1-CW5 im Proxy-Serververbund bestimmt, auf dem eine Information über die Adresse des Proxy-Servers gespeichert wird, wo das angefragte Dokument gespeichert ist. Im vorliegenden Beispiel ist der Proxy-Server CW4 von der HASH Funktion ausgewählt worden.

Ist auf dem mittels der HASH-Funktion bestimmten Server keine Information über die Adresse eines Servers, auf dem das Dokument gespeichert ist, bedeutet dies, daß keiner der Proxy-Server dieses Dokument gespeichert hat. In diesem Fall muß das Dokument aus dem Internet geholt werden.

Das aus dem Internet geholte Dokument wird auf dem Proxy- Server CW1 gespeichert und der durch die HASH Funktion ausgewählte Proxy-Server CW4 erhält die Adresse des Proxy- Servers CW1, wo das Dokument gespeichert ist. Gleichzeitig wird das Dokument vom Proxy-Server CW1 an den Anwender gesandt.

Fig. 2B beschreibt das erfinderische Verfahren für den Fall, daß sich das angefragte Dokument bereits auf einem der Proxy-Server CW1-CW5 befindet.

Der Anwender spezifiziert eine Dokumentenanfrage an Hand der URL1 und sendet diese an den ihm zugewiesenen Proxy-Server CW3. Der Proxy-Server CW3 bestimmt bzw. errechnet aus URL1 mittels der HASH-Funktion den Proxy-Server CW4 aus dem Proxy-Serververbund.

Da die HASH-Funktion für alle Proxy-Server im Proxy- Serververbund die gleiche ist, muß dies wieder der Proxy- Server CW4 sein. Auf diesem Proxy-Server CW4 und nur auf diesem Proxy-Server ist die Adresse gespeichert, auf welchem Proxy-Server das Dokument selbst gespeichert ist. Im vorliegenden Fall ist es Proxy-Server CW1.

Das angefragte Dokument wird vom Proxy-Server CW1 auf den Proxy-Server CW3 übertragen und dem Anwender zur Verfügung gestellt.

Die vorliegende Erfindung unterscheidet sich von anderen Verfahren dahingehend, daß ein für den jeweiligen Proxy- Server-Verbund globaler Index für alle im Proxy-Server- Verbund gespeicherten Dokumente aufgebaut wird. Dieser globale Index wird mittels einer HASH-Funktion auf dem Proxy-Server-Verbund verteilt.

Die HASH-Funktion stellt sicher, daß die Verteilung des Indexes gleichmäßig über alle Proxy-Server oder nach deren Kapazitäten erfolgt. Dies hat den Vorteil, daß jeweils nur eine Anfrage an den durch die HASH-Funktion bestimmten Proxy-Server erfolgt. Demgegenüber erfordern andere Verfahren eine Anfrage an jeden Server. Geht man von einem großen Verbund von ca. 50 Proxy-Servern mit 50 Anfragen pro Sekunde aus, so würde auf jeden Proxy-Server pro Sekunde 2450 Anfragen zukommen. Dies bedeutet, daß die Proxy-Server völlig überlastet werden.

Eine weitere Ausführungsform der vorliegenden Erfindung kann darin bestehen, daß die oben dargestellte Konfiguration um einen oder mehrere Proxy-Server erweitert wird. Die Folge hiervon ist, daß der bisherige globale Index durch eine neue HASH-Funktion, die die erweiterten Proxy-Server berücksichtigt, neu strukturiert werden muß. Hierzu gibt es folgende Möglichkeiten:

- Verwerfen des gesamten Indexes (Löschen des Indexes) und Implementieren einer neuen HASH-Funktion
- Verwenden einer neuen HASH-Funktion und Beibehaltung des alten Indexes
- Eintragung der Dokumentenadressen erfolgt nach der neuen HASH-Funktion; in einer Übergangszeit werden Anfragen nach der neuen und alten HASH Funktion durchgeführt. Sobald praktisch keine Anfragen mit der alten Funktion zu einer positiven Antwort führen, wird die alte Funktion nicht mehr verwendet
- Anpassen des gesamten Indexes an die Proxy- Serverkonfiguration.

Eine weitere Ausführungsform der vorliegenden Erfindung kann für den Ausfall eines oder mehrerer Proxy-Server darin bestehen, daß ein Timer vorgesehen ist, der bei Überschreitung einer Antwortzeit vom Proxy-Server automatisch die Anfrage an das Internet weiterleitet. Falls der Proxy-Server für längere Zeit ausfallen sollte, muß eine neue HASH Funktion verwendet werden und die Indexstruktur muß entsprechend der oben genannten Alternativen angepaßt werden.

Das Speichern der Index-Informationen erfordert zumindest die Adresse des angefragten Dokumentes und den Proxy-Server auf dem dieses Dokument gespeichert ist.

In einer alternativen Lösung können zusätzlich als Index- Informationen Verfallsdatum und letzter Zugriff auf das Dokument gespeichert werden.

Die URLs können einen großen Teil des Hauptspeichers verbrauchen. Deshalb ist es sinnvoll, anstatt der URL nur einen HASH-Wert abzuspeichern. Der Wert muß so groß bemessen sein, daß die Wahrscheinlichkeit, daß zwei verschiedene URLs den gleichen HASH Wert ergeben so klein wird, daß der Erwartungswert für die Anzahl gleicher HASHes unter 1 liegt. Der Erwartungswert für gleiche HASHs e(n,m) bei n URLs und m möglichen HASH-Werten beträgt:

Werden also beispielsweise eine Million URLs gespeichert, so sollte der Wertebereich für den HASH ca. 10¹² groß sein, also fünf Bytes. Dies ergibt bei einer durchschnittlichen Dokumentengröße von 8 KBytes einen Cache von acht GBytes. Der Hauptspeicher für die URLs sinkt gleichzeitig von ca. 120 MBytes auf fünf Megabytes.

Die Implementierung der vorliegenden Erfindung kann ohne wesentliche Änderungen an vorhandene Programme erfolgen. Auf den Proxy-Servern befindet sich im Regelfall eine Proxy- Software (z. B. bei IBM WTE WEB Traffic Express). Diese Proxy-Software wird an folgenden zwei Stellen erweitert:

- erste Stelle: falls sich ein Dokument nicht im lokalen Cache befindet wird eine Anfrage an den globalen Index gerichtet (berechnen der HASH Funktion und senden einer Anfrage an den entsprechenden Proxy-Server) und mittels der Index-Informationen wird das Dokument von einem anderen Proxy-Server oder aus dem Internet geholt.
- zweite Stelle: nachdem ein Dokument von einem Proxy-Server aus dem Internet geholt wurde wird mittels der HASH Funktion ein Index auf einem bestimmten Proxy-Server angelegt, der zumindest die Adresse des angefragten Dokumentes und die jeweilige Proxy-Server Adresse enthält, wo das Dokument gespeichert ist.

Ausserdem wird auf jedem Proxy-Server ein Programm gestartet, das Index-Eintragungen durchführt und Anfragen den Proxy-Servern beantwortet.

Claims

1. Verfahren zum Übertragen eines Dokumentes von einem Rechnerverbund (CW1-CW5) auf ein Abfragessystem (6), wobei das Dokument auf einem Rechner im Rechnerverbund und/oder auf einem Rechner in einem Rechnernetz gespeichert ist, wobei der Rechnerverbund mit dem Abfragessystem und dem Rechnernetz über eine Datenleitung verbunden ist, enthaltend folgende Schritte:

a) Eingabe einer Dokumenten-Adresse (URL) zum Herunterladen eines Dokumentes von einem Rechner (CW1; CW3) eines Rechnerverbundsystems auf ein Anfragssystem,
b) Senden der Adresse (URL) an einen zugewiesenen Rechner (CW1; CW3) im Rechnerverbund,
c) Ermitteln aus der Adresse durch Anwendung einer HASH Funktion einen bestimmten Rechner im Rechnerverbund (CW4),
d) Überprüfe den nach Schritt c) bestimmten Rechner (CW4) auf das Vorhandensein von Adressinformationen, ob oder auf welchem Rechner im Rechnerverbund das angefragte Dokument gespeichert ist,
e) falls Adressinformationen für das angefragte Dokument vorhanden sind:
- aa) Initiieren einer Übertragung des angefragten Dokuments von diesem Rechner auf das Anfragessystem,
f) falls keine Adressinformationen vorhanden sind:
- aa) Herunterladen des angefragten Dokumentes vom einem Rechner des Rechnernetzes auf einen Rechner (CW1) im Rechnerverbund,
- bb) Übertragen des Dokumentes auf das Anfragesystem (6),
- cc) Ermitteln aus der Adresse (URL) durch Anwendung einer HASH Funktion einen bestimmten Rechner (CW4) im Rechnerverbundsystem,
- dd) Speichern der Dokumenten-Adresse (URL) und der Rechner-Adresse (CW1), wo dieses Dokument gespeichert ist, im Rechner nach Schritt cc).

2. Verfahren nach Anspruch, dadurch gekennzeichnet, daß der Rechnerverbund (CW1-CW5) ein Proxy-Server-Verbund und das Rechnernetz das Internet ist.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß der zugewiesene Rechner (CW1-CW3) nach Schritt b) der Proxy-Server für das Anfragessystem (6) ist.

4. Verfahren nach Anspruch 1 bis 3, dadurch gekennzeichnet, daß jeder Proxy-Server (CW1-CW5) die gleiche HASH- Funktion anwendet.

5. Verfahren nach Anspruch 1 bis 3, dadurch gekennzeichnet, daß die HASH-Funktion gewährleistet, daß alle Rechner bei der Auswahl nach Schritt c) gleichmäßig verteilt in Anspruch genommen werden.

6. Verfahren nach Anspruch 1 bis 3, dadurch gekennzeichnet, daß die HASH-Funktion gewährleistet, daß die Rechner entsprechend ihrer Kapazitäten bei der Auswahl nach Schritt c) in Anspruch genommen werden.

7. Verfahren nach Anspruch 1 bis 6, dadurch gekennzeichnet, daß die Dokumentenadresse eine URL ist.

8. Verfahren nach Anspruch 1 bis 7, dadurch gekennzeichnet, daß zusätzlich zu den Adressinformationen nach Schritt dd) Verfallsdatum und letzter Zugriff auf das Dokument abgespeichert werden.

9. Verfahren nach Anspruch 1 bis 8, dadurch gekennzeichnet, daß der HASH-Wert der Dokumenten-Adresse (URL) des Dokumentes nach Schritt dd) abgespeichert wird.

10. Verfahren nach Anspruch 1 bis 9, dadurch gekennzeichnet, daß bei Erweiterung des Rechnerverbundes (CW1-CW5) alle Adressinformationen auf allen Rechnern im Rechnerverbund gelöscht werden und eine neue HASH- Funktion auf allen Rechnern im Rechnerverbund implementiert und die alte HASH-Funktion gelöscht wird.

11. Verfahren nach Anspruch 1 bis 9, dadurch gekennzeichnet, daß bei Erweiterung des Rechnerverbundes ein neue HASH- Funktion auf allen Rechnern im Rechnerverbund implementiert und die alte HASH Funktion gelöscht wird.

12. Verfahren nach Anspruch 1 bis 9, dadurch gekennzeichnet, daß bei der Erweiterung des Rechnerverbundes eine neue HASH-Funktion implementiert wird und während einer Übergangszeit sowohl die alte als auch die neue HASH- Funktion angewendet wird.

13. Verfahren nach Anspruch 1 bis 9, dadurch gekennzeichnet, daß die Adresseninformationen an die neue Rechnerkonfiguration angepaßt werden.

14. Verfahren nach Anspruch 1 bis 13, dadurch gekennzeichnet, daß beim Ausfall eines Rechners (CW1-CW5) des Rechnerverbundes ein Timer aktiviert wird, der beim Überschreiten einer vorgegebenen Antwortzeit das angefragte Dokument vom Internet auf einen Rechner im Rechnerverbund herunterlädt.

15. Verfahren nach Anspruch 1 bis 13, dadurch gekennzeichnet, daß beim Ausfall eines Rechners aus dem Rechnerverbund eine neue HASH-Funktion für die neue Konfiguration des Rechnerverbundes auf jedem Rechner implementiert wird.

16. Verfahren zum Herunterladen eines Dokumentes vom Internet auf einen Rechner im Rechnerverbund, enthaltend folgende Schritte:

a) Senden der URL eines angefragten Dokumentes über einen zugewiesen Rechner (CW1) des Rechnerverbundes (CW1-CW5) ans Internet,
b) Herunterladen des angefragten Dokumentes vom Internet auf den zugewiesenen Rechner (CW1),
c) Ermitteln aus der URL über eine HASH Funktion einen Rechner (CW4) im Rechnerverbund,
d) Speichern der URL und der Rechneradresse, wo das Dokument gespeichert ist, auf dem Rechner (CW4) nach Schritt c),
e) Wiederhole Verfahren nach Schritt a) bis d) für jedes aus dem Internet herunterzuladende Dokument

17. Verfahren zum Herunterladen eines Dokumentes von einem Rechners eines Rechnerverbundes (CW1-CW5) auf ein Abfragessystem (6), wobei die Dokumente gemäß einem Verfahren nach Anspruch 17 im Rechnerverbund (CW1-CW5) abgespeichert sind, enthaltend folgende Schritte:

a) Senden der URL eines angefragten Dokumentes an einen zugewiesen Rechner (CW3) im Rechnerverbund,
b) Ermitteln aus der URL über eine HASH Funktion einen Rechner (CW4) im Rechnerverbund auf welchem die Rechner-Adresse (CW1) enthalten ist, wo dieses Dokument im Rechnerverbund gespeichert ist,
c) Abrufen der Rechner-Adresse (CW1) für dieses Dokument vom Rechner (CW4) nach Schritt b),
d) Übertragen des Dokumentes von dem nach Schritt c) genannten Rechner (CW1) auf das Anfragesystem (6).

18. Rechnerverbundsystem, dadurch gekennzeichnet, daß

a) auf jedem Rechner eine Kommunikationssoftware installiert ist, die Informationen zwischen den Rechnern des Rechnerverbundes ausführbar macht
b) auf jedem Rechner eine HASH-Funktion installierbar ist, die für jedes im Rechnerverbund gespeicherte Dokument einen Rechner bestimmbar macht, auf dem zumindest die Rechner-Adresse für dieses Dokument speicherbar ist.

19. Datenträger enthaltend ein Programm zur Durchführung eines Verfahrens nach Anspruch 1 bis 15.