DE69937249T2

DE69937249T2 - System und verfahren zur analyse eines webserver-logbuchs

Info

Publication number: DE69937249T2
Application number: DE69937249T
Authority: DE
Inventors: William Glen Portland BOYD; Elijahu Portland SHAPIRA
Original assignee: Webtrends Inc
Current assignee: Webtrends Inc
Priority date: 1998-08-11
Filing date: 1999-08-11
Publication date: 2008-07-03
Anticipated expiration: 2019-08-12
Also published as: AU2004201868A1; AU769816B2; DE69937249D1; DK1131725T3; EP1131725A1; ATE374970T1; AU5556899A; ES2296403T3; WO2000010093A1; AU2004201868B2; EP1131725A4; CA2340109A1; EP1131725B1; US6317787B1; CA2340109C

Description

HINTERGRUND DER ERFINDUNG
Diese Erfindung bezieht sich allgemein auf eine Webserver-Verkehrsdatenanalyse und insbesondere auf ein System und ein Verfahren zur Analyse von Webserver-Protokolldateien.
Das weltumspannende Datennetz (nachstehend "Web") wird schnell zu einem der wichtigsten heutzutage verwendeten Veröffentlichungsmedien. Der Grund hierfür ist einfach: Webserver, die über das Internet miteinander verbunden sind, bieten Zugang zu einem potenziell weltweiten Publikum, und dies mit einer minimalen Investition in Zeit und Betriebsmittel beim Erstellen einer Website. Der Webserver gestattet die Erfassung und Entsendung eines weiten Bereichs von Medien in einer Vielfalt von Formaten, einschließlich Audio- und Videobotschaften sowie herkömmlichen Text und Grafiken. Und die Leichtigkeit der Erstellung einer Website schafft einen Zugang zu diesem weltweiten Publikum für wirklich alle Arten von Benutzern, von Vereinigungen über Gründerunterstützungsgesellschaften bis hin zu Organisationen und Einzelpersonen.
Im Gegensatz zu anderen Medienarten ist eine Website interaktiv und der Webserver kann passiv Zugriffsinformationen über jeden Benutzer sammeln, indem er die Verkehrsdatenpakete beobachtet und protokolliert, die zwischen dem Webserver und dem Benutzer ausgetauscht werden. Wichtige Angaben über die Benutzer können direkt oder durch Schlussfolgerung bestimmt werden, indem man die Verkehrsdaten und den Kontext des "Treffers" analysiert. Außerdem können aus über einen bestimmten Zeitraum gesammelten Verkehrsdaten statistische Informationen gewonnen werden, wie etwa die Anzahl von Benutzern, die die Seite täglich benutzen, aus welchen Ländern, Staaten oder Städten sich die Benutzer einklinken, und den aktivsten Tag oder die aktivste Stunde der Woche. Solche statistischen Informationen sind nützlich bei der zielgerichteten Erstellung von Marketing- oder Betriebsplanungsstrategien, um auf die sich ergebenden Bedürfnisse des Publikums besser abstellen zu können. Jeder Treffer wird auch mit Datum und Zeit des Zugriffs codiert. Weil von den interessierenden statistischen Informationen nahezu alle mit Zeitspannen in Bezug stehen, ist die genaue Bestimmung des Zeitpunkts jedes Treffers entscheidend.
Um den Einsatz dieser statistischen Informationen zu optimieren, muss die Webserver-Verkehrsanalyse zeitgenau erfolgen. Es ist für einen Webserver jedoch nicht ungewöhnlich, Tausende von Benutzern täglich zu bewältigen. Die sich ergebenden Zugriffsinformationen, die vom Webserver aufgezeichnet werden, belaufen sich auf Megabytes von Verkehrsdaten. Einige Webserver erzeugen tägliche Verkehrsdaten in Gigabyte-Größe. Die Analyse der Verkehrsdaten für nur einen einzigen Tag, um Trends auszumachen oder Statistiken zu erzeugen, ist von der Rechnerleistung her gesehen aufwendig und zeitraubend. Außerdem nimmt die Verarbeitungszeit, die zur Analyse der Verkehrsdaten für mehrere Tage, Wochen oder Monate benötigt wird, mit einer Ausweitung des interessierenden Zeitrahmens linear zu.
Das Problem der Durchführung einer effizienten und zeitgenauen Verkehrsanalyse ist nicht auf Webserver beschränkt. Vielmehr ist eine Verkehrsdatenanalyse immer dann möglich, wenn Verkehrsdaten beobachtet und in gleichförmiger Art und Weise aufgezeichnet werden können, wie z. B. in einer verteilten Datenbank, einem Client-Server-System oder in einer anderen Umgebung mit Fernzugriff.
Ein Verfahren und eine Vorrichtung zur Leistungsüberwachung unter Verwendung von synchronisierten Netzwerkanalysatoren sind im US-Patent Nr. 5,600,632 beschrieben, das am 4. Feb. 1997 auf den Namen von Schulman erteilt wurde. Gemäß dieser Druckschrift werden eine Vielzahl von Netzwerkanalysatoren vornehmlich zu einem Netzwerkleistungs-Analysewerkzeug zusammengefasst, um komplexe und weit verzweigte Netzwerke zu analysieren, wobei jeder der Analysatoren mit den anderen synchronisiert ist, um eine Konsistenz bei den das Netzwerk durchlaufenden Paketen bereitzustellen.
Einige Webserver sind so beschäftigt, d. h. bewältigen so viel Verkehr, dass sie mehrere Server benötigen, um den gesamten Verkehr abwickeln zu können. Bei anderen Benutzern kann es wiederum so sein, dass sie wegen des großen Umfangs der Website mehrere Server verwenden müssen. Websites von entscheidender Bedeutung, d. h. solche, die nicht wegen eines Problems mit einem Server ausfallen dürfen, werden möglicherweise auch auf mehreren Servern erstellt. Solche mehreren Ser ver werden manchmal als Server-Farm bezeichnet. Server-Farmen bieten einen mit einer hohen Bandbreite ausgestatteten, zuverlässigen Zugriff auf Websites.
Es gibt mehrere Technologien, die in einer Server-Farm verwendet werden können, wobei aber die wichtigsten die Farm in Servergruppen unterteilen. Die Website ist auf jedem Server in der Gruppe noch einmal gespiegelt vorhanden. Eine spezielle Hardware empfängt den gesamten zur Website laufenden Verkehr und verteilt jeden Treffer auf einen der Server. Einige Systeme bieten einen genauen Ausgleich der Arbeitsbelastung dahingehend, dass alle Treffer aufeinanderfolgend auf die einzelnen Server im Rotationsverfahren verteilt werden. Andere wiederum teilen jeden Treffer von einem neuen Ausgangsort einem Server zu, und ein weiterer Zugriff auf die Website von diesem Ausgangsort wird dem zugeteilten Server zugewiesen. Dies erfolgt unter Festsetzung einer vorbestimmten Zeitspanne, zum Beispiel 30 Minuten, während der alle nachfolgenden Zugriffe vom selben Ausgangsort so angesehen werden, dass sie Teil ein und derselben Sitzung sind, die an diesem Ausgangsort stattfindet. Wie nachstehend weiter ausgeführt werden wird, gestattet der letztgenannte Lösungsansatz eine gewisse Protokolldatei-Analyse, was unter Verwendung des Auslastungsausgleichsverfahrens nicht möglich ist.
Obwohl sie einen Auslastungsausgleich und Redundanz bieten, stellen sich bei Server-Farmen Probleme bei der Analyse der von den Servern generierten Protokolldateien. Systeme aus dem Stand der Technik zur Analyse von Webserver-Protokolldateien können viele Protokolldateien bewältigen, aber diese Dateien werden aufeinanderfolgend generiert, d. h. die Datenpakete in jeder Protokolldatei liegen in chronologischer Reihenfolge vor und die Protokolldateien selbst entsprechen Zeitspannen, die Datenpakete aus innerhalb dieser Zeitspannen enthalten. Anders ausgedrückt werden auch die Protokolldateien aufeinanderfolgend generiert. Protokolldateien auf Servern in einer Server-Farm werden jedoch gleichzeitig generiert. Jede Protokolldatei überdeckt oder überlappt dieselbe Zeitspanne. In Server-Farmen, die die Treffer unter den Servern nach dem Rotationsprinzip verteilen, erzeugen Protokolldatei-Analyseprogramme keine nutzbaren Informationen. Es sind Lösungen möglich, die sich auf massiven Aufwand stützen, wie etwa das Sortieren aller Protokolldateien und das Erzeugen einer neuen, einzigen Datei, oder das Ko pieren aller Treffer von jeder Protokolldatei in eine große Datenbank, die die Daten sortieren und analysieren kann. Diese Lösungen haben schwere Nachteile: Sie bedeuten einen hohen Rechneraufwand, benötigen die Erzeugung von großen neuen Dateien, und funktionieren nur, wenn die Protokolldateien fertiggestellt sind, d. h. nicht während der Übertragung, wenn in der Protokolldatei noch Datenverkehr besteht.
Server-Farmen, die Treffer von einem neuen Ausgangsort einem einzelnen Benutzer zuweisen, können Protokolldatei-Analyseprogramme aus dem Stand der Technik auf jedem Server laufen lassen und die Ergebnisse aufsummieren. Dies ist jedoch nicht hundertprozentig genau und deshalb von Nachteil, weil es die Erzeugung von separaten Protokollen bedingt, auf die dann zugegriffen oder die weiterbearbeitet werden müssen, um Informationen zu erlangen, die sich auf die gesamte Server-Farm beziehen.
Infolgedessen besteht ein Bedarf an einem System und einem Verfahren zur Analyse von Webserver-Protokolldateien, die gleichzeitig generiert werden, wie etwa diejenigen, die von einer Server-Farm generiert werden.
Es besteht ein weiterer Bedarf an solch einem System und Verfahren, mit dem sich die Protokolldateien im Wesentlichen in Echtzeit analysieren lassen.
Es besteht ein weiterer Bedarf an einem solchen System, das die Protokolldateien analysieren kann, ohne neue, große Dateien zu erzeugen und ohne die Notwendigkeit nach beträchtlicher, zusätzlicher Rechnerleistung.
Es besteht auch Bedarf an einem solchen System, das Protokolldateien analysieren kann, seien sie nun gleichzeitig oder zeitlich aufeinanderfolgend generiert.
ZUSAMMENFASSUNG DER ERFINDUNG
Die vorliegende Erfindung umfasst ein Verfahren zum Analysieren von Protokolldateien, die eine Vielzahl von Datenpaketen enthalten, in einer Abfolge, die umfasst: (a) Auswählen des ersten Datenpakets in jeder Protokolldatei; (b) Vergleichen der ausgewählten Datenpakete; (c) Weiterreichen des ältesten der ausgewählten Datenpakete an einen Protokolldatei-Analysator; (d) Auswählen des nächsten Datenpakets in der Protokolldatei, in der das weitergereichte Datenpaket ausgewählt wurde; und (e) Wiederholen der Schritte (b) bis (d), bis alle Datenpakete in den Protokolldateien weitergereicht sind.
Die vorgenannten sowie weitere Merkmale und Vorteile der Erfindung ergeben sich deutlich aus der folgenden ausführlichen Beschreibung einer bevorzugten Ausführungsform der Erfindung, die mit Bezug auf die begleitenden Zeichnungen erfolgt.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist ein Funktionsblockschaubild eines Systems aus dem Stand der Technik zum Analysieren von Verkehrsdaten in einer Umgebung mit verteilten Computern gemäß der vorliegenden Erfindung.
2 ist ein Flussdiagramm eines Verfahrens aus dem Stand der Technik zum Analysieren von Verkehrsdaten in einer Umgebung mit verteilten Computern gemäß der vorliegenden Erfindung unter Verwendung des Systems von 1.
3A zeigt ein Format aus dem Stand der Technik, das beim Speichern eines "Treffers" von Verkehrsdaten verwendet wird, die vom Server von 1 empfangen werden.
3B zeigt beispielhaft einen "Treffer" aus formatierten Verkehrsdaten, die vom Server von 1 empfangen werden.
4 ist eine schematische Abbildung einer Server-Farm, die mehrere Server wie diejenigen umfasst, die in 1 gezeigt und beschrieben sind.
5 ist eine schematische Abbildung, in der der Betrieb der Server-Farm von 4 dargestellt ist.
6 ist eine schematische Abbildung, in welcher die vorliegende Erfindung dargestellt ist, die in der Server-Farm von 4 verwendet wird.
7 ist eine 6 ähnliche schematische Abbildung, die aber die vorliegende Erfindung darstellt, wie sie an zeitlich aufeinanderfolgenden Protokolldateien arbeitet.
8 ist ein Flussdiagramm eines Programms zur Umsetzung der vorliegenden Erfindung.
AUSFÜHRLICHE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORM
1 ist ein Funktionsblockschaubild eines Systems aus dem Stand der Technik zum Analysieren von Verkehrsdaten in einer Umgebung 9 mit verteilten Computern. Es ist ausführlicher in "WebTrends Installation and User Guide", Version 2.2, Oktober 1996, und im US-Patent mit der Anmeldenr. 08/801,707 beschrieben, deren Offenbarungen hiermit durch Bezugnahme mit aufgenommen sind. WebTrends ist eine Marke von Webtrends Corporation, Portland, Oregon.
Ein Server 10 bietet fernab befindlichen Benutzern Websites und damit zusammenhängende Dienste. Die fernab befindlichen Benutzer können auf den Server 10 zum Beispiel von einem fernab befindlichen Computersystem 12 aus zugreifen, das mit dem Server 10 über eine Netzverbindung 13 wie etwa das Internet oder ein Intranet, eine Einwahlverbindung 14 (Punkt-zu-Punkt-Verbindung) oder eine direkte (zweckgebundene) Verbindung 17 verbunden ist. Andere Arten von Verbindungen mit Fernzugriff sind auch möglich.
Jeder von einem fernab befindlichen Benutzer erfolgende Zugriff auf den Server 10 ergibt einen "Treffer" aus Verkehrsrohdaten 11. Nachstehend sind mit Bezug auf 3A und 3B das beim Abspeichern jedes Verkehrsdatentreffers 11 verwendete Format bzw. ein Beispiel für einen Verkehrsdatentreffer 11 beschrieben. Der Server 10 speichert jeden Verkehrsdatentreffer 11 vorzugsweise in einer Protokolldatei 15, obwohl auch eine Datenbank 16 oder eine andere Speicherstruktur verwendet werden kann.
Zum Analysieren der Verkehrsdaten untersucht der Server 10 jeden Verkehrsdatentreffer 11 und speichert die aus den Verkehrsdaten erhaltenen Zugriffsinformationen als Analyseergebnisse 18A–C ab. Fünf Pools der Verkehrsdaten 11 (fernab befindliches System 12, Einwahlverbindung 14, Protokolldatei 15, Datenbank 16 und direkte Verbindung 17) sind gezeigt. Auch andere Pools oder Ausgangsorte sind möglich. Die Verkehrsdatentreffer 11 können von irgendeinem einzelnen Pool oder von einer Kombination dieser Pools stammen. Während der Server 10 Verkehrsdatentreffer 11 kontinuierlich empfängt, werden für jede einzelne Protokollierungszeitspanne, die Zeitschlitz genannt wird, separate Gruppen von Analyseergebnissen 18A–C gespeichert. Die Analyseergebnisse 18A–C wer den verwendet, um Übersichten bzw. Zusammenstellungen 19A–C der Zugriffsinformationen zu erzeugen.
In der beschriebenen Ausführungsform ist der Server 10 typischerweise ein von Intel stammendes, auf Pentiumtechnologie beruhendes Computersystem, das mit einem Prozessor, einem Speicher, einer Eingangs-/Ausgangsschnittstelle, einer Netzschnittstelle, einer sekundären Speichervorrichtung und einer Benutzerschnittstelle vorzugsweise in Form einer Tastatur und eines Monitors ausgestattet. Der Server 10 arbeitet typischerweise unter der Steuerung der Betriebssysteme Microsoft Windows NT oder Unix und betreibt entweder eine von Microsoft stammende Internet-Informationsserversoftware oder eine von NetScape stammende Datenübertragungs-Serversoftware. Pentium, Microsoft, Windows, Windows NT, Unix, Netscape und Netscape Communications Server sind Marken ihrer jeweiligen Inhaber. Es sind jedoch auch andere Konfigurationen in Bezug auf den Server 10 möglich, die sich bezüglich der Hardware unterscheiden, wie etwa DOS-kompatible Plattformen, Apple Macintosh, Sun-Arbeitsplatzrechner und auch andere Plattformen, die sich hinsichtlich ihrer verschiedenen Betriebssysteme unterscheiden, wie etwa MS-DOS, Unix und andere, oder sich auch in der Web-Software unterscheiden. Apple, Macintosh, Sun und MS-DOS sind Marken ihrer jeweiligen Inhaber.
2 zeigt ein Flussdiagramm eines Verfahrens 20 zum Analysieren von Verkehrsdaten in einer Umgebung mit verteilten Computern gemäß der vorliegenden Erfindung unter Verwendung des Systems von 1. Sein Zweck besteht darin, kontinuierlich Zugriffsinformationen aus Verkehrsdatentreffern 11 zu sammeln und zusammenzufassen, während gleichzeitig auf Verlangen hin Ad-hoc-Analysen ermöglicht sind. Das Verfahren 20 besteht aus zwei Programmen. Zugriffsinformationen werden aus Verkehrsdatentreffern 11 gesammelt und vom Server 10 zu Analyseergebnissen 18A–C (Block 21) zusammengefasst. Die Zugriffsinformationen werden separat analysiert, um die Übersichten 19A–C zu erzeugen, die Trends, Statistiken und weitere Informationen angeben (Block 22). Das Sammeln und Zusammenfassen der Zugriffsinformationen (Block 21) wird vom Server 10 kontinuierlich ausgeführt, während die Analyse der Zugriffsinformationen (Block 22) auf einer Ad-hoc-Basis ausgeführt wird, und zwar entweder vom Server 10 oder einem separaten Arbeitsplatzrechner (nicht gezeigt).

Das Verfahren 20 ist vorzugsweise in Form eines Computerprogramms realisiert, das vom Server 10 ausgeführt wird und in einem Speichermedium enthalten ist, welches eine computerlesbare Programmsprache umfasst. In der beschriebenen Ausführungsform ist das Verfahren 20 in der Programmiersprache C geschrieben, obwohl andere Programmiersprachen gleichermaßen geeignet sind. Es arbeitet in einer Microsoft-Windows-Umgebung und kann allgemein gebräuchliche Protokolldateiformate, kombinierte Protokolldateiformate und benutzerspezifische Protokolldateiformate von Webservern nach Industriestandard analysieren, wie etwa diejenigen, die von NetScape, NCSA, O'Reilly WebSite, Quarterdeck, C-Builder, Microsoft, Oracle, EMWAC und anderen Windows 3.x, Windows NT 95, Unix und Macintosh-Webservern lizenziert sind. Die Ahalyseergebnisse 18A–C können in einer benutzerspezifischen oder standardmäßigen Datenbank 16 (in 1 gezeigt) gespeichert werden, wie z. B. SQL, BTRIEVE, ORACLE, INFORMIX und andere. Das Verfahren 20 nutzt die Analyseergebnisse 18A–C der Verkehrsdatentreffer 11, wie sie in der Protokolldatei 15 oder Datenbank 16 gesammelt sind, zur Erstellung von Aktivitätsübersichten, geografischen Übersichten, demografischen Übersichten sowie anderen Übersichten 19A–C, wie sie z. B. nachstehend in der Tabelle 1 aufgeführt sind. Andere Übersichten 19A–C sind auch möglich. Tabelle 1

Benutzerprofil nach Regionen	Tabelle mit allgemeinen Angaben
Am häufigsten aufgerufene Seiten	Am wenigsten aufgerufene Seiten
Beliebteste Startseiten	Beliebteste Abbruchseiten
Einzelzugriffsseiten	Am meisten benutzte Pfade durch
	die Seite
Werbeeinblendungen	Anklickvorgänge Werbeeinblendun
	gen
Werbeeinblendungen und -klicks	Am häufigsten heruntergeladene
	Dateien
Aktivste Organisationen	Aktivste Länder
Aktivitätsübersicht nach Wochentag	Aktivitätsübersicht nach Tag
Aktivitätsübersicht nach Stunde des	Aktivitätsübersichtsgrad nach Stun
Tages	den des Tages
Webserverstatistiken und -analysen	Clientseitige Fehler
Am häufigsten heruntergeladene	Serverseitige Fehler
Dateitypen und -größen
Aktivität nach Organisationsart	Verzeichnisse mit dem häufigsten
	Zugriff
Websites mit den häufigsten Ver-	URLs mit den häufigsten Verweisen
weisen
Am häufigsten verwendete Browser	Netscape-Browser
Microsoft-Explorer-Browser	Besuchende Suchmaschinen
Beliebteste Plattformen

Darüber hinaus können die Analyseergebnisse 18A–C dazu verwendet werden, automatisch Berichte und Übersichten zu erstellen, die statistische Informationen und Grafiken beinhalten, die beispielsweise die Benutzeraktivität aufgeteilt nach Markt, den Grad des Interesses an spezifischen Webseiten oder Webdiensten, welche Produkte am beliebtesten sind, ob ein Besucher eine lokale, nationale oder internationale Herkunft hat, und ähnliche Informationen zeigen. In der beschriebenen Ausführungsform können die Übersichten 19A–C als Protokollierungen in einer Vielzahl von Formaten erzeugt werden. Diese Formate umfassen HTML-Dateien, die mit dem Großteil gebräuchlicher Webbrowser kompatibel sind, benutzerspezifische Dateiformate zur Verwendung in Verbindung mit Textverarbeitung, Tabellenkalkulationsprogrammen, Datenbank- und anderen Programmen wie etwa Microsoft Word, Microsoft Excel, ASCII-Dateien und verschiedene andere Formate. Word und Excel sind Marken von Microsoft Corporation, Redmond, Washington.
3A zeigt ein Format, das beim Abspeichern eines "Treffers" von Verkehrsrohdaten 11 verwendet wird, die vom Server von 1 empfangen werden. Ein ursprünglicher Verkehrsdatentreffer 11 liegt nicht in dem in 3A gezeigten Format vor. Vielmehr ist der Inhalt jedes Felds im Format bestimmt durch die Datenpakete, die zwischen dem Server 10 und dem Ausgangsort des Verkehrsdatentreffers 11 ausgetauscht werden, und die aus den Datenpaketen herausgezogenen Informationen werden in einem Datensatz unter Verwendung des Formats von 3A gespeichert, bevor sie in der Protokolldatei 15 (in 1 gezeigt) abgespeichert oder verarbeitet werden.

Jeder Verkehrsdatentreffer 11 ist eine formatierte Aneinanderreihung aus ASCII-Daten. Das Format beruht auf dem standardmäßigen Protokolldateiformat, das von der National Computer Security Association (NCSA) entwickelt wurde, einem Standardprotokollformat, das von den meisten Webservern verwendet wird. Das Format besteht aus sieben Feldern wie folgt:

Feldbezeichnung	Beschreibung
Benutzeradresse (30):	Internetprotokolladresse (IP-Adresse)
	oder Domain-Name des Benutzers,
	der auf die Seite zugreift.
RFC931 (31):	Nicht benutztes, üblicherweise leer
	gelassenes Feld, aber von vielen
	Webservern verstärkt dazu verwen
	det, um den Host-Domain-Namen für
	an mehreren Orten sitzende Proto
	kolldateien abzuspeichern.
Benutzerauthentifizierung (32):	Tauscht ggf. den Benutzernamen aus
	für einen Zugriff auf die Website.
Datum/Zeit (33):	Datum und Zeit des Zugriffs und
	Zeitabstand gegenüber GMT (mittlere
	Greenwich-Zeit).
Abruf (34):	Entweder HOLE-Befehl (ein Seitenab
	ruf) oder ein ENTSENDE-Befehl (For
	mularvorlage).
Rücklaufcode (35):	Rücklaufstatus der Anfrage, der ge
	nau angibt, ob die Übertragung er
	folgreich war.
Übertragungsgröße (36):	Anzahl von Bytes, die für den Datei
	abruf übermittelt wurden, d. h. Datei
	größe.

Zusätzlich können drei optionale Felder wie folgt verwendet werden:

Feldbezeichnung	Beschreibung
Verweisseite (37):	URL, die zum Erhalt der Website-
	Information verwendet wurde, um
	den "Treffer" auszuführen.
Agent (38):	Browserversion, einschließlich Fabri
	kat, Modell oder Versionsnummer und
	Betriebssystem
Cookie (39):	Eindeutige Kennzeichnung, die tole
	rierend verwendet wird, um einen
	bestimmten Benutzer zu kenn
	zeichnen.

Andere Formate für die Verkehrsdatentreffer 11 sind auch möglich, einschließlich benutzerspezifische Formate, die zusätzliche Felder enthalten, wie zum Beispiel die Zeit der Übertragung, die Art des Servicevorgangs sowie andere. Außerdem treten immer wieder Modifikationen und Zusätze zu den Formaten der noch unverarbeiteten Verkehrsdatentreffer 11 auf, und die von der vorliegenden Erfindung geforderten Er weiterungen, um mit solchen Variationen der Formate umzugehen, sind dem Fachmann bekannt.
3B zeigt beispielhaft einen "Treffer" aus Verkehrsrohdaten, die vom Server von 1 empfangen wurden. Das Feld Benutzeradresse 30 lautet "tarpon.gulf.net", was anzeigt, dass der Benutzer aus einer Domain mit der Bezeichnung "gulf.net" stammt, die auf einem Rechner mit dem Namen "tarpon" sitzt. Die Felder RFC931 31 und Benutzerauthentifizierung 32 sind "-", was Leereinträge anzeigt. Das Feld Datum/Zeit 33 lautet "12/Jan/1996:20:38:17 + 0000", das einen Zugriff am 12. Januar 1996 um 8:38 Uhr und 17 Sekunden nach mittlerer Greenwich-Zeit anzeigt. Das Feld Anfrage 34 lautet "GET/general.htm HTTP/1.0", was angibt, dass der Benutzer die Seite "general.htm" angefordert hat. Die Felder Rücklaufcode 35 und Übertragungsgröße 36 lauten auf 200 bzw. 3599, was eine erfolgreiche Übertragung von 3599 Bytes anzeigt.
Mit Bezug auf 4 ist bei 40 allgemein eine Server-Farm angegeben, die gemäß der vorliegenden Erfindung aufgebaut ist. Darin enthalten sind zwei Servergruppen 42, 44, von denen eine die Server 46, 48, 50 und die andere die Server 50, 52, 54 enthält. Jeder der Server in den Gruppen 42, 44 ist im Wesentlichen identisch zum Server 10 von 1. In der vorliegenden Ausführungsform beinhaltet die Servergruppe 42 eine erste Website, die auf jedem der darin befindlichen Server gespiegelt vorhanden ist, mit einer einzigen bezeichneten Internetprotokolladresse (IP-Adresse). Die Server in der Gruppe 44 beinhalten eine zweite Website, die auf jedem der darin befindlichen Server gespiegelt vorhanden ist, mit einer zweiten genau bezeichneten IP-Adresse.
Jeder der Server in den Gruppen 42, 44 ist über ein Kabel wie z. B. das Kabel 58 mit einer Umlenkeinrichtung 60 verbunden. Die Umlenkeinrichtung wiederum erhält einen Eingang von einem Netzwerkanschluss 62, bei dem es sich in der vorliegenden Ausführungsform um eine Internetverbindung handelt. Die Umlenkeinrichtung 60 ist eine Hardwarevorrichtung aus dem Stand der Technik, die einen Pool aus Verkehrsdatentreffern erhält – im vorliegenden Fall über die Verbindung 62 – und sie auf die Server in den Gruppen 42, 44 verteilt.
In der vorliegenden technischen Realisierung verteilt die Umlenkeinrichtung 60 Verkehrsdatentreffer innerhalb jeder der Gruppen 42, 44. Mit anderen Worten werden die Verkehrsdatentreffer, die als Ergebnis des Zugriffs auf die Website erzeugt wurden, die in der Gruppe 42 bereitgehalten wird, unter den Servern 46, 48, 50 verteilt. In entsprechender Weise werden Verkehrsdatentreffer, die durch Zugriff auf die Website in der Gruppe 44 erzeugt wurden, unter den Servern 52, 54, 56 verteilt. Ein Gerät, das sich für die Funktion als Umlenkeinrichtung eignet, wird von Cisco Systems hergestellt und unter dem Namen LocalDirector vertrieben. Fachleuten wird klar sein, dass auch andere bekannte Hardwareeinrichtungen die Funktion der Umlenkeinrichtung 60 ausführen können.
Nun sind mit Bezug auf 5 Protokolldateien 46A, 48B, 50C jeweils auf dem Server gespeichert, der der Bezugszahl entspricht, die zur Angabe der Protokolldatei verwendet wird. Diese Protokolldateien werden in der vorstehend in Verbindung mit dem Server von 1 beschriebenen Art und Weise erzeugt und abgespeichert. In 5 sind die Treffer der Reihe nach durchnummeriert, und zwar Treffer Nummer 1 bis Treffer Nummer 13 in der chronologischen Reihenfolge, in der jeder Verkehrsdatentreffer generiert wurde. In der Abbildung von 5 kommen zu jeder der Protokolldateien 46A, 48B, 50C immer noch Daten hinzu. Das heißt, dass zum Beispiel in der Protokolldatei 46A Treffer Nummer 1 der zuerst abgespeicherte Datentreffer ist, und Treffer Nummer 5 ist der als Nächstes abgespeicherte Datentreffer, wobei die Treffer Nummer 6 und 12 nachfolgend in Folge abgespeichert werden. Weil die Protokolldatei 46A noch nicht voll ist und geöffnet bleibt, können nach dem Treffer Nummer 12 zusätzliche Treffer in Folge abgespeichert werden. Dasselbe gilt für die Protokolldateien 48B, 50C.
Mit Bezug auf 6 ist hier eine Sortiereinrichtung 64 mit eingeschlossen, die die Treffer in jeder der Protokolldateien in Folge überprüft und sie – in der chronologischen Reihenfolge, in der jeder Treffer generiert wurde – an einen Protokolldatei-Analysator 56 weiterleitet. Der Protokolldatei-Analysator arbeitet allgemein, wie in Verbindung mit dem in 1 gezeigten Server beschrieben wurde. Danach werden Ergebnisse der Analyse zu den Analyseergebnissen 18A–C weitergereicht, wie dies auch in Verbindung mit 1 beschrieben ist.
Die Betriebsweise der Sortiereinrichtung 64 lässt sich am besten mit Bezug auf die folgende Tabelle 2 und auf das in 8 abgebildete Flussdiagramm verstehen. Tabelle 2

Vergleichen Weiterreichungen

1 2 4 1

5 2 4 2

5 3 4 3

5 8 4 4

5 8 7 5

6 8 7 6

12 8 7 7

12 8 9 8

12 10 9 9

12 10 11 10

    - -

    - -

    - -
Zuerst wird im Block 68 von 8 der erste in jeder Protokolldatei 46A, 486, 50C empfangene Eintrag ausgewählt. Diese Auswahl ist in Tabelle 2, Zeile 1 abgebildet, in der die Treffer 1, 2 und 4 in der Spalte "Vergleichen" auftauchen. In Block 70 vergleicht die Sortiereinrichtung 64 jeden der Treffer 1, 2 und 4 und leitet den ältesten (zeitlich gesehen) Eintrag, nämlich den Treffer 1 weiter (Block 72). Das Programm bestimmt in Block 74 als Nächstes, ob alle Einträge in allen Protokolldateien ausgewählt, verglichen und weitergereicht wurden. Wenn dem so ist, endet das Programm in Block 76. Ist dies nicht der Fall, wählt in Block 78 das Programm den nächsten Eintrag in der Protokolldatei, die den Eintrag enthält, der in Block 72 weitergereicht wurde. In dem gerade betrachteten Beispiel ist der nächste Eintrag der Treffer Nummer 5 in der Protokolldatei 46A. Als Nächstes werden – mit Bezug auf Zeile 2 von Tabelle 2 – in Block 70 die Treffer 5, 2 und 4 verglichen, und der Treffer 2 wird weitergeleitet, da er der älteste (zeitlich gesehen) der drei verglichenen Einträge ist.
Weil das Programm jede der Protokolldateien in einer FIFO-Reihenfolge bearbeitet, kann es ablaufen, während gleichzeitig die Dateien offen sind und immer wieder zusätzliche Treffer in Folge erhalten.
Im Beispiel von 7 werden durch die Sortiereinrichtung 64 Protokolldateien 80, 82, 84 bearbeitet. Es wäre festzuhalten, dass diese Protokolldateien Treffer enthalten, die in sequenzieller chronologischer Rei henfolge sind. Darüber hinaus werden die Protokolldateien jeweils in chronologischer Reihenfolge generiert. Folglich stellt die Protokolldatei 80 eine genau bezeichnete Zeitspanne dar, die sich zwischen dem Zeitpunkt befindet, der dem Treffer 1 zugeordnet ist, und dem Zeitpunkt von Treffer 4; die Protokolldatei 82 liegt zwischen den Zeitpunkten der Treffer 5 und 8; und die Protokolldatei 84 zwischen den Treffern 9 und 12. Mit erneutem Bezug auf 8 und auf Tabelle 3, die die sequenziellen Vergleiche abbildet, die an den Protokolldateieinträgen in 7 vorgenommen werden, werden die Treffer 1, 5 und 9 in Block 68 ausgewählt und in Block 70 verglichen. Treffer 1, der älteste Eintrag, wird in Block 72 weitergereicht, und der nächste eingehende Eintrag, Treffer Nummer 2, wird in Block 78 ausgewählt. Diese Reihenfolge setzt sich solange fort, bis alle Treffer 1 bis 12 weitergereicht sind, wobei zuerst die Treffer 1 bis 4 in Folge von der Protokolldatei 80 weitergereicht werden, die Treffer 5 bis 8 als Nächstes in Folge von der Protokolldatei 82 weitergereicht werden, und schließlich die Treffer 9 bis 12 in Folge von der Protokolldatei 84. Tabelle 3

Vergleichen Weiterreichungen

1, 5 9 1

2, 5 9 2

3, 5 9 3

4 5 9 4

- 5 9 5

- 6 9 6

- 7 9 7

- 8 9 8

- - 9 9

- - 10 10
Die vorliegende Erfindung sortiert daher Verkehrsdatentreffer in gleichzeitig generierten und auch aufeinanderfolgend generierten Protokolldateien. Dies ist vorteilhaft, weil die Notwendigkeit in Bezug auf separate Programme umgangen ist, oder in Bezug auf die Konfigurierung eines Programms je nach dem, ob die Protokolldateien aufeinanderfolgend oder gleichzeitig erstellt werden. Darüber hinaus ist die vorliegende Erfindung dazu in der Lage, Protokolldateien zu sortieren, während sie weiterhin neue Verkehrsdatentreffer empfangen und abspeichern. Diese Analyse während der Verbindung versorgt Benutzer mit statistischen Daten und Berichten auf nahezu Echtzeitbasis.

Claims

Verfahren zum Analysieren von Verkehrsdaten, die von einer Vielzahl von Webservern (10) generiert werden, welche über ein Netzwerk (13) mit einer Vielzahl von Computereinheiten (12) verbunden sind, umfassend: (a) Generieren einer Vielzahl von Verkehrsdatentreffern (11) für jeden durch einen sich fernab befindlichen Benutzer erfolgenden Zugriff auf einen der Webserver (10), wobei jeder der Treffer (11) einem Datenpaket entspricht, welches zwischen einem der Webserver (10) und einer der Computereinheiten (12) ausgetauscht wird; (b) die Verkehrsdatentreffer (11) mit ihren jeweiligen Servern (10) in Verbindung zu bringen; dadurch gekennzeichnet, dass das Verfahren darüber hinaus umfasst: (c) Auslesen eines ersten Datentreffers (11) aus jedem Server (10); (d) Vergleichen des ersten, aus einem Server (10) ausgelesenen Datentreffers (11) mit dem ersten, aus einem anderen Server aus der Vielzahl von Webservern (10) ausgelesenen Datentreffer (11); (e) Weiterreichen des ältesten Datentreffers (11); (f) Auslesen des nächsten Datentreffers (11) aus dem Server (10), aus dem der weitergereichte Datentreffer (11) ausgelesen wurde; (g) Wiederholen der Schritte (d) bis (e), bis alle Datentreffer (11) ausgelesen sind; und (h) Analysieren der weitergereichten Datentreffer (11).
Verfahren nach Anspruch 1, wobei Schritt (b) und (c) im Wesentlichen gleichzeitig ausgeführt werden.
Verfahren nach Anspruch 1, wobei Schritt (b) vor Schritt (c) ausgeführt wird.
Verfahren nach Anspruch 1, wobei die Webserver (10) zueinander spiegelbildlich sind.
Verfahren nach Anspruch 1, wobei die Verkehrsdatentreffer (11) in chronologischer Reihenfolge generiert werden und wobei verschiedene Protokolldateien (15) Datentreffer enthalten, die Verkehrsdatentreffern (11) entsprechen, welche in derselben Zeitspanne generiert wurden.
Verfahren zum Analysieren von Protokolldatei (15), die in Folge eine Vielzahl von Datentreffern (11) enthalten, von denen jeder einem Verkehrsdatentreffer (11) entspricht, der von einem Webserver (10) generiert wird, wobei für jeden durch einen sich fernab befindlichen Benutzer erfolgenden Zugriff auf den Webserver (10) ein Verkehrsdatentreffer (11) generiert wird, wobei das Verfahren umfasst: (a) Auswählen eines ersten Datentreffers (11) in jeder Protokolldatei (15); (b) Vergleichen des aus einer Protokolldatei (15) ausgewählten ersten Datentreffers (11) mit dem aus einer anderen Protokolldatei (15) ausgewählten ersten Datentreffer (11); gekennzeichnet durch die folgenden Schritte: (c) Weiterreichen des ältesten der ausgewählten Datentreffer (11) an einen Protokolldatei-Analysator (66); (d) Auswählen des nächsten Datentreffers (11) in der Protokolldatei (15), in der der weitergereichte Datentreffer (11) ausgewählt wurde; und (e) Wiederholen der Schritte (b) bis (d), bis alle Datentreffer (11) in den Protokolldateien (15) weitergereicht sind.
Verfahren nach Anspruch 6, wobei die Datentreffer (11) jeweils einem eindeutigen Zeitpunkt zugeordnet werden und der letzte Eintrag in einer Protokolldatei (15) einem Zeitpunkt zugeordnet wird, der nach dem ersten Eintrag in einer anderen Protokolldatei (15) erfolgt.
Verfahren nach Anspruch 6, wobei die Protokolldateien (15) jeweils einer eindeutigen Zeitspanne zugeordnet werden und der Zeit punkt für jeden Datentreffer (11) innerhalb der Zeitspanne für seine Protokolldatei (15) liegt.
Verfahren nach Anspruch 6, wobei eine der Protokolldateien (15) vom Webserver (10) generiert wird und eine andere der Protokolldateien (15) von einem weiteren Webserver generiert wird.
System zum Analysieren von Webserver-Protokolldateien (15), Folgendes umfassend: einen Pool (12, 14, 15, 16, 17) von Verkehrsdatentreffern (11), die von einem Webserver (10) für jeden durch einen sich fernab befindlichen Benutzer erfolgenden Zugriff auf die Webserver (10) erzeugt werden; wobei jedem der Datentreffer (11) ein eindeutiger Zeitpunkt zugeordnet wird; eine Protokolldatei (15), die die Datentreffer (11) in Folge enthält; gekennzeichnet durch: eine Sortiereinrichtung (64) zum Sortieren der Datentreffer (11) aus einer Vielzahl der Protokolldateien (15) in chronologischer Reihenfolge; und einen Analysator (66) zum Analysieren der sortierten Datentreffer (11).