DE602005001965T2

DE602005001965T2 - Methodologie und Protokolle für Hochgeschwindigkeitsverkehrmessung und Analyse

Info

Publication number: DE602005001965T2
Application number: DE602005001965T
Authority: DE
Inventors: S. Kodialam Marlboro Muralidharan; V. Lakshman Morganville Tirunell; Cheong Lau Middletown Wing
Original assignee: Lucent Technologies Inc
Current assignee: Nokia of America Corp
Priority date: 2004-03-31
Filing date: 2005-03-15
Publication date: 2008-05-08
Anticipated expiration: 2025-03-16
Also published as: US20050220023A1; JP2005295562A; EP1583281A1; JP4727275B2; US20080219181A1; CN1677940B; CN1677940A; US7808923B2; DE602005001965D1; KR20060044844A; KR101123020B1; EP1583281B1; US7397766B2

Description

ERFINDUNGSGEBIET
Die vorliegende Erfindung betrifft allgemein Kommunikationsnetzwerke und insbesondere die Messung und Analyse von Datenpaket-Kommunikationsnetzwerken.
ALLGEMEINER STAND DER TECHNIK
In den letzten Jahren hat die Welt die Verbreitung von Hochgeschwindigkeits-Datennetzwerken und die schnelle Erweiterung der Menge von Protokollen/Diensten erlebt, welche diese Netzwerke unterstützen. Die Entwicklung der Netzwerküberwachung und der Verkehrsmessungstechniken hat es bislang nicht geschafft, mit der Betriebsgeschwindigkeit wie auch der Entfaltung dieser Netzwerke in großem Maßstabe gleichzuziehen. Wegen dieses Defizits verlieren die Netzbetreiber zunehmend ihren Zugriff darauf, was in diesen Netzwerken genau geschieht. Das hat wiederum die Fähigkeit gefährdet, die Netzwerke richtig und effizient zu betreiben und zu verwalten. Es gibt einen dringenden Bedarf an einer Infrastruktur für eine umfassende aber noch beherrschbare Netzwerküberwachung und eine Ende-zu-Ende-Verkehrsanalyse für Hochgeschwindigkeitsnetzwerke großen Umfangs. Eine derartige Infrastruktur ist besonders wichtig für verbindungslose Datennetzwerke, wie z.B. das Internet, in welchen sich die Wege der Verkehrsströme wegen der verschiedenen Typen von erwarteten und unerwarteten Ereignissen inmitten einer Sitzung dynamisch und unvorhersehbar verändern können. Derartige Ereignisse schließen Netzkomponentenausfälle, nichtdeterministische Belastungsausgleichsprogramme (z.B. Equal Cost Multiple Path (ECMP)), Software/Hardware-Defekte und Protokoll-Fehlkonfigurationen ein. Gegenwärtig können sich die meisten Netzbetreiber nur auf rudimentäre diagnostische Werkzeuge, wie z.B. "Traceroute", stützen, um beklagenswert inadäquate Muster von Ende-zu-Ende-Routen von individuellen Verkehrsströmen im Netzwerk zu erhalten.
Neuere Untersuchungen zu Methoden und Infrastrukturen zur Verkehrsmessung/Analyse wurden nachhaltig von den Anforderungen einer Anzahl kritischer Anwendungen aus dem täglichen Leben vorangetrieben, wie zum Beispiel Ursprung-Ziel-Verkehrsmatrixabschätzungen (O-D(originationdestination)-Paar) für die im großen Maßstab tätigen Internet-Dienstleister (ISP-Internet Service Provider), und zur Unterstützung von Rückverfolgungsdienstleistungen in IP-basierten Netzwerken zum Bewältigen von vorgetäuschten DDoS-Angriffen. In dem Verkehrsmatrix-Abschätzungsproblem, wie es diskutiert wird von A. Medina, N. Taft, K. Salamatian, S. Bhattaracharyya und C. Diot in "Traffic Matrix Estimation: Existing Techniques and new directions", Procs. of ACM Sigcomm, Aug. 2002 [Medi 02]; Y. Zhang, M. Roughan, N. Duffield, A. Greenberg in "Fast Accurate Computation of Large-Scale IP Traffic Matrices from Link Loads", Procs. of ACM Sigmetrics, Juni 2003 [Zhang 03a]; und Y. Zhang, M. Rough, C. Lund und D. Donoho in "An Information-Theoretic Approach in Traffic Matrix Estimation", Procs. of ACM Sigcomm, Aug. 2003 [Zhang 03b], ist es die Zielstellung, die Verkehrsanforderungen zwischen O-D-Knotenpaaren in großmaßstäblichen IP-Netzwerken abzuschätzen, wobei nur Verbindungsbelastungsmessungen verwendet werden. Die Ursache für dieses Problem liegt in der fehlenden Unterstützung von preisgünstigen, skalierbaren Per-Flow-Zählern durch die meisten am Markt befindlichen handelsüblichen Gigabit-Router. Zwar kann zum Beispiel die Cisco-Netflow-Technologie, Cisco, IOS NetFlow, http://www.cisco.com/warp/public/732/Tech/nmp/netflow/ index.shtml verwendet werden, um fein gegliederte Per-Flow-Verkehrsstatistikdaten zu sammeln, ihre enormen Anforderungen an Speicher und Bandbreite machen sie jedoch für 10Gbps-Netzwerke ungeeignet. Um einer solchen Unzulänglichkeit/Defizienz in der Messungs-Infrastruktur zu begegnen, haben Forscher darauf zurückgegriffen, die Verbindungsbelastungsmessungen mit zusätzlichen Annahmen über die O-D-Paar-Verkehrsverteilung zu kombinieren, um die geforderte 0-D-Paar-Verkehrsmatrix abzuschätzen. Zum Beispiel wurden in [Medi 02, Zhan 03a, Zhan 03b] verschiedene Varianten des Schwerkraftmodells aus dem Bereich des Transportwesens angepasst, um die Netzwerkverkehrsverteilung zwischen allen O-D-Paaren zu modellieren; in [Yard 96] Y. Vardi, "Network Tomography: estimating source-destination traffic intensities from link data", Journal of American Statistics Association, 91, S. 365–377, 1996 [Yard 95] wird eine Poissonverteilungsannahme verwendet, um die Verbindungsbelastungsstatistik 2-ter Ordnung mit der O-D-Paar-Verkehrsverteilung in Beziehung zu setzen. Ebenso wird durch J. Cao, D. Davis, S. V. Wiel und B. Yu in "Time-varying network tomography", Journal of American Statistics Association, 95, S. 1063–1075, 2000 [Cao 00], eine ähnliche Gaußverteilungsannahme getroffen. Tatsächlich hat das Problem zum Abschätzen der O-D-Verkehrsmatrix, wobei nur Verbindungsbelastungsmessungen gegeben sind, zur Herausbildung eines neuen Forschungsgebietes geführt, das "Netzwerk-Tomografie" genannt wird. Leider sind die meisten bis zum heutigen Tage vorgeschlagenen, auf der Netzwerk-Tomografie basierenden Lösungen hochempfindlich, d.h. nicht robust hinsichtlich der Gültigkeit ihrer Verkehrsverteilungsannahmen. Der auf der Tomografie basierende Ansatz stützt sich auch stark auf die Korrektheit, Synchronisation und Konsistenz unter den mehreren Betriebsdatenbanken, aus denen die Messungs/Konfigurations-Informationen zu entnehmen und zuzuordnen sind. (Derartige Datenbanken enthalten Weiterleitungstabellen in den Routern, die Router-Konfigurationsdateien, wie auch SNMP-MIBs für die Verbindungsbelastung.) Das oben erwähnte Modellieren und die Betriebsvoraussetzungen machen die auf der Tomografie basierenden Verkehrsmessungs-/Abschätzungs-Entwürfe wenig nützlich für die Netzwerkfehlerdetektion/diagnose, wo weder das richtige Funktionieren der Netzwerkelemente/Datenbanken noch die Normalität von Verkehrsverteilungen angenommen werden kann.
Kürzlich wurde ein alternativer, auf einer Pakettrajektorie basierender Überwachungs-/Analyse-Ansatz von N. G. Duffield, M. Grossglauser in "Trajectory Sampling for Direct Traffic Observation", Procs. of ACM Sigcomm, Aug. 2000, S. 271–282 [Duff 00] und von A. C. Snoeren, C. Partridge, L. A. Sanchez, C. E. Jones, F. Tchakountio, S. T. Kent und W. T. Strayer in "Hash-based IP Traceback", Procs. of ACM Sigcomm, Aug. 2001, S. 3–4 [Snoe 01] vorgeschlagen, in welchem jeder Knoten (Router) einen verdichteten Überblick oder eine Kurzfassung all der Pakete beibehält, die er kürzlich behandelt hat. In beiden, [Duff 00] und [Snoe 01], hat die Kurzfassung die Form eines Bloom-Filters, siehe zum Beispiel B. Bloom, "Space/Time trade-offs in hash coding with allowable errors", Communications of the ACM, 13. Juli 1970, S. 422–426 [Bloo 70] und A. Broder, M. Mitzenmacher in "Network Applications of Bloom Filters: A Survey", Allerton Conference, 2002, verfügbar unter http://www.eecs.harvard.edu/~michaelm [Brod 02], welches für jedes an dem Knoten ankommende Paket aktualisiert und periodisch auf einen bestimmten zentralen Server hinaufgeladen wird, um eine zukünftige Offline-Verkehrsanalyse wie auch Archivierungszwecke zu unterstützen. Ausgerüstet mit diesen sehr informativen Knotenverkehrskurzfassungen kann der zentralisierte Server nicht nur das Verkehrsflussmuster und Per-Flow/Artikelmessungen durch das Netzwerk hindurch erstellen, sondern kann auch Anfragen hinsichtlich des Ende-zu-Ende-Pfades oder der sogenannten Trajektorie eines beliebigen gegebenen Pakets beantworten, welches das Netzwerk in der (jüngsten) Vergangenheit durchlaufen hat. Die Fähigkeit zum Beantworten einer Trajektorienanfrage für ein beliebiges individuelles Paket bringt einen großen Aufwand mit sich: das Bloom-Filter muss groß genug sein, um ausreichende Informationen für jedes einzelne eintreffende Paket zu speichern. Selbst mit dem effizienten Speicher gegenüber dem Falsch-Positiv-Tradeoff des Bloom-Filters erfordert es noch O(N) Speicherbits, um die Signaturen von N unterschiedlichen Pakete mit einer hohen Wahrscheinlichkeit zu erfassen und richtig zu unterscheiden. In [Snoe 01] wird abgeschätzt, dass ein derartiges System ungefähr 0,5% der Verbindungskapazität des Knotens pro Zeiteinheit im Speicher benötigt. Für eine 10Gbps-Verbindung ergibt das 50 Mbit Speicher für jede Sekunde der Überwachungszeit. Eine derartig schwergewichtige Verkehrskurzfassung belastet nicht nur die Datenspeicherung und die Kommunikationsanforderungen des Systems, sondern weist auch ein schlechtes Skalierungsverhalten auf, wenn die Verbindungsgeschwindigkeit und/oder die Überwachungsdauer zunehmen.
In der PCT-Patentanmeldung Nr. WO 03/075508 wird ein Verfahren zum Abschätzen von Verkehrswerten oder Intervallen in einem Kommunikationsnetzwerk offenbart. (Kurzdarstellung) Das Netzwerk umfasst mehrere Knoten, die durch Verbindungen miteinander Verbunden sind, und das Verfahren umfasst: (a) Empfangen von Verkehrsdaten durch die Knoten und/oder Verbindungen als Eingangsdaten; (b) Empfangen von Netzwerkdaten, die sich auf die Netzwerktopologie und das Netzwerkverhalten beziehen; und (c) Abschätzen des Einflusses einer Abänderung des Kommunikationsnetzwerks und/oder seines Verhaltens durch Berechnen der Verkehrsinformationen zwischen einem ausgewählten ersten und einem ausgewähltem zweiten Knoten des Netzwerks unter Verwendung der Eingangsdaten. (id)
Von Wei-Ming Lin u.a. wird in "Look-ahead traffic distribution in wormhole-routed networks", IEEE Comput. Soc., 20. Okt. 1998, S. 318–323, ein Verkehrsverteilungsansatz zur Verbesserung der Leistungsfähigkeit von adaptiven Routing-Algorithmen in Wormhole-Routed-Netzwerken offenbart. (Kurzdarstellung) In diesem Ansatz tauschen benachbarte Router "integrierte" Verkehrsinformationen aus, und jeder Router integriert die gesammelten Verkehrsinformationen vor der weiteren Verbreitung erneut. (id) Die integrierten Informationen werden verwendet, um jedem Router ein "Konzept" von den semi-globalen Verkehrsinformationen und des Staugrades in einem ausgedehnten lokalen Bereich zu geben, so dass derartige Informationen für ein "intelligentes" Routing des Verkehrs innerhalb eines jeden Routers verwendet werden können. (id)
KURZDARSTELLUNG DER ERFINDUNG
Ein Verfahren und eine Vorrichtung gemäß der vorliegenden Erfindung werden in den unabhängigen Ansprüche dargelegt, auf die der Leser nun verwiesen wird. Bevorzugte Merkmale werden in den abhängigen Ansprüchen dargestellt.
Ein Fortschritt gegenüber dem Stand der Technik wird durch ein effizientes Verfahren zur Netzwerkverkehrsanalyse erreicht, das als eine Dezentrale Architektur zur Verkehrsanalyse über eine leichtgewichtige Kurzfassung (DATALITE – Distributed Architecture for Traffic Analysis via LIght-weight Traffic digEst, Dezentrale Architektur für die Verkehrsanalyse über eine leichtgewichtige Verkehrskurzfassung) bezeichnet wird, das eine Menge von neuen dezentralen Algorithmen und Protokollen einführt, um die allgemeinen Verkehrsmessungs- und -analysefunktionen (TMA – Traffic Measurement and Analysis) für ausgedehnte 10Gbps+ paketgeschaltete Netzwerke zu unterstützen. Diese Funktionen schließen ein, sind aber nicht beschränkt auf:

• Verkehrsfluss/Routen-Überwachung, Diagnose und Netzwerk-Forensik;
• Abschätzen der Ursprung-Ziel(OD)-Verkehrsbelastungsmatrix zur Kapazitätsplanung und zum Zwecke der Verkehrsleitung;
• Verkehrsmessungen für die Abrechnung/Rechnungsstellung für die Endnutzer wie auch zum Zwecke der Inter-ISP-Gebührenverrechnung (Ases);
• Rückverfolgen von angreifenden Paketen bei Verteilten Dienstblockade (DDoS – Distributed Denial of Service)-Angriffen bis zum Ursprung (den Ursprüngen).

Das netzwerkweite Verkehrsmessungs-/Analyse-Problem wird als eine Reihe von Mengenmächtigkeitsbestimmungsproblemen (SCD – setcardinality-determination) formuliert. Indem kürzlich erzielte Fortschritte in den wahrscheinlichkeitstheoretischen Verfahren zum Zählen unterschiedlicher Proben erfolgreich genutzt werden, können die Mengenmächtigkeiten und somit die interessierenden netzwerkweiten Verkehrsmessungen in einer dezentralen Art und Weise über den Austausch von außerordentlich leichtgewichtigen Verkehrs-Kurzfassungen (TD – Traffic Digests) zwischen den Netzwerkknoten, d.h. den Routern, berechnet werden. Eine TD für N Pakete erfordert nur O(loglogN) Bits Speicherplatz. Die Berechnung einer derartigen TD der Größe O(loglogN) ist auch für eine effiziente Hardware-Realisierung bei einer Leitungsgeschwindigkeit von 10Gbps und darüber hinaus machbar.
Bei der gegebenen geringen Größe der TDs ist es möglich, die Knoten-TDs allen Routern in einer Domäne zu verteilen, indem sie als verdeckte Datenobjekte innerhalb der vorliegenden Steuernachrichten, wie z.B. als OSPF-Linkzustandspakete (LSP – Link State Packet) oder I-BGP-Steuernachrichten, im Huckepack mitgeführt werden. Sobald die erforderlichen TDs empfangen wurden, kann ein Router die interessierenden Verkehrsmessungen für jede seiner lokalen Verbindungen abschätzen, indem eine Reihe von Mengenmächtigkeitsbestimmungsproblemen gelöst werden. Wie in einem nachfolgenden Abschnitt dargelegt wird, liegen die interessierenden Verkehrsmessungen gewöhnlich in der Form von Paketzählungen (oder Flusszählungen) pro Verbindung, pro Verkehrsaggregat vor, wobei, ein Aggregat durch die Gruppe von Paketen festgelegt ist, welche dieselben Ursprungs- und/oder Zielknoten (oder Verbindungen) und/oder einige Zwischenknoten (oder Verbindungen) gemeinsam nutzen. Die lokalen Messergebnisse werden dann innerhalb der Domäne so verteilt, dass jeder Router einen netzwerkweiten Überblick der Routen/Flussmuster der verschiedenen Verkehrsartikel konstruieren kann, wobei ein Verkehrsartikel als eine Gruppe von Paketen definiert ist, welche dieselben Ursprungs- und/oder Zielknoten oder Verbindungen nutzen. Nachdem die anfänglichen netzwerkweiten Verkehrsmessungen empfangen wurden, kann jeder Router die zugehörigen Messungs/Abschätzungsfehler weiter reduzieren, indem er auf der Grundlage der netzwerkweiten Erhaltungssätze des Artikelflusses lokal eine Optimierung des kleinsten quadratischen Fehlers (MSE – minimum square error) ausführt.
Zusätzlich zur Unterstützung der "Rundumsendung"-Betriebsform, in der das Netzwerk periodisch mit leichtgewichtigen TDs und sich daraus ergebenden lokalen Verkehrsabschätzungen überflutet wird, unterstützt DATALITE auch Verkehrsmessungen/Analysen in einer "Anfrage-und Antwort"-Betriebsform, in welcher die Verteilung der TDs und lokalen Verkehrsabschätzungen durch eine relevante Untermenge von Knoten innerhalb des Netzwerkes auf einer Anforderungs- und Wissenwert-Basis ausgeführt wird. Die Anfrage-und-Antwort-Betriebsform ist insbesondere zur Unterstützung gelegentlicher Spezialverkehrsuntersuchungen nützlich, in denen eine besonders fein gegliederte Verkehrsmessung/Analyse hoher Genauigkeit benötigt wird.
Zusammenfassend umgeht DATALITE dadurch, dass direkte Messungen vorgenommen werden, die Probleme, die durch ungültige Verkehrsmodellierungs- oder Betriebsannahmen verursacht werden, welche die Netzwerktomografieansätze belasten. Obwohl es einige Gemeinsamkeiten höherer Stufe zwischen dem DATALITE-Verfahren und den existierenden, auf Trajektorien basierenden Verfahren gibt, gibt es auch grundlegende Unterschiede zwischen ihnen: Erstens können durch Formulieren des Verkehrsmessungsproblems als eine Reihe von Mengenmächtigkeitsbestimmungsproblemen kürzlich erreichte Fortschritte in den Verfahren zum Zählen unterschiedlicher Proben für das Ausführen einer Verkehrsanalyse in einer dezentralen Form mit minimalen Kommunikations-Overheads erfolgreich genutzt werden. Zweitens werden durch das Konzentrieren auf die Messungen und die Analyse des Verhaltens von Verkehrsaggregaten anstelle von einzelnen Paketen die Anforderungen an den Systemspeicher und die Kommunikationsbandbreite für DATALITE stark herabgesetzt. Im Ergebnis ist es für DATALITE möglich, im Gegensatz zu dem schwergewichtigen zentralisierten Ansatz, welcher von den existierenden auf Trajektorien beruhenden Systemen verwendet wird, ein dezentrales Berechnungsmodell zu übernehmen.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Ein vollständigeres Verständnis der vorliegenden Erfindung kann unter Beachtung der nachfolgenden ausführlichen Beschreibung der Erfindung in Verbindung mit der Zeichnung erhalten werden, wobei gleiche Elemente mit den gleichen Bezugsziffern bezeichnet werden, wobei:
1 eine als Beispiel dienende Methodik für das Extrahieren einer Verkehrskurzfassung aus einer Paketmenge gemäß vorliegender Erfindung veranschaulicht;
2 ein Ausführungsbeispiel für die Schritte ist, die durch einen Netzwerkknoten unter Verwendung der Techniken zur Verkehrsmessung und -analyse der vorliegenden Erfindung ausgeführt werden.
AUSFÜHRLICHE BESCHREIBUNG
Die vorliegende Erfindung ist eine Methodik zum Bereitstellen einer verbesserten Effizienz für die Netzwerkmessung und -analyse in Datenpaketnetzwerken. Obwohl ein Ausführungsbeispiel der Erfindung in Verbindung mit den herkömmlichen Hochgeschwindigkeitsnetzwerken beschrieben wird, wird es für Fachleute jedoch offensichtlich sein, dass die vorliegende Erfindung auf andere Netzwerke, wie z.B. Funknetze und Transportnetzwerke, anwendbar ist.
Während die Fähigkeit, eine Trajektorienanfrage für ein beliebiges gegebenes individuelles Paket zu beantworten, von den Konstrukteuren in [Snoe 01] alsnotwendig angesehen wurde, um eine IP-Rückverfolgung zu unterstützen, wird von den Erfindern hier argumentiert, dass damit für die meisten Verkehrsmessungs-/Analyse-Anwendungen, einschließlich der IP-Rückverfolgung, über das Ziel hinaus gegangen wird. Das Argument basiert auf der Beobachtung, dass es in den meisten dieser Anwendungen genügt, die Trajektorie und/oder das Verkehrsvolumen von einer gegebenen Gruppe von Paketen oder einem sogenannten Verkehrsaggregat anstatt von einem Bündel einzelner isolierter Pakete zu kennen. Obwohl argumentiert werden könnte, dass das System in [Snoe 01] leistungsstärkere forensische Netzwerkanwendungen, wie z.B. das Aufspüren des Ursprungs eines einzelnen speziellen Pakets, unterstützen kann, glauben wir, dass die Verkehrsanalyse/Überwachung auf Netzwerkebene nicht der beste Weg zum Bereitstellen einer solchen Funktion sein kann. Stattdessen können spezifische forensische Funktionen der Anwendungsebene besser auf der Anwendungsebene in der Nähe der Endsysteme unterstützt werden. Es ist unsere Auffassung, dass eine Netzwerkverkehrsüberwachung/Analyseinfrastruktur ihre Anstrengungen auf das Unterstützen von Netzwerk- und/oder Transportschichten von Funktionen, wie z.B. die Routing-Diagnose, die Verkehrsleittechnik und die Flussmusteranalyse, konzentrieren sollte.
In den meisten Fällen ist die Definition des interessierenden Verkehrsaggregats klar im Zusammenhang mit der Anwendung festgelegt. In der vorliegenden Erfindung, einer Dezentralen Architektur für die Verkehrsanalyse über eine leichtgewichtige Verkehrskurzfassung (DATALITE), konzentrieren wir uns in erster Linie auf Verkehrsaggregate, die festgelegt werden mit Hinblick auf:

(1) ihre Ursprungs- und/oder Zielknoten (oder Verbindungen) oder
(2) die Menge der spezifischen Verbindung(en) oder Knoten, die von dieser Verkehrsgruppe durchlaufen wird.

Wir entscheiden uns für eine Konzentration auf derartige Festlegungen von Aggregaten, weil – wie nachfolgend gezeigt wird – derartige Verkehrsaggregate zentral sind für einen weiten Bereich von praktischen Verkehrsmessungs- und -analyseanwendungen (TMA), einschließlich der Verkehrsmatrixabschätzung, der Routenabschätzung wie auch der Netzwerkausfalldiagnose. Zusätzlich zu diesen primären Typen von Verkehrsaggregaten unterstützt die vorgeschlagene DATALITE-Infrastruktur auch feiner gegliederte Verkehrsaggregate, die Untermengen der primären sind, z.B. eine Gruppe von Paketen eines gegebenen Protokolltyps und/oder einer gegebenen Anschlussnummer.
Verkehrsmessung/Analyse als ein Schnittmengen-Mächtigkeitsbestimmungsproblem.
In diesem Unterabschnitt wird die Formulierung des Verkehrsmesssungs-/Analyseproblems (TMA) als eine Reihe von Schnittmengen-Mächtigkeitsbestimmungsproblemen (ISCD – intersection-set-cardinality-determination) beschrieben. Es wird die Darstellung eines Netzwerks mittels gerichteter Graphen G = (V, E) betrachtet, wobei V die Menge der Knoten und E die Menge der gerichteten Verbindungen ist. Es sei (i, j) ∊ E die gerichtete Verbindung vom Knoten i zum Knoten j. Es sei L_i,j die Menge der Pakete, die während eines gegebenen Messzeitraums der Länge T Sekunden über die Verbindung (i, j) läuft. Zunächst wird angenommen, dass der Messzeitraum viel länger ist als die maximale Verzögerung von Ende zu Ende innerhalb des Netzwerks, so dass die Randeffekte, welche durch ein auf dem Wege befindliches Paket hervorgerufen werden, vernachlässigt werden können. Die Auswirkung der Wegverzögerung kann berücksichtigt werden, indem mehrfach zeitindizierte Knotenverkehrskurzfassungen unterhalten werden. Tatsächlich können zeitindizierte Verkehrskurzfassungen verwendet werden, um Netzwerk-Wegverzögerungsmessungen zu unterstützen. Es sei O_i (oder D_i) die Menge von Paketen, die am Knoten i während desselben Messzeitraums erzeugt (oder abgeschlossen) werden. Durch "erzeugt" (oder "abgeschlossen") werden die Pakete gekennzeichnet, die von dem Knoten gerade erzeugt werden (oder das Netzwerk von dort aus verlassen). Es wird vermieden, die Wörter "Quelle" oder "Ziel" zu verwenden, weil ein Paket wegen einer möglichen Quelladressvortäuschung tatsächlich nicht an dem Quellknoten erzeugt worden sein kann, auf den es Anspruch erhebt. Ebenso kann ein Paket, z.B. durch Routing-Probleme oder Verlust, tatsächlich nicht an seinem vorgesehenen Zielknoten ankommen.
Während des gegebenen Messzeitraums können die uns interessierenden Verkehrsaggregate einfach als die Schnittmenge der oben definierten Paketmengen dargestellt werden. Um unsere Herangehensweise zu veranschaulichen, sollen die folgenden zwei allgemeinen (und grundlegenden) TMA-Aufgaben betrachtet werden:
Proben-TMA-Aufgabe #1:
Die Zielstellung dieser Aufgabe ist es, das Routenmuster und das Verkehrsvolumen zwischen allen O-D-Knotenpaaren im Netzwerk zu bestimmen. Dazu wird die Menge von Paketen Fki,j betrachtet, welche durch die Verbindung (i, j) ∊ E mit k = (s, d) ∊ V × V als ihrem O-D-Knotenpaar hindurchlaufen. Es ist zu beachten, dass Fki,j als die Schnittmenge von anderen oben definierten Paketmengen ausgedrückt werden kann, und zwar Fki,j = OS∩Li,j∩Dd. Eine Schlüsselbeobachtung besteht darin, dass es für diese Aufgabe (wie auch in dem weiten Bereich der anderen TMA-Anwendungen, wie z.B. der Verkehrsmatrixabschätzung, der Flussmusteranalyse, der Verkehrsrückverfolgung, der Routen/Netzwerk- Ausfalldetektion/Analyse wie auch der Verkehrsleitung) ausreicht, anstelle der vollständigen Details der Fki,j die Mächtigkeit der Fki,j , d.h. |Fki,j |, zu kennen. Zum Beispiel kann die Zielstellung der Proben-TMA-Aufgabe #1 erreicht werden, wenn lediglich die |Fki,j | für jede Verbindung (i, j) ∊ E und alle O-D-Knotenpaare mit k = (s, d) ∊ V × V bekannt sind.
Proben-TMA-Aufgabe #2:
In dieser Aufgabe wird die Rückverfolgungsanwendung betrachtet, in der die erzeugenden Knoten, ihr Beitrag zum Verkehrsvolumen wie auch das Stromauf-Flussmuster der Gruppe von Paketen bestimmt werden sollen, welche an einem gegebenen Stromab-Knoten d ankommen und abgeschlossen werden, der ein Opfer von irgendeiner DDoS sein kann. Um diese Aufgabe zu bewältigen, ist es lediglich nötig, |Fki,j | für jede Verbindung (i, j) ∊ E zu bestimmen, wobei Fki,j = Li,j∩Dd und k = (*, d) ist (wobei * das Platzhaltersymbol ist). Ebenso können das Ziel, das Stromab-Routenmuster und das Flussvolumen von Paketen verfolgt werden, die von einem gegebenen Knoten s ausgehen, indem |Fki,j | für jede Verbindung (i, j) ∊ E bestimmt wird, wobei Fki,j = OS∩Li,j und k = (s, *) ist.
Aufbauend auf der. obigen Beobachtung ist es die Grundidee von DATALITE, eine Infrastruktur bereitzustellen, um die dezentrale Berechnung/Abschätzung der |Fki,j | auf eine netzwerkweite Weise zu unterstützen, wobei die Fki,j in der Form einer Schnittmenge von einigen Paketmengen ausgedrückt wird, wie z.B. der oben erwähnten O_i, D_d und L_i,j. Wie hier erörtert werden wird, können durch ein Konzentrieren auf die |Fki,j | anstatt auf die vollständigen Details der Fki,j (wie in dem Falle von [Duff 00, Snoe 01]) die Anforderungen an den Systemspeicher und die Kommunikationsbandbreite für DATALITE stark herabgesetzt werden, was es DATALITE ermöglicht, TMA in 10Gbps+ – Netzwerken zu unterstützen.
Dadurch dass Fki,j als die Schnittmenge einiger spezifischer Paketmengen ausgedrückt wird, wird das TMA-Problem durch unsere Formulierung effektiv in eine Reihe von sogenannten Schnittmengen-Mächtigkeitsbestimmungsproblemen (ISCD) überführt. Das Problem der Bestimmung der Mächtigkeit der Schnittmenge mehrerer Mengen, die über verschiedene Orte verteilt sind, wurde kürzlich untersucht im Zusammenhang mit (1) der Unterstützung von Suchmaschinen beim Identifizieren ähnlicher Webseiten über das WWW, A. Broder, "On the resemblance and containment of documents" in Compression and Complexity of Sequences (SEQUENCES), Positano, Italien, Juni 1997 [Brod 97] und (2) der Gestaltung von Protokollen zur Unterstützung einer effizienten Dateisuche/Vertauschung über Peer-To-Peer-Netzwerke, J. Byers, J. Considine, M. Mitzenmacher und S. Rost "Informed Content Delivery Across Adaptive Overlay Networks" in Procs. of ACM Sigcomm, August 2002 [Byer 02]. [Brod 97] und [Byer 02] verwenden beide das "Min-wise independent permutation"-Verfahren von A. Broder, M. Charikar, A. M. Frieze und M. Mitzenmacher, "Min-wise independent permutations", Journal of Computer and System Sciences, 60 (3), 2000, S. 630–659. In [Brod 00] werden die sogenannten Ähnlichkeitsverhältnisse von |A∩B|/|A⋃B| für ein Mengenpaar A und B abgeschätzt. Der Betrag des von diesem Verfahren benötigten Informationsaustausches ist jedoch proportional zur Größe der interessierenden Mengen, d.h. O(|A|) oder O(|B|). Das ist für unsere Hochgeschwindigkeits-TMA-Anwendungen nicht brauchbar, in denen |A| und |B| der Anzahl von Paketen entspricht, die eine gegebene Verbindung während des Messzeitraumes durchlaufen: für eine 40Gbps-Verbindung mit Paketen von 40 Byte und einem Messzeitraum von einigen 10 Sekunden kann |A| leicht im Bereich von Milliarden liegen. Ein alternativer Ansatz, der auf dem Austausch von Knoten-Bloom-Filtern beruht (wie von [Duff 00, Snoe 01] erwähnt wird), führt wegen der ähnlichen O(|A|) – Speicheranforderungen der entsprechenden Bloom-Filter auch zu übermäßigen Speicher-/Kommunikationsbandbreite-Problemen.
Dezentrale Schnittmengen-Mächtigkeitsbestimmung über das Zählen unterschiedlicher Proben
Die vorliegende Erfindung DATALITE nimmt einen neuen Ansatz, um das dezentrale ISCD-Problem zu lösen: Zunächst wird das ISCD-Problem in ein oder mehrere Vereinigungsmengen-Mächtigkeitbestimmungsprobleme (USCD – union-set cardinality determination) überführt. Dann werden die modernen O(loglog|A|)-Zählalgorithmen für unterschiedliche Proben eingesetzt, um das USCD-Problem in einer dezentralen Weise zu lösen. Tatsächlich kann unser Zugang für die oben erwähnten Anwendungen in [Brod 97] und [Byer 02] verwendet werden, um deren Leistungsfähigkeit und Skalierbarkeit drastisch zu verbessern.
Zur Veranschaulichung wird auf die Proben-TMA-Aufgabe #2 zurückgegriffen, wobei Fki,j = Os∩Li,j ist. Auf der Grundlage der elementaren Mengenlehre kann |Fki,j | in der Form dargestellt werden: |Fki,j | = |Os∪Li,j| = |Os| + |Li,j| – |Os∩Li,j|, Glg. (1)wobei |O_s| die Anzahl der unterschiedlichen Pakete ist, die am Knoten s während des Messzeitraumes erzeugt werden. Nach Definition ist jedes erzeugte Paket unterschiedlich, und somit kann |O_s| als ein Einzelpaketzähler für jeden erzeugenden Netzwerkknoten beibehalten werden. |L_i,j| ist die Anzahl der unterschiedlichen Pakete, welche die Verbindung (i, j) durchlaufen. Es wird das wahrscheinlichkeitstheoretische Verfahren zum Zählen unterschiedlicher Proben verwendet, das durch Flajolet, Martin und Durand neu entwickelt wurde, P. Flajolet, G. N. Martin "Probabilistic counting algorithms for database applications", Journal of Computer and System Sciences, 31(2), 1985, S. 182–209 [Flaj 85] und M. Durand, P. Flajolet, "Loglog Counting of Large Cardinalities", eingereicht in European Symposium an Algorithms, ESA 2003, April 2003 [Dura 03], um die |L_i,j| für jede Verbindung (i, j) ∊ E zu verfolgen. Ein Hauptvorteil eines solchen Verfahrens ist, dass nur das Beibehalten einer O(loglog N_max)-Bit-Kurzfassung erforderlich ist, um die benötigten Informationen in der Paketmenge L_i,j aufzusummieren, wobei N_max die maximale Anzahl unterschiedlicher Proben in L_i,j ist. Im Rahmen der vorliegenden Erfindung wird auf diese Kurzfassung als die Verkehrskurzfassung (TD) von L_i,j Bezug genommen, die als
bezeichnet wird. Neben dem Beibehalten von
wird auch ein einfacher Paketzähler C_i,j für jede Verbindung (i, j) ∊ E eingeführt, um das einfache Zählen von Paketen (einschließlich von Duplikaten) zu verfolgen, welche durch die Verbindung während desselben Messzeitraumes hindurchlaufen. Eine große Diskrepanz zwischen den Werten von C_i,j und |L_i,j| würde auf mögliche Routing-Probleme hinweisen, da die Verbindung (i, j) ein Teil einer Routing-Schleife geworden sein kann. Somit besteht die verbleibende Aufgabe bei der Auswertung der |Fki,j | in der Berechnung von |O_s∪L_i,j|. Übrigens kann das wahrscheinlichkeitstheoretisches Verfahren zum Zählen unterschiedlicher Proben, das für die Abschätzung von |L_i,j| verwendet wird, auch erweitert werden, um |O_s∪L_i,j| in einer dezentralen Weise zu berechnen. Das beruht auf dem Austausch von TDs der Größe O(loglog N_max) für die Paketmengen O_s und L_i,j die durch
und
bezeichnet werden, und die lokal durch den Knoten s bzw. den Knoten i beibehalten werden. Ebenso kann |Fki,j | für die Proben-TMA-Aufgabe #1 ausgedrückt werden als: |Fki,j | = |Os∪Li,j∪Dd| = |Os| + |Li,j| + |Dd| – |Os∩Li,j| – |Li,j∩Dd| – |Dd∩Os| + |Os∩Li,j∩Dd|. Glg. (2).
Wieder kann das oben erwähnte O(loglog N_max) Zählverfahren für unterschiedliche. Proben verwendet werden, um die Mächtigkeiten der Vereinigungsmengen auf der rechten Seite von Glg. 2 zu bestimmen. Kurz gesagt kann das TMA-Problem in die Bestimmung der Mächtigkeiten der Vereinigungen einiger spezifischer Paketmengen umgewandelt werden. Wichtiger ist, dass dieser Ansatz nur eine einzelne leichtgewichtige TD pro Verbindung (plus einen einfachen Paketzähler pro Verbindung) benötigt, um die netzwerkweiten Routen-Muster und die Verkehrsvolumina pro Verbindung für die |V|² Typen von Paketen auf der Grundlage einer O-D-Knotenpaar-Klassifikation zu bestimmen. Durch Identifizieren der Verbindungen eines Routers i, durch welche Pakete in das Netzwerk tatsächlich eintreten (oder es verlassen), können die TDs für die erzeugenden (abschließenden) Paketmengen des Routers i auf der Basis der TDs dieser Verbindungen abgeleitet werden. Es besteht deshalb keine Notwendigkeit, die
und
explizit beizubehalten.
Im Allgemeinen ist es möglich, die Mächtigkeit der Schnittmenge von mehreren Mengen mit Hilfe der Mächtigkeiten einer Reihe von Vereinigungsmengen auszudrücken. Insbesondere gilt für eine Liste von Mengen S₁, S₂, ..., S_n
Die Glg. (3) ist nutzbringend, wenn zusätzliche Schnittmengen verwendet werden, um die Festlegung der interessierenden Verkehrsaggregate zu verfeinern, z.B. alle 40-Byte-TCP-Pakete mit dem O-D-Paar (s, d), welche die Verbindung L_i,j durchlaufen. Auf der Grundlage von Glg. (3) kann ein ISCD-Problem in die Berechnung der Mächtigkeiten der Vereinigung von Mengen auf der rechten Seite von Glg. (3) überführt werden. Das kann seinerseits in einer dezentralen Weise erfolgen, wobei das Zählverfahren für unterschiedliche Proben verwendet wird. Zusammenfassend enthält der Lösungsansatz der vorliegenden Erfindung die folgenden Schritte:

1. Umformen des interessierenden TMA-Problems in das Problem zur Bestimmung der Mächtigkeiten von einigen interessierenden Schnittmengen oder die sogenannten Schnittmengen-Mächtigkeitsbestimmungsprobleme (ISCD).
2. Unter Verwendung von Glg. (3) Umformen des ISCD-Problems in das Problem zur Bestimmung der Mächtigkeiten von einigen interessierenden Vereinigungsmengen oder das sogenannte Vereinigungsmengen-Mächtigkeitsbestimmungsproblem (USCD).
3. Lösen der USCD-Probleme in einer dezentralen Weise unter Verwendung der Verfahren zum Zählen unterschiedlicher Proben, das von Flajolet, Martin und Durand [Dura 03] neu entwickelt wurde.

In dem folgenden Unterabschnitt werden die Verfahren "Loglog distinct sample counting" von Flajolet, Martin und Durand im Überblick dargestellt, und dann wird erläutert, wie sie im Zusammenhang mit der DATALITE-Erfindung angewendet werden können. In einer artverwandten Mitteilung haben C. Estan, G. Varghese und M. Fisk in "Counting the number of active flows on a high speed link", ACM Computer Communication Review, Bd. 32, Nr. 3, Juli 2002 [Esta 02], Varianten der unterschiedlichen Probenzählalgorithmen in [Flaj 85] entwickelt, um die lokalen Netzwerk-Flusszählungen auf einer Hochgeschwindigkeitsverbindung abzuschätzen. In DATALITE werden diese Verfahren in [Dura 03] von uns verwendet, um die Anzahl von unterschiedlichen Paketen in einigen Vereinigungsmengen von Paketen abzuschätzen, deren Elemente (Pakete) an geografisch verteilten Orten beobachtet werden. Alternative Verfahren zum Zählen unterschiedlicher Proben für verteilte Vereinigungsmengen wurden auch in P. B. Gibbons, S. Tirthapura, "Estimating Simple Functions on the Union of Data Streams", Procs. of ACM SPAA, Insel Kreta, Griechenland, 2001 [Gibb 01] vorgeschlagen. Die Speicheranforderung des in [Gibb 01] vorgeschlagenen Verfahrens ist jedoch nicht so attraktiv wie die von [Dura 03].
Überblick über die Loglog-Verfahren zum Zählen unterschiedlicher Proben
Es wird eine Menge von Proben S betrachtet, wobei jedes Paket s einen Identifikator id_s aufweist. Proben, welche den gleichen Identifikator tragen, werden als Duplikate behandelt. In [Dura 03] wird das Problem zum Zählen der Anzahl unterschiedlicher Proben in S, d.h. |S|, mit O(loglog N_max ) Speicherbits gelöst, wobei N_max die maximale Anzahl unterschiedlicher Proben in S ist. Ihr Verfahren arbeitet wie folgt:
Als erstes wird der Identifikator einer jeden Probe als die Eingabe in eine Hash-Funktion h(·) verwendet, welche als Ausgabe eine nicht negative ganze Zufallszahl ausgibt, die gleichmäßig über den Bereich von
verteilt ist, wobei
größer sein sollte als N_max. Die Binärdarstellung der Hash-Ausgabe wird als eine R_max Bits lange binäre Zufallsfolge angesehen. Da die Ausgabe von h(·) gleichverteilt ist, werden beim Vorliegen von n unterschiedlichen Proben in S intuitiv im Mittel n/2^k von ihnen eine Ausgabe aus h(·) mit (k – 1) aufeinander folgenden führenden Nullen aufweisen, auf die ein Bit "1" folgt. (Da Duplikatproben die gleiche Ausgabe in h() aufweisen werden, tragen sie insgesamt nur zu 1 Zufallsversuch bei.)
Es wird r(x) als die Funktion definiert, welche als Eingabe eine Binärfolge x erfordert und den Wert (1 + maximale Anzahl der aufeinander folgenden führenden Nullen in x) ausgibt. Zum Beispiel ist für x = 00001XXX..., r(x) = 5; für x = 1XXX..., r(x) = 1, wobei X Bits "ohne Bedeutung" darstellen. Es sei
der Maximalwert von r(h (·)), der erhalten wird, indem alle Probenidentifikatoren in S als Eingaben betrachtet werden. R(S) sollte deshalb einen groben Hinweis auf den Wert von logen liefern. Tatsächlich ist R genau auf die gleiche Weise verteilt wie 1 plus das Maximum von n unabhängigen geometrischen Variablen des Parameters 1/2. Es kann gezeigt werden, dass R eine Abschätzung von logen mit einer additiven Verschiebung von 1,33 und einer Standardabweichung von 1,87 liefert. Um in der Praxis den Abschätzungsfehler zu verringern, können unterschiedliche Hash-Funktionen verwendet werden, um mehrere Werte von R zu erhalten und ihren Mittelwert zur Abschätzung von logen zu verwenden. Alternativ kann der sogenannte Stochastische Mittelungsalgorithmus (SAA – Stochastic Averaging Algorithm) mit den folgenden Schritten zur Abschätzung von n (oder entsprechend von |S|) verwendet werden:

1. Aufteilen der Proben der Menge S in m = 2^k Speicherbereiche auf der Basis von z.B. der letzten k Bits der Hash-Ausgabe einer Probe.
2. R_j sei der Wert von R für den j-ten Speicherbereich. Berechnen der R_j für 1 ≤ j ≤ m durch Eingabe der (R_max – k) führenden Bits der Hash-Ausgabe für jede Probe zu r(·).
3. Berechnen von n ^, d.h. der Abschätzung von |S|, unter Verwendung der folgenden Formel:

_m

Wie in [Dura 03] gezeigt ist, ist der Standardfehler σ von n ^ gegeben durch: σ = 1,05/√m Glg.(5)
Zum Beispiel kann ein Standardfehler von 2% erreicht werden, indem m = 2048 gesetzt wird. Es sei daran erinnert, dass N_max die maximale Anzahl unterschiedlicher Proben in S ist. Da die mittlere Zahl unterschiedlicher Proben in jedem Speicherbereich ungefähr N_max/m ist, sollte der Maximalwert der R_j, der durch R_max bezeichnet wird, so vorgesehen werden, dass
> N_max/m ist. In [Dura 03] wird gezeigt, dass die Anzahl der Bits, die für die binäre Darstellung eines jeden der m Werte R_j erforderlich ist, gleich log2Rmax = ⌈log2(⌈log2(Nmax/m)⌉ + 3)⌉ Glg. (6) ist. Somit ist der Arbeitsspeicherbedarf M für dieses wahrscheinlichkeitstheoretische Zählverfahren unterschiedlicher Proben gegeben durch: M = m log2Rmax Bits. Glg. (7)
Es ist zu beachten, dass das obige Zählverfahren für unterschiedliche Proben einfach für eine dezentrale Ausführung angepasst werden kann, wo die Proben der Menge S an getrennten Orten beobachtet (oder gespeichert) werden. Es sei
wobei die Mengen S_p an P getrennten Orten beibehalten werden. Die Anzahl der unterschiedlichen Proben in S, die mit |S| (oder
bezeichnet wird, kann auf eine dezentrale Weise entsprechend dem Dezentralen Maximalvermischungs-Algorithmus (DMA – Distributed Max-Merge Algorithm) mit den folgenden Schritten abgeschätzt werden:

1. An jedem Ort p wird der Wert von R für jeden der m Speicherbereiche auf der Basis der Proben in S_p aktualisiert. Es sei Rpj der Wert von R für den jten Speicherbereich am Ort p, wobei 1 ≤ j ≤ m und 1 ≤ p ≤ P. Die Ansammlung der m Werte der Rpj kann als eine leichtgewichtige Kurzfassung von S_p angesehen werden.
2. Am Ende eines Messzeitraumes wird die Ansammlung der Rpj für 1 ≤ j ≤ m und 1 ≤ p ≤ P unter allen P Orten ausgetauscht.
3. An jedem Ort wird eine Maximalvermischung der Rpj ausgeführt, indem für 1 ≤ j ≤ m
gesetzt wird.
4. An einem beliebigen der P Orte kann dann die Abschätzung von |S| (oder
erhalten werden, indem die maximal vermischten R_j, die sich aus Schritt 3 ergeben, in Glg. 4 des oben erörterten SAA eingesetzt werden.

Mit Bezugnahme auf 1 wird nun beschrieben, wie die obigen Zählverfahren unterschiedlicher Proben, d.h. die SAA und DMA, im Rahmen der vorliegenden Erfindung angewendet werden können. In diesem Fall werden die verschiedenen interessierenden Paketmengen im Netzwerk zu den Probenmengen 10. Aus den Paketen werden die zu überprüfenden Proben, und der Proben(oder Paket-)Identifikator wird aus der Verkettung einiger ausgewählter Felder im Paketkopf und möglicherweise aus einigen spezifischen Teilen der Nutzdaten konstruiert, wie im Schritt 20 dargestellt ist. Eine Hauptanforderung an den Paketidentifikator ist, dass er unverändert bleiben sollte, wenn ein Paket das Netzwerk hindurchläuft. Demzufolge sollten einige Felder, wie z.B. das TTL-Feld in einem IP-Kopf vorzugsweise nicht als ein Teil des Paketidentifikators einbezogen werden. Wir sind uns der praktischen Sachverhalte wohl bewusst, welche den Paketidentifikator unbeabsichtigterweise verändern können, wenn ein Paket durch ein Netzwerk hindurchläuft, z.B. die IP-Fragmentierung entlang des Paketweges oder die Verwendung eines zusätzlichen Kapselns/Tunnelns innerhalb des Netzwerks. Diese Sachverhalte werden behandelt, indem die Pakete mit vorherrschender Beeinflussung als Spezialfälle bearbeitet und die verbleibenden als zusätzliche Verkehrsmessungsfehler ausgewiesen werden.
Für eine gegebene interessierende Paketmenge wird die Sammlung der m R_j (wie sie im SAA festgelegt sind) zu der Verkehrskurzfassung (TD) der Paketmenge. In 1 wird zusammengefasst, wie die TD einer Paketmenge aus ihren Paketen extrahiert werden kann. Zum Beispiel wird am Schritt 30 der Paketidentifikator (PID) eines jeden Pakets in eine Hash-Funktion eingegeben, um eine R_max-Bit-Hashausgabe h(PID) zu erhalten. Die Ausgabe vom Schritt 30 wird im Schritt 40 in einen m-Weg-Aufspalter eingegeben. Hier findet eine m-Weg-Auspaltung auf der Basis der letzten log₂m Bits von h(PID) statt. Im Schritt 50 wird für jeden der 1 bis einschließlich m Speicherbereiche das R_i mit der maximalen Anzahl aufeinander folgender führender Nullen in den ersten (R_max – log₂m) aller Hashausgaben h(PID) aufgesucht, das dem i-ten Speicherbereich zugeordnet ist, wobei die Funktion r() verwendet wird. Am Ende des Messzeitraumes wird die Sammlung der R1 bis Rm zu der leichtgewichtigen TD der interessierenden Paketmenge S_p, wobei die Größe der TD gleich mlog₂R_max Bits ist.
Das Betriebsmodell von DATALITE
Es werden nun die Betriebsschritte in dem Netzwerk der vorliegenden Erfindung beschrieben, das durch DATALITE befähigt wird, eine TMA-Aufgabe zu unterstützen. Als ein veranschaulichendes Beispiel wird die zuvor beschriebene Proben-TMA-Aufgabe #1 verwendet. In diesem Falle unterhält jeder Knoten i ∊ V eine leichtgewichtige Verkehrskurzfassung (TD) (in Form der Sammlung der m R_j im SAA) für jede seiner interessierenden lokalen Paketmengen, und zwar die Menge der von ihm erzeugten Pakete (O_i), die Menge der von ihm abgeschlossenen Pakete (D_i) und die Menge der Pakete (L_i,j), die jede seiner Verbindungen durchlaufen (i, j) ∊ E. Die entsprechenden TDs dieser Paketmengen werden jeweils durch
,
und
bezeichnet. Zusätzlich zur Verwendung von einfachen Zählern, um die Paketzählwerte pro Verbindung (C_i,j) (ohne die Berücksichtigung von Paketduplikaten) und die Paketerzeugungszählwerte (|O_i|) zu verfolgen, verfolgt jeder Router die interessierenden lokalen Zählwerte unterschiedlicher Pakete, d.h. die |L_i,j| und |D_i|, wobei der SAA zusammen mit den Informationen verwendet wird, die in den
und den
enthalten sind.
Ferner kann der Knoten i die Werte der |Fki,j | in Glg. (2) für alle seine Verbindungen (i,j) ∊ E und alle k = (s, d) ∊ V × V nach dem Empfang der
und
von allen Knoten j ∊ V abschätzen. Insbesondere können die Mächtigkeiten der Vereinigungsmengen auf der rechten Seite der Glg. (2) abgeschätzt werden, indem die O_s, D_d und L_i,j als die S_p in den DMA eingesetzt werden, wobei der Austausch der Rpj durch die Verteilung der
und
von den Knoten s bzw. d zum Knoten i ersetzt wird. Sobald die Abschätzungen der |Fki,j | lokal durch den Knoten i berechnet sind, können sie auf die anderen Netzwerkknoten über eine periodische Rundumsendung oder auf einer Anfrage-Antwort-Basis auf Anforderung verteilt werden. Jeder Knoten kann dann auf Grundlage der Kenntnis der |Fki,j | den netzwerkweiten Überblick der interessierenden Verkehrsaggregate konstruieren. Für eine weitere Verringerung der Messungs/Abschätzungsfehler an den |Fki,j |, z.B. wegen des wahrscheinlichkeitstheoretischen Charakters der Verfahren in [Dura 03], kann jeder Knoten wahlweise eine Optimierung mit dem kleinsten quadratischen Fehler (MSE) auf der Grundlage von knotenbezogenen und netzwerkweiten Flusserhaltungssätzen ausführen, die in Form der |Fki,j | ausgedrückt werden. Die Details einer solchen MSE-Optimiereung werden im nächsten Unterabschnitt diskutiert. In 2 werden die obigen Betriebsschritte, die durch einen DATALITE-fähigen Knoten ausgeführt werden, zusammengefasst.
Bezugnehmend auf 2 ist ein Flussdiagramm für einen Knoten 100 dargestellt, der einen Prozessor oder Prozessoren für das Realisieren der Methodik der vorliegenden Erfindung aufweist. Wie dargestellt ist, laufen im Schritt 1 ankommende Pakete in den Knoten 100 ein und werden vorgefiltert, um die interessierende Paketmenge zu bestimmen. Im Schritt 2 wird eine Verkehrskurzfassung (TD), z.B. eine TD der Größe O(loglog N), auf eine zuvor erläuterte Weise extrahiert. Die Pakete laufen dann auf ihrem Datenweg weiter. Im Schritt 3 von 2 werden die TDs auf die anderen relevanten Knoten innerhalb des Netzwerks verteilt, z.B. in den interessierenden Paketmengen. Die TDs können wahlweise auf eine bekannte Weise als Datenobjekte einer existierenden Routingprotokoll-Steuernachricht oder als ein neu zugeordnetes Abfrageprotokoll komprimiert und/oder formatiert werden. Im Schritt 4 werden die Fern-TDs aus anderen relevanten Knoten im Netzwerk am Knoten 100 empfangen. Im Schritt 5 wird auf der Grundlage von lokalen TDs und Fern-TDs, die verteilt wurden, eine lokale Abschätzung eines gegebenen Aggregatflusses |Fki,j | bestimmt. Die lokale Abschätzung des gegebenen Aggragatflusses wird dann auch auf die anderen relevanten Knoten verteilt. Im Schritt 7 werden die abgeschätzten Aggregatflüsse |Fki,j | von den anderen relevanten Knoten im Netzwerk am Knoten 100 empfangen. Im Schritt 8 wird mit den Aggregatflussabschätzungen, die von den anderen Knoten im Netzwerk erhalten wurden, auf der Grundlage der lokalen und Fern-Aggregatflussabschätzungen eine Konstruktion eines netzwerkweiten Überblicks über das Verkehrsflussmuster und die Volumina festgelegt. Im Schritt 9 erfolgt eine Nachbearbeitung, um zum Beispiel den Abschätzungsfehler weiter zu verringern, indem die netzwerkweiten Flusserhaltungssätze verwendet werden. Im Schritt 10 ist eine. Endausgabe zum Beispiel für netzwerkweite Verkehrsroutenmuster, Flussvolumina und/oder eine mögliche Wegverzögerungsstatistik vorgesehen. Die Ausgabe kann auch Veränderungen in einem oder mehreren der obigen Parameter nachweisen.
Es ist zu beachten, dass dadurch, dass nur die TDs der Erzeugungs- und Abschluss-Paketmengen (d.h. die O_i und D_i für alle i ∊ V) aber nicht die TDs der L_i,j verteilt werden, der Kommunikationsbandbreitebedarf von DATALITE beträchtlich verringert wird. Das ergibt sich daraus, weil selbst bei der leichtgewichtigen Beschaffenheit der
diese noch nicht so klein sind wie die |Fki,j |. Weil es in einem praktischen Netzwerk normalerweise auch weit weniger Knoten als Verbindungen gibt, ist die Anzahl der
und
auch weit geringer als die der
.
Überlegungen zum Speicher- und Kommunikationsbandbreitebedarf für DATALITE und dessen Optimierung
Eine der entscheidenden Herausforderungen bei der Gestaltung/Konstruktion besteht darin, (1) den lokalen Speicherbedarf für die TDs und (2) den Bandbreitebedarf für die Kommunikation zwischen den Knoten auf einem annehmbaren Niveau zu halten, wobei die Anforderungen an den Abschätzungsfehler für die interessierende TMA-Anwendung erfüllt werden. Dazu wird die folgende mehrgliedrige Strategie vorgeschlagen.
1. Vernünftige Steuerung der Speichergröße pro TD
Es wird der Speicherbedarf einer. TD zum Unterstützen von TMA-Aufgaben in 10Gbps+ -Netzwerken betrachtet. Da eine 40Gbps-Verbindung in jeder Sekunde ein Maximum von 125 Millionen 40-Byte-Paketen übertragen kann, sollte ein Wert von 10¹² oder 2⁴⁰ für N_max (in Glg. (6)) angemessen sein, um Messzeiträume bis zu 8000 Sekunden lang zu unterstützen. Gemäß Glg. (5) sollte m ≥ 2048 sein, um einen Standardfehler σ ≤ 2% für die Zählabschätzung unterschiedlicher Proben zu erreichen. Ein Einsetzen von N_max = 2⁴⁰ und von m = 2048 in Glg. (6) liefert R_max = 32 = 2⁵. Mit anderen Worten ist es ausreichend, 5 Bits zuzuweisen, um jedes der R_j in einer TD zu codieren. Folglich wird der Speicherbedarf M = mlog₂R_max (Bits) einer jeden TD durch den Wert von m diktiert. Für m = 2048, was einem Standardfehler von 2% für die entsprechende Zählabschätzung unterschiedlicher Proben entspricht, ist die Größe einer TD ungefähr 1,7 kByte. Dies wird als ein unterer Grenzwert für den Speicherbedarf einer TD angesehen, um die mögliche Akkumulation und/oder "Verstärkung" des Abschätzungsfehlers während der Bewertung der interessierenden Endmetrik, z.B. der |Fki,j | der oben erörterten Proben-TMA-Aufgaben, zu berücksichtigen. Dies gilt entsprechend Glg. (3), weil der Abschätzungsfehler des Ausdruckes auf der linken Seite der Glg. (3) die Summe der Abschätzungsfehler eines jeden Ausdruckes auf der rechten Seite ist. Somit sind die Abschätzungsfehler umso größer, je mehr Stufen der Mengenschnitt in dem Ausdruck auf der linken Seite hat, da sich die Abschätzungsfehler für die Vereinigungsmengen-Mächtigkeiten auf der rechten Seite von Glg. (3) akkumulieren. Weil σ = 1,05 /√m ein "relativer" Abschätzungsfehler mit Bezug auf eine jede Vereinigungsmengen-Mächtigkeit auf der rechten Seite von Glg. (3) ist, kann außerdem der entsprechende relative Abschätzungsfehler, d.h. in Prozenten, für den Schnittausdruck auf der linken Seite von Glg. (3) insbesondere dann "verstärkt" werden, wenn die Mächtigkeit der Schnittmenge auf der linken Seite der Glg. (3) in absoluten Größen viel kleiner ist als jene der Vereinigungsmengengrößen auf der rechten Seite.
In der Praxis wird der tatsächliche Wert von m und damit die Speichergröße pro TD auf der Grundlage der Anforderungen an den Abschätzungsfehler der TMA-Anwendung festgelegt. Für diejenigen TMA-Anwendungen, in denen grobe Abschätzungen/Messungen ausreichend sind, werden gröber gegliederte TDs geringerer Größe verwendet, so kann z.B. die 1,7 kByte-TD ausreichend sein. Beispiele für diesen Typ von TMA-Anwendungen schließen den Routenausfall/Fehlkonfigurations/Veränderungsnachweis wie auch die Rückverfolgung des DDoS-Angriffs ein, wobei das interessierende Ereignis üblicherweise drastische Veränderungen im Verkehrsflussmuster erzeugen wird. Als Folge davon würden die Werte der |Fki,j | beträchtlich von ihren Nennwerten abweichen, und der Abschätzungsfehler ist mit Bezug auf die plötzliche Abweichung unbedeutend. Für die TMA-Anwendungen, in denen quantitative, hochgenaue Messungen erforderlich sind, kann während der Abschätzung eines jeden der "vereinigungsförmigen" Ausdrücke auf der linken Seite von Glg. (3) das m vergrößert (und somit σ verringert) werden. Da jedoch eine lineare Abnahme in σ eine quadratische Zunahme in der Größe der TD erfordert, sollten solche Abwägungen zwischen Datenspeicher und Genauigkeit in einer vernünftigen Weise ausgeführt werden. Glücklicherweise gibt es wegen der innewohnenden leichtgewichtigen Beschaffenheit der TD einen beträchtlichen Freiraum für ein Heraufsetzen ihrer Speichergröße. Zum Beispiel kann eine 512-fache Zunahme der TD-Größe von 1,7 kByte auf 0,87 Mbyte das σ auf weniger als 0,08% herabsetzen. Dennoch ist eine 0,87 Mbyte-TD noch sehr angemessen bei den gegenwärtigen schnellen Speichertechniken. Das heißt, heutzutage ist die typische Speicherkapazität für eine 10Gbps-Leitungskarte ungefähr 2 Gbit. Das reicht, um eine Pufferspeicherung für 200 ms bereitzustellen. Werden 10% dieser Speicherkapazität, d.h. 25 MByte, für die Zwecke der Verkehrsmessung/Analyse bereitgestellt, dann bedeutet das, dass jede Leitungskarte mehr als 28 0,87 MByte-TDs aufnehmen kann. In dieser Untersuchung werden die Mittel erkundet, um nebeneinander mehrere Größen von TDs zu unterstützen.
2. Effiziente Unterstützung von Mehrfachverkehrsaggregaten (oder Paketmengen) pro Verbindung
Anstatt eine einzige Paketmenge, z.B. L_i,j, pro Verbindung beizubehalten, können in der Praxis einige TMA-Anwendungen feiner gegliederte Festlegungen der Paketmengen, z.B. auf Grundlage des Protokolltyps und/oder der Anschlussnummer der Pakete, erfordern. Eine weiterer interessanter Einsatzmöglichkeit von mehreren feiner gegliederten Mehrfachpaketmengen pro Verbindung ist die Verwendung von "zeitindizierten" Paketmengen, in denen der ursprüngliche Messzeitraum in mehrere kleinere Intervalle unterteilt ist, so dass – allerdings mit begrenzter Auflösung – die Wegverzögerung in einem Netzwerk abgeschätzt werden kann, indem die Mächtigkeit der Schnittmengen der zeitindizierten Paketmengen, die zu den verschiedenen Verbindungen innerhalb des Netzwerks gehören, berechnet werden.
Bei einem naiven Herangehen an die Unterstützung mehrerer Paketmengen pro Verbindung würde eine separate TD für jede der interessierenden feiner gegliederten Paketmengen zugewiesen werden. Durch Einführen eines verallgemeinerten Paketmengenschnittverfahrens kann jedoch die netzwerkweite TMA für O(Q²) Typen von feiner gegliederten Verkehrsaggregaten unterstützt werden, wobei pro Leitungskarte nur Q TDs verwendet werden. Die Grundidee dieses Verfahrens ist die folgende:
Es wird angenommen, dass K = 2^k Paketmengen pro Verbindung unterstützt werden müssen. Anstatt jeder der K Paketmengen, die durch P₁, P₂, ... P_K gekennzeichnet werden, eine TD zuzuordnen, wird eine Liste von Q künstlichen Paketmengen S₁, S₂, ... S_Q konstruiert, wobei
Die S₁, S₂, ... S_Q sind derart definiert, dass es 1 ≤ q1, q2 ≤ Q mit P_i = S_q1 ∩ S_q2 gibt, ∀i, 1 ≤ i ≤ K. Mit anderen Worten kann jede P_i aus der Schnittmenge eines Paars von künstlichen Mengen "zurückgewonnen" werden. Somit kann die Mächtigkeit einer beliebigen Schnitt- oder Vereinigungsmenge mit P_i als einer ihrer Komponenten berechnet werden, indem nur die TDs für jede der Q künstlichen Mengen S₁, S₂, ... SQ beibehalten werden, die jeweils durch
gekennzeichnet sind. Das geschieht, indem zunächst P_i als S_q1 ∩ S_q2 ausgedrückt wird und dann Glg. (3) sowie die Zählverfahren für unterschiedliche Proben angewendet werden, wie oben erörtert wurde. Als ein Beispiel brauchen mit diesen Mengenschnittverfahren nur 24 TDs pro Verbindung beibehalten zu werden, um die TMA von 276 feiner gegliederten Verkehrsaggregaten netzwerkweit gleichzeitig zu unterstützen. Selbst mit den hochauflösenden 0,87 MByte-TDs ist der gesamte TD-Speicherbedarf pro Leitungskarte für eine derartige Konfiguration weniger als 21 MByte oder 8,4% der Speichergröße (2 Gbit oder ein Pufferspeicherung für 200 ms), die in einer typischen 10Gbps-Leitungskarte heutzutage vorliegt.
In der Theorie kann die Anzahl der erforderlichen TDs weiter auf 2log₂K pro Leitungskarte verringert werden, indem log₂K Schnittstufen zwischen den 2log₂K künstlichen Mengen (jede entspricht dem Bitwert der log₂K-Bit-Binärdarstellung von K) verwendet werden, um jede P_i zurückzugewinnen. Jedoch können die akkumulierten Abschätzfehler wegen der großen Anzahl von Ausdrücken auf der rechten Seite von Glg. (3) überhöht sein. Dies würde seinerseits den Speicherbedarf einer jeden TD erhöhen, um den Abschätzfehler pro Stufe zu verringern. Die Details der Kompromisse zwischen der Anzahl von Schnittstufen und dem Speicherbedarf pro TD würde ein Gegenstand unserer Untersuchung sein.
3. Weitere Verringerung des Abschätzungsfehlers durch Berücksichtigung der netzwerkweiten Flusserhaltungssätze
Ein weiterer Weg, TD-Speicher zu sparen, besteht in der Verringerung des effektiven Abschätzungsfehlers in den |Fki,j | über eine Nachbearbeitung der ursprünglichen Abschätzungen. In diesem Verfahren wird eine Optimierung des kleinsten quadratischen Fehlers (MSE) auf der Grundlage von Knotenflusserhaltungssätzen ausgeführt, die in der Form der |Fki,j | ausgedrückt werden, nachdem ein Knoten die ursprünglichen Abschätzungen der |Fki,j | von allen Knoten im Netzwerk erhalten hat. Es sei f ^ki,j der ursprünglich abgeschätzte Wert der empfangenen |Fki,j |. Die Motivation für diese Optimierung ist es, eine Verringerung der gemeinschaftlichen Fehler in den ursprünglichen Abschätzungen f ^ki,j zu versuchen, indem deren Unstimmigkeiten mit Hinblick auf die Knotenflusserhaltungssätze ausgeglichen werden. Es sei ffki,j der neue abgeschätzte Wert von |Fki,j | der die Knotenflusserhaltungssätze erfüllen würde. Es wird eki,j = fki,j – f ^ki,j als die Störung eingeführt, die für eine Veränderung von f ^ki,j zu fki,j erforderlich ist. Es wird das folgende MSE-Optimierungsproblem betrachtet:
Es ist
zu minimieren
unter Berücksichtigung von
Die Lösung der obigen Optimierung würde die "gemeinschaftlichen" Minimalstörungen auf die f ^ki,j , d.h. die eki,j liefern, so dass die neuen Abschätzungen fki,j = (f ^ki,j + eki,j ) zumindest die Knotenflusserhaltungssätze wie in dem Fall der wahren Werte der |Fki,j | erfüllen. Es wird vermutet, dass die Beachtung der Flusserhaltungssätze (welche für die wahren Werte der |Fki,j | erfüllt werden müssen) unsere Abschätzungen näher an deren wahre Werte heranbringen werden.
4. Bandbreitenoptimierung der Zwischenknotenkommunikation
Die entscheidenden Steuerungsfaktoren für die Kommunikationsbandbreite der vorliegenden Erfindung DATALITE enthalten:

(1) Die Anzahl und Größe der auszutauschenden TDs.
(2) Die Frequenz des Austausches der TDs und der resultierenden Verkehrsflussschätzer.
(3) Der Weg, auf welchem die TDs und die Verkehrsflussschätzer durch das Netzwerk hindurch verteilt werden.

Es wurde zuvor bereits beschrieben, wie (1) gesteuert und verringert werden kann. Hier werden einige zusätzliche Optimierungsmöglichkeiten bezüglich (1) angemerkt. Erstens kann es in Abhängigkeit von dem Erfordernis der TMA-Anwendung, d.h. den interessierenden Verkehrsmessungen, erforderlich werden, dass nur eine ausgewählte Menge von TDs auf die anderen Knoten im Netzwerk verteilt wird. Während zum Beispiel die Proben-TMA-Aufgabe #1 den vollmaschigen Austausch der
und
unter allen Knoten im Netzwerk erfordert, erfordert die Proben-Aufgabe #2 nur die Verteilung der
des Stromab-Knotens, der Opfer eines DDoS-Angriffs ist. Die TDs können am Ende eines. Messzeitraumes auch verdichtet werden, bevor sie auf die anderen relevanten Knoten verteilt werden.
Das duale periodische Rundumsenden und die Anfrage-Antwort-Betriebsverfahren auf Verlangen, die von DATALITE unterstützt werden, helfen auch dabei, (2) zu steuern. Tatsächlich wird die Frequenz des Austausches der TDs und der resultierenden Verkehrsflussabschätzer weitgehend durch das Erfordernis der Anwendung vorgeschrieben. Zum Beispiel sollte für den Veränderungsnachweistyp der Anwendungen, z.B. den Nachweis von Routenfehlkonfiguration/Netzwerkausfall, die Austauschfrequenz viel höher sein, um die Nachweiszeit herabzusetzen. Glücklicherweise sind dies auch die Anwendungen, in denen weniger genaue Messungen/Abschätzungen, d.h. kleinere TDs, ausreichend sein können, da die entstehenden Veränderungen an den Flussmustern und Flusswerten pro Verbindung, die durch das interessierende Ereignis hervorgerufen werden, in der Tendenz signifikant sind. Andererseits sind die TMA-Anwendungen, welche Messungen/Abschätzungen höherer Genauigkeit (und somit größere TDs) erfordern, tendenziell nur über ein längeres Messintervall von Bedeutung, was seinerseits hilft, den Bandbreitenbedarf zu verringern. Ein weiterer Vorteil des DATALITE-Verfahrens ist, dass der TD-Speicherbedarf sehr langsam (O(loglogT)) mit dem Messzeitraum T anwächst. Wie oben festgestellt wurde, kann die Größe der TD für einen Messzeitraum bis zu 8000 Sekunden lang effektiv konstant gehalten werden, was für die meisten Verkehrsmessungsanwendungen angemessen sein sollte.
Schließlich sollte das Verteilungsmuster der TDs auf der Grundlage der Anzahl und Größe der TDs wie auch der erforderlichen Verteilungsfrequenz bestimmt werden. Um die Dinge in das rechte Licht zu rücken, sollen zwei extreme Szenarien (oder Verkehrsanforderungen) betrachtet werden. Im ersten Szenarium werden die 1,7 kByte-TDs in Anwendungen zum Verkehrsmusteränderungs/Ausfall-Nachweis oder bei der DDoS-Rückverfolgung verwendet. Selbst wenn die nicht verdichteten
und
von einem jeden Knoten jede Sekunde auf alle anderen Knoten verteilt werden, wobei ein Flooding verwendet wird (die in der Bandbreite aufwändigste Variante), wird der gesamte TD-Verkehr, der auf jeder Verbindung im Netzwerk erzeugt wird, 2·1,7·8·|V| Kbps, d.h. 2,72 Mbps pro Verbindung für ein Netzwerk mit 100 Knoten, nicht überschreiten, oder weniger als 0,03% der Kapazität einer 10Gbps-Verbindung. Im zweiten Szenarium wird eine spezielle stündliche Verkehrsstudie ausgeführt, um die netzwerkweite Tageszeitstatistik und das Routenverhalten der fein gegliederten Verkehrstypen zu messen. Hier werden jede Stunde 24·2 nicht verdichtete TDs höherer Auflösung von jeweils 0,87 MByte verteilt, wobei eine vollständige I-BGP-Vermaschung zwischen allen Knoten in dem gleichen Netzwerk verwendet wird, um das Verhalten der 276 Typen von Verkehrsaggregaten netzwerkweit (unter Verwendung des oben beschriebenen verallgemeinerten Mengenschnittverfahrens) zu analysieren. Die entsprechende Bandbreite der eintreffenden TDs pro Knoten ist 0,87·8·2·24·100/3600 Mbps = 9,28 Mbps, was immer noch weniger als 0,1% der Kapazität einer 10Gbps-Verbindung ist.
Schlussfolgerung
Zusammenfassend umgeht die vorliegende Erfindung DATALITE dadurch, dass ein Ansatz zur direkten Messung verwendet wird, die durch ungültige Verkehrsmodellierung oder Betriebsannahmen hervorgerufenen Probleme, unter welchen die Netzwerktomografieansätze leiden. Obwohl auf einer hohen Ebene einige Gemeinsamkeiten zwischen dem DATALITE-Verfahren der vorliegenden Erfindung und den existierenden auf Trajektorien beruhenden Verfahren vorliegen, gibt es entscheidende Unterschiede zwischen ihnen. Erstens können durch Formulieren des Verkehrsmessungsproblems als einer Reihe von Mengenmächtigkeit-Bestimmungsproblemen die kürzlich erzielten Fortschritte bei der Zählung unterschiedlicher Proben vorteilhaft genutzt werden, um eine Verkehrsanalyse in einer dezentralen Weise mit einem minimalen Kommunikations-Overhead auszuführen. Zweitens werden durch das Konzentrieren auf die Messungen und Analyse des Verhaltens von Verkehrsaggregaten statt von einzelnen Paketen die Anforderungen an den Systemspeicher und Kommunikationsbandbreite für die DATALITE-Erfindung mit Bezug auf die vorherigen Verfahren stark herabgesetzt. Im Gegensatz zu dem schwergewichtigen zentralisierten Ansatz, der durch die existierenden auf Trajektorien basierenden Systeme verwendet wird, ist es demzufolge für DATALITE möglich, ein dezentrales Berechnungsmodell einzuführen.
Ferner sind alle angeführten Beispiele und der Sprachgebrauch prinzipiell nur für ausdrücklich instruktive Zwecke gedacht, um dem Leser beim Verstehen der Erfindungsprinzipien und der Konzepte zu helfen, welche der Erfinder zur Entwicklung des Standes der Technik beigetragen hat, und sie sollten so interpretiert werden, dass keine Beschränkung auf derartige spezifische angeführte Beispiele und Bedingungen vorliegt. Außerdem sind alle Aussagen, die Prinzipien, Aspekte und Ausführungsformen der Erfindung betreffen, sowie deren spezifische Beispiele dafür vorgesehen, sowohl deren strukturelle als auch funktionale Äquivalente zu umfassen. Darüber hinaus ist es vorgesehen, dass derartige Äquivalente sowohl die derzeit bekannten Äquivalente als auch Äquivalente umfassen, die in der Zukunft erarbeitet werden, d.h. beliebige entwickelte Elemente, die unabhängig von der Struktur die gleiche Funktion erfüllen.
In den Ansprüchen hierzu ist ein beliebiges Element, das als ein Mittel für das Ausführen einer spezifizierten Funktion dargestellt ist, dazu gedacht, einen beliebigen Weg zum Ausführen dieser Funktion zu umfassen, zum Beispiel einschließlich a) einer Kombination von Schaltkreiselementen, welche diese Funktion ausführen oder b) einer Software in einer beliebigen Form – deshalb Firmware, Mikroprogramme oder dergleichen einschließend – kombiniert mit den geeigneten Schaltkreisen zum Ausführen der Software, um die Funktion zu erfüllen. Die Erfindung, wie sie durch derartige Ansprüche festgelegt ist, beruht auf der Tatsache, dass die Funktionalitäten, welche durch die verschiedenen angeführten Mittel bereitgestellt werden, in der Weise kombiniert und zusammengeführt werden, welche durch die Ansprüche beansprucht wird. Der Anmelder sieht somit beliebige Mittel, welche solche Funktionalitäten bereitstellen können, als äquivalent zu den hier dargestellten an. Viele andere Abwandlungen und Anwendungen der Grundgedanken der Erfindung werden für Fachleute offensichtlich sein, und sie werden durch die Aussagen hier in Betracht gezogen. Dementsprechend ist der Geltungsbereich der Erfindung nur durch die hier angefügten Ansprüche begrenzt.

Claims

Verfahren zum Ausführen der Verkehrsanalyse innerhalb eines Paketkommunikationsnetzwerks, wobei das Verfahren das Extrahieren (2) von mehreren auf Aggregation beruhenden Verkehrskurzfassungen von ausgewählten Knoten innerhalb des Netzwerks auf der Basis einer Paketgruppen-Zugehörigkeitsbestimmung (1) umfasst, dadurch gekennzeichnet, dass: die mehreren Verkehrskurzfassungen lokale Verkehrskurzfassungen und Fern-Verkehrskurzfassungen umfassen; jede Verkehrskurzfassung (i) die Informationen in einer Paketgruppe L_ij zusammenfasst und (ii) im Wesentlichen O(loglog N_max) Bits aufweist, wobei N_max die maximale Anzahl sich unterscheidender Proben in L_ij ist, und das Verfahren ferner umfasst: Verteilen (3) von relevanten lokalen Verkehrskurzfassungen auf einige der ausgewählten Knoten innerhalb des Netzwerks; Empfangen (4) von relevanten Fern-Verkehrskurzfassungen von einigen der ausgewählten Knoten innerhalb des Netzwerks; Erzeugen (5) und Bereitstellen (6) einer lokalen Verkehrsflussabschätzung für einige der ausgewählten Knoten auf Basis der lokalen Verkehrskurzfassungen und der Fern-Verkehrskurzfassungen; Empfangen (7) der Fern-Verkehrsflussabschätzungen von einigen der ausgewählten Knoten; Formulieren (8) der Verkehrsmessungsanalyse als eine Reihe von Problemen zur Schnittmengen-Mächtigkeitsbestimmung, ICSD – intersection setcardinality determination, für einen gegebenen Parameter im Netzwerk auf Basis der lokalen und Fern-Verkehrsflussabschätzungen; und Lösen der Reihe von ICSD-Problemen.
Erfindung nach Anspruch 1, wobei die Verkehrskurzfassungen als verdeckte Datenobjekte innerhalb der Standard-Routingprotokoll-Steuernachrichten übermittelt werden.
Erfindung nach Anspruch 2, wobei das Standard-Routingprotokoll das Open-Shortest-Path-First, OSPF, ist.
Erfindung nach einem der Ansprüche 1–3, wobei die Steuernachrichten Verbindungszustand-Steuernachrichten sind.
Erfindung nach einem der Ansprüche 1 und 2, wobei die Steuernachrichten Internal-Border-Gateway-Protokoll-Steuernachrichten, I-BGP, sind.
Erfindung nach einem der Ansprüche 1–5, ferner das Formulieren der ICDS-Bestimmung in eine Reihe von Problemen zur Vereinigungsmengen-Mächtigkeitsbestimmung, UCDS – union-set cardinality determination, umfassend.
Erfindung nach Anspruch 6, ferner die Anwendung von einem oder mehreren O(loglog |A|)-Zählalgorithmus (algorithmen) sich unterscheidender Proben umfassend, um die UCSD-Probleme auf eine dezentralisierte Weise zu lösen.
Erfindung nach einem der Ansprüche 1–7, wobei die Verkehrsanalyse aus der Gruppe ausgewählt ist, die aus (i) der Analyse von Verkehrsroutenmustern, (ii) der Analyse von Verkehrsflussmustern und (iii) dem Auf spüren eines Ursprungs und Ziels und von Zwischenknoten sowie Verbindungen besteht, die von einer gegebenen Gruppe interessierender Pakete durchlaufen werden.
Erfindung nach einem der Ansprüche 1–8, wobei der Schritt zum Extrahieren der Verkehrskurzfassungen umfasst: Extrahieren einer Paketkennung aus jedem Paket, das zu einer spezifizierten Paketgruppe gehört; Eingabe einer jeden Paketkennung in eine Hash-Funktion, um eine R_max-Bit-Hash-Ausgabe zu erhalten, wobei log₂m Bits der R_max-Bit-Hash-Ausgabe verwendet werden, um einen Speicherbereichsindex zu bestimmen; Aufspalten der Hash-Ausgabe in m Speicherbereiche auf der Grundlage des Speicherbereichsindex; für jeden Speicherbereich i der m Speicherbereiche Aufspüren von R_i als der maximalen Anzahl von aufeinanderfolgenden führenden Nullen in den ersten (R_max – log₂m) Bits von allen Hash-Ausgaben, die dem i-ten Speicherbereich zugeordnet sind, wobei r() verwendet wird; und Verwenden von R₁ bis einschließlich R_m als die Verkehrskurzfassung für die spezifizierte Paketgruppe.
Erfindung nach einem der Ansprüche 1–9, ferner das Unterhalten eines Paketzählers C_ij für jede Verbindung (i, j) ∊ E umfassend, um einen Zählwert von Paketen zu aufzuspüren, die eine Verbindung in demselben Messzeitraum wie ein Verkehrskurzfassungs-Messzeitraum durchlaufen, wobei eine große Diskrepanz zwischen den Werten von C_ij und |L_ij| ein mögliches Routingproblem anzeigt.
Erfindung nach einem der Ansprüche 1–10, ferner die Verwendung von "zeitindizierten" Paketgruppen umfassend, in welchen ein ursprünglicher Messzeitraum in mehrere kleinere Intervalle unterteilt wird, um eine Pfadverzögerung innerhalb eines Netzwerks abzuschätzen, indem durch die Verwendung von Q künstlichen Mengen die Mächtigkeit des Schnittes der zeitindizierten Paketmengen berechnet wird, die zu verschiedenen Verbindungen innerhalb des Netzwerks gehören.
Gerät, welches das Verfahren nach einem der Ansprüche 1–11 ausführt.