DE10056417A1

DE10056417A1 - Data collection method for packet-oriented network, by transmitting data in format that cannot be evaluated by sniffers

Info

Publication number: DE10056417A1
Application number: DE10056417A
Authority: DE
Inventors: Stephan Berger; Jonas Rathert; Theo Schoenen
Original assignee: TRAIAN INTERNET PRODUCTS AG
Current assignee: TRAIAN INTERNET PRODUCTS AG
Priority date: 2000-11-14
Filing date: 2000-11-14
Publication date: 2002-05-23

Abstract

Data in a network segment to be monitored are detected by a data station (sniffer) and transmitted to an evaluation point for evaluation. The data are transmitted in a format that is not evaluated by the sniffer. The data are transmitted in a TCP/IP network in packets containing a specific service ID. Data packets with this service ID are not accepted by the sniffer for evaluation.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Sammlung von Daten zum Datenverkehr in einem paketorientierten Netzwerk, bestehend aus mindestens einem Netzwerksegment, wobei die Daten in dem zu überwachenden Netzwerksegment von einer Datenstation (Sniffer) ermittelt werden und zur Auswertung an eine Auswertestelle übertragen werden.The present invention relates to a method for collecting data on Data traffic in a packet-oriented network consisting of at least one Network segment, wherein the data in the network segment to be monitored by a data station (sniffer) can be determined and sent to an evaluation point for evaluation be transmitted.

Große paketorientierte Netzwerke erfordern meist eine Überwachung des Datenverkehrs. Zu derartigen Netzwerken gehören beispielsweise das Internet oder so genannte wide area networks (WAN). Neben einzelnen Datenstationen wie z. B. Routern oder Routen zwischen Teilnetzen wird in diese Überwachung zunehmend der in Teilnetzen oder dem gesamten Netzwerk stattfindende Datenverkehr erfasst. Die Erfassung des Datenverkehrs auf Paketebene kann zum Beispiel dazu dienen, aus Quelladresse, Zieladresse, Servicetyp, soweit vorhanden Servicequalität oder dergleichen Abrechnungsdaten für Nutzer oder Teilnetzbetreiber zu ermitteln. Dazu werden in jedem zu überwachenden Netzwerksegment Datenstationen als Netzteilnehmer betrieben, die den gesamten in ihrem Netzsegment auftretenden Datenverkehr entgegen nehmen und auswerten können. Diese Datenstationen werden gewöhnlich als "Sniffer" bezeichnet. Die dezentrale Struktur moderner Netzwerke wie z. B. eines TCP/IP-Netzes erfordert eine Vielzahl solcher Sniffer in einem größeren Netzwerkverbund. Um die von den Sniffern gesammelten Daten einer zentralen Auswertung zugänglich zu machen, müssen die ermittelten Daten an eine zentrale Instanz übermittelt werden. Dies hat zur Folge, dass auch der für die Auswertung des Datenverkehrs erzeugte Datenverkehr in die Gesamtauswertung eingeht.Large packet-oriented networks usually require data traffic monitoring. Such networks include, for example, the Internet or so-called wide area networks (WAN). In addition to individual data stations such. B. routers or routes between subnets in this monitoring is increasingly that in subnets or traffic that occurs across the network. The capture of traffic at the package level can serve, for example, from source address, destination address, Service type, if available, service quality or similar billing data for Identify users or subnet operators. This will be monitored in everyone Network segment data stations operated as network participants, the entire in their Network segment can receive and evaluate occurring data traffic. This Terminals are commonly referred to as "sniffers". The decentralized structure modern networks such as B. a TCP / IP network requires a variety of such Sniffer in a larger network. To those collected by the sniffers To make data accessible to a central evaluation, the determined data must be available a central authority to be transmitted. This has the consequence that also for the Evaluation of the data traffic generated data traffic is included in the overall evaluation.

Das der vorliegenden Erfindung zugrunde liegende Problem ist daher, ein Verfahren zur Verfügung zu stellen, dass die Sammlung von Daten von mehreren Sniffern ermöglicht ohne dass der dadurch erzeugte Datenverkehr in den von den Sniffern ermittelten Nutzdatenverkehr eingeht.The problem underlying the present invention is therefore a method for To make it possible to collect data from several sniffers without the data traffic generated in this way being determined by the sniffers User data traffic arrives.

Dieses Problem wird durch ein Verfahren nach Patentanspruch 1 gelöst. Erfindungsgemäß ist vorgesehen, dass die Daten in einem Format übertragen werden, das von den Sniffern nicht ausgewertet wird. Auf diese Weise geht die zur Sammlung der Daten erforderliche Netzwerklast nicht in die Ermittlung der eigentlichen Netzwerklast durch die Nutzdaten ein. Die zur Sammlung der Daten erzeugte Netzwerklast ist eigenständig auswertbar indem das Format, in dem die Daten übertragen werden, Gegenstand einer eigenständigen Auswertung ist.This problem is solved by a method according to claim 1. According to the invention it is provided that the data are transmitted in a format that is not evaluated by the sniffers. In this way it goes to the collection of the Data network load not required in determining the actual network load through the user data. The network load generated to collect the data is independently evaluable by the format in which the data is transmitted Is the subject of an independent evaluation.

In einer Weiterbildung des Verfahrens ist vorgesehen, dass die Daten mehrerer Netzwerksegmente aggregiert werden. Die Zusammenfassung der Daten mehrerer Netzwerksegmente ermöglicht eine geschlossene Auswertung über den gesamten Datenbestand und damit über das gesamte Netzwerk.In a further development of the method, it is provided that the data contain several Network segments are aggregated. The summary of the data of several Network segments enable a closed evaluation across the entire Database and thus across the entire network.

In einer Weiterbildung des Verfahrens ist vorgesehen, dass die Daten in einem TCP/IP- Netz paketweise übertragen werden, wobei die Datenpakete eine besondere Servicekennung erhalten und wobei Datenpakete mit dieser Servicekennung von den Sniffern nicht in die Auswertung aufgenommen werden. Mit der Definition einer besonderen Servicekennung wird ein vom benutzten Übertragungsprotokoll bereitgestellter Mechanismus zur Implementierung des erfindungsgemäßen Verfahrens benutzt. Es kann daher mit einem standardisierten Protokoll, ohne Veränderung an diesem vornehmen zu müssen, gearbeitet werden.In a further development of the method it is provided that the data in a TCP / IP Network are transmitted in packets, with the data packets being a special one Receive service ID and data packets with this service ID from the Sniffers are not included in the evaluation. With the definition of a A special service identifier is one of the transmission protocol used Mechanism provided for implementing the method according to the invention used. It can therefore use a standardized protocol without changing this to have to be worked.

In einer Weiterbildung des Verfahrens ist vorgesehen, dass die Daten mehrerer Sniffer von einem Kollektor entgegen genommen werden. Der Kollektor sammelt die Daten mehrerer Sniffer und kann bereits eine erste Auswertung der Daten vornehmen.In a further development of the method it is provided that the data of several sniffers to be accepted by a collector. The collector collects the data several sniffers and can already make an initial evaluation of the data.

In einer Weiterbildung des Verfahrens ist vorgesehen, dass der Kollektor die entgegengenommenen Daten aggregiert und komprimiert. Auf diese Weise kann die Menge der anfallenden Daten reduziert werden.In a development of the method it is provided that the collector received data aggregated and compressed. In this way, the The amount of data generated can be reduced.

In einer Weiterbildung des Verfahrens ist vorgesehen, dass mehrere Kollektoren vorhanden sind, wobei die Kollektoren in einer baumartigen Hierarchie angeordnet sind. Durch diese Ausgestaltung des Verfahrens wird erreicht, dass jeder Kollektor nur von einer geringen Anzahl an Sniffern bzw. anderen Kollektoren Daten entgegen nehmen muss. Insbesondere, wenn die von jedem Kollektor vorgenommenen Auswertungen bzw. Komprimierungen und Aggregierungen die jeweils angefallenen Daten deutlich reduzieren, kann damit die an eine Zentralinstanz zu übermittelnde Datenmenge und die zur Übermittlung notwendige Spitzenlast reduziert werden. A further development of the method provides for several collectors are present, the collectors being arranged in a tree-like hierarchy. This configuration of the method ensures that each collector has only one accept data from a small number of sniffers or other collectors got to. Especially when the evaluations made by each collector or compressions and aggregations, the data obtained in each case clearly can reduce the amount of data to be transmitted to a central instance and the peak load required for transmission can be reduced.

In einer Weiterbildung des Verfahrens ist vorgesehen, dass jeder Kollektor aus einer Sender-, Empfänger- und Arbeitseinheit besteht. Die modulartige Gestaltung der Kollektoren ermöglicht die Veränderung einzelner Module und deren Funktionalität ohne Einfluss auf andere Funktionen zu nehmen.In a further development of the method it is provided that each collector consists of one Sender, receiver and work unit exists. The modular design of the Collectors make it possible to change individual modules and their functionality without To influence other functions.

In einer Weiterbildung des Verfahrens ist vorgesehen, dass Daten von einem in der Hierarchie niedrigeren Kollektor auf Anforderung des in der Hierarchie höheren Kollektors versendet werden. Die Versendung der Daten auf Anforderung vereinfacht die Synchronisierung der Daten der Sniffer, da die Datenübermittlung auf diese Weise von einer Zentralstelle angestoßen werden kann und dieser Anstoß die gesamte Kollektor- Hierarchie durchläuft.In a development of the method it is provided that data from one in the Hierarchy lower collector on request of the higher one in the hierarchy Collector will be shipped. Sending the data on request simplifies the Synchronization of the data of the sniffer, since the data transmission in this way by can be initiated at a central location and this initiation affects the entire collector Hierarchy goes through.

In einer Weiterbildung des Verfahrens ist vorgesehen, dass der anfordernde Kollektor dem zur Versendung von Daten aufgeforderten Kollektor das Datenformat sowie die Zieladresse mitteilt. Diese Ausgestaltung ermöglicht eine besonders einfache Rekonfiguration der baumartigen Kollektor-Hierarchie, da hierdurch eine dynamische Zuweisung zwischen Sender und Empfänger der Daten erfolgen kann.A further development of the method provides that the requesting collector the collector requested to send data, the data format and the Communicates destination address. This configuration enables a particularly simple one Reconfiguration of the tree-like collector hierarchy, as a result of which a dynamic Allocation between sender and recipient of the data can be made.

In einer Weiterbildung des Verfahrens ist vorgesehen, dass die Versendung der Daten in Form einer Datei erfolgt, wobei die Datei aus einem fixe Anteil und einem erweiterbaren Anteil besteht. Das Format der zur Auswertung gesammelten und übertragenen Daten muss damit nicht a priori festgelegt werden, sondern kann an wechselnde Anforderungen angepasst werden.In a development of the method it is provided that the sending of the data in Form of a file takes place, the file consisting of a fixed part and an expandable Share exists. The format of the data collected and transmitted for evaluation does not have to be defined a priori, but can be adapted to changing requirements be adjusted.

In einer Weiterbildung des Verfahrens ist vorgesehen, dass der erweiterbare Anteil Angaben bezüglich der Größe und der Struktur des erweiterten Anteils enthält. Eine Auswertung der Datei kann damit anhand der nur in der Datei selbst vorhandenen Information erfolgen, ohne dass also z. B. die Datei einer festgelegten Struktur folgen muss.A further development of the method provides that the expandable portion Contains information regarding the size and structure of the expanded portion. A Evaluation of the file can therefore only be based on the data available in the file itself Information takes place without z. B. the file follow a defined structure got to.

Im Folgenden wird ein Ausführungsbeispiel der Erfindung beschrieben.An exemplary embodiment of the invention is described below.

Zunächst wird das verwendete Nutzdatenformat beschrieben. Dies besteht aus einem fixen und einem erweiterbaren Anteil, der als "Extension" bezeichnet wird. Das Datenformat kann durch den Extensionteil um beliebige Anteile erweitert werden. Dazu enthält dieser Angaben bezüglich der Größe und der Struktur des jeweiligen Extensionteils. Es können dabei mehrere gleichartige oder unterschiedliche Extensionsteile in dem erweiterbaren Anteil enthalten sein. Jeder Teil des erweiterbaren Anteils besteht dazu aus einem Tripel enthaltend Typ, Länge sowie Inhalt.The user data format used is first described. This consists of one fixed and an expandable part, which is called "extension". The Data format can be extended by any part by the extension part. To contains this information regarding the size and structure of each Extension part. There can be several of the same or different Extension parts can be included in the expandable part. Every part of the extensible Share consists of a triplet containing type, length and content.

Zur Durchführung des erfindungsgemäßen Verfahrens wird der gesamte in einem paketorientierten Netzwerk übertragene Datenstrom mittels eines verteilten Netzwerkmonitoringsystems erfasst und die erfassten Daten in einer aggregierten Form zu bestimmten Knoten weitergeleitet, die diese Daten als Auswertestelle analysieren können. Das paketorientierte Netzwerk besteht aus mehreren Netzwerkteilnehmern, die über ein Netzwerk miteinander verbunden sind. Dies kann z. B. ein Ethernet, Tokenring oder dergleichen Netzwerk sein. Ein solches Netzwerk besteht üblicherweise aus einer Vielzahl von einzelnen unabhängigen Segmenten, die durch sogenannte Router miteinander verbunden sind. Über die Grenzen der jeweiligen Netzwerksegmente werden nur Daten übertragen, die explizit an eine Station in einem anderen Segment gerichtet sind. Datenstationen innerhalb eines Netzwerksegmentes nehmen nur Datenpakete auf, die an die jeweilige Datenstation gerichtet sind. Ebenso nehmen die Router nur Datenpakete auf, bei denen eine Weiterleitung erforderlich ist.To carry out the method according to the invention, the entire process is carried out in one packet-oriented network transmitted data stream using a distributed Network monitoring system captured and the captured data in an aggregated form forwarded to certain nodes that can analyze this data as an evaluation point. The packet-oriented network consists of several network participants that have one Network are interconnected. This can e.g. B. an ethernet, token ring or be the same network. Such a network usually consists of a large number of individual independent segments, which are interconnected by so-called routers are connected. Only data is beyond the boundaries of the respective network segments transmitted that are explicitly directed to a station in another segment. Data stations within a network segment only accept data packets that are the respective data station are directed. Likewise, the routers only accept data packets where forwarding is required.

Innerhalb von Netzwerksegmenten, deren Datenverkehr überwacht werden soll, wird nun jeweils eine Datenstation angeordnet, die sämtlichen in den Netzwerksegment auftretenden Datenverkehr entgegen nimmt und auswertet. Eine derartige Datenstation wird üblicherweise als "Sniffer" bezeichnet. Der Sniffer verfügt über Hard- und/oder Software, die eine Filterung des entgegengenommenen Datenverkehres ermöglicht. Die Filterung kann z. B. in der Art erfolgen, dass nur bestimmte Informationen aus dem gesamten Datenstrom entnommen werden. Die Datenstation speichert die gewonnenen Daten. Ebenso kann bereits durch den Sniffer eine erste Auswertung der gespeicherten Daten vorgenommen werden.Within network segments whose data traffic is to be monitored, is now one data station each, all in the network segment receives and evaluates occurring data traffic. Such a terminal is commonly referred to as a "sniffer". The sniffer has hardware and / or Software that enables filtering of the received data traffic. The Filtering can e.g. B. in such a way that only certain information from the entire data stream can be extracted. The data station stores the data obtained Data. Likewise, a first evaluation of the stored data can already be made by the sniffer Data are made.

Die von dem Sniffer gespeicherten Daten werden in komprimierter Form an eine zentrale Auswertestelle übermittelt. Um zu verhindern, dass die nur der Auswertung dienenden Daten, die zwischen dem Sniffer und der zentralen Auswertestation übermittelt werden, innerhalb des Netzwerksegmentes, dem der Sniffer angehört, in die laufende Auswertung eingehen oder innerhalb eines anderen Netzwerksegmentes durch einen anderen Sniffer ausgewertet werden, werden alle Datenpakete, mit denen diese Information übertragen werden, gekennzeichnet. Dies kann z. B. dadurch erfolgen, dass die Datenpakete einem bestimmten Service zugeordnet werden. Alle so gekennzeichneten Datenpakete werden von allen Sniffern, die in Netzwerksegmenten sich befinden, durch das die Datenpakete geleitet werden, ignoriert. Auf diese Weise wird verhindert, dass der zur internen Auswertung des Netzwerkbetriebes erzeugte Datenverkehr in die Gesamtlast, die ausgewertet wird, zusätzlich eingeht.The data stored by the sniffer is sent in compressed form to a central one Evaluation point transmitted. In order to prevent that only the evaluation Data transmitted between the sniffer and the central evaluation station in the ongoing evaluation within the network segment to which the sniffer belongs enter or within another network segment by another sniffer All data packets with which this information is transmitted are evaluated are marked. This can e.g. B. done in that the data packets one assigned to a specific service. All data packets marked in this way are of all sniffers that are in network segments, through which the data packets are ignored. This prevents the internal Evaluation of network traffic generated in the total load that is evaluated, additionally received.

Die Daten verschiedener Sniffer werden durch eine Hierarchie von Kollektoren bis zu einem Endpunkt gesammelt und durchgereicht. Ein Kollektor besteht aus Sender-, Empfänger- und Arbeitseinheiten. Die Empfängereinheit nimmt dabei Daten von Sniffern oder anderen Kollektoren entgegen, die Sendereinheit leitet Daten an andere Kollektoren weiter. Die Arbeitseinheiten aggregieren und komprimieren die gesammelten Daten und können Auswertungen auf diesen durchführen. In welcher Art die Daten weitergeleitet werden, ist abhängig davon, wo sich der nächste Kollektor befindet. Dieser kann sich auf dem gleichen Netzwerkknoten und damit auf dem gleichen Computer befinden oder auf einem anderen Netzwerkknoten und damit auf einem anderen Computer. Weiterhin ist die Art, in der die Daten gesendet werden, abhängig davon, welche Aktion der Kollektor auf diese Nutzdaten durchführen soll. Damit der Sender entscheiden kann, wie er die Daten senden soll, schickt der Empfänger-Kollektor dem Sender-Kollektor eine Nachricht, in der ein Zeichenstring bestimmten Formats enthalten ist. Die nachfolgende Tabelle verdeutlicht das Format des Zeichenstring sowie daran gekoppelte Arten der Versendung der Daten.The data of different sniffers are sorted by a hierarchy of collectors collected and passed to an end point. A collector consists of transmitter, Receiver and work units. The receiver unit takes data from sniffers or other collectors, the transmitter unit forwards data to other collectors further. The work units aggregate and compress the collected data and can carry out evaluations on these. How the data is forwarded depends on where the next collector is located. This can affect the same network node and thus on the same computer or on another network node and thus on another computer. Furthermore, the The way in which the data is sent, depending on what action the collector is on should carry out this user data. So that the sender can decide how he wants the data to send, the receiver collector sends a message to the transmitter collector in which contains a character string of a certain format. The table below clarifies the format of the character string and the types of dispatch linked to it of the data.

Claims

1. Method for collecting data on data traffic in a packet-oriented network, consisting of at least one network segment, the data in the network segment to be monitored being determined by a data station (sniffer) and being transmitted to an evaluation point for evaluation, characterized in that the Data is transmitted in a format that is not evaluated by the sniffer.

2. The method according to claim 1, characterized in that the data of several network segments are aggregated.

3. The method according to claim 1 or 2, characterized in that the data are transmitted in packets in a TCP / IP network, the Data packets receive a special service identifier and are data packets with this service identifier from the sniffers not in the evaluation be included.

4. The method according to any one of claims 1-3, characterized in that the data of several sniffers are received by one collector.

5. The method according to claim 4, characterized in that the collector aggregates and compresses the received data.

6. The method according to any one of claims 4 or 5, characterized in that there are several collectors, the collectors in one tree-like hierarchy.

7. The method according to any one of claims 4-6, characterized in that each collector consists of a transmitter, receiver and work unit.

8. The method according to any one of claims 6 or 7, characterized in that Data from a lower collector in the hierarchy on request of the higher collector in the hierarchy.

9. The method according to claim 8, characterized in that the requesting collector is the one requested to send data Collects the data format and the destination address.

10. The method according to any one of claims 1-9, characterized in that The data is sent in the form of a file, the file being made from a fixed part and an expandable part consisting of one or can consist of several identical or different parts.

11. The method according to claim 10, characterized in that the parts of the expandable part or the expandable part itself Information regarding the size and structure of the parts of the extended Share included.