-
Die
vorliegende Erfindung betrifft ein Verfahren und ein System für das Netz- und Systemmanagement.
-
Die
Großunternehmen
haben eine wachsende Anzahl von Ausrüstungen zu managen. Diese Ausrüstungen,
die durch ein "lokales
Firmennetz" (RLE,
LAN) genanntes Kommunikationsnetz miteinander verbunden sind, werden
durch einen Administrator gemanagt. Um Ausrüstungen von einer Stelle aus
fernzumanagen (zu kontrollieren, einzuwirken, zu überwachen,
zu steuern), wird meist das Architekturmodell mit beispielsweise
einem Administrator (IMS, 4) und einem
Agenten, beispielsweise vom SNMP-Typ, übernommen. Bei diesem Architekturmodell
informieren die Agenten (SNMP), die in den Ausrüstungen (ET) des Netzes implementiert
sind, den Administrator über
den Zustand jeder der gemanagten Ausrüstungen. Bei jeder Funktionsstörung einer
Ausrüstung
schickt ein Agent (snmp) einen Alarm über das Weitbereichsnetz (WAN)
an den Administrator. In der weitaus überwiegenden Zahl der Fälle managt
dieser Administrator mehrere hundert Ausrüstungen, die auf ein Land oder
auf mehrere Länder
verteilt sind. Die zwischen dem Administrator und den gemanagten
Ausrüstungen
ausgetauschten Informationen bewegen sich durch ein Weitbereichsnetz,
auch "WAN" (Wide Area Network)
genannt. Das WAN hat jedoch beschränkte Kapazitäten und
das Senden von Informationen durch dieses Netz ist derzeit langsam
und wenig sicher. Dieses Problem lässt sich dadurch erklären, dass
die Bandbreite des Netzes (WAN) im Verhältnis zu der immer noch zunehmenden
Anzahl der Informationen, die zwischen den Administratoren und ihren
Ausrüstungen
befördert
werden müssen,
zu gering ist. Die lokalen Netze unterstützen oft einen Verkehr von
mehr als 10 Megabit, während
das WAN eine Bandbreite hat, die oft kleiner oder gleich 64 Kilobit
ist, wobei 9600 Baud ein üblicher
Wert ist. Folglich wird das Netz (WAN) übersättigt, und viele Informationen
gehen verloren. Andererseits ist die Datenübertragung sehr langsam und
die Art des Sendens (mittels periodischer kleiner Pakete) ist nicht
an die üblichen
Betriebsarten der WANs angepasst. Die Verarbeitung der Informationen
durch den Administrator verlangsamt sich und die auszulösenden Korrekturmaßnahmen
kommen spät.
Außerdem
wird in einigen Fällen
wegen dieses zu großen Datenstroms
die Chronologie des Eintreffens von Informationen bei dem Administrator
nicht eingehalten. In diesen Fällen
kann die Verarbeitung dieser Informationen zu einer Fehldeutung
der Fakten Veranlassung geben, die unangemessene Handlungen von
Seiten des Administrators auslösen
kann. Die Kommunikationskosten sind übrigens hoch.
-
Eine
Lösung
des Problems des Informationsverlusts besteht darin, dass der Administrator über das Netz
(WAN) mit einer bestimmten Periode eine Anfrage der Form "Geht es dir gut?" für jedes
gemanagte System erzeugt und dass diese Letzteren antworten: "Ja, mir geht es gut". Diese Lösung ist
sehr teuer. Sie löst das Übersättigungsproblem
der Kabel nicht, sondern verstärkt
den Informationsstrom durch das Netz (WAN) noch. Außerdem können die
Anfrage oder die Antwort auf diese Anfrage in dem Netz (WAN) verlorengehen.
-
Eine
weitere Lösung
besteht darin, die Informationsströme mit Hilfe eines Werkzeugs
wie dem SM Monitor 6000 der Marke IBM zu managen. Dieses Werkzeug,
das stark an eine "System
View" genannte Plattform gebunden
ist, wird deportiert und ermöglicht,
die Alarme eines Netzes zu konzentrieren und ausgehend von Informationen,
welche die Agenten des Netzes liefern können, Operationen auszuführen. Aber
SM Monitor 6000 verbraucht Ressourcen der Zentraleinheit (CPU, Control
Processing Unit) und beansprucht einen beträchtlichen Platz im Speicher.
Außerdem
muss heutzutage eine große
Anzahl von Unternehmen kleine Netze in großer Anzahl managen. Nun besitzt
aber SM Monitor 6000 keinen Mechanismus zur Entfaltung im großen Maßstab und
kann folglich nicht für
das Management einer großen
Anzahl von Ausrüstungen
verwendet werden. Außerdem
verwendet SM Monotor 6000 eine Technologie, die kaum portabel ist.
Die Konfiguration von SM Monitor 6000 kann nur mit der Plattform "System Views" erfolgen und ist
ohne dieses Werkzeug unverwertbar.
-
Eine
letzte Lösung,
von der Firma "BMC
Software" vorgeschlagen,
besteht aus einem Kontrollmodul, das ermöglicht, eine Gesamtheit von
sogenannten "Patrol-Agenten" zu überwachen.
Ein Patrol-Agent kann mehrere Module enthalten, wovon jedes zur
Aufgabe hat, einen bestimmten Typ von Informationen zu gewinnen,
wie etwa die Informationen des Systems oder die Informationen einer
Anwendung (beispielsweise einer Oracle-Datenbank). Diese Lösung ist nicht
passend. Obwohl die Patrol-Technologie ermöglicht, bestimmte Informationen über die
Ausrüstungen
zu gewinnen, ist sie nämlich
nicht dafür
ausgelegt, eine Administratorrolle gegenüber Agenten sicherzustellen.
Der Patrol-Agent verarbeitet lokale Daten auf einer Maschine, er
ist nur eine Informationsquelle und wird nicht mit Daten versorgt,
die von anderen Agenten kommen. Außerdem wird durch die Patrol-Methode
das Vermögen,
die Änderung
auf den Ausrüstungen
zu managen, ignoriert, während es
im Betrieb grundlegend ist. Außerdem
verbraucht sie CPU-Zeit und -Ressourcen der Zielsysteme auf Grund der
Technologie interpretierter Sprache.
-
Die
Lehren der Dokumente
US 5 651
006 und
JP 09 101 929 können hier
ebenfalls als Beispiele für frühere Lösungen für zusammengeschaltete
Netze angeführt
werden.
-
Die
vorliegende Erfindung hat zur Aufgabe, den Nachteilen des Standes
der Technik abzuhelfen, indem sie ein portables Verfahren für das Netzmanagement
vorschlägt,
das für
ein Management einer großen Anzahl
von Ausrüstungen
geeignet ist. Das Verfahren gemäß der Erfindung
begrenzt und sichert den Managementstrom zwischen dem Administrator
und den gemanagten Ausrüstungen,
indem es das Senden von unnötigen
Nachrichten oder das Wiederholen der Sendung ein und derselben Nachricht
in das WAN vermeidet. Dieses Verfahren passt sich folglich an Sättigungen
der Bandbreite an und ermöglicht,
die Informationsverluste in dem Netz (WAN) zu reduzieren. Außerdem können durch
dieses Verfahren die Frequenzen der Informationsgewinnung von einer
Information zur nächsten
angepasst werden, und die durch das System gewonnenen Daten sind
jederzeit wieder verwendbar, um Statistiken zu erstellen, um die
Leistungsfähigkeit
der Ausrüstungen zu überwachen
oder aber um zu vermeiden, dass dieselbe Information mehrfach gesucht
wird. Andererseits lernt dieses System von seiner Umgebung. Die
Berücksichtigung
von mehreren tausend Ausrüstungen
erfolgt automatisch, trotz sehr verschiedener Kontexte. Das Auftauchen
bzw. das Verschwinden elementarer Systeme wird ohne Eingriff des
Operators während
des Betriebs dynamisch berücksichtigt.
Schließlich
ermöglicht die
Erfindung eine Verringerung der Informationsverarbeitungslast auf
der Ebene der Kontrolle.
-
Diese
Aufgabe wird durch das Verfahren für das Management eines Netzes
gemäß dem Anspruch
1 gelöst.
-
Gemäß einem
besonderen Merkmal der Erfindung ist das Verfahren für das Management
eines Netzes dadurch gekennzeichnet, dass in jedem neuen Schritt
des Entdeckens von Ausrüstungen
des Unternetzes das Entdeckungsmodul (MD) die Datenbasen des Kerns
(N) und des Modellkonfigurationsmoduls (MCM), die die Liste der
Ausrüstungen
und ihrer Domänen
enthalten, aktualisiert.
-
Gemäß einem
weiteren besonderen Merkmal werden alle Alarme, die von den verschiedenen
Modulen ausgesendet werden, zum Haupt-Administrator (AD) über das
Alarmsicherungsmodul (MSA) geschickt, wobei der Alarm von einer
Sendenachricht begleitet wird, die für den Server des Alarmsicherungsmoduls
(sMSA) bestimmt ist.
-
Gemäß einem
weiteren besonderen Merkmal ist das Verfahren für das Management eines Netzes
gebildet aus:
- – einem Schritt des Empfangens
des Alarms durch den Haupt-Administrator
(AD) und des Empfangens der Sendenachricht durch den Server des
Alarmsicherungsmoduls (sMSA),
- – einem
Schritt des Schickens einer Empfangsbestätigungsnachricht durch den
Server des Alarmsicherungsmoduls (sMSA) zu dem Client des Alarmsicherungsmoduls
(cMSA),
- – einem
Schritt des Empfangens der Empfangsbestätigungsnachricht durch den
Client des Alarmsicherungsmoduls (cMSA),
- – einem
Schritt des Aktualisierens der Alarminstanzen, die in dem Alarmfilterungsmodul
(MFA) gespeichert sind.
-
Gemäß einem
weiteren besonderen Merkmal schickt der Client des Alarmsicherungsmoduls
(MCA) dann, wenn er die Empfangsbestätigungsnachricht nicht empfangen
hat, nach einer bestimmten Zeit den Alarm zu dem Haupt-Administrator
(AD) zurück,
wobei der Alarm von einer Sendenachricht begleitet wird, die für den Server
des Alarmsicherungsmoduls (sMSA) bestimmt ist.
-
Gemäß einem
weiteren besonderen Merkmal schickt das Indikatorberechnungsmodul
(MCI) oder das Entdeckungsmodul (MD) dann, wenn es keine Antwort
auf eine zu einer Ausrüstung
des Unternetzes geschickte Anforderung erhält, eine Nachricht an ein Wachhund-Modul
(MCG), wobei das Wachhund-Mo dul (MCG) die vermutlich verschwundene
Ausrüstung
abfragt und länger
auf eine Antwort wartet.
-
Gemäß einem
weiteren besonderen Merkmal wird dann, wenn nach einer bestimmten
Zeit das Wachhund-Modul (MCG) keine Antwort von der vermutlich verschwundenen
Ausrüstung
erhält,
die Ausrüstung
aus der Datenbasis des Kerns (N), der Datenbasis des Entdeckungsmoduls
(MD) und der Datenbasis des Domänenkonfigurationsmoduls
(MCM) entfernt, wobei das Wachhund-Modul (MCG) einen Alarm zu dem
Haupt-Administrator (AD) schickt, der ihm das Verschwinden der Ausrüstung angibt,
wobei der Alarm von dem Administrator so wahrgenommen wird, als
ob er von der Ausrüstung über das
Sicherungsmodul käme
und unter Verwendung des Sicherungsmoduls geschickt worden sei.
-
Gemäß einem
weiteren besonderen Merkmal fordert das Wachhund-Modul (MCG) dann,
wenn es eine Antwort von der vermutlich verschwundenen Ausrüstung erhält, die
Wiederentdeckung der Domänen,
falls die Anfrage von dem Indikatorberechnungsmodul ausgesendet
worden ist.
-
Eine
weitere Aufgabe der Erfindung besteht darin, ein System für das Netz- und Systemmanagement zu
schaffen.
-
Diese
Aufgabe wird durch das System für
das Management eines Netzes gemäß dem Anspruch
9 gelöst.
-
Gemäß einem
besonderen Merkmal der Erfindung ist das Dialogmittel aus einem
Kern (N) gebildet, der mit dem Haupt-Administrator (AD) einen Dialog
führt und
den Dialog zwischen den verschiedenen Modulen, die das System aufbauen,
ermöglicht.
-
Gemäß einem
weiteren besonderen Merkmal sind die Mittel zum Abfragen der Ausrüstungen
des lokalen Firmennetzes (RLE) und zum Filtern und Speichern der
von den in den Ausrüstungen
des Netzes arbeitenden Agenten (snmp) ausgelösten Alarme gebildet aus:
- – einem
Entdeckungsmodul (MD), das die Ausrüstungen (ET) des zu managenden
Unternetzes entdeckt und die Ausrüstungen in Abhängigkeit
von den Agententypen, die dort installiert sind, in Domänen klassifiziert.
Dieses Entdeckungsmodul verstärkt
die Entdeckungsfunktion des zentralen Administrators durch eine verbesserte
Präzision,
eine schnellere Entdeckung und eine erhebliche Einsparung an Bandbreite.
- – einem
Modellkonfigurationsmodul (MCM), das Alarmfilterungsmodelle und
Indikatoren, die in den Ausrüstungen
des Unternetzes instanziiert werden können, enthält, wobei jeder Indikator einer
Abfrageperiode zugeordnet ist,
- – einem
Indikatorberechnungsmodul (MCI), das das Ergebnis der Anwendung
eines Indikators auf eine Ausrüstung
berechnet, wobei der Indikator für
die Domäne
definiert ist, zu der die Ausrüstung
gehört,
wobei das Ergebnis dieser Anwendung mit einem Schwellenwert verglichen
wird, der während
einer bestimmten Zeitdauer in einer bestimmten Anzahl nicht überschritten
werden darf,
- – einem
Alarmfilterungsmodul (MFA), das die von den in den Ausrüstungen
des Unternetzes arbeitenden Agenten (snmp) geschickten Alarme empfängt und
dann einen Teil der Alarme mit Hilfe eines für eine gegebene Domäne definierten
Filters auswählt,
wobei die ausgewählten
Alarme wieder zum Haupt-Administrator (AD) zurückgesendet werden. Gemäß einem
weiteren besonderen Merkmal sind die Mittel zum Sichern der zum
Haupt-Administrator (AD) geschickten Alarme gebildet aus:
- – einem
Wachhund-Modul (MCG), das dann, wenn ein Modul es dazu auffordert,
die Existenz einer Ausrüstung
durch wiederholtes Schicken von Aufrufen verifiziert, und wenn die
verschwundene Ausrüstung nicht
auf eine im Voraus definierte Anzahl von Aufrufen geantwortet hat,
einen Alarm zu dem Haupt-Administrator
(AD) schickt, der von diesem Letzteren so wahrgenommen wird, als
ob er von der verschwundenen Ausrüstung käme,
- – einem
Alarmsicherungsmodul (MSA), das gemäß dem Client-Server-Mechanismus
arbeitet, wobei der Client (cMSA) dann, wenn zu dem Administrator
wenigstens ein Alarm geschickt wird, eine Bestätigungsnachricht des bei dem
Haupt-Administrator (AD) befindlichen Servers (sMSA) erwartet, wobei
der Server (sMSA) nach dem Empfang der Sendenachricht eine Empfangsbestätigungsnachricht
zu dem Client (cMSA) schickt, wobei der Client wieder den Alarm
und eine weitere Sendenachricht zu dem Administrator schickt, wenn
nach einer bestimmten Zeit die Empfangsbestätigungsnachricht von dem Client
nicht empfangen worden ist.
-
Gemäß einem
weiteren besonderen Merkmal sendet das Indikatorberechnungsmodul
(MCI) dann, wenn der Schwellenwert in einer bestimmten Anzahl während einer
bestimmten Zeitdauer überschritten
worden ist, einen Alarm zu dem Haupt-Administrator (AD) aus, wobei
der Alarm von dem Haupt-Administrator so wahrgenommen wird, als
ob er von der Ausrüstung
gesendet worden wäre,
deren Instanziierung erfolgt ist.
-
Gemäß einem
weiteren besonderen Merkmal ist ein Indikator eine Gleichung, die
auf Objektinstanzen einer Informationsmanagementbasis (MIB) angewendet
wird, wobei die Instanzen durch eine Abfrage der Agenten (SNMP)
erhalten werden, die in jeder der Ausrüstungen des Unternetzes arbeiten.
-
Gemäß einem
weiteren besonderen Merkmal kann das Ergebnis eines Indikators und/oder
einer Liste geschickter Alarme in einer auf der Festplatte archivierten
Datei gespeichert werden.
-
Gemäß einem
weiteren besonderen Merkmal erfolgt die Parametrisierung der Alarmfilter
entweder durch eine Initialisierungsdatei oder durch das snmp-Protokoll.
-
Gemäß einem
weiteren besonderen Merkmal werden die zu schickenden Alarme durch
das Alarmbestätigungsmodul
akkumuliert, um sie gruppiert als Paket mit einer gegebenen Frequenz
zu schicken.
-
Gemäß einem
weiteren besonderen Merkmal enthält
ein Alarmfilterungsmodul eine wiederzuerkennende Beschreibung des
Alarms und eine maximale Anzahl von Alarmauftritten, vor der ein
anderer Alarm zu dem Haupt-Administrator (AD) ausgesendet wird,
falls die maximale Anzahl von Alarmauftritten während einer bestimmten Periode
empfangen wird.
-
Gemäß einem
weiteren besonderen Merkmal fragen die verschiedenen Module den
Kern (N) ab, um ihre Betriebsparameter zu initialisieren.
-
Gemäß einem
weiteren besonderen Merkmal managt der Kern (N) eine Datenbasis,
die alle Instanzen der Informationsmanagementbasis (MIB) enthält, wobei
der Kern wenigstens zwei Kommunikationsträger (sockets) und eine gemeinsame
Schnittstelle für
das Management der Kommunikation mit den Modulen enthält.
-
Gemäß einem
weiteren besonderen Merkmal enthalten die Initialisierungsparameter
des Entdeckungsmoduls (MD) die Periode, die zwei Entdeckungen trennt,
die minimale Anzahl von zu entdeckenden Systemen und die Maske des
Internet-Protokolls (IP), die die Ausdehnung des zu entdeckenden
Netzes bestimmt.
-
Gemäß einem
weiteren besonderen Merkmal wird eine entdeckte Ausrüstung (ET)
in Abhängigkeit von
ihren Antworten auf Abfragen, die an jeder Gesamtheit von Objektinstanzen
der Informationsmanagementbasis (MIB), die eine Domäne definieren,
ausgeführt
werden, in eine oder in mehrere Domänen klassifiziert.
-
Weitere
besondere Merkmale und Vorteile der vorliegenden Erfindung werden
deutlicher beim Lesen der nachstehenden Beschreibung, die sich auf
die beigefügte
Zeichnung bezieht, worin
-
1 ein
Implementierungsbeispiel für
das Verfahren zum Managen zweier Unternetze zeigt,
-
2 die
Architektur des Managementsystems zeigt,
-
3 ein
Implementierungsbeispiel für
das Verfahren zum Managen von n Sites zeigt,
-
4 ein
herkömmliches
Managementsystem zeigt.
-
Die
vorliegende Erfindung schlägt
ein Verfahren und ein System für
das Netzmanagement vor, die über
ein Standardprotokoll, nämlich
das Protokoll SNMP, vollständig
fernparametrisierbar sind. Wie 1 zeigt,
ist das Netzmanagementsystem aus einem Administrator (AD1) und wenigstens
einem lokalen Unternetz (RLE1, RLE2), das mit einem zentralen, offenen
Agenten für
ein konzentriertes Management (COACH, Central Open Agent for Concentrated
Handling) verbunden ist, gebildet. Der Unter-Administrator (COACH1) agiert
auf einer mittleren Managementebene. Da er sich über dem lokalen Firmennetz
(RLE1) befindet, ermöglicht
er, den Managementstrom zwischen dem Haupt-Administrator (AD1) und
den Ausrüstungen
(ET) des Netzes (RLE1) zu begrenzen. Von den Ausrüstungen
des Netzes wird er als ein Administrator und von dem Administrator
als eine Ausrüstung
wahrgenommen.
-
Der
Unter-Administrator (COACH), wie in 2 gezeigt,
umfasst eine Gesamtheit von Prozessen, auch "Module" genannt, die miteinander und mit dem
Haupt-Administrator (AD) im Dialog stehen, und zwar über einen
zentralen Prozess, der auch "Kern" (N) genannt wird.
Die Dialoge zwischen den verschiedenen Modulen laufen über einen üblichen
und portablen Träger
(socket) ab. Jedes Modul ist einer genau bestimmten Funktion zugeeignet.
-
Das
zentrale Modul oder der Kern (N) hat zwei Hauptfunktionen. Einerseits
steht er im Dialog mit dem Administrator (AD) und andererseits managt
er den Dialog zwischen den verschiedenen Modulen, die den Unter-Administrator
(COACH) bilden. Der Kern (N) antwortet nämlich auf den Dialog (snmp),
wenn der Unter-Administrator (COACH) durch den Administrator abgefragt
oder konfiguriert wird. Es gibt zwei Arten des Dialogs mit den Modulen,
weswegen zwei Kommunikationsträger
(sockets) wünschenswert
sind, um den Kern-Modul-Dialog
zu managen. Die erste Dialogart läuft auf Initiative des Kerns
ab und betrifft die Aktualisierungen von Instanzen oder die Informationsanforderungen
bei einer Informationsmanagementbasis (MIB) oder die Übertragungen
von Meldungen, die von einem anderen Modul kommen. Die zweite Dialogart
läuft auf
Initiative der Module ab und betrifft die Informationsanforderungen
oder die Aktualisierungen von Instanzen der Informationsmanagementbasis
(MIB). Der Kern managt zwei Trägerlisten.
Die Trägererstellung
in jeder dieser Listen erfolgt während
des Verbindens der Module dynamisch. Für den Dialog (snmp) mit dem
Administrator schreibt der Standard die Verwendung eines einzigen
Trägers
(socket) vor. Der Dialog läuft über den
Port 161/upd ab, aber die Verwendung eines Anfragedispatchers erfordert
die Verwendung eines weiteren parametrisierbaren Ports, um die Möglichkeit
zu haben, mehrere Agenten (snmp) in ein und derselben Ausrüstung arbeiten
zu lassen. Zur Vereinfachung des Managements der Kommunikation mit
den Modulen ist eine gemeinsame Schnittstelle in Bibliothekform
definiert. Außerdem
besitzt der Kern (N) einen Cache-Speicher (cache memory) (C), der
alle Informationen enthält,
die aus dem Management eines Unternetzes (RLE) resultieren. Jedes
Modul fragt den Kern ab, um diese Betriebsparameter zu initialisieren.
Außerdem
managt der Kern (N) eine Datenbasis, die alle Instanzen der Informationsmanagementbasis
(MIB) des durch den Unter-Administrator (COACH) gemanagten Unternetzes
enthält.
-
Das
Entdeckungsmodul (MD) entdeckt das Unternetz (RLE1), über dem
der Unter-Administrator (COACH11) installiert ist. Mit Hilfe einer
Tabelle von Internetprotokoll-(IP, Internet Protocol) Adressmasken
bestimmt das Entdeckungsmodul (MD) die (IP-)Adressen der Ausrüstungen
(ET), die eventuell von dem Unter-Administrator gemanagt werden
können.
Anschließend
fragt das Entdeckungsmodul (MD) nacheinander alle möglichen
Ausrüstungen
mittels einer einheitlichen Internetpaketgruppe (PING, Packet Internet
Groper) ab. Der PING ist eine Standardabfrage, die verwendet werden
kann, um zu erfahren, ob eine Maschine über das Internet verbunden
ist, um die Herkunft einer Nachricht zu bestimmen oder um zu verifizieren,
ob ein System immer noch aktiv ist. Wenn eine Ausrüstung über das
Netz erreichbar ist, antwortet sie auf den PING.
-
Wenn
eine Ausrüstung
entdeckt ist, sucht das Entdeckungsmodul (MD) seine Domäne. Jede
Ausrüstung
gehört
zu einer Domäne.
Die Domäne
jeder Ausrüstung
ermöglicht,
Gruppen von Indikatoren und Alarmfilter zu definieren, die in jede
der Ausrüstungen
einzubringen sind, und zwar in Abhängigkeit von den Agenten, die
in diesen Ausrüstungen
vorhanden sind, und folglich in Abhängigkeit von Funktionen, die
bei jeder Ausrüstung
fehlen.
-
Die
Domäne
einer Ausrüstung
ist gemäß der Antwort
oder nicht der Ausrüstung
anhand einer Gesamtheit von Objektinstanzen der Informationsmanagementbasis
(MIB snmp) definiert. Von der Entdeckung einer neuen Ausrüstung an
wird eine Abfrage (polling) an einer Gesamtheit von Objektinstanzen
(snmp) durchgeführt.
Wenn eine entdeckte Ausrüstung
(ET) auf die Abfragen aller Objektinstanzen, die eine Domäne definieren,
antwortet, heißt
das, dass die Ausrüstung
zu dieser Domäne
gehört.
Alle entdeckten Ausrüstungen
werden nach Domänen
klassifiziert. Diese Domänen
ermöglichen,
die verschiedenen Ausrüstungstypen
zu unterscheiden und jede der Ausrüstungen gemäß ihrer Domäne anders zu managen. Eine
Ausrüstung
kann zu mehreren Domänen
gehören.
-
Die
Domäne
MIB2 könnte
beispielsweise durch die Antwort auf die Instanz "sysUpTime0" definiert sein.
Alle entdeckten Ausrüstungen
werden über
diese Instanz abgefragt. Diejenigen, die darauf antworten, gehören zumindest
zu der Domäne
MIB2.
-
Schließlich schickt
das Entdeckungsmodul (MD), wenn es eine Ausrüstung und seine Domäne entdeckt
hat, eine Meldung an ein Modellkonfigurationsmodul (MCM), wobei
es ihm die Internetprotokoll-(IP) Adresse der entdecken Ausrüstung und
die Domäne,
zu der diese Ausrüstung
gehört,
angibt. Vorteilhaft schickt das Entdeckungsmodul (MD) die gleichen
Informationen außerdem
an den Kern (N), der sie in einer Datenbasis speichern wird.
-
Im
Allgemeinen wird, wenn ein vorhandenes System ein zweites Mal entdeckt
wird, seine Domäne nicht
aufs Neue gesucht. Trotzdem kann die Domäne eines Systems gesucht werden,
indem die Instanz der Informationsmanagementbasis (MIB) bezüglich der
Entdeckung von Domänen
auf "aktiv" (ON) gesetzt wird. Wenn
in diesem Fall die Domäne
nicht die gleiche wie die vorhergehende ist, wird die Datenbasis
des Kerns automatisch aktualisiert und es werden automatisch Meldungen
an das Modellkonfigurationsmodul (MCM) geschickt.
-
Wenn
eine zuvor entdeckte Ausrüstung
nicht mehr auf einen einheitlichen PING antwortet, schickt das Entdeckungsmodell
(MD) eine Meldung an ein Wachhund-(Watchdog) Modul (MCG), damit
es verifiziert, ob die Ausrüstung
tatsächlich
aus dem Netz verschwunden ist.
-
Sobald
es verbunden ist, fragt das Entdeckungsmodul (MD) den Kern (N) ab,
um seine Initialisierungsparameter zu erfahren:
- – die Periode
zwischen zwei aufeinanderfolgenden Entdeckungen,
- – die
minimale Anzahl von zu entdeckenden Systemen,
- – die
Maske des Internet-Protokolls (IP), die die Ausdehnung des zu entdeckenden
Netzes bestimmt.
-
Das
Entdeckungsmodul enthält
grundlegende Konfigurationselemente, eine Gesamtheit von Objektinstanzen
der abzufragenden Informationsmanagementbasis (MIB) und die Liste
der entdeckten Systeme sowie ihrer Domänen.
-
Der
Anhang 7 zeigt ein Konfigurationsmodell der Entdeckung. Der Anhang
8 zeigt die dynamischen Entdeckungsdaten.
-
Das
Alarmfilterungsmodul (MFA) empfängt
die Alarme (traps), die von den Agenten (snmp) geschickt wurden,
die in den Ausrüstungen
(ET) implementiert sind, und filtert die wieder an den Haupt-Administrator (AD)
zu sendenden Alarme. Sobald es einen Alarm empfangen hat, erkennt
dieses Modul gewöhnlich,
zu welcher Domäne
die Ausrüstung
(ET), die diesen Alarm geschickt hat, gehört. Diese Information wird
ihm ermöglichen,
das auf diesen Alarm anzuwendende Filtermodell zu bestimmen. Ein
Alarmfiltermodell ist durch eine Beschreibung des zu erkennenden
Alarms (SMNP-Beschreibungsfelder: Unternehmen, generisch, spezifisch) und
durch eine maximale Anzahl von Alarmauftritten während einer bestimmten Periode,
vor der ein anderer Alarm gesendet wird, definiert. Die Wahl des
Filtermodells erfolgt in Abhängigkeit
von der Domäne,
zu der die einen Alarm schickenden Ausrüstung gehört. Wenn ein Alarm nicht erkannt
wird, wird er zum Haupt-Administrator (AD) gesendet. Außerdem wird
die erste Alarminstanz, die empfangen wird, immer an den Haupt-Administrator
(AD) geschickt. Beispielsweise ist für eine Ausrüstung, die zu der Domäne "Imprim" gehört, d. h.
für einen
Drucker, ein Alarmmodell definiert, das "kein Papier mehr im Drucker" angibt. Dieses Modell
ist bei allen Druckern des Unternetzes instanziiert. Das Filtermodell
dieses Alarms wird als ein Alarm der Stufe 0 beschrieben und zum
Administrator (AD) geschickt. Wenn einer der Agenten der Drucker
diesen Alarm sendet, wird folglich das Alarmfilterungsmodul (MFA)
keinen dieser Alarme an den Haupt-Administrator (AD) senden. Wenn dieselben
Drucker einen Funktionsstörungsalarm
senden, der ein "Netzproblem" offenbart, und wenn
das Filtermodell dieses Alarms als ein Niveau von 1 zu 50 in weniger
als 30 Minuten beschrieben ist, was bedeutet, dass ein Alarm wieder
auszusenden ist, wenn fünfzig
Alarme in weniger als 30 Minuten empfangen worden sind, wird das
Alarmfilterungsmodul (MFA) für
jeden Drucker den ersten empfangenen Alarm, dann 1 von 50 in einer
Periode von 30 Minuten wieder aussenden. Wenn in einem Zeitraum
von wenigstens dreißig
Minuten nur zwei Alarme ankommen, werden beide gesendet.
-
Außerdem steht
das Alarmfilterungsmodul (MFA) auch bezüglich des Kerns (N) auf Empfang.
Dieser Letztere schickt ihm Meldungen von der Aktualisierung des
Alarmfiltermodells. Die in dem Alarmfilterungsmodul (MFA) enthaltenen
Daten sind die Beschreibung der Modelle und Informationen über die
Instanziierun gen dieser Modelle (Datum der ersten Instanz eines
empfangenen Alarms, Anzahl der während
der kritischen Periode empfangenen Alarme).
-
Zudem
kann das Schicken von Alarmen durch Verwenden der Funktion "set" in einer Datei auf
der Festplatte archiviert werden, und der Administrator kann es
beispielsweise mit einem Dateiübertragungsprotokoll
(FTP, File Transfert Protocol) zurückgewinnen. Die auf diese Weise
archivierten Informationen betreffen das Datum, das Unternehmen,
den generischen und den spezifischen Typ eines ausgesendeten Alarms.
Ein Schicken eines Alarms kann beispielsweise in der Form: Nov 19
19:32 1997; 1.3.6.1.4.1.107.144;6;1 aufgezeichnet werden. Diese
Information muss in der folgenden Form interpretiert werden: Am
19. November 1997, 19.32 Uhr, ist von dem Unternehmen 1.3.6.1.4.1.107.144
ein Alarm vom generischen Typ 6 und vom spezifischen Typ 1 an den
Administrator gesendet worden. Das Schicken von Alarmen kann auch
in einer Tabelle von Alarmmasken archiviert werden. Vorteilhaft
kann die Gesamtheit der in der Nachricht enthaltenen Informationen
ebenfalls archiviert werden.
-
Der
Anhang 2 zeigt ein Alarmfiltermodel. Der Anhang 3 zeigt die dynamischen
Daten eines Alarmfilters.
-
Das
Indikatorberechnungsmodul (MCI) berechnet Indikatoren für die zu
managenden Ausrüstungen (ET).
Ein Indikator ist eine Gleichung, in die Datenbasismanagement-Objektinstanzen
(MIB snmp) eingesetzt werden. Diese Objektinstanzen werden durch
Abfrage (polling) aller Agenten (snmp) erhalten, die in jedem der zu
managenden Systeme arbeiten. Das Ergebnis dieser Gleichung wird
mit einem Schwellenwert verglichen, der während einer bestimmten Zeitdauer
nicht in einer bestimmten Anzahl überschritten werden darf. Wenn der
Schwellenwert in einer bestimmten Anzahl während einer bestimmten Zeitdauer überschritten
wird, wird ein Alarm zum Haupt-Administrator (AD) gesendet.
-
Als
Beispiel wird ein Indikator betrachtet, der bei den Ausrüstungen
der Domäne
MIB2 zu instanziieren ist, die eine Abfrageperiode von 60 Sekunden
aufweist. Dieser Indikator berechnet die Nutzung der Bandbreite einer
beliebigen Netzkarte mit Hilfe der Gleichung:
(8*$-(iflnBytes.1
+ ifOutBytes.1)/ifSpeed.1
-
Diese
Gleichung wird jede Minute für
jede der Ausrüstungen
der Domäne
MIB2 berechnet. Wenn bei dem System "A" das
Ergebnis den Wert 10 wenigstens zweimal in fünf Minuten übersteigt, wird ein Alarm an den
Haupt-Administrator (AD) geschickt. Und dieser Alarm wird von diesem
Letzteren als vom System "A" kommend wahrgenommen.
-
Ein
Indikator umfasst einfache Operatoren, wie etwa die Addition (+),
die Subtraktion (–),
die Multiplikation (*), die Division (/), und Mengenoperatoren.
Die Mengenoperatoren ermöglichen,
einen Operator auf Reihen von Indikatorinstanzen anzuwenden. So
der Operator
- • !SUM, der die Summe einer
Reihe von Indikatorinstanzen bildet,
- • !MOY,
der einen Mittelwert einer Reihe von Indikatoren bildet,
- • !MAX,
der den Maximalwert in einer Reihe von Indikatoren sucht,
- • !MIN,
der den Minimalwert in einer Reihe von Indikatoren sucht. Es ist
zu beachten, dass die Mengenoperatoren auf Systeme und nicht auf
Zeiten angewendet werden. Der Anhang 9 beschreibt einige einfache Gleichungsbeispiele
unter Verwendung der Mengenoperatoren. Außerdem kann ein Indikator auch
einen Delta-Operator, als $-vermerkt, und einen Operator der zeitlichen
Unbestimmtheit, als & vermerkt,
umfassen. Der Delta-Operator ist so definiert, dass zum Zeitpunkt
t gilt: $-(x) = x(t) – x(t-T),
wobei das Attribut x mit dem Wert x(t-T) zum Zeitpunkt (t-T) erhalten
worden ist und wobei der Wert $-(x) den Unterschied zwischen x(t)
und x(t-T) angibt. $-(x) entspricht einem Delta und $t einem Delta(t).
Der Operator der zeitlichen Unbestimmtheit ermöglicht, eine Berechnung wiederzuverwenden,
die für
eine Ausrüstung
schon ausgeführt
wurde. Das Instanzenberechnungsmodul (MCI) fragt den Kern ab, um
diese Betriebsparameter zu initialisieren.
-
Im
Betrieb teilt das Modellkonfigurationsmodul (MCM) dem Indikatorberechnungsmodul
(MCI) die Modelle mit, die in den Ausrüstungen zu instanziieren sind.
Die in dem Indikatorberechnungsmodul (MCI) gespeicherten Daten sind
die Beschreibungen der Indikatormodelle (mit dem Namen des Modells),
die Instanziierungen jedes der Indikatoren und Betriebsdaten wie
beispielsweise das letzte Ergebnis der Instanz, das Datum der nächsten Abfrage
der Instanz usw.
-
Das
Ergebnis der Indikatorinstanziierung kann einerseits mit Hilfe der
Verwendung der "set"-Funktion in einer
Datei auf der Festplatte archiviert werden. Der Anwender wählt namentlich
die Indikatoren aus, die er protokollieren (logger) möchte. In
diesem Fall kann der Administrator sie mit Hilfe eines Dateiübertragungsprotokolls
(FTP) zurückgewinnen.
Andererseits wird das Ergebnis der Indikatorinstanziierung auch
in einer Indikatortabelle gespeichert, auf die mittels einer SNMP-Abfrage
direkt zugegriffen werden kann.
-
Die
Informationen betreffs der auf diese Weise archivierten Indikatoren
enthalten das Datum, das Modell des abgefragten Indikators, die
(IP-)Adresse der abgefragten Ausrüstung und das Ergebnis der
Berechnung des Indikators. Eine archivierte Datei kann beispielsweise
in dieser Form angelegt werden: Nov 27 11:44 1997:3;129.184.59.7;271.4268.
Diese Datei muss in dieser Form interpretiert werden: Am 27. November
1997, 11.44 Uhr, ist die Ausrüstung
129.184.59.7 anhand des Modells 3 abgefragt worden und das Ergebnis
ist 271.4268.
-
Um
das Ausmaß der
Speicherung von Gleichungen gering zu halten, werden vorteilhaft
die Zeichenketten, die abgefragten Instanzen entsprechen, in einer
Tabelle gespeichert und durch Bezeichner repräsentiert.
-
Es
sei angemerkt, dass alle Funktionen zur Gleichungsberechnung, zur
Schwellenbeschreibung, zur Definition von Berechnungsperioden, der
maximalen Häufigkeit
der Schwellenüberschreitung
und der Vergleichsrichtung des Ergebnisses über das snmp-Protokoll vollständig aus
der Ferne und dynamisch konfigurierbar sind.
-
Der
Anhang 5 zeigt ein Indikatormodell. Der Anhang 6 zeigt die dynamischen
Indikatordaten.
-
Wenn
eine Ausrüstung
nicht mehr auf Anforderungen von Entdeckungs-(MD) und Indikatorberechnungsmodulen
(MCI) antwortet, verifiziert das Wachund-(watchdog) Modul (MCG), ob diese Ausrüstung wirklich
verschwunden ist. Diese Ausrüstung
ist nämlich
nicht notwendigerweise entfernt worden. Eine Ausrüstung kann
während
eines bestimmten Zeitraums auf Grund von unvorhersehbaren Entwicklungen,
die mit dem Verkehr des Netzes zusammenhängen, oder weil das lokale
Firmennetz (RLE) überlastet
ist, nicht mehr erreichbar sein. Es ist die Aufgabe des Wachhund-Moduls
(MCG), das zu verifizieren.
-
Wenn
das Entdeckungsmodul (MD) oder das Indikatorberechnungsmodul (MCI)
das Wachhund-Modul (MCG) bezüglich
des eventuellen Verschwindens einer Ausrüstung benachrichtigt, fordert
das Wachhund-Modul (MCG) diese Ausrüstung aufs Neue auf, jedoch
diesmal dringlicher. Es schickt eine Nachricht an die vermutlich
verschwundene Ausrüstung
und wartet während
einer sehr langen Zeit auf eine Antwort. Es lässt der Ausrüstung viel
mehr Zeit zum Antworten. Wenn die Ausrüstung antwortet, signalisiert
das Wachhund-Modul (MCG) nichts und voreingestellt nehmen/nimmt
die Entdeckungsmodule (MD) und/oder das Indikatorberechnungsmodul
(MCI) an, dass die Ausrüstung
immer noch vorhanden ist. Wenn die Ausrüstung nicht antwortet, schickt
das Wachhund-Modul eine neue Nachricht, wobei es der vermutlich
verschwundenen Ausrüstung
eine noch längere
Antwortzeit lässt.
Nachdem eine bestimmte Anzahl von Nachrichten geschickt worden ist,
sendet das Wachhund-Modul (MCG), wenn die vermutlich verschwundene
Ausrüstung
immer noch nicht auf die verschiedenen Nachrichten geantwortet hat,
einen Alarm in Richtung des Haupt-Administrators (AD), der ihm das
Verschwinden dieser Ausrüstung
anzeigt. Dieser Alarm wird als von der verschwundenen Ausrüstung kommend
simuliert. Dies ermöglicht
eine Aufwertung der Information und eine Vereinfachung der Visualisierung
bei dem Haupt-Administrator. Das Wachhund-Modul (MCG) schickt Meldungen
an das Entdeckungsmodul (MD), an den Kern (N) und an das Modellkonfigurationsmodul
(MCM), damit die verschwundene Ausrüstung aus ihren Datenbasen
entfernt wird.
-
Wenn
eine Ausrüstung
nicht auf die Anforderung des Indikatorberechnungsmoduls (MCI) geantwortet hat,
jedoch auf die Abfrage des Wachhund-Moduls antwortet, sind möglicherweise
Agenten (snmp) modifiziert worden. Dann wird automatisch eine Wiederentdeckung
der Domäne
dieser Systeme gefordert.
-
Das
Alarmsicherungsmodul (MSA) ermöglicht,
die durch den Unter-Administrator (COACH) zum Haupt-Administrator
(AD) geschickten Alarme zu sichern. Dieses Modul arbeitet gemäß einem
Client-Server-Mechanismus; der Server des Alarmsicherungsmoduls
(sMSA) ist mit dem Haupt-Administrator (AD) verbunden und der Client
des Alarmsicherungsmoduls ist mit dem Alarmfilterungsmodul (MFA)
verbunden. Wenn ein Alarm an den Administrator geschickt wird, ist
er immer von einer Sendenachricht begleitet, die der Client (cMSA)
schickt und die für
den Server (sMSA) bestimmt ist. Der Empfang dieser Sendenachricht
durch den Server (sMSA) bedeutet automatisch, dass der Administrator
den Alarm empfangen hat, der diese Nachricht begleitet. Wenn der
Server (sMSA) die Sendenachricht annimmt, schickt er dem Client
(cMSA) eine Empfangsbestätigungsnachricht.
Sobald er die Empfangsbestätigungsnachricht
empfangen hat, entfernt der Client (cMSA) die Alarminstanzen, die
im Alarmfilterungsmodul (MFA) gespeichert sind. Wenn der Client
(cMSA) nach einer im Voraus festgelegten Zeit die Empfangsbestätigungsnachricht
nicht erhalten hat, schickt er den Alarm, begleitet von einer neuen
Sendenachricht, wieder an den Haupt-Administrator. Der Client (cMSA)
fängt diese Operation
wieder von vorne an, bis er eine Empfangsbestätigungsnachricht erhält.
-
Das
Bestätigen
der Alarme ermöglicht,
den Empfang von Alarmen durch den Administrator quasi absolut zu
gewährleisten.
Der Gesamtbetrieb ist durch eine Funktion zum Senden der Alarme
im Block noch verbessert worden. Dem Alarmsicherungsmodul (MSA)
ist es möglich,
die Alarme nicht sofort zu senden, sondern sie zu archivieren und
dann paketweise mit einer gegebenen Frequenz zu schicken. Die Kommunikationsleitungen
werden nur während
dieser Periode beansprucht. Die Frequenz des Sendens der Alarme
wird bei der Parametrisierung des Alarmsicherungsmoduls gewählt. Dieses
Prinzip ist bei den Leitungen des diensteintegrierenden digitalen
Nachrichtennetzes (Integrated Services Digital Network, ISDN), bei
denen das Trennen einer Leitung Zeit braucht und das Anschließen mit
einer Verzögerung
erfolgt, besonders vorteilhaft. Um die Sicherung dieser Alarme noch
zu verbessern, wird vorteilhaft die Leitung einige Sekunden vor
dem Schicken der Alarme getrennt.
-
Das
Modellkonfigurationsmodul (MCM) ermöglicht, dem Indikatorberechnungsmodul
(MCI) und dem Alarmfiltermodul (MFA) die Indikatoren und die Alarmfiltermodelle,
die auf jede der Ausrüstungen
(ET) des Unternetzes anzuwenden sind, dynamisch anzugeben. Bei der
Entdeckung einer Ausrüstung
schickt das Entdeckungsmodul (MD) eine Meldung an das Modellkonfigurationsmodul
(MCM), die ihm die Adresse des Internetprotokolls (IP-Adresse) der
entdeckten Ausrüstung
sowie die Domäne,
zu der sie gehört,
angibt. Das Modellkonfigurationsmodul (MCM) meldet dann den Indikator
dem Indikatorberechnungsmodul (MCI) und das Filtermodell dem Alarmfilterungsmodul.
-
Wenn
beispielsweise bei den Systemen MIB2 für alle entdeckten Systeme ein
Indikator instanziiert werden soll, wird das Modellkonfigurationsmodul
(MCM) die Instanziierung dieses Indikators dem Indikatorberechnungsmodul
(MCI) anzeigen.
-
Das
Modellkonfigurationsmodul (MCM) enthält die Korrespondenzen zwischen
den Domänen
und ihren Modellen (des Filters und des Indikators).
-
Das
Modellkonfigurationsmodul (MCM) ist aus einem Initialisierungsteil
und einem Teil für
Aktualisierungen während
des Betriebs gebildet. Bei der Initialisierung werden die Beschreibungen
von Indikatoren und Filtermodellen, die in der Datenbasis des Kerns
(N) vorhanden sind, vernichtet. Diese Beschreibungen werden in der
Folge aus einer Initialisierungsdatei (confmod.ini) gelesen.
-
Ein
Beispiel für
eine Konfigurationsdatei (confmod.ini), die einen Indikator enthält, ist
im Anhang 4 beschrieben. Ein Indikator ist durch verschiedene Felder
definiert:
- Feld
- Definition
- Typ:
- IND für ein INDikatormodell
- Id:
- Index des Indikators
(automatische Erzeugung)
- Name:
- Name des Indikators
- Domäne:
- Gruppierung gemanagter
Ausrüstungen,
die durch 5 "Get"-Anfragen, die vom Unter-Administrator
COACH geschickt werden, anhand ihrer Adresse in identifizierbaren
Domänen
gefunden werden. Dies bedeutet, dass es derzeit höchsten 5
mögliche
Objektidentifizierer (Oids), um eine Domäne zu definieren, gibt.
- Gleichung:
- Gleichung des Indikators
- T polling:
- Abfrage- oder Indikatorkonstruktionsperiode
- Schwelle:
- Entscheidungsschwelle
für das
Senden eines Alarms
- Auftritt:
- Anzahl der Auftritte
des Schwellenwerts, nach dem Alarme gesendet werden
- Periode:
- Periode, nach deren
Ablauf die Anzahl der Auftritte von x Schwellenwerten auf null zurückgesetzt
wird
- Vergleichsrichtung:
- Richtung des Vergleichs
zwischen der definierten Schwelle und dem Ergebnis der Gleichung,
um ein Überschreiten
zu beschreiben. Sie kann <, >, = oder ! = sein.
- Logik der Historie
des Indikators:
- Dieses Feld ermöglicht,
eine Historie (logguer) des Indikators in der allgemeinen Protokollierungsphase
zu erzeugen. Es nimmt den Wert "LOG" für ein Protokollieren
des Indikators oder "NLOG" für ein Nichtprotokollieren
des Indikators an.
-
Ein
Beispiel für
eine Konfigurationsdatei (confmod.ini), die ein Alarmfiltermodell
enthält,
ist im Anhang 1 beschrieben. Ein Alarmfiltermodell ist durch verschiedene
Felder definiert:
- Feld
- Definition
- Typ:
- FIL für ein FILtermodell
- Id:
- Index des Filtermodells
(automatische Erzeugung)
- Name:
- Name des Filters
- Domäne:
- Gruppierung gemanagter
Ausrüstungen,
die durch 5 "Get"-Anfragen, die vom Unter-Administrator
COACH geschickt werden, anhand Adresse in identifizierbaren Domänen gefunden
werden.
- Unternehmen:
- Feld "Unternehmen" des zu filternden
Alarms
- generisch:
- Feld "generisch" des zu filternden
Alarms
- spezifisch:
- Feld "spezifisch" des zu filternden
Alarms
- Auftritt:
- Anzahl der Auftritte
des Alarms, nach dem es ein erneutes Senden eines Alarms an den
Administrator gibt
- Periode:
- Periode, nach deren
Ablauf ohne Empfang von Alarmen dieses Typs die Anzahl der Auftritte von
Alarmen auf null zurückgesetzt
wird
-
Nach
der Initialisierung fragt das Modellkonfigurationsmodul (MCM) den
Kern ab, um alle entdeckten Ausrüstungen
sowie ihre Domänen
zu erfahren. Dann schickt es Meldungen an das Alarmfilterungsmodul (MFA)
und an das Indikatorberechnungsmodul (MCI), um ihnen die Modelle
anzugeben, die gemäß den Adressen
des Internetprotokolls (IP-Adresse) der entdeckten Ausrüstungen
zu instanziieren sind.
-
Im
laufenden Betrieb steht das Modellkonfigurationsmodul (MCM) bezüglich des
Kommunikationsträgers
(socket) des Kerns auf Empfang und wartet auf Änderungen. Diese Änderungen
können
entweder das Hinzukommen oder das Wegfallen einer Ausrüstung in
dem Netz oder aber Modifikationen der Indikatoren oder der Filtermodelle
betreffen. ANHANG
ANHANG
2
ANHANG
3
ANHANG
4
ANHANG
5
ANHANG
6
ANHANG
7
ANHANG
8
ANHANG
9