-
Erklärung der Rechte der Regierung
-
Die hier beschriebene(n) Erfindung(en) wurde(n) mit Unterstützung der US-Regierung im Rahmen eines oder mehrerer der unten aufgeführten Verträge gemacht. Die U.S.-Regierung hat bestimmte Rechte an diesen Erfindungen.
Titel des Vertrags | Kunde/Agentur | Vertragsreferenz |
FastForward-2 | Lawrence Livermore National Security, LLC/Abteilung für Energie | Untervertrag B609229 unter dem Hauptvertrag DE-AC52-07NA27344 |
BeePresent | Beschaffungsamt Maryland | H98230-15-D-0020; Lieferauftrag 003 |
SeaBiscuit | Beschaffungsamt Maryland | II98230-14-C-0758 |
PathForward | Lawrence Livermore National Security, LLC/Abteilung für Energie | Untervertrag B620872 im Rahmen des Hauptvertrags DE-AC52-07NA27344 |
DesignForward | Die Regenten der Universität von Kalifornien / Energieministerium | Untervertrag 7078453 unter Hauptvertrag DE-AC02-05CII11231 |
EntwurfVorwärts-2 | Die Regenten der Universität von Kalifornien / Energieministerium | Untervertrag 7216357 unter Hauptvertrag DE-AC02-05CII11231 |
-
Verwandte Anwendungen
-
Diese Anmeldung beansprucht die Vorteile der am 23. Mai 2019 eingereichten vorläufigen US-Patentanmeldung Nr.
62/852273 mit dem Titel „Netzwerk-Switch“, der am 23. Mai 2019 eingereichten vorläufigen US-Patentanmeldung Nr.
62/852203 mit dem Titel „Netzwerk-Schnittstellen-Controller“ und der am 23. Mai 2019 eingereichten vorläufigen US-Patentanmeldung Nr.
62/852289 mit dem Titel „Netzwerk-Computersystem“, deren Offenbarungen durch Bezugnahme in vollem Umfang für alle Zwecke hierin aufgenommen sind.
-
Hintergrund
-
Netzwerk-Switches werden häufig in Computerumgebungen als Werkzeug für die Netzwerkkommunikation eingesetzt. Netzwerk-Switches können zum Beispiel über eine Netzwerkschnittstelle (NIC) mit anderen Komponenten verbunden werden. Bessere Kommunikationsmethoden und Systeme, die diese Netzwerk-Switches implementieren, werden für eine verbesserte Kommunikation in sich verändernden Netzwerkumgebungen benötigt.
-
Figurenliste
-
Die vorliegende Offenbarung wird in Übereinstimmung mit einer oder mehreren verschiedenen Ausführungsformen unter Bezugnahme auf die folgenden Figuren im Detail beschrieben. Die Figuren dienen lediglich der Veranschaulichung und stellen lediglich typische oder beispielhafte Ausführungsformen dar.
- zeigt ein Beispielnetz, in dem verschiedene Ausführungsformen implementiert werden können.
- zeigt ein Beispiel für ein Schaltsystem, das Flusskanäle in Übereinstimmung mit verschiedenen Ausführungsformen ermöglicht.
- zeigt Kreuzschienen, die in einem Beispiel für einen Kreuzschienenschalter gemäß verschiedenen Ausführungsformen implementiert sind.
- zeigt eine Beispiel-Kachelmatrix, die den Anschlüssen des Beispiel-Kantenvermittlungssystems von in Übereinstimmung mit verschiedenen Ausführungsformen entspricht.
- zeigt ein Beispiel für eine Kachel, die die Kachelmatrix von in Übereinstimmung mit verschiedenen Ausführungsformen bildet.
- zeigt eine beispielhafte Implementierung einer Warteschlange für das Alter in Übereinstimmung mit verschiedenen Ausführungsformen.
- und sind Blockdiagramme einer beispielhaften FRF-Komponente, die an jedem Anschluss des beispielhaften Kantenschaltsystems von implementiert ist.
- zeigt ein Beispiel für die Routenauswahl gemäß verschiedenen Ausführungsformen.
- zeigt ein Beispiel für die Aktualisierung lokaler und globaler Lastwerte und deren Verwendung in Übereinstimmung mit verschiedenen Ausführungsformen.
- zeigt ein Beispiel für ein Verfahren zur effizienten Weiterleitung von Daten durch ein Netzwerk in Übereinstimmung mit einigen Ausführungsformen.
- zeigt ein Beispiel einer Computerkomponente, die verwendet werden kann, um Fat-Tree-Routing in Übereinstimmung mit einer Ausführungsform der offengelegten Technologie zu bewirken
- zeigt ein Beispiel für eine dreistufige Fat-Tree-Topologie in Übereinstimmung mit einigen Ausführungsformen.
- zeigt ein Beispiel für einen Fat-Tree mit einem Verbindungsausfall zwischen den Switches der ersten und zweiten Ebene gemäß einigen Ausführungsformen.
- zeigt ein Beispiel für einen Verbindungsausfall auf einer höheren Ebene in der Topologie in Übereinstimmung mit einigen Ausführungsformen.
- zeigt ein Beispiel für einen ausgefallenen Schalter gemäß einigen Ausführungsformen.
- ist ein Beispiel für eine Computerkomponente, die zur Implementierung verschiedener Merkmale der in der vorliegenden Offenbarung beschriebenen Ausführungsformen verwendet werden kann.
-
Die Abbildungen sind nicht erschöpfend und beschränken die vorliegende Offenbarung nicht auf die genaue Form, die offengelegt wird.
-
Detaillierte Beschreibung
-
Wenn mehrere Switches in einer Fat-Tree-Topologie konfiguriert sind, wurde festgestellt, dass minimale Routing-Techniken weniger effizient sind. Dies gilt insbesondere, wenn der Verkehr im gesamten Netz gleichmäßig ist. Um dies zu verbessern, werden minimale Routing-Techniken durch eine Hash-basierte Routing-Methode ersetzt. Genauer gesagt enthält die Routing-Tabelle eine Hash-Funktion, die auf dem Zielort basiert, um Routing-Entscheidungen zu treffen.
-
zeigt ein Beispiel für ein Netzwerk 100 mit einer Vielzahl von Switches, das auch als „Switch Fabric“ bezeichnet werden kann. Wie in dargestellt, kann das Netzwerk 100 Switches 102, 104, 106, 108 und 110 umfassen. Jeder Switch kann eine eindeutige Adresse oder ID innerhalb der Switch-Fabric 100 haben. Verschiedene Arten von Geräten und Netzwerken können mit einer Switch-Fabric verbunden werden. Beispielsweise kann ein Speicherarray 112 über den Switch 110 mit der Switch Fabric 100 verbunden werden; ein InfiniBand (IB) basiertes HPC-Netzwerk 114 kann über den Switch 108 mit der Switch Fabric 100 verbunden werden; eine Anzahl von Endhosts, wie z. B. Host 116, kann über den Switch 104 mit der Switch Fabric 100 verbunden werden; und ein IP/Ethernet-Netzwerk 118 kann über den Switch 102 mit der Switch Fabric 100 verbunden werden. Beispielsweise kann ein Switch wie Switch 102 802.3-Rahmen (einschließlich der eingekapselten IP-Nutzdaten) über Ethernet-Geräte wie Netzwerkschnittstellenkarten (NICs), Switches, Router oder Gateways empfangen. IPv4- oder IPv6-Pakete, speziell für das Netzwerk 100 formatierte Frames usw. können ebenfalls empfangen und durch die Switch-Fabric 100 zu einem anderen Switch, z. B. Switch 110, transportiert werden. Auf diese Weise ist das Netz 100 in der Lage, mehrere Arten von Datenverkehr gleichzeitig zu verarbeiten. Im Allgemeinen kann ein Switch über Edge-Ports und Fabric-Ports verfügen. Ein Edge-Port kann mit einem Gerät verbunden werden, das sich außerhalb der Fabric befindet. Ein Fabric-Port kann über eine Fabric-Verbindung mit einem anderen Switch innerhalb der Fabric verbunden werden.
-
Normalerweise kann der Verkehr über einen Eingangsport eines Edge-Switches in die Switch-Fabric 100 eingespeist werden und die Switch-Fabric 100 über einen Ausgangsport eines anderen (oder desselben) Edge-Switches verlassen. Ein Ingress-Edge-Switch kann injizierte Datenpakete in Flows gruppieren, die durch Flow-IDs identifiziert werden können. Das Konzept eines Datenflusses ist nicht auf ein bestimmtes Protokoll oder eine bestimmte Schicht (wie Schicht-2 oder Schicht-3 im OSI-Referenzmodell) beschränkt. Ein Datenfluss kann z. B. dem Datenverkehr mit einer bestimmten Quell-Ethernet-Adresse, dem Datenverkehr zwischen einer Quell-IP-Adresse und einer Ziel-IP-Adresse, dem Datenverkehr, der einem TCP- oder UDP-Port/IP-5-Tupel entspricht (Quell- und Ziel-IP-Adresse, Quell- und Ziel-TCP- oder -UDP-Portnummer und IP-Protokollnummer), oder dem Datenverkehr, der von einem auf einem Endhost laufenden Prozess oder Thread erzeugt wird, zugeordnet werden. Mit anderen Worten: Ein Fluss kann so konfiguriert werden, dass er Daten zwischen beliebigen physischen oder logischen Einheiten zuordnet. Die Konfiguration dieser Zuordnung kann per Fernzugriff oder lokal am Ingress Edge Switch vorgenommen werden.
-
Beim Empfang von injizierten Datenpaketen kann der Ingress-Edge-Switch dem Datenstrom eine Flow-ID zuweisen. Diese Flow-ID kann in einem speziellen Header enthalten sein, den der Ingress Edge Switch zur Verkapselung der injizierten Pakete verwenden kann. Darüber hinaus kann der Ingress-Edge-Switch auch die ursprünglichen Header-Felder eines injizierten Pakets untersuchen, um die entsprechende Adresse des Egress-Edge-Switch zu ermitteln, und diese Adresse als Zieladresse in den Einkapselungs-Header aufnehmen. Beachten Sie, dass die Flow-ID ein lokal signifikanter Wert sein kann, der für eine Verbindung spezifisch ist, und dass dieser Wert nur für einen bestimmten Eingangsport auf einem Switch eindeutig sein kann. Wenn das Paket an den Next-Hop-Switch weitergeleitet wird, tritt das Paket in eine andere Verbindung ein, und die Flow-ID kann entsprechend aktualisiert werden. Da die Pakete eines Flusses mehrere Verbindungen und Switches durchlaufen, können die diesem Fluss entsprechenden Flow-IDs eine eindeutige Kette bilden. Das heißt, dass an jedem Switch, bevor ein Paket den Switch verlässt, die Flow-ID des Pakets auf eine Flow-ID aktualisiert werden kann, die von der ausgehenden Verbindung verwendet wird. Diese Eins-zu-Eins-Zuordnung zwischen den Fluss-IDs kann am Ingress-Edge-Switch beginnen und am Egress-Edge-Switch enden. Da die Fluss-IDs nur innerhalb einer eingehenden Verbindung eindeutig sein müssen, kann ein Switch eine große Anzahl von Flüssen aufnehmen. Wenn eine Fluss-ID beispielsweise 11 Bits lang ist, kann ein Eingangsanschluss bis zu 2048 Flüsse unterstützen. Darüber hinaus kann das Match-Muster (ein oder mehrere Header-Felder eines Pakets), das zur Zuordnung zu einem Datenfluss verwendet wird, eine größere Anzahl von Bits enthalten. Ein 32-Bit langes Abgleichmuster, das mehrere Felder in einem Paketkopf enthalten kann, kann beispielsweise 2^32 verschiedene Kopffeldmuster abbilden. Wenn eine Fabric über N Ingress-Edge-Ports verfügt, kann eine Gesamtzahl von N*2^32 identifizierbaren Flows unterstützt werden.
-
Ein Switch kann jedem Datenfluss eine eigene, dedizierte Eingangswarteschlange zuweisen. Diese Konfiguration ermöglicht es dem Switch, den Grad der Überlastung einzelner Datenströme zu überwachen und zu verwalten und eine Blockierung der Warteschlange zu verhindern, die auftreten könnte, wenn ein gemeinsamer Puffer für mehrere Datenströme verwendet wird. Wenn ein Paket an den Ziel-Egress-Switch geliefert wird, kann der Egress-Switch eine Bestätigung (ACK) in Upstream-Richtung über denselben Datenpfad an den Ingress-Edge-Switch zurücksenden. Da dieses ACK-Paket denselben Datenpfad durchläuft, können die Switches entlang des Pfades die Zustandsinformationen erhalten, die mit der Zustellung des entsprechenden Datenflusses verbunden sind, indem sie die Menge der ausstehenden, unbestätigten Daten überwachen. Diese Zustandsinformationen können dann verwendet werden, um ein flussspezifisches Verkehrsmanagement durchzuführen, um den Zustand des gesamten Netzes und eine faire Behandlung der Flüsse zu gewährleisten. Wie weiter unten näher erläutert, kann die Switch Fabric durch diese Warteschlangenbildung pro Datenfluss in Kombination mit flussspezifischen Zustellungsbestätigungen eine effektive, schnelle und genaue Staukontrolle durchführen. Im Gegenzug kann die Switch Fabric den Datenverkehr mit einer deutlich verbesserten Netzwerkauslastung bereitstellen, ohne dass es zu Überlastungen kommt.
-
Flows können dynamisch oder „on the fly“ je nach Bedarf eingerichtet und freigegeben werden. Insbesondere kann ein Fluss von einem Edge-Switch eingerichtet werden (z. B. wird die Zuordnung von Fluss-ID zu Paketkopf hergestellt), wenn ein Datenpaket am Switch ankommt und diesem Paket noch keine Fluss-ID zugewiesen wurde. Während dieses Paket das Netz durchläuft, können Flow-IDs an jedem Switch, den das Paket durchläuft, zugewiesen werden, und es kann eine Kette von Flow-IDs vom Eingang bis zum Ausgang gebildet werden. Nachfolgende Pakete, die zum selben Fluss gehören, können auf dem Datenpfad dieselben Fluss-IDs verwenden. Wenn Pakete an den Ziel-Egress-Switch zugestellt und ACK-Pakete von den Switches entlang des Datenpfads empfangen werden, kann jeder Switch seine Zustandsinformationen in Bezug auf die Menge der ausstehenden, nicht quittierten Daten für diesen Fluss aktualisieren. Wenn die Eingangswarteschlange eines Switches für diesen Datenfluss leer ist und es keine weiteren unbestätigten Daten gibt, kann der Switch die Fluss-ID freigeben (d. h. diesen Flusskanal freigeben) und die Fluss-ID für andere Flüsse wiederverwenden. Durch diesen datengesteuerten dynamischen Mechanismus für die Einrichtung und den Abbau von Datenflüssen wird eine zentrale Verwaltung der Datenflüsse überflüssig, und das Netz kann schnell auf Änderungen der Verkehrsmuster reagieren.
-
Beachten Sie, dass sich die hier beschriebene Netzwerkarchitektur von Software-definierten Netzwerken (SDN) unterscheidet, die in der Regel das OpenFlow-Protokoll verwenden. In SDN werden Switches von einem zentralen Netzwerk-Controller konfiguriert, und Pakete werden auf der Grundlage eines oder mehrerer Felder in den Headern der Schicht 2 (Datenverbindungsschicht, z. B. Ethernet), Schicht 3 (Netzwerkschicht, z. B. IP) oder Schicht 4 (Transportschicht, z. B. TCP oder UDP) weitergeleitet. Im SDN wird eine solche Header-Feld-Suche an jedem Switch im Netzwerk durchgeführt, und es gibt keine schnelle, auf der Flow-ID basierende Weiterleitung, wie sie in den hier beschriebenen Netzwerken erfolgt. Da die OpenFlow-Header-Feld-Suche mit ternärem inhaltsadressierbarem Speicher (TCAM) durchgeführt wird, können die Kosten für solche Suchvorgänge hoch sein. Da die Konfiguration der Header-Feld-Zuordnung von der zentralen Steuereinheit vorgenommen wird, ist der Auf- und Abbau jeder Zuordnungsbeziehung relativ langsam und kann eine beträchtliche Menge an Steuerverkehr erfordern. Infolgedessen kann die Reaktion eines SDN-Netzwerks auf verschiedene Netzwerksituationen, wie z. B. eine Überlastung, langsam sein. Im Gegensatz dazu können in dem hier beschriebenen Netzwerk die Flows dynamisch auf der Grundlage der Verkehrsnachfrage auf- und abgebaut werden, und die Pakete können mit einer Flow-ID fester Länge weitergeleitet werden. Mit anderen Worten: Flusskanäle können datengesteuert und dezentral verwaltet (d. h. eingerichtet, überwacht und abgebaut) werden, ohne dass ein zentraler Controller eingreifen muss. Darüber hinaus kann die auf der Fluss-ID basierende Weiterleitung die Menge des verwendeten TCAM-Speicherplatzes reduzieren, so dass eine viel größere Anzahl von Flüssen untergebracht werden kann.
-
Nehmen wir an, dass die Speichermatrix 112 Daten über TCP/IP an den Host 116 senden soll (siehe das Beispiel in ). Während des Betriebs kann die Speichermatrix 112 das erste Paket mit der IP-Adresse des Hosts 116 als Zieladresse und einem vorbestimmten TCP-Port, der im TCP-Header angegeben ist, senden. Wenn dieses Paket die Vermittlungsstelle 110 erreicht, kann der Paketprozessor am Eingangsport der Vermittlungsstelle 110 ein TCP/IP-5-Tupel dieses Pakets identifizieren. Der Paketprozessor der Vermittlungsstelle 110 kann auch feststellen, dass dieses 5-Tupel derzeit keiner Fluss-ID zugeordnet ist, und kann diesem 5-Tupel eine neue Fluss-ID zuweisen. Darüber hinaus kann die Vermittlungsstelle 110 den Ausgangs-Switch, d. h. den Switch 104, für dieses Paket auf der Grundlage der IP-Adresse des Ziels (d. h. des Hosts 116) bestimmen (vorausgesetzt, die Vermittlungsstelle 110 weiß, dass der Host 116 mit dem Switch 104 verbunden ist). Anschließend kann der Switch 110 das empfangene Paket mit einem Fabric-Header einkapseln, der die neu zugewiesene Flow-ID und die Fabric-Adresse des Switches 104 angibt. Switch 110 kann dann die Weiterleitung des eingekapselten Pakets an Switch 104 auf der Grundlage einer Fabric-Weiterleitungstabelle planen, die von allen Switches in Fabric 100 unter Verwendung eines Routing-Algorithmus wie Link State oder Distance Vector berechnet werden kann.
-
Beachten Sie, dass die oben beschriebenen Vorgänge im Wesentlichen mit Leitungsgeschwindigkeit und mit geringer Pufferung und Verzögerung durchgeführt werden können, wenn das erste Paket empfangen wird. Nachdem das erste Paket verarbeitet und für die Übertragung eingeplant wurde, können nachfolgende Pakete desselben Datenflusses von der Vermittlungsstelle 110 noch schneller verarbeitet werden, da dieselbe Datenfluss-ID verwendet wird. Darüber hinaus können die Flusskanäle so gestaltet werden, dass die Zuweisung, der Abgleich und die Freigabe von Flusskanälen im Wesentlichen die gleichen Kosten verursachen. So können beispielsweise eine bedingte Zuweisung eines Flusskanals auf der Grundlage einer Nachschlageübereinstimmung und eine separate, unabhängige Freigabe eines anderen Flusskanals fast in jedem Taktzyklus gleichzeitig durchgeführt werden. Das bedeutet, dass die Erzeugung und Kontrolle der Flusskanäle fast keinen zusätzlichen Overhead zur regulären Weiterleitung von Paketen bedeutet. Der Staukontrollmechanismus hingegen kann die Leistung einiger Anwendungen um mehr als drei Größenordnungen verbessern.
-
An jeder Vermittlungsstelle entlang des Datenpfads (einschließlich der Vermittlungsstellen 110, 106 und 104) kann ein dedizierter Eingangspuffer für diesen Datenfluss bereitgestellt werden, und die Menge der übertragenen, aber nicht quittierten Daten kann verfolgt werden. Wenn das erste Paket den Switch 104 erreicht, kann der Switch 104 feststellen, dass die Ziel-Fabric-Adresse im Fabric-Header des Pakets mit seiner eigenen Adresse übereinstimmt. Daraufhin kann der Switch 104 das Paket aus dem Fabric-Header entkapseln und das entkapselte Paket an den Host 116 weiterleiten. Außerdem kann der Switch 104 ein ACK-Paket erzeugen und dieses ACK-Paket an den Switch 110 zurücksenden. Da dieses ACK-Paket denselben Datenpfad durchläuft, können die Switches 106 und 110 jeweils ihre eigenen Statusinformationen für die unbestätigten Daten für diesen Fluss aktualisieren.
-
Im Allgemeinen kann eine Überlastung des Netzes dazu führen, dass sich die Netzpuffer füllen. Wenn ein Netzpuffer voll ist, sollte der Verkehr, der den Puffer passieren will, idealerweise verlangsamt oder gestoppt werden. Andernfalls könnte der Puffer überlaufen, und die Pakete könnten verworfen werden. In herkömmlichen Netzen erfolgt die Staukontrolle in der Regel von Ende zu Ende am Rand. Es wird davon ausgegangen, dass der Kern des Netzes nur als „dumme Röhre“ fungiert, deren Hauptzweck die Weiterleitung des Datenverkehrs ist. Ein solches Netzdesign leidet oft unter einer langsamen Reaktion auf Überlastungen, da Überlastungsinformationen oft nicht schnell an die Edge-Geräte gesendet werden können und die daraus resultierenden Maßnahmen der Edge-Geräte die Überlastung nicht immer wirksam beseitigen können. Diese langsame Reaktion schränkt wiederum die Auslastung des Netzes ein, denn um das Netz staufrei zu halten, muss der Netzbetreiber häufig die Gesamtmenge des in das Netz eingespeisten Verkehrs begrenzen. Außerdem ist eine Ende-zu-Ende-Überlastungskontrolle in der Regel nur dann wirksam, wenn das Netz nicht bereits überlastet ist. Sobald das Netz stark überlastet ist, würde eine Ende-zu-Ende-Überlastungssteuerung nicht mehr funktionieren, da die Überlastungsmeldungen selbst überlastet sein können (es sei denn, für das Senden von Überlastungssteuerungsmeldungen wird ein separates Netz der Steuerungsebene verwendet, das sich vom Netz der Datenebene unterscheidet).
-
Im Gegensatz dazu können die Flusskanäle verhindern, dass eine solche Überlastung innerhalb der Switch-Fabric entsteht. Der Flow-Channel-Mechanismus kann erkennen, wenn ein Fluss einen gewissen Grad an Überlastung erfährt, und als Reaktion darauf neue Pakete desselben Flusses verlangsamen oder daran hindern, in die Fabric zu gelangen. Im Gegenzug können diese neuen Pakete in einer Flow-Channel-Warteschlange am Edge-Port zwischengespeichert werden und werden erst dann in die Fabric gelassen, wenn Pakete für denselben Flow die Fabric am Edge-Zielport verlassen. Durch diesen Prozess kann der Gesamtpufferbedarf dieses Flusses innerhalb der Fabric auf eine Menge begrenzt werden, die nicht dazu führt, dass die Fabric-Puffer zu voll werden.
-
Mit Flow Channels verfügen die Switches über einigermaßen genaue Statusinformationen über die Menge der ausstehenden Daten im Transit innerhalb der Fabric. Diese Zustandsinformationen können für alle Ströme an einem Ingress-Edge-Port aggregiert werden. Dies bedeutet, dass die Gesamtmenge der von einem Ingress-Edge-Port eingespeisten Daten bekannt ist. Folglich kann der Flow-Channel-Mechanismus eine Grenze für die Gesamtdatenmenge in der Fabric festlegen. Wenn alle Edge-Ports diese Begrenzung anwenden, kann die Gesamtmenge der Paketdaten in der gesamten Fabric gut kontrolliert werden, was wiederum verhindern kann, dass die gesamte Fabric gesättigt wird. Die Flusskanäle können auch den Fortschritt eines einzelnen überlasteten Flusses innerhalb der Fabric verlangsamen, ohne andere Flüsse zu verlangsamen. Mit dieser Funktion können Pakete von einem Stau-Hotspot ferngehalten werden, während gleichzeitig verhindert wird, dass die Puffer voll werden, und freier Pufferplatz für nicht zusammenhängenden Verkehr gewährleistet wird.
-
zeigt einen Beispiel-Switch 202 (bei dem es sich um eine Ausführungsform eines oder mehrerer der Switches 102, 104, 106, 108 und 110 handeln kann), der zur Erstellung einer Switch-Fabric, z. B. der Switch-Fabric 100 von , verwendet werden kann. In diesem Beispiel kann ein Switch 202 eine Reihe von Kommunikationsanschlüssen, wie z. B. Anschluss 220, umfassen. Jeder Port kann einen Sender und einen Empfänger enthalten. Der Switch 202 kann auch einen Prozessor 204, eine Speichervorrichtung 206 und einen Logikblock 208 für die Flusskanalumschaltung enthalten. Der Logikblock 208 für die Flusskanalumschaltung kann mit allen Kommunikationsanschlüssen verbunden sein und kann außerdem einen Kreuzschienenschalter 210, einen EFCT-Logikblock 212, einen IFCT-Logikblock 214 und einen OFCT-Logikblock 216 umfassen.
-
Der Kreuzschienenschalter 210 umfasst Kreuzschienen, die so konfiguriert werden können, dass sie Datenpakete und Steuerpakete (wie ACK-Pakete) zwischen den Kommunikationsanschlüssen weiterleiten. Der EFCT-Logikblock 212 kann von einem Edge-Link empfangene Pakete verarbeiten und die empfangenen Pakete auf der Grundlage eines oder mehrerer Header-Felder in den Paketen entsprechenden Flüssen zuordnen. Darüber hinaus kann der EFCT-Logikblock 212 FGFC-Ethernet-Frames zusammenstellen, die an einen Endhost übermittelt werden können, um die von einzelnen Prozessen oder Threads eingespeiste Datenmenge zu steuern. Der IFCT-Logikblock 214 kann den IFCT enthalten und verschiedene Flusssteuerungsmethoden als Reaktion auf Steuerpakete durchführen, wie z. B. ACKs zur Endpunkt-Stau-Benachrichtigung und auf Fabric-Link-Kredit basierende Flusssteuerungs-ACKs. Der OFCT-Logikblock 216 kann eine Speichereinheit enthalten, die die OFCT speichert und mit dem IFCT-Logikblock eines anderen Switches kommuniziert, um die Fluss-ID eines Pakets zu aktualisieren, wenn das Paket an einen Next-Hop-Switch weitergeleitet wird.
-
In einer Ausführungsform ist der Switch 202 ein anwendungsspezifischer integrierter Schaltkreis (ASIC), der 64 Netzwerkanschlüsse bereitstellen kann, die entweder mit 100 Gbit/s oder 200 Gbit/s für einen Gesamtdurchsatz von 12,8 Tbps arbeiten können. Jeder Netzwerk-Edge-Port kann IEEE 802.3-Ethernet und auf Optimized-IP basierende Protokolle sowie Portals unterstützen, ein erweitertes Frame-Format, das höhere Raten kleiner Nachrichten unterstützt. Ethernet-Frames können auf der Grundlage ihrer L2-Adresse überbrückt oder auf der Grundlage ihrer L3-Adresse (1Pv4//1Pv6) weitergeleitet werden. Optimized-IP-Frames können nur einen L3 (1Pv4/1Pv6)-Header haben und werden geroutet. Spezialisierte NIC-Unterstützung kann für das erweiterte Portals-Frame-Format verwendet werden und kann direkt auf das Fabric-Format des Netzwerks 100 abgebildet werden, z. B. ein Fabric-Format, das bestimmte Steuer- und Statusfelder zur Unterstützung einer Multi-Chip-Fabric bereitstellt, wenn Switches/Switch-Chips, wie Switches 102, 104, 106, 108 und 110, verbunden sind und miteinander kommunizieren. Wie bereits angedeutet, kann ein auf Flusskanälen basierender Staukontrollmechanismus von solchen Switches verwendet werden und auch hohe Übertragungsraten für kleine Pakete (z. B. mehr als 1,2 Milliarden Pakete pro Sekunde pro Port) erreichen, um den Anforderungen von HPC-Anwendungen gerecht zu werden.
-
Der Switch 202 kann systemweite Quality of Service (QoS)-Klassen bereitstellen und steuern, wie die Netzwerkbandbreite verschiedenen Verkehrsklassen und verschiedenen Anwendungsklassen zugewiesen wird, wobei eine einzelne privilegierte Anwendung auf mehr als eine Verkehrsklasse zugreifen kann. Bei Konflikten um die Netzwerkbandbreite wählen die Arbitratoren die weiterzuleitenden Pakete auf der Grundlage ihrer Verkehrsklasse und der für diese Klasse verfügbaren Credits aus. Netzwerk 100 kann minimale und maximale Bandbreiten für jede Verkehrsklasse unterstützen. Wenn eine Klasse ihre Mindestbandbreite nicht ausschöpft, können andere Klassen die ungenutzte Bandbreite nutzen, aber keine Klasse kann mehr als die ihr zugewiesene Höchstbandbreite erhalten. Die Möglichkeit, die Bandbreite zu verwalten, bietet die Möglichkeit, Netzwerkressourcen sowie CPUs und Speicherbandbreite einer bestimmten Anwendung zuzuweisen.
-
Zusätzlich zur Unterstützung von QoS-Klassen führt der Switch 202 eine auf dem Flusskanal basierende Staukontrolle durch und kann die Anzahl der Netzwerksprünge, z. B. in einem Netzwerk mit einer Libellen-Topologie, von fünf auf drei Netzwerksprünge reduzieren. Das Design des Switches 202, das weiter unten ausführlicher beschrieben wird, kann die Netzwerkkosten und den Stromverbrauch reduzieren und die Verwendung innovativer adaptiver Routing-Algorithmen erleichtern, die die Anwendungsleistung verbessern. Eine durch eine Vielzahl von Switches, wie z. B. eine Vielzahl von Switches 202, geschaffene Struktur kann auch beim Aufbau von Fat-Tree-Netzwerken verwendet werden, z. B. beim Aufbau eines Speichersubsystems zur Integration mit Netzwerken und Software von Drittanbietern. Darüber hinaus ermöglicht die Verwendung von Switch 202 eine feinkörnige adaptive Leitweglenkung unter Beibehaltung einer geordneten Paketzustellung. In einigen Ausführungsformen kann der Switch 202 so konfiguriert werden, dass er den Header eines Pakets von einem Eingangsport an einen Ausgangsport sendet, bevor die vollständige Datennutzlast eintrifft, so dass die Lastmetrik des Ausgangsports künftige Lasten widerspiegeln kann, wodurch die vom Switch 202 getroffenen adaptiven Routing-Entscheidungen verbessert werden.
-
Der Kreuzschienenschalter 210 kann aus separaten, verteilten Kreuzschienen bestehen, die Daten/Datenelemente zwischen Eingangs- und Ausgangsports weiterleiten. In einigen Ausführungsformen und wie in dargestellt, gibt es fünf verteilte Kreuzschienen, einschließlich einer Anforderungs-Kreuzschiene 210a, einer Erteilungs-Kreuzschiene 210b, einer Kredit-Kreuzschiene 210c, einer Ack-Kreuzschiene 210e und einer Daten-Kreuzschiene 210d zwischen Eingangsanschluss 220b und Ausgangsanschluss 220c.
-
Die Anforderungs-Kreuzschiene 210a wird verwendet, um Anforderungen von einem Eingang an eine gezielte Ausgangswarteschlange zu senden. Grant crossbar 210b wird verwendet, um einen Grant zurück an den Eingang zu senden, um eine Anforderung zu erfüllen. Insbesondere gibt die Grant-Kreuzschiene 210b einen Zeiger zurück, der anzeigt, wo sich ein Paket in einem Eingangspuffer befindet. Es sollte beachtet werden, dass ein Grant zurückgegeben wird, wenn in der Ausgabe Platz für das entsprechende Paket vorhanden ist. Grant crossbar 210b kann optional auch eine Gutschrift für angeforderten Platz in der Ausgabe zurückgeben. Es ist zu beachten, dass die Gewährung zurückgegeben wird, wenn es einen Landeplatz für ein Paket am Ausgang gibt, z. B. einen Ausgangsanschluss 220c, so dass Pakete nicht blockiert werden können (obwohl sie vorübergehend um Ressourcen konkurrieren können).
-
Es sollte klar sein, dass in Übereinstimmung mit verschiedenen Ausführungsformen ein Kreditprotokoll verwendet werden kann, um zu garantieren, dass es einen Landeplatz für eine Anforderung am Ausgang gibt. Dementsprechend kann ein Guthaben-Querbalken 210c verwendet werden, um Guthaben für angeforderten Platz in der Ausgabe zurückzugeben.
-
Eine Datenkreuzschiene 210d wird verwendet, um gewährte Pakete von einem Eingangspuffer zu einem gezielten Ausgangspuffer zu übertragen. Eine Ack-Kreuzschiene 210e dient der Weiterleitung von Ack-Paketen von den Ausgangsanschlüssen 220c zu den Eingangsanschlüssen 220b. Die Acks werden entsprechend einem in einer Ausgangsflusskanaltabelle gespeicherten Zustand gesteuert.
-
Es sollte klar sein, dass die Daten-Kreuzschiene 210d Multitakt-Pakete mit Kopfzeilen und Daten bewegt, während die anderen vier Kreuzschienen (Anforderungs-Kreuzschiene 210a, Erteilungs-Kreuzschiene 210b, Kredit-Kreuzschiene 210c und Ack-Kreuzschiene 210e) nur Kopfzeilen von Paketen mit einem Takt bewegen. Alle fünf Kreuzschienen verwenden dieselbe Architektur mit Zeilen- und Spaltenbussen innerhalb einer 8 x 4-Matrix von 32 Dual-Port-Kacheln (wie unten beschrieben).
-
Zurück zu : Der Schalter 202 kann eine Vielzahl von Sende-/Empfangsports haben, z. B. Port 220. Die Vielzahl der Anschlüsse kann in einer Kachelmatrix strukturiert sein. zeigt ein Beispiel für eine solche Kachelmatrix 300. In einer Ausführungsform umfasst die Kachelmatrix 300 32 Kacheln, von denen jede zwei Ports umfasst, die zur Implementierung der Crossbar-Umschaltung zwischen den Ports und zur Bereitstellung der folgenden Elemente verwendet werden: eine Serializer/De-Serializer (SERDES)-Schnittstelle zwischen dem Kern des Schalters 202 und externen seriellen Hochgeschwindigkeitssignalen zum Treiben der Signale vom Schalter 202; eine Media Access Control (MAC)-Unterschichtschnittstelle zur Physical Coding Sublayer (PCS); eine PCS-Schnittstelle zwischen dem SERDES und der Ethernet-MAC-Funktion; eine Link Level Retry (LLR)-Funktion, die auf einer paketweisen Basis arbeitet und geordnete Sätze verwendet, um Initialisierungssequenzen, Acks und Nacks zu liefern; und einen Ingress Transforms-Block zum Konvertieren zwischen verschiedenen Frame-Fabric-Formaten. Jede Kachel enthält einen Kreuzschienenschalter wie den Kreuzschienenschalter 210 für jede der Kreuzschienen (210a-210e).
-
Jeder Kreuzschienenschalter 210 hat sechzehn Eingangsanschlüsse 220b, einen für jeden Anschluss in seiner Reihe, und acht Ausgangsanschlüsse 220c, einen für jeden Anschluss in seiner Spalte. Zeilenbusse können von jeder Quelle in einer Zeile zu allen acht Kreuzschienen in dieser Zeile geführt werden (one-to-all). Die Arbitrierung kann an der Kreuzschiene von den sechzehn Zeilenbussen in dieser Zeile zu den acht Spaltenbussen in einer bestimmten Spalte durchgeführt werden. An jeder 16 × 8-Kreuzschiene kann für jeden der Zeilenbusse eine Pufferung vorgesehen werden, um Pakete während der Zeiten aufzufangen, in denen ein Spaltenbus umkämpft ist. In einigen Ausführungsformen wird ein Nicht-Jumbo-Paket von einem Zeilenbus ferngehalten, es sei denn, es ist Platz für das gesamte Paket im Eingangspuffer der Zielkreuzschiene. Aufgrund von Flächenbeschränkungen dürfen Jumbo-Pakete auch dann übertragen werden, wenn nicht genügend Platz vorhanden ist (der Crossbar-Eingangspuffer ist nur so groß, dass ein Nicht-Jumbo-Paket darin versenkt werden kann), wobei der Zeilenbus so lange blockiert wird, bis das Paket die Arbitrierung gewinnt und Platz frei wird, wenn es auf einen Spaltenbus übertragen wird.
-
Spaltenbusse werden von einer bestimmten Kreuzschiene zu jedem Zielanschluss innerhalb einer Spalte geführt (all-to-all). Jedes Ziel kann eine weitere Arbitrationsebene zwischen den Spaltenbussen der vier Zeilen haben. Mit sechzehn Zeilenbussen, die acht Kreuzschienen ansteuern und jeweils acht Spaltenbusse versorgen, ergibt sich ein 4-facher Geschwindigkeitszuwachs zwischen Zeilen und Spalten. Jede Reihe hat identische Verbindungen, wobei die Verbindungen von einem zu allen Reihenbussen für eine einzelne Reihe in Reihenbussen dargestellt sind. Jede Kachel hat je nach Crossbar eine Verzögerung von einem (request, grant, credit) oder zwei (data, ack) Takten pro Kachel. Dies ergibt eine maximale Verzögerung von sieben oder vierzehn Takten, um zwischen der Spalte ganz links und der Spalte ganz rechts zu gelangen. Kreditrückgaben, die über die Kredit-Kreuzschiene 210c geleitet werden, haben eine Verzögerung von einem Takt pro Kachel und können daher maximal sieben Takte bis zur vollständigen Übertragung benötigen.
-
Es sollte beachtet werden, dass jede Spalte identische Verbindungen mit den All-to-All-Spaltenbus-Verbindungen für eine einzelne Spalte haben kann, und dass es eine Verzögerung von zwei Takten pro Kachel geben kann, was zu einer Verzögerung von sechs Takten führt, um von der obersten Zeile zur untersten Zeile zu gelangen. Es sollte auch klar sein, dass sowohl Zeilen- als auch Spaltenbusse das oben erwähnte kreditbasierte Protokoll verwenden, um zu bestimmen, wann sie in der Lage sind zu senden. Im Falle von Zeilenbussen verwaltet der Quellanschluss die Anzahl der Guthaben für die Eingangspuffer der Kreuzschienen innerhalb dieser Zeile. Bei der Daten-Kreuzschiene ist darauf zu achten, wann ein Paket auf einen Zeilenbus gehen darf. Wenn Zuwendungen, die auf einen bestimmten Crossbar-Eingangspuffer abzielen, alle über eine einzige Warteschlange laufen, muss vor Beginn der Paketübertragung Platz für das Paket am Anfang der Warteschlange geschaffen werden. Wenn die Zuwendungen auf mehrere Warteschlangen verteilt sind, wird eine Paketübertragung erst dann gestartet, wenn im Puffer Platz für ein ganzes Paket maximaler Größe vorhanden ist, um zu verhindern, dass kleine Pakete große Pakete verdrängen. Auf diese Weise wird eine einmal begonnene Paketübertragung auf einem Zeilenbus erst dann beendet, wenn das gesamte Paket übertragen wurde. Dementsprechend sind die Eingangspuffer der Kreuzschienen so konfiguriert, dass sie groß genug sind, um die maximale Paketgröße plus zusätzlichen Platz für den ungünstigsten Fall eines Roundtrips (Paketversand bis Kreditrückgabe) zu verarbeiten. Dies ist bei Jumbo-Paketen nicht der Fall. Um Pufferfläche zu sparen, sind die Crossbar-Eingangspuffer nur tief genug, um eine MTU ohne Jumbo-Größe (1500 Byte) zu verarbeiten, wobei ein Jumbo-Paket einen Zeilenbus blockieren kann, während es darauf wartet, Zugriff auf den gewünschten Spaltenbus zu erhalten.
-
Bei Spaltenbussen verwaltet jede Kreuzschiene die Anzahl der Guthaben für die Eingangspuffer an jedem Zielanschluss in dieser Spalte. Im Gegensatz zu Zeilenbussen ist es nicht erforderlich, dass für ein Paket maximaler Größe Guthaben verfügbar sind, bevor die Übertragung dieses Pakets auf einem Spaltenbus beginnt. Einzelne Wörter des Pakets werden übertragen, wenn Guthaben verfügbar wird. Daher muss der Eingangspuffer am Zielort für jeden Spaltenbus nur so groß sein, dass er die ungünstigste Latenzzeit für den Hin- und Rückweg (Paket zu Guthaben) abdeckt.
-
zeigt detaillierter eine Beispielimplementierung von zwei Anschlüssen, z. B. den Anschlüssen 0 und 1, die von Kachel 0 verwaltet werden, zusammen mit einem Kreuzschienenschalter 210, der eine Reihe von Zeilenbussen und Spaltenkanälen mit Kreuzschienen pro Kachel umfasst. Auf diese Weise hat jeder Anschluss seinen eigenen Reihenbus, der über seine Reihe kommuniziert, und jede Kachel hat die bereits erwähnte 16 x 8-Kreuzschiene, die für Eckumkehrungen verwendet wird, und einen Satz von acht Spaltenkanälen, die die acht in dieser Spalte enthaltenen Anschlüsse versorgen. Mit anderen Worten: Jeder Kreuzschienenschalter 210 hat sechzehn Zeilenbus-Eingangspuffer und acht mögliche Ziele. Damit die Daten z. B. vom Eingangsanschluss 17 zum Ausgangsanschluss 52 gelangen, werden sie vom Eingangsanschluss 17 entlang eines Zeilenbusses geleitet, durchlaufen eine lokale Kreuzschiene, die eine 16-zu-8-Arbitrierung darstellt, und gelangen dann über einen Spaltenkanal zum Ausgangsanschluss 52. Bezogen auf die gesamte Leitweglenkung durch alle verteilten Kreuzschienen ist die interne Bandbreite viermal größer als die externe Bandbreite, was dazu führt, dass bei der Leitweglenkung nahezu jeder beliebigen Permutation des Datenverkehrs durch den Switch 202 mit dem Eingang Schritt gehalten werden kann.
-
Zwischen den sechzehn Quellen für jedes Ziel kann ein faires Round-Robin-Verfahren angewendet werden. Sobald eine Quelle die Arbitrierung für die Datenkreuzschiene 210d gewonnen hat, behält sie die Kontrolle über den Zielspaltenbus, bis das gesamte Paket gesendet wurde. Jeder Ausgang gewährt eine begrenzte Menge an Paketnutzlast, so dass zu erwarten ist, dass der Wettbewerb um einen bestimmten Spaltenbus bei größeren Paketen recht begrenzt sein sollte. Aus diesem Grund wird erwartet, dass eine Round-Robin-Arbitrierung selbst bei möglicherweise großen Unterschieden in der Paketgröße zwischen den Anforderern ausreichend ist.
-
Die Teile des Switches 202, die mit den Ausgangsfunktionen verbunden sind, arbeiten im Allgemeinen mit Frames im Switch-Fabric-Format und haben einen Fabric-Header, auch z. B. für einen Frame, der an einem Ethernet-Port innerhalb eines einzelnen Switches 202 ankommt und sich darauf stützt.
-
Die Ausgangskontrolle der Alterswarteschlange ist für die Annahme von Anforderungen von allen Eingangsanschlüssen, z. B. den Eingangsanschlüssen 220b, über die Anforderungsquerleiste 210a, die Pufferung der Anforderungen, die Unterscheidung zwischen ihnen nach Verkehrsklassen unter Verwendung eines Traffic Shapers und die Weiterleitung der Anforderungen an die OFCT 216 zur Gewährung über die Gewährungsquerleiste 210b verantwortlich. Die Pufferung der Alterswarteschlange wird so verwaltet, dass jeder Eingang genügend Platz für den Datenfluss hat, während ein Eingang mit mehreren Datenflüssen, die auf einen bestimmten Ausgang abzielen, mehr Platz beanspruchen kann. Insbesondere wird der Platz in der Alterswarteschlange durch die Ausgabesteuerung verwaltet. Die Alterswarteschlange/Ausgabesteuerung kann auch für die Verwaltung des Zugriffs auf die Verbindung zuständig sein, und zwar entweder mit Hilfe einer kreditbasierten Flusskontrolle für einen angeschlossenen Eingangspuffer oder einer pausenbasierten Flusskontrolle für Nicht-Fabric-Verbindungen. Wenn ein Paket von der Warteschlange für das Alter freigegeben wird, wird es auf die Verbindung übertragen. Darüber hinaus verfügt die Alterungswarteschlange über einen Pfad, der es Paketen, die an einem bestimmten Anschluss, z. B. einem der Eingangsanschlüsse 220b, initiiert wurden (z. B. Wartungs- oder Verkleinerungspakete), ermöglicht, sich um Ressourcen an dem betreffenden Anschluss zu bemühen.
-
Die Anfragen kommen über einen Spaltenbus von jeder Zeile der Matrix 30 in den Ausgangssteuerblock. Jeder Spaltenbus speist ein unabhängiges FIFO (z. B. ein First-in-First-out-Schieberegister oder einen Puffer), wobei der Platz im FIFO über Kredite verwaltet wird. Die FIFOs können so bemessen sein (24 tief), dass sie einen Umlauf plus zusätzlichen Platz abdecken, damit Anforderungen aus den Querschienen 210a-210e herausgeschoben werden können und ein Blockieren des Kopfes der Zeile verhindert wird. Vor dem Schreiben in ein FIFO kann eine Anforderung auf einen gültigen Fehlerkorrekturcode (ECC) geprüft werden. Weist die ECC-Prüfung entweder einen Multi-Bit-Fehler (MBE) oder einen Single-Bit-Fehler (SBE) im Zielfeld auf (d. h. die Anforderung wurde an den falschen Anschluss weitergeleitet), wird die Anforderung als ungültig betrachtet und mit einer Fehlermarkierung verworfen.
-
Die LRU-Arbitrierung (Least Recently Used) kann zwischen den Spaltenbus-FIFOs durchgeführt werden, um zu entscheiden, welcher FIFO an die Alterswarteschlangenverwaltung weitergeleitet wird. Wenn Anforderungen aus jedem FIFO entfernt werden, werden Guthaben an die entsprechende Kreuzschiene zurückgegeben. Die Zeile, mit der ein eingehender Spaltenbus korrespondiert, kann sowohl davon abhängen, wo in der Matrix sich die Kachel befindet, als auch davon, in welcher Hälfte der Kachel sich der Block befindet.
-
Der Ausgabepuffer (OBUF) stellt Anforderungen an den Ausgabesteuerungsblock, um Reduzierungs- und Wartungspakete über eine Verbindung zu senden. Diesen Anforderungen kann die höchste Priorität eingeräumt werden. Ein FIFO mit 8 Speicherplätzen kann verwendet werden, um diese Reduktions-/Wartungspaketanforderungen zu puffern, während sie auf Ressourcen warten. Reduktionspakete brauchen keine Flusskanäle zu verwenden, und Wartungspakete können Loopback verwenden, um einen Fluss zu erzeugen, so dass die Überprüfung der Verfügbarkeit von Flusskanälen oder das Durchlaufen des OFCT zur Erzeugung eines Grant nicht erforderlich ist. Reduzierungs- und Wartungspakete müssen auch keinen Platz im Ausgangspuffer verwenden, so dass keine Überprüfung des Platzes erforderlich ist. Stattdessen kann eine Prüfung auf den Eingangspuffer des Linkpartners durchgeführt werden. Falls zulässig, kann eine Shaping Queue (SQ) oder ein virtueller Kanal (VC) gewährt werden, wodurch die Gewährung von Grant aus dem Age-Queue-Pfad in diesem Zyklus blockiert wird.
-
Die Größe des nächsten zu verarbeitenden Auftrags aus dem Ausgabepuffer wird mit max_frame_size abgeglichen. Übersteigt sie diese Einstellung, wird der Auftrag nicht verarbeitet und ein Fehlerflag gesetzt. Dies hat zur Folge, dass der Ausgabepuffer-Anforderungspfad blockiert wird, bis ein Warm-Reset durchgeführt wird. Das Fehlerflag bleibt gesetzt, bis der Reset erfolgt ist. Die Bedingung kann auch aufgehoben werden, indem die Einstellung von max_frame_size auf einen Wert erhöht wird, der über der Größe der blockierten Ausgabepufferanforderung liegt. Die für den Vergleich verwendete Größe kann die in der Ausgabepufferanforderung angegebene Größe sein (die eine auf der Leitung verwendete 4-Byte-Rahmenprüfsumme (FCS) enthalten kann).
-
Jedem Eingang kann ein fester Platz in der Warteschlange für das Alter zugewiesen werden. Dieser Platz in der Warteschlange ist groß genug, um einen Platz für jede SQ/VC zu reservieren, mit genügend zusätzlichem Platz, um einen Request/Credit Roundtrip abzudecken. Es obliegt der Eingabe, den ihr zugewiesenen Platz für ihre SQs/VCs zu verwalten. Diese Zuweisung (fixed_al/oc) ist über ein Steuer- und Statusregister (CSR) in jeder Eingangswarteschlange (INQ) programmierbar und kann z. B. im Bereich von 64-96 Speicherplätzen liegen. Der verbleibende Platz in der Warteschlange (8K- 64*fixed_al/oc) kann ein gemeinsam genutzter Platz sein, der für alle Eingänge zur Verfügung steht. Der gemeinsam genutzte Speicherplatz kann von der Ausgabe verwaltet werden, indem eingehende Anfragen bei ihrem Eintreffen vom statischen in den gemeinsam genutzten Speicherplatz verschoben werden, sofern im gemeinsam genutzten Speicherplatz Platz vorhanden ist, vorbehaltlich der Grenzen pro Eingabe. Wenn eine Anforderung in den gemeinsam genutzten Bereich verschoben wird, wird ein Guthaben zurückgegeben, z. B. sofort über die Guthaben-Kreuzschiene 210c, wobei die Anforderung in der Warteschlange als im gemeinsam genutzten Bereich befindlich markiert wird.
-
Wird eine Anfrage bewilligt, so wird der gemeinsam genutzte Speicherplatz gutgeschrieben, wenn er als gemeinsam genutzter Speicherplatz markiert ist. Wenn sie nicht als gemeinsam genutzter Speicherplatz gekennzeichnet ist, wird die Anfrage als Nutzung des statischen Speicherplatzes betrachtet und ein Guthaben wird mit der Gewährung an die Eingabe zurückgegeben.
-
Aufgrund von Konflikten in der Credit-Crossbar 210c ist es möglich, dass Credits nicht in jeder Taktperiode gesendet werden. Dementsprechend bietet ein FIFO einen Puffer für diese vorübergehenden Unterbrechungen. Der Platz in diesem FIFO wird benötigt, bevor eine Anforderung von der Anforderungskreuzschiene übernommen wird. Ein FIFO mit einer Tiefe von 32 Speicherplätzen kann verwendet werden, um die Wahrscheinlichkeit eines Rückstaus in die Anforderungskreuzschiene 210a zu begrenzen. Der gemeinsam genutzte Raum kann Grenzen dafür haben, wie viel Platz eine Eingabe (von einem Eingangsanschluss 220b) einnehmen kann. Diese Grenzen können als Prozentsatz des verfügbaren Platzes festgelegt werden. Ist der Grenzwert beispielsweise auf 50 % festgelegt, hat ein aktiver Eingangsanschluss Zugriff auf 50 % des Pufferspeichers, bei zwei aktiven Eingangsanschlüssen erhält jeder 37,5 % ((space_used_by_I + pace_Ieft*.5)/2 = (50 %+50 %*.5)/2), bei drei aktiven Eingangsanschlüssen erhält jeder 29,2 % ((space_used_by_2 + space_left*.5)/3 = (75 %+25 %*.5)/3), usw. Darüber hinaus kann der gesamte von den aktiven Eingangsanschlüssen belegte Platz auf die angegebene Gesamtzahl (50%, 75%, 87,5%) begrenzt werden. Somit kann der jedem Eingangsanschluss 220b zugewiesene Platz dynamisch variieren, je nachdem, wie viele Eingangsanschlüsse gerade aktiv sind. Die Hinzufügung eines aktiven Eingangsanschlusses führt dazu, dass andere aktive Eingangsanschlüsse ihren Platz aufgeben, der dann von dem neuen Eingang eingenommen wird.
-
Da eine Teilung in Hardware nicht einfach zu bewerkstelligen ist, kann die oben erwähnte Funktion zur Verwaltung der Guthaben in der Warteschlange als Nachschlagetabelle 310 mit 64 Einträgen 312 implementiert werden. Die Anzahl der derzeit aktiven Eingänge in den Alterswarteschlangen 320 indiziert 315 die Nachschlagetabelle 310. Die Werte 314 in der Nachschlagetabelle 310 spiegeln den Grenzwert für die Anzahl der gemeinsam genutzten Speicherplätze wider, die ein Eingang einnehmen kann, sowie den Gesamtspeicherplatz, den er als Ganzes verbrauchen kann. Es liegt also an der Software, die Werte 314 in der Nachschlagetabelle 310 zu programmieren, je nachdem, wie viel gemeinsam genutzter Speicherplatz insgesamt vorhanden ist und welchen Prozentsatz jeder Eingangsanschluss einnehmen darf. Wenn mehr Eingangsanschlüsse 220b aktiv werden, wird jedem Eingangsanschluss 220b weniger Platz zugestanden, und der insgesamt verfügbare Platz nimmt zu. Eingehende Anfragen von den Eingangsanschlüssen 220b, die diesen Grenzwert überschreiten oder insgesamt den Grenzwert für den Gesamtspeicherplatz überschreiten, dürfen keinen weiteren gemeinsamen Speicherplatz beanspruchen. Um die Anzahl der aktiven Eingangsanschlüsse 220b in den Alterswarteschlangen zu verfolgen, wird ein Satz von 64 Zählern 316 (einer für jeden Eingangsanschluss) verwendet. Diese Zähler werden hochgezählt, wenn eine Anforderung in die Alterswarteschlangen 320 gestellt wird, und sie werden heruntergezählt, wenn sie herausgenommen werden (d. h. wenn sie gewährt werden). Ein Zähler für die Anzahl der von Null verschiedenen Zählerstände 319 wird als Index in der Nachschlagetabelle 310 verwendet. Um den gemeinsam genutzten Speicherplatz zu verwalten, kann außerdem ein zusätzlicher Satz von 64 Zählern 318 verwendet werden, um die aktuelle Nutzung des gemeinsam genutzten Speicherplatzes durch jeden Eingang zu verfolgen. Es kann auch ein einziger Zähler 334 vorhanden sein, der zur Verfolgung der Gesamtnutzung des gemeinsam genutzten Speicherplatzes verwendet werden kann. Diese Zähler werden mit den aktuellen Quoten verglichen, um festzustellen, ob eine Anfrage den gemeinsam genutzten Speicherplatz nutzen darf oder nicht. Die Zähler 316, 318 können z. B. 13 Bit breit sein, um den maximalen Wert eines Objekts, der etwas weniger als 8K betragen kann, ausreichend zu erfassen.
-
Die Warteschlangen 320 können einen einzigen Speicher-RAM 321 mit 8K Speicherplätzen verwenden. Diese Speicherplätze können dynamisch 32 separaten Warteschlangen zugewiesen werden (eine für jede SQ/VC), wobei jede aus einer verknüpften Liste von Speicherplätzen innerhalb des RAM 321 besteht. Dadurch kann jede SQ/VC je nach Bedarf mehr Platz beanspruchen.
-
Es kann eine Alterswarteschlange 320 mit einem vorderen Zeiger 322 erstellt werden, der auf den Anfang der Warteschlange zeigt, und einem nächsten Zeiger 324 für jede Position, der auf das nächste Element in der Warteschlange zeigt. Die letzte Position in der Warteschlange kann durch einen hinteren Zeiger 326 angezeigt werden. Die Elemente werden vom Anfang der Warteschlange entnommen und am Ende der Warteschlange eingefügt. Zusätzlich zu den oben genannten Datenstrukturen verfügt jede Warteschlange über ein FIFO 328 mit Einträgen an ihrem Kopf. Diese FIFOs 328 können sicherstellen, dass eine Warteschlange bei jedem Takt eine Anforderung mit einer Lesezugriffszeit von mehreren Takten aus dem Anforderungs-RAM 321 erhalten kann. Wenn eine neue Anforderung eintrifft und das Kopf-FIFO 328 für diese Warteschlange nicht voll ist, umgeht sie das Anforderungs-RAM 321 und kann direkt in das Kopf-FIFO 328 geschrieben werden. Sobald Anforderungen für eine bestimmte Alterswarteschlange in den Anforderungs-RAM 321 geschrieben werden, werden nachfolgende Anforderungen ebenfalls in den Anforderungs-RAM 321 geschrieben, um die Ordnung aufrechtzuerhalten. Der Bypass-Pfad kann wieder verwendet werden, wenn sich keine weiteren Anforderungen für diese Alterswarteschlange im Anforderungs-RAM 321 befinden und Platz im Kopf-FIFO 328 vorhanden ist. Wenn eine Anforderung aus einem Kopf-FIFO 328 gelesen wird und sich entsprechende Anforderungen in der Warteschlange im Anforderungs-RAM 321 befinden, wird eine DeQueue eingeleitet. Es kann jeweils ein Kopf-FIFO 328 gelesen werden, so dass pro Taktperiode ein einziger Dequeue-Vorgang ausgelöst werden kann. Es kann eine Logik enthalten sein, um die verschiedenen Wettlaufbedingungen zwischen einer laufenden oder bevorstehenden Enqueue-Operation und dem Lesen eines Head-FIFO 328 zu behandeln.
-
Der oben erwähnte ECC-Schutz, der im Age-Queue-RAM 321 verwendet wird, kann auf die FIFOs 328 ausgedehnt werden, um die Datenweg-Flops zu schützen. Die resultierende Struktur kann 8K Flops umfassen (32 Warteschlangen x 5 tief x SQ-Bits breit). Bei der Generierung des ECC kann die Nummer der Warteschlange des Alters in die Berechnung einbezogen (aber nicht gespeichert) werden, um die Verwaltung der freien Liste zusätzlich zu überprüfen. Bei der Überprüfung der ECC kann die Anforderung als fehlerhaft angesehen werden, wenn in den Bits der Warteschlangennummer ein MBE oder ein SBE vorhanden ist.
-
Ein freier Listen-RAM kann ein einfaches FIFO sein, das mit Zeigern auf alle 8K-Einträge initialisiert wird, wenn ein Reset durchgeführt wird. Es kann eine Zählung vorgenommen werden, um zu verfolgen, wie viele Einträge in der freien Liste gültig sind. Wenn Einträge entnommen werden, werden sie von der Vorderseite des FIFO gepoppt und verwendet. Wenn Einträge zurückgegeben werden, werden sie an die Rückseite des FIFO geschoben. Eine bestimmte Anzahl von Einträgen (z. B. drei Einträge) am Kopf der freien Liste kann in Flops gehalten werden, damit sie für einen schnellen Zugriff verfügbar sind. Wie bei den Kopf-FIFOs für die Alterswarteschlangen wird ECC durch die Flops getragen, um Schutz zu bieten. Die resultierende Struktur kann minimale Flops haben (57 = 3 tief x 19 Bit breit).
-
Um die volle Leistung für kleine Pakete zu erreichen, unterstützen Age-Warteschlangen sowohl ein Enqueue als auch ein Dequeue pro Taktperiode. Die Operationen in den Datenstrukturen für eine Enqueue-Operation werden im Folgenden erläutert und können sich unterscheiden, je nachdem, ob die zu schreibende Warteschlange leer ist oder nicht.
-
In einigen Fällen ist ein gleichzeitiger Enqueue- und Dequeue-Vorgang in einer bestimmten Warteschlange leicht zu handhaben, da sie separate Felder verwenden und aktualisieren. Einige spezielle Szenarien können auftreten, z. B. wenn eine Dequeue-Operation die Alterswarteschlange leert. Um dieses Szenario zu behandeln, wird logischerweise zuerst eine Dequeue-Operation durchgeführt, gefolgt von einer Enqueue-Operation. Dementsprechend wird ein Leer-Kennzeichen als gesetzt angesehen, wenn die Warteschlange durch die Dequeue-Operation geleert wird, und dann durch die Enqueue-Operation gelöscht.
-
Die oben erwähnte Arbitrierung kann zwischen Anforderungen durchgeführt werden, die vorbehaltlich der Verwaltung des Eingangspuffers, des Ausgangspuffers und der Flusskanalquoten gewährt werden dürfen. Die Arbitrierung kann auch angehalten werden, wenn keine Guthaben für den OFCT-Eingangs-FIFO vorhanden sind. In einigen Ausführungsformen kann die Arbitrierung auf zwei Ebenen durchgeführt werden. Erstens kann die Traffic Shaping Arbitration zur Arbitrierung zwischen den SQs verwendet werden. Eine Deficit-Round-Robin-Arbitration kann zur Arbitrierung zwischen VCs innerhalb einer bestimmten SQ verwendet werden. Die Traffic Shaping Arbitration kann eine Reihe von Token Buckets verwenden, um die Bandbreite jeder SQ wie folgt zu steuern: acht Leaf Buckets, eines für jede SQ, vier Branch Buckets und ein Head Bucket.
-
Die Schlichtung kann in drei Gruppen unterteilt werden, wobei die erste Gruppe die höchste Priorität hat, gefolgt von einer zweiten Gruppe, die wiederum von einer dritten Gruppe gefolgt wird. Für die erste und zweite Gruppe kann die Schlichtung unter den in Frage kommenden SQs auf die gleiche Weise erfolgen. Zwischen den SQs für jede der acht Prioritätsstufen kann eine x8-Rundlauf-Schlichtung durchgeführt werden (acht parallele Rundlauf-Schlichtungen). Zwischen den Prioritätsstufen kann eine feste Arbitrierung durchgeführt werden. Die Arbitrage der Gruppe 3 hat beispielsweise keine Prioritäten und ist daher einfach eine einzige x8-Rundlauf-Arbitrage.
-
Bei der Schlichtung in der ersten Gruppe ergibt sich die Priorität für jeden aus der Einstellung in den Blattbereichen. Für die Arbitrierung in der zweiten Gruppe ergibt sich die Priorität aus der Einstellung in den Zweigen der Blattbereiche. In allen Fällen sind die Bereiche, die als für diese Gruppe in Frage kommend geprüft werden, auch die Bereiche, aus denen Paketgrößen-Token bezogen werden, wenn die Anfrage die Schlichtung gewinnt.
-
Bei der Auswahl der Alterswarteschlange 320 können Pakete klassifiziert werden, um die SQ auszuwählen, an die ihre Anfrage weitergeleitet wird. Dadurch kann der mit einer Anwendung verbundene Verkehr anders gestaltet werden als der Verkehr, der von einer anderen Anwendung oder einer anderen Verkehrsklasse stammt. Dies kann an den Edge-Ports, die mit einer Netzwerkkarte verbunden sind, von Nutzen sein, da die Anwendungen so konfiguriert sind, dass sie einen Teil der Ressourcen des Knotens nutzen, und ihnen dementsprechend ein Teil der Netzwerkbandbreite zugewiesen wird. Gemäß einer Ausführungsform erfolgt diese Klassifizierung durch Einteilung der Pakete in eine Verkehrsklassenkennung (FTAG), z. B. einen 4-Bit-Code, der Teil des Fabric-Frame-Headers ist, und eine VLAN-ID (VNI), wenn das Paket in die Fabric eintritt. Die FTAG und VNI können dann verwendet werden, wenn das Paket die Fabric verlässt, um die Shaping-Warteschlange auszuwählen.
-
Ein Konfigurationsregister kann verwendet werden, um FTAGs auf SQs abzubilden. Diese Konfiguration stimmt mit der entsprechenden Konfiguration in der Eingangswarteschlange überein. Wenn der Ausgangspuffer Guthaben von Verbindungspartnern anfordert oder zurückgibt, wandelt er eine bestimmte FTAG in eine SQ um. Für die Paketinjektion befindet sich die FTAG in R_TF _OBUF _CFG_PFG_TX_CTRL. Bei der Testerzeugung ist die FTAG im Teststeuerungsregister zu finden. Wenn die Reduktionsmaschine (RED) eine Kreditrückgabe anfordert, befindet sich die FTAG im rei_cdt/tog. Wenn ein Reduktionsrahmen aus dem Ausgabestrom entfernt wird und Guthaben des Verbindungspartners zurückgegeben werden müssen, ist die FTAG im Rahmenkopf zu finden.
-
Was die hier erörterten SQs betrifft, so kann jede Alterswarteschlange 320 32 SQs 330 haben, die durch {SQ, VC} adressiert werden. Die 3-Bit-SQ 330 kann als Formgebungsfunktion betrachtet werden, und die VC wählt eine von vier Warteschlangen innerhalb dieser Formgebungsfunktion aus. Bei Ethernet-Egress-Ports (Edge-Ports) wird der VC zur Vermeidung von Deadlocks nicht benötigt. Dementsprechend können alle 32 SQs 330 verfügbar sein. In einem solchen Szenario kann die SQ 330 ausgewählt werden, indem die SQ-Basis aus R_TF _OBUF _CFG_FTAG_SQ_MAP zu den unteren Bits der VNI addiert wird. Die 5-Bit-Summe legt die {SQ,VC} fest, die an die Alterswarteschlange zu senden ist. Es ist zu beachten, dass bei der Injektion von Frames an einem Egress-Port keine VNI verfügbar ist und daher direkt eine SQ-Basis verwendet werden kann. Bei Fabric Links wird die SQ 330 aus den oberen drei Bits der SQ Base entnommen. Die VC kann aus dem Frame-Header entnommen werden, wenn Guthaben für Reduktionsframes zurückgegeben werden, oder aus der entsprechenden Steuer-CSR (R_TF _OBUF _CFG_TEST_CTRL oder R_TF _OBUF _CFG_PFG_TX_CTRL), wenn Frames injiziert werden.
-
Die Verwaltung des Eingangspuffers eines Verbindungspartners kann von der Art des Geräts abhängen, an das die Verbindung angeschlossen ist. Geräte wie der Switch 202 können eine kreditbasierte Flusskontrolle verwenden, bei der jeder Kredit eine Speicherzelle im Eingangspuffer darstellt. Andere Geräte können eine Standard-Ethernet-Pause oder eine auf Prioritätspausen basierende Flusssteuerung verwenden. Anfragen, die als lokal beendet gekennzeichnet sind (lac term set), müssen die Flusssteuerung des Eingangspuffers des Verbindungspartners nicht berücksichtigen und brauchen keine zugehörigen Zähler zu aktualisieren. Der Speicherplatz des Verbindungspartners muss nicht berücksichtigt werden, wenn sich die Verbindung im Entleerungszustand befindet.
-
Für die kreditbasierte Flusskontrolle kann der Linkpartner-Eingangspuffer in acht Pufferklassen unterteilt werden. Jeder SQ 330 kann einer dieser 8 Pufferklassen zugewiesen werden. Für jede der Pufferklassen werden Guthaben verwaltet, wobei jedes Guthaben 32 Byte Speicherplatz im Link-Partner-Eingangspuffer darstellt. Damit die auf Guthaben basierende Flusskontrolle mit verschiedenen Geräten (Switch, erweiterte NIC) arbeiten kann, die jeweils unterschiedliche Zellengrößen haben können, ist die Zellengröße ein programmierbarer Wert in Einheiten von 32 Byte.
-
Es kann zwei Sätze von VCs geben, wobei jeder SQ 330 einem Satz zugewiesen ist. Für jeden VC kann eine maximale Rahmengröße an Speicherplatz reserviert werden, und jeder VC-Satz kann eine andere maximale Rahmengröße haben. Der verbleibende Teil des Link-Partner-Eingangspuffers ist gemeinsam genutzter dynamischer Speicherplatz, der von jeder SQ/VC genutzt werden kann, vorbehaltlich der Grenzen pro VC und Pufferklasse.
-
Die Größe, die mit der Anforderung kommt, stellt die Größe des Pakets auf der Leitung dar, die einen 4-Byte-FCS enthält. Diese wird beim Link-Partner in eine interne 2-Byte-FCS umgewandelt, bevor das Paket in den Eingangspuffer des Link-Partners geschrieben wird, so dass die Gutschrift diesen Unterschied berücksichtigen muss, der ein Faktor an der Grenze der Zellengröße sein kann. Bei einer Zelle mit einer Größe von 96 Byte wird beispielsweise für eine Zelle mit einer Größe von 97 oder 98 Byte eine einzelne Zelle benötigt. Um zu wissen, wann dies der Fall ist, enthält die Anfrage einen Korrekturterm, der wie folgt berechnet wird: req.len_correct= (byte_Ien % 16) == 1 oder 2.
-
Eine weitere Validierung dieses Begriffs ist erforderlich, um ihn in eine beliebige Zellgrößengrenze umzuwandeln. Er ist gültig, wenn die Länge die Zellgröße knapp überschreitet. Damit kann der validierte Term fen_correct wie folgt bestimmt werden: len_correct = (((16-Byte-Größe)% (2*32-Byte-Zellengröße))== 1) & req. len correct
-
Ein Beispiel dafür, wie diese Werte für einige Zellen- und Paketgrößen funktionieren, ist in der folgenden Tabelle dargestellt:
-
Länge Korrekte Berechnung
-
Größe (Bytes)
|
Anfrage len_korrekt
|
Größe (16B-Einheiten)
|
Zellengröße (32B-Einheiten)
|
len_korrekt Modulo-Ergebnis
|
len_korrekt
|
Genommener Kredit
|
64 |
0 |
4 |
2 |
0 |
0 |
2 |
65 |
1 |
5 |
2 |
1 |
1 |
2 |
66 |
1 |
5 |
2 |
1 |
1 |
2 |
67 |
0 |
5 |
2 |
1 |
0 |
3 |
96 |
0 |
6 |
3 |
0 |
0 |
3 |
97 |
1 |
7 |
3 |
1 |
1 |
3 |
9B |
1 |
7 |
3 |
1 |
1 |
3 |
99 |
0 |
7 |
3 |
1 |
0 |
4 |
128 |
0 |
8 |
4 |
0 |
0 |
4 |
129 |
1 |
9 |
4 |
1 |
I |
4 |
130 |
1 |
9 |
4 |
1 |
1 |
4 |
131 |
0 |
9 |
4 |
1 |
0 |
5 |
-
Die mit der Anfrage gelieferte Größe verwendet 8-Byte-Einheiten, und die Zellengröße des Link-Partner-Eingabepuffers ist ein Vielfaches von 32 Byte (32 * y, wobei y = Zellengröße aus dem CSR). Zunächst wird die 8-Byte-Größe in eine 16-Byte-Größe umgewandelt (ROUNDUP((8-Byte-Größe)/2)). Auch die Zellengröße wird in 16-Byte-Einheiten umgerechnet (2*y). Mathematisch lässt sich die Anzahl der Zellen, die eine Anfrage benötigt, wie folgt berechnen: ROUNDDN(((I6-Byte-Größe)+ 2*y - 1 - len_correct)/(2*y)) = Anzahl der Zellen
-
Eine Teilung ist zwar in der Hardware möglich, kann aber aus zeitlichen Gründen nicht im kritischen Pfad der Arbitrierung durchgeführt werden. Stattdessen wird eine alternative Kreditverwaltung verwendet. Das heißt, die Guthaben werden in Einheiten von 32 Bytes gehalten. Wenn eine Anfrage die Schlichtung gewinnt, wird die Anzahl der in Anspruch genommenen Guthaben um den maximalen Fehlerterm (2 * y-1) nach folgender Berechnung angepasst ROUNDDN(((I6-Byte-Größe)+ 2*y - 1)/2) = maximal benötigte 32-Byte-Credits. Da diese Berechnung das für das Paket benötigte Guthaben überschätzt, muss im nächsten Takt eine Modulo-Operation (X = (16-Byte-Größe) MOD 2*y, y = 32-Byte-Zellengröße aus dem CSR) durchgeführt werden, um den tatsächlichen Restwert zu ermitteln. Dieser Wert wird zusammen mit dem len - correct term zur Anpassung des Kreditzählers verwendet. Die Formel, mit der der Anpassungswert (adf_val) für X erstellt wird, lautet: Wenn (X == 0) adj_val = y - 1 sonst wenn (X == 1 und fen_correct) adj_val = y sonst adj_val = ROUNDDN((X-1)/2)
-
Die nachstehende Tabelle zeigt ein Beispiel für ein Anforderungsguthaben für 96-Byte-Zellen, das die über mehrere Paketlängen hinweg verwendeten Werte für die 96-Byte-Zellen des Schaltereingangspuffers (y = 3) angibt.
-
Beispiel für eine Kreditanfrage für 96-Byte-Zellen
-
Paketgröße (Bytes)
|
Paketgröße (16-Byte-Einheiten)
|
Genommener Kredit
|
ModuloResult
|
len_korrekt
|
adj_val
|
Korrigierte Kreditaufnahme
|
48 |
3 |
4 |
3 |
0 |
1 |
3 |
64 |
4 |
4 |
4 |
0 |
1 |
3 |
80 |
5 |
5 |
5 |
0 |
2 |
3 |
96 |
6 |
5 |
0 |
0 |
2 |
3 |
97 |
7 |
6 |
1 |
1 |
3 |
3 |
98 |
7 |
6 |
1 |
1 |
3 |
3 |
99 |
7 |
6 |
1 |
0 |
0 |
6 |
128 |
8 |
6 |
2 |
0 |
0 |
6 |
-
Wenn eine Anfrage gefiltert wird, bevor sie an den Eingangspuffer des Linkpartners weitergeleitet wird, gibt die Logik des Ausgangspuffers die SQ und VC zurück, so dass sie verwendet werden können, um die Guthaben an die entsprechenden Guthabenzähler zurückzugeben. Es ist keine Größe erforderlich, da die Paketgröße immer die gleiche ist, nämlich die Länge eines Reduktionsrahmens (69 Byte oder 16 Byte Größe= 5).
-
Die lokale (Master-)Seite der Verbindung führt eine Zählung der Anzahl der von jedem VC über beide Sätze gesendeten Pakete (insgesamt 8), eine Zählung der an jeden VC gesendeten Paketmenge (in 3 2-Byte-Mengen) (4) und eine Zählung der für jede Pufferklasse gesendeten Paketmenge (in 32-Byte-Mengen) (8). Der Link-Partner (Slave) der Verbindung behält den gleichen Satz von Zählungen bei, wobei diese regelmäßig über die Verbindung gesendet werden. Der Unterschied zwischen den Zählungen auf der Master- und der Slave-Seite besteht in einer Zählung der Anzahl der Pakete im Eingangspuffer des Link-Partners von jedem VC über beide Sätze hinweg sowie in einer Zählung des derzeit von jedem VC und jeder Pufferklasse belegten Platzes (in 32-Byte-Mengen). Außerdem wird die Gesamtmenge des von allen Paketen belegten Platzes gezählt. Eine Zusammenfassung der Zähler lautet wie folgt: master_vcx_cnt[4]/slave_vcx_cnt[4] - Master- und Slave-Zähler für die Anzahl der Pakete, die an jeden VC im Satz X gesendet wurden; master_vcy_cnt[4]/slave_vcy_cnt[4] - Master- und Slave-Zähler für die Anzahl der Pakete, die an jeden VC im Satz Y gesendet wurden; master_bc_cnt[8]/slave_bc_cnt[8] - Master- und Slave-Zählungen des von jeder Pufferklasse belegten Platzes in Einheiten von 32 Byte; master_vc_cnt[4]/slave_vc_cnt[4] - Master- und Slave-Zählungen des von jedem VC belegten Speicherplatzes in Einheiten von 32 Byte; master- tot- cnt/slave- tot - cnt - Master- und Slave-Zählungen des insgesamt belegten Speicherplatzes in Einheiten von 32 Byte.
-
Alle Zähler werden bei einem Warm-Reset auf Null gesetzt. Sie werden auch auf Null gesetzt, wenn sich die Verbindung im Entleerungszustand befindet oder wenn das CSR-Bit DBG_RESET zum Löschen ihres Zustands gesetzt ist. Der Ausgangspufferfilter lenkt ein Reduktionspaket auf einen anderen Weg als den zum Eingangspuffer des Link-Partners. In diesem Fall kann ein Signal zusammen mit dem SQ und VC des Pakets zurückgegeben werden. Auch hier ist die Länge nicht erforderlich, da die Größe dieser Pakete festgelegt ist. Diese Information wird verwendet, um die entsprechenden Master Credit Counts anzupassen.
-
Eine Anfrage darf an der Arbitrierung teilnehmen, wenn entweder ihre VC-Anzahl 0 ist (was anzeigt, dass ihr ein statisch zugewiesener Slot zur Verfügung steht) oder im dynamischen Bereich Platz für einen Rahmen maximaler Größe ist (vorbehaltlich der angestrebten Pufferklasse und VC-Grenzen). Es kann einen einzigen programmierbaren Wert für die maximale Rahmengröße geben, der für alle VCs und SQs verwendet wird. Die Anforderungsvalidierung für den Eingangspufferspeicher kann mit Hilfe der kreditbasierten Flusskontrolle erfolgen.
-
Die kreditbasierte Flusskontrolle kann zur Aufteilung eines dynamischen Raums auf zwei voneinander unabhängige Arten verwendet werden: erstens auf der Grundlage eines Limits, wie viel dynamischen Raum jeder der vier VCs einnehmen kann, und zweitens auf der Grundlage eines Limits, wie viel dynamischen Raum jede der acht Pufferklassen einnehmen kann. In beiden Fällen werden die Grenzen als Prozentsatz des verfügbaren Platzes festgelegt. Für ein bestimmtes Paket sollte sowohl in seinem Ziel-VC als auch in seiner Pufferklasse Platz zur Verfügung stehen. Wenn z. B. für jeden Bereich ein Limit von 50 % festgelegt ist, hat ein aktiver Bereich Zugriff auf 50 % des Pufferbereichs, bei zwei aktiven Bereichen erhält jeder Bereich 37,5 % ((50+50*.5)/2), bei drei aktiven Bereichen erhält jeder Bereich 29,2 % ((75+25*.5)/3) und so weiter. Außerdem kann der Gesamtplatz, der von den aktiven Plätzen belegt wird, auf die angegebene Gesamtzahl (50%, 75%, 87,5%) begrenzt werden. Dementsprechend variiert der jedem Platz zugewiesene Platz dynamisch je nachdem, wie viele Plätze gerade aktiv sind. Wenn ein zusätzlicher Platz aktiv wird, müssen die anderen aktiven Plätze einen Teil ihres Platzes abgeben, der dann von dem neuen Platz eingenommen wird.
-
Wie die oben beschriebene Teilungsfunktion ist auch diese Funktion als Nachschlagetabelle implementiert. Für den VC-Speicherplatz gibt es in diesem Beispiel 16 Einträge, wobei jeder Eintrag den für jeden VC verfügbaren Speicherplatz sowie den insgesamt für alle VCs verfügbaren Speicherplatz angibt. Für die Pufferklassen kann es 256 Einträge geben, wobei jeder Eintrag den für jede Pufferklasse verfügbaren Platz sowie den für alle Pufferklassen insgesamt verfügbaren Platz angibt. Der Platz wird jeweils in 2048-Byte-Einheiten angegeben. Die Tiefe jeder Tabelle reicht aus, um alle Kombinationen aktiver Mitglieder (VCs oder Pufferklassen) abzudecken, wobei jede eine unabhängige Einstellung für ihre Prozentsätze haben kann. Damit ist es Sache der Software, die Werte in der Tabelle zu programmieren, je nachdem, wie viel dynamischer Speicherplatz insgesamt zur Verfügung steht und welchen Prozentsatz jedes Mitglied über alle möglichen Kombinationen hinweg einnehmen darf. Je mehr davon aktiv werden, desto weniger Platz wird ihnen zugestanden und desto mehr Platz ist insgesamt verfügbar. Anfragen nach Speicherplatz, die über diesem Grenzwert oder insgesamt über dem Gesamtgrenzwert liegen, dürfen keinen weiteren dynamischen Speicherplatz beanspruchen.
-
Eine VC- oder Pufferklasse gilt als aktiv, wenn sie entweder eine Anforderung in einer Alterungswarteschlange hat oder wenn sie ausstehende Gutschriften für Linkpartner-Eingangspufferplätze hat. Nehmen wir als Beispiel an, es gibt nur 4 Räume (Tabelle mit 16 Einträgen) mit den Prozentsätzen SPACE0(50%), SPACE1(40%), SPACE2(30%), SPACE3(10%) und einem dynamischen Gesamtraum von 16KB. Daraus ergeben sich die in der nachstehenden Beispieltabelle für den Pufferspeicher angegebenen Werte in Mengen von 16 Bytes.
-
Beispiel für Pufferraum
-
Index
|
RAUM3
|
RAUM2
|
RAUM1
|
RAUM0
|
Insgesamt
|
0 |
K.A. |
K.A. |
K.A. |
K.A. |
K.A. |
1 |
K.A. |
K.A. |
K.A. |
512 |
512 |
2 |
K.A. |
K.A. |
410 |
K.A. |
410 |
3 |
K.A. |
K.A. |
319 |
398 |
717 |
4 |
K.A. |
307 |
K.A. |
K.A. |
307 |
5 |
K.A. |
250 |
K.A. |
416 |
666 |
6 |
K.A. |
255 |
339 |
K.A. |
594 |
7 |
K.A. |
202 |
270 |
337 |
809 |
8 |
102 |
K.A. |
K.A. |
K.A. |
102 |
9 |
94 |
K.A. |
K.A. |
469 |
563 |
10 |
94 |
K.A. |
377 |
K.A. |
471 |
11 |
75 |
K.A. |
299 |
374 |
748 |
12 |
95 |
284 |
K.A. |
K.A. |
379 |
13 |
78 |
234 |
K.A. |
389 |
701 |
14 |
80 |
239 |
319 |
K.A. |
638 |
15 |
79 |
236 |
315 |
394 |
1024 |
-
Als Beispiel werden die Werte in der Zeile für Index 7 wie folgt berechnet: Gesamt%= 0.5 + (1-0.5)*0.4 + (1-0.5-(1-0.5)*0.4)*0.3 = 0.79; SPACEO = (0.5/(0.5+0.4+0.3))*0.79*1024 = 337; SPACEI = (0.4/(0.5+0.4+0.3))*0.79*1024 = 270; SPACE2 = (0.3/(0.5+0.4+0.3))*0.79*1024 = 202; Gesamt= 337 + 270 + 202 = 809
-
Wie oben erwähnt und unter Bezugnahme auf , können Switches, wie z. B. der Switch 202, verwendet werden, um eine Switch-Fabric zu erstellen, wobei die Switch-Ports 220 so konfiguriert werden können, dass sie entweder als Edge-Ports oder als Fabric-Ports arbeiten. Wie bereits erwähnt, kann der Switch 202 verschiedene Netzwerktopologien unterstützen, einschließlich, aber nicht beschränkt auf, z. B. Libellen- und Fat-Tree-Topologien. Netzwerke können aus einem oder mehreren Slices bestehen, die jeweils die gleiche Gesamttopologie aufweisen, obwohl sich die Slices in Bezug auf ihre Zusammensetzung unterscheiden können. Die Knoten sind mit einem oder mehreren Ports in jeder Slices verbunden. Wenn ein Netz mehrere Slices hat und ein Knoten mit mehr als einem Slice verbunden ist, wird angenommen, dass der Knoten in jedem Slice an der gleichen Stelle angeschlossen ist.
-
Das Routing in der Switch-Fabric kann durch eine in Switch 202 implementierte Fabric-Routing-Funktion (FRF) gesteuert werden. Ein Beispiel für eine FRF-Komponente 400 ist in den und dargestellt. Es versteht sich, dass eine separate Instanz der FRF-Komponente 400 innerhalb der Eingangslogik für jeden Port des Switches 202 implementiert werden kann. Die von der FRF-Komponente 400 getroffenen Routing-Entscheidungen können auf diejenigen Frames angewendet werden, die nicht bereits Teil eines etablierten Flusses sind. Es ist zu beachten, dass die FRF-Komponente 400 nicht notwendigerweise weiß, ob ein bestimmter Rahmen mit einem Fluss verbunden ist oder nicht, sondern vielmehr eine unabhängige Weiterleitungsentscheidung für jeden an einem Eingangsport präsentierten Rahmen trifft. Die FRF-Komponente 400 kann Filter, Tabellen, Schaltkreise und/oder Logik, wie z. B. Auswahlschaltkreise/Logik, umfassen, um die Weiterleitung von Daten durch eine Switch-Fabric, wie hier beschrieben, zu bewirken. Wie dargestellt, umfasst die FRF-Komponente 400 mindestens: eine minimale Ports-Auswahlkomponente 402 (die eine minimale Tabellenkomponente 402A umfasst), verschiedene Ports-Filter (Filter für zugelassene Ports, Filter für betriebsbereite Ports, Filter für belegte Ports); eine Komponente 402B zur Unterscheidung bevorzugter Ports; Komponenten/Logik 402C zur pseudozufälligen Auswahl nach unten; Ausnahmetabellen 404 (einschließlich einer Ausnahmelistentabelle 404A); eine Komponente 406 für betriebsbereite Ports, die eine globale Fehlertabelle 406A umfasst; und eine Routing-Algorithmus-Tabelle 408. Wie in dargestellt, kann die FRF-Komponente 400 ferner Folgendes umfassen: eine Komponente 410 zur Auswahl nicht-minimaler Ports, die eine lokale Komponente 410A zur nicht-minimalen Auswahl und eine globale Komponente 410B zur nicht-minimalen Auswahl umfasst; und eine Ausgangslogikkomponente 412, die eine adaptive Auswahlkomponente oder Logik 412A umfasst. Die FRF-Komponente 400 umfasst weitere Komponenten, die hier beschrieben werden.
-
Insbesondere bestimmt die FRF-Komponente 400 einen bevorzugten Port zur Weiterleitung jedes Frames, der am Eingangsport präsentiert wird, basierend auf: der Ziel-Fabric-Adresse (DFA) eines empfangenen Frames; dem aktuellen Routing-Status des Frames (wo sich der Frame auf seinem Pfad befindet und den Pfad bzw. die Pfade, die er genommen hat, um seinen aktuellen Routing-Status zu erreichen); dem Switch-Fabric-Routing-Algorithmus und der Konfiguration; und Lastmetriken, die mit den möglichen Ausgangsports verbunden sind, um Filter für belegte Ports zu verwenden.
-
Die FRF-Komponente 400 kann eine Routing-Algorithmus-Tabelle 408 enthalten, die als softwarekonfigurierbare Tabelle ausgeführt sein kann, die auf der Grundlage des aktuellen Routing-Zustands des Rahmens gültige Auswahlmöglichkeiten bestimmt. Gültige Entscheidungen sind beispielsweise, ob ein lokaler minimaler, globaler minimaler, lokaler nicht-minimaler oder globaler nicht-minimaler Pfad für den nächsten Hop des Frames gewählt werden darf. Der Routing-Status enthält Informationen wie den VC, auf dem der Frame empfangen wurde, und ob er sich in der Quell-, der Ziel- oder einer Zwischengruppe befindet. Die Routing-Algorithmus-Tabelle 408 bestimmt zusammen mit der adaptiven Auswahlfunktion oder -logik 412A (siehe unten) auch den VC, der für den nächsten Sprung des Rahmens verwendet werden soll.
-
Als Beispiel wird das Frame-Routing mit Unicast-DFAs beschrieben. Es ist jedoch zu beachten, dass die DFA der Routing-Anforderung entweder im Unicast- oder im Multicast-Format vorliegen kann. Das Unicast-Format kann ein 9-Bit-Global-ID-Feld (global_id), ein 5-Bit-Switch-ID-Feld (switch_id) und ein 6-Bit-Endpunkt-ID-Feld (endpoint_id) enthalten. Die globale ID kann eine Gruppe innerhalb des Netzes eindeutig identifizieren. Sie identifiziert insbesondere die letzte Gruppe, an die der Rahmen zugestellt werden muss. Die Switch-ID identifiziert eindeutig einen Switch innerhalb der durch die globale ID identifizierten Gruppe. Das Feld Endpunkt-ID identifiziert zusammen mit der globalen ID und der Switch-ID den Endpunkt, der mit dem Rand des Netzes verbunden ist und an den der Rahmen zugestellt werden soll. Dieses Feld wird einem Port oder einer Reihe von Ports auf dem Switch zugeordnet, der durch die globale ID und die Switch-ID identifiziert wird.
-
Das Multicast-Format enthält ein 13-Bit-Multicast-ID-Feld (multicast_id). Dieses Feld wird von der FRF-Komponente 400 auf eine Reihe von Ports am aktuellen Switch abgebildet, an die der Rahmen weitergeleitet werden soll.
-
Aus diesen Informationen ermittelt die FRF-Komponente 400 einen aktualisierten Routing-Status für den Frame, der dann in den Frame übertragen wird. Um beispielsweise das Routing in einer Dragonfly-Topologie zu realisieren, kann der aktuelle Status eines Rahmens aus dem VC des Rahmens (wie oben beschrieben) ermittelt werden. Basierend auf algorithmischen Switch Fabric Routing-Regeln, die für die Switch Fabric spezifiziert sind (deren Auswahl weiter unten beschrieben wird), bestimmt die FRF-Komponente 400 einen bestimmten VC, der für den nächsten Hop des Frames verwendet wird, um Deadlocks zu vermeiden. Zusätzliche Routing-Statusinformationen können abhängig davon bereitgestellt werden, wo sich der Frame auf seinem Weg befindet, z. B. ob der Frame in seiner Quellgruppe, in einer Zwischengruppe oder in seiner Zielgruppe ist. Es sei darauf hingewiesen, dass die FRF-Komponente 400 eine Port-Filterung durchführt (die weiter unten ausführlicher beschrieben wird), indem sie Filter für zugelassene Ports, Filter für in Betrieb befindliche Ports, Filter für besetzte Ports usw. verwendet, um festzustellen, ob ein bevorzugter Port, an den ein Rahmen weitergeleitet werden soll, derzeit fehlerhaft, besetzt, nicht vorhanden usw. ist.
-
Der Schalter 202 verteilt die Lastinformationen zwischen den Schaltern. Die FRF-Komponente 400 empfängt die Lastmessung von und von ihrem zugehörigen Ausgangsanschluss. Die FRF-Komponente 400 empfängt von ihrem zugehörigen Eingangsport zusammengefasste Lastinformationen für einen benachbarten Switch. Jede FRF-Komponente 400 tauscht Lastinformationen mit allen anderen FRF-Instanzen innerhalb desselben Switches aus. Die FRF-Komponente 400 liefert zusammengefasste Lastinformationen an ihren zugehörigen Ausgangsanschluss zur Weiterleitung an einen benachbarten Switch. Durch den Lastverteilungsmechanismus erfährt jede FRF-Komponente 400 die an jedem Ausgangsanschluss ihres Switches gemessene Last. Außerdem erfährt jeder FRF die zusammengefassten Lastinformationen für alle benachbarten Switches.
-
Es ist zu beachten, dass die FRF-Komponente 400 das Multicasting von Rahmen unterstützen kann. Wenn ein Multicast-DFA empfangen wird, bestimmt die FRF-Komponente 400 eine Reihe von Anschlüssen, an die der mit dem Multicast-DFA verbundene Rahmen weitergeleitet werden soll. Der Satz von Ports kann durch Zugriff auf eine Nachschlagetabelle bestimmt werden, die softwarekonfigurierte Multicast-Fabric-Adressen auf Ausgangsports abbildet. Dies kann dazu beitragen, Probleme im Zusammenhang mit doppelten Multicast-Rahmenkopien zu vermeiden.
-
Wie bereits erwähnt, wird der Multicast-Verkehr auf der Grundlage der Konfiguration der Multicast-Weiterleitungstabellen statisch weitergeleitet. Genauer gesagt, identifiziert die Multicast-Tabelle die Ports des aktuellen Switches, an die Kopien des Multicast-Pakets weitergeleitet werden sollen. Dadurch wird implizit auch die Anzahl der zu diesem Zeitpunkt erzeugten Kopien bestimmt, da für jedes an einem Port empfangene Multicast-Paket nur eine Kopie an jeden anderen Port weitergeleitet wird, der laut Multicast-Tabelle eine Kopie benötigt. Um die doppelte Zustellung von Multicast-Paketen zu verhindern, entfernen Multicast-Weiterleitungsfilter Kopien des Multicast-Pakets abhängig von der Quellgruppe, aus der das Multicast-Paket stammt.
-
zeigt ein Beispiel für einen Routenauswahlprozess, der eine Abwärtsselektion von Portkandidaten und eine adaptive Routenauswahl auf der Grundlage der Last beinhaltet. Die FRF-Komponente 400 berücksichtigt drei Kategorien von Kandidatenanschlüssen, an die ein Rahmen weitergeleitet werden kann: bevorzugte Kandidatenanschlüsse für den minimalen Pfad 502, nicht bevorzugte Kandidatenanschlüsse für den minimalen Pfad 504 und Kandidatenanschlüsse für den nicht minimalen Pfad 506. Je nachdem, wo sich ein Rahmen auf seinem Weg befindet, sind nicht-minimale Pfadkandidaten-Ports entweder globale nicht-minimale Pfadkandidaten-Ports oder lokale nicht-minimale Pfadkandidaten-Ports.
-
Die Filterung kann auf die drei Kategorien von Portkandidaten angewandt werden, z. B. auf die Filterung von Betriebsports, nutzbaren Ports und belegten Ports. Die hier angewandte Port-Filterung kann verwendet werden, um die Menge der gültigen Ports, die als Pfadkandidaten in Frage kommen, zu reduzieren, indem abwesende und/oder fehlerhafte Ports identifiziert und aus der Betrachtung entfernt werden.
-
Operative Portfilterung (oder nicht-operative Portfilterung) kann sich auf die Entfernung nicht-operativer Ports aus Portsätzen beziehen, die als Kandidaten für das Routing in Betracht gezogen werden, z. B. bevorzugte Minimalpfad-Kandidatenports 502, nicht-bevorzugte Minimalpfad-Kandidatenports 504 und Nicht-Minimalpfad-Kandidatenports 506. Das heißt, der Switch 202 kann bestimmte Ports als nicht betriebsfähig identifizieren. Diese nicht betriebsbereiten Ports können in einer Maske für nicht betriebsbereite Ports angegeben werden. Es sei darauf hingewiesen, dass in einigen Ausführungsformen die Software erzwingen kann, dass zusätzliche Ports des Switches 202 als nicht betriebsfähig eingestuft werden, indem sie einen nicht betriebsfähigen Port-CSR verwendet, z. B. wenn ein oder mehrere Ports aufgrund geplanter Wartungsarbeiten abgeschaltet werden sollen.
-
Bei der Filterung nutzbarer (oder unbrauchbarer) Ports können Portkandidaten herausgefiltert werden, die normalerweise akzeptabel wären, aber beispielsweise aufgrund von Fehlern innerhalb des Netzes 100 unakzeptabel/unbrauchbar geworden sind, um einen oder mehrere Ziel-Switches, Zielgruppen (von Switches) usw. zu erreichen, aber weiterhin akzeptabel oder nutzbar sind, um einen oder mehrere andere Ziel-Switches zu erreichen. In einigen Ausführungsformen kann die globale Fehlertabelle 406A verwendet werden, um globale Minimalpfad-Portkandidaten und globale Nicht-Minimalpfad-Portkandidaten in Abhängigkeit von einer Zielgruppe des weitergeleiteten Rahmens zu blockieren. So können beispielsweise Portkandidaten, die zu einer Zwischengruppe (von Switches) ohne Konnektivität zu einer bestimmten Zielgruppe (von Switches) führen, bei der Weiterleitung von Frames zu dieser Zielgruppe nicht berücksichtigt werden, obwohl dieselben Portkandidaten nicht unbedingt für andere Zielgruppen gesperrt werden müssen. Die globale Fehlertabelle 406A kann über das Feld global_id der DFA des Rahmens ermittelt oder indiziert werden.
-
In einigen Ausführungsformen kann eine Ausnahmeliste, die in der Ausnahmelistentabelle 404A geführt wird, verwendet werden, um Portkandidaten in Abhängigkeit von der Zielgruppe oder dem Switch, an den der Rahmen weitergeleitet wird, bedingt auszuschließen. Es ist zu beachten, dass die Ausnahmelistentabelle 440A dazu verwendet werden kann, bevorzugte globale Mindestpfad-Ports zu identifizieren. Dementsprechend wird die Ausnahmelistentabelle 404A zum Ausschluss von Anschlusskandidaten verwendet, wenn sie nicht zur Ermittlung bevorzugter globaler Mindestpfadanschlüsse eingesetzt wird.
-
Es sollte beachtet werden, dass das Wissen darüber, welche Ports in einem benachbarten Switch besetzt sind, verwendet werden kann, um zu bestimmen, ob die Ports, die mit einem benachbarten Switch verbunden sind, schlechte Kandidaten für den Empfang eines weitergeleiteten Rahmens sind, basierend darauf, ob der benachbarte Switch den Rahmen anschließend an einen Port weiterleiten muss, der bereits besetzt ist. Bei der Prüfung von Ports, die für das globale Minimal-Routing in Frage kommen, sind die mit einem benachbarten Switch verbundenen Ports beispielsweise schlechte Kandidaten, wenn die globalen Ports des benachbarten Switches, die mit der Zielgruppe des Frames verbunden sind, alle belegt sind, wobei sich globale Ports auf Ports beziehen, die mit anderen Switches verbunden sind, die zu einer anderen Gruppe von Switches gehören. Ähnlich verhält es sich, wenn in der Zielgruppe die mit einem benachbarten Switch verbundenen Ports als Kandidaten für das lokale nicht-minimale Routing in Frage kommen, wenn die lokalen Ports des benachbarten Switches, die mit dem Ziel-Switch des Rahmens verbunden sind, alle besetzt sind.
-
Dementsprechend kann die FRF-Komponente 400 eine Filterung nach ausgelasteten Ports durchführen, indem sie Masken für ausgelastete Ports verwendet, um stark belastete Ports von der Betrachtung als Kandidatenports auszuschließen. Es ist zu beachten, dass in einigen Ausführungsformen stark ausgelastete Ports aus der Betrachtung entfernt werden, wenn andere, nicht stark ausgelastete Kandidatenports vorhanden sind. Andernfalls, wenn keine nicht stark belasteten Ports vorhanden sind, werden die stark belasteten Ports durch die Filterung nach Auslastung nicht aus der Betrachtung entfernt. Die FRF-Komponente 400 verwaltet vier Masken für ausgelastete Ports, d. h. Ports, deren Last einen softwaredefinierten Schwellenwert überschreitet: Maske für ausgelastete Ports des lokalen Switches; globale Maske für nicht minimal ausgelastete globale Ports; globale Maske für nicht minimal ausgelastete lokale Ports; Maske für ausgelastete Ports des entfernten Switches. Die Informationen aus diesen Masken werden zwischen den Switches ausgetauscht, um den entfernten Switch zu füllen.
-
Eine lokale Switch Busy Port Maske kann sowohl auf Minimal Path Candidate Ports als auch auf lokale Non-Minimal Path Candidate Ports angewendet werden. Der FRF generiert eine 64-Bit Is_busy_port_mask, indem er die local_load jedes Ports mit einem softwaredefinierten Schwellenwert vergleicht. Ports, deren Auslastung höher ist als dieser Schwellenwert, werden in dieser Maske als besetzt markiert.
-
Eine globale Maske für einen nicht-minimal ausgelasteten Port kann auf globale Ports globaler nicht-minimaler Pfadkandidaten angewendet werden. Der FRF erzeugt eine 64-Bit gnmbgp_mask, indem er die gnmgp_Ioad jedes Ports mit einem softwaredefinierten Schwellenwert vergleicht. Ports, deren Auslastung höher ist als dieser Schwellenwert, werden in dieser Maske als beschäftigt markiert.
-
Eine globale Maske für einen nicht-minimal ausgelasteten lokalen Port kann auf lokale Ports von globalen nicht-minimal ausgelasteten Pfadkandidaten angewendet werden. Der FRF erzeugt eine 64-Bit gnmblp_mask, indem er die gnmlp_load jedes Ports mit einem softwaredefinierten Schwellenwert vergleicht. Ports, deren Auslastung höher ist als dieser Schwellenwert, werden in dieser Maske als besetzt markiert.
-
Eine zielgruppenabhängige Busy-Port-Maske, die aus einer globalen Busy-Port-Tabelle eines entfernten Switches gewonnen wird, kann auf globale Minimalpfad-Kandidaten-Ports angewendet werden. Wenn ein Rahmen in seiner Zielgruppe weitergeleitet wird, kann dementsprechend eine zielschalterabhängige Busy-Port-Maske, die aus einer lokalen Busy-Port-Tabelle des entfernten Schalters gewonnen wird, auf lokale Kandidaten-Ports für nicht-minimale Pfade angewendet werden.
-
Nach Anwendung der oben erwähnten Filter- oder Abwärtsselektionsstufe kann sich ein Satz von überlebenden Pfadkandidaten-Ports 508 ergeben. Das heißt, dass eine reduzierte Anzahl von Portkandidaten ermittelt werden kann, nachdem nicht funktionsfähige und unbrauchbare Portkandidaten entfernt wurden, die stark belastet sind, so dass ein Satz von Portkandidaten übrig bleibt. In einigen Ausführungsformen wird ein Pseudo-Zufallsauswahlverfahren verwendet, um die Anzahl der überlebenden Pfadkandidaten-Ports 508 weiter auf eine bestimmte Schwellenanzahl von Ports zu reduzieren, die jeder Kategorie von Kandidaten-Ports zugeordnet sind (bevorzugte minimale Pfadkandidaten-Ports, nicht-bevorzugte minimale Pfadkandidaten-Ports und nicht-minimale Pfadkandidaten-Ports). In einigen Ausführungsformen kann diese Schwellenanzahl von Kandidatenanschlüssen vier Kandidatenanschlüsse pro Kategorie betragen. Wenn die Mindestanzahl der Kandidatenhäfen nicht erreicht wird, werden keine Kandidatenhäfen aus dieser Kategorie in Betracht gezogen.
-
In einigen Ausführungsformen kann diese pseudozufällige Auswahl (oder Abwärtsauswahl) von Kandidatenports gewichtet werden. Das heißt, dass jedem Anschluss gemäß der CSR-Konfiguration Gewichtungen, z. B. zwischen 0 und 15, zugewiesen werden können. Mit dieser Gewichtung kann die Wahrscheinlichkeit, mit der einzelne Kandidatenports ausgewählt werden, so beeinflusst werden, dass Ports mit einer höheren Gewichtung eine größere Chance haben, ausgewählt zu werden. Beispielsweise führt eine Gewichtung von 15 dazu, dass ein Anschluss mit 15-facher Wahrscheinlichkeit im Pseudo-Zufallsauswahlverfahren ausgewählt wird. In einigen Ausführungsformen können die Portkandidaten auf der Grundlage der ihnen zugewiesenen Gewichte in vier Gruppen (GW1, GW2, GW4, GW8) gefiltert werden, wobei ein Portkandidat je nach zugewiesenem Gewicht zu mehreren Gruppen gehören kann (z. B, ein Portkandidat mit der Gewichtung 1 gehört nur zu einer Gruppe, während ein Portkandidat mit der Gewichtung 5 zu zwei Gruppen gehört (GW1 und GW4, d. h. 1 + 4 = 5) und ein Portkandidat mit der Gewichtung 15 zu allen vier Gruppen gehört (Gw1, GW2, GW4, GW8, d. h. 1 + 2 + 4 + 8 = 15). Die Anzahl der Portkandidaten in jeder Gruppe kann bestimmt werden (nW1, nW2, nW4, nW8), und die Pseudo-Zufallsauswahl wird auf jede Gruppe angewendet, um einen Portkandidaten aus jeder Gruppe auszuwählen (cW1, cW2, cW4, cW8). Das Gewicht jeder Gruppe kann zusammen mit ihrem Gesamtgewicht berechnet werden: wW1 = nW1; wW2 = 2*nW2; wW4 = 4*nW4; wW8 = 8*nws; wtotal= wW1+wW2+wW4+wW8. Eine fünfte Pseudo-Zufallsauswahl kann durchgeführt werden, um eine Zahl j aus dem Bereich 0 ... Wtotal - 1. Einer der Kandidaten cW1, cW2, cW4, cW8 wird auf der Grundlage des Wertes von j wie folgt als der nach unten gewählte Kandidatenanschluss ausgewählt: Wenn j < wW1, wähle cW1; wenn j < wW1 + wW2, wähle cW2; wenn j < wW1 + wW2 + wW4, wähle cW4; sonst wähle cW8.
-
Die Anzahl der Ports in jeder Gruppe kann von Anfrage zu Anfrage aufgrund des sich ändernden Betriebsstatus und der Auslastung variieren und kann auch von der Konfiguration der globalen Fehlertabelle 406A abhängig sein. Sie kann auch von der Art des Ports abhängen, an dem die Routing-Anforderung durchgeführt wird, d. h. z. B. von einem Edge-Port oder einem lokalen Port. Unter der Annahme, dass sich Betriebszustand und Last nicht zu schnell ändern und dass die Konfiguration der globalen Fehlertabelle 406A für verschiedene global_id-Werte nicht stark variieren sollte, wird der zuvor erzeugte Wert jedes Pseudozufallsgenerators einfach als Offset für die Vorspannung seines nächsten Wertes verwendet. Wenn ein Offset-Wert außerhalb des Bereichs liegt (> n - 1), wird er durch Abschneiden der oberen Bits in den Bereich gebracht. mgnm = 4 Kandidaten-Ports werden durch den Pseudo-Zufallsauswahlprozess erzeugt. Jeder Kandidat kann durch ein separates Exemplar der oben beschriebenen gewichteten Pseudo-Zufallsabwärtsauswahllogik 410C erzeugt werden.
-
Es ist zu beachten, dass ein und derselbe Portkandidat von mehr als einer der Instanzen/Iterationen der gewichteten Pseudo-Zufallsauswahllogik 410C ausgewählt werden kann, wodurch sich die Anzahl der ausgewählten Portkandidaten verringert. Die Wahrscheinlichkeit, dass ein und derselbe Portkandidat von mehr als einem der mgnm = 4 globalen, nicht-minimalen, gewichteten Pseudo-Zufallsselektoren ausgewählt wird, sinkt mit zunehmender Anzahl der zur Auswahl stehenden Portkandidaten. Im Zusammenhang mit einer Libellen-Topologie und einem Netz mit voller globaler Bandbreite gibt es an einem Edge-Port in der Quellgruppe potenziell etwa 48 mögliche globale nicht-minimale Kandidaten-Ports: 16 globale Ports und 32 lokale Ports. Wenn ein lokaler Hop genommen wurde, ist der nächste Hop ein globaler Hop, wodurch sich die Anzahl der Kandidaten-Ports auf etwa 16 reduziert. Wenn das Netz jedoch so verjüngt ist, dass es nur ein Viertel der vollen globalen Bandbreite unterstützt, stehen nach einem lokalen Hop möglicherweise nur vier globale Kandidaten zur Auswahl. Die Wahrscheinlichkeit der Auswahl von vier eindeutigen globalen nichtminimalen Kandidaten-Ports zeigt die Wahrscheinlichkeit der Auswahl von vier eindeutigen Kandidaten-Ports bei einer unterschiedlichen Anzahl von möglichen Kandidaten. Die Wahrscheinlichkeit der Auswahl von n eindeutigen globalen nichtminimalen Kandidaten-Ports zeigt die Wahrscheinlichkeit, dass eine unterschiedliche Anzahl der vier ausgewählten Kandidaten eindeutig ist, wenn nur 16, 8 oder 4 Kandidaten-Ports zur Auswahl stehen.
-
Die FRF-Komponente 400 kann die empfangenen Busy-Port-Masken des entfernten Switches verwenden, um die oben erwähnte globale Busy-Port-Tabelle des entfernten Switches mit Busy-Port-Masken zu generieren, die Ports identifizieren, die mit benachbarten Switches verbunden sind, die als globale Minimalpfad-Kandidaten auf der Grundlage der Zielgruppe, zu der der Frame geroutet wird, vermieden werden sollten. In ähnlicher Weise können die empfangenen „Remote Switch Busy Port“-Masken auch verwendet werden, um die oben erwähnte „Remote Switch Busy Local Port“-Tabelle mit „Busy Port“-Masken zu erstellen, die Ports identifizieren, die mit benachbarten Switches verbunden sind, die als lokale Kandidaten für nicht-minimale Pfade vermieden werden sollten, wenn in der Zielgruppe geroutet wird, basierend auf dem Ziel-Switch, zu dem der Rahmen geroutet wird.
-
Die rs_busy_port_masks werden verwendet, um die Eignung benachbarter Switches (ob die Ports benachbarter Switches besetzt oder ruhig sind) für das Erreichen bestimmter Zielgruppen über globale minimale Pfade und bestimmter Ziel-Switches über lokale nicht-minimale Pfade oder über lokale minimale Pfade zu beurteilen. Jede FRF-Instanz, die einem lokalen Port oder einem globalen Port entspricht, kann so konfiguriert werden, dass sie eine 64-Bit-Maske rs_busy_port_mask erzeugt. Die generierte Maske wird an den mit diesem Port verbundenen Partner-Switch übermittelt. Ebenso kann der Partner-Switch eine rs_busy_port_mask generieren und zurücksenden.
-
Jede FRF-Instanz kommuniziert die rs_busy_port_mask, die sie von ihrem Partner-Switch erhalten hat, an alle anderen FRF-Instanzen im Switch über den Port-Status-Ring (der die Kacheln eines Switches verbindet und Status- und Lastinformationen zwischen den Ports des Switches kommuniziert). Jede FRF-Instanz erfasst alle rs_busy_port_masks, so dass alle FRF-Instanzen den Remote Busy Port Status erfahren, der von allen benachbarten Switches bereitgestellt wird. Jede FRF-Instanz verwendet die rs_busy_port_masks, die sie empfängt, um die Tabellen der belegten Ports zu erstellen, die in der Remote Switch Busy Global Port (RSBGP)-Tabelle und der Remote Switch Busy Local Port (RSBLP)-Tabelle beschrieben sind.
-
Die Generierung der rs_busy_port_mask erfolgt in zwei Schritten. Im ersten Schritt wird die local_Ioad jedes Anschlusses mit einer per Software konfigurierbaren Zwischenmaske verglichen, die alle einzeln belegten Anschlüsse enthält. Diese Zwischenmaske wird gebildet, wenn der Status eines jeden Anschlusses von der Ringschnittstelle für den Anschlussstatus empfangen wird. Ports, die als nicht betriebsbereit eingestuft werden, werden in der Zwischenmaske ebenfalls als beschäftigt erfasst. Im zweiten Schritt wird die Link-Bündelung berücksichtigt, so dass ein Port nur dann in der rs_busy_port_mask als besetzt markiert wird, wenn er und alle anderen Ports, die Teil desselben Bündels sind, in der Zwischenmaske als besetzt markiert sind. Entweder sind alle Ports, die zum selben Bundle gehören, in der rs_busy_port_mask als besetzt markiert, oder keiner. Globale Ports, die Teil desselben Bundles sind, verbinden sich alle mit derselben entfernten Gruppe. Lokale Ports, die Teil desselben Bundles sind, verbinden sich alle mit demselben entfernten Switch innerhalb der aktuellen Gruppe.
-
Da die rs_busy_port_masks verwendet werden, um festzustellen, ob der Switch, der die Maske erzeugt hat, ein guter Kandidat für das Routing eines Frames zu einer anderen Gruppe oder zu einem anderen Switch in der aktuellen Gruppe ist, wird die Bündelung verwendet, um eine konsistente Ansicht der Eignung des erzeugenden Switches zu liefern, wenn der Besetzt-Status über seine Links, die mit der Zielgruppe oder dem Ziel-Switch in der aktuellen Gruppe verbunden sind, inkonsistent ist. Der Grund für die hier beschriebene Behandlung der Bündelung ist, dass der Switch, der die rs_busy_port_mask generiert, ein Kandidat für das Erreichen der Zielgruppe oder des Ziel-Switches in der aktuellen Gruppe bleibt, solange er mindestens eine Verbindung zur Zielgruppe oder zum Switch hat, die nicht besetzt ist; das adaptive Routing an dem Switch, der die rs_busy port_mask generiert hat, sollte den Frame an die nicht besetzte Verbindung weiterleiten.
-
Die Ports müssen entweder in der CSR für gebündelte Ports oder in der CSR für nicht gebündelte Ports enthalten sein (beide sind Teil der statischen Beschreibung der Verkabelung), damit sie in der rs_busy port_mask als besetzt markiert werden können. Der zweite Schritt wird bei jedem Rahmen durchgeführt, der vom Portstatusring empfangen wird. Die gebündelten Portmasken werden gescannt, um die Bündel und die darin enthaltenen Ports zu identifizieren. Darüber hinaus wird die Maske der nicht gebündelten Ports konsultiert, um alle anderen Ports zu identifizieren, die nicht zu einem Bündel gehören, deren Besetzt-Status aber ebenfalls in die generierte rs_busy_port_mask aufgenommen werden sollte.
-
Bei der Berechnung der rs_busy_port_mask wird ein anderer softwaredefinierter Schwellenwert verwendet, da die Übermittlung und Verarbeitung der rs_busy_port_mask und die Zustellung eines Rahmens, der dieser Maske unterliegt, an den entfernten Switch, der die Maske generiert hat, eine größere Latenzzeit erfordert. Wegen der größeren Latenzzeit kann es sinnvoll sein, von einem Port eine höhere Auslastung zu verlangen, bevor er als so ausgelastet gilt, dass er nicht mehr für den Empfang zusätzlicher Frames von einem entfernten Switch in Frage kommt. Ein ausgelasteter entfernter Anschluss sollte so ausgelastet sein, dass er während der gesamten Zeit, die für den Empfang eines Rahmens, der der Maske unterliegt, erforderlich ist, ausgelastet bleibt.
-
Die oben erwähnte RSBGP-Tabelle speichert die Masken der belegten Ports, indiziert durch die Zielgruppe (global_id). Auch hier wird die RSBGP-Tabelle bei der Auswertung globaler Minimalpfade verwendet, die aus einem Sprung zu einem benachbarten Switch bestehen, der einen globalen Port hat, der mit der Zielgruppe verbunden ist, um Ports des aktuellen Switches herauszufiltern, die für das Erreichen der Zielgruppe schlecht geeignet sind, weil der oder die entsprechenden globalen Ports des benachbarten Switches, die von den herausgefilterten Ports des aktuellen Switches erreicht werden, zu stark belastet sind.
-
Die RSBLP-Tabelle speichert belegte Port-Masken, die nach dem Ziel-Switch (switch_id) indiziert sind, und kann wiederum bei der Auswertung lokaler nicht-minimaler Pfade verwendet werden, die aus einem lokalen Hop zu einem benachbarten Switch gefolgt von einem weiteren lokalen Hop zum Ziel-Switch bestehen. Für Topologien wie Fat-Tree, bei denen ein lokaler Minimalpfad aus einem lokalen Hop zu einem benachbarten Switch, gefolgt von einem weiteren lokalen Hop zum Ziel-Switch, bestehen kann, kann die RSBLP-Tabelle auch bei der Auswertung von lokalen Minimalpfaden verwendet werden. Die RSBLP-Tabelle wird verwendet, um Ports des aktuellen Switches herauszufiltern, die für die indirekte Erreichung des Ziel-Switches ungeeignet sind, weil der Port oder die Ports des benachbarten Switches, die mit dem Ziel-Switch verbunden sind, zu stark belastet sind.
-
Es ist zu beachten, dass auf die RSBGP-Tabelle und die RSBLP-Tabelle nie für dieselbe Routing-Anfrage zugegriffen wird. Auf erstere wird zugegriffen, wenn ein Frame geroutet wird, der nicht in der Zielgruppe ist, und auf letztere wird nur zugegriffen, wenn ein Frame geroutet wird, der in der Zielgruppe ist. Daher sind beide in demselben Speicher implementiert, der als Remote Switch Busy Port bezeichnet wird
-
Unter der Voraussetzung, dass es mindestens einen gültigen Kandidaten-Port gibt, dürfen die verschiedenen Busy-Port-Filter (Busy Ports Filter, Local Non-Minimal (LN) Busy Port Filter, Global Non-Minimal (GN) Busy Port Filter) nicht alle Kandidaten-Ports gemeinsam blockieren. Wenn es brauchbare Portkandidaten gibt, werden sie zugelassen, auch wenn sie „schlecht“ sind, wenn es keine bessere Wahl gibt. Andernfalls wird eine leere Routenantwort für die Routing-Anfrage erzeugt, wenn tatsächlich Routen verfügbar sind.
-
Um zu verhindern, dass eine falsche Antwort auf eine leere Route erzeugt wird, werden die erste Stufe des Filters für belegte Anschlüsse des bevorzugten und des nicht bevorzugten minimalen Pfads ( und die erste Stufe des Filters für belegte Anschlüsse des lokalen nicht minimalen Pfads ( werden alle deaktiviert, wenn die folgenden Bedingungen alle zutreffen: Kein Kandidat überlebt die erste Stufe des Filters für belegte Ports des bevorzugten minimalen Pfads (Busy Ports Filter); kein Kandidat überlebt die erste Stufe des Filters für belegte Ports des nicht bevorzugten minimalen Pfads (Busy Ports Filter); kein Kandidat überlebt die erste Stufe des Filters für belegte Ports des lokalen nicht-minimalen Pfads (Local Non-Minimal (LN) Busy Port Filter); und kein Kandidat überlebt den Filter für belegte Ports des globalen nichtminimalen Pfads (Global NonMinimal (GN) Busy Port Filter).
-
Es ist zu beachten, dass es keine Kandidaten-Ports für den minimalen Pfad gibt, wenn das minimale Routing deaktiviert ist (Filter für zulässige Ports). Lokale Nicht-Minimalpfad-Kandidaten-Ports gibt es nur, wenn das lokale Nicht-Minimalpfad-Routing aktiviert ist (Kandidat Lokale Nicht-Minimalpfad-Ports). Globale Nicht-Minimalpfad-Kandidaten gibt es nur, wenn das globale Nicht-Minimalpfad-Routing aktiviert ist (Candidate Global Non-Minimal Path Ports). Lokales und globales nichtminimales Routing sind in der Regel nicht beide gleichzeitig aktiviert. Wenn die erste Stufe der Filter für belegte Ports des bevorzugten und des nicht-bevorzugten minimalen Pfads sowie der Filter für belegte Ports des lokalen nicht-minimalen Pfads aufgrund der oben beschriebenen Bedingungen deaktiviert sind, sind die einzigen Kandidaten-Ports, die in einer adaptiven Auswahlstufe (wie unten beschrieben) zu sehen sind, schlechte Kandidaten, da es sich um Ports handelt, die zu anderen Switches führen, deren Ports (die mit der Zielgruppe oder dem Ziel-Switch verbunden sind) stark belastet sind. Dies liegt daran, dass dies die einzigen Kandidaten-Ports sind, die von den deaktivierten Filtern blockiert wurden, und dass es ohne diese deaktivierten Filter keine anderen Kandidaten gibt.
-
Die adaptive Auswahlphase wählt zwischen diesen verbleibenden/überlebenden Kandidaten-Ports, die alle schlecht sind, auf der Grundlage ihrer verzerrten lokalen Last (lokale Last und Lastwertauswahl), obwohl ihre lokale Last nicht unbedingt den Grund für ihre schlechte Qualität widerspiegelt. Ihr schlechter Charakter kann das Ergebnis einer hohen Downstream-Last auf bestimmten Ports der anderen Switches sein, die von diesen Kandidatenports erreicht werden. Da die adaptive Auswahlphase möglicherweise nicht erkennen kann, wie schlecht diese Kandidaten sind, kann die hier beschriebene Koordination zwischen den verschiedenen Busy-Port-Filtern genutzt werden. Wenn jeder Busy-Port-Filter unabhängig voneinander entscheidet, ob er seine RSBGP- und RSBLP-Tabellen-basierten Filter deaktiviert oder nicht, könnten Situationen wie die folgende auftreten. Der nicht bevorzugte Minimalpfad-Filter für belegte Häfen könnte einen oder mehrere Kandidaten erzeugen, die nicht schlecht sind, ohne dass eine seiner Filterstufen deaktiviert ist. Der bevorzugte Minimal Path Busy Port Filter könnte nur einen oder mehrere Kandidatenports erzeugen, wenn beide Filterstufen deaktiviert werden. Somit sind alle Kandidaten-Ports, die er erzeugen kann, schlecht. In der adaptiven Auswahlphase werden die nach unten selektierten, nicht schlechten, nicht bevorzugten Minimalpfad-Kandidatenports mit den nach unten selektierten, schlechten, bevorzugten Minimalpfad-Kandidatenports verglichen. Der adaptiven Auswahlstufe fehlt jedoch der Überblick darüber, wie schlecht die Kandidaten für den bevorzugten Minimalpfad sind, so dass sie möglicherweise einen schlechten Kandidaten für den bevorzugten Minimalpfad gegenüber einem nicht schlechten Kandidaten für den nicht bevorzugten Minimalpfad auswählt.
-
Eine Alternative zu dem hier beschriebenen Koordinierungsmechanismus der Filter für besetzte Ports wäre, dass alle Filter für besetzte Ports unabhängig voneinander agieren, aber dass die Filter für besetzte Ports auf dem minimalen Pfad und die lokalen Filter für besetzte Ports auf dem nichtminimalen Pfad jeweils ein Signal an die adaptive Auswahlstufe weiterleiten, um anzuzeigen, ob ihre jeweiligen Portkandidaten aufgrund besetzter Ports an nachgeschalteten Switches eine schlechte Wahl sind. Wenn dies der Fall ist, kann die adaptive Auswahlfunktion die Priorität ihrer Portkandidaten zugunsten anderer Ports aufheben. Das Ergebnis wäre das gleiche wie die hier beschriebene Koordinierung zwischen den verschiedenen Filtern für besetzte Anschlüsse.
-
Wie in dargestellt, kann eine lastbasierte adaptive Auswahl an den verbleibenden Pfadkandidaten-Ports 510 durchgeführt werden, die nach dem von der FRF-Komponente 400 durchgeführten Pseudo-Zufallsauswahlprozess übrig bleiben. Die adaptive Auswahlphase führt zu einem einzigen, am wenigsten belasteten Portkandidaten 512, an den ein Rahmen weitergeleitet werden kann, wobei die aktuelle Belastung der Portkandidaten, die die Pseudozufallsauswahl nach unten überlebt haben (überlebende Portkandidaten 508), verglichen wird, um den am wenigsten belasteten Portkandidaten aus dieser verbleibenden Gruppe von Portkandidaten zu bestimmen.
-
In einigen Ausführungsformen werden bevorzugte Minimalpfad-Kandidatenports gegenüber nicht bevorzugten Minimalpfad-Kandidatenports und Minimalpfad-Kandidatenports gegenüber Nicht-Minimalpfad-Kandidatenports bevorzugt ausgewählt. Um diese bevorzugte Auswahl zu erreichen, kann vor der Durchführung des adaptiven Auswahlvergleichs ein Vorspannungswert zur Last jedes Portkandidaten hinzugefügt werden. Der verwendete Bias-Wert kann mit Hilfe von CSRs konfiguriert werden und kann je nach Art des Pfades, auf den er angewendet wird (d. h. nicht bevorzugt minimal, bevorzugt minimal und nicht minimal), der Verkehrsklasse des weitergeleiteten Rahmens und der Position des Rahmens auf seinem Pfad variieren. Beispielsweise können Rahmen, die zu einer Verkehrsklasse mit niedriger Latenz gehören, stärker auf minimale Pfade ausgerichtet sein als Rahmen in anderen Verkehrsklassen, um eine größere Wahrscheinlichkeit zu haben, Anforderungen oder Bedürfnisse mit niedriger Latenz zu erfüllen. Frames können auch zunehmend auf Minimalpfad-Routen ausgerichtet sein, je näher die Frames an ihrem Ziel sind.
-
Jeder vorzeichenbehaftete Lastwert (9 Bit breit) wird durch Addition eines vorzeichenlosen (8 Bit breiten) Vorspannungswertes zu einem vorzeichenlosen (8 Bit breiten) Port-Lastwert ermittelt. Um den Vorspannungswert und den Typ des Lastwerts zu bestimmen, der für jeden Kandidaten gilt, werden in den vorangehenden Stufen der minimalen und nicht minimalen Portauswahl die Kandidatenports in drei verschiedene Kategorien unterteilt. Die Vorspannungswerte werden aus einer per Software konfigurierbaren Tabelle, der Vorspannungstabelle 414A, entnommen (im Folgenden ausführlicher beschrieben). Die Art des für jeden Port zu verwendenden Lastwerts wird bestimmt und führt zu minimal bevorzugten Kandidaten-Ports (zu denen Edge-Port-Kandidaten gehören, falls vorhanden), nicht-minimalen Kandidaten-Ports (entweder globale oder lokale nicht-minimale Kandidaten, je nach Konfiguration der Routing-Algorithmus-Tabelle 408), wobei ein Satz globaler nicht-minimaler Kandidaten-Ports sowohl globale als auch lokale Ports enthalten kann, während ein Satz lokaler nicht-minimaler Kandidaten-Ports nur lokale Ports enthält. Je nach dem Punkt, an dem die Routing-Anforderung durchgeführt wird, kann eine Kategorie entlang des Pfades zwischen den Edge-Ports der Quelle und des Ziels keine Kandidaten enthalten. Am Ziel-Switch z. B. enthält bei typischer Konfiguration nur die minimale nicht bevorzugte Kategorie Kandidaten für Unicast-Verkehr.
-
Damit sich die Vorspannung auf dem Weg eines Telegramms zu seinem Ziel ändern kann und die Vorspannung vom FTag des Telegramms abhängt, werden die Einträge in der Vorspannungstabelle 414A sowohl durch den Punkt des Telegramms auf seinem Weg (z. B. an der Quellgruppe, an einer Zwischengruppe, an der Zielgruppe) als auch durch seine FTag-Vorspannungsklasse indiziert. Die FTag-Bias-Klasse ist ein vom FTag-Wert des Rahmens abgeleiteter Wert. Jeder Eintrag in der Bias-Tabelle enthält drei Bias-Werte: einen für minimal bevorzugte Kandidatenports, einen für nicht bevorzugte minimale Kandidatenports und einen für nicht minimale Kandidatenports.
-
In einigen Ausführungsformen ist auch eine Vorspannungsübersteuerung implementiert, bei der, wenn der aus der Vorspannungstabelle 414A ermittelte Vorspannungswert einer Kandidatenkategorie der maximal mögliche Vorspannungswert ist, diese Kategorie anders behandelt wird, als dies bei anderen Vorspannungswerten der Fall wäre. Insbesondere werden Ports, auf die der maximale Vorspannungswert angewandt wird, unabhängig von ihrer Auslastung nie ausgewählt, es sei denn, es stehen keine anderen Möglichkeiten zur Verfügung. Wird jedoch der maximal mögliche Vorspannungswert auf alle verfügbaren Anschlüsse angewandt, wird der verfügbare Anschluss mit der geringsten Vorspannungslast gewählt; die unterschiedliche Behandlung, die mit dem maximal möglichen Vorspannungswert verbunden ist, wird in diesem Fall außer Kraft gesetzt.
-
Insbesondere stellen die Auslastungswerte die Auslastung der Ports des Switches 202 dar und werden bei der Auswertung der auslastungsbasierten Portmasken und beim Vergleich der Kandidatenports während des adaptiven Routenauswahlprozesses verwendet. Lastbasierte Portmasken werden in den Filtern für ausgelastete Ports verwendet, um Ports, die aufgrund der aktuellen Auslastung nicht in Frage kommen, aus der Menge der in Frage kommenden Ports zu entfernen. Es gibt eine Reihe verschiedener Arten von Lastwerten, die innerhalb des Switches verwendet werden, und einige werden an benachbarte Switch-Geräte übermittelt. Diese Lastwerte werden in den folgenden Abschnitten beschrieben, wobei zu beachten ist, dass veranschaulicht, wie die Lastwerte gemessen, übermittelt und verwendet werden.
-
Es werden mehrere Lastmetriken berechnet und verwendet, um zu bestimmen, an welchen Anschluss ein Rahmen weitergeleitet werden soll, wenn es mehr als einen Anschluss gibt, an den der Rahmen weitergeleitet werden kann. Die Lastmetriken werden auch bei der Erstellung von Busy-Port-Masken verwendet, die, wie oben beschrieben, dazu dienen, stark ausgelastete Ports aus der Betrachtung herauszunehmen.
-
Es werden hier fünf Lastmetriken beschrieben: lokale Last, Gruppenlast, globale nicht-minimale globale Portlast, mittlere globale Last und globale nichtminimale lokale Portlast.
-
Was die lokale Last betrifft, so wird die Last jedes Ausgangsports eines Schalters (z. B. der Ausgangsports 220c des Schalters 202) kontinuierlich bewertet und der entsprechenden FRF-Instanz als 8-Bit-Wert local_load zur Verfügung gestellt. Größere Werte stehen für eine höhere Last. Die aktuelle Last, die an jedem Ausgangsanschluss vorhanden ist, wird vom Output Control Age Queue Block gemessen. Die Ausgangsanschlusslast wird von jeder Alterswarteschlangeninstanz an die FRF-Instanz (der FRF-Komponente 400) weitergegeben, die mit der Eingangsseite desselben Anschlusses verbunden ist. Der dem FRF bereitgestellte Lastwert ist ein 8-Bit-Wert, der als local_load bezeichnet wird. Die Alterswarteschlange bestimmt die lokale Last auf der Grundlage einer Kombination aus der Menge des anstehenden Datenverkehrs, der darauf wartet, über diesen Anschluss abgewickelt zu werden, und der Menge des Datenverkehrs, der auf der gegenüberliegenden Seite der Verbindung im Eingangspuffer des Switch-Geräts des Link-Partners ansteht. Die Berechnung und Konfiguration von local_load wird später durchgeführt. Jede FRF-Instanz verteilt den local_load-Wert, den sie von ihrer zugehörigen age queue-Instanz erhält, an alle anderen FRF-Instanzen. Auf diese Weise erfährt jede FRF-Instanz die aktuelle local_load eines jeden Ausgangsports.
-
Wenn die Port-Loads von Kandidaten-Ports verglichen werden, um den besten Port für die Weiterleitung eines Frames zu bestimmen, wird der local_load-Wert des Ports für Ports verwendet, die für das Minimalpfad-Routing in Frage kommen, und für Ports, die für das lokale Nicht-Minimalpfad-Routing in Frage kommen.
-
Die Gruppenlast ist ein Maß dafür, wie geeignet eine Libellengruppe für die Verwendung als Zwischengruppe in einem globalen nicht-minimalen Pfad ist. Der 8-Bit-Wert für die Gruppenlast wird nicht von einem Switch, wie z. B. dem Switch 202, berechnet, sondern ist softwarekonfigurierbar. Die Software könnte bei der Ableitung des group_Ioad-Werts ein Maß für die Netzinjektionslast verwenden, die auf der Eingangsseite der Edge-Ports der Gruppe vorhanden ist, oder den group_Ioad-Wert auf der Grundlage einer Richtlinie bestimmen, die die Verwendung bestimmter Gruppen als nichtminimale Zwischengruppen verhindert, vielleicht auf der Grundlage der in den Gruppen laufenden Aufträge oder Dienste. Der Wert group_Ioad soll also repräsentativ für den Umfang des lokalen Verkehrs innerhalb einer Gruppe sein.
-
Ein Netzverwaltungs-Stack setzt den group_load-Wert durch regelmäßiges Schreiben in einen CSR. Der per Software konfigurierte Wert für die Gruppenauslastung wird über globale Links kommuniziert. FRF-Instanzen, die mit globalen Links verbunden sind, leiten den group_load-Wert, den sie von ihrem Link-Partner in der Gruppe auf der gegenüberliegenden Seite des Links erhalten, an alle anderen FRF-Instanzen im Switch weiter. Auf diese Weise erfährt jede FRF-Instanz die Gruppenlastwerte der Gruppen am gegenüberliegenden Ende jeder der vom Switch abgeschlossenen globalen Links.
-
Bei der globalen nichtminimalen globalen Portauslastung (gnmgp_Ioad) handelt es sich um eine Metrik, mit der die Eignung eines globalen Ports für die Weiterleitung eines Rahmens an die Zwischengruppe, die von der mit dem globalen Port verbundenen globalen Verbindung erreicht wird, beurteilt wird. Die gnmgp_load ist nominell gleich dem Maximum aus dem local_load-Wert des globalen Ports und dem group_Ioad-Wert, der von der Gruppe empfangen wird, die von der globalen Verbindung erreicht wird. Durch das Feld G-NMGP _EN_ GRP LD in CSRR _ TF _ FRF_CFG-_LOAD_CTRL kann jedoch die Komponente group_load ausgeschlossen werden.
-
Wenn die Port-Loads von Kandidaten-Ports verglichen werden, um den besten Port für die Weiterleitung eines Frames zu bestimmen, wird der gnmgp_Ioad-Wert des Ports für globale Ports verwendet, die für globales Non-Minimal-Path-Routing in Frage kommen.
-
Die mittlere globale Last (mean_global_load) ist für die Beurteilung der Eignung eines Switches für das Erreichen einer Zwischengruppe, die direkt mit diesem Switch verbunden ist, vorgesehen. Der mean_global_load-Wert ist ein 8-Bit-Wert, der dem arithmetischen Mittelwert der gnmgpJoad-Werte aller globalen Ports des Switches entspricht. Ports, die entweder von der Hardware oder der Software als nicht betriebsbereit eingestuft werden, werden von der Berechnung ausgeschlossen. Die in die mean_global_load-Berechnung einzubeziehenden Ports werden aus den globalen Ports CSR R TF FRF CFG GNM ermittelt.
-
Wenn für einen Port, dessen Last in die Berechnung der mittleren_globalen_Last einfließt, kein group_load-Wert vom Port-Statusring empfangen wird, weil entweder keine Verbindungspartnerdaten für diesen Port empfangen werden oder weil die empfangenen Verbindungspartnerdaten keine globalen Verbindungsdaten sind, basiert der Beitrag dieses Ports zur mittleren_globalen_Last ausschließlich auf der lokalen Last dieses Ports. Es sollte klar sein, dass der oben erwähnte Portstatusring Status- und Lastinformationen zwischen den Ports eines Switches (z. B. Eingangs- und Ausgangsports 220b bzw. 220c des Switches 202) übermittelt. Der berechnete mean_global_load-Wert wird über lokale Verbindungen kommuniziert. FRF-Instanzen, die mit lokalen Verbindungen verbunden sind, leiten den mean_global_Ioad-Wert, den sie von ihrem Link-Partner im lokalen Switch auf der gegenüberliegenden Seite der Verbindung erhalten, an alle anderen FRF-Instanzen in einem Switch weiter. Auf diese Weise erfährt jede FRF-Instanz die mean_global_load-Werte der lokalen Switches am gegenüberliegenden Ende jeder der lokalen Verbindungen, die von der Vermittlungsstelle abgeschlossen werden, und kann diese Werte bei der globalen nicht-minimalen Pfadauswahl verwenden.
-
Globale nicht-minimale lokale Portauslastungsmetriken werden von jeder FRF-Instanz berechnet, unter Verwendung des Portstatusrings zwischen den Ports in einem Switch verteilt und zwischen Switches verteilt. Die globale nicht-minimale lokale Portauslastung ist eine Metrik zur Beurteilung der Eignung eines lokalen Ports für die Weiterleitung eines Rahmens an eine Zwischengruppe eines globalen nichtminimalen Pfads. Die globale nicht-minimale lokale Portauslastung berücksichtigt sowohl die Auslastung des lokalen Ports als auch die Eignung des lokalen Gruppen-Switches, mit dem der Port verbunden ist, um eine Zwischengruppe zu erreichen. Der gnmlp_Ioad-Wert eines Ports ist gleich dem Maximum aus der local_load des Ports und der mean_global_load, die vom Partner-Switch des Ports gemeldet wird. Durch Softwarekonfiguration ist es möglich, die Komponente mean_global_load zu entfernen, so dass die gnmlp_Ioad eines Ports einfach gleich seiner local-load wird.
-
Der gnmlp_Ioad-Wert ist ein 8-Bit-Wert. Der berechnete gnmlp_load-Wert basiert auf den Werten local_load und mean_global_load, die über den Port-Status-Ring verteilt werden. Jede FRF-Instanz berechnet den gnmlpJoad-Wert für alle Ports ihres Switches, an denen Linkpartnerdaten für eine lokale Verbindung empfangen werden. Wenn vom Partner-Switch eines Ports keine Laststatusinformationen empfangen werden, wird der gnmlp_Ioad-Wert für diesen Port gleich dem local_load-Wert des Ports gesetzt.
-
Für Ports, an denen Linkpartnerdaten für eine globale Verbindung empfangen werden, wird der gnmlp_Ioad-Wert des Ports auf den für gnmgp_load berechneten Wert gesetzt. Dies ist ein Nebeneffekt einer Implementierungsoptimierung, bei der für gnmgp_Ioad und gnmlp_Ioad derselbe Speicherplatz verwendet wird, da für jeden gegebenen Port höchstens einer der beiden Werte gültig ist. Die globale nicht-minimale lokale Portlast-Metrik wird nicht an Ports verwendet, an denen globale Link-Partner-Daten empfangen werden.
-
veranschaulicht beispielhafte Lastmessungen und wie die Lastmessung zwischen Schaltern in einer Gruppe ausgetauscht werden kann. zeigt eine Gruppe von Schaltern, z. B. Gruppe 1, die die Schalter 602, 604 und 606 umfasst, von denen jeder eine Ausführungsform des Schalters 202 ( ) sein kann. Gruppenlastwerte können, wie oben erwähnt, über globale Verbindungen ausgetauscht werden, und wie dargestellt, werden Gruppenlastwerte von jedem der Schalter 602, 604 und 606 von anderen Gruppen/Schaltern in der Switch-Fabric übertragen/empfangen. Innerhalb der Gruppe 1 tauschen die Switches 602, 604 und 606 mean_global_load-Werte und rs_busy_port_masks aus. Wie bereits erwähnt, erfasst jede FRF-Instanz alle rs_busy_port_masks, so dass alle FRF-Instanzen den Remote-Busy-Port-Status erfahren, der von allen benachbarten Switches bereitgestellt wird. Switch 602 empfängt auch gnmlp_Ioad-Werte, die am Ausgang lokaler Ports gemessen werden, basierend auf local_load an diesem Port und mean_global_Ioad, das vom Link-Partner gemeldet wird. Darüber hinaus empfängt der Switch 602 die am Ausgang aller Ports gemessenen local_load-Werte. Es ist zu beachten, dass diese Last- und Maskenwerte über die Verbindungen zwischen den angeschlossenen Switches symmetrisch von jedem Switch zum anderen gesendet werden.
-
Der in den vorangegangenen Unterabschnitten beschriebene Fabric-Routing-Prozess wird für jeden empfangenen Rahmen durchgeführt. Der Switch bestimmt je nach den Ordnungsanforderungen des Datenverkehrs, ob er ein paketweises adaptives Routing (unter Verwendung dieses Wertes) oder ein flussbasiertes adaptives Routing (bei dem dieser Wert für das erste Paket in jedem Fluss verwendet wird) durchführt.
-
Wie hier beschrieben, unterstützt ein Switch, wie z. B. der Switch 202, das Routing über minimale und nicht-minimale Pfade in einem Netzwerk. In einigen Ausführungsformen kann das Netzwerk, wie oben angedeutet, eine Libellen-Topologie aufweisen. Das Dragonfly-Routing ist hierarchisch und unterscheidet zwischen lokalen Zielen (die sich in derselben Gruppe wie die Quelle befinden) und globalen Zielen. In einem Dragonfly-Netzwerk leitet ein Switch also zu einer Zielgruppe und dann zu einem Switch innerhalb dieser Gruppe, wobei zwei Tabellen verwendet werden, anstatt zu einzelnen Zielen über eine große Tabelle.
-
Es sollte klar sein, dass die minimalen Pfade auf dem Ziel basieren. Wenn eine Ziel-NIC lokal ist, wird ein Ausgangsport ausgewählt, der mit dem Ziel-Switch verbunden ist. Befindet sich das Ziel in einer anderen Gruppe, wird das Paket an einen Switch innerhalb der lokalen Gruppe weitergeleitet, der mit der Zielgruppe verbunden ist. In einem großen System gibt es vielleicht nur einen solchen Pfad, aber in einem kleinen System gibt es wahrscheinlich viele, von denen einige mit dem Eingangs-Switch und andere mit Switches an anderen Stellen innerhalb seiner Gruppe verbunden sind. Der Eingangsschalter wählt zwischen ihnen aus.
-
Die für das Minimalpfad-Routing in Frage kommenden Ports werden in bevorzugte und nicht bevorzugte Ports unterteilt, wobei die bevorzugten Ports zu einem Pfad mit weniger Sprüngen führen können. Bei nicht-minimalen Pfaden werden die Pakete über einen zwischengeschalteten Switch geleitet, der als Root-Switch bezeichnet wird. Root-Switches werden je nach den Ordnungsanforderungen des Verkehrs paketweise oder flussweise ausgewählt.
-
Nicht-minimaler Verkehr wird „nach oben“ zum Root-Switch und dann minimal „nach unten“ zum Ziel geleitet. In einigen Ausführungsformen werden zwischengeschaltete Root-Switches nach dem Zufallsprinzip ausgewählt, um die Last gleichmäßig zu verteilen. Das Netz, z. B. das Netz 100, bietet die Möglichkeit, die Auswahl der Zwischengruppen zu steuern, so dass der Datenverkehr in Richtung der Zwischengruppen geleitet wird, von denen bekannt ist, dass sie wenig belastet sind, oder weg von denen, die eine bestimmte Funktion haben oder bekanntermaßen stark belastet sind. Root-Switches können über alle Gruppen verteilt sein, wobei ein nicht-minimaler Pfad einen Root-Switch in der Quellgruppe, der Zielgruppe oder einer beliebigen Zwischengruppe erkennen kann. Globale nicht-minimale Routen nehmen einen indirekten Weg über einen Root-Switch in einer Zwischengruppe. Diese Pfade erfordern zwei globale Hops, einen von der Quellgruppe zu einer Zwischengruppe und einen von der Zwischengruppe zur Zielgruppe. Globale nicht-minimale Pfade erfordern bis zu drei lokale Sprünge, einen in jeder Gruppe. Die maximale Pfadlänge beträgt fünf Switch-to-Switch-Hops, unabhängig von der Systemgröße.
-
Die minimale Leitweglenkung ist zu bevorzugen, da die Wege kürzer sind und somit die Belastung des Netzes geringer ist. Minimalrouting allein führt jedoch bei einigen Verkehrsmustern zu einer schlechten Leistung, z. B. wenn alle Knoten in einer Gruppe mit Knoten in einer anderen Gruppe kommunizieren. Um eine gute Leistung in einem breiten Spektrum von Verkehrsmustern zu erreichen, ist eine Mischung aus minimalem und nichtminimalem Routing erforderlich.
-
Bei jedem Hop entlang des Pfades eines Frames werden die Routing-Modi, die verwendet werden können, um den Frame entlang seines nächsten Hop weiterzuleiten, durch die Konfiguration der FRF-Routing-Algorithmus-Tabelle 408 gesteuert. Wenn ein Frame an einem Switch-Eingangsport empfangen wird, werden die Arten von Pfaden bestimmt, über die der Frame weitergeleitet werden kann: lokal minimal, global minimal, lokal nicht-minimal und global nicht-minimal. Die Menge der Ausgangsports, an die der Rahmen weitergeleitet werden kann, wird durch die Art der an diesem Punkt zulässigen Pfade bestimmt.
-
Welche Arten von Pfaden zulässig sind, hängt davon ab, wo sich der Rahmen auf seiner Reise zwischen den Eingangs- und Ausgangsports des Netzes befindet. Die Pfadarten sind wie folgt. Lokale Minimalpfade wählen Verbindungen, die direkt mit dem Ziel-Switch des Rahmens verbunden sind, und können verwendet werden, wenn sich der Rahmen in seiner Zielgruppe befindet. Globale Minimalpfade können verwendet werden, wenn sich der Frame nicht in seiner Zielgruppe befindet, und wählen entweder globale Links, die direkt mit der Zielgruppe des Frames verbunden sind, oder lokale Links, die mit einem Switch verbunden sind, der funktionierende globale Links hat, die direkt mit der Zielgruppe des Frames verbunden sind. Lokale nicht-minimale Pfade können verwendet werden, wenn sich der Frame in seiner Zielgruppe befindet, oder wenn der Frame in einer Zwischengruppe ist. Lokale nicht-minimale Pfade wählen lokale Verbindungen, die mit anderen Switches in der Gruppe verbunden sind, ohne Rücksicht auf das Ziel des Frames. Befindet sich der Frame in der Zielgruppe, muss es möglich sein, den Ziel-Switch des Frames innerhalb eines weiteren Sprungs zu erreichen, nachdem man den lokalen nicht-minimalen Sprung genommen hat. In einer Zwischengruppe muss es möglich sein, einen Switch mit einer funktionierenden globalen Verbindung, die zur Zielgruppe des Rahmens führt, innerhalb eines weiteren Sprungs zu erreichen, nachdem man den lokalen nicht-minimalen Sprung genommen hat. Lokale Links, die zu Switches führen, bei denen dies nicht möglich ist, dürfen nicht ausgewählt werden.
-
Globale nicht-minimale Pfade können verwendet werden, wenn sich der Frame in seiner Quellgruppe und nicht in seiner Zielgruppe befindet. Globale nicht-minimale Pfade wählen entweder globale Links, die mit anderen Gruppen verbunden sind, oder lokale Links, die mit anderen Switches in der Quellgruppe verbunden sind, ohne Rücksicht auf das Ziel des Frames. Globale Links dürfen nur ausgewählt werden, wenn sie mit einer Gruppe verbunden sind, die über funktionierende Links mit der Zielgruppe des Frames verbunden ist. Ebenso dürfen lokale Links nur dann ausgewählt werden, wenn sie mit Switches verbunden sind, die über globale Links verfügen, die ihrerseits eine gültige globale nicht-minimale Pfadwahl darstellen.
-
Das adaptive Routing wählt zwischen minimalen und nicht-minimalen Pfaden (wie oben beschrieben) entsprechend ihrer aktuellen Auslastung.
-
Beim Minimalrouting werden in der Zielgruppe, aber nicht am Ziel-Switch, lokale Minimalrouten erzeugt, indem das switch_id-Feld der Ziel-Fabric-Adresse in einer lokalen Switch-Minimal-Tabelle nachgeschlagen wird ( . Die Suche liefert eine Reihe gültiger Verbindungen. Die lokale Switch-Minimaltabelle enthält 128 Einträge mit jeweils 64 Bits, wobei jedes Bit für einen möglichen Ausgangsanschluss steht. Am Ziel-Switch wird die Auswahl des Ausgangsports oder der Ports durch Nachschlagen im Feld endpoint_id der Ziel-Fabric-Adresse in der lokalen Port-Minimal-Tabelle getroffen. Die Suche liefert eine Reihe gültiger Verbindungen. Die Minimaltabelle des lokalen Anschlusses enthält 64 Einträge mit jeweils 64 Bits, wobei jedes Bit einen möglichen Ausgangsanschluss darstellt.
-
Globale Minimalrouten werden generiert, indem das Feld global_id der Fabric-Zieladresse in einer globalen Minimaltabelle nachgeschlagen wird ( . Die Suche liefert einen Satz gültiger Verbindungen. Die globale Minimaltabelle enthält 512 Einträge mit jeweils 64 Bit, wobei jedes Bit für einen möglichen Ausgangsanschluss steht.
-
Lokale Minimalpfade bestehen aus höchstens einem Switch-to-Switch-Sprung, vom Quell-Switch zum Ziel-Switch, die beide in derselben Gruppe liegen. Es kann mehrere solcher Pfade geben. Lokale nicht-minimale Pfade führen über zwei Switch-to-Switch-Sprünge, vom Quell-Switch zu einem Zwischen-Switch, dem so genannten Root-Switch, und von dort zum Ziel-Switch. Es gibt viele solcher Pfade.
-
Globale Minimalpfade benötigen einen globalen Hop von der Quellgruppe zur Zielgruppe. Es gibt höchstens einen lokalen Hop in jeder der Quell- und Zielgruppen. Globale Minimalpfade erfordern unabhängig von der Systemgröße maximal drei Switch-to-Switch-Sprünge.
-
In bestimmten Systemkonfigurationen, in denen es mehrere globale Verbindungen gibt, die eine Quellgruppe mit einer Zielgruppe verbinden, kann es zu einer Verzerrung kommen, so dass der Anteil des in die Quellgruppe eingespeisten Verkehrs, der auf jede der globalen Verbindungen verteilt wird, nicht gleich ist. Betrachten wir als Beispiel den Fall von Switch A, B und C, die alle zur Gruppe X gehören, wobei Switch B drei globale Links hat, die ihn mit der Gruppe V verbinden, und Switch C zwei globale Links, die ihn mit der Gruppe V verbinden. Wenn der am Switch A eingespeiste Verkehr, der für die Gruppe V bestimmt ist, gleichmäßig auf Switch B und C verteilt wird, wird jeder der beiden globalen Links von Switch C stärker belastet als jeder der drei globalen Links von Switch B.
-
Um der Verzerrung entgegenzuwirken, kann die globale Minimaltabelle in mehrere Blöcke unterteilt werden, von denen jeder in der Lage ist, einen gültigen Satz globaler Routing-Entscheidungen für eine beliebige Zielgruppe zu erzeugen. Der Block, der für die Bearbeitung der Anfrage verwendet wird, wird von der FRF pseudozufällig für jeden Rahmen ausgewählt. Innerhalb jeder Blockinstanz der Globalen Minimaltabelle wird nur eine Teilmenge der möglichen Kandidatenports, die zum Erreichen der Zielgruppe verwendet werden können, ausgefüllt. Die Teilmenge wird so gewählt, dass sie der Verzerrung entgegenwirkt. Die bestückten Teilmengen können über die verschiedenen Blockinstanzen hinweg variiert werden, so dass alle möglichen Kandidaten-Ports genutzt werden können.
-
Ein globaler Minimalpfad zwischen einem Edge-Port in einer Gruppe und einem Edge-Port in einer anderen Gruppe kann einen, zwei oder drei Sprünge über Fabric-Links erfordern. Ein Sprung, wenn der Switch mit dem Ingress-Edge-Port in der Quellgruppe über einen globalen Link direkt mit dem Switch mit dem Egress-Edge-Port in der Zielgruppe verbunden ist. Zwei Sprünge, wenn der Rahmen eine globale Verbindung zwischen den beiden Gruppen durchläuft, die direkt mit dem Eingangs-Switch in der Quellgruppe oder mit dem Ausgangs-Switch in der Zielgruppe verbunden ist. In diesem Fall ist auch ein Hop über eine lokale Verbindung entweder in der Quell- oder in der Zielgruppe erforderlich. Schließlich sind drei Sprünge erforderlich, wenn der Rahmen eine globale Verbindung durchläuft, die weder mit dem Eingangs-Switch in der Quellgruppe noch mit dem Ausgangs-Switch in der Zielgruppe direkt verbunden ist. In diesem Fall ist sowohl in der Quell- als auch in der Zielgruppe ebenfalls ein Hop über eine lokale Verbindung erforderlich. Der lokale Link-Hop in der Quellgruppe bringt den Frame vom Ingress-Switch zum Quellgruppen-Switch, der mit dem globalen Link verbunden ist. Der lokale Link-Hop in der Zielgruppe bringt den Frame vom Zielgruppen-Switch, der mit dem globalen Link verbunden ist, zum Egress-Switch.
-
Bei der Identifizierung von Ports, die für einen Minimalpfad in Frage kommen, ist der FRF in der Lage, die Kandidaten in eine Gruppe bevorzugter und eine Gruppe nicht bevorzugter Ports einzuteilen. Die bevorzugten Ports sind diejenigen, die einen globalen Minimalpfad ermöglichen, der zwei oder weniger Fabric Link Hops erfordert. Die nicht bevorzugten Ports sind alle Kandidaten für einen minimalen Pfad, die nicht als bevorzugt eingestuft sind. Die Verwendung bevorzugter Pfade, sofern verfügbar und nicht zu stark belastet, reduziert die durchschnittliche Belastung der lokalen Fabric-Links des Systems, da sie die durchschnittliche Anzahl der pro Frame durchlaufenen lokalen Fabric-Links verringert. Die Verwendung eines bevorzugten Pfads kann auch die End-to-End-Latenzzeit des Frames verringern.
-
Bei der lokalen nicht-minimalen Leitweglenkung kann jede lokale Verbindung ein Kandidat sein. Einige lokale Verbindungen müssen jedoch unter Umständen ausgeschlossen werden, wenn sie zu einem Switch führen, von dem aus das Ziel aufgrund von Link- oder Switch-Ausfällen im System nicht erreicht werden kann. Ein CSR steuert, welche Ports für das lokale Non-Minimal Path Routing in Frage kommen.
-
Beim globalen nicht-minimalen Routing kann im Allgemeinen jede globale Verbindung ein Kandidat sein. Darüber hinaus kann im Allgemeinen jede lokale Verbindung, die einen Switch mit funktionsfähigen globalen Verbindungen erreicht, ein Kandidat sein. Es kann jedoch sein, dass einige Links nicht berücksichtigt werden können, wenn sie zu einem Switch oder einer Gruppe führen, von der aus die Zielgruppe aufgrund von Link- oder Switch-Ausfällen innerhalb des Systems nicht erreicht werden kann. CSRs steuern, welche Ports für das globale Nonminimal Path Routing in Frage kommen.
-
Wenn bei der Auswahl eines Portkandidaten für das globale nicht-minimale Routing alle Portkandidaten, sowohl die globalen als auch die lokalen, mit gleicher Wahrscheinlichkeit ausgewählt werden, wird bei vielen Systemkonfigurationen der globale nicht-minimale Verkehr nicht gleichmäßig auf die globalen Verbindungen, die die Gruppe verlassen, verteilt. Betrachten wir zum Beispiel die Situation von drei Switches, A, B und C innerhalb einer Gruppe, bei der jeder Switch mit jedem anderen Switch durch vier lokale Links verbunden ist und Switch A und Switch B jeweils 14 globale Links und Switch C 16 globale Links abschließen. Wenn es gleich wahrscheinlich ist, dass er zu einer dieser Verbindungen geleitet wird, dann erhält jede globale Verbindung, die von Switch B abgeschlossen wird, nur 4/14 (4 lokale Verbindungen, die 14 globale Verbindungen erreichen) des Verkehrs, der zu jeder globalen Verbindung, die von Switch A abgeschlossen wird, geleitet wird, und jede globale Verbindung, die von Switch C abgeschlossen wird, erhält 4/16 (4 lokale Verbindungen, die 16 globale Verbindungen erreichen).
-
Um dieser potenziellen Verzerrung bei der Verteilung von global nichtminimalem Verkehr auf die globalen Verbindungen einer Gruppe entgegenzuwirken, kann bei der pseudozufälligen Auswahl der globalen nichtminimalen Portkandidaten auf die kleine Anzahl von Ports, die an der adaptiven Routing-Phase teilnehmen, eine Gewichtung auf jeden der Portkandidaten angewendet werden, so dass einige mit größerer Wahrscheinlichkeit den Auswahlprozess überstehen als andere.
-
Das adaptive Routing wählt zwischen diesen minimalen und nichtminimalen Pfaden auf der Grundlage ihrer Auslastung. Der adaptiv geroutete Verkehr beginnt auf einem minimalen Pfad und wird auf einen nicht-minimalen Pfad umgeleitet, wenn die Last auf dem minimalen Pfad hoch ist (dies wird als progressives adaptives Routing bezeichnet). Solche Pfade werden als „divergent“ bezeichnet.
-
Ein nicht-minimaler Pfad kann am Einspeisepunkt oder am Ausgangsrouter in einer Quellgruppe gewählt werden. Ein lokaler nicht-minimaler Pfad kann innerhalb der Quellgruppe, einer Zwischengruppe oder einer Zielgruppe genommen werden, wenn diese als Zwischengruppe ausgewählt wurde. Dragonfly-Routing-Algorithmen erlauben einen nicht-minimalen Pfad sowohl in der Zwischen- als auch in der Zielgruppe (man denke an den Fall, dass der gesamte an den globalen Ports eines bestimmten Routers eingehende Verkehr für die NICs eines anderen Routers in der Gruppe bestimmt ist). Im Allgemeinen ist der nicht-minimale Verkehr jedoch so gut verteilt, dass dies nicht passiert, aber ein zusätzlicher Hop in der Zielgruppe kann immer noch von Vorteil sein, wenn ein Fehler auf einer lokalen Verbindung vorliegt. Nachdem das Paket die Zwischengruppe erreicht hat, kann es entweder eine minimale Route zur Zielgruppe oder eine lokale nicht-minimale Route zu einem Switch mit einem Pfad zur Zielgruppe nehmen.
-
Auch diese Entscheidung wird auf der Grundlage der Auslastung getroffen. Nachdem das Paket einen Sprung innerhalb der Zwischengruppe gemacht hat, muss es die Wurzel erkennen und einen minimalen Pfad zum Ziel nehmen. Adaptive Entscheidungen werden auf der Grundlage der Last und einer Tendenz zu bevorzugten, minimalen oder nicht-minimalen Pfaden getroffen. Ein Routing-Algorithmus, wie oben beschrieben, erhöht die Vorliebe für minimale Pfade, je näher ein Paket am Ziel ist. Dieser Algorithmus bevorzugt einen direkten Weg über die Zwischengruppe, sofern die Last gering ist.
-
Restricted Routing wird an anderen Punkten als Injection und Root Detection eingesetzt, um zu verhindern, dass Pakete in die Richtung zurückfließen, aus der sie gekommen sind. In einem Switch werden Fälle, in denen ein Paket einen Hop von den Punkten der Injection und der Root-Erkennung gemacht hat, erkannt und sichergestellt, dass ein globaler Port genommen wird. Beim lokalen Minimal-Routing kommt das Paket, nachdem es einen Hop von der Root genommen hat, an einem Switch an, der mit der Ziel-NIC verbunden ist. Beim globalen Minimal-Routing kommt das Paket nach einem Hop vom Einspeisepunkt an einem Switch mit einem globalen Link an, der genommen werden muss. In der Zwischengruppe dürfen die Pakete einen lokalen Hop am Einspeisepunkt machen, nachdem sie den Root erkannt haben. Nach diesem Hop kommt das Paket bei einem Switch an, der mit der Zielgruppe verbunden ist; dieser Pfad muss genommen werden.
-
Bei der Weitergabe von Informationen von Switch zu Switch ist es notwendig, sofortige Entscheidungen über den nächsten Schritt auf dem Pfad zu treffen. Die Entscheidungen werden anhand von Informationen getroffen, die aus dem lokalen Status und von benachbarten Switches übermittelt werden. Die Verwendung von Informationen aus vielen verschiedenen Quellen ermöglicht genauere/effizientere Entscheidungen. Dazu gehören auch Informationen von Nachbarn.
-
Frühere Systeme übermittelten Informationen über die durchschnittliche Last von Switch zu Switch. Allerdings sind detailliertere Informationen von verwandten oder benachbarten Switches hilfreicher. Im aktuellen Switch-ASIC kann eine Reihe von Werten Informationen enthalten, die den Status von Ausgangsports verwandter/nachbarschaftlicher Switches anzeigen. Durch die Weitergabe dieser Werte können wesentlich bessere Routing-Entscheidungen getroffen werden. In einem Beispiel wird ein Flag von benachbarten Switches zurückgegeben, wobei das Flag ein Bit für jeden Ausgangsanschluss hat. Bei einem Switch mit 64 Ausgängen würde beispielsweise ein 64-Bit-Flag übertragen. Dies ist viel genauer als die einfache Weitergabe eines globalen Durchschnittswerts für benachbarte Anschlüsse.
-
Netzwerk-Switches unterstützen Fat-Tree-Netze mit zwei oder drei Stufen. In einem typischen System enthalten Teilbaumstrukturen auf Schrankebene zwischen 32 und 256 Endpunkte, die durch eine oder zwei Stufen von Switches verbunden sind. In einem Netzwerk mit voller Bandbreite hat jede Stufe von Switches die gleiche Anzahl von Links zu den Endpunkten und zu den höheren Stufen von Switches.
-
Die Teilbäume sind über Core-Switches verbunden, wobei jeder Core-Switch mit allen Teilbäumen verbunden ist. In einem Netz mit voller Bandbreite und N Endpunkten pro Teilbaum gibt es N Uplinks von den Teilbäumen zum Core-Switch.
-
Die oberste Stufe (ein Core-Switch) hat 64 Down-Links. In einem Fat-Tree mit voller Bandbreite haben die unteren Stufen 32 Up-Links und 32 Down-Links. In einem Tapered Fat-Tree können die unteren Stufen 48 oder mehr Down-Links und 16 oder weniger Up-Links haben. Die Palette der unterstützten Fat-Tree-Topologien ist in der folgenden Tabelle aufgeführt. Beachten Sie, dass die Anzahl der Knoten pro Switch mit der Anzahl der Stufen und der Verjüngung variiert, im Vergleich zu einer Konstante von 16 bei Dragonfly.
-
Tabelle: Maximale Anzahl von Endpunkten für Fat-Tree-Konfigurationen.
Etappen | Geometrie | Schalter in jeder Stufe | Maximale Anzahl von Endpunkten pro Switch | Kegel |
1 | 641 | 64 | 64.0 | Keine |
2 | 64×32 32 : 64 | 2048 | 21.3 | Keine |
2 | 64×48 16 : 64 | 3072 | 38.4 | 1:3 |
3 | 64×32×32 | 1024 : 2048 : 2048 65536 | 12.8 | Keine |
3 | 64×48×32 | 512 : 2048 : 3072 98304 | 17.4 | 1:3:3 |
3 | 64×48×48 | 256 : 1024 : 3072 147456 | 33.9 | 1:3:9 |
-
zeigt ein Beispiel für ein Verfahren zur effizienten Weiterleitung von Daten durch ein Netzwerk in Übereinstimmung mit einigen Ausführungsformen. In diesem Beispiel verfügt das Netzwerk über eine Vielzahl von Switches, die in einer Fat-Tree-Topologie konfiguriert sind. Für das Routing ist eine Routing-Tabelle vorgesehen, die Einträge enthält, um Routing-Entscheidungen auf der Grundlage einer zielbasierten Hash-Funktion zu treffen. Bei Operation 706 empfängt das Netzwerk eine Datenübertragung, die eine Vielzahl von Paketen an einem Edge-Port des Netzwerks umfasst. Bei Operation 708 greift der Switch auf eine Routing-Tabelle zu, um das Routing für die Datenübertragung zu bestimmen. In Operation 710 wird die Route auf der Grundlage der Routing-Tabelle ausgewählt. Die Routing-Tabelle enthält Einträge, um Routing-Entscheidungen auf der Grundlage einer zielbasierten Hash-Funktion zu treffen. Bei Vorgang 712 leitet das System die Datenübertragung durch das Netzwerk mit Routing-Entscheidungen auf der Grundlage der Routing-Tabelle.
-
zeigt ein Beispiel einer Rechnerkomponente 800, die verwendet werden kann, um ein Fat-Tree-Routing gemäß einer Ausführungsform der offengelegten Technologie zu realisieren. Bei der Rechnerkomponente 800 kann es sich zum Beispiel um einen Server-Computer, einen Controller oder eine andere ähnliche Rechnerkomponente handeln, die Daten verarbeiten kann. In der Beispielimplementierung von umfasst die Rechnerkomponente 800 einen Hardwareprozessor 802 und ein maschinenlesbares Speichermedium 804. Bei dem Hardwareprozessor 802 kann es sich um eine oder mehrere Zentraleinheiten (CPUs), halbleiterbasierte Mikroprozessoren und/oder andere Hardwarevorrichtungen handeln, die zum Abrufen und Ausführen von im maschinenlesbaren Speichermedium 804 gespeicherten Anweisungen geeignet sind. Der Hardware-Prozessor 802 kann Befehle, wie die Befehle 806-812, abrufen, dekodieren und ausführen, um Prozesse oder Operationen zum Zusammenführen lokaler Parameter zu steuern, um Schwarmlernen in einem Blockchain-Kontext unter Verwendung homomorpher Verschlüsselung zu bewirken. Alternativ oder zusätzlich zum Abrufen und Ausführen von Befehlen kann der Hardware-Prozessor 802 einen oder mehrere elektronische Schaltkreise enthalten, die elektronische Komponenten zum Ausführen der Funktionalität eines oder mehrerer Befehle enthalten, z. B. ein feldprogrammierbares Gate-Array (FPGA), einen anwendungsspezifischen integrierten Schaltkreis (ASIC) oder andere elektronische Schaltkreise.
-
In verschiedenen Ausführungsformen werden ausgewählte Funktionen an einem Rand des Netzes (d. h. an einem Ingress-Port oder Edge-Port) hinzugefügt. Am Edge-Port wird eine Übersetzungsfunktion ausgeführt, um die Pakete als LAG-Pakete oder ECMP-Pakete zu klassifizieren. Die Kopfzeilen der empfangenen Pakete werden geparst und Felder in den Kopfzeilen, wie z. B. Zieladressen, werden mit einer Reihe von Werten verglichen, die in einer Übersetzungstabelle gespeichert sind. Einige dieser Werte können mit einer LAG verbunden sein oder Übersetzungen sein, die für eine ECMP-Implementierung eingerichtet wurden. Wenn eine Übereinstimmung mit einer dieser Übersetzungsregeln auftritt, wird eine Suche in einer zugehörigen Übersetzungstabelle durchgeführt, die anzeigt, dass die LAG/ECMP-Funktion benötigt wird, und außerdem einen Basiszeiger und einen Breitenwert zurückgibt, die von der LAG/ECMP-Funktion verwendet werden. Eine konfigurierbare Kombination der geparsten Header-Felder wird in eine Verteilungsfunktion eingespeist, die einen Hash-Wert erzeugt. Dieser Hash-Verteilungswert kann die MAC-Adresse, die IP-Adresse und/oder die Port-Adresse des Paket-Headers unter Verwendung einer CRC-Funktion (Cyclic Redundancy Check) kombinieren, um diese Felder zu einer 16-Bit-Zahl mit einer gleichmäßigen Verteilung zu komprimieren. Dieser 16-Bit-Hash-Wert wird mit dem Breitenwert multipliziert. Die oberen Bits des Multiplikationsergebnisses (Bits 16 und darüber) liegen im Bereich von 0 bis (Breite - 1). Da die unteren 16 Bits des Multiplikationsergebnisses nicht benötigt werden, kann ein synthetischer Parallelmultiplikator den größten Teil des Hardware-Multiplikator-Arrays wegoptimieren. Die oberen Bits des Ergebnisses werden zum Basiszeiger addiert, um einen Index in einer anderen Tabelle zu bilden, die Zielportadressen speichert. Bei diesen Zielportadressen handelt es sich um die Mitgliedsports der LAG oder um gültige Zielports für das ECMP-Protokoll. Die Systemsoftware lädt alle LAG/ECMP-Zielportadressen direkt in diese Tabelle, wobei jede LAG/ECMP-Konfiguration die Einträge in dieser endgültigen Nachschlagetabelle von ihrem jeweiligen Basiszeiger bis zu ihrem Basiszeiger + Breite - 1 verwendet.
-
Ein maschinenlesbares Speichermedium, wie das maschinenlesbare Speichermedium 804, kann ein beliebiges elektronisches, magnetisches, optisches oder anderes physikalisches Speichergerät sein, das ausführbare Anweisungen enthält oder speichert. So kann das maschinenlesbare Speichermedium 804 beispielsweise ein Random Access Memory (RAM), ein nichtflüchtiges RAM (NVRAM), ein elektrisch löschbarer, programmierbarer Festspeicher (EEPROM), ein Speichergerät, eine optische Platte oder Ähnliches sein. In einigen Ausführungsformen kann das maschinenlesbare Speichermedium 804 ein nicht-transitorisches Speichermedium sein, wobei der Begriff „nicht-transitorisch“ nicht die transitorischen Übertragungssignale umfasst. Wie unten im Detail beschrieben, kann das maschinenlesbare Speichermedium 804 mit ausführbaren Befehlen kodiert sein, z. B. mit den Befehlen 806-812.
-
Der Hardware-Prozessor 802 kann den Befehl 806 ausführen, um eine Datenübertragung mit mehreren Paketen an einem Edge-Port des Netzwerks zu empfangen. Der Hardware-Prozessor 802 kann den Befehl 808 ausführen, um auf eine Routing-Tabelle zuzugreifen, um das Routing für die Datenübertragung zu bestimmen. Der Hardwareprozessor 802 kann die Anweisung 810 ausführen, um die Route auf der Grundlage der Routing-Tabelle auszuwählen. Die Routing-Tabelle enthält Einträge, um Routing-Entscheidungen auf der Grundlage einer zielbasierten Hash-Funktion zu treffen. Der Hardware-Prozessor 802 kann die Anweisung 812 ausführen, um die Datenübertragung durch das Netzwerk mit Routing-Entscheidungen auf der Grundlage der Routing-Tabelle zu leiten.
-
Der Switch unterstützt Fat-Tree-Netzwerke mit zwei oder drei Stufen. Die oberste Stufe (Spine Switch) hat 64 Downlinks. In einem Fat-Tree mit voller Bandbreite haben die unteren Stufen 32 Up-Links und 32 Down-Links. In einem Tapered Fat-Tree können die unteren Stufen 48 oder mehr Down-Links und 16 oder weniger Up-Links haben. Beachten Sie, dass die Anzahl der Knoten pro Switch mit der Anzahl der Stufen und der Verjüngung variiert, im Vergleich zu einer Konstante von 16 bei Dragonfly. Tabelle 3 Switch Fat Tree Netzwerke
Etappen | Geometrie | Schalter in jeder Stufe | Maximale Anzahl von Knotenpunkten | Knotenpunkte pro Schalter | Kegel |
1 | 64 | 1 | 64 | 64.0 | Keine |
2 | 64x32 | 32:64 | 2048 | 21.3 | Keine |
2 | 64x48 | 16:64 | 3072 | 38.4 | 1:3 |
3 | 64x32x32 | 1024:2048:2048 | 65536 | 12.8 | Keine |
3 | 64x48x32 | 512:2048:3072 | 98304 | 17.4 | 1:3:3 |
3 | 64x48x48 | 256:1024:3072 | 147456 | 33.9 | 1:3:9 |
-
Die Geometrie ist die Anzahl der Abwärtsverbindungen pro Schalter in jeder Stufe: E oder S × E oder S × M × E, wobei S, M, E die Anzahl der Down-Links jedes Spine-, Middle- , Edge-Switches ist. Switches in jeder Stufe: E oder S:E oder S:M:E, wobei S, M, E die Anzahl der Switches in den Spine-, Middle- und Edge-Stufen ist. Taper ist das Verhältnis von Up-Links pro Switch zu Down-Links pro Switch, „none“ bedeutet, dass die Anzahl der Up-Links gleich der Anzahl der Down-Links für alle Stufen ist. EU:ED oder MU:MD:ED, wobei MU, MD, EU, ED für mittlere Aufwärtsverbindungen, mittlere Abwärtsverbindungen, Randaufwärtsverbindungen und Randabwärtsverbindungen stehen. Da jede Aufwärtsverbindung des Edge Switch 912 mit einer Abwärtsverbindung des Middle Switch verbunden ist, ist EU= MD.
-
Das Fat-Tree-Routing kann mit Hilfe der Minimaltabellen durchgeführt werden. Frames werden adaptiv von den Leaf-Switches zu den Spine-Switches und dann deterministisch nach unten zum Ziel geleitet.
-
zeigt ein Beispiel für eine dreistufige Fat-Tree-Topologie gemäß einigen Ausführungsformen. Die unterste Ebene der Switches stellt Edge Switches 912 dar, die mit Edge Links 913 verbunden sind. Die mittleren Schalter 916 sind über lokale Verbindungen 915 mit den Randschaltern 912 verbunden. Die Spine-Switches 918 sind über globale Links 917 mit den mittleren Switches 916 verbunden.
-
Die Anzahl der Rückenschalter pro Gruppe ist gleich der Anzahl der mittleren Schalter pro Gruppe innerhalb der Gruppen, die die mittleren und Randschalter enthalten. Sie ist daher abhängig von der Verjüngung, die an den Randschaltern vorgenommen wird. Hier: 32 ohne Verjüngung. Die maximale Anzahl der mittleren Schalter pro Gruppe hängt von der Verjüngung an den Randschaltern ab. Hier 32 ohne Verjüngung und 16 mit 3 Edge Links pro Edge Switch Up-Link. Die maximale Anzahl der Edge-Switches pro Gruppe hängt von der Verjüngung ab, die an den mittleren Switches implementiert ist. Hier 32 ohne Verjüngung und 48 mit 3 Down-Links pro Middle-Switch-Up-Link.
-
Die Gruppen werden aus den miteinander verbundenen Edge Switches 912 und Middle Switches 916 gebildet. Innerhalb dieser Gruppen wird lokales Routing verwendet. Globales Routing leitet die Rahmen an die richtige Gruppe weiter. Bei kleinen Systemen werden die Gruppen aus den Endpunkten der einzelnen Leaf-Switches gebildet. Die Tabellen in und zeigen die globalen Routen für die Switches auf der linken Seite der Abbildung. Down-Einträge zeigen an, dass ein bestimmter Down-Link genommen werden muss, um zu einer Gruppe, einem lokalen Switch oder einem Endpunkt zu gelangen. Up-Einträge zeigen an, dass jeder der Up-Links verwendet werden kann, um einen bestimmten lokalen Switch oder eine Gruppe zu erreichen. Der Up-Eintrag enthält normalerweise alle Up-Links, obwohl einer oder mehrere weggelassen werden können, um die Weiterleitung zu fehlerhaften Komponenten innerhalb des Netzes zu vermeiden. Wenn mehrere Links angegeben sind, kann eine adaptive Auswahl getroffen werden.
-
Dieses Schema unterstützt alle dreistufigen Netze, die in Switch Fat Tree Networks gezeigt werden (siehe Tabelle 3). Zweistufige Netze können durch lokales Online-Routing innerhalb einer einzigen Gruppe gebildet werden.
-
Die Fabric-Routing-Konfiguration eines Switch-Geräts hängt von der Anzahl der Stufen im Fat-Tree-Netzwerk und von der Stufe innerhalb des Netzwerks ab, auf der sich das Gerät befindet. In den folgenden Unterabschnitten wird beschrieben, wie Switch zur Unterstützung von Fat-Trees mit drei, zwei und einer Stufe verwendet werden kann. Die Routing-Funktionalität, die Switch für das Dragonfly-Routing bereitstellt, kann auch auf andere Netzwerktopologien einschließlich Fat-Tree angewendet werden.
-
Wie bereits erwähnt, werden in einem Fat-Tree-Netz die unteren Gruppen aus den Sätzen von Edge-Level-Switches 912 und Middle-Level-Switches 916 gebildet, die miteinander verbunden sind. Die Schalter auf der Rückgrat-Ebene sind ebenfalls in Gruppen (Rückgrat-Gruppen) organisiert, wobei die Anzahl der Schalter pro Rückgrat-Gruppe gleich der Anzahl der mittleren Schalter 916 pro unterer Gruppe und die Anzahl der Rückgrat-Gruppen gleich der Anzahl der Aufwärtsverbindungen pro mittlerem Schalter ist. Diese Organisation weist die folgenden Merkmale auf.
-
Jeder Randschalter 912 ist mit jedem mittleren Schalter 916 innerhalb seiner Gruppe verbunden und umgekehrt.
-
Jeder mittlere Switch 916 ist mit einem Switch in jeder Stachelgruppe verbunden.
-
Jeder Spine-Switch 918 ist mit allen unteren Gruppen verbunden. Daher ist jede untere Gruppe auch mit allen Spine-Switches verbunden.
-
Die maximale Anzahl der unteren Gruppen entspricht der Anzahl der Down-Links pro Spine-Switch: 64. Die maximale Anzahl der Rückgratgruppen entspricht der Anzahl der Aufwärtsverbindungen pro mittlerem Switch: 32, wenn es keine Verjüngung an den mittleren Switches gibt, weniger, wenn es eine Verjüngung gibt. Daher beträgt die maximale Anzahl von Gruppen aller Typen 96.
-
Die maximale Anzahl der Randschalter 912 pro unterer Gruppe ist gleich der Anzahl der Abwärtsverbindungen pro mittlerer Weiche: 32, wenn es keine Verjüngung an den mittleren Weichen gibt, aber bis zu 63 bei größtmöglicher Verjüngung. Die maximale Anzahl der mittleren Schalter 916 pro Gruppe ist gleich der Anzahl der Aufwärtsverbindungen pro Randschalter: 32, wenn es keine Verjüngung an den Randschaltern gibt, weniger, wenn es eine Verjüngung gibt. Die maximale Anzahl der Zungen pro unterer Gruppe ist also 95.
-
Die maximale Anzahl der Schalter pro Rückengruppe entspricht der Anzahl der mittleren Schalter 916 pro Bodengruppe: 32, wenn es keine Verjüngung an den Randschaltern gibt, weniger, wenn es eine Verjüngung gibt.
-
Fast der gesamte Verkehr innerhalb des Fat-Tree-Netzes wird voraussichtlich von einem Edge-Port zum anderen geleitet.
-
Alle Varianten von dreistufigen Fat-Tree-Netzen können mit sieben signifikanten Bits für die global_id und die switch_id implementiert werden.
- global_id-Werte zwischen 0 und 63 (einschließlich) werden zur Identifizierung der unteren Gruppen verwendet.
- global_id-Werte zwischen 64 und 127 (einschließlich) werden zur Identifizierung der Wirbelsäulengruppen verwendet.
- switch_id-Werte zwischen 0 und 63 (einschließlich) werden zur Identifizierung der Randschalter 912 innerhalb der unteren Gruppen verwendet.
- switch_id-Werte zwischen 64 und 127 (einschließlich) werden zur Identifizierung der mittleren Schalter 916 innerhalb der unteren Gruppen verwendet.
- switch_id-Werte zwischen 64 und 127 (einschließlich) werden zur Identifizierung der Switches innerhalb der Spine-Gruppen verwendet.
-
Zur Unterstützung des In-Band-Verwaltungsverkehrs zwischen lokalen Verwaltungsprozessoren (LMPs), die über das gesamte Netzwerk verteilt sind, möglicherweise an jedem Switch im Netzwerk, kann der Switch so konfiguriert werden, dass der Verkehr von jedem Port eines beliebigen Switches im Netzwerk zu jedem Port eines beliebigen Switches im Netzwerk geleitet werden kann.
-
Um die Weiterleitung von Management-Datenverkehr an bestimmte Spine-Switches zu unterstützen, muss der Switch-Id-Wert jedes Spine-Switches mit dem Switch-Id-Wert aller Middle-Switches 916, mit denen er verbunden ist, identisch sein. Diese Einschränkung ergibt sich, weil es keine direkte Verbindung zwischen den Spine-Switches gibt. Die Down-Links der Edge-Switches 912 sind natürlich als Edge-Links konfiguriert. Die Verbindungen, die die Switches innerhalb einer unteren Gruppe miteinander verbinden, sind die Up-Links der Edge-Switches 912 und die Down-Links der Middle-Switches. Diese Links sind als lokale Links konfiguriert. Die Uplinks der mittleren Switches und alle Links der Spine-Switches sind als globale Links konfiguriert.
-
Wenn sich ein Frame bereits in seiner Zielgruppe befindet, wird beim Routing zwischen Edge-Switches das lokale Routing verwendet, um den Frame zu seinem Ziel-Switch innerhalb der Gruppe und zu seinem Egress-Port des Ziel-Switches zu leiten. Befindet sich ein Frame nicht in seiner Zielgruppe, wird das globale Routing verwendet, um den Frame zu seiner Zielgruppe zu leiten.
-
Für die lokale Leitweglenkung zu einem Edge-Switch wird bei einem Edge-Switch 912 in der Zielgruppe, aber nicht am Ziel-Edge-Switch, die minimale Leitweglenkung unter Verwendung der Local Switch Table durch die Routing Algorithm Table aktiviert. Ein Eintrag in der lokalen Switch-Tabelle, der dem Ziel-Switch entspricht, wird zur Auswahl von Aufwärtsverbindungskandidaten verwendet. Wenn keine Fehler innerhalb des Netzes vorliegen und der Ziel-Switch ein anderer Edge-Switch ist, sind alle Uplinks Kandidaten.
-
Bei einem mittleren Switch 916 in der Zielgruppe wird das minimale Routing unter Verwendung der Local Switch Table durch die Routing Algorithm Table aktiviert. Der Eintrag in der lokalen Vermittlungstabelle, der dem Zielschalter entspricht, wird zur Auswahl der in Frage kommenden Abwärtsverbindungen verwendet. Liegen keine Fehler vor, die zu einer fehlenden Verbindung zwischen dem mittleren Switch 916 und dem Ziel-Edge-Switch 918 führen, besteht die Menge der Kandidaten nur aus der oder den Verbindungen, die direkt mit dem Ziel-Edge-Switch verbunden sind.
-
Am Ziel-Switch wird über die Routing-Algorithmus-Tabelle ein minimales Routing unter Verwendung einer lokalen Port-Tabelle aktiviert. Der Eintrag in der Local Port Table, der der endpoint_id in der Destination Fabric Address (DFA) des Rahmens entspricht, wird zur Auswahl des Ausgangsports des Rahmens bzw. einer Reihe von Kandidaten für Ausgangsports verwendet.
-
Beim globalen Routing zu einem Edge-Switch 912 muss der Rahmen an einem Edge-Switch 912 in einer Gruppe, die nicht die Zielgruppe ist, an einen Uplink des Edge-Switch 912 geleitet werden. Liegen keine Störungen innerhalb des Netzes vor, kann der Rahmen an eine beliebige Aufwärtsverbindung weitergeleitet werden. Für die Auswahl der in Frage kommenden Aufwärtsverbindungen kann entweder die globale minimale oder die globale nicht-minimale Leitweglenkung verwendet werden. Beim globalen nicht-minimalen Routing basiert die adaptive Auswahl zwischen den Uplinks des Edge-Switches auf der GNMLP-Last (Global Non-Minimal Local Port) des Links. Dies hat den Vorteil, dass die mittlere Auslastung der Uplinks der mittleren Switches (globale Links) bei der Wahl des Uplinks des Edge-Switches 912 berücksichtigt werden kann. Auf diese Weise werden die mittleren Switches, deren Uplinks weniger stark belastet sind, bevorzugt.
-
Um das globale nicht-minimale Routing an einem Edge-Port zu aktivieren, muss das globale nicht-minimale Routing in der Routing-Algorithmus-Tabelle des Ports aktiviert werden. Die Maske, die steuert, welche lokalen Ports für das globale nicht-minimale Routing in Frage kommen, muss so konfiguriert werden, dass die zulässigen Aufwärtsverbindungen ausgewählt werden. Sind keine Fehler im Netz vorhanden, sind alle Aufwärtsverbindungen erlaubt. Bei Fat-Tree-Netzen sollte der adaptive Routing-Bias für die nicht-minimale Port-Auswahl genauso konfiguriert werden wie für die minimale Port-Auswahl.
-
Bei einem Downlink (lokaler Port) eines mittleren Switches wird das minimale Routing unter Verwendung der Globalen Tabelle durch die Routing-Algorithmus-Tabelle aktiviert. Der Eintrag in der globalen Tabelle, der der Zielgruppe entspricht, wird für die Auswahl von Aufwärtsverbindungs-Kandidaten verwendet. Wenn keine Fehler im Netz vorliegen, sind alle Aufwärtsverbindungen (alle globalen Verbindungen) Kandidaten für das Routing zu einer unteren Gruppe.
-
An einem Spine-Switch wird das minimale Routing unter Verwendung der Globalen Tabelle durch die Routing-Algorithmus-Tabelle aktiviert. Der Eintrag in der Globalen Tabelle, der der Zielgruppe entspricht, wird für die Auswahl von Downlink-Kandidaten konfiguriert. Handelt es sich bei der Zielgruppe um eine untere Gruppe, besteht die Menge der in Frage kommenden Downlinks nur aus dem oder den Downlinks, die direkt mit der Zielgruppe verbunden sind.
-
Beim Erreichen des Aufwärts-Links eines mittleren Switches 916 der Zielgruppe wird das lokale Routing verwendet, um den Rahmen zu seinem Ziel-Switch und Egress-Port zu leiten.
-
Für das Routing zu oder von einem Nicht-Edge-Switch können Frames zwischen den Verwaltungsprozessoren in jedem der Switches mit denselben Mechanismen geroutet werden.
-
Für die Anwendung der RSBP-Funktionalität (Remote Switch Busy Port) bietet der Switch einen Mechanismus, der es ermöglicht, dass die Last an den Ports benachbarter Switches die Routing-Entscheidungen des aktuellen Switches beeinflusst. Dies kann in Situationen genutzt werden, in denen der aktuelle Switch die Wahl hat, über welchen benachbarten Switch er routen soll, um eine bestimmte Zielgruppe oder einen bestimmten Ziel-Switch zu erreichen. Bestimmte benachbarte Switches können vermieden werden, wenn ihre Verbindungen zur Zielgruppe oder zum Ziel-Switch stark belastet sind.
-
Innerhalb des dreistufigen Fat-Tree-Netzes gibt es zwei Stellen, an denen die RSBP-Funktionalität vorteilhaft eingesetzt werden kann:
-
RSBP-Anwendung beim Routing zwischen unteren Gruppen. Bei einem mittleren Switch 916 und der globalen Weiterleitung zu einer anderen unteren Gruppe können bestimmte Spine-Switches vermieden werden, wenn ihre Verbindungen zur Zielgruppe stark belastet sind.
-
RSBP-Anwendung bei der Leitweglenkung zwischen Edge-Switches. Bei einem Edge-Switch 912 und der lokalen Weiterleitung zu einem anderen Edge-Switch 912 innerhalb derselben Gruppe können bestimmte mittlere Switches 916 vermieden werden, wenn ihre Verbindungen zum Ziel-Edge-Switch 912 stark belastet sind.
-
Ein zweistufiges Fat-Tree-Netz kann als eine einzige der in dargestellten unteren Gruppen implementiert werden. Die mittleren Switches 916 in sind die Spine-Switches in einem zweistufigen Netz. Diese Organisation weist die folgenden Merkmale auf.
-
Jeder Edge-Switch (912) ist mit jedem Spine-Switch (916) verbunden (und umgekehrt).
-
Die maximale Anzahl der Edge Switches 912 entspricht der Anzahl der Down-Links pro Spine (Middle) Switch: 64. Rückgrat-(Mittel-)Schalter haben keine Aufwärtsverbindungen.
-
Die maximale Anzahl der Spine-Switches (mittlere Switches) entspricht der Anzahl der Aufwärtsverbindungen pro Edge-Switch: 32, wenn es keine Verjüngung an den Edge-Switches gibt, weniger, wenn es eine Verjüngung gibt. Die maximale Anzahl von Switches im Netz beträgt 96.
-
In einem zweistufigen Fat-Tree-Netz sind die Down-Links der Edge-Switches 912 natürlich als Edge-Links konfiguriert. Die Aufwärtsverbindungen der Edge Switches 912 und die Abwärtsverbindungen der Spine Switches sind als lokale Verbindungen konfiguriert.
-
Das Routing für das zweistufige Netz wird mit einem minimalen Routing implementiert, bei dem die Local Switch Table für das Routing zwischen den Switches und die Local Port Table für die Identifizierung des Egress Ports nach Erreichen des Ziel-Switches verwendet wird. Die Routing-Konfiguration ist eine Untermenge derjenigen, die für dreistufige Netzwerke erforderlich ist.
-
Ein einstufiges Fat-Tree-Netz besteht aus einem einzigen Switch-Gerät. Alle 64 Ports können als Edge-Ports 912 verwendet werden. Das Routing zwischen den Ports wird über die minimale lokale Porttabelle realisiert.
-
Es wird nun beschrieben, wie Rahmen mit Unicast- und sw_port-DFAs geroutet werden. Die Routing-Algorithmus-Tabelle ist eine per Software konfigurierbare Tabelle, die auf der Grundlage des aktuellen Routing-Status des Rahmens gültige Entscheidungen trifft. Gültige Entscheidungen sind z. B., ob ein lokaler minimaler, globaler minimaler, lokaler nicht-minimaler oder globaler nicht-minimaler Pfad für den nächsten Hop des Frames gewählt werden darf. Der Routing-Status umfasst Informationen wie den VC, auf dem der Rahmen empfangen wurde, und ob er sich in der Quell-, Ziel- oder Zwischengruppe befindet.
-
Wenn der Eintrag in der Routing-Algorithmus-Tabelle, der dem aktuellen Routing-Zustand des Rahmens entspricht, deaktiviert ist, gilt der Rahmen als unerwartet und der Fehler EMPTY ROUTE_UF wird gemeldet. Routing-Algorithmus-Tabelleneinträge gelten als deaktiviert, wenn sie weder minimales noch nicht-minimales Routing zulassen.
-
Die Routing-Algorithmus-Tabelle bestimmt zusammen mit der Funktion Adaptive Select auch den VC, der für den nächsten Hop des Frames verwendet wird. Diese Tabelle ist als ECC-geschützter Speicher mit 64 Wörtern und 13 Bits (plus ECC) pro Wort implementiert.
-
Es gibt drei Minimaltabellen: min_global, min_local_switch und min_local_port, die zusammen als Minimaltabellen bezeichnet werden. Sie werden verwendet, um die Ports zu bestimmen, die für die Weiterleitung des Rahmens über einen minimalen Pfad verwendet werden können. Da immer nur auf eine dieser Tabellen zugegriffen wird, sind alle im selben Speicher implementiert, wobei jeder Tabelle bestimmte Adressbereiche innerhalb des Speichers zugewiesen sind. Die Tabelle min_global wird durch das DFA-Feld global_id indiziert. Die Tabelle min_local_switch wird durch das DFA-Feld switch_id indiziert. Die Tabelle min_local_port wird durch das DFA-Feld endpoint_id indiziert.
-
Die Konfiguration der Routing-Algorithmus-Tabelle bestimmt, wann jede Tabelle verwendet wird; min global soll jedoch verwendet werden, wenn der Rahmen noch nicht an seiner Zielgruppe angekommen ist, um globale Ports zu identifizieren, die direkt mit der Zielgruppe verbunden sind, und lokale Ports, die mit einem Switch in der aktuellen Gruppe verbunden sind, der einen oder mehrere globale Ports hat, die mit der Zielgruppe verbunden sind. In ähnlicher Weise soll min local switch verwendet werden, wenn der Rahmen in der Zielgruppe, aber nicht im Ziel-Switch angekommen ist, um lokale Ports zu identifizieren, die verwendet werden können, um den Ziel-Switch zu erreichen. min_local_port schließlich soll verwendet werden, wenn der Rahmen am Ziel-Switch angekommen ist, um Edge-Ports zu identifizieren, die eine Verbindung zum Endpunktgerät herstellen.
-
Der FRF-Entwurf unterstützt die Möglichkeit, dass mehrere Edge-Ports desselben Switch-Geräts mit demselben DFA korrespondieren. Wenn mehrere Edge-Ports in der Tabelle min_local_port aktiviert sind, wählt die nachgeschaltete Port-Auswahllogik adaptiv einen auf der Grundlage der Belastung und der Pseudo-Zufallsauswahl aus, genau wie bei der Aktivierung mehrerer Ports in den Tabellen min local_ switch oder min global.
-
Wenn die min_global Tabelle verwendet wird, um einen Frame zu routen, können je nach Konfiguration des Feldes RAND_ BITS in CSR R_TF FRF CFG_GMIN_TABLE_BLKS (Abschnitt 9.7.5.33 in der SDG) bis zu vier der oberen Adressbits der min_global Tabelle pseudozufällig gesetzt werden, anstatt durch die global_id im DFA des zu routenen Frames bestimmt zu werden. Diese Funktionalität ermöglicht die Implementierung einer Gewichtung, so dass einige Ports mit größerer Wahrscheinlichkeit ausgewählt werden als andere.
-
Das Format der Ausgabe dieser Tabellen ist ein 64 Bit breites Bitfeld, wobei jedes Bit einem anderen Ausgangsport des aktuellen Switches entspricht. Bits, die gesetzt sind, identifizieren gültige Kandidatenports, an die der Rahmen weitergeleitet werden kann.
-
Die Minimaltabellen sind als ECC-geschützter Speicher von 704 (512 min_global + 128 min_local_switch +64 min_local_port) Wörtern mit 64 Bit (plus ECC) pro Wort implementiert.
-
Bei Ausfällen in Fat-Tree-Netzen wird die logische Topologie des Netzes nicht geändert, aber die Routing-Konfigurationen werden so geändert, dass die Pfade, die der Verkehr nehmen kann, so begrenzt werden, dass die fehlende Komponente umgangen wird. Aus der Sicht des Verkehrs im Netz ist es nicht erforderlich, die Routing-Updates atomar durchzuführen; der Verkehr kann weiter fließen, während die Routing-Konfiguration geändert wird.
-
zeigt ein Beispiel für einen Fat-Tree mit einem Verbindungsausfall zwischen den Switches der ersten und zweiten Ebene gemäß einigen Ausführungsformen. Das in gezeigte Netz ist nur halb so breit, wie es sein könnte, wenn die oberste Ebene der Switches ebenfalls vier Anschlüsse hätte, wie die mittlere Ebene. Die Tabellen 1032 zeigen, wie das Routing für die linke Spalte der Switches (Gruppe 0) auf der Grundlage eines Schemas konfiguriert würde, das die Adresse eines Endpunkts in lokale und Gruppenkomponenten unterteilt, wobei die lokale Komponente für das Routing zum spezifischen Endpunkt verwendet wird, wenn dieser bereits in der Zielgruppe ist, und die Gruppenkomponente für das Routing zur Zielgruppe, wenn diese nicht in der Zielgruppe ist. Dieses Adressierungsschema ist auch mit der Dragonfly-Topologie kompatibel.
-
Normalerweise kann beim Routing nach oben jede nach oben gerichtete Verbindung gewählt werden. Diese freie Wahl bei der Aufwärtsverbindung wurde in den Tabellen einfach als „nach oben“ dargestellt. Beim Rückweg nach unten ist die Auswahl der Abwärtsverbindung je nach Ziel eingeschränkt, wie in den Tabellen dargestellt.
-
Bei einem Ausfall muss die Auswahl nach oben eingeschränkt werden, um zu verhindern, dass ein nach unten gerichtetes Paket an einem Punkt ankommt, an dem es die ausgefallene Komponente nutzen muss. Nehmen wir in an, dass die Verbindung zwischen Switch 1,2 und Switch 2,3 ausgefallen ist. Unter der Annahme, dass es keine funktionierenden Verbindungen mehr zwischen diesem Switch-Paar gibt, muss verhindert werden, dass abwärts gerichteter Verkehr, der zu Switch 2,3 führt, bei Switch 1,2 ankommt. Dies wird erreicht, indem die Wahl der Aufwärtsverbindung für den für Switch 2,3 (Gruppe 3) bestimmten Verkehr an den anderen Switches in derselben Ebene der Topologie selektiv eingeschränkt wird. In der Abbildung ist dies durch die gestrichelten Linien dargestellt; die Switches 2,0, 2,1 und 2,2 müssen für den Verkehr in Richtung Gruppe 3 andere als die gestrichelten Links verwenden. Der Verkehr in Richtung der anderen Gruppen kann jeden der Aufwärtslinks verwenden.
-
Die Möglichkeit, die Auswahl der Verbindung auf der Grundlage der Zielgruppe einzuschränken, wäre natürlich in Routing-Strukturen vorhanden, die für die Unterstützung von Dragonfly-Routing ausgelegt sind; dies ist keine spezielle Funktionalität, die nur zur Unterstützung der Fehlerbehandlung in Fat-Tree-Netzen erforderlich wäre.
-
In wird ein Beispiel für einen Verbindungsausfall auf einer höheren Ebene in der Topologie gemäß einigen Ausführungsformen beschrieben. Angenommen, die Verbindung zwischen Schalter 0,2 und 1,2 ist ausgefallen. Wenn es keine funktionierenden Verbindungen mehr zwischen diesem Schalterpaar gibt, muss verhindert werden, dass abwärts gerichteter Verkehr, der zum Schalter 1,2 führt, am Schalter 0,2 ankommt. Ähnlich wie im vorangegangenen Beispiel wird dies erreicht, indem die Wahl der Aufwärtsverbindung für den für Switch 1,2 (der über den Gruppen 2 und 3 liegt) bestimmten Verkehr an den anderen Switches in derselben Ebene der Topologie wie 1,2, die von Switches oberhalb von Switch 1,2 erreicht werden können, selektiv eingeschränkt wird. In dem in der Abbildung gezeigten Netz ist dies nur Schalter 1,0; Schalter 1,0 muss den für die Gruppen 2 und 3 bestimmten Verkehr auf andere als die gestrichelten Verbindungen beschränken.
-
Die Behandlung des Ausfalls eines Switches entspricht im Wesentlichen der Behandlung, die für den Ausfall aller mit dem Switch verbundenen Abwärtsverbindungen erforderlich ist. Betroffen sind die Schalter in der Ebene unterhalb des ausgefallenen Schalters. zeigt ein Beispiel für einen ausgefallenen Schalter gemäß einigen Ausführungsformen.
-
Nachfolgend sehen Sie eine Tabelle für das Routing von getriebenen Libellen.
Satz B Ziel Gruppe | In Src Gruppe | Gruppe Kumpel h | Wechselspiel | Hafen Typ | Rcvd vc |
0 | 1 | 1 | 0 | Kante | es ist mir egal |
0 | 1 | 1 | 1 | Kante | es ist mir egal |
0 | 1 | 1 | 0 | Lokales | 0 |
0 | 1 | 1 | 1 | Lokales | 0 |
0 | 1 | 1 | 1 | Lokales | 1 |
0 | 1 | 0 | N/A47 | Kante | es ist mir egal |
48Q | 1 | 0 | NIA | Lokales | 0 |
Q | 1 | 0 | NIA | Lokales | 1 |
soo | 1 | 0 | NIA | Lokales | 0 |
0 | 1 | 0 | NIA | Lokales | 1 |
0 | 0 | 0 | NIA | Global | 0 |
s10 | 0 | 0 | NIA | Global | 1 |
0 | 0 | 0 | NIA | Lokales | 1 |
0 | 0 | 0 | NIA | Lokales | 2 |
Ausgänge46 |
Global bevorzugt | Aktivieren Ausnahmen | Freigabe Min | Aktivieren Sie NM | Restrict GM | Restrict GNM | VCA (lokal) | VC B (global) |
Nein | 0 | Lokaler | Lokales | 0 | 0 | 0 | 0 |
Nein | 0 | Lokaler Hafen | Deaktivier | 0 | 0 | 0 | 0 |
Nein | 0 | Lokaler | Deaktivier | 0 | 0 | 1 | 1 |
Nein | 0 | Lokaler Hafen | Deaktivier | 0 | 0 | 0 | 0 |
Nein | 0 | Lokaler Hafen | Deaktivier | 0 | 0 | 1 | 1 |
Ja | 1 | Global | Global | 0 | 0 | 0 | 0 |
Ja | 0 | Global | Global | 0 | 1 | 1 | 0 |
Ja | 0 | Global | Deaktivie | 1 | 1 | 1 | 1 |
Nicht- | 1 | Global | Global | 0 | 1 | 1 | 0 |
Nicht- | 1 | Global | Deaktivier | 1 | 1 | 1 | 1 |
Ja | 1 | Global | Lokales | 0 | 0 | 1 | 1 |
Ja | 1 | Global | Deaktivier | 0 | 0 | 2 | 2 |
Ja | 0 | Global | Deaktivier | 0 | 0 | 2 | 1 |
Ja | 0 | Global | Deaktivier | 1 | 1 | 2 | 2 |
-
Die folgenden Eingaben und Ausgaben der Routing-Algorithmus-Tabelle beschreiben die Eingaben und Ausgaben der Routing-Algorithmus-Tabelle.
Überschrift der Spalte | Mnemonik | Eingang/ Ausgang | Beschreibung |
Satz B Ziel Gruppe | SET_B_DSTJ;RP | Eingabe | Die global_id in der Fabric-Zieladresse des Frames kann als für die eine oder die andere von zwei verschiedenen Gruppen (A oder B) bestimmt eingestuft werden. Die Klassifizierung basiert auf einem Mustervergleich. Der Routing-Algorithmus kann je nach Art der Gruppe, für die der Rahmen bestimmt ist, variiert werden. |
In Src-Gruppe, Gruppenspiel | I!\I_SRC_GRP, GROUP_M.ATCH | Eingabe | Ein Rahmen kann sich entweder in seiner Quellgruppe, seiner Zielgruppe, in beiden gleichzeitig oder in keiner von beiden befinden. Die Entscheidung, ob sich ein Frame in seiner Quell- und/oder Zielgruppe befindet, basiert auf dem Vergleich der global_ids, die in der Source-Fabric-Adresse und der Destination-Fabric-Adresse des Frames enthalten sind, mit der global_id |
Wechselspiel | S\NITCH_MA.TCH | Eingabe | Dieses Feld zeigt an, ob das switch_id-Feld in der Fabric-Zieladresse des Frames mit der switch_id des aktuellen Switches übereinstimmt, an dem die Routing-Entscheidung getroffen wird. |
Hafen Typ | keine (inhärent) | Eingabe | Der Eingang Port Type gibt den Typ des Ports an, an dem der Rahmen empfangen wurde und an dem die aktuelle Routing-Entscheidung getroffen wird. Innerhalb der Implementierung verfügt jeder Anschluss über eine eigene Kopie der Routing-Algorithmus-Tabelle; daher ist der Anschlusstyp inhärent in der Art und Weise, |
Stufe wechseln | keine (inhärent) | Eingabe | Dieser Eingang identifiziert die Position des Switches innerhalb der Netztopologie, an der diese Konfiguration vorgenommen wird. Innerhalb der Implementierung hat jeder Port eines jeden Switches seine eigene Kopie der Routing-Algorithmus-Tabelle; |
Rcvd VC | RCV_VC | Eingabe | Dieser Eingang identifiziert den virtuellen Kanal, auf dem der Rahmen empfangen wurde. |
Global bevorzugt | GLOBAL_PR ÄFERENZIER T | Ausgabe | Gibt an, ob die Auswahl des globalen Ports für den minimalen Pfad gegenüber der Auswahl des lokalen Ports für den minimalen Pfad bevorzugt werden soll. Die Auswahlmöglichkeiten werden in Tabelle 10.1 auf Seite 90S aufgezählt und ausführlich beschrieben. |
Ausnahme aktivieren | ENA8I.EJXC PT N | Ausgabe | Gibt an, ob die Verwendung der Ausnahmetabellen zur Erkennung von Ausnahmeports aktiviert werden soll. Je nach beschriebener Konfiguration können die Ausnahmetabellen entweder zur Erkennung von Ports verwendet werden, die für das Routing des aktuellen Frames nicht verwendet werden dürfen, oder zur Erkennung von Minimalpfad-Ports, die im |
Freigabe Min | ENA8L..E_MI! \I | Ausgabe | Gibt den minimalen Routing-Modus an. Global bedeutet, dass die globale Minimalpfadtabelle konsultiert wird, die zur Identifizierung von globalen und / oder lokalen Ports verwendet wird, wenn sie sich nicht in der Zielgruppe befinden. Local Switch bedeutet, dass die Minimalpfadtabelle des lokalen Switches konsultiert wird, die verwendet wird, wenn |
NM freigeben | ENABLE_NM | Ausgabe | Gibt den Modus für nicht-minimales Routing an. Global bedeutet, lokale und globale Ports zu aktivieren, die für globales nicht-minimales Pfad-Routing verwendet werden können. Lokal bedeutet, lokale Ports zu aktivieren, die für lokales nicht-minimales Pfad-Routing verwendet werden können. Lokal bedingt bedeutet, dass lokale Ports, die für lokales nicht-minimales Pfad-Routing |
GM einschränken | RESTRICT_GM | Ausgabe | Wenn diese Option aktiviert ist, wird die Menge der Ports, die für das globale minimale Routing aktiviert sind, auf globale Ports beschränkt. Die Konfiguration bestimmt, welche Ports als globale Ports eingestuft werden. |
GNM einschränken | RESTRIC:T_GNM | Ausgabe | Wenn diese Option aktiviert ist, wird die Menge der Ports, die für das globale nicht-minimale Routing aktiviert sind, auf globale Ports beschränkt. Die beschriebene Konfiguration bestimmt, welche Ports als globale Ports eingestuft werden. |
VCA, VC B | VC_A,VC_B | Ausgabe | Je nach dem für die Weiterleitung des Rahmens gewählten endgültigen Port kann einer von zwei VCs (A oder B) für den nächsten Hop des Rahmens verwendet werden. Die in dieser Tabelle dargestellte Konfiguration geht davon aus, dass VC A für lokale (und Edge-) Ports und VC B für globale Ports verwendet wird. Die gewählte |
-
zeigt ein Blockdiagramm eines beispielhaften Computersystems 1300, in dem verschiedene der hier beschriebenen Ausführungsformen implementiert werden können. Das Computersystem 1300 umfasst einen Bus 1302 oder einen anderen Kommunikationsmechanismus zur Übermittlung von Informationen, einen oder mehrere Hardware-Prozessoren 1304, die mit dem Bus 1302 gekoppelt sind, um Informationen zu verarbeiten. Bei dem/den Hardware-Prozessor(en) 1304 kann es sich zum Beispiel um einen oder mehrere Allzweck-Mikroprozessoren handeln.
-
Das Computersystem 1300 umfasst auch einen Hauptspeicher 1306, wie z. B. einen Speicher mit wahlfreiem Zugriff (RAM), einen Cache und/oder andere dynamische Speichergeräte, die mit dem Bus 1302 verbunden sind, um Informationen und Anweisungen zu speichern, die vom Prozessor 1304 ausgeführt werden sollen. Der Hauptspeicher 1306 kann auch zum Speichern von temporären Variablen oder anderen Zwischeninformationen während der Ausführung von Befehlen verwendet werden, die vom Prozessor 1304 ausgeführt werden sollen. Wenn solche Befehle in Speichermedien gespeichert werden, auf die der Prozessor 1304 zugreifen kann, wird das Computersystem 1300 zu einer Spezialmaschine, die so angepasst ist, dass sie die in den Befehlen angegebenen Operationen ausführt.
-
Das Computersystem 1300 umfasst außerdem einen Festwertspeicher (ROM) 1308 oder ein anderes statisches Speichergerät, das mit dem Bus 1302 verbunden ist, um statische Informationen und Anweisungen für den Prozessor 1304 zu speichern. Ein Speichergerät 1310, wie z. B. eine Magnetplatte, eine optische Platte oder ein USB-Stick (Flash-Laufwerk) usw., ist vorgesehen und mit dem Bus 1302 verbunden, um Informationen und Anweisungen zu speichern.
-
Das Computersystem 1300 kann über den Bus 1302 mit einer Anzeige 1312, z. B. einer Flüssigkristallanzeige (LCD) (oder einem Berührungsbildschirm), verbunden sein, um einem Computerbenutzer Informationen anzuzeigen. Ein Eingabegerät 1314, einschließlich alphanumerischer und anderer Tasten, ist mit dem Bus 1302 gekoppelt, um Informationen und Befehlsauswahlen an den Prozessor 1304 zu übermitteln. Eine andere Art von Benutzereingabegerät ist die Cursorsteuerung 1316, wie z. B. eine Maus, ein Trackball oder Cursorrichtungstasten zur Übermittlung von Richtungsinformationen und Befehlsauswahlen an den Prozessor 1304 und zur Steuerung der Cursorbewegung auf dem Display 1312. In einigen Ausführungsformen können die gleichen Richtungsinformationen und Befehlsauswahlen wie bei der Cursorsteuerung über den Empfang von Berührungen auf einem Touchscreen ohne Cursor implementiert werden.
-
Das Computersystem 1300 kann ein Benutzerschnittstellenmodul zur Implementierung einer grafischen Benutzeroberfläche enthalten, das in einem Massenspeichergerät als ausführbare Softwarecodes gespeichert werden kann, die von dem/den Computergerät(en) ausgeführt werden. Dieses und andere Module können beispielsweise Komponenten wie Softwarekomponenten, objektorientierte Softwarekomponenten, Klassenkomponenten und Aufgabenkomponenten, Prozesse, Funktionen, Attribute, Prozeduren, Unterprogramme, Segmente von Programmcode, Treiber, Firmware, Mikrocode, Schaltkreise, Daten, Datenbanken, Datenstrukturen, Tabellen, Arrays und Variablen umfassen.
-
Im Allgemeinen kann sich der hier verwendete Begriff „Komponente“, „Engine“, „System“, „Datenbank“, „Datenspeicher“ und dergleichen auf eine in Hardware oder Firmware verkörperte Logik oder auf eine Sammlung von Softwareanweisungen beziehen, die möglicherweise Ein- und Ausstiegspunkte haben und in einer Programmiersprache wie z. B. Java, C oder C++ geschrieben sind. Eine Softwarekomponente kann kompiliert und zu einem ausführbaren Programm verknüpft werden, in einer dynamischen Link-Bibliothek installiert werden oder in einer interpretierten Programmiersprache wie BASIC, Perl oder Python geschrieben sein. Es ist klar, dass Softwarekomponenten von anderen Komponenten oder von sich selbst aus aufgerufen werden können und/oder als Reaktion auf erkannte Ereignisse oder Unterbrechungen aufgerufen werden können. Softwarekomponenten, die für die Ausführung auf Computergeräten konfiguriert sind, können auf einem computerlesbaren Medium, wie z. B. einer Compact Disc, einer digitalen Videodisc, einem Flash-Laufwerk, einer Magnetplatte oder einem anderen greifbaren Medium, oder als digitaler Download bereitgestellt werden (und können ursprünglich in einem komprimierten oder installierbaren Format gespeichert sein, das vor der Ausführung eine Installation, Dekomprimierung oder Entschlüsselung erfordert). Ein solcher Softwarecode kann teilweise oder vollständig in einem Speicher des ausführenden Computergeräts zur Ausführung durch das Computergerät gespeichert werden. Softwareanweisungen können in Firmware, wie z. B. einem EPROM, eingebettet sein. Darüber hinaus können die Hardwarekomponenten aus verbundenen Logikeinheiten wie Gattern und Flipflops und/oder aus programmierbaren Einheiten wie programmierbaren Gatteranordnungen oder Prozessoren bestehen.
-
Das Computersystem 1300 kann die hierin beschriebenen Techniken unter Verwendung von kundenspezifischer festverdrahteter Logik, einem oder mehreren ASICs oder FPGAs, Firmware und/oder Programmlogik implementieren, die in Kombination mit dem Computersystem bewirkt oder programmiert, dass das Computersystem 1300 eine Spezialmaschine ist. Gemäß einer Ausführungsform werden die hierin beschriebenen Techniken vom Computersystem 1300 als Reaktion auf den/die Prozessor(en) 1304 ausgeführt, der/die eine oder mehrere Sequenzen von einem oder mehreren Befehlen ausführt/ausführen, die im Hauptspeicher 1306 enthalten sind. Solche Anweisungen können in den Hauptspeicher 1306 von einem anderen Speichermedium, wie z. B. der Speichervorrichtung 1310, eingelesen werden. Die Ausführung der im Hauptspeicher 1306 enthaltenen Befehlssequenzen veranlasst den/die Prozessor(en) 1304, die hier beschriebenen Prozessschritte durchzuführen. In alternativen Ausführungsformen können fest verdrahtete Schaltungen anstelle von oder in Kombination mit Softwareanweisungen verwendet werden.
-
Der Begriff „nichtflüchtige Medien“ und ähnliche Begriffe, wie sie hier verwendet werden, beziehen sich auf alle Medien, die Daten und/oder Befehle speichern, die eine Maschine in einer bestimmten Weise arbeiten lassen. Solche nichtflüchtigen Medien können nichtflüchtige Medien und/oder flüchtige Medien umfassen. Zu den nichtflüchtigen Medien gehören beispielsweise optische oder magnetische Festplatten, wie die Speichervorrichtung 1310. Zu den flüchtigen Medien gehören dynamische Speicher, wie der Hauptspeicher 1306. Zu den gängigen Formen nichtflüchtiger Medien gehören beispielsweise Disketten, flexible Platten, Festplatten, Solid-State-Laufwerke, Magnetbänder oder andere magnetische Datenspeichermedien, CD-ROMs, andere optische Datenspeichermedien, physische Medien mit Lochmustern, RAM, PROM und EPROM, FLASH-EPROM, NVRAM, andere Speicherchips oder -kassetten sowie deren vernetzte Versionen.
-
Nicht-transitorische Medien unterscheiden sich von Übertragungsmedien, können aber in Verbindung mit ihnen verwendet werden. Übertragungsmedien sind an der Übertragung von Informationen zwischen nicht-transitorischen Medien beteiligt. Zu den Übertragungsmedien gehören beispielsweise Koaxialkabel, Kupferdraht und Glasfaserkabel, einschließlich der Drähte, die den Bus 1302 bilden. Übertragungsmedien können auch in Form von Schall- oder Lichtwellen auftreten, wie sie bei der Datenkommunikation über Funk und Infrarot erzeugt werden.
-
Das Computersystem 1300 umfasst auch eine Kommunikationsschnittstelle 1318, die mit dem Bus 1302 verbunden ist. Die Netzwerkschnittstelle 1318 stellt eine Zwei-Wege-Datenkommunikationsverbindung zu einer oder mehreren Netzwerkverbindungen her, die mit einem oder mehreren lokalen Netzwerken verbunden sind. Bei der Kommunikationsschnittstelle 1318 kann es sich beispielsweise um eine ISDN-Karte (Integrated Services Digital Network), ein Kabelmodem, ein Satellitenmodem oder ein Modem handeln, um eine Datenkommunikationsverbindung zu einer entsprechenden Art von Telefonleitung herzustellen. Ein weiteres Beispiel: Die Netzwerkschnittstelle 1318 kann eine LAN-Karte (Local Area Network) sein, um eine Datenkommunikationsverbindung zu einem kompatiblen LAN (oder einer WAN-Komponente für die Kommunikation mit einem WAN) herzustellen. Es können auch drahtlose Verbindungen implementiert werden. In jeder dieser Implementierungen sendet und empfängt die Netzwerkschnittstelle 1318 elektrische, elektromagnetische oder optische Signale, die digitale Datenströme mit verschiedenen Informationstypen übertragen.
-
Eine Netzverbindung ermöglicht in der Regel die Datenkommunikation über ein oder mehrere Netze zu anderen Datengeräten. So kann eine Netzverbindung beispielsweise eine Verbindung über ein lokales Netz zu einem Host-Computer oder zu Datengeräten eines Internetdienstanbieters (ISP) herstellen. Der ISP wiederum bietet Datenkommunikationsdienste über das weltweite Paketdatenkommunikationsnetz an, das heute gemeinhin als „Internet“ bezeichnet wird. Sowohl das lokale Netz als auch das Internet verwenden elektrische, elektromagnetische oder optische Signale, die digitale Datenströme übertragen. Die Signale in den verschiedenen Netzwerken und die Signale auf der Netzwerkverbindung und über die Kommunikationsschnittstelle 1318, die die digitalen Daten zum und vom Computersystem 1300 übertragen, sind Beispiele für Übertragungsmedien.
-
Das Computersystem 1300 kann über das/die Netzwerk(e), die Netzwerkverbindung und die Kommunikationsschnittstelle 1318 Nachrichten senden und Daten, einschließlich Programmcode, empfangen. In dem Internet-Beispiel könnte ein Server einen angeforderten Code für ein Anwendungsprogramm über das Internet, den ISP, das lokale Netzwerk und die Kommunikationsschnittstelle 1318 übertragen.
-
Der empfangene Code kann vom Prozessor 1304 ausgeführt werden, sobald er empfangen wird, und/oder in der Speichervorrichtung 1310 oder einem anderen nichtflüchtigen Speicher zur späteren Ausführung gespeichert werden.
-
Jeder der in den vorstehenden Abschnitten beschriebenen Prozesse, Methoden und Algorithmen kann in Code-Komponenten verkörpert und vollständig oder teilweise durch diese automatisiert werden, die von einem oder mehreren Computersystemen oder Computerprozessoren mit Computerhardware ausgeführt werden. Das eine oder die mehreren Computersysteme oder Computerprozessoren können auch so betrieben werden, dass sie die Ausführung der entsprechenden Vorgänge in einer „Cloud Computing“-Umgebung oder als „Software as a Service“ (SaaS) unterstützen. Die Prozesse und Algorithmen können teilweise oder vollständig in anwendungsspezifischen Schaltkreisen implementiert sein. Die verschiedenen oben beschriebenen Merkmale und Verfahren können unabhängig voneinander verwendet oder auf verschiedene Weise kombiniert werden. Verschiedene Kombinationen und Unterkombinationen sollen in den Anwendungsbereich dieser Offenlegung fallen, und bestimmte Verfahrens- oder Prozessblöcke können in einigen Implementierungen weggelassen werden. Die hier beschriebenen Methoden und Prozesse sind auch nicht auf eine bestimmte Reihenfolge beschränkt, und die damit verbundenen Blöcke oder Zustände können in anderen geeigneten Reihenfolgen, parallel oder auf andere Weise ausgeführt werden. Blöcke oder Zustände können zu den offengelegten Beispielen hinzugefügt oder aus ihnen entfernt werden. Die Ausführung bestimmter Operationen oder Prozesse kann auf Computersysteme oder Computerprozessoren verteilt werden, die sich nicht nur in einer einzigen Maschine befinden, sondern über eine Reihe von Maschinen verteilt sind.
-
Wie hierin verwendet, kann eine Schaltung in jeder Form von Hardware, Software oder einer Kombination davon implementiert werden. Beispielsweise können ein oder mehrere Prozessoren, Controller, ASICs, PLAs, PALs, CPLDs, FPGAs, logische Komponenten, Software-Routinen oder andere Mechanismen implementiert werden, um eine Schaltung zu bilden. Bei der Implementierung können die verschiedenen hier beschriebenen Schaltungen als diskrete Schaltungen implementiert werden, oder die beschriebenen Funktionen und Merkmale können teilweise oder insgesamt auf eine oder mehrere Schaltungen aufgeteilt werden. Auch wenn verschiedene Merkmale oder Funktionselemente einzeln als getrennte Schaltungen beschrieben oder beansprucht werden, können diese Merkmale und Funktionen von einer oder mehreren gemeinsamen Schaltungen gemeinsam genutzt werden, und eine solche Beschreibung soll nicht voraussetzen oder implizieren, dass getrennte Schaltungen erforderlich sind, um diese Merkmale oder Funktionen zu implementieren. Wenn eine Schaltung ganz oder teilweise mit Software implementiert ist, kann diese Software so implementiert werden, dass sie mit einem Computer- oder Verarbeitungssystem arbeitet, das in der Lage ist, die in Bezug auf sie beschriebene Funktionalität auszuführen, wie z. B. das Computersystem 1300.
-
Wie hierin verwendet, kann der Begriff „oder“ sowohl im einschließenden als auch im ausschließenden Sinne verstanden werden. Darüber hinaus ist die Beschreibung von Ressourcen, Vorgängen oder Strukturen im Singular nicht so zu verstehen, dass der Plural ausgeschlossen wird. Bedingte Ausdrücke, wie z. B. „kann“, „könnte“, „könnte“ oder „darf“, sollen im Allgemeinen vermitteln, dass bestimmte Ausführungsformen bestimmte Merkmale, Elemente und/oder Schritte einschließen, während andere Ausführungsformen diese nicht einschließen, es sei denn, es ist ausdrücklich etwas anderes angegeben oder im Zusammenhang mit der Verwendung anders zu verstehen.
-
Die in diesem Dokument verwendeten Begriffe und Ausdrücke sowie deren Abwandlungen sind, sofern nicht ausdrücklich etwas anderes angegeben ist, nicht als einschränkend, sondern als offen zu verstehen. Adjektive wie „konventionell“, „traditionell“, „normal“, „Standard“, „bekannt“ und Begriffe mit ähnlicher Bedeutung sind nicht so zu verstehen, dass sie den beschriebenen Gegenstand auf einen bestimmten Zeitraum oder auf einen zu einem bestimmten Zeitpunkt verfügbaren Gegenstand beschränken, sondern sollten so verstanden werden, dass sie konventionelle, traditionelle, normale oder Standardtechnologien umfassen, die jetzt oder zu einem beliebigen Zeitpunkt in der Zukunft verfügbar oder bekannt sein können. Das Vorhandensein erweiternder Wörter und Ausdrücke wie „eine oder mehrere“, „mindestens“, „aber nicht beschränkt auf“ oder ähnliche Ausdrücke in einigen Fällen ist nicht so zu verstehen, dass der engere Fall beabsichtigt oder erforderlich ist, wenn solche erweiternden Ausdrücke nicht vorhanden sind.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 62/852273 [0002]
- US 62/852203 [0002]
- US 62/852289 [0002]