KR102123035B1

KR102123035B1 - 802.1ａｑ에 대한 3 스테이지 폴딩된 ｃｌｏｓ 최적화

Info

Publication number: KR102123035B1
Application number: KR1020147033118A
Authority: KR
Inventors: 데이비드 이안 앨런
Original assignee: 텔레호낙티에볼라게트 엘엠 에릭슨(피유비엘)
Priority date: 2012-04-27
Filing date: 2013-04-11
Publication date: 2020-06-15
Also published as: EP2842278B1; IN2014DN09385A; CN104380672A; US20130286817A1; WO2013160786A1; CN104380672B; US8848509B2; KR20150013612A; EP2842278A1; JP6117911B2; JP2015518345A

Abstract

3 스테이지 폴딩된 Clos 네트워크는 계산상의 복잡도, 네트워크 관리, 멀티캐스트 어드레싱 및 실패시 로드 재분배에 대한 개선된 효율성을 가지는 이더넷 라우팅에 대해 사용된다. 네트워크는 에지 노드들의 어레이에 연결된 루트 노드들의 어레이를 포함한다. 포워딩 상태들은 루트 노드들에 기반을 둔 스패닝 트리들에 대해 계산 및 설치된다. 에지 노드가 루트 노드에 대한 실패한 접속을 가지는 것으로서 식별될 때, 그 에지 노드에 기반을 둔 최단 경로 우선(SPF) 트리가 그 루트 노드에 기반을 두며 실패한 접속을 사용하는 스패닝 트리들에 대한 각각의 백본 VLAN 식별자(B-VID)에 대해 구성된다. 각각의 노드 내의 필터링 데이터베이스는 공통 서비스 식별자를 가지는 에지 노드 쌍들에 대해 채워지며, 유니캐스트 및 멀티캐스트 데이터는 하이브리드 멀티캐스트 어드레싱을 사용하여 SPF 트리들을 통해 필터링 데이터베이스에 따라 에지 노드 쌍들 사이에서 포워딩된다.

Description

802.1ＡＱ에 대한 3 스테이지 폴딩된 ＣＬＯＳ 최적화{THREE STAGE FOLDED CLOS OPTIMIZATION FOR 802.1AQ}

본 발명의 실시예들은 컴퓨터 네트워킹 분야에 관한 것이고, 더 구체적으로는, 3 스테이지 폴딩된 Clos 네트워크(three stage folded Clos network)에서의 이더넷 라우팅의 최적화에 관한 것이다.

2012년 공개된 IEEE 802.1aq 표준(하기에서 802.1aq로도 지칭됨)은 이더넷에 대한 라우팅 솔루션을 정의한다. 802.1aq는 또한 최단 경로 브리징(Shortest Path Bridging) 또는 SPB로서 공지되어 있다. 802.1aq는 네이티브 이더넷 인프라구조들(native Ethernet infrastructures) 상에서의 논리적 이더넷 네트워크들의 생성을 가능하게 한다. 802.1aq는 네트워크 내의 노드들의 토폴로지 및 논리적 네트워크 멤버쉽 모두를 통지하기 위해 링크 상태 프로토콜을 사용한다. 데이터 패킷들은 맥-인-맥(mac-in-mac) 802.1ah 또는 태그처리된(tagged) 802.1Q/p802.1ad 프레임들에서 802.1aq를 구현하는 네트워크들의 에지 노드들에서 캡슐화(encapsulate)되어, 논리적 네트워크의 다른 멤버들에게만 전송된다. 유니캐스트 또는 멀티캐스트가 또한 802.1aq에 의해 지원된다. 모든 이러한 라우팅은 대칭적 최단 경로들을 통해 이루어진다. 많은 동일한 비용의 최단 거리들이 지원된다. 네트워크에서의 802.1aq의 구현은 제공자 네트워크들, 기업 네트워크들 및 클라우드 네트워크들을 포함한 다양한 타입들의 네트워크의 생성 및 구성을 간략화시킨다. 구성은 비교적 간략화되며, 에러의 공산(likelihood of error), 특히 인적 구성 에러들을 줄인다.

방법의 실시예는 계산상의 복잡도, 네트워크 관리(network administration), 멀티캐스트 어드레싱 및 실패시 로드 재분배에 대한 개선된 효율성을 가지는 이더넷 라우팅에 대해 사용되는 3 스테이지 폴딩된 Clos 네트워크에서 구현된다. 네트워크는 사용자-대향 입력 및 출력 포트들(user-facing input and output ports)을 가지는 에지 노드들의 어레이(an array of edge nodes)에 연결된 루트 노드들의 어레이를 포함한다. 네트워크 내의 각각의 노드는 루트 노드들에 기반을 둔 스패닝 트리들(spanning trees rooted on the root nodes)에 대한 포워딩 상태를 계산 및 설치(install)한다. 스패닝 트리들 내의 데이터 포워딩은, 네트워크에서의 실패가 존재하지 않을 때 멀티캐스트 경로들에 대한 임의의 소스 멀티캐스트 어드레스들을 이용하는데, 왜냐하면, 이것이 서비스에 참여하는 노드들의 수 곱하기 멀티캐스트 그룹들의 수의 조합 곱(combinatorial product)이 아니라, 멀티캐스트 그룹들의 수에 선형으로 비례하여 스케일링하기 때문이다. 주어진 에지 노드가 주어진 루트 노드에 대해 실패한 접속을 가지는 것으로서 식별될 때, 네트워크 내의 각각의 노드는 주어진 루트 노드에 기반을 두며 실패한 접속을 사용하는 스패닝 트리들에 대한 각각의 B-VID에 대해 그 주어진 에지 노드에 기반을 둔 최단 경로 우선(SPF; shortest path first) 트리를 계산하고, SPF 트리는 그 B-VID에 대해 그 주어진 에지 노드에 대한 유니캐스트 및 멀티캐스트 접속성에 대한 프로토타입(prototype)으로서 역할을 한다. 각각의 노드에서의 필터링 데이터베이스는 주어진 에지 노드와 다른 에지 노드들 사이의 쌍방식 접속성(pairwise connectivity)에 대해 채워지고(populated), 여기서 이들은 대체된 B-VID와 연관된 서비스들을 공통적으로 가지며, 노드들은 필터링 데이터베이스에서 유니캐스트 상태를 설치하고, 또한 트래픽이 주어진 에지 노드로 향하는지 또는 주어진 에지 노드로부터 오는지에 따라 선택되는 멀티캐스트 어드레싱의 하이브리드(a hybrid of multicast addressing)를 사용하여 필터링 데이터베이스에서 멀티캐스트 상태를 설치한다. 각각의 노드는 이후 네트워크에서 유니캐스트 및 멀티캐스트 데이터를 포워딩하기 위해 자신의 포워딩 데이터베이스를 사용한다.

전술된 실시예는 각각의 노드가 필터링 데이터베이스에서 자신의 포워딩 테이블을 계산하는 분산 라우팅 시스템(distributed routing system)이다. 대안적인 실시예에서, 중앙화된 제어기가 포워딩 테이블들을 계산하는 시스템 관리 기능을 수행한다. 노드들이 데이터 포워딩을 수행하기 위해 포워딩 테이블들이 각각의 노드 내로 다운로드된다.

에지 노드로서 기능하는 네트워크 엘리먼트의 실시예가 멀티캐스트 어드레싱 및 실패시의 로드 재분배에 대한 개선된 효율성을 가지는 이더넷 라우팅에 대해 사용되는 3 스테이지 폴딩된 Clos 네트워크에서 구현된다. 에지 노드는 사용자-대향 입력 및 출력 포트들의 제1 세트, 복수의 루트 노드들에 연결된 입력 및 출력 포트들의 제2 세트, 필터링 데이터베이스를 저장하기 위한 메모리, 및 루트 노드들에 기반을 둔 스패닝 트리들에 대한 포워딩 상태들을 계산 및 설치하고 ― 스패닝 트리들에서의 데이터 포워딩은 네트워크 내에 실패가 존재하지 않을 때 멀티캐스트 경로들에 대한 임의의 소스 멀티캐스트 어드레스들을 이용함 ― ; 주어진 루트 노드에 대한 실패한 접속을 가지는 것으로서 주어진 에지 노드를 식별하고; 주어진 루트 노드에 기반을 두며 실패한 접속을 사용하는 스패닝 트리들에 대한 각각의 B-VID에 대해 주어진 에지 노드에 기반을 둔 SPF 트리를 구성하고 ― SPF 트리는 그 주어진 에지 노드에 대한 유니캐스트 및 멀티캐스트 접속성에 대한 프로토타입으로서 역할을 함 ― ; 주어진 에지 노드와 다른 에지 노드들 사이의 쌍방식 접속성에 대해 필터링 데이터베이스를 파퓰레이트하고 - 이 노드들은 대체된 B-VID와 연관된 서비스들을 공통적으로 가짐 - ; 필터링 데이터베이스에서 유니캐스트 상태를 설치하고; 그리고 트래픽이 주어진 에지 노드로 향하는지 또는 주어진 에지 노드로부터 오는지에 따라 선택된 멀티캐스트 어드레싱의 하이브리드를 사용하여 필터링 데이터베이스에서 멀티캐스트 상태를 설치하도록 구성된 네트워크 프로세서를 포함한다. 그 다음에, 포워딩 데이터베이스는 네트워크에서 유니캐스트 및 멀티캐스트 데이터를 포워딩하기 위해 사용된다. 시스템의 실시예는 멀티캐스트 어드레싱 및 실패시 로드 재분배에 대한 개선된 효율성을 가지는 이더넷 라우팅에 대해 사용되는 3 스테이지 폴딩된 Clos 네트워크에서 구현된다. 시스템은 사용자-대향 입력 및 출력 포트들의 세트를 가지는 에지 노드들에 연결된 루트 노드들을 포함한다. 에지 노드와 루트 노드 각각은 필터링 데이터베이스를 저장하기 위한 메모리, 및 루트 노드들에 기반을 둔 스패닝 트리들에 대한 포워딩 상태들을 계산 및 설치하고 ― 스패닝 트리들에서의 데이터 포워딩은 네트워크 내에 실패가 존재하지 않을 때 멀티캐스트 경로들에 대해 임의의 소스 멀티캐스트 어드레스들을 이용함 ― ; 주어진 루트 노드에 대한 실패한 접속을 가지는 것으로서 주어진 에지 노드를 식별하고; 주어진 루트 노드에 기반을 두며 실패한 접속을 사용하는 스패닝 트리들에 대한 각각의 B-VID에 대해 주어진 에지 노드에 기반을 둔 SPF 트리를 구성하고 ― SPF 트리는 그 B-VID에 대해 그 주어진 에지 노드에 대한 유니캐스트 및 멀티캐스트 접속성에 대한 프로토타입으로서 역할을 함 ― ; 주어진 에지 노드와 다른 에지 노드들 사이의 쌍방식 접속성에 대해 필터링 데이터베이스를 파퓰레이트하고 - 이 노드들은 대체된 B-VID와 연관된 서비스들을 공통적으로 가짐 - ; 필터링 데이터베이스에서 유니캐스트 상태를 설치하고; 트래픽이 주어진 에지 노드로 향하는지 또는 주어진 에지 노드로부터 오는지에 따라 선택되는 멀티캐스트 어드레싱의 하이브리드를 사용하여 필터링 데이터베이스에서 멀티캐스트 상태를 설치하도록 구성된 네트워크 프로세서를 포함한다. 포워딩 데이터베이스는 이후 네트워크에서 유니캐스트 및 멀티캐스트 데이터를 포워딩하기 위해 사용된다.

본 발명은 제한의 방식에 의해서가 아니라 예시에 의해 첨부 도면들에 예시되어 있고, 첨부 도면에서는 동일한 참조부호가 유사한 엘리먼트들을 나타낸다. 이 개시내용에서의 "한(an)" 또는 "하나의(one)" 실시예에 대한 상이한 참조들이 반드시 동일한 실시예에 대한 것이 아니며, 이러한 참조들이 적어도 하나를 의미한다는 점에 유의해야 한다. 또한, 특별한 특징, 구조 또는 특성이 실시예와 관련하여 기술될 때, 명시적으로 기술되었든 되지 않았든 간에 다른 실시예들에 관련하여 이러한 특징, 구조 또는 특성을 실행하는 것이 이 기술분야의 통상의 기술자의 지식 내에 있다는 점이 제안되어 있다.
도 1은 3 스테이지 폴딩된 Clos 네트워크의 예를 예시한다.
도 2는 루트 노드들에 할당된 시스템 ID 세트들의 예를 예시한다.
도 3은 스패닝 트리 루트 선택을 위해 사용되는 분할된 타이브레이킹(split tiebreaking) 메커니즘의 예를 예시한다.
도 4는 3 스테이지 폴딩된 Clos 네트워크에서 스패닝 트리들에 대한 포워딩 상태들을 계산 및 설치하는 방법의 실시예를 예시한다.
도 5는 실시예에 따라 루트 노드가 실패하는 시나리오를 예시한다.
도 6은 실시예에 따라 링크가 실패하는 시나리오를 예시한다.
도 7은 실시예에 따라 2개의 링크들이 실패하는 제1 시나리오를 예시한다.
도 8은 실시예에 따라 2개의 링크들이 실패하는 제2 시나리오를 예시한다.
도 9는 실시예에 따라 2개의 링크들이 실패하는 제3 시나리오를 예시한다.
도 10은 실시예에 따라 3개의 링크들이 실패하는 제1 시나리오를 예시한다.
도 11은 실시예에 따라 3개의 링크들이 실패하는 제2 시나리오를 예시한다.
도 12는 3 스테이지 폴딩된 Clos 네트워크에서 실패가 발생할 때 데이터 프레임 포워딩을 위한 방법의 실시예를 예시한다.
도 13은 실시예에 따라 관리 시스템에 연결된 네트워크 엘리먼트를 예시하는 블록도이다.

후속하는 기재에서, 다수의 특정 상세항목들이 설명되어 있다. 그러나, 본 발명의 실시예들이 이들 특정 상세항목들 없이도 구현될 수 있다는 점이 이해된다. 다른 경우들에서, 공지된 회로들, 구조들 및 기법들은 본 설명의 이해를 모호하게 하지 않기 위해 상세히 도시되어 있지 않다. 그러나, 본 발명이 이러한 특정 상세항목들 없이도 구현될 수 있다는 점이 이 기술분야의 통상의 기술자에 의해 이해될 것이다. 이 기술분야의 통상의 기술자는, 포함된 기재들을 통해, 과도한 실험 없이도 적절한 기능성을 구현할 수 있을 것이다.

IEEE 802.1aq 네트워크들에서는, 링크 상태 프로토콜이 네트워크 상의 이더넷 프레임들의 포워딩을 제어하기 위해 이용된다. 하나의 링크 상태 프로토콜로서, 중간 시스템 대 중간 시스템(IS-IS; Intermediate System to Intermediate System)가 네트워크의 토폴로지 및 논리적 네트워크 멤버쉽 모두를 통지하기 위해 802.1aq 네트워크들에서 사용된다.

802.1aq는 2가지 동작 모드들을 가진다. 가상 로컬 영역 네트워크(VLAN; Virtual Local Area Network) 기반 네트워크들에 대한 제1 모드는 최단 경로 브리징 VID(SPBV; shortest path bridging VID)로서 지칭된다. MAC 기반 네트워크들에 대한 제2 모드는 최단 경로 브리징 MAC(SPBM; shortest path bridging MAC)로서 지칭된다. SPBV 및 SPBM 네트워크들 모두는 데이터 면(dataplane)에서 동시에 동일한 비용의 포워딩 트리들의 하나보다 많은 세트(ECT 세트들)를 지원할 수 있다. ECT 세트는 공통적으로 SPBV에 대해 최단경로 VLAN 식별자(SPVID) 세트를 형성하는 SPVID들의 수와 연관되며, SPBM에 대해 백본 VLAN ID(B-VID)와 1:1 연관된다.

802.1aq MAC 모드에 따르면, 제공자 네트워크 내의 네트워크 엘리먼트들은, 동일한 목적지 어드레스로 어드레싱되지만 상이한 B-VID들에 매핑된 상이한 프레임들이 네트워크를 통해 상이한 경로들("다중경로 인스턴스들"로서 지칭됨)을 거쳐서 포워딩될 수 있도록 B-VID들에 의해 분리된 다중경로 포워딩 트래픽을 수행하도록 구성된다. 서비스와 연관된 고객 데이터 프레임은 별도의 서비스 식별자(I-SID) 및 B-VID를 가지는 헤더를 갖고서 802.1aq에 따라 캡슐화된다. 이러한 분리는 서비스들이 네트워크 토폴로지와는 무관하게 스케일링하는 것을 허용한다. 따라서, B-VID는 이후 다중경로 인스턴스의 식별자로서 독점적으로 사용될 수 있다. I-SID는 B-VID에 의해 식별된 다중경로 인스턴스에 의해 제공될 특정 서비스를 식별한다. 802.1aq 네트워크 내의 다중경로 인스턴스들의 실제 라우팅은 각각의 노드의 시스템 ID들에 기초하여 타이브레이킹(tie breaking)함으로써 결정된다.

802.1aq는 광역 네트워크(WAN)에서 또는 클라우드 컴퓨팅 데이터 센터와 같은 데이터 센터 내에서의 이더넷 라우팅에 대해 사용될 수 있다. 데이터 센터 내의 네트워크는 통상적으로, Clos 네트워크의 토폴로지와 같은 매우 규칙적인 구조를 가진다. Clos 네트워크는 스위칭 노드들의 어레이들을 포함한다. Clos 네트워크의 예는 3 스테이지 폴딩된 Clos 네트워크인데, 이는 입구(ingress) 스테이지, 중간 스테이지 및 출구(egress) 스테이지를 가지며, 여기서 네트워크는 노드들의 중간 스테이지에 걸쳐서 중간에서 폴딩되며, 따라서, 입구 스테이지는 출구 스테이지에 병합된다. 입구 스테이지에서 노드에 진입하는 각각의 데이터 프레임은 목적지 출구 스테이지 노드에 도달하기 위해 이용가능한 중간 스테이지 노드 중 임의의 것을 통해 라우팅될 수 있다.

실패한 노드 또는 링크를 가지는 Clos 네트워크에서 접속을 유지하기 위한 다수의 기법들이 개발되어 왔다. 802.1aq에 따르면, 노드 또는 링크의 실패는 하나 이상의 주변 노드들에 의해 관측되고, 라우팅 시스템에 의해 네트워크 전반에 걸쳐 통지될 수 있다. 네트워크 내의 각각의 노드는 실패에 의해 영향을 받은 트래픽에 대한 새로운 경로를 재계산할 것이며, 포워딩은 새로운 경로를 사용하여 자동으로 계속될 것이다.

비-최적 포워딩 경로들을 초래하는 임의의 토폴로지에 대한 스패닝 트리들의 응용과는 달리, 결함없는 Clos 네트워크에서, 제2 계층 노드들(즉, 중간 스테이지에서의 노드들)에 기반을 둔 다수의 스패닝 트리들에 의해 제공되는 접속성은 최단 경로 트리들에 기초한 접속성과 동일할 것이다. 이것은 라우팅 문제의 계산상의 복잡도의 견지에서 더 간단할 뿐만 아니라, 더 많이 스케일링가능한 멀티캐스트 어드레싱 포맷이 사용되도록 허용한다. 그러나, 링크가 실패하여 제2 계층 노드가 불완전한 접속성을 가질 때의 트래픽의 분배는 문제가 있으며 최단 경로 트리 동작을 되돌리는 결과를 초래할 수 있고, 더 적게 스케일링가능한 멀티캐스트 어드레싱의 사용을 요구할 수 있다.

또한, 802.1aq에 따르면, 대체된 트래픽은 실패가 존재할 때 블록으로서(as a block) 페일오버(failover) 경로로 시프트된다. 블록으로서의 트래픽 재분배는 페일오버 경로가 이제 상당한 트래픽 증가를 처리함에 따라 네트워크의 안정성을 감소시킬 수 있으며, 이는 네트워크의 성능을 현저히 저하시킬 수 있다. 또한, 페일오버 경로로의 트래픽의 이러한 블록 시프트(block shift)는 페일오버 경로에서의 링크들과 노드들을 제압하여(overwhelm) 그 엘리먼트들을 실질적으로 실패하게 할 수 있다. 최대화된 멀티캐스트 어드레스 확장성, 최소화된 계산상의 복잡도가, 실패 시나리오들에서 다중경로 경로 선택과의 공통성을 가지며 실패 시나리오들에서 네트워크 용량의 저하의 더 공정한 분배를 제공하는 분배된 스패닝 트리 루트 선출을 제공함으로써 네트워크에서의 다중경로 설계를 간략화하는 다중경로 기법을 적용하도록 기본 사양 802.1aq 거동을 수정하는 것이 바람직할 것이다.

본원에 기술된 실시예들은 3 스테이지 폴딩된 Clos 네트워크와 같은 평탄화된 스위칭 계층구조(hierarchy)를 가지는 네트워크 토폴로지를 이용한다. 3 스테이지 폴딩된 Clos 네트워크는 노드들의 중간 스테이지에 걸쳐서 중간에서 폴딩된 3 스테이지 Clos 네트워크이며, 따라서 입구 스테이지는 출구 스테이지로 병합된다. 병합된 입구/출구 스테이지는 에지 노드들의 어레이(제1 계층 노드들로도 지칭됨)를 포함하고, 중간 스테이지는 루트 노드들의 어레이(제2 계층 노드들로도 지칭됨)를 포함한다. 실패가 루트 노드에 접속한 하나 이상의 링크들에 대해 발생할 때, 불필요하게 긴 포워딩 경로를 초래하는 모든 접속성에 대해 루트를 계속 사용하는 것, 또는 "모든 쌍" 계산으로의 복귀 대신, 특수화된 솔루션을 상정하는 것이 가능하고; 최단 경로 우선(SPF) 트리가 일반적으로 B-VID에 대해 실패한 링크를 통한 루트와의 직접적 이웃(direct adjacency)을 가지는 각각의 에지 노드에 대해 생성되며, 여기서 SPF 트리는 에지 노드에 기반을 둔다. 스패닝 트리들이 실패한 루트 노드에 대한 것을 제외한 모든 루트 노드들에 대해 생성되는 "모든 쌍" 계산이 존재하지 않으며; 대신, 루트 노드 또는 루트 노드에 접속하는 하나 이상의 링크들의 실패에 대해, B-VID당 오직 하나의 SPF 트리만이 생성된다. 따라서, 루트 노드를 포함하는 실패의 경우 계산적 로드는 현저하게 줄어든다.

본원에 기술된 실시예들은 데이터 프레임들이 각각의 ECT 세트에 대해 횡단(traverse)하는 스패닝 트리들의 루트들을 선택하기 위해 분할된 타이브레이킹 메커니즘으로 증강된 802.1aq 타이브레이킹 경로 선택 기법의 결합의 변형을 이용한다. 일 실시예에서, 스패닝 트리에 대한 루트는 B-VID와 연관된 XOR 마스크 값으로 마스킹한 이후 가장 낮은 시스템 ID를 가지는 루트 노드이며, 네트워크는 Clos 내의 제2 계층 노드들이 에지 노드들에 할당된 시스템 ID들에 비교될 때 타이브레이킹에서 가장 낮은 시스템 ID들을 일관되게 가질 것임을 보장하도록 관리된다. Clos 네트워크 내의 각각의 노드는 타이브레이킹을 위해 사용된 다수의 시스템 ID 세트들 내의 다수의 시스템 ID들을 가진다. 이들 시스템 ID 세트들 및 마스크 값들은 다수의 스패닝 트리 루트들의 분배된 그리고 독립적인 선택을 가능하게 하며 데이터 센터에서의 로드 확산에 대한 간략한 방식을 제공한다. 스패닝 트리 루트의 차선의 선택(예를 들어, XOR 마스킹 이후 두번째로 가장 낮은 시스템 ID를 가지는 루트 노드)은 각각의 시스템 ID 세트에서 상이한 제2 계층 노드이다. 따라서, 실패가 제2 계층 노드에 대해 발생할 때, 그 노드에 기반을 둔 스패닝 트리들의 세트는 하나보다 많은 다른 제2 계층 노드에 걸쳐 분산될 수 있다.

폴딩된 Clos 네트워크에 대해, 루트 노드들에 기반을 둔 스패닝 트리들은 에지 노드들에 기반을 둔 동일한 비용의 트리들과 동일한 접속성을 제공한다. 그러나, 동일한 비용의 트리들보다 스패닝 트리들을 사용하는 것에 대한 다수의 장점들이 존재한다. 스패닝 트리들의 사용은 "임의의 소스" 멀티캐스트 어드레싱의 사용을 허용하는데, 이는 네트워크 내의 멀티캐스트 상태들을 현저하게 감소시킨다. 반면, "소스 특정적" 멀티캐스트 어드레싱을 사용하는 동일 비용 트리들은 스위치 필터링 데이터베이스들에서 (S)개 정도 더 많은 멀티캐스트 어드레스들(an order (S) more multicast addresses)을 초래하며, 여기서 (S)는 주어진 멀티캐스트 그룹에 대한 멀티캐스트 소스 노드들의 수이다.

또한, 본원에 기술된 실시예들은 멀티캐스트 접속성을 구성할 시에 백본 목적지 MAC 어드레스들의 3가지 형태들을 이용하는데, 이는 802.1aq 멀티캐스트 MAC 어드레싱("소스 특정적" 멀티캐스트 어드레싱 또는 (S,G) 어드레싱으로도 지칭됨), 802.1ah 멀티캐스트 MAC 어드레싱("임의의 소스" 멀티캐스트 어드레싱 또는 (*,G) 어드레싱으로도 지칭됨) 및 기존의 백본 유니캐스트 터널링의 재사용을 포함한다. 실시예들에서, "분할된 수평선" 트리 방식은 루트 노드의 부분적 절단을 처리하기 위해 개발되었다. 실패한 이웃에 부착된 노드들은 그렇지 않은 노드들과는 상이한 형태의 어드레싱을 사용한다. 실패한 이웃에 부착된 노드들은 (*,G) 어드레싱을 사용하는 반면 ECT 세트에서 실패한 이웃에 직접 부착되지 않은 노드들은 (*,G) 및 (S,G)(또는 유니캐스트) 어드레싱의 하이브리드를 사용하여 브로드캐스트/미지/멀티캐스트(BUM; broadcast/unknown/multicast) 데이터 프레임들을 바이-캐스팅(bi-cast)한다.

본원에 기술된 하이브리드 어드레싱 스타일은 노드들에 보유된 멀티캐스트 상태들을 감소시킴으로써 네트워크 확장성을 개선시킨다. 802.1ah에 따르면, (*,G) 멀티캐스트에 대한 백본 목적지 MAC 어드레스는 고정된 조직적 고유 식별자(Organizationally Unique Identifier: OUI)(I-SID들에 대한 모든 소스들의 세트인, *를 나타냄) 및 I-SID와 같은 서비스 식별자(G를 나타냄)의 연접(concatenation)으로서 인코딩된다. 802.1aq에 따르면, (S,G) 멀티캐스트에 대한 백본 목적지 MAC 어드레스는 멀티캐스트 트리 루트(S를 나타냄) 및 I-SID와 같은 서비스 식별자(G를 나타냄)의 연접으로서 인코딩된다. 단일 수신기가 존재하는 유니캐스트에 대해, 백본 목적지 MAC 어드레스는 고정된-길이 비트값, 예를 들어, 46-비트 값이다. (*,G) 멀티캐스트 트리들은 G에서 모든 수신기들에 도달하기 위해 임의의 소스 노드에 의해 사용될 수 있고, 임의의 개별 소스가 자신의 트래픽을 보지 않도록 분할된 수평선에 의존할 수 있다. (S,G) 멀티캐스트 트리들은 트리들이 모든 "S"에 대해 공동 라우팅(co-routed)되지 않음에 따른 FDB 충돌로 인해 분할된 수평선이 가능하지 않은 최단 경로 트리들에 대해 요구되며, 트리들이 각각의 "S"에 대해 개인화될 수 있음에 따라 G에서의 수신기들의 세트 또는 서브세트에 도달하기 위해 단일 소스에 의해 사용될 수 있다. 따라서, 다수의 (S,G) 트리들은 (*,G) 트리의 등가물을 구성하도록 요구되고, 그 결과 이들 다수의 (S,G) 트리들은 하나의 (*,G) 멀티캐스트 트리와 실질적으로 동일한 것을 수행하기 위해 루트 노드들에서 더 많은 상태들을 요구한다. 유니캐스트는 노드 그룹(G)에서 단일 수신기가 존재하는 경우 사용된다. 유니캐스트는 유니캐스트 포워딩 경로가 서비스 특정적 멀티캐스트 트리와는 무관하게 존재함에 따라 상태를 추가하지 않는다. 따라서, (S,G)에 대해 유니캐스트를 사용하는 것이 유리하며, 여기서 (*,G)는 사용되지 않거나 사용될 수 없다.

표준들의 특정적 버전들이 본원에 기술되어 있지만, 본 발명의 실시예들은, 표준들의 현재 버전들이 이들이 개발될 때 표준들의 차후 버전들과 함께 작동하도록 적응될 수 있음에 따라 표준들의 현재 버전들에 기초한 구현예에 제한되지 않는다. 유사하게, 본 발명의 실시예들은, 다른 프로토콜들이 역시 이더넷 다중-영역 라우팅 네트워크에서 사용될 수 있음에 따라, 본원에 기술된 특정 프로토콜 중 하나와 관련하여 동작하는 구현예에 제한되지 않는다.

도 1은 3 스테이지 폴딩된 Clos 네트워크(10)의 예시적인 네트워크 토폴로지의 다이어그램이다. 폴딩된 입구/출구 스테이지 내의 노드들(도시된 바와 같이 최하부 스테이지)는 에지 노드들(12)이라고 지칭되고, 중간 스테이지 내의 노드들(도시된 바와 같이 최상부 스테이지)는 루트 노드들(11)이라고 지칭된다. 루트 노드들(11) 및 에지 노드들(12)은 총체적으로 "노드들"이라고 지칭된다. 각각의 노드(11, 12)는 자신의 입력 포트들 모두를 자신의 출력 포트들에 교차-접속(cross-connect)시키는 스위칭 엘리먼트이다. 네트워크는 프레임에 의해 횡단되는 노드들의 최대 수가 3개(즉, 에지에서 루트에서 에지)이기 때문에 3 스테이지이다. 각각의 루트 노드(11)는 에지 노드들(12) 모두에 접속된다. 각각의 루트 노드(11)는 에지 노드들(12)에 송신하고 에지 노드들(12)로부터 수신하기 위한 다수의 입력/출력 포트들을 포함하고, 각각의 에지 노드(12)는 또한 루트 노드들(11)에 송신하고 루트 노드들(11)로부터 수신하기 위한 다수의 입력/출력 포트들을 포함한다. 추가적으로, 각각의 에지 노드(12)는 또한 네트워크(10)의 외부로부터/외부로 트래픽을 수신하고 전송하기 위한 다수의 사용자-대향 입력/출력 포트들(13)을 포함한다.

도 1의 예시적인 네트워크는 동일한 용량의 노드들로부터 구축되고, 8개의 에지 노드들(12)을 상호접속시키는 4개의 루트 노드들(11)을 포함한다. 상이한 실시예에서 상이한 개수의 루트 노드들(11) 및 에지 노드들(12)이 포함될 수 있다. 일 실시예에서, 네트워크(10)는 데이터 센터 내에 있다. 일 실시예에서, 각각의 루트 노드(11)는 백본 코어 브리지(BCB; Backbone Core Bridge)이고, 각각의 에지 노드(12)는 백본 에지 브리지(BEB; Backbone Edge Bridge)이다.

일반적으로, 3 스테이지 폴딩된 Clos 네트워크의 비-블록(non-blocking) 특성들은 네트워크의 루트 노드들과 에지 노드들 내의 포트들의 수에 의해 결정될 수 있다. 예를 들어, 비-블록 Clos 네트워크 내의 루트 노드들(11)의 최대 수가 노드 당 포트들의 수를 2로 나눈 것이고, 에지 노드(12) 내의 사용자-대향 포트들(13)의 수는 루트 노드들의 수에 노드 당 포트들의 수를 곱한 것이다.

간략함을 위해, 후속하는 기재는 기저를 이루는 네트워크로서 점선 박스(15)에 도시된 바와 같이 네트워크(10)의 일부분을 사용한다. 기법들이 상이한 개수의 루트 노드들과 에지 노드들을 가지는 3 스테이지 폴딩된 Clos 네트워크에 적용될 수 있다는 점이 이해된다. 도 2의 실시예에 도시된 바와 같이, 루트 노드들(21)은 A, B, C 및 D로 라벨링되어 있고 에지 노드들(22)은 w, x, y 및 z로 라벨링되어 있다. 일 실시예에서, 루트 노드들(21)에는 다수의 시스템 ID 세트들(예를 들어, 세트 1, 세트 2 및 세트 3)이 할당되어 있고, 각각의 시스템 ID 세트는 루트 노드(21)마다 별개의 시스템 ID를 포함한다. 상이한 시스템 ID 세트 내의 동일한 루트 노드(21)에 대한 시스템 ID들은 동일하거나 상이할 수 있는데, 예를 들면, 노드 A는 각자, 3 시스템 ID 세트 내에서 시스템 ID들 00, 00, 00을 가지며, 노드 B는 각자, 3 시스템 ID 세트 내에서 01, 02, 02를 가진다.

다수의 시스템 ID 세트들의 사용은 B-VID에 대한 스패닝 트리의 루트 노드를 선택할 때 분할된 타이브레이킹을 허용한다. 도 3과 관련하여 상세하게 기술될 분할된 타이브레이킹 메커니즘에 따르면, B-VID들 1, 5, 9에 대한 스패닝 트리들(v1/5/9로서 도시됨)은 노드 A에 기반을 둔다. 도 2에 도시되어 있지 않지만, 루트 노드 B는 B-VID들 2, 6, 10에 대한 스패닝 트리들의 루트이고, 루트 노드 C는 B-VID들 3, 7, 11에 대한 스패닝 트리들의 루트이고, 루트 노드 D는 B-VID들 4, 8, 12에 대한 스패닝 트리들의 루트이다. 따라서, 헤더 내에 B-VID 1, 5 또는 9를 반송하는(carrying) 데이터 프레임은 에지 노드들 중 임의의 노드로부터 네트워크에 진입하고, 루트 노드 A를 경유(transit)하고, 다른 에지 노드들 중 임의의 것을 통해 나갈 수 있다. 노드 A가 실패하거나, 라벨링된 링크들 중 임의의 것이 실패하는 경우, 영향을 받는 트래픽은 다른 루트 노드들을 통해 다른 링크들로 재분배될 수 있다. 결함 없는 시나리오에서, 에지 노드들 w, x, y 및 z 각각은 다른 에지 노드들에 도달하기 위해 802.1ah "임의의 소스" 멀티캐스트 MAC (*,G) 어드레싱을 사용하여 데이터 프레임들을 포워딩한다. 그러나 고객 계층 트래픽은 그것이 백본 계층에서 포워딩된 것과는 달리 그 계층에서 브로드캐스트, 유니캐스트 또는 멀티캐스트 중 어느 하나라는 점에 유의한다.

도 3은 스패닝 트리 루트 선택을 위해 사용되는 분할된 타이브레이킹 메커니즘의 실시예를 예시한다. 분할된 타이브레이킹 메커니즘을 기술하기 전에, 802.1aq에 정의된 타이브레이킹 메커니즘을 설명하는 것이 유용하다. 802.1aq는 일반적으로 네트워크에서 트래픽의 각각의 소스로부터 기반을 둔 대칭적으로 합동인(symmetrically congruent) 최단 경로 트리들의 풀 메시들(full meshes)을 생성한다. 한가지 이러한 풀 메시는 동일 비용 트리(ECT) 세트로서 공지되어 있다. ECT 세트는 일반적으로 B-VID와 연관된다. ECT 세트의 생성의 일부분으로서 경로 계산이 하나보다 많은 동일 비용 경로로부터 선택할 필요성을 초래할 때, 802.1aq는 각각의 동일 비용 경로에 대한 고유한 경로 ID를 구성하기 위해 노드 ID들의 사전적 순서를 사용하고, 경로 ID들의 세트를 분류하고, 가장 낮은 값을 선택한다. 추가적으로, 802.1aq는 노드 ID들을 가지는 각각의 ECT 세트와 연관된 세트 값의 XOR을 통해 다수의 ECT 세트들을 생성하고, 각각의 경로 ID 내의 노드 ID들의 사전적 순서를 개정하고, 경로 ID들을 재-순위화하고, 다시 가장 낮은 값을 선택하기 위한 수단을 특정한다.

본원에 기술된 분할된 타이브레이킹 메커니즘은 802.1aq에 대한 개선안이다. 분할된 타이브레이킹 메커니즘은 결함 없는 시나리오에서뿐만 아니라, 하나 이상의 루트 노드들이 실패할 때에도 Clos 네트워크 내의 루트 노드들의 세트에 걸친 트래픽의 더욱 균등한 분배를 가능하게 한다. 분할된 타이브레이킹 메커니즘은 다음과 같이 다수의 설계 엘리먼트들을 사용한다. (1) 인스턴스화(instantiate)될 스패닝 트리들의 수는 루트 노드들의 수의 일부 정수배가 되도록 선택된다. 그 배수는, 실패 동안 분할된 타이브레이커들(split tiebreakers)의 속성들을 레버리지(leverage)하도록 요구되는 경우 1보다 더 크다. (2) 루트 노드 ID들(즉, 시스템 ID들)은 결함 없는 Clos 네트워크에서 동일한 수의 스패닝 트리들이 각각의 루트 노드에 기반을 두도록 설계된다. (3) 에지 노드 ID들은 각각의 에지 노드가 결코 스패닝 트리 루트가 아니도록 설계된다. 이것은 에지 노드 ID들의 상위 비트들에서 단순히 넌-제로 값을 사용함으로써 달성될 수 있는 반면, 루트 노드는 min_value(에지 노드 ID들의 세트) > max_value(루트 노드 ID들의 세트)이도록 상위 비트들 내에 제로를 가진다. (4) 배수가 (1)에서 1보다 더 큰 경우, 분할된 타이브레이커 값들은 실패한 루트 노드의 스패닝 트리 루트들이 하나보다 많은 다른 루트 노드에 걸쳐 분배되도록 설계된다.

도 3의 실시예에서, 시스템 ID 세트들(23) 내의 시스템 ID들이 바이너리(binary)로 도시되어 있다. 추가로, 네트워크 내의 각각의 B-VID에는 마스크 값 및 마스크 세트(33)에 도시된 예와 같은 시스템 ID 세트 번호가 할당된다. 시스템 ID 세트 1에 속하는 B-VID들 1-4의 각각에 대한 루트 노드를 결정하기 위해, B-VID 1-4의 대응하는 마스크 값들을 사용하여 시스템 ID 세트 1에 대해 변환이 수행된다. 일 실시예에서, (주어진 마스크를 사용하여) 변환 이후 가장 낮은 시스템 ID를 가지는 루트 노드는 주어진 마스크와 연관된 B-VID에 대한 스패닝 트리의 루트이다. 일 실시예에서, 변환은 XOR 연산이다. 예를 들어, 마스크 값 0000을 가지는 B-VID 1에 대해, XOR이 마스크 값 0000에 대해 수행되며, 세트 1 내의 시스템 ID들 각각은 0000, 0001, 0010, 0011이다. (변환된 시스템 ID들인) XOR의 결과들은 0000, 0001, 0010 및 0011이다. 일 실시예에서, 가장 낮은 XOR 값을 초래하는 루트 노드는 대응하는 B-VID에 대한 스패닝 트리의 루트로서 선택된다. 따라서, B-VID 1에 대해, XOR 결과 0000가 4개 중 가장 낮음에 따라 루트 노드는 노드 A이다.

노드 A에 대한 실패의 경우, 노드 A를 경유하는 트래픽은 위에서 계산된 XOR 결과들에 따라 또다른 루트 노드로 재-라우팅될 수 있다. 예를 들어, 다음으로 가장 낮은 XOR 값을 초래한 루트 노드, 즉, 노드 B가 새로운 경유 루트 노드로서 선택될 수 있다. 따라서, 위에서 계산된 XOR 결과들은 B-VID 1에 대한 페일오버 순서를 결정한다.

유사하게, B-VID들 5-8 및 B-VID들 9-12에 대한 루트 선택은 동일한 분할된 타이브레이킹 메커니즘을 사용하여 수행될 수 있다. B-VID들 1-4, B-VID들 5-8 및 B-VID들 9-12이 상이한 세트에 있음에 따라, 각각의 세트 내의 마스크 값들 및 시스템 ID들은 다른 세트들과는 무관하게 구성될 수 있다. 일 실시예에서, 관리 시스템은 시스템 ID들 및 이들의 대응하는 시스템 ID 세트들을 이용하여 각각의 루트 노드를 구성할 수 있다. 관리 시스템은 또한 네트워크에서 사용되는 B-VID들에 대한 마스크 값들을 할당할 수 있다. 시스템 ID 세트 번호(예를 들어, 세트 1, 세트 2 또는 세트 3) 및 각각의 B-VID에 대한 마스크 값은 증강된 IS-IS 헬로우 프로시져(augmented Intermediate System to Intermediate System hello procedure)를 통해 노드들 사이에서 교환될 수 있거나, 또는 관리 시스템에 의한 구성 데이터로서 각각의 노드 내로 로딩될 수 있다.

도 4는 3 스테이지 폴딩된 Clos 네트워크에서 스패닝 트리들에 대한 포워딩 상태들을 계산 및 설치하기 위한 방법(400)의 실시예를 예시하는 흐름도이다. 일 실시예에서, 타이브레이킹 정보는 증강된 IS-IS 헬로우 프로시져를 사용하여 노드들 사이에서 교환된다(블록 410). 증강된 IS-IS 프로시져는, 각각의 B-VID에 대해, 경로 생성 알고리즘(예를 들어, 스패닝 트리 또는 동일 비용 트리), 루트 선택을 위한 시스템 ID 세트, 그리고 B-VID에 대한 마스크 값을 교환하기 위해 사용될 수 있다. 예를 들어, 노드와 연관된 IS-IS 스피커는 다음을 통지할 수 있다: B-VID 1에 대해, 스패닝 트리를 사용하고, 루트 선택을 위한 시스템 ID 세트 1을 사용하고 마스크 값 = 00을 사용하며; B-VID 2에 대해, 스패닝 트리를 사용하고, 루트 선택을 위한 시스템 ID 세트 1을 사용하고, 마스크 값 = 01을 사용하는 등등이다. 대안적인 실시예에서, 타이브레이킹 정보는 관리 시스템에 의해 각각의 노드 내로 구성될 수 있다. 타이브레이킹 정보를 획득한 이후, 스패닝 트리의 루트 노드는 타이브레이킹 정보에 기초하여 각각의 B-VID에 대해 선택된다(블록 420). 도 3에 기술된 바와 같이, 루트 선택은 시스템 ID 변환에 의해 수행되며, 따라서, 모든 루트 노드들 중 가장 낮은 시스템 ID를 가지는 루트 노드는 주어진 B-VID에 의해 식별된 스패닝 트리에 대한 루트로서 선택된다. 루트 선택 이후, 각각의 루트 노드에 대해, 에지 노드들에 대한 그 경로들이 식별된다(블록 430). 일 실시예에서, 경로들은 Dijkstra 알고리즘을 사용하여 네트워크 내의 각각의 노드에 의해 계산되며; 대안적으로, 상이한 알고리즘들이 사용될 수 있다.

Dijkstra 알고리즘이 사용되는 실시예에서, 계산 결과는 링크 실패의 영향들을 회피하도록 포워딩을 수정하기 위해 사용될 수 있다. 계산은 네트워크 내의 각각의 노드에 의해 분산 방식으로 수행되고, 계산 결과들은 네트워크 내의 이들의 위치들과는 무관한 노드들에 의해 사용될 수 있다. 따라서, 노드는 이 정보를 사용하기 위해 실패한 링크에 대해 다음 노드가 될 필요는 없는데, 왜냐하면, 노드는 전체 토폴로지 지식을 취하며, 그 정보의 로컬 개인화(local personalization)를 계산하기 때문이다. Dijkstra 알고리즘은 프로토타입 트리를 생성하는데, 여기서 각각의 하나의 홉 경로는 루트 노드로부터 에지 노드까지이며, 이는 트리에서 유지될 수 있다. 하나보다 많은 홉을 가지는 경로들은 트리로부터 잘려질 수 있다(블록 440). 예를 들어, 루트에서 에지에서 루트까지인 2개의 홉 경로들이 존재할 수 있다. 이들 경로들은 프로토타입 트리로부터 잘려질 수 있다. 3개의 홉 경로들은 링크 실패의 표시로서 식별된다(블록 450). 3 홉 경로의 시작점은 스패닝 트리의 루트이고, 종단점은 루트에 의해 직접 도달될 수 없는 에지 노드이다. 따라서, 3개의 홉 경로들은 트래픽을 발신한 에지(edge originated traffic)가 스패닝 트리의 루트를 횡단하며, 에지 노드에 도달하기 위해 또다른 루트를 횡단해야 함을 나타낸다. 따라서, 이들 3개의 홉 경로들은 또한 고려에서 제외될 수 있으며, 실패한 링크에 연결된 에지 노드 및 그 B-VID에 대해 새로운 루트가 요구된다. 3개의 홉 경로들에 의해 도달된 노드들의 리스트는, 에지 노드들의 세트가 더 이상 루트에 직접 부착되지 않음에 따라 향후 계산을 위해 별도로 유지된다. 또한, 4개의 홉들 또는 더 많은 경로들은, 네트워크가 비정상적으로 실패했음을 의미한다. 전술된 경로 절단 및 실패 검출이 단지 예들이며, 최적안들이 존재할 수 있다는 점에 유의한다.

스패닝 트리의 생성 이후, B-VID와 연관된 공통 서비스 식별자를 가지는 B-VID에 대한 에지 노드들의 각각의 쌍이 식별된다(블록 460). 에지-에지 노드 쌍이 식별될 때, 이들의 각자의 필터링 데이터베이스(FDB)는 노드 쌍 사이에서 유니캐스트 및 멀티캐스트 데이터 프레임들을 포워딩하기 위한 포워딩 엔트리(포워딩 상태로도 지칭됨)를 포함하도록 구성된다(블록 470). 이들 데이터 프레임들은 네트워크에 의해 제공되는 대응하는 서비스를 식별하기 위해 자신의 헤더들에 I-SID를 포함시킬 것이다. 에지 노드에 대해, FDB 엔트리들은 스패닝 트리 루트에서의 I-SID 멀티캐스트 어드레스들 뿐만 아니라 에지 노드의 노드 유니캐스트 백본 MAC(B-MAC)어드레스를 지정(pointing)함으로써 생성될 수 있다. 루트 노드에 대해, FDB 엔트리들은 에지 노드들의 쌍에 대한 멀티캐스트 엔트리들 뿐만 아니라 루트 노드의 노드 유니캐스트 B-MAC를 교차-접속시킴으로써 생성될 수 있다. 블록(430) 내지 블록(470)의 동작들은 스패닝 트리들의 각각의 루트에 대해 반복된다.

도 5는 하나의 루트 노드(예를 들어, 노드 A)가 실패하는("F"로 표시됨) 도 2의 네트워크의 실시예를 도시한다. 도 3에 기술된 분할된 타이브레이킹 메커니즘을 사용함으로써, 노드 A에서의 데이터 포워딩의 워크로드는 B-VID들 1, 5 및 9에 대해 두번째로 가장 낮은 XOR 결과들(바이너리로 0001)을 가지는 다른 노드들에 시프트될 수 있다. 따라서, 노드들 B, C 및 D는 각자 B-VID들 1, 5 및 9에 대한 스패닝 트리 루트들이 된다. 워크로드의 시프트는 에지 노드들에 의해 사용되는 멀티캐스트 어드레싱을 변경하지 않는다. 따라서, 에지 노드들 w, x, y 및 z은 멀티캐스트 데이터 프레임들을 802.1ah "임의의 소스" 멀티캐스트 MAC (*,G) 어드레싱(간략함을 위해 (*,G) 어드레싱으로도 지칭됨)을 이용하여 다른 에지 노드들에 계속 포워딩한다.

도 6-11은 하나 이상의 링크들이 실패하는 예시적인 3 스테이지 폴딩된 Clos 네트워크에서의 다수의 시나리오들을 예시한다. 링크 실패는 도 4의 블록(450)에 기술된 바와 같이 스패닝 트리들을 생성할 때 검출될 수 있고, Dijkstra 알고리즘은 스패닝 트리 루트로부터 에지 노드들로의 경로들을 계산하기 위해 사용된다. 도 4의 블록(450)에서 도시된 바와 같이, 스패닝 트리에서의 3 홉 경로는 링크 실패 및 영향받은 노드들을 나타낸다. 다른 방법들이 또한 3 스테이지 폴딩된 Clos 네트워크에서의 노드 또는 링크 실패들의 결과들을 검출하기 위해 사용될 수 있다는 점이 이해된다.

도 6은 노드 A와 노드 w 사이의 링크에 대해 실패가 발생하는 시나리오를 도시한다. 노드 A에 대한 스패닝 트리가 계산될 때, 노드 w는 3 홉 경로에 의해 서빙되는(served) 것으로서 드러난다. 링크 실패를 식별하면, 노드 w에 기반을 둔 최단 경로 우선(SPF) 트리는 실패한 링크를 사용하는 각각의 B-VID에 대해 구성된다. IS-IS와 같은 링크 상태 라우팅 프로토콜을 통해, 각각의 노드는 네트워크에서 토폴로지 정보를 습득하고, 이 정보를 SPF 트리를 계산하기 위해 사용한다. 일 실시예에서, SPF 트리는 Dijkstra 알고리즘을 사용하여 각각의 노드에 의해 계산될 수 있다. 이들 노드들은 토폴로지 정보에 기초하여 네트워크의 동일한 뷰를 구성한다.

일 실시예에서, SPF 트리들의 구성은 어느 루트 노드를 경유할지를 결정하기 위해 이전에 기술된 분할된 타이브레이킹 메커니즘의 사용을 포함한다. 이들 SPF 트리들의 루트들이 네트워크의 에지 노드들이며, 네트워크의 루트 노드들이 SPF 트리들의 경유 노드들이 된다는 점에 유의한다. SPF 트리들이 구성된 이후, 에지 노드들은 B-VID에 대한 에지-에지 노드 쌍들에 의해 공유된 I-SID들의 교점(즉, 공통 I-SID들)을 식별한다. 식별된 에지 노드 쌍들에 기초하여, 각각의 노드는 후속적인 데이터 포워딩을 위해 자신의 FDB를 채운다.

도 6의 예에서, B-VID들 1, 5 및 9에 대해 구축된 SPF들은 각자 v1, v5 및 v9로 라벨링된 링크들로서 도시되어 있다. 라벨 v1/5/9을 가지고 노드들 x, y 및 z에 접속한 링크들은 실패가 없으며, 따라서, (*,G) 어드레싱을 사용하여 그 자신들 간에 데이터를 포워딩하기 위해 노드들 x, y 및 z에 의해 계속 사용될 수 있다. 그러나, 노드 w와 통신하기 위해, 노드들 x, y 및 z는 v1, v5 및 v9로 라벨링된 SPF 트리 링크들을 사용할 필요가 있다. 따라서, 일 실시예에서, 하이브리드 멀티캐스트 어드레싱은 에지 노드들에 의해 사용되는데, 즉, 노드들 x, y 및 z는 노드 w에 멀티캐스트 데이터를 포워딩하기 위해 유니캐스트 또는 802.1aq "소스 특정적" 멀티캐스트 MAC (S,G) 어드레싱(간략함을 위해 (S,G) 어드레싱으로도 지칭됨)을 사용하여, x, y 및 z 사이에 사용되는 접속성을 증강시키는 반면; 노드 w는 노드들 x, y 및 z에 멀티캐스트 데이터를 포워딩하기 위해 802.1ah 멀티캐스트 MAC (*,G) 어드레싱을 사용한다. 이는, 노드 w로부터의 멀티캐스트가 모든 피어들에 도착할 필요가 있으며, x, y 및 z로부터의 멀티캐스트가 이들이 서로 멀티캐스팅하는 방법과는 별도로 노드 w에 도달하기 위해 다른 처리를 요구하기 때문이다.

동일한 원리가 도 7-11에 도시된 후속하는 예들 각각에 적용되는데, 즉, 에지 노드가 3 홉 경로에 의해서만 스패닝 트리로부터 도달가능할 때, 이 노드로부터 SPF 트리를 계산하고, (*,G) 어드레싱을 사용하여 이 노드로부터 멀티캐스트 데이터를 포워딩하고, 유니캐스트 또는 (S,G) 어드레싱을 사용하여 이 노드에 멀티캐스트 데이터를 포워딩한다.

도 7은 노드 w에 접속한 2개 링크들이 실패하는 또다른 시나리오를 예시한다. 이 시나리오에서, B-VID 1에 대한 SPF 트리(이는 노드 w에 기반을 둠)가 더 이상 노드들 A와 B를 경유할 수 없음에 따라, 노드 C는 (예를 들어, 타이브레이킹에 의해) 경유 노드로서 사용된다. B-VID 5 및 B-VID 9에 대한 SPF 트리는 여전히 각자 노드들 C와 D를 경유할 수 있다. v1/5/9 링크들에 대한 어드레싱 방식은 여전히 (*,G) 어드레싱이다. 그러나, 노드 w와 통신하기 위해, 노드들 x, y 및 z는 v1/5(v1과 v5를 나타냄) 및 v9로 라벨링된 SPF 트리 링크들을 사용할 필요가 있다. 따라서, 일 실시예에서, 노드들 x, y 및 z는 노드 w에 멀티캐스트 데이터를 포워딩하기 위해 유니캐스트 또는 (S,G) 어드레싱을 사용하는 반면, 노드 w는 노드들 x, y 및 z에 멀티캐스트 데이터를 포워딩하기 위해 (*,G) 어드레싱을 사용한다.

도 8은 노드 A에 접속하는 2개의 링크들이 실패하는 또다른 시나리오를 예시한다. 이 시나리오에서, 노드들 y 및 z는 802.1ah 멀티캐스트 MAC (*,G) 어드레싱을 사용하여 v1/5/9 링크들을 통해 노드들 y 및 z 자체 사이에서 여전히 통신할 수 있다. 그러나, 노드들 w 및 x와 통신하기 위해, 노드들 y 및 z는 v1, v5 및 v9로 라벨링된 SPF 트리 링크들을 사용할 필요가 있다. 따라서, 일 실시예에서, 노드들 y 및 z는 공통 루트에 대한 실패한 이웃들을 가지는 다수의 노드들이 존재함에 따라 노드들 w 및 x에 멀티캐스트 데이터 프레임들을 포워딩하기 위해 (S,G) 어드레싱을 사용하는 반면, 노드들 w 및 x는 서로에게 뿐만 아니라 노드들 y 및 z에 멀티캐스팅하기 위해 802.1ah 멀티캐스트 MAC (*,G) 어드레싱을 사용한다.

도 9는 노드들 A와 w 사이의 제1 링크가 실패하고 노드들 B와 x 사이의 제2 링크가 또한 실패하는 또다른 시나리오를 예시한다. A에 대한 스패닝 트리가 계산될 때, 노드 w는 3 홉 경로에 의해 서빙되는 것으로서 드러난다. B-VID 1에 대한 SPF 트리가 노드 w가 노드 x와 통신하기 위한 (노드들 B와 x 사이에) 작용 경로를 더 이상 가지지 않음에 따라, 이러한 실패한 경로는 경로 w-C-x에 의해 대체될 수 있으며, 이것은 하나보다 많은 루트를 경유하는 노드들 w로부터의 SPF 트리를 계산한 결과로서 결정된다. 라벨 v1/5/9를 가지는 노드들 x, y 및 z에 대한 링크들은 실패가 없으며, 따라서, (*,G) 어드레싱을 사용하여 그 자체 사이에서 데이터를 포워딩하기 위해 노드들 x, y 및 z에 의해 계속 사용될 수 있다. 그러나, 노드 w와 통신하기 위해, 노드들 x, y 및 z는 v1, v5 및 v9로 라벨링된 SPF 트리 링크들을 사용할 필요가 있다. 따라서, 일 실시예에서, 노드들 x, y 및 z는 노드 w에 멀티캐스트 데이터를 포워딩하기 위해 유니캐스트 또는 (S,G) 어드레싱을 사용하는 반면, 노드 w는 노드들 x, y 및 z에 멀티캐스트 데이터를 포워딩하기 위해 (*,G) 어드레싱을 사용한다.

도 10은 노드 w에 접속하는 4개의 링크들 중 3개가 실패하는 또다른 시나리오를 예시한다. 이 시나리오에서, 라벨 v1/5/9을 가지는 노드들 x, y 및 z에 대한 링크들은 실패가 없으며, 따라서, 802.1ah 멀티캐스트 MAC (*,G) 어드레싱을 사용하여 그 자체 사이에서 데이터를 포워딩하기 위해 노드들 x, y 및 z에 의해 계속 사용될 수 있다. 그러나, 노드 w와의 통신은 노드 w와 노드 D 사이를 접속시키는 작용 링크를 통해서만 이루어진다. 따라서, B-VID들 1, 5 및 9에 대해 노드 w에 기반을 둔 3 SPF 트리들(v1 /5/9로 라벨링됨)은 모두 노드 D를 경유한다. 노드 w와 통신하기 위해, 노드들 x, y 및 z는 v1 /5/9로 라벨링된 SPF 트리 링크들을 사용할 필요가 있다. 따라서, 일 실시예에서, 노드들 x, y 및 z는 노드 w에 멀티캐스트 데이터를 포워딩하기 위해 유니캐스트 또는 (S,G) 어드레싱을 사용하는 반면, 노드 w는 노드들 x, y 및 z에 멀티캐스트 데이터를 포워딩하기 위해 (*,G) 어드레싱을 사용한다.

도 11은 노드 A에 접속하는 4개의 링크들 중 3개가 실패하는 또다른 시나리오를 예시한다. 이 시나리오에서, 노드 w와의 통신은 노드 w에 접속하는 작용 링크(도시된 바와 같이 v1 /5/9로 라벨링된 가장 좌측 링크)를 통해서만 이루어진다. A-z 사이의 링크는 노드 z가 임의의 다른 에지 노드들에 도달하기 위해 이 링크를 사용할 수 없으므로 사용되지 않는다. 따라서, 루트 노드 A는, 그것이 유용한 데이터 포워딩을 위해 에지 노드들 중 어떠한 것도 서비스하지 못하기 때문에, 네트워크로부터 "사실상" 잘려나간다. 이 시나리오는 4개의 멀티캐스트 어드레스를 사용하는데, 즉, 노드들 w, x 및 y은 802.1aq 멀티캐스트 MAC (S,G) 어드레싱을 사용하고, 노드 z는 802.1ah 멀티캐스트 MAC (*,G) 어드레싱을 사용한다. 추가로, 노드 A에 기반을 둔 하나의 스패닝 트리 및 각자 노드들 w, x 및 y에 기반을 둔 3개의 분할된 수평선 계산들이 또한 존재한다.

도 12는 3 스테이지 폴딩된 Clos 네트워크에서 실패가 발생할 때 데이터 프레임 포워딩을 위한 방법(1200)을 예시하는 흐름도이다. 일 실시예에서, 방법(1200)은 각각의 노드가 루트 노드들에 기반을 둔 스패닝 트리들에 대한 포워딩 상태들을 계산 및 설치하는 것으로 시작하며(블록 1210), 스패닝 트리들에서 데이터 포워딩은, 네트워크에서 실패가 존재하지 않을 때 멀티캐스트 경로들에 대해 802.1ah 멀티캐스트 어드레스들을 이용한다. 주어진 에지 노드가 주어진 루트 노드에 대한 실패한 접속을 가지는 것이 (예를 들어, 도 4에서 전술된 Dijkstra 알고리즘에 의해) 검출될 때(블록 1220), 주어진 에지 노드에 기반을 둔 SPF 트리는 주어진 에지 노드에 기반을 두며 실패한 접속을 사용하는 B-VID들의 세트 각각에 대해 구성된다(블록 1230). 주어진 에지 노드와 다른 에지 노드들에 의해 공유된 공통 I-SID들이 식별되며, 이 정보는 B-VID들의 세트와 연관된 서비스들을 공통적으로 가지는 것으로 식별된 에지 노드 쌍들에 대해 주어진 에지 노드와 다른 에지 노드들 사이의 쌍방식 접속성에 대해 각각의 노드에서 FDB를 파퓰레이트하기 위해 사용된다(블록 1240). 유니캐스트 상태는 FDB에서 설치된다(블록 1250). 멀티캐스트 상태는 또한, 트래픽이 주어진 에지 노드로 향하는지 또는 주어진 에지 노드로부터 오는 것인지에 따라 선택되는 멀티캐스트 어드레싱의 하이브리드를 사용하여 FDB에서 설치된다(블록 1260). 노드들은 이후 FDB에 따라 유니캐스트 및 멀티캐스트 데이터를 포워딩한다(블록 1270). 데이터는 하이브리드 멀티캐스트 어드레싱에 따라 포워딩되며, 이를 이용하여, 주어진 에지 노드는 802.1ah 멀티캐스트 MAC 어드레싱을 사용하여 SPF 트리들을 통해 다른 에지 노드들에 데이터 프레임들을 포워딩하고, 다른 에지 노드들은 유니캐스트 또는 802.1aq 멀티캐스트 MAC 어드레싱을 사용하여 SPF 트리들을 통해 주어진 에지 노드에 데이터 프레임들을 포워딩한다.

도 2-12와 관련하여 전술된 방법들(400 및 1200)은 더 최적화될 수 있다. 도 2의 예들에서, 12개의 스패닝 트리들이 B-VID들 1-12에 대해 생성된다(3개의 스패닝 트리만이 도시되어 있음). 실제로 4개의 루트들만이 존재함에 따라, 4개의 스패닝 트리 계산들의 결과가 재사용될 수 있다. 유사하게, 제1 실패 2개 링크 시나리오(도 7) 및 제1 실패 3개 링크 시나리오(도 10)에서, 노드 w로부터의 계산이 재사용될 수 있다.

더 작은 네트워크들에 대해, 별도의 시스템으로서 또는 노드들에 집적된 더 단순한 내부 시스템 관리 기능을 가지는 라우팅 시스템의 어느 정도의 사전-계산 및 대체를 참작하는 것이 또한 가능한데, 예를 들어, 8개 포트 스위치들에 대해 구축된 Clos 네트워크는 32개 링크들을 가진다. B-VID들이 어느 루트 및 어떤 어드레싱을 사용할지에 대해 매핑하는 모든 단일 링크 및 노드 실패 시나리오들에 선행하여 스파스 테이블(sparse table)이 구성될 수 있고; 예를 들어, 테이블에서 약 40개의 엔트리들(대 232개의 가능한 네트워크 상태들)이 구성될 수 있다. 에지 노드에 대해, FDB 엔트리들은 정확한 루트 노드에서 포워딩 엔트리들을 지정함으로써 생성될 수 있다. 루트 노드에 대해 FDB 엔트리들은 각각의 에지 쌍에 대해 관심 있는 I-SID의 교점을 결정하고, 그에 따라 루트 FDB를 채움으로써 생성될 수 있다.

전술된 기재는 대체된 로드가 생존 노드들에 걸쳐 가능한 균등하게 공유되도록 실패 시 로드의 확산(spreading)을 다룬다. 그러나, 로드를 균등하게 분배하는 것은 모든 고객들이 비-블록 서비스(non-blocking service)를 가지는 것에서 블록 서비스(blocking service)를 가지는 것으로 천이할 것이기 때문에 항상 바람직하지는 않을 수도 있다. 일 실시예에서, 우선순위는 실패 시나리오 하에서 비-블록(non-blocking)을 보존하기 위해 (스패닝 트리들에 대한 개별 B-VID들에 의해 식별된) VLAN들의 서브세트에 주어질 수 있다. 스패닝 트리들의 우선순위화된 세트 밖의 실패는 이들의 세트 내에서 확산되지 않는다. 이들의 세트 내의 실패들은 이들의 세트 밖으로 확산된다. 이러한 방식으로, 고객들의 서브세트가 실패에 의해 직접 영향을 받지 않을 때마다 비-블록 거동을 보증받을 수 있다.

추가로, 현재 트래픽 패턴들에 대한 지식이 또한 사용될 수 있다. 트래픽이 데이터 센터, 예를 들어, 완전히 이용된 네트워크(fully utilized network)에서 균일하게 분배된다고 가정된다. 덜 이용된 네트워크(underutilized network)를 사용하기 위한 알고리즘이 개발될 수 있다. 예를 들어, 덜 이용된 트리들은 실패시 이들에게 트래픽의 더 큰 공유가 시프트되게 할 수 있다. 따라서, 네트워크는 실제로 비-블록이 아니며, 오직 현재 제공된 로드에 기초하여 비-블록이다.

또한, 백업 노드들/경로들의 배열의 변경이 타격없이(hitlessly)(즉, 데이터의 손실 없이) 제공될 수 있다. 주어진 시스템 ID 세트에서 실패 시 제2 또는 제3 후보로서의 노드의 위치는 그 시스템 ID 세트 내의 자신의 시스템 ID를 변경함으로써 수정될 수 있다. 관리 시스템은 트래픽이 시프트되는 방법을 수정하도록 이들 시스템 ID들을 구성하고 조정할 수 있다. 현재 포워딩 패턴이 가장 낮은 XOR 타이브레이커 값에 기초하는 것을 고려할 때, 차선의 계층구조는 포워딩 패턴들에 영향을 주지 않고 서비스에서 수정될 수 있다.

도 13은 본 발명의 실시예를 구현하기 위해 사용될 수 있는 3 스테이지 폴딩된 Clos 네트워크 엘리먼트의 예를 예시한다. 네트워크 엘리먼트(310)는 전술된 3 스테이지 폴딩된 Clos 네트워크 내의 임의의 노드(에지 노드 또는 루트 노드)일 수 있다.

도 13에 도시되어 있는 바와 같이, 네트워크 엘리먼트(310)는 스위치 패브릭(330), 다수의 데이터 카드들(335), 수신기(Rx) 인터페이스(340), 송신기(Tx) 인터페이스(350) 및 I/O 포트들(355)을 포함하는 데이터 면을 포함한다. Rx 및 Tx 인터페이스들(340 및 350)은 I/O 포트들(355)을 통해 네트워크 내의 링크들과 인터페이싱한다. 네트워크 엘리먼트가 에지 노드인 경우, I/O 포트들(355)은 또한 네트워크 외부로부터/외부로 통신을 제공하기 위한 다수의 사용자-대향 포트들을 포함한다. 데이터 카드들(335)은 인터페이스들(340 및 350)을 통해 수신된 데이터에 대한 기능들을 수행하고, 스위칭 패브릭(330)은 데이터 카드들/I/O 카드들 사이에서 데이터를 스위칭한다.

네트워크 엘리먼트(310)는 또한, 데이터 트래픽의 라우팅, 포워딩 및 프로세싱을 핸들링하도록 구성된 제어 로직을 포함하는 하나 이상의 네트워크 프로세서들(315)을 포함하는 제어 면을 포함한다. 네트워크 프로세서(315)는 또한, 스패닝 트리 루트 선택을 위한 분할된 타이브레이커를 수행하고, 스패닝 트리들에 대해 포워딩 상태들을 계산 및 설치하고, 링크 실패의 발생 시 SPF 트리들을 계산하고, 데이터 포워딩을 위해 FDB(326)를 파도록 구성된다. 다른 프로세스들이 또한 제어 로직에서 구현될 수 있다.

네트워크 엘리먼트(310)는 또한, FDB(326) 및 토폴로지 데이터베이스(322)를 저장하는 메모리(320)를 포함한다. 토폴로지 데이터베이스(322)는 네트워크의 링크 상태들을 포함하여, 네트워크 토폴로지의 네트워크 모델 또는 유사한 표현을 저장한다. FDB(326)는, 네트워크 엘리먼트(310)에 인입하는 트래픽을 어디로 포워딩할지를 나타내는, 하나 이상의 포워딩 테이블에 네트워크 엘리먼트(310)의 포워딩 상태들을 저장한다.

일 실시예에서, 네트워크 엘리먼트(310)는 관리 시스템(380)에 연결될 수 있다. 일 실시예에서, 관리 시스템(380)은 메모리(370)에 연결된 하나 이상의 프로세서들(360)을 포함한다. 프로세서들(360)은, 시스템 ID들을 업데이트하여 이에 의해 네트워크 내의 작업 분배를 시프트시키고, 네트워크의 비-블록 속성들이 적어도 이들 스패닝 트리들에 대해 유지되도록 스패닝 트리들의 서브세트에 우선순위를 할당하는 것을 포함하여, 네트워크 엘리먼트(310)의 시스템 ID들 및 동작들을 구성하기 위한 로직을 포함한다. 일 실시예에서, 관리 시스템(380)은 각각의 노드에 대한 포워딩 테이블들을 계산하고 이후 포워딩 테이블들을 노드들에 다운로드하는 시스템 관리 기능을 수행할 수 있다. 시스템 관리 기능은 선택적이며(점선들로 표시된 바와 같음); 대안적인 실시예에서, 분산 라우팅 시스템은 각각의 노드가 자신의 포워딩 테이블들을 계산하는 계산을 수행할 수 있다.

본원에 기술된 실시예들의 장점들 중 하나는, 네트워크 내의 N개의 전체 노드들의 네트워크에 대해, 스패닝 트리 루트 선택에 대해 적응된 분할된 타이브레이커의 사용이 루트 실패 시에 계산적 로드가 현저하게 줄어든다는 것을 의미하며, 따라서, 계산상의 복잡도는: (생존 루트의 수) x O(NlnN)이라는 점이다. 이것은 O(N²lnN)의 802.1aq 복잡도에 비해 상당한 개선이다. 본원에 기술된 실시예들에서, 계산상의 복잡도는 결함 없는 시나리오 및 실패 시나리오 모두에서 감소된다.

링크 실패 시나리오들을 다루기 위해 분할된 수평선 루트 트리들(split horizon rooted trees)의 사용은 또한 계산적 로드를 감소시키며, 따라서, 복잡도는 (루트들의 수) x O(NlnN) + (실패한 링크들에 인접한 에지들의 수) x O(NlnN)이다. 반면, 802.1aq에 대한 공칭적 복잡도는 O(N²lnN)이다. 다시 본원에 기술된 실시예들에 대해, 계산상의 복잡도는 결함 없는 시나리오 및 실패 시나리오 모두에서 감소된다.

또한, 분할된 수평선 루트 트리들의 사용은, 실패한 링크에 인접한 또다른 에지 노드(예를 들어, 도 6-11의 예들에서의 노드 w)에 송신하는 에지 노드들만이 이들의 정상 스패닝 트리(*,G)에 그리고 이러한 다른 에지 노드들(예를 들어, 노드 w)에 대한 유니캐스트 경로에 바이-캐스팅할 필요가 있는 반면, 이러한 다른 에지 노드 자체(예를 들어, 노드 w)는 (*,G) 어드레싱을 계속 사용할 수 있음을 의미한다.

루트 선출을 위한 노드 타이브레이커 값들의 사용은 루트들이 다른 수단에 의해 명시적으로 식별될 필요가 없으며, 따라서, 잘못-구성되는 것이 덜함을 의미한다.

전술된 기능들은 컴퓨터 판독가능한 메모리에 저장되고, 네트워크 엘리먼트와 연관된 컴퓨터 플랫폼 상에서 하나 이상의 프로세서들에서 실행되는 프로그램 명령들의 세트로서 구현될 수 있다. 그러나, 본원에 기술된 모든 로직이 이산 컴포넌트들, 주문형 집적 회로(ASIC)와 같은 집적 회로, 필드 프로그래밍가능한 게이트 어레이(FPGA; Field Programmable Gate Array) 또는 마이크로프로세서와 같은 프로그래밍가능한 로직 디바이스와 공조하여 사용되는 프로그래밍가능한 로직, 상태 머신, 또는 이들의 임의의 결합을 포함하는 임의의 다른 디바이스를 사용하여 구현될 수 있다는 점이 이 기술분야의 통상의 기술자에게 명백할 것이다. 프로그래밍가능한 로직은 판독-전용 메모리 칩, 컴퓨터 메모리, 디스크, 또는 다른 저장 매체와 같은 유형 매체에 임시로 또는 영구적으로 고정될 수 있다. 프로그래밍가능한 로직은 또한 반송파에 내장되어, 프로그래밍가능한 로직이 컴퓨터 버스 또는 통신 네트워크와 같은 인터페이스를 통해 전송되게 하는, 컴퓨터 데이터 신호에서 고정될 수 있다. 모든 이러한 실시예들은 본 발명의 범위 내에 들도록 의도된다.

도 4 및 12의 흐름도들의 동작들은 도 1, 2 및 13의 예시적인 실시예들과 관련하여 기술되어 있다. 그러나, 도 4 및 12의 다이어그램들의 동작들이 도 1, 2 및 13과 관련하여 논의된 것이 아닌 본 발명의 실시예들에 의해 수행될 수 있으며, 도 1, 2 및 13과 관련하여 논의된 실시예들이 도 4 및 12의 다이어그램들과 관련하여 논의된 것과는 상이한 동작들을 수행할 수 있다는 점이 이해되어야 한다. 도 4 및 12의 다이어그램들이 본 발명의 특정 실시예들에 의해 수행된 동작들의 특정 순서를 도시하지만, 이러한 순서가 예시적이라는 점이 이해되어야 한다(예를 들어, 대안적인 실시예들은 동작들을 상이한 순서로 수행하고, 특정 동작들을 결합시키고, 특정 동작들을 오버랩시키는 등을 수행할 수 있다).

본 발명의 상이한 실시예들은 소프트웨어, 펌웨어 및/또는 하드웨어의 상이한 결합들을 사용하여 구현될 수 있다. 따라서, 도면들에 도시되어 있는 기법들은 하나 이상의 전자 디바이스들(예를 들어, 종단 스테이션, 네트워크 엘리먼트)에 저장되고 실행되는 코드 및 데이터를 사용하여 구현될 수 있다. 이러한 전자 디바이스들은 비-일시적 컴퓨터-판독가능한 저장 매체(예를 들어, 자기 디스크; 광학 디스크; 랜덤 액세스 메모리; 판독 전용 메모리; 플래시 메모리 디바이스들, 상-변경 메모리) 및 일시적 컴퓨터-판독가능한 전송 매체(예를 들어, 전기, 광학, 음향 및 다른 형태의 전파 신호들 - 예를 들어, 반송파, 적외선 신호들, 디지털 신호들)와 같은 컴퓨터-판독가능한 매체를 사용하여 코드 및 데이터를 저장하고 (내부적으로 그리고/또는 네트워크를 통해 다른 전자 디바이스들과) 통신한다. 추가로, 이러한 전자 디바이스들은 통상적으로, 하나 이상의 저장 디바이스들(비-일시적 기계-판독가능한 저장 매체), 사용자 입력/출력 디바이스들(예를 들어, 키보드, 터치스크린, 및/또는 디스플레이), 및 네트워크 접속들과 같은 하나 이상의 다른 컴포넌트들에 연결된 하나 이상의 프로세서들의 세트를 포함한다. 프로세서들의 세트 및 다른 컴포넌트들의 연결은 통상적으로 하나 이상의 버스들 및 브리지들(버스 제어기들로도 명명됨)를 통한다. 따라서, 주어진 전자 디바이스의 저장 디바이스는 통상적으로 그 전자 디바이스의 하나 이상의 프로세서들의 세트 상에서의 실행을 위해 코드 및/또는 데이터를 저장한다.

본원에 사용된 바와 같이, 네트워크 엘리먼트(예를 들어, 라우터, 스위치, 브리지, 제어기)는, 네트워크 상의 다른 장비(예를 들어, 다른 네트워크 엘리먼트들, 종단 스테이션들)를 통신상으로 상호접속시키는, 하드웨어와 소프트웨어를 포함한, 네트워킹 장비의 일부이다. 일부 네트워크 엘리먼트들은 다수의 네트워킹 기능들(예를 들어, 라우팅, 브리징, 스위칭, 계층 2 집합(Layer 2 aggregation), 세션 경계 제어(session border control), 서비스 품질, 및/또는 가입자 관리)에 대한 지원을 제공하고, 그리고/또는 다수의 애플리케이션 서비스들(예를 들어, 데이터, 음성 및 비디오)에 대한 지원을 제공하는 "다중 서비스 네트워크 엘리먼트들"이다. 가입자 종단 스테이션들(예를 들어, 서버들, 워크스테이션들, 랩톱들, 넷북들, 팜톱들, 모바일 폰들, 스마트폰들, 멀티미디어 폰들, 보이스 오버 인터넷 프로토콜(VOIP; Voice Over Internet Protocol) 폰들, 사용자 장비, 단말들, 휴대용 미디어 플레이어들, GPS 유닛들, 게임 시스템들, 셋-톱 박스들)은 인터넷을 통해 제공된 콘텐츠/서비스들 및/또는 인터넷 상에서 오버레이된(예를 들어, 인터넷을 통해 터널링된) 가상 사설 네트워크(VPN)들에서 제공된 콘텐츠/서비스들에 액세스한다. 콘텐츠 및/또는 서비스들은 통상적으로 서비스 또는 콘텐츠 제공자에 속하는 하나 이상의 종단 스테이션들(예를 들어, 서버 종단 스테이션들) 또는 피어 투 피어 서비스(peer to peer service)에 참여하는 종단 스테이션들에 의해 제공되며, 예를 들어, 공개 웹페이지들(예를 들어, 무료 콘텐츠, 상점 프론트들, 검색 서비스들), 개인 웹페이지들(예를 들어, 이메일 서비스들을 제공하는 사용자명/패스워드 액세스되는 웹페이지들), 및/또는 VPN들을 통한 기업 네트워크들을 포함할 수 있다. 통상적으로, 가입자 종단 스테이션들은 에지 네트워크 엘리먼트들에 (예를 들어, (유선 또는 무선으로) 액세스 네트워크에 연결된 고객 구내 장비를 통해) 연결되며, 에지 네트워크 엘리먼트들은 다른 종단 스테이션들(예를 들어, 서버 종단 스테이션들)에 연결된 다른 에지 네트워크 엘리먼트들에 (예를 들어, 하나 이상의 코어 네트워크 엘리먼트들을 통해) 연결된다.

본 발명이 몇몇 실시예들의 견지에서 기술되어 있지만, 이 기술분야의 통상의 기술자는 본 발명이 기술된 실시예들에 제한되는 것이 아니라, 첨부된 청구항들의 사상과 범위 내에서의 수정 및 변형을 통해 구현될 수 있다는 점을 인지할 것이다. 따라서, 기재는 제한 대신 예시적인 것으로서 간주되어야 한다.

Claims

계산상의 복잡도, 네트워크 관리, 멀티캐스트 어드레싱, 및 네트워크에서의 실패(failure)의 경우 로드 재분배(load redistribution)에 대한 개선된 효율성을 가지는 3 스테이지 폴딩된 Clos 네트워크(three stage folded Clos network) 내에서 이더넷 라우팅을 위한 방법으로서 - 상기 네트워크는 각각이 네트워크 엘리먼트를 나타내는 복수의 노드들을 포함하고, 상기 노드들은 루트 노드들(root nodes) 및 에지 노드들(edge nodes)을 포함하고, 각각의 에지 노드는 사용자-대향 입력 및 출력 포트들의 세트(a set of user-facing input and output ports)를 포함하고, 각각의 루트 노드는 상기 에지 노드들을 상호접속하기 위한 포트들의 세트를 포함함 - ,
상기 루트 노드들 상에 기반을 둔(rooted) 스패닝 트리(spanning tree)들에 대한 포워딩 상태를 상기 네트워크 내의 각각의 노드에 의해 계산 및 설치(installing)하는 단계 ― 상기 스패닝 트리들에서의 데이터 포워딩은 상기 네트워크 내에 실패가 존재하지 않을 때 멀티캐스트 경로들에 대한 임의의 소스 어드레스들을 이용함 ― ;
상기 에지 노드들 중 주어진 에지 노드를 상기 루트 노드들 중 주어진 루트 노드에 대한 실패한 접속을 가지는 것으로서 식별하는 단계;
상기 주어진 에지 노드에 기반을 둔 최단 경로 우선(SPF; shortest path first) 트리를 그 주어진 에지 노드에 대한 접속성에 대한 프로토타입으로서 상기 네트워크 내의 각각의 노드 또는 시스템 관리 기능에 의해 구성하는 단계 ― 상기 SPF 트리는 상기 주어진 루트 노드에 기반을 두며 상기 실패한 접속을 사용하는 스패닝 트리들에 대한 백본 가상 로컬 영역 네트워크 식별자(B-VID; Backbone Virtual Local Area Network identifier)들의 세트의 각각에 대해 구성되고, 상기 SPF 트리는 상기 B-VID에 대해 상기 주어진 에지 노드에 대한 유니캐스트 및 멀티캐스트 접속성에 대한 프로토타입으로서 역할을 함 ― ;
상기 B-VID들의 세트와 연관된 서비스들을 공통적으로 가지는 것으로 식별된 에지 노드 쌍들에 대해 상기 주어진 에지 노드와 다른 에지 노드들 사이의 쌍방식(pairwise) 접속성에 대해 필터링 데이터베이스(filtering database)를 파퓰레이트하는(populating) 단계;
상기 필터링 데이터베이스에서 유니캐스트 상태를 설치하는 단계;
트래픽이 상기 주어진 에지 노드로 향하는지 또는 상기 주어진 에지 노드로부터 오는 것인지에 따라 선택된, 멀티캐스트 어드레싱의 하이브리드를 사용하여 상기 필터링 데이터베이스에 멀티캐스트 상태를 설치하는 단계; 및
상기 필터링 데이터베이스에 따라 상기 네트워크에서 유니캐스트 및 멀티캐스트 데이터를 포워딩하는 단계
를 포함하는 방법.
제1항에 있어서,
상기 유니캐스트 및 멀티캐스트 데이터를 포워딩하는 단계는:
동일한 서비스 식별자를 가지는 그룹 내의 상기 에지 노드들 모두에 도달하기 위해 802.1ah 멀티캐스트 매체 액세스 제어(MAC; Medium Access Control) 어드레싱을 사용하여 상기 주어진 에지 노드로부터 다른 에지 노드들로 데이터 프레임들의 제1 세트를 포워딩하는 단계; 및
유니캐스트 또는 802.1aq 멀티캐스트 MAC 어드레싱을 사용하여 상기 다른 에지 노드들 각각으로부터 상기 주어진 에지 노드로 데이터 프레임들의 제2 세트를 포워딩하는 단계
를 더 포함하고, 상기 유니캐스트 및 802.1aq 멀티캐스트 MAC 어드레싱은 상기 그룹 내의 상기 에지 노드들의 모두가 아니라 서브세트에 대한 통신을 허용하는, 방법.
제1항에 있어서,
상기 노드의 시스템 ID가 상기 스패닝 트리와 연관된 마스크 값에 의해 변환될 때 상기 네트워크 내의 노드들 사이에서 가장 낮은 시스템 ID를 가지는 루트 노드를 상기 스패닝 트리들 각각에 대해 선택하는 단계를 더 포함하는 방법.
제3항에 있어서,
실패한 루트 노드의 워크로드가 다수의 다른 루트 노드들에 걸쳐 분배되도록 스패닝 트리 루트 선택 동안 타이브레이킹(tiebreaking)하기 위한 다수의 시스템 ID들을 각각의 노드에 의해 수신하는 단계를 더 포함하는 방법.
제1항에 있어서,
상기 계산 및 설치하는 단계는:
상기 네트워크 내의 주어진 B-VID에 대해 스패닝 트리를 형성하기 위해 Dijkstra 알고리즘을 사용하여 상기 에지 노드들에 대한 자신의 경로들을 각각의 루트 노드에 대해 계산하는 단계;
상기 스패닝 트리로부터 상기 에지 노드들에 하나보다 많은 홉(hop)을 가지는 경로들을 잘라내는(pruning) 단계; 및
상기 스패닝 트리 내의 3 홉 경로(three hop path)를 상기 3 홉 경로 실패의 종단에서의 에지 노드와 상기 루트 노드 사이의 링크 실패를 가지는 것으로서 식별하는 단계를 더 포함하는, 방법.
제1항에 있어서,
동일한 서비스 식별자들과 연관된 에지-에지 노드 쌍들(edge-edge node pairs)을 식별하는 단계; 및
상기 식별된 에지-에지 노드 쌍들에 기초하여 상기 네트워크 내의 각각의 노드에 대한 필터링 데이터베이스를 구성하는 단계
를 더 포함하는 방법.
제6항에 있어서,
상기 필터링 데이터베이스를 구성하는 단계는:
I-SID 멀티캐스트 어드레스들이 스패닝 트리의 루트 및 상기 에지 노드의 노드 유니캐스트 어드레스(nodal unicast address)를 지정(point)하도록 각각의 에지 노드에 의해 상기 필터링 데이터베이스를 파퓰레이트하는 단계; 및
상기 식별된 에지-에지 노드 쌍 및 상기 루트 노드의 노드 유니캐스트 어드레스에 대해 상기 필터링 데이터베이스 내의 멀티캐스트 엔트리들을 교차-접속(cross-connect)시키도록 각각의 루트 노드에 의해 상기 필터링 데이터베이스를 파퓰레이트하는 단계
를 더 포함하는, 방법.
제1항에 있어서,
상기 스패닝 트리들의 서브세트를 상기 네트워크 내의 스패닝 트리들 중 다른 것들보다 우선순위를 가지는 것으로서 식별하는 단계; 및
상기 서브세트 외부의 실패들을 상기 서브세트 내로 확산(spreading)시키지 않고, 상기 서브세트 내의 실패들을 상기 서브세트 외부로 확산시키는 단계
를 더 포함하는 방법.
제1항에 있어서,
상기 네트워크 내의 실패는 다음 항목: 실패한 루트 노드, 부분적으로 잘린 루트 노드를 접속시키는 하나보다 많은 링크가 실패하는 부분적으로 잘린 루트 노드, 단일 링크 생존을 가지는 실제로 잘린 루트 노드, 부분적으로 잘린 에지 노드를 접속시키는 하나보다 많은 링크가 실패하는 부분적으로 잘린 에지 노드, 또는 각각이 상이한 루트 노드와 상이한 에지 노드에 접속하는 다수의 실패한 링크들을 포함하는, 방법.
제1항에 있어서,
상기 3 스테이지 폴딩된 Clos 네트워크는 데이터 센터 내의 네트워크를 나타내는, 방법.
계산상의 복잡도, 네트워크 관리, 멀티캐스트 어드레싱 및 네트워크에서의 실패의 경우 로드 재분배에 대한 개선된 효율성을 가지는 이더넷 라우팅을 사용하는 3 스테이지 폴딩된 Clos 네트워크의 에지 노드로서 기능하는 네트워크 엘리먼트로서,
상기 에지 노드는:
사용자-대향 입력 및 출력 포트들의 제1 세트;
복수의 루트 노드들에 연결된 입력 및 출력 포트들의 제2 세트;
필터링 데이터베이스를 저장하기 위한 메모리; 및
상기 메모리, 상기 사용자-대향 입력 및 출력 포트들의 제1 세트, 및 상기 입력 및 출력 포트들의 제2 세트에 연결된 네트워크 프로세서
를 포함하고,
상기 네트워크 프로세서는:
상기 루트 노드들에 기반을 둔 스패닝 트리들에 대한 포워딩 상태들을 계산 및 설치하고;
주어진 에지 노드에 기반을 둔 최단 경로 우선(SPF) 트리를 상기 주어진 에지 노드에 대한 접속성에 대한 프로토타입으로서 구성하고 ― 상기 SPF 트리는 상기 루트 노드들 중 주어진 루트 노드에 기반을 두며 상기 실패한 접속을 사용하는 스패닝 트리들에 대한 백본 가상 로컬 영역 네트워크 식별자(B-VID)들의 세트의 각각에 대해 구성되고, 상기 SPF 트리는 상기 B-VID에 대해 상기 주어진 에지 노드에 대한 유니캐스트 및 멀티캐스트 접속성에 대한 프로토타입으로서 역할을 함 ― ;
상기 B-VID들의 세트와 연관된 서비스들을 공통적으로 가지는 것으로 식별된 에지 노드 쌍들에 대해 상기 주어진 에지 노드와 다른 에지 노드들 사이의 쌍방식 접속성에 대해 필터링 데이터베이스를 파퓰레이트하고;
상기 필터링 데이터베이스에서 유니캐스트 상태를 설치하고;
트래픽이 상기 주어진 에지 노드로 향하는지 또는 상기 주어진 에지 노드로부터 오는 것인지에 따라 선택된, 멀티캐스트 어드레싱의 하이브리드를 사용하여 상기 필터링 데이터베이스에 멀티캐스트 상태를 설치하고; 그리고
상기 필터링 데이터베이스에 따라 상기 네트워크에서 유니캐스트 및 멀티캐스트 데이터를 포워딩하도록 구성되는, 네트워크 엘리먼트.
제11항에 있어서,
상기 네트워크 엘리먼트는 관리 시스템에 연결되고, 상기 관리 시스템은 상기 네트워크 내의 각각의 노드 대신 각각의 B-VID에 대한 SPF 트리를 구성하는, 네트워크 엘리먼트.
제11항에 있어서,
상기 네트워크 프로세서는:
동일한 서비스 식별자를 가지는 그룹 내의 상기 에지 노드들 모두에 도달하기 위해 802.1ah 멀티캐스트 매체 액세스 제어(MAC) 어드레싱을 사용하여 상기 주어진 에지 노드로부터 다른 에지 노드들로 데이터 프레임들의 제1 세트를 포워딩하고;
유니캐스트 또는 802.1aq 멀티캐스트 MAC 어드레싱을 사용하여 상기 다른 에지 노드들 각각으로부터 상기 주어진 에지 노드로 데이터 프레임들의 제2 세트를 포워딩하도록 더 구성되고, 상기 유니캐스트 및 802.1aq 멀티캐스트 MAC 어드레싱은 상기 그룹 내의 상기 에지 노드들의 모두가 아니라 서브세트에 대한 통신을 허용하는, 네트워크 엘리먼트.
제11항에 있어서,
상기 네트워크 프로세서는:
상기 루트 노드의 시스템 ID가 상기 스패닝 트리와 연관된 마스크 값에 의해 변환될 때 상기 루트 노드들 사이에서 가장 낮은 시스템 ID를 가지는 루트 노드를 상기 스패닝 트리들 각각에 대해 선택하도록 더 구성되는, 네트워크 엘리먼트.
제14항에 있어서,
각각의 노드는 실패한 루트 노드의 워크로드가 다수의 다른 루트 노드들에 걸쳐 분배되도록 스패닝 트리 루트 선택 동안 타이브레이킹하기 위한 다수의 시스템 ID들을 수신하는, 네트워크 엘리먼트.
제11항에 있어서,
상기 네트워크 프로세서는:
상기 네트워크 내의 주어진 B-VID에 대해 스패닝 트리를 형성하기 위해 Dijkstra 알고리즘을 사용하여 상기 에지 노드들에 대한 자신의 경로들을 각각의 루트 노드에 대해 계산하고
상기 스패닝 트리로부터 상기 에지 노드들에 하나보다 많은 홉을 가지는 경로들을 잘라내고;
상기 스패닝 트리 내의 3 홉 경로들을 상기 루트 노드와의 이웃(adjacency)에 링크 실패를 가지는 노드들에 도달하는 것으로서 식별하도록 더 구성되는, 네트워크 엘리먼트.
제11항에 있어서,
상기 네트워크 내의 실패는 다음 항목: 실패한 루트 노드, 부분적으로 잘린 루트 노드를 접속시키는 하나보다 많은 링크가 실패하는 부분적으로 잘린 루트 노드, 단일 링크 생존을 가지는 실제로 잘린 루트 노드, 부분적으로 잘린 에지 노드를 접속시키는 하나보다 많은 링크가 실패하는 부분적으로 잘린 에지 노드, 또는 각각이 상이한 루트 노드와 상이한 에지 노드에 접속하는 다수의 실패한 링크들을 포함하는, 네트워크 엘리먼트.
제11항에 있어서,
각각의 루트 노드는 백본 코어 브리지(BCB; Backbone Core Bridge)이고, 각각의 에지 노드는 백본 에지 브리지(BEB; Backbone Edge Bridge)인, 네트워크 엘리먼트.
제11항에 있어서,
상기 3 스테이지 폴딩된 Clos 네트워크는 데이터 센터 내의 네트워크를 나타내는, 네트워크 엘리먼트.
계산상의 복잡도, 네트워크 관리, 멀티캐스트 어드레싱 및 네트워크에서의 실패의 경우 로드 재분배에 대한 개선된 효율성을 가지는 이더넷 라우팅을 사용하는 3 스테이지 폴딩된 Clos 네트워크의 시스템으로서,
복수의 에지 노드들 ― 상기 에지 노드들 각각은 사용자-대향 입력 및 출력 포트들의 세트를 포함함 ― ; 및
복수의 루트 노드들 ― 상기 루트 노드들 각각은 상기 복수의 에지 노드들을 상호접속시키기 위한 포트들의 세트를 포함함 ―
을 포함하고,
상기 루트 노드들 및 에지 노드 각각은:
필터링 데이터베이스를 저장하기 위한 메모리; 및
상기 메모리에 연결된 네트워크 프로세서를 포함하고, 상기 네트워크 프로세서는:
상기 루트 노드들에 기반을 둔 스패닝 트리들에 대한 포워딩 상태들을 계산 및 설치하고;
주어진 에지 노드에 기반을 둔 최단 경로 우선(SPF) 트리를 상기 주어진 에지 노드에 대한 접속성에 대한 프로토타입으로서 구성하고 ― 상기 SPF 트리는 상기 루트 노드들 중 주어진 루트 노드에 기반을 두며 상기 실패한 접속을 사용하는 스패닝 트리에 대한 백본 가상 로컬 영역 네트워크 식별자(B-VID)들의 세트의 각각에 대해 구성되고, 상기 SPF 트리는 상기 B-VID에 대해 상기 주어진 에지 노드에 대한 유니캐스트 및 멀티캐스트 접속성에 대한 프로토타입으로서 역할을 함 ― ;
상기 B-VID들의 세트와 연관된 서비스들을 공통적으로 가지는 것으로 식별된 에지 노드 쌍들에 대해 상기 주어진 에지 노드와 다른 에지 노드들 사이의 쌍방식 접속성에 대해 필터링 데이터베이스를 파퓰레이트하고;
상기 필터링 데이터베이스에서 유니캐스트 상태를 설치하고;
트래픽이 상기 주어진 에지 노드로 향하는지 또는 상기 주어진 에지 노드로부터 오는 것인지에 따라 선택된, 멀티캐스트 어드레싱의 하이브리드를 사용하여 상기 필터링 데이터베이스에 멀티캐스트 상태를 설치하고;
상기 필터링 데이터베이스에 따라 상기 네트워크에서 유니캐스트 및 멀티캐스트 데이터를 포워딩하도록 구성되는, 시스템.
제20항에 있어서,
상기 네트워크 내의 각각의 노드 대신 각각의 B-VID에 대한 SPF 트리를 구성하는 관리 시스템을 더 포함하는 시스템.
제20항에 있어서,
상기 네트워크 프로세서는:
동일한 서비스 식별자를 가지는 그룹 내의 상기 에지 노드들 모두에 도달하기 위해 802.1ah 멀티캐스트 매체 액세스 제어(MAC) 어드레싱을 사용하여 상기 주어진 에지 노드로부터 다른 에지 노드들로 데이터 프레임들의 제1 세트를 포워딩하고; 그리고
유니캐스트 또는 802.1aq 멀티캐스트 MAC 어드레싱을 사용하여 상기 다른 에지 노드들 각각으로부터 상기 주어진 에지 노드로 데이터 프레임들의 제2 세트를 포워딩하도록 더 구성되고, 상기 유니캐스트 및 802.1aq 멀티캐스트 MAC 어드레싱은 상기 그룹 내의 상기 에지 노드들의 모두가 아니라 서브세트에 대한 통신을 허용하는, 시스템.
제20항에 있어서,
상기 네트워크 프로세서는:
상기 루트 노드의 시스템 ID가 상기 스패닝 트리와 연관된 마스크 값에 의해 변환될 때 상기 루트 노드들 사이에서 가장 낮은 시스템 ID를 가지는 루트 노드를 상기 스패닝 트리들 각각에 대해 선택하도록 더 구성되는, 시스템.
제23항에 있어서,
실패한 루트 노드의 워크로드가 다수의 다른 루트 노드들에 걸쳐 분배되도록 스패닝 트리 루트 선택 동안 타이브레이킹하기 위해 사용되는 다수의 시스템 ID들을 가지고 각각의 노드를 구성하는 관리 시스템을 더 포함하는 시스템.
제20항에 있어서,
상기 네트워크 내의 실패는 다음 항목: 실패한 루트 노드, 부분적으로 잘린 루트 노드를 접속시키는 하나보다 많은 링크가 실패하는 부분적으로 잘린 루트 노드, 단일 링크 생존을 가지는 실제로 잘린 루트 노드, 부분적으로 잘린 에지 노드를 접속시키는 하나보다 많은 링크가 실패하는 부분적으로 잘린 에지 노드, 또는 각각이 상이한 루트 노드와 상이한 에지 노드에 접속하는 다수의 실패한 링크들을 포함하는, 시스템.
제20항에 있어서,
각각의 루트 노드는 백본 코어 브리지(BCB)이고, 각각의 에지 노드는 백본 에지 브리지(BEB)인, 시스템.
제20항에 있어서,
상기 3 스테이지 폴딩된 Clos 네트워크는 데이터 센터 내의 네트워크를 나타내는, 시스템.