ES2539248B1 - Método para descongestionar el tráfico de datos en redes de interconexión basadas en tecnología InfiniBand - Google Patents

Abstract

Método para descongestionar el tráfico de datos en redes de interconexión en árbol grueso basadas en tecnología lnfiniBand, donde cada paquete de datos transmitido a través de la red lleva asociado unos identificadores SLID y DLID, donde cada puerto de entrada de cada conmutador de red comprende al menos un buffer dividido en tantos canales virtuales como determine un administrador de la red, donde los paquetes de datos llevan asociado un determinado nivel de servicio, SL, que indica en qué canal virtual de cada buffer ha de ser almacenado transitoriamente dicho paquete de datos, caracterizado porque comprende: dividir los SLID y los DLID en grupos, donde se establecen tantos grupos como canales virtuales se hayan configurado para cada buffer, y; asignar a cada paquete de datos un determinado nivel de servicio, de acuerdo con el grupo al que pertenecen el SLID y DLID que lleva asociados.

Description

5

10

15

20

25

30

DESCRIPCION

Metodo para descongestionar el trafico de datos en redes de interconexion basadas en tecnologla InfiniBand.

Objeto de la invencion

La presente invencion se refiere a un metodo para la descongestion del trafico de datos en redes de interconexion basadas en tecnologla InfiniBand.

En concreto, el presente metodo se centra en la reduction de los efectos negativos de la congestion, como el bloqueo de cabeza de llnea (mas conocido como Bloqueo HoL) y el acaparamiento del buffer, en redes de interconexion con topologla en arbol grueso (mas conocido por su nombre en ingles, fat-tree) basadas en el estandar InfiniBand.

Tiene aplicacion en la industria dedicada al diseno, fabrication y explotacion de redes de interconexion de altas prestaciones presentes en los sistemas de supercomputacion de altas prestaciones formados por millones de nodos de procesamiento conectados en paralelo. Igualmente, la invencion es de aplicacion en los dispositivos hardware fabricados segun las normas del estandar InfiniBand, promovido por el consorcio “InfiniBand Trade Association”.

Problema tecnico a resolver y Antecedentes de la invencion

Las necesidades de comunicacion de la sociedad contemporanea han hecho que las redes de interconexion de altas prestaciones que conectan miles de nodos de procesamiento de datos hayan crecido enormemente en las ultimas decadas, no solo en tamano, sino tambien en complejidad.

En los ultimos anos, la tendencia en el desarrollo de las aplicaciones “software” se centra en explotar al maximo el nivel de paralelismo, mediante la computation en paralelo de miles de tareas con el objetivo de conseguir un resultado final en un menor tiempo posible. Ese numero elevado de tareas de las aplicaciones dependen unas de otras y, por tanto, los nodos de procesamiento que las ejecutan deben estar conectados mediante una red de interconexion de altas prestaciones. Por tanto, la necesidad de ejecutar miles de tareas en paralelo lo mas rapidamente posible requiere interconectar miles de nodos de procesamiento en supercomputadores de gran potencia, para facilitar el intercambio de una cantidad de datos cada vez mayor. Esta tendencia “incremental” en las

5

10

15

20

25

30

necesidades de computo de los supercomputadores, mantiene constante el reto de disenar nuevas topologlas y nuevas tecnologlas de redes de interconexion que permiten gestionar de una manera mas eficiente la transmision de grandes cantidades de flujos de datos. El objetivo primordial de las redes de interconexion de altas prestaciones es ofrecer una alta productividad y una baja latencia en la transmision de datos.

En las actuales redes de interconexion, la information se transmite por lotes de information denominados mensajes, y cada mensaje a su vez se subdivide en unidades basicas denominadas "paquetes” de datos. Un paquete de datos es la cantidad minima de informacion que puede transmitir la red de interconexion. Cada paquete de datos se compone de una serie de bits, y se divide en tres partes: cabecera, informacion y cola. La cabecera contiene informacion de control complementaria que usaran los nodos y conmutadores de la red, tal como el tamano del paquete de datos o el nodo de origen y el nodo de destino del paquete de datos; los bits de informacion se contienen la parte del mensaje que le corresponde a cada paquete; y la cola del paquete son un punado de bits que se usan para delimitar dicho paquete en su viaje por la red.

Los nodos de procesamiento de la red de interconexion comprenden al menos un puerto a traves del cual reciben o inyectan paquetes de datos en la red. Estos puertos de los nodos de procesamiento de la red reciben comunmente el nombre de "puertos HCA” (del ingles, Host-Channel-Adapter ports).

Ademas, de los puertos HCA, la red de interconexion tambien esta formada por los conmutadores, que son los encargados de enrutar y transmitir la informacion desde un nodo origen a otro nodo destino.

A este respecto cabe indicar que, la especificacion InfiniBand define lo que se conoce como "identificador local de red”, LID (del ingles, Local Identifier), que identifica un puerto HCA de un nodo de procesamiento concreto. Por tanto, cada puerto HCA de la red de interconexion tendra un LID distinto, de manera que podra ser referenciado de forma unlvoca desde cualquier punto de la red. En este sentido, dentro la informacion de control que se incluye en un paquete se incluye el llamado identificador local de origen, SLID (del ingles, Source LID), o un identificador local de destino, DLID (del ingles, Destination LID).

En cuanto a la topologla de las redes de interconexion, un tipo muy comun es la denominada comunmente "red en arbol grueso” (mas conocida como fat-tree, por su nombre en ingles) que conecta un numero determinado de nodos de procesamiento

3

5

10

15

20

25

30

mediante un conjunto de conmutadores que estan dispuestos en etapas. La ventaja de esta topologla es que mantiene el ancho de banda constante (en ingles Constant Bisection Bandwidth, CBB) entre las etapas. El ancho de banda se define como la cantidad de informacion que un enlace es capaz de transmitir por unidad de tiempo.

Basicamente, un fat-tree establece enlaces entre los nodos de procesamiento (conectados a los puertos HCA) y los conmutadores de la primera etapa, y entre estos ultimos y los conmutadores de las siguientes etapas. Y, sucesivamente, los conmutadores que pertenecen a una cada etapa del fat-tree se conectan, igualmente, por medio de enlaces con los conmutadores de las etapas posterior y precedente. El ancho de banda total de los enlaces de cada etapa es el mismo que la suma del ancho de banda de todos los puertos HCA (ancho de banda de inyeccion) y, como se ha descrito, el ancho de banda entre los conmutadores de una etapa es igual, en las etapas posterior y precedente, al ancho de banda de inyeccion, que se mantiene constante entre etapas.

Entre cada etapa de conmutadores, los flujos de paquetes de datos se encaminan mediante un "algoritmo de encaminamiento”, que establece la ruta que debe seguir cada paquete de datos, desde un SLID hasta un DLID, a traves de distintas etapas del fat-tree. Los paquetes de datos realizan un recorrido "hacia delante” a traves de las diferentes etapas (y los enlaces que las interconectan), llegando hasta una ultima etapa de conmutadores, donde no hay enlaces hacia una nueva etapa. A partir de esta ultima etapa, los paquetes de datos continuan su recorrido "hacia atras” por los enlaces y etapas de conmutadores hasta que, finalmente, dichos paquetes de datos alcanzan su nodo de procesamiento de destino de la red de interconexion.

De esta manera, los paquetes de datos realizan un determinado recorrido desde sus nodos de origen, a traves de los enlaces y los conmutadores de las etapas ascendentes, hasta la etapa correspondiente, donde giran para orientarse hacia sus nodos de destino. Las redes de interconexion con topologla fat-tree o de arbol grueso, son un tipo de redes de interconexion denominado indirecto, ya que los paquetes de datos se dirigen de manera indirecta (a traves de conmutadores) desde su nodo de origen hacia su nodo de destino.

Existen fundamentalmente dos tipos de algoritmos de encaminamiento que permiten tratar la informacion que se transmite por una red. Un tipo de algoritmo es el llamado determinista, que asigna a cada paquete de datos a transmitir un determinado camino de

5

10

15

20

25

30

la red, dependiendo de su nodo inicial y su nodo de destino. El otro tipo de algoritmo es el llamado adaptativo, que asigna en tiempo real el camino que debe seguir cada paquete de datos para alcanzar su nodo de destino desde su nodo inicial.

Como caracterlsticas de los algoritmos de encaminamiento de tipo determinista, cabe citar su simplicidad, su capacidad de implementation en diversos tipos de redes y la fiabilidad que aportan a la transmision de los paquetes de datos.

Como caracterlsticas de los algoritmos de encaminamiento de tipo adaptativo, cabe citar su capacidad de adaptarse en tiempo real al estado de la red, siendo capaces por tanto de detectar la congestion que se haya podido originar en un determinado nodo de la red, variando la asignacion del camino que tiene que recorrer un determinado paquete de datos para alcanzar su nodo de destino desde su nodo inicial.

No obstante, a pesar de esta caracterlstica positiva de los algoritmos de tipo adaptativo, este tipo de algoritmos requiere, tanto de funciones especlficas de encaminamiento que sean capaces de averiguar, desde una position especlfica de la red en que se encuentre el paquete de datos, que caminos estan disponibles para alcanzar su nodo de destino, como de funciones especlficas de selection, que mediante criterios especlficos, seleccionen uno de dichos caminos posibles para evitar la congestion en los nodos y conmutadores de la red de interconexion.

Por tanto, los algoritmos de encaminamiento adaptativos son mas complejos y diflciles de implementar en las redes de interconexion, ademas de anadir un problema adicional relacionado con el desorden previsible en la llegada de los paquetes de datos que componen un mensaje a su nodo de destino, debido a la posibilidad de que dichos mensajes varlen su ruta de forma dinamica.

En efecto, si segun el algoritmo de encaminamiento adaptativo, un paquete de datos ha de seguir un camino diferente que el paquete de datos que le precede, para alcanzar su nodo de destino, es posible que dicho paquete de datos alcance el nodo de destino antes que el paquete de datos que le precede. Este desorden es inadmisible en muchas aplicaciones de computadores, ya que introduce una latencia adicional. Por tanto se requiere de funciones adicionales que permitan mantener el orden de llegada de los paquetes de datos a un nodo de destino, o reordenar dichos paquetes de datos que conforman un mensaje.

5

10

15

20

25

30

Una solucion a los problemas mencionados con respecto a los algoritmos de tipo adaptativo con gran aceptacion en la actualidad, es el uso de los algoritmos de encaminamiento de tipo determinista.

Dentro de los algoritmos de encaminamiento de tipo determinista, existe un algoritmo convencional denominado DESTRO (del ingles, Deterministic dEstination and STage based ROuting), que basicamente selecciona un determinado camino para un determinado paquete de datos en funcion de su nodo de destino. En concreto, en un determinado puerto de un conmutador que recibe paquetes de datos dirigidos a un conjunto de destinos que denominamos "consecutivos”, DESTRO distribuye los paquetes dirigidos a dichos destinos consecutivos entre los puertos de salida disponibles en cada conmutador, de manera que los paquetes con destinos consecutivos se encaminan por puertos de salida distintos. De esta forma, DESTRO implementa un balanceo eficiente de los paquetes en el enrutamiento de paquetes, que consigue maximizar las prestaciones de la red de interconexion.

Un tipo comun de tecnologla de redes de interconexion que permite configurar redes con topologla en arbol grueso y encaminamiento tipo DESTRO, es la denominada InfiniBand, segun su nombre comercial. Actualmente, puede afirmarse que InfiniBand se ha consolidado como el estandar de tecnologla de red de interconexion mas habitualmente empleado en sistemas de computation paralela de alto rendimiento. De hecho, es la tecnologla de red empleada en la mayorla de los sistemas que forman parte de la lista Top500, que analiza los 500 supercomputadores mas potentes del mundo. En concreto, en la lista Top500 de junio del ano 2013, InfiniBand esta presente en aproximadamente un 45 % de los supercomputadores. El estandar InfiniBand, apoyado por el consorcio “InfiniBand Trade Association" se implementa en multitud de soluciones hardware.

Entre las muchas caracterlsticas de interes de InfiniBand, destaca la definition de un mecanismo para asignar los llamados "niveles de servicio”, SL (por sus siglas en ingles) a cada mensaje generado por una aplicacion paralela. Basicamente, cada nodo de procesamiento se encarga de la asignacion de un SL determinado a cada mensaje en funcion de un algoritmo de mapeo determinado, y previamente a la division de dicho mensaje en paquetes y a la inyeccion de dichos paquetes de datos a la red de interconexion. InfiniBand define hasta 16 niveles de servicio (el nivel 0 se usa para paquetes de control y del 1 al 15 se usan para paquetes de datos). De esta manera, InfiniBand es capaz de etiquetar un conjunto de mensajes con un determinado nivel de

5

10

15

20

25

30

servicio. La definition del algoritmo de mapeo de SLs a mensajes se deja a election del administrador de red, lo que supone un gran potencial para definir diferentes polrticas de mapeo de SLs a mensajes.

Segun la tecnologia InfiniBand, los enlaces que interconectan los distintos nodos y conmutadores de la red de interconexion son capaces de conducir, bidireccionalmente, una determinada densidad de flujos de paquetes de datos. Cada conmutador de la red de interconexion dispone de un buffer (o almacen de datos) conectado a cada uno de sus puertos de entrada y/o de salida. Cada buffer esta dividido interiormente en una pluralidad de espacios de memoria denominados "canales virtuales”, VL (por las siglas en ingles de Virtual Lane).

La especificacion de InfiniBand define un agente llamado "Gestor de Sub-red”, SM (del ingles, Subnet Manager) que se encarga de realizar, via software, la configuration de la red de interconexion, mediante el envio de mensajes sencillos a los diferentes dispositivos de la red. El Gestor de Sub-red, SM, es el encargado de rellenar las tablas de encaminamiento de los conmutadores, segun el algoritmo de encaminamiento a aplicar. Ademas, tambien es capaz de calcular que Nivel de Servicio, SL, le corresponde a cada flujo de paquetes de datos en funcion de un algoritmo de mapeo de SLs a mensajes, antes de su division en paquetes e inyeccion en la red.

Segun el nivel de servicio, SL, asignado a cada paquete de datos en un nodo de procesamiento de la red, dicho paquete de datos se almacena, a su llegada a cada conmutador, en un determinado Canal Virtual, VL, del buffer correspondiente al puerto de entrada de dicho paquete de datos al conmutador. A su vez, el Gestor de Sub-red, define que SL se mapea a cada VL, mediante un algoritmo de mapeo de SLs a VLs. Igualmente, InfiniBand tambien deja a la election del administrador de red, la election del algoritmo de mapeo de SLs a VLs, pudiendose definir nuevos algoritmos de mapeo.

Como se ha descrito anteriormente, el rendimiento global de los modernos sistemas de computation depende en gran medida del rendimiento de la red de interconexion que interconecta los nodos de procesamiento de dichos sistemas. Si la red no ofrece un buen rendimiento, esta puede convertirse en un cuello de botella y los nodos de procesamiento pueden tener que esperar a que lleguen los paquetes de datos para continuar procesando la information. Es por este motivo que las investigaciones en redes de interconexion se centran desde hace tiempo en evitar los problemas ocasionados por la

5

10

15

20

25

30

congestion de los datos en las redes, y conseguir redes que provean una baja latencia y un elevado rendimiento. En general, la congestion aparece cuando determinados flujos de datos solicitan los mismos recursos dentro de los componentes de la red de interconexion. Asl, cuando dos paquetes pertenecientes a puertos de entrada diferentes dentro del mismo conmutador solicitan el mismo puerto de salida dentro de dicho conmutador, un paquete debe esperar, mientras el otro cruza. Si esta situation persiste en el tiempo, los buffers asociados a los puertos de entrada que solicitan el mismo puerto de salida se llenan, lo que produce una situacion de congestion. Ademas, debido a que no hay descarte de paquetes por la naturaleza de las redes de interconexion de altas prestaciones, el control de flujo de dichas redes propaga la situacion de congestion hacia otros conmutadores de la red directamente conectados con el conmutador donde se origina la congestion, produciendose caminos congestionados en la red que afectaran a los flujos de paquetes que discurren por ellos. A estas estructuras de caminos congestionados, se producen desde el puerto de salida de un conmutador correspondiente (“ralz” de la congestion), y que crecen de forma arborescente hacia los nodos de procesamiento se les llama “arboles de congestion”, las rutas de flujos de paquetes congestionados reciben el nombre de “ramas”, y aquellos buffers de conmutadores congestionados que aun no han propagado dicha situacion de congestion hacia otros conmutadores se les llama “hojas” de los arboles de congestion. Cabe destacar que los arboles de congestion pueden incluso alcanzar a los nodos de procesamiento.

Puede ocurrir que determinados flujos de paquetes (flujos frlos), que no se dirigen hacia la ralz de la congestion, se vean afectados por flujos de paquetes congestionados (flujos calientes) y, por tanto, su latencia de red se incremente. En general, a este efecto se le conoce como bloqueo de cabeza de llnea o Head-of-Line (HoL) blocking (en ingles). Segun diferentes estudios, el bloqueo HoL reduce drasticamente las prestaciones de la red de interconexion, y es el principal efecto negativo de la congestion.

Como InfiniBand establece un llmite de espacio asignado a cada VL dentro de un mismo buffer, un unico VL nunca podra acaparar todo el espacio de dicho buffer, ya que se garantiza un espacio mlnimo para cada VL dentro del mencionado buffer. Sin embargo, puede ocurrir que un VL se llene solo de paquetes pertenecientes a flujos congestionados, y no tenga espacio para albergar otros flujos frlos que no se dirigen hacia la ralz de la congestion que no podran avanzar por la red. Como dicho VL esta

5

10

15

20

25

30

lleno y puede impedir el avance de paquetes pertenecientes a flujos frlos, se afirma que existe un problema de "acaparamiento del VL”, y dicho problema es otro efecto negativo de la congestion.

Entre las numerosas propuestas para eliminar el bloqueo HoL y el acaparamiento del buffer que existen para la tecnologla InfiniBand, la tendencia comun es dividir los buffers de los conmutadores en VLs, e implementar un algoritmo de mapeo de SLs a mensajes, y luego otro algoritmo de mapeo de SLs a VLs. Existen diferentes propuestas como vFtree, VOQsw o VOQnet que siguen este patron. En concreto VOQnet define tantos VLs como destinos hay en la red para evitar por completo la aparicion del bloque HoL y el acaparamiento del buffer. Evidementemente, ni InfiniBand permite usar mas de 15 VLs por buffer, ni VOQnet es factible en redes de gran tamano. Otra propuesta diferente a VOQnet es VOQsw, que define en cada buffer del conmutador tantos VLs como puertos tenga dicho conmutador. Al igual que para VOQsw existen conmutadores comerciales con mas de 15 VLs, por lo que VOQsw no es factible en InfiniBand. Otro metodo es vFtree que usa un numero reducido de VLs por buffer, y que implementa un mapeo de SLs a mensajes, y un mapeo de SLs a VLs en redes de interconexion con topologla fat- tree en InfiniBand. Aunque vFtree soluciona los problemas de factibilidad de VOQnet y VOQsw, tiene problemas en redes fat-tree de mas de dos etapas, ya que el algoritmo de mapeo de SLs a mensajes no es eficiente.

El metodo propuesto en la presente invencion consiste en un determinado algoritmo de mapeo de niveles de servicio, SLs a mensajes de datos, y de SLs a canales virtuales, VL, basado en el algoritmo de encaminamiento DESTRO, que permite mejorar el rendimiento de las redes de interconexion con topologla en arbol grueso basadas en InfiniBand, especialmente en aquellas redes de interconexion que comprenden mas de dos etapas de conmutadores.

El metodo de la presente invencion consigue mejorar el rendimiento de las redes de interconexion hasta un 90 % con respecto a otros metodos actualmente existentes.

El presente metodo reduce significativamente los efectos negativos de la congestion, consiguiendo mejores resultados que otros metodos tales como vFtree, especialmente para redes con topologla de arbol grueso con tres o mas etapas de conmutadores, y necesitando, para la consecucion de estos buenos resultados, hacer uso de una cantidad

5

10

15

20

25

30

de recursos muy inferior a la que necesitan otros metodos del estado de la tecnica, tales COmO VOQsw o VOQnet-

Descripcion de la invencion

La presente invencion se refiere a un metodo para descongestionar el trafico de datos en redes de interconexion basadas en tecnologla InfiniBand, que comprenden una topologla en arbol grueso, con una pluralidad de nodos de procesamiento conectados entre si mediante una pluralidad de etapas de conmutadores, donde los nodos de procesamiento y los conmutadores estan unidos mediante enlaces, donde cada nodo de procesamiento comprende al menos un puerto HCA y cada conmutador comprende al menos un puerto de entrada y un puerto de salida de flujos de paquetes de datos que se transmiten entre dos puertos HCA por los enlaces y conmutadores de la red de interconexion, donde cada paquete de datos lleva asociado un identificador local denominado SLID, que indica el puerto HCA desde el que ha sido inyectado en la red de interconexion, y un identificador local denominado DLID, que indica el puerto HCA al cual se dirige, donde cada puerto de entrada de cada conmutador comprende al menos un buffer cuyo espacio de memoria se divide en tantos canales virtuales como determine un administrador de la red de interconexion, donde los paquetes de datos (5) llevan asociado un determinado nivel de servicio, SL, que indica en que canal virtual (4) de cada buffer (3) de cada puerto de entrada (7) de cada conmutador (2) ha de ser almacenado transitoriamente dicho paquete de datos (5) hasta su salida de dicho conmutador (2).

El metodo de la invencion comprende las siguientes fases:

a. dividir los SLID en grupos, donde se establecen tantos grupos de SLID como canales virtuales se hayan configurado para cada buffer, de manera que a cada SLID le corresponde un determinado grupo;

b. dividir los DLID en grupos, donde se establecen tantos grupos de DLID como canales virtuales se hayan configurado para cada buffer, de manera que a cada DLID le corresponde un determinado grupo;

c. asignar a cada paquete de datos que se transmite por la red de interconexion, un determinado nivel de servicio, SL, de acuerdo con el grupo al que pertenece el SLID que lleva asociado y con el grupo al que pertenece el DLID que lleva asociado.

5

10

15

20

Segun una realization preferente de la invention, los grupos de SLID se establecen de acuerdo a la siguiente formula:

SLID del paquete de datos GrupoSLID = XHCAjports

#VL

y los grupos de DLID se establecen de acuerdo a la siguiente formula:

DLID del paquete de datos GrupoDLID = #HCA_ports

#VL

donde por “#HCA_ports” se entiende el numero de puertos HCA configurados activos en la red de interconexion, y por “#VL” se entiende el numero de canales virtuales configurados activos en cada buffer de cada puerto de entrada de cada conmutador de la red de interconexion.

La asignacion de un determinado nivel de servicio, SL, a cada paquete de datos se realiza preferentemente de acuerdo a la siguiente formula:

SL = (GrupoDLID + GrupoSLID ) MOD #VL

donde por “MOD" se entiende un operador que obtiene el resto de la division entre los terminos situados a la izquierda y a la derecha de dicho operador.

Breve descripcion de las figuras

La presente invention se entendera mejor a la vista de las figuras que a continuation se enumeran:

Figura 1: Vista esquematica de un conmutador de una red de interconexion, segun la tecnologla InfiniBand.

Figura 2: Esquema de una red de interconexion de 8 nodos de procesamiento con topologla de arbol grueso.

Figura 3: Esquema del encaminamiento de flujos de paquetes de datos en una red de interconexion como la mostrada en la figura anterior, segun el algoritmo de encaminamiento DESTRO.

Figura 4: Tabla resumen del algoritmo de mapeo de niveles de servicio, SL, a flujos 5 paquetes de datos, segun el metodo objeto de la presente invencion, para una red de interconexion con 64 puertos HCA.

Figura 5: Esquema del algoritmo de mapeo de flujos de paquetes datos a canales virtuales, VL, en una red de interconexion InfiniBand con 64 puertos HCA, con topologla en arbol grueso, segun el algoritmo de mapeo vFtree, basado en el algoritmo de 10 encaminamiento DESTRO.

Figura 6: Esquema del mapeo de flujos de paquetes de datos a canales virtuales, VL, en una red de interconexion con 64 puertos HCA, con topologla en arbol grueso, segun el metodo objeto de la presente invencion.

Las figuras incorporan las siguientes referencias numericas:

15

1. Nodo de procesamiento

2. Conmutador.

3. Buffer.

4. Canal Virtual.

5. Paquete de datos.

20

6. Enlace.

7. Puerto de entrada.

8. Puerto de salida.

9. Puerto HCA.

Descripcion detallada

25 La presente invencion se refiere a un metodo para descongestionar el trafico de datos en redes de interconexion basadas en tecnologla InfiniBand.

5

10

15

20

25

30

La tecnologla InfiniBand establece un estandar para la definicion de la arquitectura de determinados componentes para redes de interconexion. En la figura 1 puede observarse un ejemplo de la arquitectura interna de un conmutador (2), como los que se utilizan en las redes de interconexion con topologla en arbol grueso, de las que se habla en la presente description detallada.

Notese que, aunque en los conmutadores (2) representados en las figuras de la presente solicitud, los puertos situados a la izquierda de dichos conmutadores (2) aparezcan designados como puertos de entrada (7), y los puertos situados a la derecha de dichos conmutadores (2) se designen como puertos de salida (8), en realidad no existe diferencia flsica entre ambos tipos de puertos, y los puertos de entrada (7) y los puertos de salida (8) invierten sus funciones cuando se trata de conducir aguas arriba flujos de paquetes de datos (5) hacia sus puertos HCA (9) de destino).

El metodo de la presente invention consiste en un algoritmo especlfico de mapeo de niveles de servicio a paquetes de datos (5), y de dichos niveles de servicio a canales virtuales (4), en los buffer (3) de los puertos de entrada (7) de los conmutadores (2) de una red de interconexion con topologla en arbol grueso o fat-tree.

En la figura 2 se observa un ejemplo de red de interconexion con topologla en arbol grueso, con 8 nodos (1) de procesamiento, cada uno con un unico puerto HCA (9), con tres etapas de conmutadores (2), cada conmutador (2) con dos puertos de entrada (7) y dos puertos de salida (8).

En la figura 3 por su parte, puede verse como se produce el encaminamiento de los paquetes de datos (5) a traves de los enlaces (6) y conmutadores (2) de una red de interconexion como la mostrada en la figura 2, cuando se implementa el algoritmo de encaminamiento DESTRO.

Como puede verse, el algoritmo de encaminamiento DESTRO tiende a separar los mas posible los flujos de paquetes de datos (5) cuyos DLID sean consecutivos, de manera que cuando dos flujos de paquetes de datos (5) con DLID consecutivos llegan a traves del mismo enlace (6) a un conmutador (2) de la primera etapa de conmutadores (2), estos son transmitidos a traves de distintos puertos de salida (8), y por tanto a traves de distintos enlaces (6), hacia el siguiente conmutador (2) o nodo (1) de destino.

El presente metodo asigna a los paquetes de datos (5) que se transmiten por redes de interconexion basadas en InfiniBand, un determinado Nivel de Servicio, SL, en funcion del nodo (1) de partida o inicial de dichos paquetes de datos (5) y del nodo (1) de destino o final de dichos paquetes de datos (5).

5 Tal y como ocurre con otros metodos de gestion del trafico de datos en redes basados en el algoritmo de encaminamiento DESTRO, el presente metodo contempla la asignacion biunlvoca SL=VL (Nivel de Servicio = Canal Virtual), mediante la cual, a un determinado paquete de datos (5) se le asigna, a su llegada al puerto de entrada (7) de un conmutador (2) de la red, el canal virtual (4), (del buffer (3) correspondiente a dicho puerto de entrada 10 (7)), que tenga la misma designation numerica que el nivel de servicio, SL, de dicho

paquete de datos (5).

Es decir, la asignacion biunlvoca SL = VL determina que, si el nivel de servicio, SL, asignado a un paquete de datos (5) es SL = 2, dicho paquete de datos (5) se almacena en el canal virtual (4) VL = 2, en el buffer (3) del puerto de entrada (7) correspondiente en 15 cada conmutador (2) de la red.

El presente metodo preve la implementation de las siguientes formulas para la asignacion de niveles de servicio, SL, a los paquetes de datos (5) que se transmiten por la red de interconexion.

En primer lugar, se subdividen los identificadores locales, LID, de los puertos HCA (9) de 20 los nodos (1) de procesamiento de la red en grupos. Para el caso del ejemplo mostrado en las figuras 2 a 6, cada nodo (1) de procesamiento de la red de interconexion dispone de un unico puerto HCA (9), por lo que a cada nodo (1) de procesamiento de la red le corresponde un unico identificador local, LID, que es el de su puerto HCA (9).

Como cada paquete de datos (5) comprende una serie de bits identificativos del puerto 25 HCA (9) de origen (SLID) y del puerto HCA (9) de destino (DLID), dichos identificadores locales SLID y DLID identifican los nodos (1) de origen y de destino de dicho paquete de datos (5).

De esta manera, mediante las siguientes formulas:

SLID del paquete de datos GrupoSLID = XHCAjports

#VL

DLID del paquete de datos GrupoDLID = #HCAlports

#VL

se determinan los grupos mencionados de SLID y DLID.

5 Las divisiones indicadas en las formulas anteriores son divisiones enteras.

Por “#HCA_ports” se entiende el numero de puertos HCA (9) activos de la red, es decir, el numero de DLID diferentes (o, para el ejemplo mostrado en las figuras 2 a 6, el numero total de nodos (1) de procesamiento de la red de interconexion, ya que para el ejemplo mostrado, cada nodo (1) de la red comprende un unico puerto HCA (9)).

10 Por “#VL” se entiende el numero de canales virtuales (4), disponibles (es decir, el numero de canales virtuales (4) que se han configurado como disponibles en la red, que no tiene por que ser necesariamente el maximo numero de canales virtuales (4) previstos por el hardware de InfiniBand).

A continuation, una vez se han dividido los identificadores locales SLID y DLID en 15 grupos, se asigna a cada paquete de datos (5) un nivel de servicio, SL, segun la siguiente formula, que tiene en cuenta a que grupos pertenecen el SLID y DLID de dicho paquete de datos (5):

SL = (GrupoDLID + GrupoSLID ) MOD #VL

20 Donde la expresion “MOD” se refiere al operador conocido como “operador modulo”. Este operador obtiene el resto de la division de los parametros sobre los que opera. Asl, de la operation “a MOD b” se obtiene el resto de la division a/b.

Basicamente, las formulas anteriores establecen tantos grupos de SLID y DLID como canales virtuales (4) esten configurados y disponibles en la red de interconexion.

25 Notese asimismo, que a resultas de la asignacion de nivel de servicio, SL, indicada por la anterior ecuacion, a todos los paquetes de datos (5) cuyos SLID y DLID esten comprendidos dentro de los mismos grupos GrupoSLIDy GrupoDL[D respectivamente, se les asigna el mismo nivel de servicio, SL. Por lo tanto, en general, a los paquetes de

5

10

15

20

25

30

datos (5) con SLID y DLID consecutivos (o identicos) se les asigna el mismo nivel de servicio, SL.

La figura 4 muestra una tabla que indica un ejemplo de asignacion de niveles de servicio, SL a paquetes de datos (5), en funcion de los SLID y DLID de estos y empleando el metodo objeto de la presente invencion, para el caso de una red de interconexion en arbol grueso, con 64 puertos HCA (9), y asumiendo que se han configurado 4 canales virtuales (4) en los buffer (3) de los puertos de entrada (7) de los conmutadores (2) de la red.

Al estar configurados unicamente 4 canales virtuales (4), existen unicamente 4 niveles de servicio, SL, que se asignan a los paquetes de datos (5), numerados en correlation a los canales virtuales (4), del 0 al 3.

Igualmente, se puede observar como, segun el metodo descrito, se asigna el mismo nivel de servicio, SL, a paquetes de datos (5) circulantes en ambos sentidos entre dos puertos HCA (9) determinados. Asl, el presente metodo satisface esta exigencia del estandar InfiniBand.

A continuation se explica como el presente metodo aprovecha al maximo las posibilidades que brindan tanto la topologla de red en arbol grueso como el algoritmo de encaminamiento DESTRO.

Segun el algoritmo DESTRO, los paquetes de datos (5) con DLID consecutivos que llegan a un mismo puerto de entrada (7) de un conmutador (2) de la red, se transmiten a traves de puertos de salida (8) distintos hacia conmutadores (2) diferentes de la siguiente etapa de conmutadores (2) de la red de interconexion.

Por otro lado, tal y como se ha mencionado anteriormente, el presente metodo preve la asignacion de niveles de servicio, SL, a paquetes de datos (5), de manera que a paquetes de datos (5) cuyos SLID sean identicos o consecutivos (tengan como origen puertos HCA (9) del mismo grupo SLID) y cuyos DLID sean identicos o consecutivos (tengan como destino puertos del HCA (9) del mismo grupo DLID), se les asigna el mismo nivel de servicio, SL, y por lo tanto, en cualquier buffer (3), han de ser almacenados en el mismo canal virtual (4), debido a la correspondencia biunlvoca SL=VL.

5

10

15

20

25

30

La suma de lo anterior lleva a que en las etapas de conmutadores (2) mas alejadas de los nodos (1) de procesamiento de la red, los paquetes de datos (5) se dispersan tratando de aprovechar al maximo los enlaces (6) disponibles de la red de interconexion (gracias a DESTRO) y en general, en todos los enlaces (6) se transmiten paquetes de datos (5) que tienen asignados todos los niveles de servicio, SL, previstos y que por lo tanto, aprovecharan todos los canales virtuales (4) que se han configurado para la red de interconexion (gracias al presente metodo).

Adicionalmente, la combination de caracterlsticas del algoritmo de encaminamiento DESTRO y del metodo de la presente invention, hace que se minimice el numero de flujos de paquetes de datos (5), de aquellos que son transmitidos por un mismo enlace (6), que tienen asignados los mismos niveles de servicio, SL, y por tanto, los mismos canales virtuales (4). La tendencia segun se avanza por las etapas de conmutadores (2) de la red de interconexion es que los flujos de paquetes de datos (5) que se transmiten por un mismo enlace (6) tengan asignado distinto nivel de servicio, SL, si su identificador local DLID es tambien diferente.

De esta forma, en cada buffer (3) de cada conmutador (2) de la red de interconexion, cada canal virtual (4) esta ocupado por el mlnimo numero posible de flujos de paquetes de datos (5), disminuyendo asl los efectos negativos derivados de la congestion, a saber, el bloqueo HoL y el acaparamiento del buffer. Ademas, como un mismo DLID no se mapea a VLs distintos, esto ayuda a minimizar los efectos negativos de la congestion.

Las figuras 6 y 5 muestran respectivamente como se asignan los niveles de servicio, SL, a los flujos de paquetes de datos (5), segun el metodo de la presente invencion, y segun otro algoritmo de mapeo conocido como vFtree, convencional en el estado de la tecnica.

En dichas figuras se representa una portion de red de interconexion con topologla en arbol grueso y 64 nodos (1) de procesamiento, cada nodo (1) con un unico puerto HCA (9). En la porcion de la figura se muestran unicamente los primeros 16 nodos (1) de la red, numerados del 0 al 15. La red dispone de 3 etapas de conmutadores (2), cada uno de ellos con cuatro puertos de entrada (7) y de salida (8), comunicados mediante cuatro enlaces (6) con las etapas posterior y precedente respectivamente.

Los flujos de paquetes de datos (5) aparecen representados por sus correspondientes identificadores de destino, DLID.

5

10

15

20

25

30

En el ejemplo representado, en cada puerto de entrada (7) de cada conmutador (2), existe un unico buffer (3) que se ha configurado para dividirse en 4 canales virtuales (4) numerados del 0 al 3.

Tal y como puede apreciarse en la figura 5, y como se explica en mas detalle a continuation, el algoritmo de mapeo vFtree no logra un aprovechamiento optimo de los recursos de la red de interconexion en la tercera etapa de conmutadores (2), mientras que como se aprecia en la figura 6, el metodo de la presente invention si logra aprovechar al maximo los recursos disponibles, no dejando infrautilizado ningun enlace (6) ni canal virtual (4).

En efecto, se observa en la figura 5 que, segun el algoritmo de mapeo vFtree, cada flujo de paquetes de datos (5) de los que llegan a la tercera etapa de conmutadores (2), se almacena en todos y cada uno de los canales virtuales (4) disponibles, esto es, cada canal virtual (4) es compartido por todos los flujos distintos de paquetes de datos (5) que llegan a cada puerto de entrada (7) de los conmutadores (2) de la tercera etapa.

El efecto mencionado en el parrafo anterior hace que aumente el riesgo de aparicion de los efectos negativos derivados de la congestion, ya sea bloqueo HoL o acaparamiento del buffer, en caso de que aumente la densidad de trafico de alguno de dichos flujos de paquetes de datos (5).

En caso de que la densidad de uno de los flujos de paquetes de datos (5) aumente demasiado, dicho flujo puede acaparar el espacio disponible en todos y cada uno de los canales virtuales (4), no dejando espacio para otros flujos de paquetes de datos (5) con menor densidad de trafico (efecto acaparamiento del buffer).

Asimismo, como cada flujo de paquetes de datos (5) de los que comparten canal virtual (4) en los conmutadores de la tercera etapa solicita un puerto diferente para dirigirse aguas arriba hacia su puerto HCA (9) de destino, y los puertos que conducen flujos de paquetes de datos (5) de mayor densidad se ven saturados, los flujos de paquetes de datos (5) con menor densidad de trafico se ven bloqueados en el canal virtual (4) por causa del atasco de los flujos de paquetes de datos (5) que comparten canal virtual (4), lo que se conoce como bloqueo HoL.

Como segun el algoritmo de encaminamiento DESTRO cada enlace (6) de la red de interconexion conduce aguas arriba a un unico flujo de paquetes de datos (5) en direction

5

10

15

20

25

30

a su puerto HCA (9) de destino, esto es, cada flujo de paquetes de datos (5) dispone de un enlace (6) exclusivo para dirigirse aguas arriba hacia su puerto HCA (9) de destino, el efecto mencionado en el parrafo anterior provoca, no solo que se saturen los enlaces (6) destinados a la conduction de los flujos de paquetes de datos (5) de mayor densidad, sino que los enlaces (6) destinados a la conduccion aguas arriba de flujos de paquetes de datos (5) de menor densidad queden desaprovechados.

Por tanto se observa como el algoritmo de mapeo vFtree no ofrece resultados suficientemente satisfactorios, en terminos de aprovechamiento de recursos y reduction de los efectos negativos de la congestion, en la tercera etapa y siguientes, para redes de interconexion con al menos tres etapas de conmutadores (2).

Por el contrario, el metodo propuesto en la presente invencion consigue, mediante una sencilla implementacion y con un escaso consumo de recursos de la red, un funcionamiento satisfactorio con un optimo aprovechamiento de los recursos de la red y una prevention de los dos tipos mencionados de efectos negativos de la congestion, en redes con topologla de arbol grueso de gran tamano, con un numero indeterminado de etapas de conmutadores (2).

En la figura 6 se observa la forma en que se distribuyen los flujos de paquetes de datos (5) en los canales virtuales (4), segun el metodo objeto de la presente invention, reduciendo asl los efectos negativos de la congestion del tipo Acaparamiento del buffer y Bloqueo HoL.

Cabe mencionar que, tal y como ocurrla en el caso de la figura 5, cada enlace (6) que comunica la segunda etapa con la tercera etapa de conmutadores (2), conduce unicamente flujos de paquetes de datos (5) con tres DLID diferentes. Esto es debido al algoritmo DESTRO, que distribuye al maximo los flujos de paquetes de datos (5) entre los enlaces (6) disponibles.

En efecto, como los flujos de paquetes de datos (5) que alcanzan la tercera etapa de conmutadores (2) y que se transmiten por los enlaces (6) que comunican la segunda etapa con la tercera etapa de conmutadores (2), son solo aquellos flujos de paquetes de datos (5) cuyo DLID esta comprendido entre 16 y 63 (es decir, aquellos cuyo DLID no este comprendido en el grupo 0), existen 48 DLID a distribuir entre 4x4=16 enlaces (6) que comunican los conmutadores (2) de la segunda y la tercera etapa de la portion superior de la red de interconexion, mostrada en las figuras 5 y 6.

De manera que corresponde, segun el algoritmo de encaminamiento DESTRO, que por cada enlace (6) entre las etapas segunda y tercera, circulen flujos de paquetes de datos (5) con tres DLID diferentes y no consecutivos; y por otra parte, segun el metodo de la presente invencion, a cada uno de dichos flujos le corresponde un nivel de servicio, SL, 5 diferente, y por tanto un canal virtual (4) diferente, quedando finalmente un canal virtual (4) sin utilizar en los buffer (3) de los conmutadores (2) de la tercera etapa, tal y como se observa en la figura 6.

Pero como ya se ha mencionado, el efecto anterior se debe exclusivamente a que el numero de flujos de paquetes de datos (5) con DLID distintos que alcanzan la tercera 10 etapa de conmutadores (2) en cada puerto de entrada (7) de cada conmutador (2) es inferior al numero de canales virtuales (4) disponible. No obstante, incluso en este caso, se observa que los efectos de Bloqueo HoL y Acaparamiento del buffer quedan eliminados en los buffer (3) de esta tercera etapa de conmutadores (2), ya que cada flujo de paquetes de datos (5) queda almacenado en un canal virtual (4) exclusivo.

15 Como conclusion de la description del metodo objeto de la presente invencion se obtiene que el presente metodo consigue por un lado un optimo aprovechamiento de los recursos disponibles en la red de interconexion y por otro lado consigue prevenir eficazmente los efectos negativos del tipo bloqueo HoL y Acaparamiento del buffer, debidos a la congestion, en redes de interconexion con topologla de arbol grueso de un numero 20 indeterminado de etapas de conmutadores (2).

Por lo tanto, el metodo objeto de la presente invencion consigue aumentar la fiabilidad de las redes de interconexion y mejorar el rendimiento, reduciendo los tiempos de transmision.

La presente invencion queda definida por las siguientes reivindicaciones.

25

Claims (3)

1. 5

   10

   15

   20

   25

   30

   REIVINDICACIONES

   1. Metodo para descongestionar el trafico de datos en redes de interconexion

   basadas en tecnologia InfiniBand, que comprenden una topologia en arbol grueso, con una pluralidad de nodos (1) de procesamiento conectados entre si mediante una pluralidad de etapas de conmutadores (2), donde los nodos (1) de procesamiento y los conmutadores (2) estan unidos mediante enlaces (6), donde cada nodo (1) de procesamiento comprende al menos un puerto HCA (9) y cada conmutador (2) comprende al menos un puerto de entrada (7) y un puerto de salida (8) de flujos de paquetes de datos (5) que se transmiten entre dos puertos HCA (9) por los enlaces (6) y conmutadores (2) de la red de interconexion, donde cada paquete de datos (5) lleva asociado un identificador local denominado SLID, que indica el puerto HCA (9) desde el que ha sido inyectado en la red de interconexion, y un identificador local denominado DLID, que indica el puerto HCA (9) al cual se dirige, donde cada puerto de entrada (7) de cada conmutador (2) comprende al menos un buffer (3) cuyo espacio de memoria se divide en tantos canales virtuales (4) como determine un administrador de la red de interconexion, donde los paquetes de datos (5) llevan asociado un determinado nivel de servicio, SL, que indica en que canal virtual (4) de cada buffer (3) de cada puerto de entrada (7) de cada conmutador (2) ha de ser almacenado transitoriamente dicho paquete de datos (5) hasta su salida de dicho conmutador (2), caracterizado por que comprende las siguientes fases:

   a. dividir los SLID en grupos, donde se establecen tantos grupos de SLID como canales virtuales (4) se hayan configurado para cada buffer (3), de manera que a cada SLID le corresponde un determinado grupo;

   b. dividir los DLID en grupos, donde se establecen tantos grupos de DLID como canales virtuales (4) se hayan configurado para cada buffer (3), de manera que a cada DLID le corresponde un determinado grupo;

   c. asignar a cada paquete de datos (5) que se transmite por la red de interconexion, un determinado nivel de servicio, SL, de acuerdo con el grupo al que pertenece el SLID que lleva asociado y con el grupo al que pertenece el DLID que lleva asociado.
2. 2. Metodo para descongestionar el trafico de datos en redes de interconexion

   basadas en tecnologia InfiniBand segun la reivindicacion 1, caracterizado por que los grupos de SLID se establecen de acuerdo a la siguiente formula:

   SLID del paquete de datos GrupoSLID = XHCAjports

   #VL

   y los grupos de DLID se establecen de acuerdo a la siguiente formula:

   DLID del paquete de datos GrupoDLID = #HCA_ ports

   #VL

   donde por “#HCA_ports” se entiende el numero de puertos HCA (9) configurados 5 activos en la red de interconexion, y por “#VL” se entiende el numero de canales

   virtuales (4) configurados activos en cada buffer (3) de cada puerto de entrada (7) de cada conmutador (2) de la red de interconexion.
3. 3. Metodo para descongestionar el trafico de datos en redes de interconexion basadas en tecnologla InfiniBand segun la reivindicacion 1, caracterizado por 10 que la asignacion de un determinado nivel de servicio, SL, a cada paquete de

   datos (5) se realiza de acuerdo a la siguiente formula:

   SL = (GrupoDLID + GrupoSLID ) MOD #VL

   donde por “MOD” se entiende un operador que obtiene el resto de la division entre los terminos situados a la izquierda y a la derecha de dicho operador.

   15