CN102868621A - 一种利用异步方式实现大容量路由快速写硬件的方法 - Google Patents

Abstract

本发明公开了一种利用异步方式实现大容量路由快速写硬件的方法，包括：A、对大容量路由进行添加写硬件的步骤；B、地址解析协议ARP学习震荡的处理步骤；C、路由震荡的处理步骤；以及D、对路由表项的状态变迁的操作步骤。在机架式高端交换机中采用本发明方法，能够防止CPU负荷过重，以保持系统的稳定性，同时满足大容量路由下发的收敛时间要求。

Description

一种利用异步方式实现大容量路由快速写硬件的方法

技术领域

本发明涉及数据通信技术，尤其涉及一种利用异步方式实现大容量路由快速写硬件的方法。

背景技术

三层交换机最重要的功能就是通过路由查找实现三层转发。一般来说，将包交给CPU，协议栈就会查找相应的路由实现包的三层转发，也就是通过软件路由表进行转发，而三层交换机一般都要处理高速大容量的包，由于CPU处理能力有限，这时还需要将软件所学习到的路由下发到硬件，从而实现硬件级路由转发，达到高效快速的包转发目的。

现有采用直接函数调用写硬件的方式，会增大模块之间的耦合度，导致路由下发的低效，调用频繁等问题。而且无法实现多个优先级不同路由之间的路由备份功能，以及等价多路由（ECMP，Equal Cost Multi-Path）功能。在socket缓存以及系统资源有限的情况下，难以满足大容量路由下发的需求。

发明内容

有鉴于此，本发明的主要目的在于提供一种利用异步方式实现大容量路由快速写硬件的方法，防止CPU负荷过重，以保持系统的稳定性，同时满足大容量路由下发的收敛时间要求。

为达到上述目的，本发明的技术方案是这样实现的：

一种利用异步方式实现大容量路由快速写硬件的方法，该方法包括：

A、对大容量路由进行添加写硬件的步骤；

B、地址解析协议ARP学习震荡的处理步骤；

C、路由震荡的处理步骤；以及

D、对路由表项的状态变迁的操作步骤。

其中：步骤A具体包括：

A1、逐一解析出路由的目的IP地址、掩码、下一跳IP地址、路由协议号、路由距离向量、接口的信息，然后将所述信息加入路由hash表中，以路由条目中的目的IP地址、掩码、下一跳IP地址作为索引进行存储，完成路由在hwroute模块的软件存储；

A2、在路由下发到硬件之前，在ARP表中查找是否存在对应的ARP条目，若不存在，则触发ARP条目的学习；否则，则在完成简单的硬件接口调用之前，完成路由的路由备份和等价多路由ECMP处理功能，然后执行步骤A3；

A3、采用异步方式，在收到每条需要写硬件的路由条目时，将路由条目存入一个批量路由链表中；

A4、进行定时器超时处理，将多条路由条目组成一个适当大小的缓存批量的下发到硬件。

步骤B具体包括：

B1、将收到的ARP学习条目加入到ARP软件表；

B2、再将所述ARP学习条目下发硬件，判断下硬件是否成功，若写失败，则将此ARP条目加入到失败表中，定时取表写硬件，直至成功；否则，将路由pend表中关联的路由条目从表中删除，然后执行步骤B3；

B3、查找路由软件表中关联的路由条目，将其加入到批量路由表中；

B4、检测是否有相同的ARP条目老化的消息，若没有，则进行批量链表中的路由写硬件操作；否则，删除硬件ARP条目，执行步骤B5；

B5、删除批量链表中对应的路由条目，不进行路由写硬件操作，然后删除ARP软件表中的该ARP条目。

步骤C具体包括：

C1、将收到的路由条目加入到软件路由表中；

C2、查找ARP表，判断是否存在路由条目下一跳所关联的ARP条目，若不存在，则将路由加入到pend表中；否则，将路由条目加入到批量路由表中，然后执行步骤C3；

C3、在超时进行批量路由表中的路由写硬件操作的同时，检测是否有上层路由协议发来的对应路由的删除消息；若没有，则继续完成批量路由表的路由写硬件过程；否则，则将路由条目从批量路由表中删除，然后执行步骤C4；

C4、删除软件路由表中对应的路由条目，结束该过程。

步骤D所述路由表项的状态变迁，包括如下五个不同的状态：

失败状态Fail，阻塞状态Pend，批量增加状态Addbatch，批量删除状态Delbatch，以及成功状态Success；所述的五种状态能够相互变迁，其变迁的条件主要是由路由和ARP条目的增加/删除事件触发。

该方法能够应用于机架式高端交换机。

该方法能够同时进行rip，ospf，bgp，isis路由的硬件下发。

本发明所提供的利用异步方式实现大容量路由快速写硬件的方法，具有以下优点：

本发明采用了异步方式对大容量路由进行快速写硬件；还采用超时socket接收缓存检测，实现插口消息优先响应机制，保证路由消息的收发不会丢失。在多个优先级不同路由之间使用路由备份功能，以及等价多路由ECMP功能的实现。采用独立的模块实现路由的硬件下发，降低了模块之间的耦合。在地址解析协议（ARP，address resolution protocol）学习以及ARP老化后，实现与ARP关联的路由进行硬件更新操作。能保证路由震荡，ARP震荡发生时路由软硬件表项的一致性。本发明方法，在收到路由条目进行硬件下发时，不直接进行硬件接口的调用，而是加入到批量链表中，待定时得到CPU资源时进行下发，可使路由插口消息的收发能及时处理。并在进行下发时，采用批量组包方式，一次下发多个路由到硬件，加快了路由写硬件速度。减少了模块之间的耦合，降低内核处理的负担，高效率的实现大容量路由的硬件下发。同时还为上层路由协议的路由硬件下发提供统一接口，减少上层路由协议的代码复杂度。此外，本发明的方法还能有效解决大容量路由硬件下发时，路由插口消息收发的缓存溢出问题。还能够处理路由的硬件下发与ARP表项的作用关系，保证ARP震荡时的硬件路由的更新，以及大容量路由震荡时的路由硬件的更新。

附图说明

图1为协议栈内核的通用联网组织结构示意图；

图2为进程与路由子系统之间的交互过程示意图；

图3为本发明的路由添加写硬件流程示意图；

图4为ARP学习震荡流程示意图；

图5为路由震荡的处理流程示意图；

图6为路由的状态变迁示意图。

具体实施方式

下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。

本发明是在机架式三层交换机上实现大容量路由硬件下发过程中的方法。本发明的实施例以Vxworks5.5.1协议栈和BSD选路插口(routing socket)作为技术背景的。Vxworks5.5.1协议栈中通用联网以及路由子系统的实现是来源于4.4 BSD版本。

图1为协议栈内核的通用联网组织结构示意图，如图1所示，其插口层是一个到下层协议相关层的协议无关接口。所有系统调用从协议无关的插口层开始。从进程到内核的发包过程主要是通过函数调用实现，从底层到上层的收包过程主要是通过队列完成，插口层有创建的插口队列，协议层有创建的协议队列。

以上是说明的联网收发包时进程与内核之间的交互，而进程和路由子系统间的交互过程则要引入选路插口(routing socket)的概念，进程在AF_ROUTE域中创建一个原始插口(raw socket)，就能够向内核发送选路消息，以及从内核接收选路消息。

图2为进程与路由子系统之间的交互过程示意图，如图2所示：

1）一个进程使用选路域(routing domain)中的一个插口来发送和接收选路报文。socket系统调用需要指定一个AF_ROUTE的族类型和一个SOCK_RAW的插口类型。

2)当进程需要添加路由、删除路由时，通过系统调用send进入路由子系统，进入route_usrreqs选路协议的用户请求函数，进而调用raw_usrreqs完成在选路域中用户请求处理的大部分工作。在图2中省略了route_usrreqs的调用，是因为所有的处理最终是由raw_usrreqs完成的。然后通过raw_usend的回调进入route_output，这是一个进程向一个选路插口进行写操作所引起的，最后通过判断用户的操作类型作相应的路由处理：RTM_ADD则调用ipIntRouteCreate函数在内核中增加一条路由，RTM_DELETE则调用ipIntRouteDelete函数删除对应的路由。

3）接口启动和断开时，各ioctl调用rtinit，以添加或删除路由。它会调用rt_newaddrmsg，RTM_ADD和RTM_DELETE添加和删除本地路由，RTM_NEWADDR和RTM_DELADDR添加和删除地址，最后通过raw_input向进程通告所有选路报文。

现有技术中，采用路由写硬件的可能方案如下：图2所示的左边部分主要完成的是路由在软件上的添加和删除，但是在大容量高速转发需求的高端三层交换机上仅仅靠软件路由进行查找或转发是远远不能满足需求的，因此就需要将软件上的路由下发到硬件。

在图2中流程执行到最后，在添加路由时调用ipIntRouteCreate函数来添加软件路由表，可以在ipIntRouteCreate函数添加软件路由表之后，直接调用由硬件驱动提供相应的接口函数，将硬件路由表所需信息通过接口函数传递给SDK，进而将软件上学习到的路由写到硬件。

若将路由写硬件的操作直接放在软件路由表产生之后通过函数调用的方式实现的话，则会在原有路由产生的过程中额外增加函数调用和写硬件的过程，而写硬件的过程一般比软件上的代码执行速度要慢的多，这就大大增加了路由下发的时间，在存在有大容量路由需要下发时，会导致路由收敛时间相当慢，256K bgp路由甚至需要花上几个小时。这显然会导致CPU负担过重。

为了防止CPU的负担过重，而保持系统的稳定性，同时满足大容量路由下发的收敛时间要求；就需要解决设备处理大容量路由的快速硬件下发的问题。

此时为了满足高效的要求，将不能使用直接的函数调用方式写硬件。本发明借鉴了图2中右边的流程中的路由通告机制，在软件学习到路由的同时，将路由通过raw_input调用通告给进程，然后通过一个独立的应用层模块（以下称此模块为hwroute）来监听此路由插口，接收通告上来的路由消息，这样内核只需在原来的处理上增加一个路由消息的发送，而相比于直接的硬件函数调用来说，效率要高的多，同时，把路由写硬件的操作从内核中独立出来，交由独立的模块来处理，降低了模块之间的耦合。

当然采用此种方案需要解决的技术问题是：

路由插口之间的消息传递是需要收发缓冲资源的，在处理大容量路由时，很可能因为CPU调度不及时致使接收速度远远赶不上发送的速度，而导致sokcet缓冲区耗尽，从而丢失掉大量的路由信息。我们使用两种机制来保证收发的平衡，第一，在路由发送过程中使用错误重传机制，当发现缓冲区满了后，等待一定时候后再进行路由的下发，第二，在路由接收方，hwroute模块中使用异步方式进行路由的写硬件处理，对接收到的路由先存储，然后在CPU有空闲时进行下发，对接收的路由消息进行优先响应机制。第二种方案是我们讨论的重点，也是本发明的关键所在。

此外还需要解决如下技术问题：第一、在ARP学习以及ARP老化后，与ARP关联的路由，需要对硬件进行更新操作。第二、要保证路由震荡，ARP震荡过程的路由软硬件表项的一致性。

由于现有采用直接函数调用写硬件的方式，会增大模块之间的耦合度，导致路由下发的低效，调用频繁等问题。而且无法实现多个优先级不同路由之间的路由备份功能，以及等价多路由（ECMP）功能。在socket缓存以及系统资源有限的情况下，难以满足大容量路由下发的需求。

在采用路由插口的路由通告机制和hwroute模块的异步写硬件之后，软件与硬件路由之间的使用异步方式处理，优先响应路由插口的通告消息，保证缓存不会溢出，路由消息能全部正确的下发硬件，并减少内核的CPU处理负担，并在hwroute下发硬件时采用批量方式快速的实现硬件的下发。

在使用hwroute模块单独进行路由的下发，还能对ARP学习和老化后所关联的路由的硬件更新操作，另外能实现多个优先级不同路由之间的路由备份功能，以及等价多路由ECMP功能。

本发明软件路由表项也是由内核维护并管理的，hwroute需要知道的路由也是通过内核发送路由套接字（socket）消息获得。然而当路由协议学习到大量路由时，内核所要发送的路由消息会非常频繁，增加了内核的负担，这时需要考虑将路由协议学习到的路由直接发送给hwroute模块，这样，一方面能够减少内核的处理过程，另一方面由于路由的发送和接收都由应用模块来完成，可以更灵活的对路由信息进行组织（只发送需要的路由信息和一次大批量的发送），而内核只需要发送本地路由和静态路由即可。hwroute模块对路由的存储和管理也采用hash链表。

图3为路由添加写硬件流程示意图，如图3所示，在hwroute模块中开启任务接收路由插口来的路由增加消息时，其主要步骤如下。

步骤301：逐一解析出路由的目的IP地址、掩码、下一跳IP地址、路由协议号、路由距离向量、接口等信息，然后将所述信息加入路由的hash表中，以路由条目中的目的IP地址、掩码、下一跳IP地址作为索引（为多实例的扩展可以加入实例号）进行存储，完成路由在hwroute模块的软件存储。

步骤302：路由到硬件的下发依赖于路由所关联的ARP条目的存在，在路由下发到硬件之前，在ARP表中查找是否存在对应的ARP条目，若否，执行步骤303；否则，执行步骤304。

步骤303：若不存在，则触发ARP条目的学习。由于上层模块对路由的下发是不关心ARP是否存在的，这时，则将这样的路由条目加入到一个pend链表中轮询触发ARP的学习。

步骤304：若存在时，则在完成简单的硬件接口调用之前，完成路由的两个重要的功能：路由备份和等价多路由（ECMP）处理。

这里，路由备份是指在多条优先级不同（以路由距离向量，接口状态等作为判断依据）的路由有着相同的目的地址，掩码，而下一跳IP地址不同，这时在硬件表中只能存在一条优先级最高的路由，在新增加的路由优先级较高时，需要删除原有路由，当优先级较高的路由删除时，优先级较低的路由也能自动的加入到硬件，也就是说优先级较低的路由充当了备份路由的角色。

等价多路由（ECMP）与前述的路由备份中所提到的路由的唯一不同在于，多条此路由有着相同的优先级，在硬件中可以同时存在，实现相同目的的数据包分流的作用。在下发硬件的过程中同时找出满足上述条件的路由，优先级低的实行删除硬件操作，优先级高的则实行加硬件操作。

步骤305：采用异步方式，在收到每条需要写硬件的路由条目时，不直接调用硬件接口而是将路由条目存入到一个批量路由链表中。

步骤306：然后在步骤405的基础上，进行定时器超时处理，将多条路由条目组成一个适当大小的缓存批量的下发到硬件。

这里，需要一个处理就是任务需要优先响应路由插口的路由消息，通过每次轮询检测插口是否有数据到达从而能在批量下发路由的过程中在检测有路由消息时跳出而去执行路由消息的处理。这样就可以解决在有大容量路由存在时，因为来不及释放导致socket缓冲区耗尽，从而丢失掉大量的路由信息的问题。。

此外，路由条目的下一跳IP所对应的ARP也存在下硬件的需求，并且ARP的存在是路由能写硬件的必要条件，在ARP学习和老化后需要对路由在硬件上的条目进行更新，同时由于路由写硬件采用异步方式，所以存在ARP震荡（ARP学习和老化时间很短）时的路由软硬一致性的处理。

图4为ARP学习震荡的处理流程示意图，如图4所示，hwroute接收ARP消息也是通过内核发送路由插口消息获得的。

步骤401：将收到的ARP学习条目加入到ARP软件表。

步骤402：再将所述ARP学习条目下发（即写）硬件，判断下硬件是否成功，若否，则执行步骤403；否则，执行步骤404。

这里，对ARP写硬件方式可以采用直接的硬件接口调用。

一般的硬件接口调用或机架式设备的主控到线卡的发送都需要一定的处理时间，若不采用批量方式会导致频繁调用而最终影响路由的硬件下发，加大路由的收敛时间。如果实时进行路由的硬件下发，会导致硬件下发长时间占用CPU资源，而不能及时进行路由插口的消息接收，导致缓存溢出，路由丢失。

步骤403：若写硬件失败，则将此ARP条目加入到失败表中，定时取表写硬件，直至成功。

步骤404：若ARP写硬件成功，则将路由pend表中关联的路由条目从表中删除。

步骤405：查找路由软件表中关联的路由条目，将其加入到批量路由表中。

步骤406：由于大容量路由的存在，批量路由表中条目未完全下发时，需要检测是否有相同的ARP条目老化的消息，若没有，则执行步骤407；否则，执行步骤408。

步骤407：若没有，则说明不存在ARP的震荡，只需超时进行批量链表中的路由写硬件操作。

步骤408：若有，则说明存在ARP的震荡，此时删除硬件ARP条目即可。然后执行步骤409。

步骤409：删除批量链表中对应的路由条目，无需进行路由写硬件操作。

步骤410：删除ARP软件表中的此ARP条目。

采用异步方式，同时满足大容量路由的需求，必然存在路由在写硬件过程中，不可避免的会产生路由还没有写到硬件时，上层路由协议出现端口down或邻居down等要将学习到的路由删除掉，这时就会出现路由的震荡。

图5为路由震荡的处理流程示意图，如图5所示，该处理过程包括：

步骤501：将收到的路由条目加入到软件路由表中。

步骤502：查找ARP表，判断是否存在路由条目下一跳所关联的ARP条目，若存在，则执行步骤504；否则，执行步骤503。

步骤503：若不存在ARP条目，则将路由加入到pend表中。

步骤504：若存在ARP条目，则将路由条目加入到批量路由表中。

这里，该过程与前述的路由添加流程相同。

步骤505：在步骤504的基础上，在超时进行批量路由表中的路由写硬件操作的同时，检测是否有上层路由协议发来的对应路由的删除消息；若有，则执行步骤507；否则，执行步骤506。

步骤506：若没有路由的删除消息，则说明不存在路由震荡，只需继续完成批量路由表的路由写硬件过程。

步骤507：若有路由的删除消息时，由于此时路由还未进行写硬件操作，所以只需将路由条目从批量路由表中删除即可。

步骤508：在步骤507的基础上，删除软件路由表中对应的路由条目，结束该过程。

    由于要求hwroute的各个表项要保证一致性，也就是说在路由和ARP震荡时，各表项的内容要正确的记录震荡的变化，而这些变化发生时所采取的实际操作就需要依靠表项的实际状态。状态的变迁直接影响表项在各个链表中的变化。因此路由表项的状态是整个路由硬件下发的关键因素。

图6为路由表项的状态变迁示意图，如图6所示，路由表项在整个硬件下发过程中可以处于以下5个不同的状态：

失败状态（Fail）也叫初始化状态，是路由在软件上初始创建时的状态。

阻塞状态（Pend）即路由所关联的ARP条目不存在。

批量增加状态（Addbatch）即路由需要下发但还没有下发到硬件的状态，通常处于这种状态的路由表项会加入到批量路由增加链表中。

批量删除状态（Delbatch）即路由需要从硬件中删除但还没有从硬件中删除的状态，通常处于这种状态的路由表项会加入到批量路由删除链表中。

成功状态（Success）即路由成功的下发到硬件，软件表和硬件表都有对应的路由。

其路由的状态可以相互变迁，变迁的条件主要是根据路由和ARP条目的增加/删除事件而触发。

本发明能够应用于机架式的高端交换机，能快速的实现256K bgp路由的硬件下发，除去路由协议的路由学习时间，256K路由的收敛时间不到2分钟。另外能同时进行rip，ospf，bgp，isis等路由的硬件下发。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (7)

1.一种利用异步方式实现大容量路由快速写硬件的方法，其特征在于，该方法包括：

A、对大容量路由进行添加写硬件的步骤；

B、地址解析协议ARP学习震荡的处理步骤；

C、路由震荡的处理步骤；以及

D、对路由表项的状态变迁的操作步骤。

2.根据权利要求1所述的利用异步方式实现大容量路由快速写硬件的方法，其特征在于，步骤A具体包括：

A1、逐一解析出路由的目的IP地址、掩码、下一跳IP地址、路由协议号、路由距离向量、接口的信息，然后将所述信息加入路由hash表中，以路由条目中的目的IP地址、掩码、下一跳IP地址作为索引进行存储，完成路由在hwroute模块的软件存储；

A2、在路由下发到硬件之前，在ARP表中查找是否存在对应的ARP条目，若不存在，则触发ARP条目的学习；否则，则在完成简单的硬件接口调用之前，完成路由的路由备份和等价多路由ECMP处理功能，然后执行步骤A3；

A3、采用异步方式，在收到每条需要写硬件的路由条目时，将路由条目存入一个批量路由链表中；

A4、进行定时器超时处理，将多条路由条目组成一个适当大小的缓存批量的下发到硬件。

3.根据权利要求1所述的利用异步方式实现大容量路由快速写硬件的方法，其特征在于，步骤B具体包括：

B1、将收到的ARP学习条目加入到ARP软件表；

B2、再将所述ARP学习条目下发硬件，判断下硬件是否成功，若写失败，则将此ARP条目加入到失败表中，定时取表写硬件，直至成功；否则，将路由pend表中关联的路由条目从表中删除，然后执行步骤B3；

B3、查找路由软件表中关联的路由条目，将其加入到批量路由表中；

B4、检测是否有相同的ARP条目老化的消息，若没有，则进行批量链表中的路由写硬件操作；否则，删除硬件ARP条目，执行步骤B5；

B5、删除批量链表中对应的路由条目，不进行路由写硬件操作，然后删除ARP软件表中的该ARP条目。

4.根据权利要求1所述的利用异步方式实现大容量路由快速写硬件的方法，其特征在于，步骤C具体包括：

C1、将收到的路由条目加入到软件路由表中；

C2、查找ARP表，判断是否存在路由条目下一跳所关联的ARP条目，若不存在，则将路由加入到pend表中；否则，将路由条目加入到批量路由表中，然后执行步骤C3；

C3、在超时进行批量路由表中的路由写硬件操作的同时，检测是否有上层路由协议发来的对应路由的删除消息；若没有，则继续完成批量路由表的路由写硬件过程；否则，则将路由条目从批量路由表中删除，然后执行步骤C4；

C4、删除软件路由表中对应的路由条目，结束该过程。

5.根据权利要求1所述的利用异步方式实现大容量路由快速写硬件的方法，其特征在于，步骤D所述路由表项的状态变迁，包括如下五个不同的状态：

失败状态Fail，阻塞状态Pend，批量增加状态Addbatch，批量删除状态Delbatch，以及成功状态Success；所述的五种状态能够相互变迁，其变迁的条件主要是由路由和ARP条目的增加/删除事件触发。

6.根据权利要求1～6任一项所述的利用异步方式实现大容量路由快速写硬件的方法，其特征在于，该方法能够应用于机架式高端交换机。

7.根据权利要求7所述的利用异步方式实现大容量路由快速写硬件的方法，其特征在于，该方法能够同时进行rip，ospf，bgp，isis路由的硬件下发。

Images