CN101146014A - 容错以太网 - Google Patents

Abstract

通过使用提供可以用相同网址择一地启用的复制端口的专用接口来提供容错以太网。端口之间的切换纠正双向冗余系统中的单个错误而不需费时重新配置其它终端设备也不需要终端设备中复杂的中间件。

Description

容错以太网

技术领域

本发明一般涉及容错电子通信网络，尤其涉及迅速操作以纠正在网络组件故障时所发生的错误并且适合于实时工业控制的容错网络。

背景技术

工业控制器是提供制造设备、机器以及过程的实时的高度可靠的控制的专用计算机。通常，工业控制器执行所存储的程序以经由一组输入/输出(I/O)电路通过与工业控制器连接的传感器来读取来自机器或过程的输入。基于这些输入，工业控制器生成用于通过致动器等控制机器或过程的输出信号。

通常，工业控制系统的组件将分布在整个工厂各处，因而将通过提供使用专用协议进行的高速操作(以允许实时控制)的专用通信网络进行通信，以确保数据被可靠且可预测地传送。

理想地，工业控制系统的组件可以使用常用网络组件例如通常可用的以太网组件互连。这一能力可削减建立和维护网络的成本，并且在某些情形中将允许使用现有网络基础结构。另外，使用诸如以太网等常用网络的能力可便于与工业控制系统外部的或控制过程中不直接涉及的设备通信。

采用以太网和类似的标准网络的一个障碍在于它们不是容错的，即在小到一个网络组件中的故障都会引起网络失效，这在可靠性至关重要的工业控制系统中是不可接受的可能性。

现有技术提供了几种提高以太网及类似网络的容错性的方法。第一种方法是使用其中各个终端设备(节点)用由互连的组件(诸如交换机)和通信介质构成的环与其它节点连接的环形拓扑。环形网络的操作是由环管理器设备用特殊软件控制的。环中一个组件或介质段的故障仍提供每一节点之间的第二路径。在正常操作模式下，此第二路径由环管理器设备封锁。在检测到网络故障时，环管理器设备将重新配置网络以使用第二路径。这样的系统提供100微秒至500毫秒量级上的网络故障纠正。缺点在于不能容许多个错误(例如两段介质的故障)。

第二种方法为每一节点配备用于控制该节点与两个或多个不同网络的连接的软件“中间件”。在组件或介质故障的情况下，该中间件改变本地网络接口以在使用新以太网地址的后备网络上发送和接收消息。中间件与在其它节点处的中间件通信以更新这一改变的地址。此方法能容许多个错误，但重新配置网络所需的时间可能会多达30秒。此后一种方法的另一问题在于需要多个网络(一个用于主要使用，一个用于后备)，这可能难以维护，由此不可避免地存在配置和性能的差异。

在第三种方法中，使用具有两个或多个冗余网络基础结构的单个网络，并且每一设备设有多个端口，且每一端口与该网络的一冗余基础结构连接。每一设备中的中间件设有通过多个基础结构通向网络中的所有其它设备的替换路径。每一设备中的中间件定期在各替换路径上发送诊断消息并连续与所有其它设备中的中间件交换各路径的状态信息。当需要发送应用层消息时，源设备中的中间件将在当前路径状态信息的基础上选取到目标设备的有效路径。在一路径上有网络故障的情况下，设备中的中间件将或通过接收不到来自该路径上的其它设备的诊断消息或通过经由替换路径从其它设备接收到路径状态信息来检测到该故障。一检测到路径故障，该路径的状态信息就将被更新并且该路径将不被用于未来的传送。这类检测和重新配置通常可在1秒以内发生。

在有网络故障时重新配置各节点的这一需要从根本上限制了校正网络故障的速度，这既是因为需要复杂的软件(中间件)来检测故障和坐标地址或路径状态变化，又是因为与网络上的其它节点通信所需的时间。

发明内容

本发明通过为各终端节点提供均具有相同网址的两个网络连接很大程度上消除了重新配置其它终端节点的需要。响应于所检测到的故障由网卡中的硬件激活择一的网络连接。此硬件交换以及地址改变需要的消除甚至对于非常大的网络也可提供故障检测以及小于1毫秒的重新配置速度。

网络故障可以使用IEEE 802.3的标准机制来检测，例如本地故障，以及通过使用定位在网络上的特定信标使得信标包的丢失指示远程网络故障来检测。两种类型的故障均可以在硬件中容易地检测。

诸节点连接的单个网络被配置成使各节点之间存在多条路径。优选地，这是通过提供由高可靠度连接互连的至少两个主干交换机并将各终端节点直接或间接连接至两个交换机来完成的。

具体而言，本发明提供一种用于创建终端设备的容错以太网的系统，各终端设备由网络交换机和网络介质连接。该系统包括与各终端设备相关联并在终端设备的主微处理器与具有共同以太网址并可连接至不同网络介质的至少两个端口之间通信的以太网通信电路。该通信电路在发生影响第一个端口的错误时将终端设备切换至第二个端口。

因此，本发明的至少一个实施例的一个目的在于提供不需要重新配置节点地址并可以主要用高速硬件完成的极快速纠错。

该以太网通信电路可以通过检测与同第一端口通信的网络交换机的以太网通信的故障来检测影响第一端口的错误。

因此，本发明的至少一实施例的一个目的在于提供使用在IEEE 802.3标准中提供的机制的简单本地故障检测。

该系统可包括一个或多个信标设备，用于通过网络介质将信标包发送至第一和第二端口，并且以太网通信电路可以通过检测在预定义的超时时段内在相应端口处没有接收到任何信标包来检测影响第一或第二端口的错误。

因此，本发明的至少一个实施例的一个目的在于提供远离给定终端设备的错误的全面检测。

信标包可以用周期性的速率转发，并且所述预定义的超时时段通常可以被推断成稍大于周期性速率的两倍。

因此，本发明的至少一个实施例的目的在于提供只受仍有待消除故障假检测的网络中信号的传播速度限制的极快速错误检测。

该以太网通信电路可包括可由用户选择性地致动以通过网络介质将信标包传送至其它以太网通信电路的信标设备。

因此，本发明的至少一个实施例的另一个目的在于提供可以用单个专用电路卡实现并的且在所有其它方面可采用标准以太网硬件的容错系统。

信标设备可以在IEEE 802.3下以最高优先级发送。

因此，本发明的至少一个实施例的一个目的在于利用以太网的优先级结构以确保错误的极快速检测。

该以太网通信电路可以在通信电路在诸端口之间切换时将包广播至其它以太网通信电路，以通过使用学习协议的中间交换机来促进学习。

因此，本发明的至少一个实施例的一个目的是允许中间交换机等在发生错误的情况下重新学习信号的合适路由。

这些以太网通信电路可采用专用电路系统来在诸端口之间切换。

因此，本发明的至少一个实施例的一个目的在于消除复杂软件中间件的需要，由此来提高切换的速度。

这些以太网通信电路可以在具有作为指定的顶层交换机的至少两个交换机的网络上使用并且通过容错主干相互通信。各终端设备可以通过一个端口直接或间接地与第一个顶层交换机通信并且通过第二端口直接或间接地与第二个顶层交换机通信。

因此，本发明的至少一个实施例的一个目的在于在单个网络中提供允许容错的简单拓扑。

这些特定目的和优点可只适用于落在权利要求范围内的某些实施例，因而并不限定本发明的范围。

附图说明

图1是具有作为各自与多个以太网交换机通信的节点连接在以太网上的控制器和其它终端设备的工业控制系统的框图。

图2是图1的终端节点所采用的提供使用相同地址与多个交换机连接的两个端口并且示出用于在两个端口之间切换的电路系统的通信电路的框图。

图3是配置成与本发明一起用于将多个终端设备冗余地连接至顶层的两个不同主干交换机中的每一个的以太网的图。

图4是与图3相似的图，它示出网络上的单个本地错误；

图5是与图4相似的图，它示出网络上的单个远程错误；

图6是与图5相似的图，它示出交换机故障。

图7是与图6相似的图，它示出主干交换机之间的互连故障；

图8是与图7相似的图，它示出影响信标设备的本地故障；

图9是与图8相似的图，它示出信标设备故障。

图10是与图9相似的图，它示出多个错误；

图11是示出在优选实施例中的通信电路的硬件中所实现的在错误状况下图2的网卡的操作的流程图；以及

图12示出与图10中相似的本发明的用于提供多个冗余的扩展的局部视图。

具体实施方式

工业控制系统

现在参见图1，工业控制系统10可包括多个终端设备12a-12e，每一设备具有经由以太网接口电路20(图1中未示出)通过独立的网络介质18分别与不同的交换机16a和16b通信的两个连接14a和14b。

交换机16、网络介质18和以太网接口电路20一起提供如下所述的容错网络11。

终端设备12a至12e可以是诸如可编程逻辑控制器(终端设备12a)、人机接口(终端设备12b)、标准个人计算机(终端设备12c)、电动机控制器(终端设备12d)和输入/输出架(终端设备12e)等任何工业控制设备。

交换机16a和16b中的每一个可以是本领域已知类型的标准以太网交换机。就交换机16可能具有以太网多播地址的IGMP嗅探和过滤的程度而言，优选地，此特征可被停用以允许这些交换机用本发明更快速地工作。就交换机16可能具有以太网单播地址的“学习”和“过滤”的程度而言，优选地，交换机可提供针对所学习到的地址的可配置老化机制，然而这不是必要的。

网络介质18可以是例如电缆、光纤或无线发送机/接收机对等。

容错接口电路

现在参见图2，如上所述，每一终端设备12可包括提供到网络11的其余部分的两个连接14a和14b的以太网接口电路20。连接14a和14b是通过分别接受附连于网络介质18的连接器24a和24b的两个标准物理端口22a和22b来实现的。

物理端口22a和22b与硬件开关电路26连接，硬件开关电路26诸如可以使用现场可编程门阵列(FPGA)和/或专用集成电路(ASIC)来实现，用于在端口22a和22b中择一与主微处理器28之间提供通信。在这一点上，开关电路26可包括多线端口选择器32，根据端口选择器32的状态将来自端口22a或端口22b的数据流切换至主微处理器28。作为开关电路26的一部分的逻辑电路34根据通常检测错误并在端口22a和22b之间切换的状态机来控制端口选择器32。在任意给定时刻，端口选择器32只启用一个端口22a并禁用另一端口22b，或与之相反。所有通信流只通过被启用的端口22。

主微处理器28通常执行实现终端设备12的特定特征的程序。重要地，主微处理器28保存在端口22a和22b被择一地启用时由它们中被启动的那一个作为网址使用的单个媒体访问控制层(MAC)网址30。

在优选实施例中，当发生错误或其它重大网络事件时，在逻辑电路34向主处理器28提供中断之后，主处理器28授权逻辑电路34在端口22a和22b之间切换。主微处理器28的切换授权要求执行非常少的代码，使得主微处理器28能以小于10微秒的延迟重新配置端口。在这一短暂的切换时间时段里，某些包将被丢失但更高层网络协议将正确地作用来处理这些丢失的包就好象包是由于其它网络错误而丢失的一样。在此延迟时段里不太可能接收到复制包，但是如果收到少量复制包，则它们将由更高层网络协议检测到。

仍参见图2，逻辑电路34可根据错误对于以太网接口电路20是“本地的”还是“远程的”，即与以太网接口电路20隔开至少一个交换机16，来用两种方法直接检测错误。

对于检测到“远程的”错误，优选地，逻辑电路34包括或者提供用于在两个端口22a和22b上同时接收信标包(如下所述)或者在如此配置时在端口22a和22b中启用的那一个上发送信标包的手段的信标发生器/检测器35。在此模式中，不论端口22a和22b中哪一个启用于数据传送，都将在端口22a和22b两者处检测信标包。

通常，当信标发生器/检测器35检测到任何信标包没能在预定义的超时时段从网络中的远程信标设备到达端口22a或22b中启用的一个时，没能检测到信标包的的特定端口被声明处于出错模式。在此情况下，逻辑电路34中断主微处理器28，并且主微处理器28指令逻辑电路34切换至另一端口22(假定先前它没有出错)。类似地，当出错的端口22再次变成启用时，它可以在由逻辑电路34中断时由主微处理器28恢复。因此，一个或多个信标设备的正确定位允许各以太网接口电路20检测从给定通信电路20以及与其直接连接的交换机16去除的远程错误。

逻辑电路34还可在以太网接口电路20与使用IEEE 802.3标准的机制的最近交换机16之间检测“本地的”错误。这些错误象“远程的”错误那样被传送至主微处理器28，并且以类似的方式被处理，以触发端口22a和22b的改变。

当信标发生器/检测器35被配置成发生器时，它以固定的间隔提供信标包的发送以帮助如上所述的远程错误的检测。信标包使用交换机16被配置成支持的IEEE 802.3优先级标记帧在网络上以最高优先级发送。

在该优选实施例中，发生器/检测器35为了效率将信标包生成和信标包检测这两个功能组合，然而，从以下说明中将认识到信标生成功能可以由单独设备执行。在该优选实施例中，开关电路26使用IEEE 802.3介质不相关接口(MII)总线与主微处理器28和端口22及22b通信。主微处理器28的地址和数据总线允许主微处理器28使用存储器映射的寄存器来配置逻辑电路34并可提供中断信号的发送。开关电路26还可提供多播地址过滤以使得主微处理器28不会被由于交换机16中的IGMP嗅探和过滤的禁用所引起的多播话务所充斥。

容错网络

现在参见图3，虽然本发明可以对提供至少某些冗余的任何网络拓扑起作用，但理想地，该网络是对具有不重叠子树的对称冗余或非对称冗余建立的，其中各终端设备12的连接14a和14b之一直接与两个网络基础结构即(1)网络基础结构A和(2)网络基础结构B中的不同的一个中的交换机16连接。在各网络基础结构中可以采用多层交换机16，其中各网络基础结构中的所有连接通向形成网络基础结构顶层40的两个交换机16’和16”中择一的一个交换机。顶层交换机16’和16”在包括提供按照IEEE 802.2第三部分“Carrier sense multipleaccess with collision detection(CSMA/CD)Access Method and Physical LayerSpecification，2002”的链路集结能力的一个或多个链路的主干42上相互直接通信。通过链路集结能力，话务在两个顶层交换机16’和16”之间的链路之间被共享，从而主干42的一条线路上的故障将不会妨碍这样的通信。通过这类设置，网络基础结构A和网络基础结构B形成单个逻辑网络。

如上所述的网络11在网络基础结构A和网络基础结构B两者中的各终端设备12与交换机16之间提供冗余连接，并通过顶层交换机16’和16”确保网络基础结构A和网络基础结构B之间高度可靠的连接。通常，交换机16的准确数目和层将取决于应用要求。本发明构想可以构造极大的网络。例如，在具有三层交换机，每个交换机使用8个本地链路加上一个上行链路的情况下，可以构造出有超过500个节点的网络，而在每个交换机使用24个本地链路加上一个上行链路的情况下，可以构造出有超过10,000个节点的网络。

在该优选实施例中，两个终端设备12’被设计成只提供信标包(通过信标发生器/检测器35)，而其余的终端设备12被配置成检测如此发送的信标包。优选地，发送信标包的两个终端设备12’将这些包发送到它们的连接14a和14b之一以外以使得来自一个终端设备12’的一组信标包直接传到顶层交换机16’而来自另一终端设备12’的另一组信标包直接传到顶层交换机16”。

如上所述，信标终端设备12’定期在网络上广播短信标包。信标包发送的周期是由信标包从信标终端设备12’传播至特定网络11的最远终端设备12的最坏情形下的延迟确定的。此周期被编程到各以太网接口电路20中从而信标检测器可以使用超时测量来确定信标包已被丢失以及声明端口22a或22b上有错误。通常，超时时段稍大于最坏情形下的延迟的两倍以防止假触发。例如，对于诸如所示出的三层交换机系统，信标周期可以为450微秒而超时时段可以为950微秒，稍高于两个信标周期。

示例出错状况

现在参见图2、4和11，在终端设备12与其在网络基础结构A上连接的交换机16之间可能会发生单个“本地的”错误60。这一错误可能发生在形成设备12与交换机16之间的连接的介质18、将介质18与交换机16或终端设备12连接的连接器、或是交换机16或终端设备12的单个物理层电接口中。在此例中，将假定终端设备12通过连接14a和端口22a(第一端口)与交换机16连接。

如图11中所示，此错误60如在判定块50指示地由逻辑电路34使用检测这样的本地连接故障的标准IEEE 802.3机制检测。如由处理块52指示的，错误60的检测使以太网接口电路20向主微处理器28发送中断(由处理块52指示)。在判定块54中，逻辑电路34根据没能从信标设备接收信标包或本地错误中反映的来确定另一端口22b是否出错(意味着在它与两个顶层交换机之间的某处存在故障)。如果是这样，则在处理块55处报告出错并且网络已在双重出错状况下故障。

然而，更典型地，逻辑电路34将在判定块54处判定另一端口22b未出错并且由处理块56所指示的在禁用端口22a的同时以太网接口电路20将切换至端口22b。在后续处理块58中，以太网接口电路20发出允许居间交换机学习的短广播消息。

此时，网络继续与终端设备12操作，然而，是通过连接14b和端口22b进行通信。如上所述，如果端口22a的错误被纠正，则可以恢复通过端口22a的通信。

现在参见图2、5和11，在第二种情形中，错误60可能位于交换机16与顶层交换机16’之间，前一交换机16服务多个终端设备12a至12c。和以前一样，将假定这些设备12a至12c中的每一个在出错时正通过其连接14a和端口22a与网络11通信。在此错误下，当在预定义的超时时段内没有接收到信标包时，终端设备12a至12c不能根据判定块50直接检测故障而必须根据判定块62从正常通过交换机16的丢失的信标包来推断远程错误。当检测到这类远程错误时，逻辑电路34进到处理块64并且一中断被发送至主微处理器28，再次使端口根据终端设备12a至12c中的每一个的处理块54、56和58从端口22a切换至22b。

现在参见图2、6和11，根据通过IEEE 802.3标准机制的判定块50可能不能将与终端设备12a、12b和12c直接连接的交换机16上的内部错误检测为本地错误，然而，该错误将根据判定块62从如上所述的信标包的丢失来检测到。逻辑电路34进到处理块64并且一中断被发送至主微处理器28，再次使端口根据终端设备12a至12c中的每一个的处理块54、56和58从端口22a切换至22b。应注意如果错误发生在顶层交换机16’或16”上，则所有终端设备12将切换至网络基础结构B并且系统将继续操作。

现在参见图2、7和11，错误60可发生在网络主干42上。这一错误是由作为IEEE 802.3的标准部分的上述链路集结过程处理的。

现在参见图2、8和11，单个错误可能发生在信标终端设备12’与主干的顶层交换机16”之间。因为错误发生在到信标终端设备12’和顶层交换机16”的直接链路上，所以信标终端设备12’将根据判定块50立即检测到它并开始向交换机16’发送。交换机16’通过交换机16”将信标信号中继至网络基础结构A。

最后，如图2、9和11中所示，与交换机16”通信的信标终端设备12’可能本身发生故障。但是，因为另一信标终端设备12’仍旧是活动的，所以系统将没有任何问题地继续操作，其中信标脉冲例如从信标终端设备12’被发送至交换机16’然后发送至交换机16”以实现在网络基础结构A上分发。

参见图2、10和11，从上述说明将理解本发明能处理所有单个错误以及多个单一错误的所有组合，如所示的60a-60f就是这样一个组合。

现在参见图12，为了清楚起见相对于两个网络基础结构A和B说明了本发明，然而，如将从以上说明理解的，本发明能容易地扩展到任意数目的网络基础结构，例如具有顶层交换机16’、16”和16”’以及与各基础结构分区相关联的三个信标终端设备12’的网络基础结构A、B和C。此网络11’也是各终端设备12(未示出)在网络上具有唯一地址的单个网络。用三个网络基础结构，可以容许所有单个错误、所有双重错误以及多个单一和双重错误的所有组合。

从本说明将可理解，交换机16中多播包的转发可能受到IGMP嗅探和过滤的影响。因此，如果IGMP嗅探和过滤是打开的，则系统中的交换机16在终端设备的重新配置改变端口22a和22b之后将具有无效知识。这将使得多播包被转发至错误的端口并且重新配置的端口将接收不到那些包。因此，如上所述，IGMP嗅探和过滤在交换机16中被关闭。

单播包受到可以包括在交换机16中的学习和过滤特征的影响。在重新配置(即，从端口22a切换至22b)之后，交换机16将具有无效知识。然而，正确实现学习的交换机16将在与存储在数据库中的学习到的端口不同的端口上接收到源字段中具有学习到的MAC地址的包时更新其数据库。因此，如上所述，当终端设备12重新配置其端口时，它根据图11的处理块58发出短广播消息。此广播包是其它终端设备所不感兴趣的并且将被丢弃。

某些交换机16还可提供针对学习到的地址的可配置老化机制。此特征还可用作便于快速重新配置的后退机制。

尤其旨在使本发明不被限定于本文所包含的实施例和例示，而是包括落在所附权利要求书的范围内的那些包括实施例的某些部分以及不同实施例的要素的组合的实施例修改形式。

Claims (10)

1.一种用于创建由多个网络交换机和多个网络介质连接的多个终端设备的容错以太网的系统，所述系统包括：

与各终端设备相关联并在所述终端设备的主微处理器与具有共同以太网址并可连接至不同网络介质的至少两个端口之间通信的以太网通信电路，所述通信电路在发生影响所述端口中的第一个的错误时，可将所述终端设备切换连接至所述端口中的第二个；

由此无须重新映射以太网址即可获得快速的纠错。

2.如权利要求1所述的系统，其特征在于，所述以太网通信电路是通过检测与连接到所述第一端口的网络交换机的以太网通信的故障来检测影响所述第一端口的错误。

3.如权利要求1所述的系统，其特征在于，还包括通过所述网络介质将信标包发送至所述第一端口的至少一个信标设备，并且所述以太网通信电路是通过在所述第一端口处检测在预定义的超时时段内丢失所有信标包来检测影响所述第一端口的错误。

4.如权利要求3所述的系统，其特征在于，所述信标包是以周期性速率转发的，并且所述用于在端口处检测丢失所有信标包的预定义超时时段是从所述周期性速率推导出的。

5.如权利要求3所述的系统，其特征在于，所述信标包是以周期性速率转发的，并且所述用于在端口处检测丢失所有信标包的预定义超时时段是从所述周期性速率推导出的。

6.如权利要求3所述的系统，其特征在于，所述以太网通信电路还包括可由用户选择性地致动以通过所述网络介质将信标包发送至其它以太网通信电路的信标设备。

7.如权利要求1所述的系统，其特征在于，所述以太网通信电路在所述通信电路在诸端口之间切换时向其它以太网通信电路广播一用于促进学习的包。

8.如权利要求1所述的系统，其特征在于，所述交换机中的至少两个被指定为顶层交换机并经由容错主干相互通信；并且

各终端设备经由一个端口直接或间接地与所述顶层交换机中的第一个通信，并经由第二个端口直接或间接地与所述顶层交换机中的第二个通信。

9.如权利要求1所述的系统，其特征在于，包括通过所述网络介质发送信标包的至少两个信标设备；各信标设备直接与多个顶层交换机连接；其中是根据在端口处在预定义的超时时段内没有任何信标包来检测错误的。

10.一种创建容错网络的方法，包括以下步骤：

(a)提供一组具有将各终端设备的主微处理器连接至具有相同网址的至少两个端口的通信电路的终端设备；

(b)通过网络交换机和网络介质将所述各终端设备连接至被指定为顶层交换机并通过容错主干相互通信的至少两个交换机，其中各终端设备通过一个端口直接或间接地与所述顶层交换机中的第一个通信并通过第二个端口直接或间接地与所述顶层交换机中的第二个通信；以及

(c)在发生影响任何通信电路的端口中的第一个的错误时，将所述终端设备切换至所述端口中的第二个。

Images