CN1184576C - 异种计算机系统中节点同步的装置与方法 - Google Patents

Abstract

可用于异种计算机系统的节点同步的装置及方法，此系统中的节点不共享统一的系统时钟。在多处理器计算机系统中，为了能正确运行，事物处理必须精确协调。事物处理请求附加时标，当系统中的数据改变时，时标的相对值是非常重要的。这些时标是以“时刻”值为基准，这可以只是由系统时钟增加的一个寄存器。由于每个节点都有自己的系统时钟，这些时钟频率可能会有偏移，由此导致时标值的变化。如果此值偏移太大，多处理器计算机系统中的更新数据可能丢失。“主”时刻寄存器的相对相位由一个或者多个“隶属”时刻寄存器监控。有高分辨率和快速频率调整能力的频率同步器可以与系统时钟相连。当观测到主时刻值与隶属时刻值的相位变化时，可小量改变频率同步器的输出来回复这两个信号的相位。

Description

异种计算机系统中节点同步的装置与方法

技术领域

本发明主要涉及的是一种对系统同步的改进方法，特别是针对异种计算机系统进行时刻时钟调整的装置及方法。更重要的是此发明提供了用于节点同步的高分辨率频率调整的装置及方法，节点同步可用在非均匀存储访问(NUMA)的计算机系统。

背景技术

锁相环(PLL)是一种有趣的模、数技术混合的集成电路。尽管对锁相环的基本设计的了解已有几十年的历史，但是它只成为了一个集成电路形式的实际部件，其中成本上可支付、设计上更可靠。

锁相环(PLL)包括一个相位探测器、一个放大器、一个压控振荡器(VCO)和一个反馈环，反馈环允许输出频率既可以是除去噪声的输入信号，也可以是倍频的输入信号。锁相环(PLL)已用于调频信号的解调、音频译码、频率发生、“干净”信号发生以及脉冲同步等，这些只是其众多应用的一部分。因为输出频率是输入频率的倍增，所以很难用这种频率同步装置来实现理想的频率调整。

非均匀存储访问(NUMA)计算机系统是多处理器结构的，此结构只有单一的内存地址空间，其内存又分为“近”内存和“远”内存。由于对直接与带有CPU的节点相联系的“近”内存的访问比对与系统其它节点上的“远”内存的访问速度快得多，所以访问是非均匀的。NUMA结构的明显优势在于它依比例协调效果好，也就是说，给系统增加更多的节点和处理器不会产生在其它并行结构中会降低操作性能的瓶颈问题。

NUMA结构的关键问题在于保持节点同步。事务处理通常带有时间标记，这些时间标记由系统中每个节点的时刻产生的。由于这些节点的时钟各自独立，尽管它们几乎是在同一时刻产生的，最终也会彼此偏离，需要再同步。这是因为节点之间尽可能的小“周期滑动”时间标记是很重要的。

因此，对用在非均匀存储访问(NUMA)计算机系统中的节点同步而言高分辨率频率调整的方法有很大优势。

发明内容

此发明介绍了用于异种机系统的节点同步的装置及方法，在异种机系统中，节点不共享系统时钟。非均匀存储访问(NUMA)计算机系统就是可应用这种方法和装置的这样一个系统。

本发明提供用于在多处理器数据处理系统中对由多个节点的本地时钟增加的寄存器进行同步的方法，此方法包括：在多个节点中指定一个主节点，其中其余的节点指定为隶属节点；确定在与由隶属节点的时钟信号增加的寄存器相关联的相位和与由主节点的本地时钟信号增加的寄存器相关联的相位之间的相位差；检测与主节点关联的相位和与隶属节点关联的相位之间相位差的走向变化；并且调整隶属节点的时钟频率，使得与隶属节点关联的相位和与主节点关联的相位之间的相位差改变走向。

本发明提供用于在多处理器数据处理系统中对由多个节点的本地时钟增加的寄存器进行同步的装置，此装置包括：用于在多个节点中指定一个主节点而将其余的节点指定为隶属节点的装置；一个比较器，用于确定在与隶属节点的时钟信号增加的寄存器关联的相位和与由主节点的本地时钟信号增加的寄存器关联的相位之间的相位差的走向变化；以及在多个节点中每个节点都有一个与系统时钟相连的频率同步器，其中频率同步器可对隶属节点的输出频率做增量的调整，使与隶属节点关联的相位和与主节点关联的相位之间相位差的走向变化。

为了能正确的运行，多处理器系统中的事务处理必须精确地协调工作。事务处理请求附带时间标记，当系统中的数据更改时，相关的时间标记值非常重要。这些时间标记是以“时刻”值为基础的，而此时刻值仅仅是由系统时钟增加的一个寄存器。因为每个节点有各自的系统时钟，这些时钟的频率可能会偏离，导致时间标记值变化。如果这些值偏离太多，可能会导致多处理器中的更新数据丢失。

这项发明监控一个带有一个或多个“隶属”时刻寄存器的“主”时刻寄存器的相对相位。一个具有高分辨率和快速频率调整能力的频率同步器与系统时钟相连。当发现主时刻值和隶属时刻值的相位有变化时，频率同步器的输出小量调整，以回复这两个信号的相位。

附图说明

发明本身，以及优选实施例，更进一步的目的和优势可以在参考附图阅读示例性实施例的详细描述中看到。附图如下所示：

图1是带有非均匀存储访问结构(NUMA)的多处理器系统的图形表示，此发明可用在这个结构中。

图2是NUMA结构中的多个节点，本发明可用在此结构中。

图3所示为现有技术中传统的频率同步器。

图4所示为传统的频率同步器中对应于即时相位误差的即时频率误差的曲线图。

图5所示为此发明中优选实施例的频率同步器。

图6所示为基于该发明优选实施例的三级频率调节器。

图7所示为该发明的优选实施例中的动态分频器的详细电路。

图8所示为依据此发明的优选实施例作为时间的函数的相位和频率调整图表。

具体实施方式

参阅上述附图，特别是参考图1--带有非均匀存储访问结构(NUMA)的多处理器系统的图形表示。这个简化的图形展示了一个系统带有三个节点：100、120和140。节点100包含有四个CPU(102、104、106、108)，本地存储器110，输入/输出通道112，通讯通道114。节点120包含有四个CPU(122、124、126、128)，本地存储器130，输入/输出通道132，通讯通道134。节点140包含有四个CPU，(142、144、146、148)，本地存储器150，输入/输出通道152，通讯通道154。

外部磁盘驱动器156与输入/输出通道152相连。节点利用高速通道116和136相互连接。这个系统只包括一个地址空间，此地址空间由内存库110，130，150组成。CPU访问它的本地内存库(例如CPU102访问内存110)会非常快，这是因为这个访问不需要使用节点之间的连接通道116或者136。通过CPU访问远内存库(例如CPU102访问内存130)会比较慢，这是因为数据必须通过通讯通道116传送。

本领域中普通的技术人员理解可以改变图1描述的硬件部分。例如，节点可以放在超立方网络中，此时节点数是2的N次方，并且每个节点与N个其他节点相连。例如，在带有16个节点的超立方网络中，每个节点与4个其它节点相连。图1描述的例子没有这么复杂，并且不对目前发明的结构进行制。

图1只是一个例子，而不是作为当前发明程序的一个结构限制提出来的。在一个NUMA系统中处理器类型是同类的，但是当前的发明也可用于异种机系统，异种机系统中不同种类的处理器或计算机都是多处理器计算机环境的组成部分。假设这些分布处理器没有共享时钟，因此会出现如图2所示的相对频率移位。

图2是NUMA结构中多节点的图形描述，如图1结构所示。n个节点分别标号为：节点1、节点2.......直到节点n-2、节点n-1。每个节点都有独立的频率源表示为f0到fn-1。这些频率源用来产生储存在时刻(TOD)寄存器中的时间标记。因为这些节点有各自独立的时钟，即使这些时间标记精确地在同一时间启动，它们最终仍会偏移并请求再同步。

尽管这些节点在结构上相似，但是需要指定其中一个作为主节点，此图中节点0为主节点，其他的节点是隶属节点。但这多个节点中的任何节点都可以指定为主节点。隶属节点的时刻须与主节点的时刻重新同步。在节点之间产生尽可能小的“周期滑动”的精确频率发生是很重要的。所需要的频率发生系统能动态地对系统时钟频率进行优化调整，以改变时刻寄存器的值。

图3所示为在现有技术中使用的传统频率同步器。参考频率302输入到锁相环。分频器304对参考频率K2分频(K2是整数，K2＝1、2......N2)。分频器304的输出送到相位探测器306。其他相位探测器的输入量将在下文讨论。相位探测器306的输出送到充电装置308。充电装置308在相位误差存在的时间段内产生一电流，该电流经电容器C1310积分，产生一个电压VC，将此电压输给压控振荡器(vco)312。vco的输出是来自于电路的频率输出，等于(k1/k2)fref。此信号输入给分频器316，将fout进行K1分频，K1是整数，范围从1，2，......直到N1。稳态时分频器316的输出等于fref/k2，并且是相位探测器306的第二次输入。至此，反馈环结束。因为两次给相位探测器306的输入都等于fref/k2，所以相位探测器306可以观测到任何一个频率的移动，并且通过充电装置308送给压控振荡器312，导致fout调整回同步值(k1/k2)fref。

k1和k2的值必须是固定不变的，以避免由锁相环失步频率引起的周期滑动。fout的值等于(k1/k2)fref。通过给k1和k2赋不同的整数值，以输入频率为基础来同步输出频率。但是如后文所述，这些值不能动态改变。

图4所示为对应于即时相位误差的即时频率误差曲线图。在稳态条件下，如果原点处产生的单纯频率误差超过大约2.5MHZ的失步频率，会引起周期滑动。如图4所示，如果频率偏移小于失步频率，频率将会自动回复到原点；但是当分频设置k1和k2时改变如图3，频率偏移大于失步值会导致很大的即时频率误差和周期滑动。所以用传统的锁相环，k1和k2的值是固定不变的，因此不可能进行很优良的输出频率调整。

图5所示为本发明优选实施例中的频率同步器。与图3所示相同，输入仍然是fref，输出是(k1/k2)fref。主要的不同在于将k2分频的分频器从电路的输入端移到了电路的输出端。如后文所述，允许k2值改变能够对输出频率做优化调整。由于周期滑动的问题，这种调整不可能用图3所示的电路。

锁相环的输入是参考频率502，这个频率送给相位探测器504。相位探测器的其他输入将在下文讨论。相位探测器504的输出送给充电装置506。充电装置在相位存在误差的时间段内产生一个电流，此电流被电容器C1积分产生一电压Vc，Vc输入给压控振荡器(vco)512。vco的输出等于k1fref。这个信号输入给分频器516，再被k1分频，k1是整数，取值范围从1，2......直到N1。分频器516的输出等于fref，fref作为相位探测器504的第二次输入。反馈环结束。因为两次给相位探测器506的输入都等于fref，所以相位探测器504可以观测到任何一个频率的移动并且通过充电装置508送给压控振荡器512。

电路的输出fout514是通过将vco510的输出送给分频器512而产生的。512将它的输入值k2分频从而产生值(k1/k2)fref。这与图3中电路的输出值相同，但是有一个主要的区别。k2的值可以改变而不引起周期滑动。

特别感兴趣的是k1近似等于k2，则k1/k2比值近似等于1加或减一个差值因子。将这些值代入频率输出公式，则有fout＝(1±Δ)fref。因此，改变k2的值(其改变不会引起周期滑动)，输出频率可以相对于输入频率小量上调或下调。

图5中的电路级联使频率调整优化。图6所示为三级频率调节器。第一级前端是传统的频率同步器，与图3所示的相似。特别地，分频器602将输入频率fref进行L分频。之后送到锁相环604的前馈回路，锁相环604包含有一个相位探测器，如306，一个充电装置如308，一个电容器，如310，还有一个压控振荡器，如312。图6所示为将这些部分组织在一起构成的一个锁相环。

为形成闭环，锁相环604的输出经分频器606进行k1分频。分频器输出反馈，作为是锁相环604的一部分的相位探测器的第二次输入。传统的频率同步器的频率输出是k1fref/L，这里的k1和L是固定不变的。

为了允许动态的频率调整，锁相环604的输出送给分频器608，608的输入频率被k2分频。k2的值可以动态改变，其方式与图5中对分频器512的动态调整相似。此动态分频器的详细的电路在图7中给出。三级频率调节器中第一级的输出是(k1fref)/(k2L)，此处k1和L是固定不变的，k2是可变的。此输出记为f2。

三级频率调节器的第二级包含有锁相环610的前馈回路、具有由k3进行分频的分频器612的反馈电路，在输出处由k4进行分频的分频器614。612为k3分频，614为k4分频。第二级的频率输出等于(k3/k4)f2，此频率记为f3。其中，k3的值是固定不变的，k4的值是可变的。

三级频率调节器的第三级与第二级结构相同。包含由锁相环618构成的前馈回路，具有由M进行分频得分频器620的反馈电路，在输出处由N进行分频的分频器622。最后一级的频率输出fout等于(M/N)f3。M和N的值都是固定不变的。

将各级电路的不同公式代入，可以得到fout＝(k1/k2)(k3/k4)(M/N)(fref/L)，此处k2和k4是可变的。代入典型的频率值可以看到输出频率可以调整得相当精细。令fref等于150MHz。选择不同分频器的值，以使输出频率也是150MHz，但是通过改变k2和k4的值可以得到优良的调整结果。L，k1，k3都设为100，M和N分别设为200和2。情况1：k2设为119，k4设为84。频率输出的结果是150.06MHz；即150MHz改变了+60,000Hz，即正百万分之(PPM)四百。情况2：k2设为122，k4设为82。频率输出的结果是149.94MHz；即150MHz中改变了-60,000Hz，即-400PPM。

通过执行逐级的计算，可以发现频率在第二级的偏移小于2.5％，在第三级的偏移小于0.08％。本领域中普通技术人员理解，如果有更多级级联，可以获得更加精细的频率调整。除了最后一级，每一级的输出端分频器都是可变的。

现有技术的分频器与特定分频值硬连接。所以必须设计了一种能进行任何整数分频并可以快速改变分频值的新型电路。

图7所示为动态分频器的电路图。REG_A704存储分频值，记为K。REG_B712存储当前的计数值。REG_OUT716是保持输出状态的一位寄存器。这三个寄存器通过输入频率使时钟同步。MUX(多路转换器)702有两路输入：NEW_K(新K值)和CURRENT_K(当前K值)。这两个值之一的选取是以CHANGE_K(K值的变化)为基础的。如果CHANGE_K被激活，MUX的输出是输入NEW_K；如果CHANGE_K没有激活，MUX的输出为输入CURRENT_K。

无论何时，当前的计数值小于当前的分频值时，比较器A＞BCOMP706打开。无论何时比较器706打开时，增量器INC710使计数值增1并且将新值存入REG_B712。基于REG_OUT716的设置的输出状态保持不变。当计数值超过分频值，比较器706的输出关闭，导致增量器被设回1，REG_OUT716的值被切换，从而有输出频率改变的状态。

检查特殊频率值有助于理解电路的运行。假设多路转换器的输出是分频值120，并且REG_B712的值被重新设置，所以REG_B712从1开始计数，直到分频值。当计数等于分频值时，触发A＞BCOMP706输出改变状态。这会产生两种效果：使REG_B的值重置为1，并切换来自REG_OUT716的输出频率。对于每120个脉冲的输入，会有一个脉冲的输出。所以这个电路的运行好象是“被120除”电路。

假设NEW_K值是110并且接收到了CHANGE_K值命令；这将110传给多路复用器的“A输入”。将有两种可能的情况：REG_B的计数值小于110或在110和120之间。在计数值小于110的情况下，REG_B712继续计数，但直到110时重置为初始值。如果REG_B的计数值已经大于110，则切换比较器A＞BCOMP的输出，使输出频率变化且计数器重置。

本领域中普通技术人员会理解，在NEW_K值比CURRENT_K值大时，情况更容易。当前的计数值小于NEW_K值时，一旦多路复用器将输入切换给比较器，计数将继续直到达到新的分频值。

图8给出了作为时间的函数的相位和频率调节曲线。隶属频率φS的相位以锯齿曲线802的形式显示在图的上部，而主频率φm的相位以水平线804的形式显示。术语“相位”在此处并不是模拟的含义，而是应用于两个时刻寄存器的数字内容。寄存器由各自的系统时钟增加，所以这些时钟频率会慢慢的漂移，寄存器的值表示两个时钟相位滑差的积累。隶属频率的相位开始下降并且最终穿过主频率相位。一旦发现穿越，就调节隶属频率时钟。

主频率fm以水平线806的形式显示在图的下面。隶属频率808以虚线的形式显示在图的下面；开始它表现为比主频率806多200PPM。垂直的虚线810，812，814，816，818，820，822和824表示主相位和隶属相位信号比较的次数，必要时可以修改。

在810，812，814，816时刻，隶属相位802大于主相位804。在这些相同的时间间隔中，隶属频率808比主频率806多200PPM。在同步时间818，隶属相位802小于主相位804。观测到这种情况时，调节与隶属关联的多级频率同步器中的可变分频器产生一隶属频率808，它比主频率806少200PPM。这会引起隶属相位802迅速上升，直到820时刻它再一次比主相位大。由此导致隶属频率808在比主频率806大200PPM和小200PPM之间变化。在822和824之间的时间间隔内，隶属相位802仍然比主相位804大，因此隶属频率808仍保持比主频率806大200PPM。

本领域中的普通技术人员会理解，一旦隶属相位802小于主相位804，隶属频率808将下降到比主频率806小200PPM，从而使系统回复平衡。连续相位差观测及相应的频率调节使时刻寄存器在计算机系统运行的过程中保持同步。若没有这些调节，经过一段较长时间，寄存器差异变得越来越大，因时刻标记问题会引起系统故障。因此，用来比较相位的特定时间间隔越小，则产生的相差偏移越小。但是，在典型的实施例中，同步时刻大约每一千个周期会出现一次，时刻值从来不会大到引起严重问题。现有技术解决这个问题引入昂贵的硬件，例如：用外部原子时钟来产生同步。使用此项发明，使用了尽量少的额外硬件，使多处理器系统的不同节点的两个或多个时刻寄存器可以同步。

这项发明的描述为展示和说明目的而给出，但是并不局限于所示的形式。那些本领域中的普通技术人员可进行很多变化。选择这个实施例来描述是为了最好的解释这项发明的原理和实际应用，也为了本领域中其他技术人员能针对具有设想适用的不同修改的不同实施例来理解本发明。

Claims (12)

1.用于在多处理器数据处理系统中对由多个节点的本地时钟增加的寄存器进行同步的方法，此方法包括：

在多个节点中指定一个主节点，其中其余的节点指定为隶属节点；

确定在与由隶属节点的时钟信号增加的寄存器相关联的相位和与由主节点的本地时钟信号增加的寄存器相关联的相位之间的相位差；

检测与主节点关联的相位和与隶属节点关联的相位之间相位差的走向变化；并且

调整隶属节点的时钟频率，使得与隶属节点关联的相位和与主节点关联的相位之间的相位差改变走向。

2.根据权利要求1的方法，其特征在于多个节点中的任何节点都可以指定为主节点。

3.根据权利要求1的方法，其特征在于相位是在特定的时间间隔上比较的。

4.根据权利要求3的方法，其特征在于用来比较相位的特定时间间隔越小，则产生的相位差偏移越小。

5.根据权利要求4的方法，其特征在于相位差是通过主节点寄存器值与隶属节点寄存器值的差值测量得到的。

6.用于在多处理器数据处理系统中对由多个节点的本地时钟增加的寄存器进行同步的装置，此装置包括：

用于在多个节点中指定一个主节点而将其余的节点指定为隶属节点的装置；

一个比较器，用于确定在与隶属节点的时钟信号增加的寄存器关联的相位和与由主节点的本地时钟信号增加的寄存器关联的相位之间的相位差的走向变化；以及

在多个节点中每个节点都有一个与系统时钟相连的频率同步器，其中频率同步器可对隶属节点的输出频率做增量的调整，使与隶属节点关联的相位和与主节点关联的相位之间相位差的走向变化。

7.根据权利要求6的装置，其特征在于每个节点的频率同步器包含可变的分频器，用于通过调整分频器的分频常数来调整频率输出。

8.根据权利要求6的装置，其特征在于多个节点的任何节点都可以指定为主节点。

9.根据权利要求6的装置，其特征在于寄存器的相位是在特定的时间间隔上进行比较的。

10.根据权利要求9的装置，其特征在于特定的时间间隔越小，引起的相位差偏移也越小。

11.根据权利要求10的装置，其特征在于相位差是通过主节点寄存器值与隶属节点寄存器值的差值测量出来的。

12.根据权利要求11的装置，其特征在于与隶属节点寄存器关联的相位和与主节点寄存器关联的相位间的相位差的走向变化引起隶属节点的频率同步器输出偏移，从而相位差改变走向。

Images