CN102132527A - 在节点之间交换处理度量信息 - Google Patents
在节点之间交换处理度量信息 Download PDFInfo
- Publication number
- CN102132527A CN102132527A CN2008801271732A CN200880127173A CN102132527A CN 102132527 A CN102132527 A CN 102132527A CN 2008801271732 A CN2008801271732 A CN 2008801271732A CN 200880127173 A CN200880127173 A CN 200880127173A CN 102132527 A CN102132527 A CN 102132527A
- Authority
- CN
- China
- Prior art keywords
- node
- signal
- sequence number
- secondary signal
- speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/12—Discovery or management of network topologies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
- H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Health & Medical Sciences (AREA)
- Cardiology (AREA)
- General Health & Medical Sciences (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
提供方法和节点以用于在节点之间传播有关对等节点的处理容量的信息。从传播节点向它们的对等节点发送两种类型的信号。传播节点在恒定速率发送第一信号类型并在可变速率发送第二信号类型。在对等节点计算的速率的比率表示传播节点处可用的处理容量。可以将序列号添加到第一和第二类型的信号以便协助对等节点检测容量问题。
Description
技术领域
本发明涉及用于在节点之间交换有关计算容量的度量信息的方法和节点。
背景技术
在计算节点的网络中,节点之间的通信可根据预定义的规则来进行,或根据基于网络的当前状况的度量来进行。网络中(尤其在自组织网络中)的节点协调能够成为问题。例如,当多个节点并非全部具有相同的处理能力时,仅根据节点之间的链路的已知或预期容量来进行路由选择可能是没有效率的。一些网络设计成具有不同程度的灵活性,这允许它们的一些节点在发送消息或请求时选择对等节点之间的目的地。为了使那些网络能够以有效率的方式工作,提供改进的度量以使节点能够做出此类选择成为必要。
平衡两个协处理器上的负载的简单方式是简单地将某些任务分配到一个处理器上以及将另一些任务分配到另一个处理器上。例如,个人计算机上的一个中央处理单元(CPU)可以处理图形显示,而另一个CPU处理输入数据的计算。当例如需要处理大量输入数据之后才能以图形显示任何输出时,这类预先布置的配置非常没有效率。
其他处理负载平衡方法依赖于对多个处理器进行扫描以获取在每个处理器等待处理的任务队列的长度。此方法仅在多个处理器共处时才会有效率,例如在协处理器的情况中,并且该方法依赖于一个单独处理器至少部分地专用于运行扫描过程。
并行调度是用于负载平衡的另一种方法。在并行调度方法中,所有处理器协作来调度工作。并行调度通过在编译时或运行时使用全局负载信息来平衡负载。这些方法一般依赖于将多个处理器的相对处理能力纳入考虑来预先确定地将任务分配到多个处理器。并行调度方法几乎不可适应于改变的状况,例如根据施加于节点上的负载的时间变化的要求。
结合路由选择协议常用来找到两个节点之间的最优计算路径的度量称为最小跳计数。比较两个节点之间的多个路径,并对离散链路、转发器、路由器和/或网关的数量进行计数,从而产生每个路径的跳的数量。选择跳的数量最小的给定路径作为用于连接两个节点的最优路径。当第一节点具有与两个或两个以上对等节点通信的选择时,可以选择这些对等节点中使用最小数量的跳即可达到的一个对等节点。因此,可以使用最小跳计数来选择两个节点之间的多个路径之一,或可以使用最小跳计数来选择多个对等节点之一。
已显示跳计数路由选择在节点具有不同能力的环境中是不适合的。例如,在D.S.J.De Couto等人的“A High-Throughput Path Metric for Multi-Hop Wireless Routing”(M.I.T.Computer Science and Artificial Intelligence Laboratory,International Conference on Mobile Computing and Networking,San Diego CA,2003年9月)中,作者论证了最小跳计数路由选择技术在一些环境中具有差的性能。他们提议另一种基于预期的传送计数的度量,其使用置于两个节点之间的链路的正向和反向交付率来计算。相反,“Comparison of Routing Metrics for Static Multi-Hop Wireless Networks”(R.Draves等人,Microsoft Research,Proceedings of the 2004 conference on Applications,technologies,architectures,and protocols for computer communications,Portland OR,2004年8-9月)的其他作者声称当消息的发送方是移动装置的时跳计数度量胜过其他链路质量度量。
尽管如此,依赖于跳计数或更高级度量来确定最佳路由选择路径的现有技术方法未考虑一些节点可能具有非常高或非常低的业务处理能力。仅基于节点之间的通信方式的节点协调未考虑节点本身的容量限制或当前负载,并未解决有关节点之间交换关于其相应处理容量的度量信息以使节点能够最优地利用网络的容量的问题。
发明内容
具有一种用于确保通信节点获取准确且最新的有关它们的对等节点的当前处理能力的信息的方式将有显而易见的好处。因此,本发明的广泛目的是提供用于在节点之间交换有关节点之一的处理容量的度量信息的方法和节点。
本发明的第一方面针对一种获得有关节点的处理容量的信息的方法。该方法包括从节点在第一速率接收的第一信号。第二信号在第二速率也从节点接收。计算第二速率与第一速率之间的比率。基于该比率与预设值的比较来确定节点的处理容量。
本发明的第二方面针对获得有关节点的处理容量的信息的方法的一种变型。每个后续第一信号包括基于前面的第一信号的序列号来计算的序列号。当在最近第一信号之后立即接收到第二信号时,该第二信号包括基于最近第一信号的序列号的序列号。此后,在下一个第一信号之前接收的每个后续第二信号包括基于前面的第二信号的序列号的序列号。基于最近第一信号的或前面的第二信号的序列号来计算下一个第二信号的预期序列号。通过接收包括不等于预期序列号的序列号的下一个第二信号来检测最终容量问题。
本发明的第三方面针对一种传播有关节点的处理容量的信息的方法。该方法以确定供应的容量值的步骤来启动。供应的容量值等于或小于指示节点的正常处理容量的预设值。节点在基准速率周期性地发送第一信号。节点还在指示供应的容量值的第二速率周期性地发送第二信号。
本发明的第四方面针对一种用于传播有关其处理容量的信息的节点。该节点包括处理器和指示处理器的负载水平的负载指示器。一个或多个接口适合于向对等节点发送信号。控制逻辑请求所述一个或多个接口在第一速率发送第一信号。控制逻辑读取处理器的负载水平,并基于负载水平与节点的处理容量的最大量的比较来计算第二速率。控制逻辑请求所述一个或多个接口在第二速率发送第二信号。
本发明的第五方面针对一种用于获得有关对等节点的处理容量的信息的节点。该节点包括从对等节点接收信号的一个或多个接口。该节点还包括控制逻辑。控制逻辑多次从所述一个或多个接口接收第一信号。其确定第一信号的第一速率。控制逻辑还多次从所述一个或多个节点接收第二信号,并确定第二信号的第二速率。控制逻辑然后计算第二和第一速率之间的比率,并在对等方表中存储基于该比率的对等节点的处理容量。
附图说明
为了更详细地理解本发明及其进一步的目的和优点,现在可以参考结合附图进行的下文描述,其中:
图1示出传播有关节点的处理容量的信息的示范方法;
图2示出根据本发明的其他方面在对等节点获得有关关注节点的处理容量的信息的示范方法;
图3示出本发明的方法的附加方面的步骤;
图4示出用于在确定关注节点的处理容量过程中添加更多精度的一些示范方面;
图5示出根据本发明的一个方面的示范节点;以及
图6示出根据本发明的一些方面的示范对等方表。
具体实施方式
将具体参考优选实施例的多种示范使用和方面来描述本发明的创新教导。但是,应该理解本实施例仅提供本发明的创新教导的许多有利使用的几个示例。一般来说,本申请的说明书中所作的陈述并不一定限制本发明的要求权利的多个方面的任何一个方面。而且,一些陈述可能适用于一些发明特征而不适用于另一些发明特征。在附图的描述中,相似的数字表示本发明的相似要素。
本发明提供用于在节点之间交换有关多个节点之一的处理容量的度量信息的方法和节点。节点的对等方能使用此度量信息来例如调整其路由选择表以便更好地利用网络的总体容量。关注的处理节点在规则间隔(例如每10秒)广播HELLO消息。处理节点然后在更高的速率(例如每秒一次)广播ALIVE消息。对等节点计算ALIVE与HELLO消息之间的比率,其在本示例中将是10∶1。HELLO消息在恒定的速率发送。如果处理节点正在经受高负载或拥塞或如果出于任何原因,期望降低施加于该节点上的业务负载,则该处理节点可稍微延迟ALIVE消息。在其中处理节点出故障或其中对等节点和处理节点的接口之间的路径出故障的情况中,比率接近无穷大。
对等节点可以使用该比率来调整其路由选择表,例如通过降低或避免向显示1以上比率的处理节点发送业务。在任何数量的对等节点之间,一些或所有这些节点可视为本发明上下文中的关注节点,并且任何对等方可能需要接收有关任何其他对等方的处理容量的信息。因此,当第一节点从第二节点接收周期性HELLO和ALIVE消息时,它还可能同时向该第二节点发送它自己的周期性HELLO和ALIVE消息。
在本发明的上下文中,节点可以包括任何计算单元,所述计算单元包括处理器且具有与对等单元通信的部件。可以实现本发明的节点的示例包括计算机、路由器、服务器、交换机和诸如此类内的协处理器。对等单元可以是相似的,例如相同计算机上的两个协处理器,或可以是不相似的,包括例如具有路由器作为对等方的服务器,或具有无线电基站作为对等方的蜂窝移动交换中心。
现在参考附图,其中图1示出根据本发明的一些方面的传播有关节点的处理容量的信息的示范方法。序列100的步骤可以在例如具有普通或标称处理容量的关注节点中实现,其可以处理来自对等节点的请求以代表它们执行某个功能处理,以及可以不时地检测其处理负载正在达到某个预定的限制。在步骤110,关注节点确定供应的容量值(OC)。供应的容量值不可超过表示关注节点可向对等节点提供的处理的最大量的预设值。关注节点可以采用多种方式来确定供应的容量。在一些实施例中,供应的容量可以视为是标称的,只要处理器负载保持在预设限制内,例如在小于70%的处理器负载可以产生标称的供应的容量。在其他实施例中,供应的容量可以是处理器负载的线性表示,其中例如,当处理器负载在10%时,供应的容量是90%,或当处理器负载在60%时供应的容量是40%。供应的容量可以表示比关注节点的实际处理容量低的值以便保护该节点免于对于处理的请求中的可能激增。在不背离本发明的前提下,还可以使用包括实际处理容量和供应的容量之间的非线性关系的其他变型。
在步骤120,关注节点在该节点的一个或多个接口上发送第一信号,例如HELLO消息。HELLO消息优选地包含关注节点的身份,但是该身份可在仅一个关注节点传播有关其处理容量的信息的情况中可以省略。向关注节点的任何数量的对等节点发送HELLO消息,并将其用作关注节点的心跳。正如下文详细描述的,以确保在第一速率或基准速率(优选地为恒定速率)来发送HELLO消息的方式持续重复序列100。在循环130中,关注节点然后发送多个第二信号,例如ALIVE消息,循环130包含步骤140、150和160。ALIVE消息还优选地包括关注节点的身份。在步骤150发送ALIVE消息,并且还向所有对等节点发送(在关注节点的相同接口上)。当然,如果没有供应的容量(OC等于0),则在步骤150不发送ALIVE信号。如步骤140和160控制的循环130中的重复确保在每个HELLO消息之后发送OC次ALIVE消息。结果,ALIVE消息在第二速率发送,其是供应的容量值的函数。例如,ALIVE消息的速率可以等于基准速率乘以供应的容量值。当循环130完成时,序列100可以备选地在步骤110或120继续。在一些实施例中,可以在发送每个HELLO消息之前在步骤110确定一次供应的容量值。在其他实施例中,取决于关注节点或对等节点的具体应用,可以不那么频繁地在步骤110确定供应的容量值。可以使用与序列100等效的其他序列来在第一和第二速率发送HELLO和ALIVE消息,其中第二速率与供应的容量相关。例如,可以在发送HELLO消息之后,在ALIVE消息的第一个实例之前计算供应的容量。
序列100优选地在恒定的速率来执行,由此发送HELLO消息的基准速率是恒定的。ALIVE消息的速率是可变的,以作为使得对等节点能够通过比较HELLO和ALIVE消息的速率来估计关注节点的处理容量的手段。在基准速率稍微变化的实施例中,对等节点仍可以通过比较每个HELLO消息之后接收的ALIVE消息的数量来估计关注节点的处理容量。但是,当基准速率基本恒定时,对等节点可以有利地通过在HELLO消息的固定基准速率的情况下比较一段长时期上的ALIVE消息的速率来平均关注节点的处理容量的计算。
能根据发送和接收那些消息的多个节点所服务的应用、根据节点的性质或根据其中连接节点的方式来确定HELLO和ALIVE消息的周期性。例如,如果例如通过连接到相同以太网链路或在处理机架(rack)内的相同底板上在ISO层第2层将关注节点及其对等节点链接,则在处理容量是标称的时,可以在每秒一次的速率来发送HELLO消息,以及可以在每秒多达数次的速率来发送ALIVE消息。如果节点在ISO层第3层连接并且如果需要将HELLO和ALIVE消息作为IP分组或ATM帧来传送,则在处理容量是标称的时,HELLO消息的速率可以是每隔几秒一次,而ALIVE消息的速率可以是大约每秒一次。相同个人计算机的具有约为1GHz的处理时钟速度的两个或两个以上协处理器可以约每毫秒左右发送HELLO和ALIVE消息。在一些应用中,发送消息的速率可以高得多或低得多。
图1示出传播有关关注节点的处理容量的信息的示范方法,而图2示出根据本发明的其他方面在对等节点获取有关关注节点的处理容量的信息的示范方法。序列200的步骤可以例如在关注节点的对等节点中实现。优选地在对等节点中以连续的方式执行那些步骤,但是还可以在不规则间隔来执行它们,例如在对等节点需要评估关注节点的处理容量时的时间。该方法开始于步骤210,此时对等节点等待下一个事件发生。下一个事件可以是在步骤215接收到第一类型的信号,第一信号例如是关注节点发送的HELLO消息。在步骤220,对等节点记下接收到第一信号的时间。在步骤225,对等节点确定是否接收到要进一步处理的足够数据。如果仅接收到一次第一信号,或如果自序列200重新开始起仅接收到一次第一信号,则认为数据不足,并且过程返回到步骤210,在步骤210中等待下一个事件。否则,如果在步骤215已接收到至少两次第一信号,则在步骤225认为数据足够以在下一步骤230继续,其中计算第一信号到达的速率。如果已在多个实例中接收到第一信号,则对等节点可以可选地在涵盖所有那些实例的时期上平均第一到达速率,或者可以简单地基于第一信号的最后两个实例来考虑到达的速率。第一到达速率在原则上是恒定的且很少变化,因为要使用它作为评估关注节点的处理容量的基础。但是,当关注节点或关注节点与对等节点之间的连接链路出故障、重新启动或因其他原因无法承担其正常功能时,第一到达速率可能变化。该序列在步骤255继续,其在以下描述。
当对等节点在步骤210等待时发生的另一个下一个步骤可以是在步骤235接收到第二类型的信号,第二信号例如是关注节点发送的ALIVE消息。在步骤240,对等节点记下接收到第二信号的时间。在步骤245,对等节点确定是否接收到要进一步处理的足够数据。如果仅接收到一次第二信号,或如果自序列200的重新开始起仅接收到一次第二信号,或如果在小于可配置值的实例数量中接收到第二信号,则认为数据不足,并且过程返回到步骤210,在步骤210中等待下一个事件。否则,如果在步骤235已接收到至少两次第二信号,并且优选地如果已接收到第二信号至少等于可配置值的次数,则在步骤245认为数据足够以在下一个步骤250继续,其中计算第二信号的到达速率。对等节点可以优选地在涵盖多个此类信号的时期上平均第二到达速率。在优选实施例中,在自接收到上次第一信号起的时期上计算第二信号的到达速率。第二到达速率可以变化,因为第二到达速率要用作关注节点的当前处理容量的指标。在步骤250的计算之后,序列在步骤255继续。
在可能跟随步骤230或步骤250的步骤255,计算第一和第二信号的到达速率的比率。预期第二信号通常具有相比第一信号更高的到达速率,所以优选实施例将第二到达速率除以第一到达速率以获得正常情况中大于1的比率。本领域技术人员将容易观察到其中第一速率将除以第二速率的比率的另一个实施例产生等效的结果。当然,如果在步骤255第一和第二到达速率中仅一个已在步骤230和250计算,则所得到的比率可能是零或无穷大。此类结果在序列200的上下文中并非不合逻辑,并且实际上可用于获取有关关注节点的处理容量的信息。在步骤260,将步骤255获取的比率与预设值比较。先前已在对等节点中配置该预设值,并且该预设值等于当关注节点处于正常处理容量水平时第一和第二信号的到达速率的预期比率。从所述比较来确定关注节点的处理容量。例如,如果第一信号的预期速率是每10秒一次,并且如果第二信号的预期速率是每秒一次,则预设值等于10,其中通过将第二到达速率除以第一到达速率来获得该比率(在通过将第一到达速率除以第二到达速率来获得该比率的实施例中该预设值等于十分之一(0.1))。如果该比率小于10的预设值,则这是关注节点正在减慢第二信号的发送以便指示低处理容量的指示。如果该比率是零,则认为关注节点没有任何可用的处理容量。
当序列200是非常近的时间刚启动时,可能出现特殊情况。当在步骤230计算了第一到达速率而在步骤245缺乏足够的数据从而阻止计算第二到达速率时,可能在步骤255获取零的比率。在此情况中,对等节点优选地认为关注节点没有任何可用的处理容量。反之,在步骤255获得的无穷大比率指示尚未计算第一到达速率。在其他变型中,能够分别在步骤230和250计算第一和第二到达速率,而不在步骤225和245进行足够数据的测试。如果已接收到仅一次给定类型的信号,则将认为此信号类型的到达速率极其慢,从而在步骤255也产生该比率的极端值。在那些情况的任何一种中,序列200的连续执行很快将确保在步骤225和245有足够的数据可用于在步骤260对关注节点的处理容量做出适合的确定。
在其他情况中,由于与关注节点的通信问题,可能在步骤225或245未获得足够的数据。无论这导致比率等于零还是无穷大,这都指示关注节点的处理容量不可用于对等节点。
图3示出本发明的方法的其他方面的步骤。序列300可以与图2的序列200并行地执行。确切地来说,序列300可以在图2的步骤260之后开始,并且只要在序列200的后续过程中重新评估关注节点的处理容量时即可执行序列300。备选的是,序列300可以在不规则间隔执行、在比第一和第二信号的速率低的速率周期性地执行或在基于对等节点的特定需要的按需基础上执行。
在步骤260确定了关注节点的处理容量之后,对等节点可以采取一些进一步的动作。这些动作中的一些可以是补充性的,并且对等节点可以对立于其他动作来采取这些动作中的一些。对等节点可以通过监视比率中的改变来监视关注节点的处理容量中的改变。在步骤310,将在步骤255获取的比率与该比率的先前存储值比较。在步骤315,该比较的结果可以具有三个不同的值。如果步骤315处的结果指示比率的增加,则对等节点在步骤320在存储器中记录或以其他方式记住关注节点的处理容量已增加。如果步骤315处的结果指示比率的减少,则对等节点在步骤325记录对等节点的处理容量已减少。如果步骤315处的结果指示比率未改变,则不采取任何特定的动作。
无论是否执行步骤310-325,该序列可以在步骤330继续,其中对照预定的阈值来评估在步骤260已确定的关注节点的处理容量。如果处理容量低于阈值,则在步骤335,对等节点可以从其路由选择表移除该关注节点。结果,对等节点将避免向该关注节点发送信号、消息或请求。当然,从路由选择表移除关注节点在一些情况中仅可以应用于业务和有效负载的交换,而不适用于维护信令。例如,对等节点可以继续向关注节点发送它自己的周期性HELLO和ALIVE信号。备选的是,对等节点可以调整路由选择表中赋予关注节点的成本,较高的成本确保将向关注节点发送较少数量的信号、消息或请求。在步骤330,可能认为关注节点的处理容量高或处于标称水平。例如,高于阈值的处理容量水平可以被认为是高的。备选的是,可以仅在发现步骤255计算的比率等于预设值时才认为容量是标称的。不论用于确定处理容量被认为是高或标称的确切准则,在步骤340将关注节点添加到对等节点的路由选择表中或在对等节点的路由选择表中保持该关注节点。如果关注节点的处理容量最近刚刚返回到高或标称水平,则将该节点添加到路由选择表。备选的是,可以在处理容量被认为高或标称时调整路由选择表中赋予关注节点的成本。如果处理容量已对于某个时间持续是标称的,则该节点已经在路由选择表中且被保持在其中,并且将赋予该节点的成本保持在低值。
图2的序列200中示出的方法可以包括附加方面以用于在确定关注节点的处理容量的过程中添加精度。第一和第二信号可(在所有它们的实例中)携带序列号来发送。当在第一实例中发送第一信号时,它包括基准序列号。在大多数实施例中,第一实例中发送的基准序列号的实际值是不重要的。第一信号的下一个实例随后携带根据等式(1)的序列号:
SQNfirstsignal=F1(SQNpreviousfirstsignal) (1)
其中F1是第一信号的序列号与前面的第一信号的序列号之间的关系。
最近的第一信号之后立即发送的第二信号的第一实例携带根据等式(2)的序列号:
SQNsec ondsignal=F2(SQNlatestfirstsignal) (2)
其中F2是第二信号的序列号与最近的第一信号的序列号之间的关系。
此后但在下一个第一信号之前发送的第二信号的其他实例各自携带根据等式(3)的序列号:
SQNsec ondsignal=F3(SQNprevious sec ondsignal) (3)
其中F3是第二信号的序列号与前面的第二信号的序列号之间的关系。
可以使用函数F1、F2和F3的多个集合来计算第一和第二信号携带的序列号,只要这些函数能够计算明确的序列并且只要关注节点和对等节点使用相同函数即可。
在使用函数F1、F2和F3的简单示例中,第一信号的第一实例中携带的基准序列号等于零。函数F1对前面的第一信号的序列号加上等于预设值的数,其中例如该预设值等于10。函数F2对最近的第一信号的序列号加1。函数F3对前面的第二信号的序列号加1。在此示例中,在具有等于0的基准序列号的第一实例中发送第一信号。然后发送一系列第二信号,具有序列号等于1(使用F2计算的),并且然后等于2、3、…、10(使用F3计算的)。然后,发送携带使用F1计算的等于10的序列号的第一信号的下一个实例。
在其他实施例中,可以使用更复杂的函数。例如,F2和F3可以包括对序列号操作的单向散列过程,而F1可以对序列号操作相同的单向散列等于预设值的次数。
图4示出用于在确定关注节点的处理容量过程中增加更多精度的一些示范方面。在对等节点中与图2的序列200的一些步骤并行地操作序列400和450,并且可以将序列400和450视为序列200的可选子例程。在子例程400中,对等节点在步骤215接收第一信号,如图2的前面描述中示出的。第一信号可以包括可选的序列号。如果是如此,则在步骤417使用函数F2计算下一个第二信号的预期序列号。在步骤419,该子例程返回到图2中的跟随步骤215的步骤,即步骤220。在子例程450中,对等节点在步骤235接收第二信号,如图2中所示。第二信号也可以包括序列号。在步骤452检查第二信号中包括的序列号是否与预期的序列号匹配。在一些实施例中,在接收的序列号与预期序列号之间相等的情况中发现匹配。在其他实施例中,如果接收的信号序列号大于或等于预期信号序列号,则可以发现匹配。在存在匹配的情况下,在步骤454计算可应用于下一个第二信号的另一个预期信号序列号,并且子例程在步骤459返回到图2中的跟随步骤235的步骤,即步骤240。如果在步骤452发现第二信号中包括的序列号不匹配预期信号序列号,则对等节点检测到此第二信号或另一个第二信号已丢失或延迟。对等节点在步骤456检测到发生了容量问题。该容量问题可能是关注节点处的处理容量问题或对等节点与关注节点之间的通信链路上的问题。在步骤458,对等节点标记该第二信号将在图2的进一步处理中被忽略。子例程然后在步骤459返回到图2的序列。
在一些实施例中,可以使用类似的逻辑来计算下一个第一信号的预期序列号。以相当的方式,接收包括与下一个第一信号的预期序列号不匹配的序列号的下一个第一信号将指示关注节点处的问题或对等节点与关注节点之间的通信链路上的问题。
现在将参考图5描述节点的示范构造,其中示出根据本发明的一个方面的示范节点。示范节点500包括使之能够传播有关它自己的处理容量的信息和获取有关对等节点的处理容量的信息的特征。应该理解,其他示范节点可以包括这些特征的仅其中一些,从而使得这些节点能够传播或获取处理容量信息。根据其中使用它们的计算网络架构的需要,那些其他示范节点可以包括示范节点500的特征的子集。
节点500包括存储器510、处理器520、处理器负载指示器530、时钟540、控制逻辑500和一个或多个接口560。每个接口560可以作为一个单个装置来实现或作为用于接收(输入)和发送(输出)信令、消息和数据的多个不同装置来实现。该节点连接到多个对等节点;用于将该节点连接到对等节点的部件可以因为例如到一个对等节点的连接可能在以太网链路上而到另一个对等节点的连接可能在异步传输模式(ATM)链路上而变化。因此,节点500可以包括用于在不同类型的多个链路上连接的多个接口560。该节点还可以具有其他功能,因此可以包括许多更多的组件,正如本领域中公知的。在一些实施例中,节点500是完整的系统,例如计算机。在其他实施例中,节点500实质上由单个处理单元来组成,其包含例如处理器520、负载指示器530、时钟540和控制逻辑550。
存储器510可以是用于其内容中的一些的临时存储器,该临时存储器使用随机存取存储器(RAM)来实现。对于一些其他方面,该存储器优选地是非易失性存储器或永久性存储器,其能够电擦除和重新编程,并且可以作为例如闪速存储器或数据存储模块来实现。存储器510存储一些常量512,包括例如如图2的序列200中的步骤260中使用的表示节点500处可用的最大处理量的预设值,以及图3的序列300中的步骤330处使用的预定阈值。
存储器510还可以存储对等节点的表600,用于存储关于那些对等节点的处理容量的信息。图6示出根据本发明的一些方面的示范对等方表600。表600包括几个行620-628,其除了作为标题行第一行620外,与具有该表的节点的对等方相关。该表被节点用于获取并存储有关对等方列表中的节点的处理容量的信息。对等方表600包括几个列6022-616,其中一些是可选的。第一列602包括对等方的身份Pn。第二列存储接收到第一信号(例如HELLO信号)的最近实例的时间T1n。无论何时,只要接收到第一信号的新实例,则将接收的时间与前面的接收时间T1n比较以计算第一信号速率R1n,其存储在列606中。新的接收时间盖写列604中的前面的值。当然,能够使用其他等效实施例来记住第一信号的接收速率。在一些实施例中,列606中的第一信号速率简单地以第一信号的每次接收来盖写。在其他实施例中,可以在时间上平均列606的第一信号速率R1n。在其他实施例中,除了每行将一个T1n值存储在列604中外,还能够存储第一信号时间值的阵列以便计算更精确的速率R1n以存储在列606中。列608和610以相似的方式分别存储第二信号(例如ALIVE信号)的接收时间T2n和速率R2n。对于每个对等方,在列612中存储两个信号速率的比率。在示范对等方表600中,通过将第二信号的速率R2n除以第一信号的速率R1n来获得该比率,并且10的比率例示标称速率。可选列614存储给定列的对等方的路由选择成本。该成本能够是数值,其中低成本指示到该对等方的路由选择是有利的。它还能够是简单的高或低指示。该成本还可以是指示向对等方的路由选择是否被允许的二进制指示。在一些实施例中,可以将路由选择成本存储在不同于对等方表600的单独路由选择表中。另一个可选列616存储对于下一个第二信号的预期序列号(E-SQN)En。对等方表600还可以包括用于保持有关节点的对等方的附加信息的其他列(未示出)。
在对等方表600中,行622-628上的示范对等方P1-P4示出与那些对等方的处理容量相关的多个情况。在行622上,P1的处理容量处于其标称水平,如等于10的比率所示出的。可以向P1路由业务,其路由选择成本低。在行624上,从P2接收到至少一次第一信号,但是尚未接收到第二信号。对P2不可计算第二信号速率,并且因此比率等于零。不可向P2路由业务,其路由选择成本高。在行626上,仅从P3接收到第二信号。因为尚未设置第一第二信号的速率R13,所以速率R23在用于第一信号的速率的零值上的比率产生无穷大结果。这也是路由选择问题的指示,所以路由选择成本高。在行628上,对于P4的比率等于7,这小于10的标称值。P4的处理容量稍微降低,并且因此指派中等路由选择成本。
应该注意,即使图6中以表的形式表示对等方表的内容,但是此类内容不限于此。对等方表可以由关系数据库、硬编码的组件、微处理器、编程库等来组成。
处理器520根据节点520中实现的特征来执行任务。负载指示器530持续地反映处理器520上的负载水平。时钟540周期性地启动控制逻辑550中的序列。在每个序列的开始处,控制逻辑550从负载指示器530读取处理器负载。控制逻辑550从存储器510中的常量512读取预设值。控制逻辑550请求一个或多个接口560每个序列一次发送第一信号(例如HELLO消息)。控制逻辑550可以可选地生成用于包含在第一信号中的序列号,在一个序列期间发送的第一信号的一个实例的序列号优选地基于前面序列中的第一信号的序列号来生成。控制逻辑550然后从处理器负载和从预设值来确定要在序列期间发送的第二信号(例如ALIVE消息)的数量N。如果处理器负载低,则数量N设为等于预设值。确定应认为处理器负载高还是低可取决于存储在存储器510中的一些常量512。控制逻辑550可以计算要包含在ALIVE消息中的序列号,每个后续序列号优选地基于前面发送的信号的序列号来计算。控制逻辑550请求一个或多个接口560在确定的数量N中在对应于第一信号的速率的N倍的速率发送第二信号。
接口560之一可以从当前传播有关其自己的处理容量的信息的对等节点Pn接收连续的第一和第二信号。接口通知控制逻辑550。控制逻辑550通过从时钟540读取时序信息来读取接收到第一或第二信号的时间,并在对等方表600中在包括该对等节点的身份Pn的行上存储第一信号的时间T1n或第二信号的时间T2n。只要足够多次地接收到第一或第二信号,处理器就为对等节点Pn计算信号速率R1n和R2n并存储它们。当为对等节点Pn计算了两个速率时,控制逻辑550计算指示对等节点Pn的处理容量的比率,并将其存储在表中的列612中。控制逻辑550可以可选地存储对于对等节点Pn的路由选择成本值。第一和第二信号可以包括序列号。控制逻辑550计算可应用于从对等节点Pn接收的下一个第二信号的预期序列号(E-SQN),并将其作为En来存储。当从对等节点Pn接收到下一个第二信号时,如果该下一个第二信号中包括的序列号不匹配En,则控制逻辑550可以忽略该第二信号。
虽然在附图中示出以及在前面的具体实施方式中描述了本发明方法的和节点的优选实施例的几个方面,但是将理解,本发明不局限于所公开的实施例,而是能够在不脱离如所附权利要求陈述和定义的本发明精神的前提下进行多种重新布置、修改和替代。
Claims (25)
1.一种获得有关节点的处理容量的信息的方法,所述方法包括以下步骤:
从所述节点接收在第一速率的第一信号;
从所述节点接收在第二速率的第二信号;
计算所述第二速率与所述第一速率之间的比率;以及
基于所述比率与预设值的比较来确定所述节点的处理容量。
2.如权利要求1所述的方法,其中:
所述第一速率是恒定的;以及
所述第二速率是可变的。
3.如权利要求1所述的方法,其中:
所述预设值等于所述节点具有正常处理容量时所述第二和第一速率之间的比率。
4.如权利要求1所述的方法,还包括以下步骤:
基于确定所述节点的处理容量的步骤来更新路由选择表;以及
当所述节点的处理容量低时抑制向所述节点发送消息。
5.如权利要求1所述的方法,还包括以下步骤:
监视所述比率中的改变;以及
当所述比率改变时检测所述节点的处理容量的改变。
6.如权利要求5所述的方法,其中:
所述第二速率的减少指示所述处理容量的降低。
7.如权利要求1所述的方法,其中:
每个后续第一信号包括基于前面的第一信号的序列号来计算的序列号;
最近第一信号之后立即接收的第二信号包括基于所述最近第一信号的序列号的序列号;以及
在下一个第一信号之前接收的每个后续第二信号包括基于前面的第二信号的序列号的序列号。
8.如权利要求7所述的方法,其中:
每个后续第一信号中的序列号等于前面的第一信号的序列号加所述预设值;
最近第一信号之后立即接收的第二信号中的序列号等于最近第一信号的序列号加一;以及
下一个第一信号之前接收的每个后续第二信号中的序列号等于前面的第二信号的序列号加一。
9.如权利要求7所述的方法,还包括以下步骤:
基于最近第一信号的序列号或基于前面的第二信号的序列号来计算下一个第二信号的预期序列号;以及
通过接收包括不等于所述预期序列号的序列号的下一个第二信号来检测容量问题。
10.如权利要求7所述的方法,还包括以下步骤:
基于最近第一信号的序列号或基于前面的第二信号的序列号来计算下一个第二信号的预期序列号;以及
其中计算所述第二速率与所述第一速率之间的比率包括忽略包括不匹配所述预期序列号的序列号的给定第二信号。
11.一种传播有关节点的处理容量的信息的方法,所述方法包括以下步骤:
确定供应的容量值,所述供应的容量值等于或小于指示所述节点的正常处理容量的预设值;
从所述节点在基准速率周期性地发送第一信号;以及
从所述节点在指示所述供应的容量值的第二速率周期性地发送第二信号。
12.如权利要求11所述的方法,其中:
所述节点包括多个接口;
在所有接口上发送每个周期性第一信号;以及
在所有接口上发送每个周期性第二信号。
13.如权利要求11所述的方法,其中:
所述第二速率等于所述基准速率乘以所述供应的容量值。
14.如权利要求11所述的方法,其中:
周期性地确定所述供应的容量值。
15.如权利要求11所述的方法,其中:
所述供应的容量值根据所述节点的实际处理容量来设置。
16.如权利要求11所述的方法,其中:
所述供应的容量值根据所述节点的实际处理容量减去负载限制值来设置。
17.一种用于传播有关其处理容量的信息的节点,包括:
处理器;
负载指示器,适合于指示所述处理器的负载水平;
一个或多个接口,适合于向对等节点发送信号;以及
控制逻辑,适合于:
读取所述处理器的负载水平;
请求所述一个或多个接口在第一速率发送第一信号;
基于所述节点的处理容量的最大量的和所述负载水平的比较来计算第二速率;以及
请求所述一个或多个接口在所述第二速率发送第二信号。
18.如权利要求17所述的节点,还包括:
时钟,适合于在所述第一速率启动所述控制逻辑的序列。
19.如权利要求17所述的节点,其中:
基于处理的最大量的和所述负载水平的比较来计算第二速率包括在所述负载水平低时将所述第二速率设置为最大值。
20.如权利要求17所述的节点,其中
每个后续第一信号包括基于前面的第一信号的序列号来计算的序列号;
最近第一信号之后立即发送的第二信号包括基于所述最近第一信号的序列号的序列号;以及
下一个第一信号之前发送的每个后续第二信号包括基于前面的第二信号的序列号的序列号。
21.一种用于获得有关对等节点的处理容量的信息的节点,包括:
一个或多个接口,适合于从所述对等节点接收信号;以及
控制逻辑,适合于:
多次从所述一个或多个接口接收第一信号;
确定所述第一信号的第一速率;
多次从所述一个或多个接口接收第二信号;
确定所述第二信号的第二速率;
计算所述第二与第一速率之间的比率;以及
将基于所述比率的所述对等节点的处理容量存储在对等方表中。
22.如权利要求21所述的节点,还包括:
时钟;以及
其中所述控制逻辑使用来自所述时钟的时序信息来确定所述第一和第二速率,并将所述第一和第二速率存储在所述对等方表中。
23.如权利要求21所述的节点,其中:
所述第一和第二信号包括序列号;
所述控制逻辑还适合于基于最近第一信号的序列号或基于前面的第二信号的序列号来计算下一个第二信号的预期序列号;以及
所述控制逻辑还适合于将所述预期序列号存储在所述对等方表中。
24.如权利要求23所述的节点,其中:
所述控制逻辑还适合于通过接收包括不等于所述预期序列号的序列号的下一个第二信号来检测容量问题。
25.如权利要求23所述的节点,其中:
计算所述第二与第一速率之间的比率包括忽略包括不匹配所述预期序列号的序列号的给定第二信号。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/955933 | 2007-12-13 | ||
US11/955,933 | 2007-12-13 | ||
US11/955,933 US8001365B2 (en) | 2007-12-13 | 2007-12-13 | Exchange of processing metric information between nodes |
PCT/IB2008/054587 WO2009074902A1 (en) | 2007-12-13 | 2008-11-04 | Exchange of processing metric information between nodes |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102132527A true CN102132527A (zh) | 2011-07-20 |
CN102132527B CN102132527B (zh) | 2013-12-18 |
Family
ID=40352149
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008801271732A Expired - Fee Related CN102132527B (zh) | 2007-12-13 | 2008-11-04 | 获得和传播有关节点的处理容量的信息的方法和设备 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8001365B2 (zh) |
EP (1) | EP2229753A1 (zh) |
JP (1) | JP5296803B2 (zh) |
CN (1) | CN102132527B (zh) |
WO (1) | WO2009074902A1 (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140204759A1 (en) * | 2013-01-21 | 2014-07-24 | Mitsubishi Electric Research Laboratories, Inc. | Load Balanced Routing for Low Power and Lossy Networks |
US20160286434A1 (en) * | 2013-11-06 | 2016-09-29 | Telefonaktiebolaget L M Ericsson (Publ) | Method and Device for Controlling Processing Load of a Network Node |
US10284487B2 (en) | 2014-04-25 | 2019-05-07 | Paypal, Inc. | Software load balancer to maximize utilization |
US11283697B1 (en) * | 2015-03-24 | 2022-03-22 | Vmware, Inc. | Scalable real time metrics management |
US9794163B2 (en) * | 2015-06-24 | 2017-10-17 | Terranet Ab | Enhanced peer discovery in a mesh network |
US10594562B1 (en) | 2015-08-25 | 2020-03-17 | Vmware, Inc. | Intelligent autoscale of services |
US10212041B1 (en) | 2016-03-04 | 2019-02-19 | Avi Networks | Traffic pattern detection and presentation in container-based cloud computing architecture |
US10931548B1 (en) | 2016-03-28 | 2021-02-23 | Vmware, Inc. | Collecting health monitoring data pertaining to an application from a selected set of service engines |
CN107592212B (zh) * | 2017-08-02 | 2020-08-14 | 同济大学 | 基于流体力学的车联网数据流网络模型的车辆自组织网网络容量计算模型构造方法 |
US10999168B1 (en) | 2018-05-30 | 2021-05-04 | Vmware, Inc. | User defined custom metrics |
EP3857381B1 (en) | 2018-10-26 | 2023-07-12 | VMware, Inc. | Collecting samples hierarchically in a datacenter |
US11290358B2 (en) | 2019-05-30 | 2022-03-29 | Vmware, Inc. | Partitioning health monitoring in a global server load balancing system |
WO2022018466A1 (en) * | 2020-07-22 | 2022-01-27 | Citrix Systems, Inc. | Determining server utilization using upper bound values |
US11811861B2 (en) | 2021-05-17 | 2023-11-07 | Vmware, Inc. | Dynamically updating load balancing criteria |
US11799824B2 (en) | 2021-06-14 | 2023-10-24 | Vmware, Inc. | Method and apparatus for enhanced client persistence in multi-site GSLB deployments |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6304546B1 (en) * | 1996-12-19 | 2001-10-16 | Cisco Technology, Inc. | End-to-end bidirectional keep-alive using virtual circuits |
US6606658B1 (en) * | 1997-10-17 | 2003-08-12 | Fujitsu Limited | Apparatus and method for server resource usage display by comparison of resource benchmarks to determine available performance |
US20060129852A1 (en) * | 2004-12-10 | 2006-06-15 | Bonola Thomas J | Bios-based systems and methods of processor power management |
US20070112954A1 (en) * | 2005-11-15 | 2007-05-17 | Yahoo! Inc. | Efficiently detecting abnormal client termination |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ZA946674B (en) * | 1993-09-08 | 1995-05-02 | Qualcomm Inc | Method and apparatus for determining the transmission data rate in a multi-user communication system |
JP2001075934A (ja) * | 1999-09-07 | 2001-03-23 | Nec Eng Ltd | 負荷分散処理システム及び方法 |
US20050018611A1 (en) * | 1999-12-01 | 2005-01-27 | International Business Machines Corporation | System and method for monitoring performance, analyzing capacity and utilization, and planning capacity for networks and intelligent, network connected processes |
US7561593B1 (en) * | 2001-09-06 | 2009-07-14 | Cisco Technology, Inc. | Frame relay accelerated local management interface status-inquiry messages |
US7159026B2 (en) * | 2002-01-31 | 2007-01-02 | Telcordia Technologies, Inc. | Service performance correlation and analysis |
US7257644B2 (en) * | 2002-09-19 | 2007-08-14 | Microsoft Corporation | Systems and methods for providing presence tracking in a distributed computing system |
JP2004171226A (ja) * | 2002-11-19 | 2004-06-17 | Fujitsu Ltd | 性能負荷計測装置 |
US7260062B2 (en) * | 2002-12-20 | 2007-08-21 | International Business Machines Corporation | Flow control in network devices |
US7366104B1 (en) * | 2003-01-03 | 2008-04-29 | At&T Corp. | Network monitoring and disaster detection |
US8004970B2 (en) * | 2005-08-30 | 2011-08-23 | International Business Machines Corporation | Method, system and program product for setting a transmission rate in a network |
US20070053331A1 (en) * | 2005-09-06 | 2007-03-08 | Kolding Troels E | QOS-aware radio resource management (for wireless communication) with activity detection |
JP4377369B2 (ja) * | 2005-11-09 | 2009-12-02 | 株式会社日立製作所 | リソース割当調停装置およびリソース割当調停方法 |
DE102006014911A1 (de) * | 2006-03-30 | 2007-10-04 | Siemens Ag | Verfahren zur Ermittlung eines Pfades in einem Netzwerk und eines Qualitätswerts für den Pfad |
-
2007
- 2007-12-13 US US11/955,933 patent/US8001365B2/en not_active Expired - Fee Related
-
2008
- 2008-11-04 CN CN2008801271732A patent/CN102132527B/zh not_active Expired - Fee Related
- 2008-11-04 EP EP08858692A patent/EP2229753A1/en not_active Withdrawn
- 2008-11-04 JP JP2010537549A patent/JP5296803B2/ja not_active Expired - Fee Related
- 2008-11-04 WO PCT/IB2008/054587 patent/WO2009074902A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6304546B1 (en) * | 1996-12-19 | 2001-10-16 | Cisco Technology, Inc. | End-to-end bidirectional keep-alive using virtual circuits |
US6606658B1 (en) * | 1997-10-17 | 2003-08-12 | Fujitsu Limited | Apparatus and method for server resource usage display by comparison of resource benchmarks to determine available performance |
US20060129852A1 (en) * | 2004-12-10 | 2006-06-15 | Bonola Thomas J | Bios-based systems and methods of processor power management |
US20070112954A1 (en) * | 2005-11-15 | 2007-05-17 | Yahoo! Inc. | Efficiently detecting abnormal client termination |
Also Published As
Publication number | Publication date |
---|---|
JP5296803B2 (ja) | 2013-09-25 |
JP2011507378A (ja) | 2011-03-03 |
US20090154366A1 (en) | 2009-06-18 |
WO2009074902A1 (en) | 2009-06-18 |
EP2229753A1 (en) | 2010-09-22 |
CN102132527B (zh) | 2013-12-18 |
US8001365B2 (en) | 2011-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102132527B (zh) | 获得和传播有关节点的处理容量的信息的方法和设备 | |
Al-Turjman | Price-based data delivery framework for dynamic and pervasive IoT 1 | |
Rashidi et al. | A hybrid heuristic queue based algorithm for task assignment in mobile cloud | |
Panagakis et al. | On the effects of cooperation in DTNs | |
Wang et al. | Multi-robot navigation based QoS routing in self-organizing networks | |
GB2502775A (en) | Selecting routes between nodes in a network based on node processing gain and lifetime | |
Das et al. | Selfish node detection and low cost data transmission in MANET using game theory | |
CN102017730A (zh) | 网格节点节能的方法和装置 | |
Khumalo et al. | Reinforcement learning-based resource management model for fog radio access network architectures in 5G | |
Guo et al. | A location aided controlled spraying routing algorithm for Delay Tolerant Networks | |
Hernández-Orallo et al. | Optimising data diffusion while reducing local resources consumption in opportunistic mobile crowdsensing | |
Hyytiä et al. | Optimizing offloading strategies in mobile cloud computing | |
Duong et al. | TSIRP: A temporal social interactions-based routing protocol in opportunistic mobile social networks | |
Shen et al. | A tabu search algorithm for the routing and capacity assignment problem in computer networks | |
Karagiannis et al. | Overlay networks for task allocation and coordination in large-scale networks of cooperative agents | |
Wu et al. | Multi-objective provisioning of network slices using deep reinforcement learning | |
Guan et al. | Multidimensional resource fragmentation-aware virtual network embedding for IoT applications in MEC networks | |
Trevathan et al. | Allocating sensor network resources using an auction-based protocol | |
Sayyad et al. | Improvement multiplicity of routs in directed diffusion by learning automata new approach in directed diffusion | |
CN118018555B (zh) | 基于区块链共识算法中共识节点的确定方法及装置 | |
Tournoux et al. | Wardrop equilibrium formulation of resource-constrained DTN routing in public safety networks | |
Khalid et al. | Adaptive forwarder selection for distributed wireless sensor networks | |
Liu | Mobile data and computation offloading in mobile cloud computing | |
Zhao et al. | Decoupled scheduling in Store-and-Forward OCS networks | |
Zeng et al. | SFC Design and VNF Placement Based on Traffic Volume Scaling and VNF Dependency in 5G Networks. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20131218 Termination date: 20211104 |
|
CF01 | Termination of patent right due to non-payment of annual fee |