CN1947403A - 事件通知网络 - Google Patents

Abstract

本发明提供事件通知网络。利用蔓延协议将由传感器(10、30)收集的数据通过网络传输到数据收集点(31、61)，其中，将中继器(3)接收到的数据转送到随机选择的其他中继器(4、5、6)组，除非中继器(3)先前已接收到相同的数据或者该数据已过期。利用Bloom过滤处理来聚合由中继器(3)在同一时帧从不同源(1、2、30)接收到的数据，使得在各个时帧中，各个中继器仅传输单个Bloom过滤消息。

Description

事件通知网络

技术领域

本发明涉及用于传输数据的通信网络，具体地涉及用于输送报告由散布在整个环境中的装置检测到的事件的数据的网络。所述装置可用于监视诸如大气、海洋或地质现象的自然现象，或动物行为，或者用于监视诸如道路交通、库存控制的人类行为，或者用于监视脆弱人群或不可靠人群的活动。由于装置分布在整个待监视环境中，所以这公知为“普适”计算技术。

背景技术

执行这种监视的装置容易得到，例如传感器网络，RFID标签以及生物测量扫描器。RFID(射频识别器件)是连接到天线的小型集成电路，其能够以简单的识别信息响应于询问RF信号。它们用于许多场合中。在库存控制应用中，例如在零售分布网络(工厂、仓库、分布网络、商店)中，用RFID标签替代各个物体上的传统“条形码”。由于无线接口的原因，读取这种标签比将各个物体依次通过传统的条形码扫描器更容易并且更快捷。用扫描器隔开一定距离就可以识别物体，这非常有利于后勤链和供应链。可以通过属于公司不同部门(生产、处理、材料、财务等)的多个数据库来生成并处理信息。一扫描到标签，就更新包含在各个数据库中的变量。变量是共享的，从而当更新一个特定数据库中的数据信息时，需要更新在网络的其他位置中的其他变量。因此变量一发生变化，服务器就需要转送事件更新信息。然而，在规模非常大的系统中，当大量读取器试图同时发送数据时，可能发生拥塞。

普适计算技术的部署使得对这种数据有了许多新用途，可以构想在未来，这种装置每秒总共生成数以十亿计的事件通知。

多对多(或“对等”)消息基础架构(infrastructure)是用于分布式电子商务系统的最重要的基础之一。近年来，已经出现了事件驱动和消息基础架构作为使得能够在网络服务、分布式数据库和其他软件应用之间进行通信的灵活且可行的解决方法。这种分布式计算系统对于推进从工业应用到国家安全的广范围关键应用非常重要。应用示例包括空中交通管制、军事应用、卫生保健和电力网管理。已经在这些领域的一些中使用小规模情况进行了测试。然而，在大规模复杂情况中，其中诸如网络可靠性、负荷和吞吐量不稳定性的因素变得很重要，维持健壮且可缩放的通信成为复杂的问题。在数以百万计的普适计算装置和分布式处理需要一起通信的情况下，技术必须能够处理这种形式的基础架构不稳定性。

因此需要这样的系统，其能够在大规模情况中提供可缩放性，从而能在大量参与者之间提供可靠的通信。这些应用的特性和通信量负荷需要允许在不同处理之间进行多点通信的组通信协议，例如IP多播。在应用于普适计算情况时，传统的IP多播协议、或者以纯对等方式构建的覆盖协议受到若干缩放问题的困扰。更加复杂的问题之一是对在各个参与者或各个路由器处管理的网络状态进行管理。即使采用更加复杂的路由协议(例如，基于内容的路由)，对基于内容的转送规则的管理仍然是影响方案的可缩放性的复杂问题。

许多系统是内在不稳定的，处理器实时地加入并离开系统。在这些系统中，优选地，分布式处理器对属于其他分布式处理器的消息进行转送和路由，而不需要集中服务器。即使在大的通信量负荷下，该系统也应保持稳定并且各个节点的资源不应过载。

不受上述可缩放性和可靠性问题困扰的一类协议是采用“蔓延”或“流传(gossip)”技术的扩散状(diffusion-like)协议。这类协议缩放性很好并且克服了产生网络可靠性和可缩放性问题的现象。采用蔓延技术的协议具有许多重要特性：该协议对参与者施加稳定负荷，实施极为简单且运行廉价，并且在成员管理方面提供非常好的可缩放特性。

该协议按照以下方式工作：系统中的各个处理器保持全部系统成员的子集列表；实际上，该列表包含附近其他处理器的网络地址。在每个时间间隔(整个系统不同步)，各个参与者选择其成员列表中的一个(或更多个)处理器，并向其发送包含在缓冲存储器中的消息。接收到蔓延消息时，根据协议的配置，处理器检查是否已接收到该消息或该消息是否已过期——在这两种情况下将该消息丢弃。否则将该消息存储在接收处理器自身的缓冲器中，用于后续分配给其他处理。

如果一消息向网络中传播了一定轮，则能将其可靠地发布。如果我们将组大小表示为n并且假设接收到事件的处理器将该事件通知给其他F个处理器，给定扇出值F＞O(log n)，则实现有很高概率(例如，99％)通知到全部组成员所需的轮数为O(log n)。(注意，除非另行说明，否则在本说明书中的全部对数值是以2为底的：O(log n)表示log n量级的值。)因此蔓延算法在较小程度上牺牲了确定算法的可靠性，以换取非常好的可缩放特性。如稍后将更详细地描述的，参照图5，“感染”的节点数最初呈指数增加，然后，由于个体消息传送到已经感染的节点的可能性增加，所以随着通信量下降了渐进趋向于值“n”。

为了实现通知组的全部成员的可接受的高可能性，在网络上发送的信息量必须大于使用多播协议的情况的信息量。这是因为消息的传输是单向过程，而传输装置不能得到关于其他装置是否需要该信息的任何信息。通常，选择的装置将包括不需要或者已经接收到该个体消息的数量。如图5所示，这种消息的数量通常是系统中节点数量的许多倍。因此对于要使用的这种协议，期望使实际发送的消息数量最小。

国际专利申请WO 01/99348公开了如下一种方法，其中处理器在向前传输之前，将其已经接收到的若干个体消息组合成单个组合消息。该专利申请提出了一种聚合处理，其中将多个事件的标识并入单个索引消息中。在该专利申请中索引消息由整个(感兴趣的)群体所共享和了解。为了使事件到感兴趣的接收器的递送最优化，在分布式网络的外部对将事件聚合成索引的处理进行控制。

发明内容

本发明并不致力于订阅聚合的复杂性，而是涉及对个体事件报告的聚合。

根据本发明，提供了一种在分散式网络上传输数据的方法，该方法包括以下步骤：在中继装置处接收多个压缩数据文件；处理所述多个压缩数据文件中的数据以生成经聚合的压缩数据文件；以及将所述经聚合的数据文件传输到多个类似的中继装置。

根据另一方面，提供了一种中继装置，该中继装置具有：接收器，该接收器用于接收多个压缩数据文件；聚合处理器，该聚合处理器用于处理所述多个压缩数据文件中的数据以生成经聚合的压缩数据文件；以及发送器，该发送器用于选择多个类似的中继装置并将所述经聚合的数据文件发送到所选的中继装置。

在使用中，所述装置的网络形成其中使用一个以上的节点来将信息中继到其目的地的网络。本发明允许使用扩散状协议在源与关注目的地之间路由数据。准备用于传输的数据并选择该信息的目的地装置的所述中继装置没有关于其他装置是否需要将传输给它们的数据的信息，因此由给定目标装置接收到的给定信息项是该装置所需要的可能性基本是随机的。可以使用任何随机、拟随机、循环或其他处理来选择目标。在优选实施例中，使用蔓延协议，其中遵循蔓延理论而不是使用预定的路由表或内容规则来决定如何中继数据项。具体地，数据在多个节点之间中继时将它们的微小部分聚合起来。这样提供了可缩放性，因为对于各个消息的路由决定和管理成本降为最小。另外，聚合有助于网络的可缩放性，因为信息的速率从网络边缘朝中心降低。最终，信息通过若干具有弹性的节点中继，并且能从一个以上的源无缝地接收。

根据另一方面，提供了一种分散式通信网络，其中多个服务器共同保持记录事件报告的数据库，所述多个服务器形成覆盖网络并基于在所述覆盖网络上运行的发布者转送方案而利用公共消息收发策略互相通信，所述多个服务器具有聚合从一个或更多个其他服务器接收到的压缩数据消息以生成压缩聚合消息、并将所述压缩聚合消息广播到所述一个或更多个其他服务器的装置，所述多个服务器中的至少一个具有响应于特定事件生成数据消息的装置，以及将如此生成的所述数据消息与从其他服务器接收到的消息相聚合的装置。

所述聚合可在网络上在发布期间局部自动进行。尽管将个体事件发布给所有关注接收器，但许多事件聚合都是局部且瞬时的。结果降低了发送消息的数量，因此降低了所需的带宽。每个个体消息将包含许多个体事件的报告，从而很有可能递送给接收器的任何个体消息将包括该接收器所需的一些数据。

因此本发明提供一种利用数据传播技术来散播很小的消息的自动数据聚合技术，该自动数据聚合技术使传输事件所需的带宽量最小，并增加了各个用户需要在特定信道上传输的一些信息的可能性。

通常，所述中继装置的一些将与目的地装置(即，打算将数据送至的装置)相关联。所有这些中继装置都设有识别所述数据并使其通过相关联的目的地装置处理的装置。在所述实施例中，从转送给其他中继装置的所述聚合消息中删除所述数据是不可行的，但在任何情况下理想的都是转送该数据，因为其他目的地装置可能也需要该数据。将由个体中继装置或由与其相关联的数据收集装置局部生成的任何数据与从其他中继装置接收到的任何数据一起聚合，然后以相同方式转送。

在优选实施例中，可识别过期的数据并且不转送这种数据。所述装置还可识别该装置先前已接收到的数据，同样不转送这种数据。因为如上所述，聚合的优选方法使得删除聚合消息的个体部分是不可行的，所以方便的是仅聚合具有相同的期限的数据，从而消息中的全部数据一起过期，因此能删除完整的聚合消息，而不会干扰还未到期的消息。

在优选系统中，消息是聚合的Bloom过滤消息。“Bloom”过滤是用于表示一组元素使得能够进行查询的方法，由Burton H.Bloom在文章“Space/time trade-offs in hash coding with allowable errors”(Communications of the ACM archive Volume 13，Issue 7(July 1970)pages422-426)中首次描述。在本说明书中稍后将更加详细地描述。Bloom过滤已经广泛用于从检测IP地址跟踪到订阅聚合的各种用途，但是之前未用作用于事件通知的聚合技术。Bloom过滤对于传输通知信息非常有效，因为它们不需要高计算需求来将新的消息添加在已有消息上。

在本发明中，当在网络上中继Bloom过滤时将它们与其他数据(包括其他Bloom过滤)相聚合。当多个消息到达网络节点时，将所述消息聚合成单个消息并且发布给网络中的其他节点。消息立即被一个以上的节点传播并被发布给最终的接收器。接收器查询过滤器从而识别它们所关注的信息是否存在于所述消息中。

附图说明

下面将参照附图仅以示例的方式描述本发明的实施例，附图中：

图1是表示根据本发明而运行的装置的网络的示意图。

图2是表示根据本发明的个体装置的图。

图3是根据本发明的聚合消息生成处理所需的消息数与非聚合处理所需的消息数之间的对比。

图4是表示节点中对消息的处理的图。

图5表示蔓延传输处理的仿真结果。

具体实施方式

图1示意性地表示根据本发明的简化网络，其中运行有若干中继装置1、2、3、4、5、6。实际上它们的互连性要比图中所示更加复杂。

通常使用该方法的系统将由以下三个主要功能元件构成：

事件生成器10、30，其响应于状态(通常是由节点监视的实变量，例如RFID标签的扫描)的改变生成事件通知。

事件中继器1、2、3、4、5，其遵循蔓延协议的规则聚合并转送由其他节点产生的事件通知。

事件用户31、61，其处理在接收到该事件的通知时已经订阅了的事件发生的高层应用程序。当如RFID标签的情况一样所需数据最小(仅几位)时，该通知可包含所需信息，但是通常该通知仅是对实际所需数据的引用，例如互联网地址或“url”(统一资源定位器)，用户使用其他消息技术取出数据。

每个节点1、2、3、4、5、6还用作事件中继器来按照蔓延方式散播事件，从而改进了对信息的发布。例如，中继装置3向一组中继装置4、5、6转送消息。这些接收节点4、5、6中的每一个也可从其他装置(未示出)接收消息。同样地，中继装置1、2都向中继装置3(以及向其他未示出的中继装置)转送消息。相对于给定的中继装置3，将装置1、2称为“初始节点”，将装置4、5、6称为“接收节点”，但是必须理解这些术语是相对的：例如，从节点1和2的角度看，节点3是“接收节点”。各个节点向其转送消息的节点数公知为“扇出”值F。n个节点的网络的适当的扇出值由F＝ln(n)/ln(ln(n))给出。(注意该公式使用底为“e”而不是2的对数)。对于128个节点的网络，该式给出F＝3，如图2所示。图5表示对于100个节点的网络，扇出值越大导致通信量越大(左图)，而普及率仅有较小的提高(右图)。

为了触发所需的任何对应动作，典型的数据项在事件生成器10(例如，RFID标签扫描器)处生成，并且由相关联的中继装置1通过网络散播，从而被与要求该信息的更高层事件用户应用程序61相关联的装置6捕获。利用蔓延协议来散播数据。

我们将考虑根据本发明的个体中继器3是如何处理这种数据的。图2以示意形式表示了这种个体中继装置3的各个功能元件。

注意如图所示，中继器3本身可具有一个或更多个相关联的读取器30以及事件用户应用程序31。

在本实施例中，蔓延算法包括两个主要步骤：在接收到消息时执行第一步骤，然后执行第二步骤以传播信息。在接收到输入消息时，进行验证处理以避免同一消息的多次递送。将首次接收到的任何消息散播到随机选择的一组其他处理器。

图2以示意形式表示了一个节点3的各种功能元件。这些元件包括接收器32、查询处理器33、输入处理器34、历史缓冲器35、聚合处理器36以及发送器37。

当读取器30从网络中其他地方收集用户应用程序可能需要的数据时，将告警消息汇集成Bloom向量消息90。Bloom过滤是一种表示一组元素并允许查询所得数据组的方法。每个过滤器由m位向量构成，每一位由从1到m的递增数编入索引。当过滤器为空时向量的全部元素初始化为0。定义一组独立的散列函数h1、h2、h3、h4……，每一个产生在{1…m}范围内的结果。对于将包含在过滤器中的各个元素E，将向量中具有与h1(E)、h2(E)、h3(E)、h4(E)……相对应的位置值的位设为1。注意，可通过一个以上的散列函数生成任何个体值，但是值的组合对于散列函数是唯一的。

然后，给定对于元素A是否存在的查询，可以检查在位置h1(A)、h2(A)、h3(A)处的位。如果这些位中的任何位被设为零，则结果是该过滤器不表示该元素。如果全部位被设为1，则该元素包含在该过滤器中的可能性不是零。然而，该可能性不等于1——存在不包含该元素的有限可能性：这最终称为错误肯定。可能性取决于以下三个参数：

m：表示向量长度；

H：表示散列函数的数量；以及

n：表示包含在过滤器中的元素数量。

对Bloom过滤的经典优化是，给定m和n，找出使错误肯定的可能性最小所需的散列函数H的数量。对于H＝6，如果我们考虑m/n＝10，则我们获得错误肯定率＜0.01％。m/n＝15时，错误肯定值降低为＜0.001％。

显然，尽管错误肯定的可能性随着包含的数据量而增加，但能够容易地向Bloom向量添加数据。具体地，能够通过对各个项进行逻辑“或”运算而组合使用相同组“散列”函数生成的两个Bloom向量。删除数据而不导致高可能性的错误否定是不可能的。

通常告警消息将指示在预定地址(在消息中识别或者预先识别为目的地装置)可得到数据。然而，如果数据非常简单(例如，RFID标识)，则数据本身可以形成将汇集在Bloom过滤中的告警消息。将所得Bloom向量消息90送至聚合处理器36，在聚合处理器36处该Bloom向量消息90将与从其他节点1、2接收到的任何消息组合，并将接收到的消息随其一起转送到节点4、5。还向历史缓冲器35添加新消息90，该历史缓冲器35存储已经由节点3处理的全部数据的副本。

下面我们将讨论对从其他节点1、2接收到的数据的处理。图4表示两个在系统节点之间传输的类型的说明性消息包7、8，以及它们可能聚合以形成第三消息9的方式。为说明原理已简化了该图。必须理解，在发布大量消息时，聚合处理和蔓延的新颖组合的益处是最明显的。具体地，该图表示两个Bloom向量组合以形成单个新向量，但是当然可以组合三个或更多个Bloom向量。

本发明不仅简化了网络管理，而且降低了所需带宽。因为消息被聚合，所以在各个时隙中每个节点传输的Bloom过滤数减小。可以示出，传输的消息数量限制在不大于“log(n)+k”的值，而不是使用经典蔓延时的“n”。如果一些节点在该特定时隙中没有要发送的消息，则该值将变小。值“k”确定可靠性(到达全部节点的可能性)并将在下面讨论。再次注意，除非另行说明，否则本说明书中的全部对数值是以2为底的。

第一输入消息包7由掩码700和一系列个体消息71、72、75、76、78构成，每一个个体消息都包括对于掩码700标识的一个时隙的数据。该掩码是“1”和零的序列。序列中“1”的数量标识在消息包中包含多少消息，同时这些“1”的位置标识与个体消息相关联的时隙。时隙表示消息已经访问了网络内的多少个节点，因此表示其“使用期限”还剩多少。可以示出，新生成的数据项的适当寿命由公式log(n)+k给出，其中n是系统中的节点数，k是确定普遍递送的可靠性的常数，稍后将讨论其值。对于128个节点的系统，该式给出值7+k。从图5(其使用仅100个节点的略小群体)可以看出，对于大于2的任何F值，在七轮后受感染的节点数非常接近100％。

节点不同步，但是它们每一个均按照时间步顺序工作，在每个时间步中它们生成或转送消息。例如，如果我们考虑2秒的时间步，则节点每2秒检查缓冲器是否包含任何要聚合或发送的消息。

在图4的输入处所示的掩码700表示在相关联的包中存在五个信息，它们的位置表示它们与一个、两个、五个、六个以及八个时间步之前生成的事件有关。如果节点在特定时间步中未生成消息，则对于该时间步该节点不需要生成消息。因此其他时间步的向量的不存在表示对于那些时间步在该消息包中没有记录事件。

消息本身包含Bloom过滤向量的序列。每个向量与掩码中限定的特定剩余使用期限相关联。当向量的剩余使用期限降为零时，丢弃该向量。

第二输入消息包8同样由掩模800和一系列消息82、84、85、87构成，掩模800标识消息包关于其包含数据的时隙，所述一系列消息中的每一个都包括对于掩码800标识的一个时隙的数据。包中的每个个体消息是Bloom过滤向量。下面将参照消息包7描述在节点3接收到这种消息包时运行的处理。

如果节点3与事件用户装置31相关联，则节点的接收器32将输入消息包7送至查询处理器33。查询处理器查询消息包中的Bloom过滤71、72、75、76、78以确定其是否载带其需要知道的事件ID(处理步骤31)。查询Bloom过滤是对于某组元素的简单的位匹配功能。如果发现匹配，则将相关数据送至需要该数据的相关联装置31。注意，作为蔓延协议的一部分，还将该数据转送至控制处理器34，因为与另一节点6相关联的另一装置61也可能需要该数据。在任何情况下都不可能从Bloom过滤消息删除个体数据项。

可以针对网络中的各个节点进行排列，从而聚合Bloom过滤向量直到该向量已达到饱和程度，该饱和程度被限定为使得错误肯定的可能性超过限定的阈值。然而，因为数据被打包成为一组不同期限的消息71、72、75、76、78，所以可通过控制处理器34实现效率的大幅提高。

控制处理器34首先将包中的Bloom过滤消息71、72、75、76、78与存储在历史数据库35中的消息进行比较。如果完整的消息75与数据库35中已有的消息相同，则表示节点3已经接收到来自另一源的相同消息。该消息可从消息包7中删除。从而修改掩码700。这样通过确保消息不会被相同节点重复散播，而有助于防止相同消息被相同节点多次传输。

如果历史缓冲器35过载，则可从缓冲器中删除随机元素。

接着控制处理器34对消息包7施加移位运算，从而使每个个体消息71、72、75、76的时隙位置递增，并生成修改后的掩码701。当过期时，删除最末位置中的任何消息78。这确保了消息不会被不确定地散播。可以示出，消息从一个节点开始到达另一节点所需的平均跳数为log(n)。因为理想上递送可靠性优于平均水平，所以初始的使用期限在log(n)上增加值k，值k例如被选择为使到达全部其他节点的可能性升高至接近一的值。例如，如果我们考虑具有128个成员的网络并且k＝1，则时隙的数量被选择为log(n)+k，其中n＝128，是系统中的节点数。因此在这种情况下的使用期限将为log(128)+1＝8个步。

将剩余消息71、72、76的副本添加到数据库34，用以与将来的输入消息作比较。

以类似于针对消息包7描述的方式的方式修改消息包8，从而生成修改后的掩码801和消息82、84、86、87。

然后通过聚合处理器36根据修改后的包7、8以及任何新的消息90来编制新的消息包9。新消息中的各个时隙被根据时移后的输入消息包7、8中对应位置处的消息而编制的Bloom过滤所占据，将通过读取器30生成的消息90(如果有的话)置于空闲的第一时隙中。

当包7、8中的仅一个在给定时隙中具有消息71、84、85、76、87时，该消息不改变地出现在新的包9的对应时隙中。(注意在该示例中，消息75因与数据库35中的消息重复而被删除，因此消息85不与其组合。消息84也被删除，但是如在其他包中没有对应消息的情况下，掩码值被重置为零)。

当在掩码701、801中的相应项上以“1”来标识具有相同使用期限的消息72、82时，使用逻辑“或”运算来聚合过滤器。聚合所得是另一个Bloom过滤器92，将该过滤器添加在适当的时隙处。还将其添加到历史缓冲器35中，以使其不会被第二次散播。

通过在掩码701、801上的简单逻辑“或”运算而生成新包的掩码900，如果已经生成新数据90，则以“1”作为第一项。如果读取器还未捕获到数据(或者如果没有与节点3相关联的读取器)，则该掩码的第一项为零。

然后发送器37选择从其能够与之通信的装置中随机选择的“F”个相邻装置4、5、6，并将由聚合处理器36生成的消息包9的副本发送至所选节点中的每一个。待选择的相邻装置的数量已知为扇出值F，在本示例中F＝3。这类蔓延协议以完全分散的方式操作并且简化了网络管理。随机选择节点使节点能够处理基本架构的不稳定性并且具有均匀发布的通信负荷。

已经大体描述了实施例，下面将讨论一些具体细节。

扇出值F确定网络多快被给定消息“感染”。图5表示对于100个节点的网络并且没有聚合的情况下，单个消息是如何传播的。左图表示在每轮中传播的消息数，而右图表示在每轮后被感染的节点数量(其与左图的累积值紧密相关)。可以看到，高扇出值在短时期产生极高通信量水平，并且系统迅速饱和。F＝3的值在大约八轮之后产生几乎完全的饱和。

假如在特定时间间隔(时间步)中生成的事件数量受限，则能够确定Bloom过滤向量的最优大小，以控制错误肯定的可能性。向量的时间步和大小都是容易修改的变量。查询Bloom过滤生成错误肯定的可能性由公式： $\mathrm{PFP}={(1-e^{\frac{\mathrm{kn}}{m}})}^k$ 给出，其中n是在时间步中生成的事件数量；m是Bloom过滤向量的大小；k是散列函数的数量。如果网络能够每秒生成1000个事件，并且我们考虑1秒的时间戳，则过滤器的大小将为m＝7000位，k＝5。这通过固定PFP＝0.05获得(注意，这不是算法的实际PFP，因为事件对于相同节点发布多次)。因为已经以不同方式聚合了事件，所以包含这些事件的Bloom过滤并不相同。

应注意，消息本身对于节点虽然是新的，但是它可以包括节点已经记录的个体事件。这是因为事件可能已经与不同事件相聚合作为通过系统传播的相应消息。在两个不同消息中对同一事件的识别将其成为错误肯定的可能性从上述的值p＝(1-e^kn/m)^k减小到p²。个体事件不能从消息中丢弃，即使它们重复了已经由节点识别或者仅当前节点所关注的事件——丢弃个体事件将引起错误否定，因为它们可能与其他事件共享过滤器中的位。任何给定节点接收到特定消息的可能性近似为(1-N^(-F))，其中F表示协议的扇出，N表示系统中的节点数量。可能性较高地确保网络的所有成员接收到相同消息至少一次所需要的对该消息的个体传输次数是O(FN)的量级。将这与诸如IP多播的具有O(N)量级的带宽成本的协议进行比较。然而，利用根据本发明的消息聚合，可将带宽和可靠性特性改善为优于经典的IP多播。

根据本发明对处理的改进效率可以通过与不使用聚合的情况进行比较来说明。考虑包含N个节点及其连接的网络。各个节点随机链接到K个其他节点，平均连接性为<K>。已经示出，存在对于平均程度为log(N)的连接性的阈值。下面考虑在该网络上运行的蔓延算法。在各个时间间隔T处，各个节点向随机选择的F个相邻节点转送其在先前时间间隔接收到的任何新消息。平均起来，消息从一个节点开始到达另一节点所需的跳数为log(N)，从而消息在网络中的寿命也为log(N)。

在该时间内，各个节点向F个相邻节点中的每一个转送消息一次，在整个蔓延发布期间生成的消息包的总数为～FN。由从单个节点开始的单次蔓延轮次引起的网络中生成的总通信量为～FN/log(N)。

如果我们假设网络中的M个节点以平均速率λ生成消息，则每单位时间在网络中生成的蔓延通信量为：

$\mathrm{tot}-\mathrm{traffic}\&cong;\frac{\mathrm{\&lambda;FNM}}{\log \left(N\right)}$

下面考虑在聚合Bloom过滤向量时同一网络的性能。在一个或多个包中，各个节点聚合其在一个时间步内接收到的全部新消息，并在下一个时间步中将这些新消息转送给F个相邻节点。各个包可仅包含一定量的消息，假定为Nth。

为了以更加普通的词语表述这种情况，我们定义聚合函数：f_agg(Nm)＝Mb。该函数将Nm个消息映射成Mb个包。在接收到消息时，节点检查包中的消息。然后节点汇集成仅包含历史缓冲器23中还没有的消息的新消息包，并将它们转送给F个相邻节点。然而，注意来自该包的各个个体过滤器被完全转送(虽然可能与其他过滤器打包在一起)或者根本不被转送。只要过滤器本身持续，过滤器内的个体数据项就保持在过滤器中被编码。

仿真对于L＜Nth的情况的总通信量的性能，并在图3中示出结果。假设在给定时间步中节点生成一个消息，则在整个不使用聚合的蔓延轮次期间产生的总通信量为FN。如果M个节点在各个时间步中生成消息，则在整个蔓延轮次期间的总通信量为FNM。如果我们考虑经聚合的蔓延，则单个节点生成的总通信量又变为FN，但是如果M个节点生成消息，则总通信量将与FN(log(M))成比例。这在图3a和3b中示出。

图3a表示相对于每时间步生成的消息数绘制的聚合与不聚合之间的性能差异。仿真中有90个节点，每一个具有的扇出值F＝6。可以看到，在没有聚合的情况下，发送的消息数随生成数而线性增加。图3b是图3a中下曲线的放大图，从而表明聚合数据的对数特性。

除了散播来自分布式传感器组的数据之外，本发明的另一用途可用在计算网格中。计算网格是使远程用户组能够获得地理分散的硬件和软件资源的集合的环境。资源可以是不同的类型：计算机、存储空间、设备和数据，并且它们的可用性和容量动态地改变。网格环境是极大规模的操作，由几十万用户共享数以百万计的资源，但是缺少全局集中管理，并具有高度可变的参与模式。大规模网格环境中的基本服务是资源监视。这是必需的，因为网络服务调度方必须不断地将用户请求与可用资源相匹配。因此需要不断监视这些资源的状态(它们的可用性，以及在任何给定时刻的可用存储容量和处理能力)。本发明能用作对网格资源进行被动监视的可缩放分布式事件服务。网络资源的属性(例如，其可用的处理能力或存储容量)一改变，资源就生成新的事件，并使用本发明的蔓延和聚合技术将该事件发布给全部包含的节点。

Claims (22)

1.一种在分散式网络上传输数据的方法，该方法包括以下步骤：在中继装置处接收多个数据文件，所述多个数据文件中的至少一个是压缩数据文件；处理数据文件中的数据以生成经聚合的压缩数据文件；以及将所述经聚合的压缩数据文件传输到多个类似的中继装置。

2.根据权利要求1所述的方法，其中应用于所述数据的压缩和聚合技术是Bloom过滤处理。

3.根据权利要求1或权利要求2所述的方法，其中各个个体聚合消息具有预定的期限，仅在消息未超过其预定期限时才转送所述消息。

4.根据权利要求3所述的方法，其中将中继装置接收到的、具有相同期限的消息聚合成单个消息用于进一步散播。

5.根据前述权利要求任一项所述的方法，其中使用蔓延散播处理来传输所述经聚合的压缩数据文件。

6.根据前述权利要求任一项所述的方法，其中各中继装置存储接收到的各个消息，将随后接收到的消息与已经存储的消息进行比较，并中止对任何识别出的重复消息的聚合和转送处理。

7.根据前述权利要求任一项所述的方法，其中所述中继装置中的至少一些从相关联的数据生成和压缩装置接收压缩数据。

8.一种中继装置，该中继装置具有：接收器，该接收器用于接收多个数据文件，所述多个数据文件中的至少一个是压缩数据文件；聚合处理器，该聚合处理器用于处理数据文件中的数据以生成经聚合的压缩数据文件；以及发送器，该发送器用于选择多个类似的中继装置并将所述经聚合的数据文件发送到所选的中继装置。

9.根据权利要求8所述的中继装置，该中继装置被设置为用于以Bloom过滤的形式处理数据。

10.根据权利要求8或权利要求9所述的中继装置，该中继装置包括用于确定各个聚合消息的预定期限并且选择仅传输那些没有超过其期限的消息的装置。

11.根据权利要求10所述的中继装置，其中，所述聚合处理器被设置为将具有相同期限的消息聚合成单个消息以用于进一步传输。

12.根据权利要求11所述的中继装置，该中继装置具有用于散播具有不同期限的多个这种聚合消息的装置。

13.根据权利要求8、9、10、11、或12所述的中继装置，其中，所述发送器根据蔓延散播处理而进行工作。

14.根据权利要求8、9、10、11、12或13所述的中继装置，该中继装置包括：数据存储装置，其用于存储接收到的各个消息；和处理装置，其用于将各个存储消息与随后接收到的消息进行比较，其中，传输装置被设置为仅传输在所述数据存储装置中不重复的那些接收到的消息。

15.根据权利要求8、9、10、11、12、13或14所述的中继装置，该中继装置还具有从数据生成装置接收更多数据的装置，以及压缩所述数据以用于在聚合数据消息中传输的装置。

16.根据权利要求8、9、10、11、12、13、14、15或16所述的中继装置，该中继装置具有用于分析输入的聚合消息以捕获其中包含的数据的分析装置。

17.一种分散式通信网络，其中，多个服务器共同保持记录事件报告的数据库，所述多个服务器形成覆盖网络并基于在所述覆盖网络上运行的发布者转送方案而利用公共消息收发策略来互相通信，所述多个服务器具有聚合从一个或更多个其他服务器接收到的压缩数据消息以生成压缩聚合消息、并将所述压缩聚合消息广播到所述一个或更多个其他服务器的装置，所述多个服务器中的至少一个具有响应于特定事件而生成数据消息的装置，以及将如此生成的所述数据消息与从所述一个或更多个其他服务器接收到的消息相聚合的装置。

18.根据权利要求17所述的网络，其中，所述多个服务器具有在广播它们接收到的聚合消息之前对这些消息进行修改的装置。

19.根据权利要求18所述的网络，该网络具有用于删除所述消息中过期的元素的装置。

20.根据权利要求19所述的网络，该网络被设置为利用蔓延散播处理来散播经聚合的Bloom过滤消息。

21.根据权利要求18、19或20所述的网络，其中，个体服务器具有用于从待转送的数据中删除先前已经由同一装置接收到并转送的任何数据的装置。

22.根据权利要求18、19、20或21所述的网络，其中，个体服务器具有用于提取与服务器相关联的处理装置所需的数据的装置。

Images