CN101796795B - 分布式系统 - Google Patents

Abstract

本发明涉及分布式系统，其中，资源利用决策取决于分布式系统中存储的资源描述的半自动归类。在主要实施方式中，资源描述是使用用户和/或网络服务管理员输入的标签(例如，描述性词或短语)进行了补充的网络服务描述。最初使用这些描述的自动分类，之后是用户驱动的对自动生成类别进行精细调节，这使得能够快速创建资源描述的可靠归类，进而带来更好的资源利用决策且因此带来分布式系统资源的更有效使用。

Description

分布式系统

技术领域

本发明涉及分布式系统。在依照面向服务的架构构建的分布式系统中以及还在分布式信息存储和检索系统中尤其具有效用。

背景技术

当今世界中的主流电子信息检索系统是万维网(World Wide Web)。网络的大量非结构化性质意味着识别包含用户所需信息的网页的主要方法是使用搜索引擎。搜索引擎通常生成全文索引，该全文索引可用于快速识别包含了用户搜索查询中包括的所有词的网页。然后，使用页面分级算法向用户呈现最相关的那些网页。一些搜索引擎，例如clusty.com，对结果进行聚簇。

当用户发现包含有用信息的网页时，他能够在他用于浏览网络的计算机上保存网页的地址(URL)。这是著名的“书签(bookmarking)”处理。“书签”接口使得用户在分层文件夹系统中存储书签。因此，用户能够通过深挖分层文件夹系统中的相关文件夹而定位到有用的页面。

美国专利7,167,901公开了一种“书签”接口，其中，用户的网络浏览器针对包括描述了网页的内容的关键字的每个已标记网页自动生成记录。另外，为用户提供允许用户查看与已标记网页相关的关键字以及添加与该网页相关的其他关键字的接口。

上述美国专利考虑到了一个用户可能将他的书签文件发送给另一用户。所谓的社会书签正是这样一种理念的发展，其中，很多用户将保存在他们自己计算机中的书签上载到服务器计算机。然后，该服务器计算机向这些用户提供书签信息，并且还常常向其他用户提供书签信息。

一些这种站点为用户提供与服务器计算机交互以向共享书签添加注释的能力。这些注释可以是用户对网页或用户已经分配给该网页的关键字(后者常被称为“标签”)的分级。这种站点的一个示例是网站del.icio.us。网站del.icio.us允许用户看到由用户使用给定词加了标签的站点的列表。普遍的做法是，按照给网页赋予了相同标签的用户数目对网页进行分级。这给予了用户感知网页质量以及其与该标签的相关性的一些思路。

上述美国专利7,167,901设想了一种独立系统，其中，浏览器程序可以为用户提供与用户指定的关键字相关(自动或通过用户)的已标有书签的网页的列表。

Del.icio.us的用户可以将标签组织为用户定义的簇。Flickr(www.flickr.com)有时以簇的方式呈现其搜索结果。然后，用户可以识别哪个簇可能包含他们感兴趣的结果且对其搜索进行提炼以仅呈现该簇中的结果。

尽管对大多数类型的信息(例如，网页、照片、视频)进行加标签是已知的，但是关于对用于建立分布式应用的软件组件(例如，网络服务)进行加标签的文献很少。

很多公司专注于研究通过基于从文档提取的关键字对这些文档进行归类以将结构引入到大量非结构化文档的软件。该领域的公司包括Autonomy Inc(www.autonomy.com)、GammaSite Inc(www.gammasite.com)和Inxight Softare Inc(www.inxight.com)。

这些公司的客户可以使用这种软件来归类非结构化文档，因而加速信息的检索(因为搜索可以限制在客户感兴趣的类别)。

发明人已经领悟到加标签和自动结构生成如何能够有利地组合且应用于分布式应用，以改善运行分布式应用的系统的性能。

发明内容

根据本发明的第一方面，提供了一种分布式系统，该分布式系统包含：

一个或更多计算机，在操作中被设置为：

i)接收数字资源的标识符和归属于该数字资源的词，且基于所述归属的词自动生成所述数字资源的分类；

ii)为人类用户呈现图形用户接口，使得能够对所述自动生成的分类进行修改；

iii)依照经由所述图形用户接口接收的用户命令，修改所述分类；以及

iv)使用所述修改后的分类来识别一个或更多数字资源。

通过基于归属于数字资源的关键字，将这些数字资源自动组织成多个组，此后向用户呈现使得能够对这些组进行修改的接口，然后在为用户寻找实体中利用所述修改后的分组，提高了数字资源的检索速度。

当数字资源是文档时，这导致与用户查询相关的信息检索速度提高。当数字资源是分布式软件组件时，这使得能够快速且有效地定位适当的组件，以及使得能够在首选组件不可用情况下用另一组件快速替代。

附图说明

现在参考附图，仅通过举例的方式给出本发明的具体实施方式的描述，附图中：

图1示出了在支持城市警力中使用的联网的基于服务的基础设施；

图2A至图2J示出了在基础设施的各服务主机中存储的服务记录；

图3示出了基于服务的基础设施提供的且被组织为分类的服务；

图4是例示了服务主机怎样向基于服务的基础设施进行注册的流程图；

图5是例示了服务浏览器中的用于发现服务并呈现这些服务的输出的操作的流程图；

图6是更详细示出了服务浏览器提供的服务加标签接口的操作的流程图；

图7是例示了基于服务的基础设施中的管理计算机怎样执行用于在基于服务的基础设施中随后使用的服务分类的半自动构建的流程图；

图8是示出构建服务分类的自动阶段的流程图；

图9A和9B更详细地例示了在自动分类构建中使用的计算；

图10示出了向管理员呈现自动生成的分类的图形用户接口；以及

图11示出了管理员如何使用图形用户接口来修改自动生成的分类。

具体实施方式

图1示出了包括显示器、相机和位置报告系统(C1、C2、C3、C4、H1、H2、S1、S2、F1、P1)的多个电子装置。这些装置各个能够运行应用程序及在基础设施上分布的应用组件，因为它包括运行诸如WindowsCE的适当操作系统的嵌入式系统。各个装置与通信网络10具有入站和出站通信链路，且各个装置具有存储了可更新服务记录的永久存储器。电子装置响应于连接到网络10的膝上电脑U的用户发布的命令来提供服务。膝上电脑U包括诸如硬盘的永久存储器12。同样连接到网络10的是具有永久存储器14的管理计算机A。尽管仅示例了一个用户计算机，实际上，多个(几十或甚至成百上千个)这种用户计算机可以连接到网络10。

每个可编程装置/计算机存储并执行中间件，该中间件使得装置/计算机能够覆盖网络上的应用层网络，从而向网络上的其他装置/计算机提供服务以及发现并执行网络中其他装置/计算机上的服务。适当的中间件的示例是NEXUS中间件，该中间件在Nima Kaveh和Robert Ghanea-Hercock于2004年7月在BT Technology Journal，Vol.22no.3第209-215页上发表的文章“NEXUS-resilient intelligent middleware”中描述——此处以引证的方式并入其全部内容。图1示出了来自CD-ROM 20的中间件被安装在电子装置H1上——应当理解中间件也可以安装在其他每一个电子装置上。作为代替，中间件还可以作为固件引入电子装置中，或者从与网络10相连的程序服务器(未示出)下载中间件。

备选地，可以使用诸如IBM的网络空间(WebSphere)或BEA的网络逻辑(WebLogic)之类的可商业购得的中间件。

服务浏览器应用从CD 16加载到膝上电脑U，除了提供使得用户能够从可编程装置请求服务的用户接口之外，该膝上电脑还为用户提供允许用户通过向这些服务记录添加一个或更多个标签来对服务记录进行补充的接口。因此，各个可编程装置设置有响应服务请求且允许更新在该装置的永久存储器中存储的服务记录的软件。

管理软件从CD 18加载到管理计算机A，该管理计算机A使得管理员能够从各个电子装置下载服务记录、处理这些服务记录，然后将修改后的服务记录上载到各个装置。如下面更详细描述，处理服务记录的操作包括对这些服务记录的半自动归类。

图2A至图2J示出了存储在各个装置(C1、C2、C3、C4、H1、H2、S1、S2、F1、P1)的服务记录。各个服务记录包括服务标识符(最左列)、用户和/或管理员分配的标签的列表(第二列)以及基于标签的服务归类(最右列)。可以看出，各标签包含词或多个词的并置的组合。如下所述，在设置装置时输入服务标识符，在系统的使用过程中填入用户分配的标签和类别字段。

图3示出了管理计算机A通过将在下文予以详细描述的半自动处理而生成的服务分类。该服务分类存储在基于服务的基础设施中的各个客户计算机(例如，图1：U)的永久存储器12中。服务分类存储为树，树的叶节点包括对被归类为属于该叶节点代表的类别的服务的引用(reference)。服务分类还存储在管理计算机的永久存储器14中。如下文详细描述，服务类别的名称由管理员在归类处理的人工阶段来选择。

图4示出了作为Nexus中间件的一部分而提供的服务安装软件。安装处理开始于用户在电子装置(例如，H1)上安装并运行Nexus软件(步骤400)以及请求将装置内置软件注册(步骤402)为Nexus服务。然后提示用户(步骤404)以提供服务的名称。还提示用户(步骤406)以输入他认为应该应用于该服务的任意标签。然后，程序建立(步骤408)包括安装者输入的信息的该服务的服务记录(图2A-2J)。最初，服务记录的类别字段被设置为空。然后，在Nexus系统上广告(410)该服务，允许例如在用户计算机U运行Nexus服务浏览器时该用户计算机U的用户调用该服务。本领域技术人员将意识到，将使用诸如WSDL的服务描述语言来描述服务。服务描述包括允许远程计算机查询并更新服务记录的接口。

图5示出了当Nexus服务浏览器在用户计算机U上运行时该用户计算机U的操作。当用户启动程序时，Nexus中间件用于发现(步骤500)经由网络10可用的服务。然后，服务浏览器向用户呈现(步骤502)可用服务的列表。如果发现服务分类存储在该装置上，则可以将可用服务呈现为反映服务分类的可折叠/可展开的树(图3)。然后，提示用户从列表选择服务。一旦用户选择了(步骤504)服务，然后要求用户(步骤506)选择他是否希望执行所选服务或给所选服务加标签。如果用户选择执行所选服务，则服务主机执行服务且向用户计算机U返回(步骤508)服务的结果-可能仅是对请求的服务已被实施的确认。如果用户选择给所选服务加标签，则执行图6所示的处理。

用户加标签处理(图6)从向含有讨论中的服务的电子装置(C1、C2、C3、C4、H1、H2、S1、S2、F1、P1)发送(步骤602)数据库查询开始。该查询返回已经归属于该服务的标签的列表。将这些标签呈现给用户(步骤606)作为加标签接口的一部分。

接口还呈现(步骤606)允许用户键入由空格隔开的多个标签的文本字段。

如果用户点击(608)所建议的标签中的一个标签(其将是已经被服务安装者、管理员或者一个或更多其他用户归属于该服务的标签)，则标签被自动写入到文本字段中。用户输入的词也被添加(步骤614)到该文本字段。当用户通过按下返回或回车键或按下“提交”按钮来提交标签时，文本字段中的标签被发送(步骤618)到含有讨论中的服务的电子装置(C1、C2、C3、C4、H1、H2、S1、S2、F1、P1)。一旦接收到该消息，电子装置(C1、C2、C3、C4、H1、H2、S1、S2、F1、P1)通过向服务记录添加提交的标签来更新其服务记录。

图7示出了加载到管理员的计算机A的管理应用所执行的半自动归类处理。如下文将更全面解释，归类处理是半自动的在于：程序自动地生成推荐的归类，然后为管理员提供使得管理员能够手动修改该归类的接口(图10和图11)。

半自动归类处理(图7)由请求对系统中的服务记录进行归类的管理员触发。归类处理开始于管理计算机A从各个电子装置(C1、C2、C3、C4、H1、H2、S1、S2、F1、P1)下载(步骤702)服务记录(图2A-2J)且将这些记录并置以形成服务表，该服务表的每一行对应于一条服务记录(图2A-2J)。

然后处理(步骤704)服务表以基于在下载的服务记录(图2A-2J)中发现的标签得出不同服务的分层归类(图3的服务分类)。现在将参照图8更详细地描述这种基于标签的自动归类。

聚簇(图8)遵循一种自下而上的方法，其中最初认为n(在该示例中为10)个服务中的各个服务是仅包含该服务的服务簇。处理开始于计算n×n的相似度矩阵(步骤802)。

为了示例n×n相似度矩阵的计算，图9A中示出了5个服务(A-E)以及与其相关的标签的示例。对于每一对服务，根据如下的公式计算基于标签的相似度度量：

本领域技术人员将意识到，这是组A中的一组标签和组B中的一组标签之间的余弦相似度的形式。所得的n×n相似度矩阵在图9B中示出。本领域技术人员将意识到该矩阵是对称的，因此，仅需要计算对角线之上或之下的元素——同样不需要计算沿对角线的值，因为根据定义它们等于1.0。

一旦已经计算出服务相似度矩阵，存储(步骤804)服务相似度矩阵以用于后续的服务相似度的可视化，如下文所述。

然后将表示服务分类的抽象数据类型初始化为一组n个服务(步骤806)而服务之间没有任何关系。如下文所解释，自动归类处理将添加服务之间的关系以建立如图3所示的服务分类。服务分类的每个节点包括与该节点相关的标签列表。

此后，将簇计数器(m)初始化(步骤808)为服务的数目(n)。之后是分类构建处理的一次或更多次迭代(步骤810-818)。

分类构建处理的每次迭代开始于识别簇中的最相似的对且将其组合成单个簇(步骤810)。例如，给定如图9B所示的5×5相似度矩阵，服务C和E将被识别为最相似对，且被组合成单个簇。簇计数器相应地减小(步骤812)。

然后将代表组合后的簇的节点与指示该组合后的簇是每个子服务(或子簇或子服务和簇)的父的关系数据一起被添加到服务分类(步骤814)。将与各个子服务(或子簇或子服务和簇)相关的标签的列表进行组合以生成与代表该组合后的簇的节点一起存储的标签列表(两组标签的交集)。

然后，通过发现新组合后的簇和各个其他簇/服务之间的相似度度量(其他相似度值可以简单地从原先的相似度矩阵计算复制)来计算(步骤816)m×m相似度矩阵。使用上述标签的组合列表计算新组合的簇的相似度度量。然后存储(步骤818)m×m相似度矩阵。

然后实施测试(步骤1006)以确定现在是否已经发生了充足的聚簇。该测试可以是简单地判断是否达到所需的簇数目(例如在本具体示例中为6)。如果测试未满足，则实施分类构建处理的另一次迭代(步骤810-818)。

如果已经发生了充足的聚簇，则半自动归类处理的自动阶段结束(步骤820)。

图10示出了呈现给管理员的接口。图形用户接口被分成如下的5个面板：

聚簇面板：在该面板中以圆圈抽象地表示系统中的服务，且此处(如下述将解释的)，作为一种方式，应用基于力的聚簇(force-based clustering)以使得管理员能够看得见它们之间的关系。

导航面板：该面板中的一组选项卡允许用户通过选择子集来变更聚簇面板中的系统视图。此处使用每个类别一个选项卡，来反映服务类别(例如，图3中示出的分类)形式的任何现有结构。

标签面板：以分级列表来显示整个服务系统中的顶部标签。可以选择这些标签且聚簇面板上的视图将相应地更新。

图形面板：在该面板中以图形显示服务系统中的任何现有结构。结构例如可以是如图3所示的分类的树型表达。

工具条：在该面板中显示关于当前所选服务的细节以及为用户提供的通过关键字方式过滤系统视图的搜索框。也可从此处访问附加的弹出面板(诸如标签云视图)。

返回图7，通过绘制管理应用的图形用户接口的不同组件继续该半自动归类处理。

为了提供图形用户接口中可见的各种视觉显示，使用称为Prefuse(www.prefuse.org)的包。

使用在自动归类例程中计算的服务分类，来绘制导航面板。针对服务分类(图3)的当前所选类别，呈现选项卡。最初，类别被设置为全局“服务”类别。另外，显示代表中间子类别的选项卡。在当前选择的选项卡不代表最高级类别时，提供另一选项卡，该选项卡允许管理员在服务分类中向上移动一个层级。

使用在自动归类例程中计算出的服务分类，来绘制图形面板。此处，以树的形式呈现服务分类。

使用作为Prefuse包的一部分而提供的基于力的聚簇可视化工具，来绘制图形面板(步骤708)。该工具在聚簇面板中以圆圈呈现服务，然后移动它们，仿佛在圆圈之间存在吸引弹力，该吸引弹力与从步骤804中计算出的n×n相似度矩阵获得的服务之间的余弦相似度成比例。这可以帮助用户看出他可以怎样修改不同类别之间的成员关系以改善自动归类。

在优选实施方式中，通过分别突出显示属于不同类别的服务来显示自动生成的类别的成员关系。其示例可以在图11中看出，其中示出了6个自动生成的类别(1102-1112)。

返回图7，管理应用的图形用户接口允许管理员以如下方式查看服务分类。

在导航面板中选择选项卡

通过选择不同于代表最高级类别的选项卡的选项卡，然后在聚簇面板中仅示出所选类别中的那些服务。

在标签面板中选择(多个)标签

当管理员从标签面板中标签的分级列表选择一个或更多个标签时，在聚簇面板中突出显示具有所选标签的服务。

然后，管理程序依照管理员使用图形用户接口输入的命令(图10和11)修改(步骤710)服务分类(图3)。

在聚簇面板中选择服务

通过选择聚簇面板中的一组实体且发布“分组”命令，然后所选实体形成一组。提示用户给出该组的名称。然后通过使用导航面板向当前所选择的类别添加子类别，来更新服务分类。应当意识到这使得用户能够合并类别及拆分类别。

服务组到图形面板的拖放

通过在聚簇面板中选择一组服务，然后将所选择的组“拖放”到图形面板中绘制的树上的节点，使所选组成为上面被“放”了该组的节点所代表的类别的子类别。

当管理员认为他对服务分类的修改提供了有益的服务归类时，他请求管理计算机将修改后的服务分类分布(步骤712)到网络中的客户计算机(例如，用户计算机U)。然后，客户计算机在永久存储器(12)中存储修改后的服务分类。

此后，当发现用户需要的远程服务不可用时，在这些客户计算机上运行的应用可以使用该归类来推荐同一类别中的其他服务作为替代，或者甚至自动替代同一类别中的服务。

可以看出，上述实施方式是多么地改善了在基于服务的基础设施中运行的分布式应用的弹性。还可以看出自动服务归类与由人类管理员进行的提炼的组合是多么地将自动分类的速度和潜在范围与通过人类智慧进行验证的益处相结合。

对于上述实施方式的可能的修改包括：

i)不是对服务加标签，而是可以对文档加标签，尤其是对网页加标签。在这种情况下，将实现与用户查询相关的文档的加速检索的优点。

ii)服务记录不是分布在服务主机处，而是使用集中式数据库存储多个记录——每个记录例如包括URL、归属于URL的标签以及提交的每个标签的用户ID。

iii)服务记录还可以包括每个标签的标签频率，在这种情况下，仍能够计算基于tf-idf(term frequency-inverse document frequency：词频-文档频率倒数)的更复杂的余弦相似度。

iv)可以使用Euclidean(欧几里德)相似度度量或其他公知的文档相似度度量来代替余弦相似度度量。

v)管理设施可以内建于服务浏览器中。

vi)服务分类可以被导入到管理应用且在图形面板中显示。然后，用户能够基于聚簇面板中的基于力的聚簇的结果来修改现有分类。

vii)上述示例集中于将本发明应用于网络服务或其他分布式应用组件。本发明还在论坛帖子的组织方面非常有用，其中很多用户向存储所有论坛帖子的中央服务器提交他们对于各种主题的观点。

viii)最后，应当注意，从中间件视角，存在除了为用户仅进行呈现/过滤之外的分类用途。尽管在上述Nexus参考中没有解释，但是Nexus的最新版本使用主题(Topics)来在其出版/订阅消息基础设施上发送消息。具有如上所述的管理系统的主要优点之一在于将服务的语意分类知识向下反映到它们在网络上进行广告的层级。这样，用户(或者代表用户的系统)可以选择仅订阅相关信息子集(关于变更后的服务记录等)，且这样，可以实现带宽减小(在具有低带宽的大规模分布式系统中尤为重要)。不是通过直接检查内容的路由机制(例如，深度包检查)，而是间接地根据上述实施方式的变型来提供基于内容的路由，上述实施方式分析元数据并且用户参与处理(考虑实际内容)以得出最可能的类别组，即，消息基础设施本身被结构化的主题。

简而言之，本发明涉及分布式系统，其中资源利用决策取决于分布式系统中存储的资源描述的半自动归类。在主要实施方式中，资源描述是使用用户和/或网络服务管理员输入的标签(例如，描述性词或短语)补充的网络服务描述。最初使用这些描述的自动归类，之后是用户驱动的对自动生成类别的精细调节，这使得能够快速创建资源描述的可靠归类，进而带来更好的资源利用决策，因此带来分布式系统资源的更有效使用。

Claims (10)

1.一种分布式系统，该分布式系统包含一个或更多个管理计算机，该管理计算机包括：

i)接收模块，其用于接收数字资源的标识符和归属于该数字资源的词，且基于所述归属的词将所述数字资源自动布置在多个组中；

ii)显示模块，其用于在显示器上为人类用户呈现图形用户接口，使得能够对所述组进行修改；

iii)修改模块，其用于依照经由所述图形用户接口接收到的用户命令修改所述组；以及

iv)识别模块，其用于利用所修改后的分组来识别所述分布式系统中的一个或更多个数字资源；以及

v)使用模块，其用于使用所述分布式系统中的所述数字资源，

其中，所述分布式系统还包括：

数字资源的标识符和归属于该数字资源的词这二者的存储器，该存储器与所述管理计算机通信；

所述管理计算机被设置为通过从所述存储器下载该数字资源的标识符及归属于该数字资源的词来接收数字资源的标识符及归属于该数字资源的词；

一个或更多个客户计算机，其与所述存储器通信且在操作中被设置为使得用户能够使用数字资源且向所述存储器发送用户给予该数字资源的词，以与对应于所述资源的数字资源标识符关联。

2.根据权利要求1所述的分布式系统，其中，所述图形用户接口将所述数字资源表示为图形元素，根据所述数字资源的相似度的度量，计算所述图形元素在所述显示器上的相对位置，所述数字资源的相似度的度量是根据归属于所述数字资源的所述词计算的。

3.根据权利要求2所述的分布式系统，其中，所述分组是分层级的。

4.根据权利要求1所述的分布式系统，其中，将所述数字资源自动布置在多个组中的操作涉及寻找归属于所述数字资源的不同词的语意相似度的程度。

5.根据权利要求2所述的分布式系统，其中，所述图形用户接口使得所述用户能够选择一组图形元素且将所述组导入到分层级的分组中。

6.根据权利要求3所述的分布式系统，其中，所述图形用户接口还包括表示所述分层级的分组的树结构。

7.根据权利要求3所述的分布式系统，其中，所述图形用户接口使得用户能够选择分层级的分组中的种类且选择性地仅呈现代表了所选种类中的数字资源的图形元素。

8.根据权利要求1所述的分布式系统，其中，所述分布式系统还包括计算机网络以及经由所述计算机网络与所述管理计算机连接的一个或更多个客户计算机，

所述管理计算机在操作中还被设置为向所述客户计算机发送所述分组，所述客户计算机在操作中还被设置为使用所述分组来识别所要求的数字资源，此后使用所识别的资源。

9.根据权利要求1所述的分布式系统，其中，所述数字资源是在所述分布式系统上可执行的分布式应用程序的组件。

10.一种使用分布式系统中的数字资源的方法，其中所述分布式系统包括一个或更多个管理计算机、存储器和一个或更多个客户计算机，所述方法包括以下步骤：

i)将数字资源的标识符和归属于该数字资源的词这二者存储在与所述管理计算机通信的所述存储器中，由用户通过所述客户计算机向所述存储器发送用户给予该数字资源的词，以与对应于所述资源的数字资源标识符关联；

ii)由所述管理计算机通过从所述存储器下载数字资源的标识符及归属于该数字资源的词，来接收数字资源的标识符和归属于该数字资源的词，且基于所述归属的词将所述数字资源自动布置在多个组中；

iii)在显示器上为人类用户呈现图形用户接口，使得能够对所述组进行修改；

iv)依照经由所述图形用户接口接收的用户命令修改所述组；以及

v)使用所修改后的分组来识别所述分布式系统中的一个或更多个数字资源；以及

vi)使用所述分布式系统中的所述数字资源。

Images