CN102981913A

CN102981913A - 支持大规模分布式增量计算的推理控制方法及推理控制系统

Info

Publication number: CN102981913A
Application number: CN2012105138004A
Authority: CN
Inventors: 李逸; 梅林�; 齐力; 梁辰
Original assignee: Third Research Institute of the Ministry of Public Security
Current assignee: Third Research Institute of the Ministry of Public Security
Priority date: 2012-12-04
Filing date: 2012-12-04
Publication date: 2013-03-20
Anticipated expiration: 2032-12-04
Also published as: CN102981913B

Abstract

本发明涉及一种支持大规模分布式增量计算的推理控制方法及推理控制系统，属于语义推理控制技术领域。采用该发明的方法，在服务器接收的推理任务超出服务器的负载阈值时，将与该服务器的知识库语义相关联程度小于给定关联度阈值的推理任务或部分推理结果转移到其它空闲且语义相近的服务器上；并在服务器上执行推理步的推理任务后，将执行结果返回上传给当前服务器，当前服务器继续运行未完成的推理任务。从而实现在一个服务器上运行的任务超负荷时，将任务根据其语义相关性迁移到其它服务器上，从而使全局资源的配置最优化，且本发明的支持大规模分布式增量计算的推理控制方法及推理控制系统，其系统结构简单，控制方法简便，应用范围也较为广泛。

Description

支持大规模分布式增量计算的推理控制方法及推理控制系统

技术领域

本发明涉及语义推理控制技术领域，特别涉及大规模分布式推理控制技术领域，支持大规模分布式增量计算的推理控制方法及推理控制系统。

背景技术

分布式环境是指数据和程序可以不位于同一个服务器上，而是分散到多个服务器，以网络上分散分布的地理信息数据及受其影响的数据库操作作为研究对象的一种理论计算服务器形式。分布式有利于任何在整个计算机系统上进行分配和优化，克服了传统集中式系统会导致中心主机资源紧张和响应瓶颈的缺陷，解决了网络GIS中存在的数据异构、数据共享、运算复杂等问题。分布式环境的特点：1、分布式环境不强调集中控制的概念，具有一个以全局管理员为基础的分层控制结构，但是每个局部管理员都具有高度的自主权；2、分布式环境具有分布式透明性的特点，即将数据进行转移不会影响程序的正确性；3、如果在需要的节点复制数据，则可以提高局部的应用性；当某节点发生故障时，操作其它节点上的复制数据。

目前已存在了很多分布式的数据库：一种是物理上分布的，但逻辑上却是集中的；另一种是物理上和逻辑上都是分布的。但对于分布式的推理系统来说还真正实现，有些分布式推理系统只是满足了资源的分布式，推理还是集中化。

经过对现有技术的检索发现，公开号为CN101739294A的中国专利申请，公开了一种基于规则的分布式推理方法：服务器接收推理任务，访问服务器上的知识库，当判断所述推理任务中的推理步所需要的知识不在所述知识库中，将所述推理任务下传给具有所述推理步所需要的终端。

上述方案虽然是分布式的，环境中有很多个推理节点，每个节点上部署相同的推理单元。但当推理任务超出服务器的负载阈值时，只是随机地向其他节点发送知识请求，而没有基于上下文语义关系来寻找语义相似性最大的其他节点，各节点难以达到负载均衡。

发明内容

本发明的目的是克服了上述现有技术中的缺点，提供一种服务器运行任务负载均衡、使全局资源的配置最优化、系统结构简单、控制方法简便、应用范围较为广泛的支持大规模分布式增量计算的推理控制方法及推理控制系统。

为了实现上述的目的，本发明的支持大规模分布式增量计算的推理控制方法包括以下步骤：

（100）服务器接收推理任务，依次遍历所有的推理任务，同时将各推理任务映射到对应的知识库；

（200）所述的服务器判断所述的推理任务是否超出服务器的负载阈值，若是，则进入步骤（300），若否，则进入步骤（400）；

（300）服务器判断所述各推理任务中的每一个推理步所需要的知识是否存储在当前服务器的知识库中，若是，则进入步骤（500），否则，则进入步骤（600）；

（400）所述的当前服务器将与该服务器的知识库语义相关联程度小于给定关联度阈值的推理任务或部分推理结果转移到其它空闲且语义相近的服务器上；

（500）向所述的当前服务器上传推理步的部分推理结果，以及所述推理步剩余的推理结构和知识；

（600）当前服务器将各推理任务所涉及到的知识，按语义关联相似性的大小进行聚类，若该推理任务所涉及的知识库与当前服务器中的知识库相关性小于一定的阈值，则服务器的推理机把该推理任务传送给下传单元，推理下传单元将所述信息下传给与之语义相近的其他服务器；

（700）在所述服务器上执行所述推理步的推理任务，并将所述推理步的执行结果返回上传给当前服务器，所述的当前服务器继续运行未完成的推理任务。

该支持大规模分布式增量计算的推理控制方法中，所述步骤（100）具体包括以下步骤：

（110）服务器依次接收请求的推理任务，并通过服务器的输入/输出单元进入推理单元的推理机中；

（120）所述的推理单元的推理机对推理任务依次进行遍历，针对每一个推理任务，策划每个推理任务的推理步和查询各步骤中所涉及到的知识库；

该支持大规模分布式增量计算的推理控制方法中，所述步骤（400）具体包括以下步骤：

（410）所述的当前服务器将各推理任务的各推理步所涉及到的知识对应到相应的知识库中；

（420）所述的当前服务器就每一个推理步所涉及到的知识，与现有的知识库进行语义相似度的计算，获得语义推理知识的语义内容和系统的知识库之间的距离；

（430）若语义关联相似度小于系统特定阈值，则所述的当前服务器将相关的推理任务推送给其他服务器处理；否则，继续完成推理任务或保存推理结果。

该支持大规模分布式增量计算的推理控制方法中，所述的步骤（420）具体包括以下步骤：

（421）将推理步所涉及到的知识和现有的知识库与完整的语义树相对应，将推理步所涉及到的知识和现有的知识库的关键词分别表示为所述的语义树上的两个结点p和q；

（422）在所述的语义树上找出所述的两个结点p和q的公共祖先结点；

（423）将所述的两个结点p和q到所述的公共祖先结点的距离之和作为所述的推理步所涉及到的知识和现有的知识库之间的距离。

该支持大规模分布式增量计算的推理控制方法中，所述（600）具体包括以下步骤：

（610）所述的当前服务器将所有推理任务涉及到的知识，按照语义关联相似性的距离大小进行聚类；

（620）所述的当前服务器将隶属于同一类的推理任务传送给服务器的推理下传单元；

（630）所述的推理下传单元将按照语义距离的大小将推理任务转发给其他语义距离相近的服务器。

本发明还提供一种用以实现所述方法的支持大规模分布式增量计算的推理控制系统，该系统包括推理任务输入单元、语义匹配单元、语义推理单元、知识库单元、推理任务下传单元、中心控制服务器单元和推理结果输出单元。其中，推理任务输入单元用于接收推理任务，并将接收到的推理任务传送给推理机；语义匹配单元根据本体知识，将推理任务中推理步所涉及到的知识进行匹配；语义推理单元根据本体知识，将推理任务中推理步所涉及到的知识进行推理；知识库单元用于存储部分或全部推理步所需要的知识；推理下传单元根据由服务器上的所述推理机下传的推理步的信息，把下传的推理步的信息发送给相应的终端；中心控制服务器单元用于全局监控整个分布式环境中的各服务器是否正常运作，如果发生数据输入、输出异常，则提示警报呼叫管理员；推理结果输出单元输出完整的对应于推理任务的推理结果。

采用了该发明的支持大规模分布式增量计算的推理控制方法及推理控制系统，在服务器接收的推理任务超出服务器的负载阈值时，将与该服务器的知识库语义相关联程度小于给定关联度阈值的推理任务或部分推理结果转移到其它空闲且语义相近的服务器上；并在所述服务器上执行推理步的推理任务后，将执行结果返回上传给当前服务器，当前服务器继续运行未完成的推理任务。从而实现在一个服务器上运行的任务超出负荷时，能够将任务根据其语义相关性迁移到其它服务器上，从而使全局资源的配置最优化，且本发明的支持大规模分布式增量计算的推理控制方法及推理控制系统，其系统结构简单，控制方法简便，应用范围也较为广泛。

附图说明

图1为本发明的支持大规模分布式增量计算的推理控制方法的步骤流程图。

图2为本发明实现的支持大规模分布式增量计算的推理控制系统的一个实例的结构示意图。

图3为本发明的支持大规模分布式增量计算的推理控制方法在实际应用中的流程示意图。

图4为本发明中大规模分布式增量计算的推理控制系统的实施例的时序图。

具体实施方式

为了能够更清楚地理解本发明的技术内容，特举以下实施例详细说明。

请参阅图1所示，为本发明的支持大规模分布式增量计算的推理控制方法的步骤流程图。

在一种实施方式中，该方法包括以下步骤：

在一种优选的实施方式中，所述步骤（100）具体包括以下步骤：

所述步骤（400）具体包括以下步骤：

且所述（600）具体包括以下步骤：

在一种更有选的实施方式中，所述的步骤（420）具体包括以下步骤：

本发明还提供一种用以实现上述的推理控制方法的支持大规模分布式增量计算的推理控制系统。在具体的实施方式中，该系统包括推理任务输入单元、语义匹配单元、语义推理单元、知识库单元、推理任务下传单元、中心控制服务器单元和推理结果输出单元。其中，推理任务输入单元用于接收推理任务，并将接收到的推理任务传送给推理机；语义匹配单元根据本体知识，将推理任务中推理步所涉及到的知识进行匹配；语义推理单元根据本体知识，将推理任务中推理步所涉及到的知识进行推理；知识库单元用于存储部分或全部推理步所需要的知识；推理下传单元根据由服务器上的所述推理机下传的推理步的信息，把下传的推理步的信息发送给相应的终端；中心控制服务器单元用于全局监控整个分布式环境中的各服务器是否正常运作，如果发生数据输入、输出异常，则提示警报呼叫管理员；推理结果输出单元输出完整的对应于推理任务的推理结果。

在实际应用中，本发明的支持大规模分布式增量计算的推理控制方法可以包括一下步骤：

服务器接收到推理任务，推理任务的描述形式包括任务id和任务名称，推理机将推理任务划分为多个逻辑上独立的推理步，依次遍历所有的推理任务的各个推理步，同时将这些推理任务映射到其所对应的知识库，知识库是具有全面组织的知识片集合，这些知识片包括与领域相关的理论知识、事实数据，由专家经验得到的启发式知识。

如果推理任务超出服务器的负载阈值，则将任务进行语义聚类分析；

根据基于推理任务的语义聚类分析结果，分发推理任务到其他语义相关的服务器；

获取推理任务的每一个推理步，将推理步分发给其他语义相关程度高的服务器；

最后，各服务器的推理结果按推理的反向顺序层层递归返回至总服务器。

图2为本发明实现的支持大规模分布式增量计算的推理控制系统的一个实例，客户端101、102或远程移动终端103、104、105向服务器端108提交大量的推理请求，服务器端根据推理任务的语义相似性关系，根据推理任务分发策略下传推理任务到其他空闲的服务器106、107、109上，最后将各服务器上的推理结果汇总到总服务器。其中，101、102为客户端；103、104、105为远程客户端；106、107、108、109为服务器。

其中，两个推理任务的语义距离计算，可以假设待求的两个推理任务中的关键词可以表示为两个结点（p和q），它们的公共祖先结点有如下的性质：公共祖先结点本身及其左右子树中必有p和q结点。于是从头结点开始依次访问它本身、左子树和右子树，其中含有p或q结点，就让计数符号加1。当访问结束后发现标记为2时，则说明当前结点以下同时包含p和q结点，即当前结点是目标的最近公共结点，则两个关键词的语义距离即p和q结点分别到最近公共结点的总和。

图3为本发明的方法的实施例的流程图，主要包括如下步骤：

步骤201，该推理控制系统（以下简称为“系统”）接收来自互联网、局域网和客户终端发出的推理任务请求；

步骤202，该系统判断推理任务的数据量是否超出了服务器的承载阈值；

步骤203，该系统将对推理任务进行聚类分析，计算推理任务之间的语义距离，若语义距离小于特定的阈值，则聚为一类；否则，为两类；

步骤204，该系统将推理任务分发给其他空闲且其知识库与推理任务语义相似的服务器；

步骤205，该系统将推理任务细分为具体的推理步，获取每一个推理步所需的知识；

步骤206，该系统将每一个推理步按照本服务器上的知识库，进行语义推理；

步骤207，该系统将推理步分发给语义相关的服务器；

步骤208，该系统将各服务器的部分推理结果返回服务器；

图4为本发明中大规模分布式增量计算的推理控制系统的实施例的时序图，主要包括如下步骤：

步骤301，将推理任务A和推理任务B提交给总服务器；

步骤302，总服务器根据推理任务的语义相关性对任务进行分发，使得推理任务与该服务器的知识库之间的语义关系是最关联的；

步骤303，按照上述分发策略进行推理任务的下发；

步骤304，由总服务器分发各推理任务A和推理任务B给服务器A和服务器B；

步骤305，服务器A和服务器B分别完成下传的推理任务命令：推理任务A和推理任务B；

步骤306，推理任务A中的推理步A’所涉及到的知识体与服务器A’语义相关，将推理步A’转发给服务器A’；

步骤307，服务器A’完成推理任务步A’；

步骤308，各分服务器将推理结果返回给总服务器。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims

1.一种支持大规模分布式增量计算的推理控制方法，其特征在于，所述的方法包括以下步骤：

2.根据权利要求1中所述的支持大规模分布式增量计算的推理控制方法，其特征在于，所述步骤（100）具体包括以下步骤：

（120）所述的推理单元的推理机对推理任务依次进行遍历，针对每一个推理任务，策划每个推理任务的推理步和查询各步骤中所涉及到的知识库。

3.根据权利要求1中所述的支持大规模分布式增量计算的推理控制方法，其特征在于，所述步骤（400）具体包括以下步骤：

4.根据权利要求3中所述的支持大规模分布式增量计算的推理控制方法，其特征在于，所述的步骤（420）具体包括以下步骤：

5.根据权利要求3或4中所述的支持大规模分布式增量计算的推理控制方法，其特征在于，所述（600）具体包括以下步骤：

6.一种用以实现权利要求1所述方法的支持大规模分布式增量计算的推理控制系统，其特征在于，所述的系统包括推理任务输入单元、语义匹配单元、语义推理单元、知识库单元、推理任务下传单元、中心控制服务器单元和推理结果输出单元，

所述的推理任务输入单元，用于接收推理任务，并将接收到的推理任务传送给推理机；

所述的语义匹配单元，根据本体知识，将推理任务中推理步所涉及到的知识进行匹配；

所述的语义推理单元，根据本体知识，将推理任务中推理步所涉及到的知识进行推理；

所述的知识库单元，用于存储部分或全部推理步所需要的知识；

所述的推理下传单元，根据由服务器上的所述推理机下传的推理步的信息，把下传的推理步的信息发送给相应的终端；

所述的中心控制服务器单元，用于全局监控整个分布式环境中的各服务器是否正常运作，如果发生数据输入、输出异常，则提示警报呼叫管理员；

所述的推理结果输出单元，输出完整的对应于推理任务的推理结果。