CN103838824A - 一种用于空间信息分析的云计算中间件技术 - Google Patents

Abstract

本发明公开一种用于空间信息分析的云计算中间件技术，采用云计算及中间件技术，包括客户端和主题检索云计算中间件服务器来实现对空间信息的主题搜索。主题搜索包括云计算系统基础架构，页面信息采集、查询处理、信息抽取、信息索引、信息检索、信息排序等七个重要部分；用户通过客户端发送搜索请求，服务器对请求进行主题搜索处理，并将结果返回给客户端供用户浏览。通过构建分布式的页面库、主题词库、地理信息知识库、文本及空间索引数据库等，提高空间信息主题检索引擎的处理效率。本发明提供的主题搜索云计算中间件，屏蔽了各平台的差异，在针对海量空间信息主题检索的问题上，保证了检索的准确性和搜索效率，降低了开发成本。

Description

一种用于空间信息分析的云计算中间件技术

技术领域

本发明通过一种中间件进行空间信息的主题搜索，属于信息检索应用领域，涉及一种用于空间信息主题搜索的云计算中间件，适用于用户自定义所需主题信息与空间地理位置相关的信息搜索。

背景技术

自从2006年云的设想被Google提出以来，国内外的学术界和产业界都给与了极大的关注。在学术领域,Scientific Cloud和Open Nebula是有名的云计算科学研究项目。在产业界,Google云计算平台率先领跑，提出了分布式计算框架下分布式文件系统GFS(Google File System)、MapReduce分布式编程框架和并行处理的数据库系统Big Table；由于云计算平台将所有数据存储在网上和能够提供强大的计算资源等特点，使其成为了研究热点。在云计算的构建以及落地模式中，中间件技术成为核心组成部分。在云计算时代，由于中间件能够实现不同应用与平台之间的标准化，屏蔽不兼容问题，解决业务规模扩大，跨系统需求引起的信息孤岛效应，实现信息整合，各种平台之间的互联互通，协调工作。云计算中间件就是用来实施云计算功能、搭建云计算平台的中间件产品。目前，已经有相当一大批云中间件产品在研发和使用当中，云中间件已经被越来越多的人使用和传播。以SOA为代表的中间件技术逐渐被企业接受，并受到重视。

空间信息是与地理位置有关的信息，其载体是空间数据，据统计，人类生活中80％都和空间数据有关，随着遥感、全球定位系统和地理信息系统等技术的兴起，空间信息作为一种重要的信息资源，在国民经济和人民日常生活中发挥着越来越重要的作用。互联网上提供数字图像和地图数据等空间信息的站点和提供的空间数据种类和数量越来越多，人们可以访问到的越来越多的空间信息，如何充分利用这些信息成为一个重要问题。但空间信息具有发展的并发性和分布的无序性，彼此之间缺乏有机的联系，互联网的动态性、复杂性以及异构性，人们方便准确地搜索到所需的空间信息越来越难，通用搜索引擎越来越难以满足用户对某个主题领域的信息的查找，面向主题的搜索引擎的出现为解决这些问题应运而生。主题搜索引擎，又称作垂直搜索引擎，它只收录某一行业、某一方面或某一主题的网页信息，专服务于某一个学科或某一主题的信息检索服务，它在解决某些实际杳询问题时，比通用搜索引擎更为有效的面向用户提供空间信息搜索服务，从而帮助用户方便、快捷、精确的在互联网中找到所需的空间信息。在主题搜索引擎中，如何提高主题爬虫效率在实现高效信息爬取，保证正信息高质量成为主题搜索引擎的研究热点问题之一。将云计算中间件技术与空间信息搜索技术相结合起来，充分利用云计算平台提供的强大的计算资源和分布式数据储存的特点，能够建立一个快速的、高效的主题搜索引擎。

发明内容

本发明实施实例的目的是提供一种用于空间信息主题搜索的云计算中间件，以解决现有空间信言息搜索存在制约因素，使得空间信息搜索引擎开发难度大，研发成本高，针对性不强，准确率不高、检索速度慢等的问题。

本发明实施实例是这样实现的，一种用于空间信息主题检索的云计算中间件，所述中间件采用云计算中间件技术，MVC架构技术，包括客户端以及主题检索云计算中间件服务器等。所述客户端针对于不同平台进行了适配。

用户在客户端发送空间信息检索请求时，并发给服务器。服务器收到检索请求后，将检索内容进行查询处理，形成检索模块可以理解的形式，发送给信息检索模块。服务器端首先需要搭建一云计算系统基础架构；在此架构基础上，利用页面信息采集模块，从目标主题网站中抓取该网站内的网页，并储存到服务器文件存储空间中；利用查询处理模块将客户端提交的查询词，结合主题词库和地理信息本体进行查询歧义去除、查询解释、查询扩展和系统查询生成等查询处理操作，将处理过的查询提交给信息检索模块，由信息检索模块完成主题信息和地理信息的双重检索。信息抽取模块对存储在网页库中的数据借助主题词库、地理信息词典或地理本体进行抽取，通过信息索引模块建立文本索引和空间索引数据库。信息检索模块按照一定的检索策略对文本索引库和空间索引数据库进行主题信息和地理信息的双重检索，通过信息排序模块结合主题相关性和地理相关性生成相关度模型对检索结果进行排序，最后将检索结果的链接地址和页面内容摘要等组织起来返回给客户端。

空间信息主题检索云计算中间件的实现，主要分为7个步骤：搭建云系统基础架构→从Web上抓取网页→查询处理→信息提取→建立文本索引数据库和空间索引数据库→检索→对检索结果进行处理和排序。

步骤一，搭建一个云系统基础架构，使得用户能够轻松架构和使用分布式计算平台，使用户可以轻松地在云系统上开发和运行处理海量数据的应用程序。其以并行的方式工作，通过并行处理加快处理速度。

步骤工，从Web上抓取网页，利用分布式网络爬虫程序抓取目标网站的网页，从给定的起始URL集合开始，，沿着网页中的链接按照某种策略遍历Web,不停地从起始URL集合中移除URL,下载相应网页，解析出网页中的超链接URL,看是否已经被访问过，将未访问过的URL加入到起始URL集合中。重复这一过程并把遍历过的所有网页收集到网页数据库中。

步骤三，查询处理，系统接受来自用户的查询后，就结合地理信息词典或地理本体等进行查询歧义去除、查询解释、杳询扩展和系统查询生成等查询处理操作，将处理过的查询提交给检索模块，由检索模块完成主题信息和地理信息的双重检索。

步骤四，信息抽取，文本信息抽取结合主题词库进行抽取。地理信息抽取根据地理词典，定义一个地理信息知识库，地理词典包括世界范围内的地点的基本信息，如地名，行政类别，地名重要性，以及地名间的层次关系，还加入停顿词表，人名表，地理关系词表等。基于这个地理信息知识库，可以进行地名抽取，地名歧义消除等。抽取的过程主要包括地理解析(Geoparsing)和地理编码(Geocoding)。

步骤五，信息索引，主要是采用一定的索引结构，通过云计算平台进行并行建立文本索引数据库和空间索引数据库，并将数据库分布式存储。

步骤六，信息检索，将用户带有“地理约束的查询”经过查询处理后，检索模块按照一定的检索策略(检索模型)通过并行检索的方式来检索文本索引数据库和空间索引数据库。

步骤七，对检索结果进行处理和排序，系统把主题相关性和地理相关性结合起来，生成一个相关度数值来对检索结果进行排序。相关度越高，排名越靠前。最后由页面生成系统将检索结果的链接地址和页面内容摘要等组织起来返回给用户。

通过本发明提供的空间信息主题检索云计算中间件，屏蔽了个方面的差异，对于开发者来说，他们只需关注业务逻辑和客户端界面，而不需要关心不同服务器平台的差异。

附图说明

图1是本发明中空间信息主题检索的云计算中间件的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的目的在于提供一种用于空间信息主题搜索的云计算中间件。目前空间信息搜索领域的应用开发遇到了瓶颈，导致了很多通用搜索引擎的结果不是用户所需的，由于空间信息的地理特性，使得空间信息搜索引擎开发难度大，研发成本高，针对性不强，准确率不高等的问题。而用于空间信息主题搜索的云计算中间件解决以上问题。

本发明提供的用于空间信息主题搜索的云计算中间件是以hadoop分布式系统基础架构为基础，使得可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力告诉运算和存储，利用主题搜索来解决用户的空间信息需求，针对不同平台的多样性，开发的一套跨网络，跨平台，跨运行商的用于空间信息主题搜索的云计算中间件。

本发明实施例是这样实现的，一种用于空间信息主题检索的云计算中间件，所述云计算中间件，采用云计算技术，对于不同的平台底层进行封装。如图所示，该云计算中间件包括客户端，以及主题检索的云计算中间件服务器。

客户端即服务器向用户提供的浏览器查询界面，用户先在客户端的查询界面中输入带有地理约束的主题词，然后客户端将用户输入的查询词传输到主题检索云计算中间件服务器中主题搜索引擎的查询处理模块。经过服务器端的检索处理后将检索出的结果经过排序后返回给客户端、通常返回的信息只包括网页链接和大致信息，用户可点击链接查看网页详情。

服务器端首先需要搭建一云计算系统基础架构；在此架构基础上，利用页面信息采集模块，从目标主题网站中抓取该网站内的网页，并储存到服务器文件存储空间中；利用查询处理模块将客户端提交的查询词，结合主题词库和地理信息本体进行查询歧义去除、查询解释、查询扩展和系统查询生成等查询处理操作，将处理过的查询提交给信息检索模块，由信息检索模块完成主题信息和地理信息的双重检索。信息抽取模块对存储在网页库中的数据借助主题词库、地理信息词典或地理本体进行抽取，通过信息索引模块建立文本索引和空间索引数据库。信息检索模块按照一定的检索策略对文本索引库和空间索引数据库进行主题信息和地理信息的双重检索，通过信息排序模块结合主题相关性和地理相关性生成相关度模型对检索结果进行排序，最后将检索结果的链接地址和页面内容摘要等组织起来返回给客户端。

具体地，本发明提供的用于空间信息主体搜索的云计算中间件在构建的过程中采用了MVC组件式架构，该组件架构可以包括页面采集模块，查询处理模块，信息抽取模块，信息索引模块，信息检索模块和信息排序模块。

其中,Hadoop是一个能够对大量数据进行分布式处理的软件框架。以一种可靠、高效、可伸缩的方式进行处理的。利用Hadoop的最常见用法之一是Web搜索。虽然它不是惟一的软件框架应用程序，但作为一个并行数据处理引擎，它的表现非常突出。将其融入到主题搜索云计算中间件台中，能够充分的利用其高效的分布式文件系统和强大的并行处理海量数据的方式，充分体现云计算的优势。而采用GML标记语言开发的客户端，在融入空间信息检索后得到了极大的发挥，并且逐步的走向了成熟。

本发明提供的用于空间信息主题检索的云计算中间件采用Java、GML语言，GML语言作为地理空间信息领域的通用语言，实现客户端和服务器之间的通讯。同时GML也可用于描述不同平台上的用户界面，一个GML代表一个完整的用户界面操作，比如，GML可能包含Text Field,Button,Label等组件，类似于Java Applet中的PaneloGML具备HTML的Form的功能，他们可以处理事件和提交数据，可以发出request or submit请求。

本发明提供的用于空间信息主题检索的云计算中间件采用hadoop分布式系统基础架构来实现云计算。Hadoop的最常见用法之一是Web搜索，作为一个并行数据处理引擎，它的表现非常突出。使得开发者可以不了解分布式底层细节的情况下，开发分布式程序。能够充分的利用集群的威力高速运算和存储。Hadoop中的分布式文件系统(HDFS)有高容错性，能提供高传输率来访问应用程序的数据，适合那些有超大数据集的应用程序。能够对大量数据进行分布式处理的软件框架。它以并行的方式工作，通过并行处理加快处理速度。Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序，具备可靠性，高扩展性，高效性，高容错性，低成本等优点。Hadoop带有用Java语言编写的框架，Hadoop上的应用程序也可以使用其他语言编写，比如C++。

本发明提供的用于空间信息主题检索的云计算中间件中页面信息采集模块采用面向主题的网络爬虫技术，采用分布式爬虫系统爬取空间信息网页文本，将网络爬虫程序与hadoop框架相结合。本实例采用基于heritrix来构建信息采集模块，heritrix的优点在于它的开源性，它提供了一个开源的网络爬虫框架，可加入一些可互换的组件，具备良好的可扩展性，方便用户实现从网上抓取想要的资源。

本发明提供的用于空间信息主题检索的云计算中间件中查询处理模块，采用结合主题词库，地理信息词典或地理本体等进行基于词库的分词技术，基于词库、语义分析，本体的主题和地名识别技术，实现查询歧义去除，查询解释、查询扩展和系统查询生成等查询处理操作。

本发明提供的用于空间信息主题检索的云计算中间件中信息抽取模块包括对文本信息抽取和地理信息的抽取。文本信息抽取过程结合主题词库以及主题词的特征信息对web页面信息进行基于页面标志信息和基于文本模式信息两类算法的信息抽取。地理信息抽取的过程主要包括结合地理信息知识库进行地理解析(Geoparsing)和地理编码(Geocoding)。地理解析采用基于规则和基于统计的方法对web页面进行地理信息识别，地理编码进行geo／non-geo和geo／geo地名歧义去除，建立地理信息与具体地理位置之间的映射。

本发明提供的用于空间信息主题检索的云计算中间件中信息索引模块，采用SPIRIT项目的纯文本的索引(PT)和空间-文本索引(SP)，将信息抽取模块中抽取出的文本信息和空间信息分别建立文本索引数据库和地理信息索引数据库。纯文本索引通过采用Lucene和Hadoop结合并行建立排表文件索引结构。空间-文本索引采用考虑到文本和地理相关性的地理关注点索引、规则网格索引结构、四叉树索引结构和R-tree索引结构来提高空间信息检索系统的性能。Lucene作为一个基于Java开发的全文搜索工具包，具有强大的索引检索功能以及扩展功能，便于开发者利用其来设计满足自身需要的主题搜索引擎。考虑采用Lucene和Hadoop在索引阶段和查询阶段都进行并行处理，所以可以大大提高查询的效率。

本发明提供的用于空间信息主题检索的云计算中间件中信息检索模块中，采用与兼顾主题信息和地理信息的双重检索，包括查询扩展、检索模型、文档过滤等。将基于数据库的单字段查询和基于集合在一个搜索选择框中。采用考虑采用Lucene和Hadoop相结合的并行查询，以提高检索的效率。对应数据库字段搜索，采用Spring容器中的DAO组件程序进行数据库检索，采用Lucene searcher Tool应对全文检索要求。

本发明提供的用于空间信息主题检索的云计算中间件中信息排序模块，结合主题相关性和地理信息相关性生成相关度模型和基于PageRank算法和HITS算法的链接分析算法对检索结果进行排序，以提高搜索准确度。最后将检索结果的链接地址和页面内容摘要组织起来返回给客户端。

本发明提供的用于空间信息主题检索的云计算中间件优化了响应请求，对每个请求响应的数据包应有个合理的控制，通常在lOk最优。

下面是对本发明所涉及各技术的技术成熟性分析：

1.客户端引擎负责解析用户请求的即时数据，并在客户端呈现，使得业务可以随时调整更新；

2.应用服务在服务器端开发，使得客户端不需要承载过多的逻辑运算，大大减小了客户端的大小；

3.应用服务依赖于网络和服务器端部署，不用频繁升级客户端，从而减少用户流失；

4.数据能够被缓存在客户端，从而可以使客户端响应速度更快，数据往返于服务器的次数更少；

5.客户端保持与服务器数据源的连接，这样服务器能够实时地对客户端数据进行更新。

本发明具有以下效果：

1.高效性。应用服务在服务器端开发，使得客户端不需要承载过多的逻辑运算，大大减小了客户端的大小。

2.通用性。客户端模板采用GML标记性语言，针对不同操作系统，调配统一的开发模板，客户端负责解析用户请求的即时数据，并在客户端呈现，使得业务可以随时调整更新。

3.可实施性。系统必须与相关接入系统整合，尽可能减少对相关接入系统的影响。

4.稳定性：数据能够被缓存在客户端，从而可以使客户端响应速度更快，数据往返于服务器的次数更少。

5.高效性：应用服务依赖于网络和服务器端部署，不用频繁升级客户端，从而减少用户流失。

6.灵活性：能够快速开发新的应用，并和银行现有系统灵活对接，能够在不停止运行的情况下进行系统维护和更新。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.云计算中间件，采用云计算技术，对于不同的平台底层进行封装，包括客户端，以及主题检索的云计算中间件服务器。 

2.信息主题搜索的云计算中间件在构建的过程中采用了MVC组件式架构，该组件式架构可以包括页面采集模块，查询处理模块，信息抽取模块，信息索引模块，信息检索模块和信息排序模块。 

3.件融入了云计算技术，中间件客户端基于GML语言和基于Hadoop分布式软件处理架构。采用面向主题的分布式网络爬虫技术和基于heritrix与hadoop框架相结合的分布式爬虫系统。 

4.信息主题搜索的云计算中间件技术结合了主题词库和地理信息知识库的查询处理进行信息抽取；同时，融入基于Lucene和Hadoop结合的并行索引和检索技术。 

5.信息主题搜索的云计算中间件技术结合了主题相关性和地理信息相关性的相关度模型。 

Images