CN102567378A - 基于异构数据的信息检索系统 - Google Patents

基于异构数据的信息检索系统 Download PDF

Info

Publication number
CN102567378A
CN102567378A CN2010106093459A CN201010609345A CN102567378A CN 102567378 A CN102567378 A CN 102567378A CN 2010106093459 A CN2010106093459 A CN 2010106093459A CN 201010609345 A CN201010609345 A CN 201010609345A CN 102567378 A CN102567378 A CN 102567378A
Authority
CN
China
Prior art keywords
data
layer
isomeric
information retrieval
retrieval system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010106093459A
Other languages
English (en)
Inventor
戴韬
张仁良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanda University
Original Assignee
Sanda University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanda University filed Critical Sanda University
Priority to CN2010106093459A priority Critical patent/CN102567378A/zh
Publication of CN102567378A publication Critical patent/CN102567378A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明揭示了一种基于异构数据的信息检索系统，包括：异构数据存储层，根据不同的数据结构构建；数据整合层，连接到异构数据存储层，数据整合层与一个异构数据存储层进行数据交换时，使用与该异构数据存储层相符的数据结构，数据整合层将从异构数据库获取的数据进行数据格式转换，形成统一数据格式的数据并保存在数据缓存中，数据缓存中的数据与异构数据存储层中的数据在内容上同步；数据服务层，连接到数据整合层，包括一组业务逻辑模块，该一组业务逻辑模块访问数据缓存，从数据缓存中获取数据并执行业务逻辑；终端层，连接到数据服务层，调用数据服务层中的业务逻辑模块执行业务逻辑并获取业务逻辑的执行结果。

Description

基于异构数据的信息检索系统
 
技术领域
本发明涉及信息检索技术，尤其涉及一种基于异构数据的信息检索系统。
 
背景技术
信息检索系统的产生极大地提高了工作效率。信息检索系统将原本需要由人工操作的复杂的书面、统计等等的工作都交由计算机执行，更加有利的是，信息检索系统借助于数据库在更大的范围内进行数据收集和数据处理。数据库技术帮助积累了丰富的数据资源，也进一步提升了信息检索系统的工作效率和工作能力。
但是数据库系统和信息检索系统的结合应用中也遇到了一些问题。由于时间和空间上的差异，数据源各不相同，各信息系统的数据类型、数据访问方式等也都千差万别。这就导致各数据源、系统之间不能高效地进行数据交换与共享，成为“信息孤岛”。数据共享问题由此产生，异构数据共享问题也受到越来越多人的重视。异构数据不仅指不同的数据库系统之间的异构，如Oracle和SQL Server数据库，还包括不同结构数据之间的异构，如结构化的数据库数据和半结构化的数据。数据共享的难题突出表现在以下几个方面：1）数据的一致性无法保证。同一个数据在不同部门的应用系统中却是不一致的，正确性难以进行判断。另一方面，信息无法得到及时的共享和反馈。信息是具有时效性的，一些有用的信息超过了一定的时期，就变成了无用的信息。2）“信息孤岛”对日常管理和业务运行会产生非常不利的影响，如果不及时解决“信息孤岛”问题，会导致更多的新的“信息孤岛”的出现。造成数据共享程度的停滞不前。
由于受到数据共享以及信息孤岛问题的制约，使得结合数据库技术的信息检索系统的发展也受到了限制，尤其在异构数据的处理上，目前的技术显得力不从心。
 
发明内容
本发明旨在提出一种能够对异构数据进行有效处理的信息检索系统，以提升信息检索系统的应用水平。
根据本发明，提出一种基于异构数据的信息检索系统，包括：
异构数据存储层，所述异构数据存储层根据不同的数据结构构建，由数据存储服务器提供集群存储，提供海量数据的存储；
数据整合层，连接到异构数据存储层，所述数据数据整合层与异构数据存储层进行数据交换时，使用与该异构数据相符的数据结构，数据整合层将从异构数据库获取的数据进行数据格式转换，形成统一数据格式的数据并保存在数据缓存中，所述数据缓存中的数据与异构数据存储层中的数据在内容上同步；
数据服务层，包括数据服务器集群，采用webservice组件提供检索业务逻辑的实现；终端层，连接到所述数据服务层，终端层调用所述数据服务层中的业务逻辑模块执行业务逻辑并获取业务逻辑的执行结果；
终端层，提供检索系统界面并向前台服务层发送检索请求并显示检索结果；
所述异构数据存储层存储集群根据Oracle数据结构或者SQL数据结构构建。
所述数据整合层将从异构数据库获取的数据进行数据格式转换形成统一的数据格式的数据包括形成符合HTTP、XML或SOAP协议的数据。
所述数据整合层包括数据转换工具，所述数据转换工具将符合指定的第一数据格式的数据转换成符合指定的第二数据格式的数据。
所述数据转换工具包括：Oracle-HTTP转换工具、Oracle-XML转换工具、Oracle-SOAP转换工具、SQL-HTTP转换工具、SQL-XML转换工具和SQL-SOAP转换工具。
所述数据服务层的一组业务逻辑模块包括：
数据检索模块、文字处理模块、统计模块、通信模块、权限管理模块。
 
本发明的基于异构数据的信息检索系统能有效地整合异构数据，使得信息检索系统能够克服由于数据结构上的差异带来的问题，在更大范围的数据资源中进行运作，提升信息检索系统的应用水平和工作效率。
附图说明
图1揭示了根据本发明的基于异构数据的信息检索系统的结构图。
 
具体实施方式
参考图1所示，本发明揭示了一种基于异构数据的信息检索系统，包括：异构数据存储层10、数据整合层11、数据服务层12和终端层13。
异构数据存储层10根据不同的数据结构构建，数据存储服务器提供集群存储，其中的数据即所谓的异构数据。在一个实施例中，例如图1所示的实施例，异构数据存储层10中包括根据Oracle数据结构构建的数据库，例如图1中的异构数据库101，或者根据SQL数据结构构建的数据库，例如图1中的异构数据库102。在另外的实施例中，异构数据存储层也可以是结构化数据库或者半结构化数据库。
数据整合层11，连接到异构数据存储层10，数据整合层11与异构数据库10中的每一个进行数据交换，数据整合层11与一个异构数据库10进行数据交换时，使用与该异构数据库相符的数据结构，数据整合层将从异构数据库获取的数据进行数据格式转换，形成统一数据格式的数据并保存在数据缓存110中，数据缓存110中的数据与异构数据存储层10中的数据在内容上同步。例如在图1所示的实施例中，数据整合层11在与异构数据库101进行数据交换时使用Oracle数据结构，在与异构数据库102进行数据交换时使用SQL数据结构。数据整合层11将从异构数据库10获取的数据进行数据格式转换，形成统一数据格式的数据。在一个实施例中，来自异构数据库10的数据被转换成统一的符合HTTP协议的数据，或者统一的符合XML协议的数据，或者统一的符合SOAP协议的数据。参考图1所示的实施例，数据整合层11包括数据转换工具111，数据转换工具111将符合指定的第一数据格式的数据转换成符合指定的第二数据格式的数据。在一个实施例中，数据转换工具111可以包括如下的几种：Oracle-HTTP转换工具、Oracle-XML转换工具、Oracle-SOAP转换工具、SQL-HTTP转换工具、SQL-XML转换工具和SQL-SOAP转换工具。根据异构数据库10的数据格式和需要转换成的统一的数据格式的要求，可以选择不同的数据转换工具111。经过数据格式统一的数据，包括符合HTTP协议、符合XML协议、或者符合SOAP协议的数据被保存到数据缓存110中。数据缓存110中的数据与异构数据存储层10中的数据在内容上同步。可以这样理解，来自异构数据库的数据被数据整合层11实时地进行整合，同步地形成统一格式的数据并保存在数据缓存110中，这样，由于异构数据库的数据格式上的差异而带来的不便被消除。
数据服务层12连接到数据整合层11，数据服务层12包括一组业务逻辑模块，由webservice技术实现，该一组业务逻辑模块访问数据缓存110，从数据缓存110中获取数据并执行业务逻辑。参考图1所示的实施例，数据服务层12中的业务逻辑模块包括信息检索模块120、统计模块121、通信模块122、权限管理模块123。这些业务逻辑模块分别从数据缓存110中获取经过格式统一、具有各自所需的内容的数据来实现自己的业务逻辑。其中，信息检索模块120根据关键字进行检索、统计模块121获取统计信息进行统计分析、通信模块122获取通信信息实现通信、权限管理模块123获取身份信息和权限信息进行权限管理。
终端层13连接到数据服务层12，终端层13调用数据服务层12中的业务逻辑模块执行业务逻辑并获取业务逻辑的执行结果。在一个实施例中，终端层13可以包括输入输出设备和显示设备，以实现人机交互界面。
本发明的基于异构数据的信息检索系统能有效地整合异构数据，使得信息检索系统能够克服由于数据结构上的差异带来的问题，在更大范围的数据资源中进行运作，提升信息检索系统的应用水平和工作效率。

Claims (6)

1.一种基于异构数据的信息检索系统，其特征在于，包括：
异构数据存储层，所述异构数据存储层根据不同的数据结构构建，由数据存储服务器提供集群存储，提供海量数据的存储；
数据整合层，连接到异构数据存储层，所述数据数据整合层与异构数据存储层进行数据交换时，使用与该异构数据相符的数据结构，数据整合层将从异构数据库获取的数据进行数据格式转换，形成统一数据格式的数据并保存在数据缓存中，所述数据缓存中的数据与异构数据存储层中的数据在内容上同步；
数据服务层，包括数据服务器集群，采用webservice组件提供检索业务逻辑的实现；终端层，连接到所述数据服务层，终端层调用所述数据服务层中的业务逻辑模块执行业务逻辑并获取业务逻辑的执行结果；
终端层，提供检索系统界面并向前台服务层发送检索请求并显示检索结果。
2.如权利要求1所述的基于异构数据的信息检索系统，其特征在于，
所述异构数据存储层存储集群根据Oracle数据结构或者SQL数据结构构建。
3.如权利要求1所述的基于异构数据的信息检索系统，其特征在于，
所述数据整合层将从异构数据库获取的数据进行数据格式转换形成统一的数据格式的数据包括形成符合HTTP、XML或SOAP协议的数据。
4.如权利要求1所述的基于异构数据的信息检索系统，其特征在于，
所述数据整合层包括数据转换工具，所述数据转换工具将符合指定的第一数据格式的数据转换成符合指定的第二数据格式的数据。
5.如权利要求4所述的基于异构数据的信息检索系统，其特征在于，
所述数据转换工具包括：Oracle-HTTP转换工具、Oracle-XML转换工具、Oracle-SOAP转换工具、SQL-HTTP转换工具、SQL-XML转换工具和SQL-SOAP转换工具。
6.如权利要求1所述的基于异构数据的信息检索系统，其特征在于，所述数据服务层的一组业务逻辑模块包括：
数据检索模块、统计模块、通信模块、权限管理模块。
CN2010106093459A 2010-12-28 2010-12-28 基于异构数据的信息检索系统 Pending CN102567378A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010106093459A CN102567378A (zh) 2010-12-28 2010-12-28 基于异构数据的信息检索系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010106093459A CN102567378A (zh) 2010-12-28 2010-12-28 基于异构数据的信息检索系统

Publications (1)

Publication Number Publication Date
CN102567378A true CN102567378A (zh) 2012-07-11

Family

ID=46412817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010106093459A Pending CN102567378A (zh) 2010-12-28 2010-12-28 基于异构数据的信息检索系统

Country Status (1)

Country Link
CN (1) CN102567378A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013182127A1 (zh) * 2012-09-19 2013-12-12 中兴通讯股份有限公司 一种异构网络中的数据共享方法及装置
CN104298685A (zh) * 2013-07-18 2015-01-21 北大方正集团有限公司 实现异构系统统一检索的方法及装置
CN104572638A (zh) * 2013-10-09 2015-04-29 腾讯科技（深圳）有限公司 数据读写方法及装置
CN105426525A (zh) * 2015-12-09 2016-03-23 浪潮通用软件有限公司 一种基于数据存储的异构数据整合方法和装置
CN106030573A (zh) * 2014-02-19 2016-10-12 斯诺弗雷克计算公司 半结构化数据作为第一等级数据库元素的实现
CN106611011A (zh) * 2015-10-27 2017-05-03 北京航天长峰科技工业集团有限公司 一种多数据库综合集成接入方法
CN107370725A (zh) * 2017-06-21 2017-11-21 西安电子科技大学 一种云环境下通用加密数据库的存取方法及系统
CN107544999A (zh) * 2016-06-28 2018-01-05 百度在线网络技术（北京）有限公司 用于检索系统的同步装置及同步方法、检索系统及方法
WO2020168692A1 (zh) * 2019-02-22 2020-08-27 全球能源互联网研究院有限公司 海量数据共享方法、开放共享平台及电子设备
CN111737336A (zh) * 2020-07-30 2020-10-02 湖南中车时代通信信号有限公司 一种数据库及轨道交通信号系统
CN114691385A (zh) * 2021-12-10 2022-07-01 全球能源互联网研究院有限公司 一种电力异构计算系统

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013182127A1 (zh) * 2012-09-19 2013-12-12 中兴通讯股份有限公司 一种异构网络中的数据共享方法及装置
CN103685411A (zh) * 2012-09-19 2014-03-26 中兴通讯股份有限公司 异构网络中的数据共享方法及装置
CN104298685A (zh) * 2013-07-18 2015-01-21 北大方正集团有限公司 实现异构系统统一检索的方法及装置
CN104572638B (zh) * 2013-10-09 2019-03-26 腾讯科技（深圳）有限公司 数据读写方法及装置
CN104572638A (zh) * 2013-10-09 2015-04-29 腾讯科技（深圳）有限公司 数据读写方法及装置
CN106030573A (zh) * 2014-02-19 2016-10-12 斯诺弗雷克计算公司 半结构化数据作为第一等级数据库元素的实现
CN106030573B (zh) * 2014-02-19 2019-12-24 斯诺弗雷克公司 半结构化数据作为第一等级数据库元素的实现
CN106611011A (zh) * 2015-10-27 2017-05-03 北京航天长峰科技工业集团有限公司 一种多数据库综合集成接入方法
CN105426525A (zh) * 2015-12-09 2016-03-23 浪潮通用软件有限公司 一种基于数据存储的异构数据整合方法和装置
CN107544999A (zh) * 2016-06-28 2018-01-05 百度在线网络技术（北京）有限公司 用于检索系统的同步装置及同步方法、检索系统及方法
CN107370725A (zh) * 2017-06-21 2017-11-21 西安电子科技大学 一种云环境下通用加密数据库的存取方法及系统
WO2020168692A1 (zh) * 2019-02-22 2020-08-27 全球能源互联网研究院有限公司 海量数据共享方法、开放共享平台及电子设备
CN111737336A (zh) * 2020-07-30 2020-10-02 湖南中车时代通信信号有限公司 一种数据库及轨道交通信号系统
CN114691385A (zh) * 2021-12-10 2022-07-01 全球能源互联网研究院有限公司 一种电力异构计算系统

Similar Documents

Publication Publication Date Title
CN102567378A (zh) 基于异构数据的信息检索系统
US11392416B2 (en) Automated reconfiguration of real time data stream processing
CN109643312B (zh) 托管查询服务
US10447772B2 (en) Managed function execution for processing data streams in real time
CN111767143B (zh) 交易数据处理方法、装置、设备及系统
CN111400326B (zh) 一种智慧城市数据管理系统及其方法
CN108536778B (zh) 一种数据应用共享平台及方法
CN102567330A (zh) 异构数据库集成系统
CN102567334A (zh) 基于异构数据的办公自动化系统
CN107895046B (zh) 一种异构数据集成平台
CN110413822B (zh) 离线图像结构化分析方法、装置、系统和存储介质
CN102333108A (zh) 分布式缓存同步系统及方法
CN105069151A (zh) HBase二级索引构建装置和方法
CN104796389A (zh) 一种基础数据共享系统及其方法
WO2017092384A1 (zh) 一种集群数据库分布式存储的方法和装置
CN103838781A (zh) 数据库访问方法及系统
US10331484B2 (en) Distributed data platform resource allocator
CN103092982B (zh) 基于多视图业务模型的信息服务系统
CN103729455B (zh) 一种基于主副本存储模式的主数据存储方法
CN102946423B (zh) 一种基于分布式系统架构的数据映射推送系统及方法
CN104714923A (zh) 一种实现设备共享的方法和装置
CN114385684A (zh) 一种BaaS平台数据服务发布方法及其系统
CN115237924A (zh) 数据处理方法、系统、设备、介质和程序产品
CN108897748A (zh) 一种HBase系统监控方法及HBase系统
CN115080563A (zh) 数据捕获方法、装置、系统、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120711