CN1924915A - 基于数据仓库技术的图书馆智能管理系统 - Google Patents
基于数据仓库技术的图书馆智能管理系统 Download PDFInfo
- Publication number
- CN1924915A CN1924915A CNA2006101222669A CN200610122266A CN1924915A CN 1924915 A CN1924915 A CN 1924915A CN A2006101222669 A CNA2006101222669 A CN A2006101222669A CN 200610122266 A CN200610122266 A CN 200610122266A CN 1924915 A CN1924915 A CN 1924915A
- Authority
- CN
- China
- Prior art keywords
- data
- warehouse
- information
- module
- data warehouse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于数据仓库技术的图书馆智能管理系统,包括数据获取模块、数据仓库、元数据仓库、信息目录模块、数据管理模块、中间件模块、应用服务模块和分布式管理模块。本发明能够连接图书馆众多类型各异的信息资源,通过数据仓库技术统一进行组织管理,并对这些信息进行综合分析处理,以统一的方式向用户提供多层次、多角度、智能化的多种信息产品和信息服务。用户不必在大量的简单原始数据信息中耗费太多的时间,充分利用了图书馆的信息资源,而且充分挖掘了信息资源的价值,有效提高了信息服务的效率和准确性。
Description
技术领域
本发明涉及一种计算机信息管理系统,尤其涉及一种基于数据仓库技术的图书馆智能管理系统。
背景技术
随着全球信息产业的高速发展,数字技术的应用日益普及,数字产品已经进入到各个领域,在图书馆中利用计算机技术有效提高了图书的管理水平。然而。随着经济的发展和社会的进步,人们对知识的需求和积累不断增加,图书馆的藏书不断增多,信息迅速增长。因此,对于图书馆的管理工作也提出了更高的要求,不但需要进一步提高图书管理水平,更为重要的是,需要实现图书信息的有效利用。
目前,针对图书馆图书管理的研究中,大多数主要集中在管理方面,很少有针对用户的需求来提供信息分析和决策支持的智能型管理的研究。此外,在数字化书籍管理的研究发展中,目前仍然存在着巨大的困难和障碍,主要表现在:如此大量的信息,究竟如何对它们进行有效的存储、管理和利用?如何充分发掘信息背后的信息及其潜在的价值?在因特网迅速扩大,信息量爆炸增长的今天,人们发现:数据、信息虽然越来越多,而知识即有序、有效、有价值的信息却越来越少。因此,挖掘大量数据信息背后隐藏的价值,提高图书管理的智能化程度成为人们密切关注的一个问题。
发明内容
本发明的目的在于克服现有技术的不足,提供一种能够连接众多类型各异的信息资源,以统一的方式向用户提供智能化的多种信息产品和信息服务的基于数据仓库技术的图书馆智能管理系统。
本发明的目的通过以下技术方案予以实现:
本发明提供的一种基于数据仓库技术的图书馆智能管理系统,包括:
数据获取模块,用于从各类数据源抓取数据,并对原始数据进行必要的清洁、增强和转换,使数据符合数据仓库所要求的规则,并将数据加载到数据仓库中;
数据仓库,用于存储管理各种类型的数据,使其以标准化的格式存储,并对每一种类型对象定义其索引、目录信息;
元数据仓库,用于运行和维护数据仓库,通过中间件模块为用户访问数据仓库提供一个信息目录;
信息目录模块,用于维护和管理元数据仓库;
数据管理模块,用于支持其它模块以生成、管理和访问数据仓库以及元数据仓库中的数据;
中间件模块,用于连接数据仓库与应用服务模块,从而以统一的方式为用户提供服务并支持用户对数据的访问;
应用服务模块,包括数据检索和访问模块以及信息发布模块,通过中间件连接数据仓库,其中数据检索和访问模块用于提供各类检索、分析和访问工具;信息发布模块用于支持数字化信息的发布;
分布式管理模块,用于维护数据仓库环境的系统管理服务,所述服务包括管理数据获取操作、将仓库数据归档、备份和恢复数据、访问系统中数据的保安和授权以及管理和调试数据访问操作。
本发明基于的数据仓库技术是数据库的一个新的应用、发展方向,最近几年获得了快速的发展。数据仓库是作为联机分析处理的数据源而产生的,是在数据库的基础上,以查询、分析为目的的,按特定方式组织和管理的数据库的集合。因此,数据仓库与数据库有着完全不同的特征,数据仓库技术是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,能够支持海量数据的存储以及对数据的快速检索分析,用于支持管理决策。
本发明是一种信息资源的组织管理模式,以数据仓库为核心的多种信息技术的集合,包括建立在数据仓库基础上的信息存储、信息检索、信息分析、信息挖掘、信息推送等多种先进的信息处理技术以及方法和工具。本发明系统以图书馆信息库群为核心,综合处理包括各类文献信息、社会信息、科研信息等在内的多种信息、使图书馆的所有信息数据按照一定的方式组织存储在数据仓库中,从而使得信息容易存取并且有使用价值,不仅提供传统图书馆的信息检索等服务功能,更多的是提供经过加工、分析等智能化综合处理后的信息产品,提供信息咨询、综合决策支持等智能化服务。
本发明的数据源包括内部数据源和外部数据源,实际上包含了各种类型、不同来源的信息。内部信息包括内部馆藏数据,如书目数据、文摘、全文等;外部数据包括Internet网上各类信息源以及各类学科门户网站上的数据信息。除用于信息服务的信息资源外,还包括供分析使用的业务数据,如语音业务、数据业务、应用业务、互联网业务、图像业务等方面的数据。数据获取模块从各类信息源获取数据后,对其进行加工,包括清洁、增强、转换、集成等处理,使数据符合一定的条件,如统一、一致性等。
数据经过加工后由数据获取模块加载到数据仓库中进行存储,其功能主要由DBMS来实现。数据的存放方式极大程度上影响到系统的性能,因为对于一个数字图书馆的数据仓库系统来说,最多涉及的操作是信息的查询,包括各种简单的或复杂的查询。因此,这里物理设计的非正规化被控制到最低。在数字图书馆的数据仓库系统中,合理的物理设计和数据存放方式是一个非常重要的问题。系统中所使用的数据管理程序通常既可以是RDBMS,也可以是多维DBMS。
元数据仓库采用元数据(metadata)和SGML技术标准来处理多种信息资源,以符合新的信息标引需求和数据格式。信息目录模块通过设计模块完成,帮助技术用户和业务用户访问和利用数据仓库系统,实现对系统中数据仓库元数据的维护和管理。
中间件模块是一种独立的系统软件或服务程序,分布式应用软件借助这种软件在不同的技术之间共享资源。中间件模块在操作系统、网络和数据库之上,应用软件的下层,总的作用是为处于自己上层的应用软件提供运行与开发的环境,帮助用户灵活、高效地开发和集成复杂的应用软件。
由于标准接口对于可移植性和标准协议对于互操作性的重要性,中间件已成为许多标准化工作的主要部分。对于应用软件开发,中间件远比操作系统和网络服务更为重要,中间件提供的程序接口定义了一个相对稳定的高层应用环境,不管底层的计算机硬件和系统软件怎样更新换代,只要将中间件升级更新,并保持中间件对外的接口定义不变,应用软件几乎不需任何修改,从而有利于软件的移植和节省开支。
数字图书馆的根本职责是提供各种各样、丰富多彩的信息服务。建立数据仓库系统的最终目标是为了提供更多、更好、更优质的智能化的信息服务以满足各类型用户的多层次的信息需求。数据检索和访问模块是系统功能的表现模块之一,提供各类检索和访问工具,如支持信息的属性检索、文本挖掘工具、基于内容的检索等,以及各类分析工具,如数据分析、内容分析等。信息发布模块用于支持数字化信息的发布。
分布式管理模块即系统管理模块,由于逻辑上独立的数字图书馆是一个面向对象、分布式的信息网络体系结构,是跨系统、跨平台的,所以必须采用分布式体系结构,相应的系统管理也必须是分布式的。包括一整套用于维护数据仓库环境的系统管理服务。这些服务包括管理数据获取操作,将仓库数据归档,备份和恢复数据,访问系统中数据的保安和授权,以及管理和调试数据访问操作。目前专门为管理数据仓库系统而设计的工具很少,大多数数据仓库管理者都是用仓库DBMS来完成这些工作。
为方便用户的使用,有效提高查询性能和获取信息的质量,并有效利用外部信息资源,本发明还可采取如下进一步措施:所述系统还包括:
学科知识数据仓库,用于存储与学科知识相关的数据;
个人数据仓库,用于存储与个人信息相关的数据;
外部数据仓库,用于存储管理外部信息数据;
数据传递模块,用于根据数据集合的内容和传递时间表,将数据仓库中的数据分布到学科知识数据仓库和个人数据仓库中去;
多个数据仓库通过中间件模块集成连接构成一个统一视图的虚拟数据仓库;
其中的学科知识数据仓库和个人数据仓库均为一种具体的数据仓库,适用于特定的应用目的或应用范围,有助于提高服务质量和效率。
本发明具有以下有益效果:
(1)将图书馆的各种信息资源、科研项目管理、项目进展情况、科研成果以及科研成果转化等通过数据仓库技术统一进行组织管理,并对这些信息进行综合分析处理,能够提供多层次、多角度、智能化的信息服务。
(2)不仅提供传统图书馆的信息检索等服务功能,更多的是提供经过加工、分析等智能化综合处理后的信息产品以及信息咨询、综合决策支持等智能化服务,极大提高了图书馆的管理服务水平。用户不必在大量的简单原始数据信息中耗费太多的时间,充分利用了图书馆的信息资源,而且充分挖掘了信息资源的价值,有效提高了信息服务的效率和准确性。
附图说明
下面将结合实施例和附图对本发明作进一步的详细描述:
图1是本发明实施例的结构组成框图;
图2是本发明实施例的层次结构框图。
具体实施方式
图1和图2所示为本发明的实施例,如图1所示包括:
数据获取模块,用于从各类数据源抓取数据,并对原始数据进行必要的清洁、增强和转换,使数据符合数据仓库所要求的规则,并将数据加载到数据仓库中;
数据仓库,用于存储管理各种类型的数据,使其以标准化的格式存储,并对每一种类型对象定义其索引、目录信息;
元数据仓库,用于运行和维护数据仓库,通过中间件模块为用户访问数据仓库提供一个信息目录;元数据仓库可以在数据仓库设计和开发过程中由仓库开发人员和管理人员生成,采用元数据(metadata)和SGML技术标准来处理多种信息资源,以符合新的信息标引需求和数据格式,
信息目录模块,用于维护和管理元数据仓库,可以通过设计模块完成,帮助技术用户和业务用户访问和利用数据仓库系统,实现对系统中数据仓库元数据的维护和管理;
数据管理模块,用于支持其它模块以生成、管理和访问数据仓库以及元数据仓库中的数据;
中间件模块,用于连接数据仓库与应用服务模块,从而以统一的方式为用户提供服务并支持用户对数据的访问;
应用服务模块,包括数据检索和访问模块以及信息发布模块,通过中间件连接数据仓库,其中数据检索和访问模块用于提供各类检索、分析和访问工具;信息发布模块用于支持数字化信息的发布;
学科知识数据仓库,用于存储与学科知识相关的数据;
个人数据仓库,用于存储与个人信息相关的数据;
外部数据仓库,用于存储管理外部信息数据;
数据传递模块,用于根据数据集合的内容和传递时间表,将数据仓库中的数据分布到学科知识数据仓库和个人数据仓库中去;数据集合的内容通常由管理者和用户进行界定;传递时间表是用信息目录模块中的信息助理设备确定下来的,数据传递可以在一天中的某一时间进行,也可以在一个外部事件结束时进行;
多个数据仓库通过中间件模块集成连接构成一个统一视图的虚拟数据仓库;
分布式管理模块,用于维护数据仓库环境的系统管理服务,所述服务包括管理数据获取操作、将仓库数据归档、备份和恢复数据、访问系统中数据的保安和授权以及管理和调试数据访问操作。
由于本实施例系统处理海量信息、提供多层次信息服务和信息产品等方面的特殊性,决定了其结构和功能等都与一般的数据仓库系统有较大的不同。从其体系结构和功能来看,如图2所示,分为以下几个层次:
信息获取层:从各种信息源获取数据信息,包括内部的和外部的。内部数据信息包括内部馆藏数据,如书目数据、文摘、全文等,外部数据信息包括Internet网上各类信息源以及各类学科门户网站上的数据信息。除用于信息服务的信息资源外,还应包括一些业务数据,以提供分析使用。从各类信息源获取数据,对其进行加工,包括清洁、增强、转换、集成等处理,使数据符合一定的条件,如统一、一致性等。
信息存储层:数据经过加工后进行存储。数据的存放方式极大程度上影响到系统的性能,因为对于一个数字图书馆的数据仓库系统来说,最多涉及的操作是信息的查询,包括各种简单的或复杂的查询。因此,这里物理设计的非正规化被控制到最低。在数字图书馆的数据仓库系统中,合理的物理设计和数据存放方式是一个非常重要的问题。系统中所使用的数据管理程序通常既可以是RDBMS,也可以是多维DBMS。数据仓库DBMS的要求比操作OLTP应用程序的要求高,需要考虑可伸缩性。随着查询复杂性和数据库规模的增大,使用并行硬件和并行数据库软件才能获得令人满意的性能。此外,在这一层可以根据信息获取层获得的信息,通过数据仓库以及个人数据仓库的内容经过升级过程来更新其它模块。
信息服务层:数字图书馆的根本职责是提供各种各样、丰富多彩的信息服务,建立数据仓库系统的最终目标是为了提供更多、更好、更优质的智能化的信息服务以满足各类型用户的多层次的信息需求。信息服务层提供查询、检索工具、数据分析、学科分析等辅助工具以及各类服务工具,以满足不同的信息需求。
用户访问层:数字图书馆、数据仓库归根结底是要提供用户访问。用户访问层就是要提供用户方便灵活的信息访问方式,如定制界面、定制信息服务等。用户还可以按照自己的需求和喜好建立自己的个人数据仓库,以提高查询性能和获取信息的质量。
Claims (2)
1、一种基于数据仓库技术的图书馆智能管理系统,其特征在于包括:
数据获取模块,用于从各类数据源抓取数据,并对原始数据进行必要的清洁、增强和转换,使数据符合数据仓库所要求的规则,并将数据加载到数据仓库中;
数据仓库,用于存储管理各种类型的数据,使其以标准化的格式存储,并对每一种类型对象定义其索引、目录信息;
元数据仓库,用于运行和维护数据仓库,通过中间件模块为用户访问数据仓库提供一个信息目录;
信息目录模块,用于维护和管理元数据仓库;
数据管理模块,用于支持其它模块以生成、管理和访问数据仓库以及元数据仓库中的数据;
中间件模块,用于连接数据仓库与应用服务模块,从而以统一的方式为用户提供服务并支持用户对数据的访问;
应用服务模块,包括数据检索和访问模块以及信息发布模块,通过中间件连接数据仓库,其中数据检索和访问模块用于提供各类检索、分析和访问工具;信息发布模块用于支持数字化信息的发布;
分布式管理模块,用于维护数据仓库环境的系统管理服务,所述服务包括管理数据获取操作、将仓库数据归档、备份和恢复数据、访问系统中数据的保安和授权以及管理和调试数据访问操作。
2、根据权利要求1所述的基于数据仓库技术的图书馆智能管理系统,其特征在于还包括:
学科知识数据仓库,用于存储与学科知识相关的数据;
个人数据仓库,用于存储与个人信息相关的数据;
外部数据仓库,用于存储管理外部信息数据;
数据传递模块,用于根据数据集合的内容和传递时间表,将数据仓库中的数据分布到学科知识数据仓库和个人数据仓库中去;
多个数据仓库通过中间件模块集成连接构成一个统一视图的虚拟数据仓库。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNA2006101222669A CN1924915A (zh) | 2006-09-20 | 2006-09-20 | 基于数据仓库技术的图书馆智能管理系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNA2006101222669A CN1924915A (zh) | 2006-09-20 | 2006-09-20 | 基于数据仓库技术的图书馆智能管理系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN1924915A true CN1924915A (zh) | 2007-03-07 |
Family
ID=37817541
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2006101222669A Pending CN1924915A (zh) | 2006-09-20 | 2006-09-20 | 基于数据仓库技术的图书馆智能管理系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN1924915A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101582090A (zh) * | 2009-07-07 | 2009-11-18 | 北京黑米世纪信息技术有限公司 | 一种基于web分析的分布式处理方法和系统 |
CN101976459A (zh) * | 2010-10-26 | 2011-02-16 | 深圳职业技术学院 | 虚拟现实图书馆自动排架系统的实现方法 |
CN102890708A (zh) * | 2012-08-30 | 2013-01-23 | 复旦大学 | 图书馆采访决策辅助支持系统 |
CN103186558A (zh) * | 2011-12-28 | 2013-07-03 | 中国航空工业集团公司第六三一研究所 | 一种基于图书馆管理信息系统的智能管理方法 |
CN104317857A (zh) * | 2014-10-15 | 2015-01-28 | 安徽华贞信息科技有限公司 | 一种房屋信息采集服务系统 |
WO2016008092A1 (en) * | 2014-07-15 | 2016-01-21 | Microsoft Technology Licensing, Llc | Managing data-driven services |
CN103186558B (zh) * | 2011-12-28 | 2016-12-14 | 中国航空工业集团公司第六三一研究所 | 一种基于图书馆管理信息系统的智能管理方法 |
CN107402943A (zh) * | 2016-05-20 | 2017-11-28 | 唐子建 | 知识管理系统 |
CN111461537A (zh) * | 2020-03-31 | 2020-07-28 | 山东胜软科技股份有限公司 | 一种基于油气生产数据的分类的量数方法及控制系统 |
CN112395367A (zh) * | 2020-11-10 | 2021-02-23 | 中国人寿保险股份有限公司 | 一种数据库数据处理方法及装置 |
CN113177150A (zh) * | 2021-04-25 | 2021-07-27 | 新华智云科技有限公司 | 出版物资源整合方法与出版物资源整合系统 |
-
2006
- 2006-09-20 CN CNA2006101222669A patent/CN1924915A/zh active Pending
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101582090A (zh) * | 2009-07-07 | 2009-11-18 | 北京黑米世纪信息技术有限公司 | 一种基于web分析的分布式处理方法和系统 |
CN101976459A (zh) * | 2010-10-26 | 2011-02-16 | 深圳职业技术学院 | 虚拟现实图书馆自动排架系统的实现方法 |
CN101976459B (zh) * | 2010-10-26 | 2012-09-05 | 深圳职业技术学院 | 虚拟现实图书馆自动排架系统的实现方法 |
CN103186558A (zh) * | 2011-12-28 | 2013-07-03 | 中国航空工业集团公司第六三一研究所 | 一种基于图书馆管理信息系统的智能管理方法 |
CN103186558B (zh) * | 2011-12-28 | 2016-12-14 | 中国航空工业集团公司第六三一研究所 | 一种基于图书馆管理信息系统的智能管理方法 |
CN102890708A (zh) * | 2012-08-30 | 2013-01-23 | 复旦大学 | 图书馆采访决策辅助支持系统 |
WO2016008092A1 (en) * | 2014-07-15 | 2016-01-21 | Microsoft Technology Licensing, Llc | Managing data-driven services |
US10348595B2 (en) | 2014-07-15 | 2019-07-09 | Microsoft Technology Licensing, Llc | Managing data-driven services |
CN104317857A (zh) * | 2014-10-15 | 2015-01-28 | 安徽华贞信息科技有限公司 | 一种房屋信息采集服务系统 |
CN104317857B (zh) * | 2014-10-15 | 2019-03-22 | 深圳市易图资讯股份有限公司 | 一种房屋信息采集服务系统 |
CN107402943A (zh) * | 2016-05-20 | 2017-11-28 | 唐子建 | 知识管理系统 |
CN111461537A (zh) * | 2020-03-31 | 2020-07-28 | 山东胜软科技股份有限公司 | 一种基于油气生产数据的分类的量数方法及控制系统 |
CN112395367A (zh) * | 2020-11-10 | 2021-02-23 | 中国人寿保险股份有限公司 | 一种数据库数据处理方法及装置 |
CN113177150A (zh) * | 2021-04-25 | 2021-07-27 | 新华智云科技有限公司 | 出版物资源整合方法与出版物资源整合系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1924915A (zh) | 基于数据仓库技术的图书馆智能管理系统 | |
Li et al. | A spatiotemporal indexing approach for efficient processing of big array-based climate data with MapReduce | |
Chen et al. | Map-reduce meets wider varieties of applications | |
Cui et al. | Big data: the driver for innovation in databases | |
US20160055191A1 (en) | Executing constant time relational queries against structured and semi-structured data | |
Wang et al. | Supporting a light-weight data management layer over hdf5 | |
CN1422403A (zh) | 迅速完成网络上分布的数据处理任务的系统及方法 | |
CN1688998A (zh) | 用于联机分析处理的方法和系统 | |
Elsayed et al. | Mapreduce: State-of-the-art and research directions | |
EP1450274A2 (en) | Dimension-based partitioned cube | |
Das et al. | A study on big data integration with data warehouse | |
Kumar et al. | DCMS: A data analytics and management system for molecular simulation | |
Röhm et al. | Data management for high-throughput genomics | |
CN102521383A (zh) | 一种分布式系统中的海量文件存储和访问方法 | |
Sheng et al. | Dynamic top-k range reporting in external memory | |
Page | A taxonomic search engine: federating taxonomic databases using web services | |
CN101882147A (zh) | 一种曲线数据存储装置及其存储方法 | |
CN1877573A (zh) | 多层次数据库系统结构 | |
JP2007528543A (ja) | プリレコーデッド構造化情報を格納するなんらかの型式の記憶媒体を提供する方法 | |
Szczerba et al. | Scalable cloud-based data analysis software systems for big data from next generation sequencing | |
Andrejev et al. | Scientific analysis by queries in extended SPARQL over a scalable e-Science data store | |
Valduriez | Principles of distributed data management in 2020? | |
Ma et al. | Efficient attribute-based data access in astronomy analysis | |
Holzmann et al. | Universal distant reading through metadata proxies with archivespark | |
Lacroix et al. | The biological integration system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |
Open date: 20070307 |