CN103716372A - 一种数字图书馆即服务的云计算平台构建方法 - Google Patents
一种数字图书馆即服务的云计算平台构建方法 Download PDFInfo
- Publication number
- CN103716372A CN103716372A CN201310592410.5A CN201310592410A CN103716372A CN 103716372 A CN103716372 A CN 103716372A CN 201310592410 A CN201310592410 A CN 201310592410A CN 103716372 A CN103716372 A CN 103716372A
- Authority
- CN
- China
- Prior art keywords
- service
- digital library
- processor
- service processor
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
本发明公开了一种数字图书馆即服务的云计算平台构建方法。平台的构建采用四层结构,即物理存储层,虚拟设施架构层,数字图书馆引擎以及数字图书馆系统应用层,其中:物理存储层基于非结构化数据管理系统来存储和处理数字图书馆中的数据并提供分析、索引和查询功能;虚拟设施架构层用于构建和处理虚拟机节点,提供基础的云计算设施;数字图书馆引擎用于创建和处理数字图书馆服务节点,并实现了资源处理服务、多租户服务和质量保证服务。本发明通过构建数字图书馆即服务的云计算平台,可以方便用户构建和维护数字图书馆系统;同时,数字图书馆引擎通过资源处理服务、多租户服务和质量保证服务,使得数字图书馆系统安全、可靠、可扩展和高性能。
Description
技术领域
本发明涉及云计算技术领域,特别是涉及一种数字图书馆即服务的云计算平台构建方法。
背景技术
随着数字图书馆的快速发展,涉及越来越多的数据和智能服务。同时,人们也意识到数字图书馆的重要性和便捷性。然而在目前条件下,构建并维护一个专业数字图书馆的代价是很大的,一些机构团体和个人用户也没有能力去运行和维护这么一个涉及海量数据和复杂服务的数字图书馆。同时,随着互联网、云计算、虚拟化技术的快速发展,如今的时代是一个无处不网、无时不网、人人上网、时时在线的时代,通过云计算,广大用户无需自购软件、硬件,无需将自己的软硬件系统交给他人托管,甚至无需知道是谁提供的服务,只需关注自己真正需要什么样的资源或者得到什么样的服务。如今云计算技术在很多领域得到了极大的发展,但对于数字图书馆领域,真正能够提供用于数字图书馆服务动态部署和应用的平台或框架相对较少。鉴于此,本发明提出了一种数字图书馆即服务的云计算平台构建方法。该方法将数字图书馆和云计算技术结合起来,在云端构建一个数字图书馆引擎,用于快速部署数字图书馆服务、方便处理数字图书馆服务节点资源以及处理用户服务请求。单位和机构可以通过数字图书馆引擎创建数字图书馆服务节点,然后将自己的服务部署在数字图书馆服务节点中,即可得到高效稳定的数字图书馆服务,而无需担心数字图书馆的处理和维护问题。
发明内容
本发明的目的是克服现有技术的不足,提供一种数字图书馆即服务的云计算平台构建方法。
为实现上述的发明目的,本发明采用下述的技术方案:
一种数字图书馆即服务的云计算平台构建方法的步骤如下:
(1)平台服务提供者构建基于非结构化数据管理系统的物理存储层,用来存储和处理数字图书馆中的数据并提供分析、索引和查询功能;
(2)平台服务提供者构建基于基础设施即服务框架的虚拟设施架构层,用于构建和处理虚拟机节点,提供基础的云计算设施;
(3)平台服务提供者构建基于面向服务架构的数字图书馆引擎,实现服务组件处理,同时创建和处理数字图书馆服务节点,并实现资源处理服务、多租户服务和质量保证服务;
(4)平台服务提供者构建数字图书馆系统应用层,提供用户创建的数字图书馆服务节点,用于处理数字图书馆服务;
(5)完成上述四个步骤之后,普通用户向平台提交创建数字图书馆所需的硬件需求,所需的硬件需求包括内存、CPU、硬盘大小以及操作系统类型;
(6)用户通过命令行向数字图书馆引擎提交创建数字图书馆服务节点的请求,所述的请求包括创建命令、服务名称、服务节点数目以及包含步骤(5)中所述的硬件需求的XML文件名称;
(7)平台根据步骤(6)中用户所提交的请求,创建虚拟机节点,并启动虚拟机节点;
(8)用户根据面向服务架构的技术规范开发服务组件,并为服务组件构建组件说明文件,包括组件名称、服务名称、组件依赖关系以及组件部署份数信息;
(9)平台根据步骤(8)中的组件说明文件,部署并启动服务组件和服务组件依赖的组件;
(10)启动服务后,通过表述性状态转移接口或网页访问数字图书馆服务。
所述的物理存储层基于非结构化数据管理系统来存储和处理数字图书馆中的数据并提供分析、索引和查询功能,其中非结构化数据管理系统提供数字对象模型解决异构数字资源的统一表达,提供数字对象仓储用于数字对象的创建、读写、删除和更新操作,还提供了基于大规模数据集软件架构的分布式计算功能、分布式索引功能和分布式查询功能。
所述的数字图书馆引擎,包括数字图书馆框架、数字图书馆服务节点处理服务、资源处理服务、多租户服务和质量保证服务,数字图书馆引擎根据数字图书馆框架创建数字图书馆服务节点,然后用户在该服务节点上部署数字图书馆服务组件,具体表现为:
(1)所述的数字图书馆框架是数字图书馆引擎中最重要的部分,数字图书馆框架采用主从体系架构,包含一个主服务处理器,一个辅助服务处理器和多个应用服务处理器,同时提供表述性状态转移接口来处理数字图书馆服务;
主服务处理器通过分布式协调器处理应用服务处理器集群,当一个应用服务处理器宕掉时,主服务处理器会收到通知,然后主服务处理器会重新调度服务组件以保证服务质量;同时主服务处理器维护服务组件的所有元数据信息,包括服务到应用服务处理器的映射关系、会话ID到应用服务处理器的映射关系以及服务组件的位置;主服务处理器同时维护应用服务处理器的状态信息以用于服务调度和负载均衡;另外,主服务处理器控制系统层次的活动,包括应用服务处理器间的服务组件迁移、服务组件生命周期的处理,应用服务处理器和服务组件的容灾;辅助服务处理器是主服务处理器的备份,当主服务处理器失效时,辅助服务处理器能够及时替换主服务处理器以继续提供服务;
应用服务处理器基于面向服务的框架实现,负责动态处理服务组件,在应用服务处理器中,服务组件分为基础服务组件和应用服务组件,基础服务组件部署在所有应用服务处理器上,包括非结构化数据管理系统客户端组件、监控服务、缓存服务、日志组件以及会话组件,而应用服务组件根据服务器负载情况和服务组件间的依赖关系部署在指定的应用服务处理器上;在数字图书馆引擎中,基础服务组件被集成在虚拟机镜像中,随虚拟机启动而启动,而应用服务组件则是用户自己部署安装的;
(2)所述的数字图书馆服务节点处理服务指的是数字图书馆引擎创建的数字图书馆服务节点的全生命周期处理,包括创建、运行和删除数字图书馆服务节点,数字图书馆服务节点维护了用户创建的数字图书馆系统的所有元数据信息,包括服务节点的位置信息、服务节点所使用的虚拟机数量、租户与系统服务间的映射关系,通过这些元数据,数字图书馆引擎控制服务节点的所有活动,也可以将用户的请求发送给相应的服务节点;
(3)所述的资源处理服务,由一个全局资源处理器和部署在每台物理机上的节点处理器实现;
资源处理器和节点处理器共同处理虚拟机的运行,资源处理器收集物理机的资源利用率,包括CPU、内存和硬盘利用信息,通过这些信息,资源处理器能够在合适的物理机上创建虚拟机和在物理机间进行虚拟机迁移来实现负载均衡,节点处理器根据资源处理器的命令处理本地物理机上的虚拟机,包括创建、移除和迁移操作,同时将虚拟机的运行情况报告给资源处理器;
当用户想要创建数字图书馆服务节点时,可以将需要的硬件配置信息,包括CPU、内存、硬盘利用信息发送给资源处理器,资源处理器接收到消息后,根据物理机的资源利用率将请求发送给合适的一组节点处理器,这组节点处理器则通过调用虚拟设施架构层的虚拟机应用服务,构建虚拟机集群以部署数字图书馆服务节点,每个服务节点上的主服务处理器监听应用服务处理器以获取资源利用情况,当应用服务处理器上的CPU利用率超过80%时,主服务处理器会通知资源处理器,资源处理器将会增加更多的虚拟机到该数字图书馆服务节点中以保证服务质量;
(4)所述的多租户服务,指的是在数字图书馆引擎中,隔离不同用户创建的数字图书馆服务节点,以达到安全的目的,对于服务的多租户服务,即通过虚拟机的隔离策略实现,不同的数字图书馆服务节点可以部署在不同的虚拟机集群上,使得数字图书馆的服务得到隔离;同时,数字图书馆引擎可以通过资源处理器和节点处理器来调度虚拟机,提高资源利用率;对于数据的多租户服务,则通过非结构化数据管理系统的命名空间来实现,不同用户的数据存放在各自的命名空间中,以达到隔离的效果;
(5)所述的质量保证服务,指的是数字图书馆引擎可以根据数字图书馆系统的负载自适应的调整应用服务处理器个数,以达到负载均衡和理想的服务质量,质量保证服务通过消息队列和分布式协调器实现;
在数字图书馆服务节点中部署服务时,主服务处理器通知应用服务处理器部署相关的服务,然后创建消息队列用于用户请求处理,同时应用服务处理器上启动监听消息队列服务器的服务,当用户请求到来时,主服务处理器将请求入队,相应的应用服务处理器从消息队列中取出消息,并解析处理响应,由于应用服务处理器一直在监听消息队列,这个机制能够确保用户请求得到及时响应;
同时,主服务处理器监控消息队列和物理机的状况,当消息队列的长度超过所设置的阈值时,这意味着用户请求数量超过系统所能处理的能力,有些请求将不能得到及时处理,此时主服务处理器将会部署更多的服务组件以提供服务,当所有的应用服务处理器的负载都很重时,系统将添加新的应用服务处理器并部署所需的服务组件;当请求数量减少时,应用服务处理器出现空闲,那么部分空闲的虚拟机将会被移除以达到充分利用资源。
本发明与技术背景相比具有的有益效果:
1)通过构建数字图书馆即服务的云计算平台,可以方便用户构建和维护数字图书馆系统;
2)数字图书馆引擎通过资源服务、多租户服务和质量保证服务,使得数字图书馆系统安全、可靠、可扩展,并具有容错容灾和负载均衡的特性。
附图说明
图1是本发明提出的数字图书馆即服务的云计算平台的层次结构图;
图2是本发明提出的数字图书馆引擎的架构图;
图3是本发明提出的数字图书馆引擎中的数字图书馆框架图;
图4是本发明提出的数字图书馆引擎中的资源处理服务架构图;
图5是本发明提出的数字图书馆引擎中多租户服务结构图;
图6是本发明实施例中用户提交创建数字图书馆所需的硬件需求描述文件;
图7是本发明实施例中平台创建的虚拟机节点运行图;
图8是本发明实施例中中国书法服务组件的描述文件;
图9是本发明实施例中服务组件启动结果图;
图10是本发明实施例中通过表述性状态转移接口访问中国书法字结果显示图;
图11是本发明实施例中通过网页形式访问中国书法字结果显示图。
具体实施方式
一种数字图书馆即服务的云计算平台构建方法的步骤如下:
(1)平台服务提供者构建基于非结构化数据管理系统的物理存储层,如图1所示,用来存储和处理数字图书馆中的数据并提供分析、索引和查询功能;
(2)平台服务提供者构建基于基础设施即服务框架的虚拟设施架构层,如图1所示,用于构建和处理虚拟机节点,提供基础的云计算设施;
(3)平台服务提供者构建基于面向服务架构的数字图书馆引擎,如图1所示,实现服务组件处理,同时用于创建和处理数字图书馆服务节点,并实现资源处理服务、多租户服务和质量保证服务;
(4)平台服务提供者构建数字图书馆系统应用层,如图1所示,提供用户创建的数字图书馆服务节点,用于处理数字图书馆服务;
(5)完成上述四步骤之后,普通用户提交创建数字图书馆所需的硬件需求,所需的硬件需求包括内存、CPU、硬盘大小以及操作系统类型;
(6)用户通过命令行向数字图书馆引擎提交创建数字图书馆服务节点的请求,所述的请求包括创建命令、服务名称、服务节点数目以及包含步骤(5)中所述的硬件需求的XML文件名称;
(7)平台根据步骤(6)中用户所提交的请求,创建虚拟机节点,并启动虚拟机节点;
(8)用户根据面向服务架构的技术规范开发服务组件,并为服务组件构建组件说明文件,包括组件名称、服务名称、组件依赖关系以及组件部署份数信息;
(9)平台根据步骤(8)中的组件说明文件,部署并启动服务组件和服务组件依赖的组件;
(10)启动服务后,通过表述性状态转移接口或网页访问数字图书馆服务。
所述的物理存储层基于非结构化数据管理系统来存储和处理数字图书馆中的数据并提供分析、索引和查询功能,其中非结构化数据管理系统提供数字对象模型解决异构数字资源的统一表达,提供数字对象仓储用于数字对象的创建、读写、删除和更新操作,还提供了基于大规模数据集软件架构的分布式计算功能、分布式索引功能和分布式查询功能。
所述的数字图书馆引擎,其框架如图2所示,包括数字图书馆框架、数字图书馆服务节点处理服务、资源处理服务、多租户服务和质量保证服务,数字图书馆引擎根据数字图书馆框架创建数字图书馆服务节点,然后用户在该服务节点上部署数字图书馆服务组件,具体表现为:
(1)所述的数字图书馆框架,如图3所示,是数字图书馆引擎中最重要的部分,数字图书馆框架采用主从体系架构,包含一个主服务处理器,一个辅助服务处理器和多个应用服务处理器,同时提供表述性状态转移接口(REST)来处理数字图书馆服务;
主服务处理器通过分布式协调器(Zookeeper)处理应用服务处理器集群,当一个应用服务处理器宕掉时,主服务处理器会收到通知,然后主服务处理器会重新调度服务组件以保证服务质量;同时主服务处理器维护服务组件的所有元数据信息,包括服务到应用服务处理器的映射关系、会话ID到应用服务处理器的映射关系以及服务组件的位置;主服务处理器同时维护应用服务处理器的状态信息以用于服务调度和负载均衡;另外,主服务处理器控制系统层次的活动,包括应用服务处理器间的服务组件迁移、服务组件生命周期的处理,应用服务处理器和服务组件的容灾;辅助服务处理器是主服务处理器的备份,当主服务处理器失效时,辅助服务处理器能够及时替换主服务处理器以继续提供服务;
应用服务处理器基于面向服务的框架实现,负责动态处理服务组件,在应用服务处理器中,服务组件分为基础服务组件(Basic Service Bundle, BSB)和应用服务组件(Application Service Bundle, ASB),基础服务组件部署在所有应用服务处理器上,包括非结构化数据管理系统客户端组件、监控服务、缓存服务、日志组件以及会话组件,而应用服务组件根据服务器负载情况和服务组件间的依赖关系部署在指定的应用服务处理器上;在数字图书馆引擎中,基础服务组件被集成在虚拟机镜像中,随虚拟机启动而启动,而应用服务组件则是用户自己部署安装的;
(2)所述的数字图书馆服务节点处理服务指的是数字图书馆引擎创建的数字图书馆服务节点的全生命周期处理,包括创建、运行和删除数字图书馆服务节点,数字图书馆服务节点维护了用户创建的数字图书馆系统的所有元数据信息,包括服务节点的位置信息、服务节点所使用的虚拟机数量、租户与系统服务间的映射关系,通过这些元数据,数字图书馆引擎控制服务节点的所有活动,也可以将用户的请求发送给相应的服务节点;
(3)所述的资源服务,如图4所示,由一个全局资源处理器和部署在每台物理机上的节点处理器实现;
资源处理器和节点处理器共同处理虚拟机的运行,资源处理器收集物理机的资源利用率,包括CPU、内存和硬盘利用信息,通过这些信息,资源处理器能够在合适的物理机上创建虚拟机和在物理机间进行虚拟机迁移来实现负载均衡,节点处理器根据资源处理器的命令处理本地物理机上的虚拟机,包括创建、移除和迁移操作,同时将虚拟机的运行情况报告给资源处理器;
当用户想要创建数字图书馆服务节点时,可以将需要的硬件配置信息,包括CPU、内存、硬盘利用信息发送给资源处理器,资源处理器接收到消息后,根据物理机的资源利用率将请求发送给合适的一组节点处理器,这组节点处理器则通过调用虚拟设施架构层的虚拟机应用服务,构建虚拟机集群以部署数字图书馆服务节点,每个服务节点上的主服务处理器监听应用服务处理器以获取资源利用情况,当应用服务处理器上的CPU利用率超过80%时,主服务处理器会通知资源处理器,资源处理器将会增加更多的虚拟机到该数字图书馆服务节点中以保证服务质量;
(4)所述的多租户服务,如图5所示,指的是在数字图书馆引擎中,隔离不同用户创建的数字图书馆服务节点,以达到安全的目的,对于服务的多租户服务,即通过虚拟机的隔离策略实现,不同的数字图书馆服务节点可以部署在不同的虚拟机集群上,使得数字图书馆的服务得到隔离;同时,数字图书馆引擎可以通过资源处理器和节点处理器来调度虚拟机,提高资源利用率;对于数据的多租户服务,则通过非结构化数据管理系统的命名空间来实现,不同用户的数据存放在各自的命名空间中,以达到隔离的效果;
(5)所述的质量保证服务,指的是数字图书馆引擎可以根据数字图书馆系统的负载自适应的调整应用服务处理器个数,以达到负载均衡和服务质量保证,质量保证服务则通过消息队列和分布式协调器(Zookeeper)实现;
在数字图书馆服务节点中部署服务时,主服务处理器通知应用服务处理器部署相关的服务,然后创建消息队列用于用户请求处理,同时应用服务处理器上启动监听消息队列服务器的服务,当用户请求到来时,主服务处理器将请求入队,相应的应用服务处理器从消息队列中取出消息,并解析处理响应,由于应用服务处理器一直在监听消息队列,这个机制能够确保用户请求得到及时响应;
同时,主服务处理器监控消息队列和物理机的状况,当消息队列的长度超过所设置的阈值时,这意味着用户请求数量超过系统所能处理的能力,有些请求将不能得到及时处理,此时主服务处理器将会部署更多的服务组件以提供服务,当所有的应用服务处理器的负载都很重时,系统将添加新的应用服务处理器并部署所需的服务组件;当请求数量减少时,应用服务处理器出现空闲,那么部分空闲的虚拟机将会被移除以达到充分利用资源。
实施例
大学数字图书馆国际合作计划CADAL创建的数字图书馆中构建了数字图书馆即服务的云计算平台,并采用数字图书馆引擎部署了中国书法数字图书馆、中国文学编年史数字图书馆、中医药数字图书馆等系统实例。下面结合本发明,详细说明中国书法数字图书馆系统实例构建的具体步骤,如下:
(1)普通用户提交创建数字图书馆所需的硬件需求,所需的硬件需求包括内存、CPU、硬盘大小以及操作系统类型,如图6所示;
(2)用户通过命令行向数字图书馆引擎提交创建数字图书馆服务节点的请求,所述的请求包括创建命令、服务名称、服务节点数目以及包含步骤(1)中所述的硬件需求的XML文件名称;
(3)平台根据步骤(2)中用户所提交的请求,创建虚拟机节点,并启动虚拟机节点,结果如图7所示;
(4)用户根据面向服务架构的技术规范开发服务组件,并为服务组件构建组件说明文件,包括组件名称、服务名称、组件依赖关系以及组件部署份数信息,如图8为中国书法服务组件的说明文件;
(5)平台根据步骤(4)中的组件说明文件,部署并启动服务组件和服务组件依赖的组件,如图9所示;
(6)启动服务后,通过表述性状态转移REST接口访问,如图10为访问中国书法字结果显示图;
(7)启动服务后,通过网页访问,如图11为访问中国书法字结果显示图。
Claims (3)
1.一种数字图书馆即服务的云计算平台构建方法,其特征是,它的步骤包括:
(1)平台服务提供者构建基于非结构化数据管理系统的物理存储层,用来存储和处理数字图书馆中的数据并提供分析、索引和查询功能;
(2)平台服务提供者构建基于基础设施即服务框架的虚拟设施架构层,用于构建和处理虚拟机节点,提供基础的云计算设施;
(3)平台服务提供者构建基于面向服务架构的数字图书馆引擎,实现服务组件处理,同时创建和处理数字图书馆服务节点,并实现资源处理服务、多租户服务和质量保证服务;
(4)平台服务提供者构建数字图书馆系统应用层,提供用户创建的数字图书馆服务节点,用于处理数字图书馆服务;
(5)完成上述四个步骤之后,普通用户向平台提交创建数字图书馆所需的硬件需求,所需的硬件需求包括内存、CPU、硬盘大小以及操作系统类型;
(6)用户通过命令行向数字图书馆引擎提交创建数字图书馆服务节点的请求,所述的请求包括创建命令、服务名称、服务节点数目以及包含步骤(5)中所述的硬件需求的XML文件名称;
(7)平台根据步骤(6)中用户所提交的请求,创建虚拟机节点,并启动虚拟机节点;
(8)用户根据面向服务架构的技术规范开发服务组件,并为服务组件构建组件说明文件,包括组件名称、服务名称、组件依赖关系以及组件部署份数信息;
(9)平台根据步骤(8)中的组件说明文件,部署并启动服务组件和服务组件依赖的组件;
(10)启动服务后,通过表述性状态转移接口或网页访问数字图书馆服务。
2.根据权利要求1所述的一种数字图书馆即服务的云计算平台构建方法,其特征在于:所述的物理存储层基于非结构化数据管理系统来存储和处理数字图书馆中的数据并提供分析、索引和查询功能,其中非结构化数据管理系统提供数字对象模型解决异构数字资源的统一表达,提供数字对象仓储用于数字对象的创建、读写、删除和更新操作,还提供了基于大规模数据集软件架构的分布式计算功能、分布式索引功能和分布式查询功能。
3.根据权利要求1所述的一种数字图书馆即服务的云计算平台构建方法,其特征在于:所述的数字图书馆引擎,包括数字图书馆框架、数字图书馆服务节点处理服务、资源处理服务、多租户服务和质量保证服务,数字图书馆引擎根据数字图书馆框架创建数字图书馆服务节点,然后用户在该服务节点上部署数字图书馆服务组件,具体表现为:
(1)所述的数字图书馆框架是数字图书馆引擎中最重要的部分,数字图书馆框架采用主从体系架构,包含一个主服务处理器,一个辅助服务处理器和多个应用服务处理器,同时提供表述性状态转移接口来处理数字图书馆服务;
主服务处理器通过分布式协调器处理应用服务处理器集群,当一个应用服务处理器宕掉时,主服务处理器会收到通知,然后主服务处理器会重新调度服务组件以保证服务质量;同时主服务处理器维护服务组件的所有元数据信息,包括服务到应用服务处理器的映射关系、会话ID到应用服务处理器的映射关系以及服务组件的位置;主服务处理器同时维护应用服务处理器的状态信息以用于服务调度和负载均衡;另外,主服务处理器控制系统层次的活动,包括应用服务处理器间的服务组件迁移、服务组件生命周期的处理,应用服务处理器和服务组件的容灾;辅助服务处理器是主服务处理器的备份,当主服务处理器失效时,辅助服务处理器能够及时替换主服务处理器以继续提供服务;
应用服务处理器基于面向服务的框架实现,负责动态处理服务组件,在应用服务处理器中,服务组件分为基础服务组件和应用服务组件,基础服务组件部署在所有应用服务处理器上,包括非结构化数据管理系统客户端组件、监控服务、缓存服务、日志组件以及会话组件,而应用服务组件根据服务器负载情况和服务组件间的依赖关系部署在指定的应用服务处理器上;在数字图书馆引擎中,基础服务组件被集成在虚拟机镜像中,随虚拟机启动而启动,而应用服务组件则是用户自己部署安装的;
(2)所述的数字图书馆服务节点处理服务指的是数字图书馆引擎创建的数字图书馆服务节点的全生命周期处理,包括创建、运行和删除数字图书馆服务节点,数字图书馆服务节点维护了用户创建的数字图书馆系统的所有元数据信息,包括服务节点的位置信息、服务节点所使用的虚拟机数量、租户与系统服务间的映射关系,通过这些元数据,数字图书馆引擎控制服务节点的所有活动,也可以将用户的请求发送给相应的服务节点;
(3)所述的资源处理服务,由一个全局资源处理器和部署在每台物理机上的节点处理器实现;
资源处理器和节点处理器共同处理虚拟机的运行,资源处理器收集物理机的资源利用率,包括CPU、内存和硬盘利用信息,通过这些信息,资源处理器能够在合适的物理机上创建虚拟机和在物理机间进行虚拟机迁移来实现负载均衡,节点处理器根据资源处理器的命令处理本地物理机上的虚拟机,包括创建、移除和迁移操作,同时将虚拟机的运行情况报告给资源处理器;
当用户想要创建数字图书馆服务节点时,可以将需要的硬件配置信息,包括CPU、内存、硬盘利用信息发送给资源处理器,资源处理器接收到消息后,根据物理机的资源利用率将请求发送给合适的一组节点处理器,这组节点处理器则通过调用虚拟设施架构层的虚拟机应用服务,构建虚拟机集群以部署数字图书馆服务节点,每个服务节点上的主服务处理器监听应用服务处理器以获取资源利用情况,当应用服务处理器上的CPU利用率超过80%时,主服务处理器会通知资源处理器,资源处理器将会增加更多的虚拟机到该数字图书馆服务节点中以保证服务质量;
(4)所述的多租户服务,指的是在数字图书馆引擎中,隔离不同用户创建的数字图书馆服务节点,以达到安全的目的,对于服务的多租户服务,即通过虚拟机的隔离策略实现,不同的数字图书馆服务节点可以部署在不同的虚拟机集群上,使得数字图书馆的服务得到隔离;同时,数字图书馆引擎可以通过资源处理器和节点处理器来调度虚拟机,提高资源利用率;对于数据的多租户服务,则通过非结构化数据管理系统的命名空间来实现,不同用户的数据存放在各自的命名空间中,以达到隔离的效果;
(5)所述的质量保证服务,指的是数字图书馆引擎可以根据数字图书馆系统的负载自适应的调整应用服务处理器个数,以达到负载均衡和理想的服务质量,质量保证服务通过消息队列和分布式协调器实现;
在数字图书馆服务节点中部署服务时,主服务处理器通知应用服务处理器部署相关的服务,然后创建消息队列用于用户请求处理,同时应用服务处理器上启动监听消息队列服务器的服务,当用户请求到来时,主服务处理器将请求入队,相应的应用服务处理器从消息队列中取出消息,并解析处理响应,由于应用服务处理器一直在监听消息队列,这个机制能够确保用户请求得到及时响应;
同时,主服务处理器监控消息队列和物理机的状况,当消息队列的长度超过所设置的阈值时,这意味着用户请求数量超过系统所能处理的能力,有些请求将不能得到及时处理,此时主服务处理器将会部署更多的服务组件以提供服务,当所有的应用服务处理器的负载都很重时,系统将添加新的应用服务处理器并部署所需的服务组件;当请求数量减少时,应用服务处理器出现空闲,那么部分空闲的虚拟机将会被移除以达到充分利用资源。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310592410.5A CN103716372A (zh) | 2013-11-22 | 2013-11-22 | 一种数字图书馆即服务的云计算平台构建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310592410.5A CN103716372A (zh) | 2013-11-22 | 2013-11-22 | 一种数字图书馆即服务的云计算平台构建方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103716372A true CN103716372A (zh) | 2014-04-09 |
Family
ID=50408944
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310592410.5A Pending CN103716372A (zh) | 2013-11-22 | 2013-11-22 | 一种数字图书馆即服务的云计算平台构建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103716372A (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104462185A (zh) * | 2014-10-13 | 2015-03-25 | 南京邮电大学 | 一种基于混合结构的数字图书馆云存储系统 |
CN105208095A (zh) * | 2015-08-24 | 2015-12-30 | 用友网络科技股份有限公司 | 过滤服务的部署推荐装置和方法 |
WO2016045392A1 (zh) * | 2014-09-26 | 2016-03-31 | 华为技术有限公司 | 一种服务部署方法、服务管理方法及装置 |
CN107133644A (zh) * | 2017-05-03 | 2017-09-05 | 牡丹江医学院 | 数字化图书馆内容分析系统及方法 |
CN107146001A (zh) * | 2017-04-13 | 2017-09-08 | 湖南森纳信息科技有限公司 | 智慧图书馆资源运营监管系统 |
CN107924333A (zh) * | 2015-07-31 | 2018-04-17 | 微软技术许可有限责任公司 | 多租户云服务中的更新日志转换和关联 |
CN108876128A (zh) * | 2018-06-06 | 2018-11-23 | 国云科技股份有限公司 | 一种基于商业智能的销售业云计算平台及其构建方法 |
CN109257421A (zh) * | 2018-08-30 | 2019-01-22 | 天津布尔科技有限公司 | 一种可以实现高并发且能够自由扩展的数据收发系统 |
CN109565515A (zh) * | 2016-04-29 | 2019-04-02 | 华为技术有限公司 | 分布式资源管理系统中的动态租户结构调整的系统、设备和过程 |
CN111386676A (zh) * | 2018-03-21 | 2020-07-07 | 华为技术有限公司 | 应用编程接口api网关集群的控制方法和api网关集群 |
CN112000449A (zh) * | 2020-07-27 | 2020-11-27 | 新华三大数据技术有限公司 | 一种异步任务处理方法及系统 |
CN112363701A (zh) * | 2020-11-17 | 2021-02-12 | 江苏嘉图网络科技有限公司 | 基于统一接口可个性化选择的图书馆业务系统构建方法 |
CN112738189A (zh) * | 2020-12-24 | 2021-04-30 | 航天信息股份有限公司 | 集群资源管理方法、装置、存储介质及电子设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102779186A (zh) * | 2012-06-29 | 2012-11-14 | 浙江大学 | 一种非结构化数据管理的全过程建模方法 |
-
2013
- 2013-11-22 CN CN201310592410.5A patent/CN103716372A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102779186A (zh) * | 2012-06-29 | 2012-11-14 | 浙江大学 | 一种非结构化数据管理的全过程建模方法 |
Non-Patent Citations (2)
Title |
---|
LIANGJU ZHANG等: "《The Outreach of Digital Libraries: A Globalized Resource Network》", 30 November 2012 * |
WEIMING LU等: "Digital Library Engine: Adapting Digital Library for Cloud Computing", 《2013 IEEE SIXTH INTERNATIONAL CONFERENCE ON CLOUD COMPUTING》 * |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016045392A1 (zh) * | 2014-09-26 | 2016-03-31 | 华为技术有限公司 | 一种服务部署方法、服务管理方法及装置 |
CN104462185B (zh) * | 2014-10-13 | 2017-08-11 | 南京邮电大学 | 一种基于混合结构的数字图书馆云存储系统 |
CN104462185A (zh) * | 2014-10-13 | 2015-03-25 | 南京邮电大学 | 一种基于混合结构的数字图书馆云存储系统 |
CN107924333B (zh) * | 2015-07-31 | 2022-04-08 | 微软技术许可有限责任公司 | 针对多租户云服务中的更新日志转换和关联的方法和装置 |
CN107924333A (zh) * | 2015-07-31 | 2018-04-17 | 微软技术许可有限责任公司 | 多租户云服务中的更新日志转换和关联 |
US11140045B2 (en) | 2015-07-31 | 2021-10-05 | Microsoft Technology Licensing, Llc | Changelog transformation and correlation in a multi-tenant cloud service |
CN105208095A (zh) * | 2015-08-24 | 2015-12-30 | 用友网络科技股份有限公司 | 过滤服务的部署推荐装置和方法 |
CN105208095B (zh) * | 2015-08-24 | 2018-12-14 | 用友网络科技股份有限公司 | 过滤服务的部署推荐装置和方法 |
CN109565515A (zh) * | 2016-04-29 | 2019-04-02 | 华为技术有限公司 | 分布式资源管理系统中的动态租户结构调整的系统、设备和过程 |
CN107146001A (zh) * | 2017-04-13 | 2017-09-08 | 湖南森纳信息科技有限公司 | 智慧图书馆资源运营监管系统 |
CN107133644B (zh) * | 2017-05-03 | 2019-04-23 | 牡丹江医学院 | 数字化图书馆内容分析系统及方法 |
CN107133644A (zh) * | 2017-05-03 | 2017-09-05 | 牡丹江医学院 | 数字化图书馆内容分析系统及方法 |
CN111386676A (zh) * | 2018-03-21 | 2020-07-07 | 华为技术有限公司 | 应用编程接口api网关集群的控制方法和api网关集群 |
CN111386676B (zh) * | 2018-03-21 | 2022-01-21 | 华为技术有限公司 | 应用编程接口api网关集群的控制方法和api网关集群 |
US11362952B2 (en) | 2018-03-21 | 2022-06-14 | Huawei Cloud Computing Technologies Co., Ltd. | Application programing interface API gateway cluster control method and API gateway cluster |
US11743187B2 (en) | 2018-03-21 | 2023-08-29 | Huawei Cloud Computing Technolgoies Co., Ltd. | Application programing interface (API) gateway cluster control method and API gateway cluster |
CN108876128A (zh) * | 2018-06-06 | 2018-11-23 | 国云科技股份有限公司 | 一种基于商业智能的销售业云计算平台及其构建方法 |
CN109257421A (zh) * | 2018-08-30 | 2019-01-22 | 天津布尔科技有限公司 | 一种可以实现高并发且能够自由扩展的数据收发系统 |
CN112000449A (zh) * | 2020-07-27 | 2020-11-27 | 新华三大数据技术有限公司 | 一种异步任务处理方法及系统 |
CN112363701A (zh) * | 2020-11-17 | 2021-02-12 | 江苏嘉图网络科技有限公司 | 基于统一接口可个性化选择的图书馆业务系统构建方法 |
CN112363701B (zh) * | 2020-11-17 | 2024-04-05 | 江苏嘉图网络科技股份有限公司 | 基于统一接口可个性化选择的图书馆业务系统构建方法 |
CN112738189A (zh) * | 2020-12-24 | 2021-04-30 | 航天信息股份有限公司 | 集群资源管理方法、装置、存储介质及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103716372A (zh) | 一种数字图书馆即服务的云计算平台构建方法 | |
US11249815B2 (en) | Maintaining two-site configuration for workload availability between sites at unlimited distances for products and services | |
US20220075643A1 (en) | Unified resource management for containers and virtual machines | |
Beloglazov et al. | OpenStack Neat: a framework for dynamic and energy‐efficient consolidation of virtual machines in OpenStack clouds | |
US10084858B2 (en) | Managing continuous priority workload availability and general workload availability between sites at unlimited distances for products and services | |
Yang et al. | On improvement of cloud virtual machine availability with virtualization fault tolerance mechanism | |
Rao et al. | Performance issues of heterogeneous hadoop clusters in cloud computing | |
Wang et al. | Next generation job management systems for extreme-scale ensemble computing | |
CN103414712B (zh) | 一种分布式虚拟桌面管理系统和方法 | |
CN102638566B (zh) | 一种基于云存储的blog系统运行方法 | |
Li et al. | CAM: a topology aware minimum cost flow based resource manager for MapReduce applications in the cloud | |
US20190065246A1 (en) | Large-scale asynchronous event processor | |
JP2018530068A (ja) | 分散型ストリームベースのデータベーストリガ | |
CN102946433A (zh) | 云公共服务平台下的大规模计算机资源的监控和调度方法 | |
JP2012069056A (ja) | クラウドサービス再配置システムと方法およびプログラム | |
US10579419B2 (en) | Data analysis in storage system | |
CN104717269A (zh) | 用于位置服务的云公共平台计算机资源监控和调度方法 | |
CN102915257A (zh) | 基于torque的并行检查点执行方法 | |
CN201532634U (zh) | 基于不可信服务器节点的云计算基础架构系统 | |
Szekely | 𝜎� OS: Elastic Realms for Multi-Tenant Cloud Computing | |
Lu et al. | Digital library engine: adapting digital library for cloud computing | |
AU2015249127B2 (en) | Fault tolerance for complex distributed computing operations | |
Hatwar et al. | Approach towards VM management for green computing | |
Zheng et al. | A scalable, adaptive, self-management and fault-tolerant architecture for digital library | |
Chen et al. | R-ECS: reliable elastic computing services for building virtual computing environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140409 |