CN101499095B - 用于数据共享平台的构建缓冲的方法 - Google Patents
用于数据共享平台的构建缓冲的方法 Download PDFInfo
- Publication number
- CN101499095B CN101499095B CN200910025863.3A CN200910025863A CN101499095B CN 101499095 B CN101499095 B CN 101499095B CN 200910025863 A CN200910025863 A CN 200910025863A CN 101499095 B CN101499095 B CN 101499095B
- Authority
- CN
- China
- Prior art keywords
- data
- server
- buffer
- resource
- buffering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000010276 construction Methods 0.000 title 1
- 238000000034 method Methods 0.000 claims abstract description 12
- 230000003139 buffering effect Effects 0.000 claims description 39
- 230000015654 memory Effects 0.000 claims description 23
- 239000002245 particle Substances 0.000 claims description 3
- 238000004064 recycling Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 abstract 1
- 230000004907 flux Effects 0.000 abstract 1
- 238000013500 data storage Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
用于数据共享平台的构建缓冲的方法,建立基于SOA的系统架构,系统架构由Apache前端、Java应用程序模块、SOA服务器和数据库组成,本发明针对数据共享服务提供的5个节点的特性,采用分布式的缓冲方案,对架构中的四个模块和SOA服务器与数据库间的连接分别进行缓冲,可以有效的使缓冲服务器和应用服务器分离,降低了应用服务器负载。本发明每台服务器的缓存都有高效的数据量和网络流量等评估,便于资源序列化。本发明在两台缓存分布式服务器的情况下,能够对web访问性能提高100%访问速度;能够对ODS对外服务并发性能提高2-3倍。
Description
技术领域
本发明涉及计算机技术领域的数据缓冲技术,应用于数据共享平台对外服务的提供,用于解决各部门对于调用操作型数据存储ODS对外服务的性能要求,为一种用于数据共享平台的构建缓冲的方法。
背景技术
操作型数据存储ODS(Operational Data Store)是数据仓库体系结构中的一个可选部分,ODS具备数据仓库的部分特征和联机事务处理OLTP系统的部分特征,它是面向主题的、集成的、当前或接近当前的、不断变化的数据。
目前现有的数据共享服务的缓冲构建都是单节点、按单主机缓冲,一般都在数据提供服务的5个节点的第4个节点提供缓冲,也就是在数据库访问层提供缓冲,这只能满足少量服务调用,而无法满足多用户并发和大数据量调用性能的要求,这样在数据共享平台下,现有的缓冲构建就不能满足各部门对于调用操作型数据存储ODS对外服务的性能要求。
发明内容
本发明要解决的问题是:传统缓冲无法满足多用户并发和大数据量调用性能的要求,针对各部门对于调用ODS对外服务的性能要求,提出一种基于SOA架构的构建缓冲的方法。
本发明的技术方案为:用于数据共享平台的构建缓冲的方法,建立基于SOA的系统架构,系统架构由Apache前端、Java应用程序模块、SOA服务器和数据库组成,Apache前端连接Java应用程序模块,Java应用程序模块远程连接SOA服务器,SOA服务器连接数据库,然后按以下步骤进行缓冲:
A.采用分布式的缓冲方案,对架构中的四个模块和SOA服务器与数据库间的连接分别进行缓冲;
B.对四个模块和SOA服务器与数据库间的连接实施缓冲数据策略,分析每个数据服务,统计出不同数据重复利用的频率,按照数据高低进行排序,优先选择一部分重复频率高的资源;
C.针对缓冲对象选择数据资源颗粒度,依据资源的特点考虑,对业务较复杂的聚集对象选择小颗粒度的缓冲,相反就选择大颗粒度的缓冲;
D.针对业务逻辑实施资源过期策略,缓冲在各缓存中的数据对象,采用针对业务的过期策略,分配不同的过期时间;
E.对每台服务器的数据量的评估:对每台服务器缓冲多少数据、缓冲对象的大小、资源活跃度进行评估;对于远程缓冲,依据内存、缓冲对象的大小、压缩率、KEY分布的均衡度等进行评估;
F.网络流量评估:在远程环境下必须评估网络流量,评估公式为:缓冲对象尺寸×每秒访问次数;
G.进行资源序列化。
本发明分布式的缓冲方案为:在Apache前端采用Apache相关的缓冲扩展;在其它三个模块和SOA服务器与数据库间的连接使用分布式缓存系统MemCached:对于Java应用程序模块,缓存Web页面,业务数据对象;对于SOA服务器,缓存业务数据对象,服务相关配置信息,数据路由规则;对于SOA服务器与数据库间的连接,实现通用数据反问层,实现统一数据源查询,业务数据对象在这里也进行缓存;对于数据库模块,增加服务器内存,调整数据库缓冲,调整数据库本身的特性。
本发明对于Java应用程序模块和SOA服务器,在Java应用程序模块设置本地缓冲集群,完全缓冲整个对象关系,使用分布式缓存系统MemCached实现,SOA服务器采用缓冲群,设置多个缓存,即Cache+Cache集群,分别完全缓冲各个对象。
本发明资源序列化为Java领域的资源序列化,包括Java序列化、资源对象内部、资源对象内部的数据属性和对象序列化。
本发明针对数据共享服务提供的5个节点的特性,相应提供不通策略的缓冲,比如在web层,缓冲web页面,在SOA层和java程序层提供Cache集群,缓冲java序列对象;在整体数据共享平台上,采用了分布式缓冲,可以有效的使缓冲服务器和应用服务器分离,降低了应用服务器负载。本发明每台服务器的缓存都有高效的数据量和网络流量等评估,便于资源序列化。本发明在两台缓存分布式服务器的情况下,能够对web访问性能提高100%访问速度;能够对ODS对外服务并发性能提高2-3倍。
附图说明
图1为本发明建立的基于SOA的系统架构。
图2为本发明分布式缓冲方案的实施示意图。
具体实施方式
如图1,数据共享服务提供了1-5五个节点,本发明首先建立基于SOA的系统架构,系统架构由Apache前端、Java应用程序模块、SOA服务器和数据库组成,Apache前端连接Java应用程序模块,Java应用程序模块远程连接SOA服务器,SOA服务器连接数据库。
下面结合图2说明本发明的构建缓冲方法:
A.采用分布式的缓冲方案,对架构中的四个模块和SOA服务器与数据库间的连接分别进行缓冲:在Apache前端采用Apache相关的缓冲扩展;在其它三个模块和SOA服务器与数据库间的连接使用分布式缓存系统MemCached:对于Java应用程序模块,缓存Web页面,业务数据对象;对于SOA服务器,缓存业务数据对象,服务相关配置信息,数据路由规则;对于SOA服务器与数据库间的连接,实现通用数据反问层,实现统一数据源查询,业务数据对象在这里也进行缓存;对于数据库,增加服务器内存,调整数据库缓冲,调整数据库本身的特性实现性能的提升;其中,对于Java应用程序模块和SOA服务器,在Java应用程序模块设置本地缓冲集群,完全缓冲整个对象关系,使用分布式缓存系统MemCached实现,SOA服务器采用缓冲群,设置多个缓存,即Cache+Cache集群,分别完全缓冲各个对象;
B.对四个模块和SOA服务器与数据库间的连接实施缓冲数据策略,对每个数据服务的分析,统计出不同数据重复利用的频率,按照数据高低进行排序,优先选择一部分重复频率搞的资源;
C.针对缓冲对象选择数据资源颗粒度,依据资源的特点考虑,对业务较复杂的聚集对象选择小颗粒度的缓冲,相反就选择大颗粒度的缓冲;
D.针对业务逻辑实施资源过期策略,缓冲在各缓存中的数据对象采用针对业务的过期策略,分配不同的过期时间;
E.对每台服务器的数据量的评估:对每台服务器缓冲多少数据、缓冲对象的大小、资源活跃度进行评估;对于远程缓冲,依据内存、缓冲对象的大小、压缩率、KEY分布的均衡度等进行评估;
F.网络流量评估:在远程环境下必须评估网络流量,评估公式为:缓冲对象尺寸×每秒访问次数;
G.进行资源序列化,资源序列化为Java领域的资源序列化,包括Java序列化、资源对象内部、资源对象内部的数据属性和对象序列化。
Claims (5)
1.用于数据共享平台的构建缓冲的方法,其特征是建立基于SOA的系统架构,系统架构由Apache前端、Java应用程序模块、SOA服务器和数据库组成,Apache前端连接Java应用程序模块,Java应用程序模块远程连接SOA服务器,SOA服务器连接数据库,然后按以下步骤进行缓冲:
A.采用分布式的缓冲方案,对架构中的四个模块和SOA服务器与数据库间的连接分别进行缓冲;
B.对四个模块和SOA服务器与数据库间的连接实施缓冲数据策略,分析每个数据服务,统计出不同数据重复利用的频率,按照数据重复频率的高低进行排序,优先选择一部分重复频率高的资源;
C.针对缓冲对象选择数据资源颗粒度,依据缓冲对象的特点考虑,对业务较复杂的聚集对象选择小颗粒度的缓冲,相反就选择大颗粒度的缓冲;
D.针对业务逻辑实施资源过期策略,缓冲在各缓存中的数据对象,采用针对业务的过期策略,分配不同的过期时间;
E.对每台服务器的数据量的评估:对每台服务器缓冲多少数据、缓冲对象的大小、资源活跃度进行评估;对于远程缓冲,依据内存、缓冲对象的大小、压缩率、KEY分布的均衡度进行评估;
F.网络流量评估:在远程环境下必须评估网络流量,评估公式为:网络流量评估=缓冲对象尺寸×每秒访问次数;
G.进行资源序列化。
2.根据权利要求1所述的用于数据共享平台的构建缓冲的方法,其特征是分布式的缓冲方案为:在Apache前端采用Apache相关的缓冲扩展;在其它三个模块和SOA服务器与数据库间的连接使用分布式缓存系统MemCached:对于Java应用程序模块,缓存Web页面,业务数据对象;对于SOA服务器,缓存业务数据对象,服务相关配置信息,数据路由规则;对于SOA服务器与数据库间的连接,实现通用的数据反问层,实现统一数据源查询,业务数据对象在这里也进行缓存;对于数据库模块,增加服务器内存,调整数据库缓冲,调整数据库本身的特性。
3.根据权利要求1或2所述的用于数据共享平台的构建缓冲的方法,其特征是对于Java应用程序模块和SOA服务器,在Java应用程序模块设置本地缓冲集群,完全缓冲整个对象关系,使用分布式缓存系统MemCached实现,SOA服务器采用缓冲群,设置多个缓存,分别完全缓冲各个对象。
4.根据权利要求1或2所述的用于数据共享平台的构建缓冲的方法,其特征是资源序列化为Java领域的资源序列化,包括Java序列化、资源对象内部、资源对象内部的数据属性和对象序列化。
5.根据权利要求3所述的用于数据共享平台的构建缓冲的方法,其特征是资源序列化为Java领域的资源序列化,包括Java序列化、资源对象内部、资源对象内部的数据属性和对象序列化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200910025863.3A CN101499095B (zh) | 2009-03-11 | 2009-03-11 | 用于数据共享平台的构建缓冲的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200910025863.3A CN101499095B (zh) | 2009-03-11 | 2009-03-11 | 用于数据共享平台的构建缓冲的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101499095A CN101499095A (zh) | 2009-08-05 |
CN101499095B true CN101499095B (zh) | 2011-04-27 |
Family
ID=40946167
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200910025863.3A Expired - Fee Related CN101499095B (zh) | 2009-03-11 | 2009-03-11 | 用于数据共享平台的构建缓冲的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101499095B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102075554B (zh) * | 2009-11-19 | 2013-07-03 | 中国移动通信集团北京有限公司 | 一种基于soa架构的服务处理方法及其系统 |
CN102479225B (zh) * | 2010-11-26 | 2014-05-07 | 中国移动通信集团四川有限公司 | 一种分布式数据分析和处理方法及系统 |
CN102724206B (zh) * | 2012-06-28 | 2015-02-25 | 北京搜狐新媒体信息技术有限公司 | 一种Apache服务器资源的访问方法及装置 |
CN102945156B (zh) * | 2012-10-23 | 2016-01-06 | 融创天下(上海)科技发展有限公司 | 一种基于Java对象的数据缓存方法和装置 |
CN103440325B (zh) * | 2013-09-02 | 2017-05-24 | 重庆康仕泰科技有限公司 | 高效、多并发、自适用数据库的运行方法 |
CN104750621B (zh) * | 2013-12-27 | 2018-04-06 | 珠海全志科技股份有限公司 | 缓存方法及控制系统 |
WO2015180070A1 (zh) * | 2014-05-28 | 2015-12-03 | 北京大学深圳研究生院 | 一种用于分布式存储系统的数据缓存方法及装置 |
CN105893031B (zh) * | 2016-03-28 | 2019-12-24 | 广州华多网络科技有限公司 | 一种缓存操作实现方法、业务层方法的调用方法及装置 |
CN106021569A (zh) * | 2016-05-31 | 2016-10-12 | 广东能龙教育股份有限公司 | 一种解决Hibernate分布式数据缓存的方法与系统 |
CN108319598B (zh) * | 2017-01-16 | 2022-02-08 | 腾讯科技(北京)有限公司 | 数据缓存方法、装置和系统 |
CN108491450B (zh) * | 2018-02-26 | 2021-09-21 | 平安普惠企业管理有限公司 | 数据缓存方法、装置、服务器和存储介质 |
CN109151194B (zh) * | 2018-08-14 | 2021-03-02 | Oppo广东移动通信有限公司 | 数据传输方法、装置、电子设备以及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1432248A (zh) * | 2000-03-30 | 2003-07-23 | 英特尔公司 | 分布式高速缓存的方法和设备 |
CN1577276A (zh) * | 2003-07-11 | 2005-02-09 | 国际商业机器公司 | 控制分布式数据的高速缓存操作的方法和系统 |
US6950848B1 (en) * | 2000-05-05 | 2005-09-27 | Yousefi Zadeh Homayoun | Database load balancing for multi-tier computer systems |
CN1968276A (zh) * | 2006-11-24 | 2007-05-23 | 清华大学 | 面向服务的体系结构环境下服务之间数据传输的动态优化方法 |
US7454516B1 (en) * | 2000-08-03 | 2008-11-18 | Microsoft Corporation | Scalable virtual partitioning of resources |
-
2009
- 2009-03-11 CN CN200910025863.3A patent/CN101499095B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1432248A (zh) * | 2000-03-30 | 2003-07-23 | 英特尔公司 | 分布式高速缓存的方法和设备 |
US6950848B1 (en) * | 2000-05-05 | 2005-09-27 | Yousefi Zadeh Homayoun | Database load balancing for multi-tier computer systems |
US7454516B1 (en) * | 2000-08-03 | 2008-11-18 | Microsoft Corporation | Scalable virtual partitioning of resources |
CN1577276A (zh) * | 2003-07-11 | 2005-02-09 | 国际商业机器公司 | 控制分布式数据的高速缓存操作的方法和系统 |
CN1968276A (zh) * | 2006-11-24 | 2007-05-23 | 清华大学 | 面向服务的体系结构环境下服务之间数据传输的动态优化方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101499095A (zh) | 2009-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101499095B (zh) | 用于数据共享平台的构建缓冲的方法 | |
CN104252536B (zh) | 一种基于hbase的上网日志数据查询方法及装置 | |
CN103605727A (zh) | 基于连接池的多用户数据库访问高效率优化方法及架构 | |
CN104202423B (zh) | 一种通过软件架构扩展缓存的系统 | |
CN1658598A (zh) | 计算机网络中自组织分配服务方法、系统和软件产品 | |
CN102971732A (zh) | 键/值存储器的集成分级查询处理的系统结构 | |
Lin et al. | Efficient algorithms for frequent pattern mining in many-task computing environments | |
CN102279810A (zh) | 一种网络存储服务器及其缓存数据的方法 | |
CN106210022A (zh) | 一种用于处理论坛高并发数据请求的系统和方法 | |
Kayaaslan et al. | Document replication strategies for geographically distributed web search engines | |
CN113810931B (zh) | 一种面向移动边缘计算网络的自适应视频缓存方法 | |
CN102843420A (zh) | 基于模糊划分的社交网络数据分发系统 | |
CN104202424A (zh) | 一种使用软件架构扩展缓存的方法 | |
CN105975345A (zh) | 一种基于分布式内存的视频帧数据动态均衡存储管理方法 | |
Cai et al. | DITIR: Distributed index for high throughput trajectory insertion and real-time temporal range query | |
CN104580422A (zh) | 基于共享缓存的集群渲染节点数据访问方法 | |
Jiang et al. | Cooperative content distribution for 5G systems based on distributed cloud service network | |
Sourlas et al. | Caching in content-based publish/subscribe systems | |
CN102737131A (zh) | 一种针对数据库重做日志的处理方法及系统 | |
CN101217690A (zh) | 实现数据业务和数据信息分布存储的系统及方法 | |
CN101778135A (zh) | 一种农村综合信息平台的服务器系统及其运行方法 | |
US20230026912A1 (en) | Systems and methods for storing content items in secondary storage | |
CN114338725B (zh) | 一种提升大规模集群渲染上限的分布式存储调度方法 | |
CN207939557U (zh) | 一种数据采集统计硬件平台 | |
CN105930519A (zh) | 一种基于集群文件系统的全局共享读缓存方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110427 |