CN101499095B - 用于数据共享平台的构建缓冲的方法 - Google Patents
用于数据共享平台的构建缓冲的方法 Download PDFInfo
- Publication number
- CN101499095B CN101499095B CN200910025863.3A CN200910025863A CN101499095B CN 101499095 B CN101499095 B CN 101499095B CN 200910025863 A CN200910025863 A CN 200910025863A CN 101499095 B CN101499095 B CN 101499095B
- Authority
- CN
- China
- Prior art keywords
- data
- server
- buffer
- resource
- buffering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000010276 construction Methods 0.000 title 1
- 238000000034 method Methods 0.000 claims abstract description 12
- 230000003139 buffering effect Effects 0.000 claims description 39
- 230000015654 memory Effects 0.000 claims description 23
- 239000002245 particle Substances 0.000 claims description 3
- 238000004064 recycling Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 abstract 1
- 230000004907 flux Effects 0.000 abstract 1
- 238000013500 data storage Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
用于数据共享平台的构建缓冲的方法，建立基于SOA的系统架构，系统架构由Apache前端、Java应用程序模块、SOA服务器和数据库组成，本发明针对数据共享服务提供的5个节点的特性，采用分布式的缓冲方案，对架构中的四个模块和SOA服务器与数据库间的连接分别进行缓冲，可以有效的使缓冲服务器和应用服务器分离，降低了应用服务器负载。本发明每台服务器的缓存都有高效的数据量和网络流量等评估，便于资源序列化。本发明在两台缓存分布式服务器的情况下，能够对web访问性能提高100％访问速度；能够对ODS对外服务并发性能提高2-3倍。
Description
技术领域
本发明涉及计算机技术领域的数据缓冲技术，应用于数据共享平台对外服务的提供，用于解决各部门对于调用操作型数据存储ODS对外服务的性能要求，为一种用于数据共享平台的构建缓冲的方法。
背景技术
操作型数据存储ODS(Operational Data Store)是数据仓库体系结构中的一个可选部分，ODS具备数据仓库的部分特征和联机事务处理OLTP系统的部分特征，它是面向主题的、集成的、当前或接近当前的、不断变化的数据。
目前现有的数据共享服务的缓冲构建都是单节点、按单主机缓冲，一般都在数据提供服务的5个节点的第4个节点提供缓冲，也就是在数据库访问层提供缓冲，这只能满足少量服务调用，而无法满足多用户并发和大数据量调用性能的要求，这样在数据共享平台下，现有的缓冲构建就不能满足各部门对于调用操作型数据存储ODS对外服务的性能要求。
发明内容
本发明要解决的问题是：传统缓冲无法满足多用户并发和大数据量调用性能的要求，针对各部门对于调用ODS对外服务的性能要求，提出一种基于SOA架构的构建缓冲的方法。
本发明的技术方案为：用于数据共享平台的构建缓冲的方法，建立基于SOA的系统架构，系统架构由Apache前端、Java应用程序模块、SOA服务器和数据库组成，Apache前端连接Java应用程序模块，Java应用程序模块远程连接SOA服务器，SOA服务器连接数据库，然后按以下步骤进行缓冲：
A.采用分布式的缓冲方案，对架构中的四个模块和SOA服务器与数据库间的连接分别进行缓冲；
B.对四个模块和SOA服务器与数据库间的连接实施缓冲数据策略，分析每个数据服务，统计出不同数据重复利用的频率，按照数据高低进行排序，优先选择一部分重复频率高的资源；
C.针对缓冲对象选择数据资源颗粒度，依据资源的特点考虑，对业务较复杂的聚集对象选择小颗粒度的缓冲，相反就选择大颗粒度的缓冲；
D.针对业务逻辑实施资源过期策略，缓冲在各缓存中的数据对象，采用针对业务的过期策略，分配不同的过期时间；
E.对每台服务器的数据量的评估：对每台服务器缓冲多少数据、缓冲对象的大小、资源活跃度进行评估；对于远程缓冲，依据内存、缓冲对象的大小、压缩率、KEY分布的均衡度等进行评估；
F.网络流量评估：在远程环境下必须评估网络流量，评估公式为：缓冲对象尺寸×每秒访问次数；
G.进行资源序列化。
本发明分布式的缓冲方案为：在Apache前端采用Apache相关的缓冲扩展；在其它三个模块和SOA服务器与数据库间的连接使用分布式缓存系统MemCached：对于Java应用程序模块，缓存Web页面，业务数据对象；对于SOA服务器，缓存业务数据对象，服务相关配置信息，数据路由规则；对于SOA服务器与数据库间的连接，实现通用数据反问层，实现统一数据源查询，业务数据对象在这里也进行缓存；对于数据库模块，增加服务器内存，调整数据库缓冲，调整数据库本身的特性。
本发明对于Java应用程序模块和SOA服务器，在Java应用程序模块设置本地缓冲集群，完全缓冲整个对象关系，使用分布式缓存系统MemCached实现，SOA服务器采用缓冲群，设置多个缓存，即Cache+Cache集群，分别完全缓冲各个对象。
本发明资源序列化为Java领域的资源序列化，包括Java序列化、资源对象内部、资源对象内部的数据属性和对象序列化。
本发明针对数据共享服务提供的5个节点的特性，相应提供不通策略的缓冲，比如在web层，缓冲web页面，在SOA层和java程序层提供Cache集群，缓冲java序列对象；在整体数据共享平台上，采用了分布式缓冲，可以有效的使缓冲服务器和应用服务器分离，降低了应用服务器负载。本发明每台服务器的缓存都有高效的数据量和网络流量等评估，便于资源序列化。本发明在两台缓存分布式服务器的情况下，能够对web访问性能提高100％访问速度；能够对ODS对外服务并发性能提高2-3倍。
附图说明
图1为本发明建立的基于SOA的系统架构。
图2为本发明分布式缓冲方案的实施示意图。
具体实施方式
如图1，数据共享服务提供了1-5五个节点，本发明首先建立基于SOA的系统架构，系统架构由Apache前端、Java应用程序模块、SOA服务器和数据库组成，Apache前端连接Java应用程序模块，Java应用程序模块远程连接SOA服务器，SOA服务器连接数据库。
下面结合图2说明本发明的构建缓冲方法：
A.采用分布式的缓冲方案，对架构中的四个模块和SOA服务器与数据库间的连接分别进行缓冲：在Apache前端采用Apache相关的缓冲扩展；在其它三个模块和SOA服务器与数据库间的连接使用分布式缓存系统MemCached：对于Java应用程序模块，缓存Web页面，业务数据对象；对于SOA服务器，缓存业务数据对象，服务相关配置信息，数据路由规则；对于SOA服务器与数据库间的连接，实现通用数据反问层，实现统一数据源查询，业务数据对象在这里也进行缓存；对于数据库，增加服务器内存，调整数据库缓冲，调整数据库本身的特性实现性能的提升；其中，对于Java应用程序模块和SOA服务器，在Java应用程序模块设置本地缓冲集群，完全缓冲整个对象关系，使用分布式缓存系统MemCached实现，SOA服务器采用缓冲群，设置多个缓存，即Cache+Cache集群，分别完全缓冲各个对象；
B.对四个模块和SOA服务器与数据库间的连接实施缓冲数据策略，对每个数据服务的分析，统计出不同数据重复利用的频率，按照数据高低进行排序，优先选择一部分重复频率搞的资源；
C.针对缓冲对象选择数据资源颗粒度，依据资源的特点考虑，对业务较复杂的聚集对象选择小颗粒度的缓冲，相反就选择大颗粒度的缓冲；
D.针对业务逻辑实施资源过期策略，缓冲在各缓存中的数据对象采用针对业务的过期策略，分配不同的过期时间；
E.对每台服务器的数据量的评估：对每台服务器缓冲多少数据、缓冲对象的大小、资源活跃度进行评估；对于远程缓冲，依据内存、缓冲对象的大小、压缩率、KEY分布的均衡度等进行评估；
F.网络流量评估：在远程环境下必须评估网络流量，评估公式为：缓冲对象尺寸×每秒访问次数；
G.进行资源序列化，资源序列化为Java领域的资源序列化，包括Java序列化、资源对象内部、资源对象内部的数据属性和对象序列化。
Claims (5)
1.用于数据共享平台的构建缓冲的方法，其特征是建立基于SOA的系统架构，系统架构由Apache前端、Java应用程序模块、SOA服务器和数据库组成，Apache前端连接Java应用程序模块，Java应用程序模块远程连接SOA服务器，SOA服务器连接数据库，然后按以下步骤进行缓冲：
A.采用分布式的缓冲方案，对架构中的四个模块和SOA服务器与数据库间的连接分别进行缓冲；
B.对四个模块和SOA服务器与数据库间的连接实施缓冲数据策略，分析每个数据服务，统计出不同数据重复利用的频率，按照数据重复频率的高低进行排序，优先选择一部分重复频率高的资源；
C.针对缓冲对象选择数据资源颗粒度，依据缓冲对象的特点考虑，对业务较复杂的聚集对象选择小颗粒度的缓冲，相反就选择大颗粒度的缓冲；
D.针对业务逻辑实施资源过期策略，缓冲在各缓存中的数据对象，采用针对业务的过期策略，分配不同的过期时间；
E.对每台服务器的数据量的评估：对每台服务器缓冲多少数据、缓冲对象的大小、资源活跃度进行评估；对于远程缓冲，依据内存、缓冲对象的大小、压缩率、KEY分布的均衡度进行评估；
F.网络流量评估：在远程环境下必须评估网络流量，评估公式为：网络流量评估＝缓冲对象尺寸×每秒访问次数；
G.进行资源序列化。
2.根据权利要求1所述的用于数据共享平台的构建缓冲的方法，其特征是分布式的缓冲方案为：在Apache前端采用Apache相关的缓冲扩展；在其它三个模块和SOA服务器与数据库间的连接使用分布式缓存系统MemCached：对于Java应用程序模块，缓存Web页面，业务数据对象；对于SOA服务器，缓存业务数据对象，服务相关配置信息，数据路由规则；对于SOA服务器与数据库间的连接，实现通用的数据反问层，实现统一数据源查询，业务数据对象在这里也进行缓存；对于数据库模块，增加服务器内存，调整数据库缓冲，调整数据库本身的特性。
3.根据权利要求1或2所述的用于数据共享平台的构建缓冲的方法，其特征是对于Java应用程序模块和SOA服务器，在Java应用程序模块设置本地缓冲集群，完全缓冲整个对象关系，使用分布式缓存系统MemCached实现，SOA服务器采用缓冲群，设置多个缓存，分别完全缓冲各个对象。
4.根据权利要求1或2所述的用于数据共享平台的构建缓冲的方法，其特征是资源序列化为Java领域的资源序列化，包括Java序列化、资源对象内部、资源对象内部的数据属性和对象序列化。
5.根据权利要求3所述的用于数据共享平台的构建缓冲的方法，其特征是资源序列化为Java领域的资源序列化，包括Java序列化、资源对象内部、资源对象内部的数据属性和对象序列化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910025863.3A CN101499095B (zh) | 2009-03-11 | 2009-03-11 | 用于数据共享平台的构建缓冲的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910025863.3A CN101499095B (zh) | 2009-03-11 | 2009-03-11 | 用于数据共享平台的构建缓冲的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101499095A CN101499095A (zh) | 2009-08-05 |
| CN101499095B true CN101499095B (zh) | 2011-04-27 |
Family
ID=40946167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200910025863.3A Expired - Fee Related CN101499095B (zh) | 2009-03-11 | 2009-03-11 | 用于数据共享平台的构建缓冲的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101499095B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102075554B (zh) * | 2009-11-19 | 2013-07-03 | 中国移动通信集团北京有限公司 | 一种基于soa架构的服务处理方法及其系统 |
| CN102479225B (zh) * | 2010-11-26 | 2014-05-07 | 中国移动通信集团四川有限公司 | 一种分布式数据分析和处理方法及系统 |
| CN102724206B (zh) * | 2012-06-28 | 2015-02-25 | 北京搜狐新媒体信息技术有限公司 | 一种Apache服务器资源的访问方法及装置 |
| CN102945156B (zh) * | 2012-10-23 | 2016-01-06 | 融创天下（上海）科技发展有限公司 | 一种基于Java对象的数据缓存方法和装置 |
| CN103440325B (zh) * | 2013-09-02 | 2017-05-24 | 重庆康仕泰科技有限公司 | 高效、多并发、自适用数据库的运行方法 |
| CN104750621B (zh) * | 2013-12-27 | 2018-04-06 | 珠海全志科技股份有限公司 | 缓存方法及控制系统 |
| WO2015180070A1 (zh) * | 2014-05-28 | 2015-12-03 | 北京大学深圳研究生院 | 一种用于分布式存储系统的数据缓存方法及装置 |
| CN105893031B (zh) * | 2016-03-28 | 2019-12-24 | 广州华多网络科技有限公司 | 一种缓存操作实现方法、业务层方法的调用方法及装置 |
| CN106021569A (zh) * | 2016-05-31 | 2016-10-12 | 广东能龙教育股份有限公司 | 一种解决Hibernate分布式数据缓存的方法与系统 |
| CN108319598B (zh) * | 2017-01-16 | 2022-02-08 | 腾讯科技（北京）有限公司 | 数据缓存方法、装置和系统 |
| CN108491450B (zh) * | 2018-02-26 | 2021-09-21 | 平安普惠企业管理有限公司 | 数据缓存方法、装置、服务器和存储介质 |
| CN109151194B (zh) * | 2018-08-14 | 2021-03-02 | Oppo广东移动通信有限公司 | 数据传输方法、装置、电子设备以及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1432248A (zh) * | 2000-03-30 | 2003-07-23 | 英特尔公司 | 分布式高速缓存的方法和设备 |
| CN1577276A (zh) * | 2003-07-11 | 2005-02-09 | 国际商业机器公司 | 控制分布式数据的高速缓存操作的方法和系统 |
| US6950848B1 (en) * | 2000-05-05 | 2005-09-27 | Yousefi Zadeh Homayoun | Database load balancing for multi-tier computer systems |
| CN1968276A (zh) * | 2006-11-24 | 2007-05-23 | 清华大学 | 面向服务的体系结构环境下服务之间数据传输的动态优化方法 |
| US7454516B1 (en) * | 2000-08-03 | 2008-11-18 | Microsoft Corporation | Scalable virtual partitioning of resources |
-
2009
- 2009-03-11 CN CN200910025863.3A patent/CN101499095B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1432248A (zh) * | 2000-03-30 | 2003-07-23 | 英特尔公司 | 分布式高速缓存的方法和设备 |
| US6950848B1 (en) * | 2000-05-05 | 2005-09-27 | Yousefi Zadeh Homayoun | Database load balancing for multi-tier computer systems |
| US7454516B1 (en) * | 2000-08-03 | 2008-11-18 | Microsoft Corporation | Scalable virtual partitioning of resources |
| CN1577276A (zh) * | 2003-07-11 | 2005-02-09 | 国际商业机器公司 | 控制分布式数据的高速缓存操作的方法和系统 |
| CN1968276A (zh) * | 2006-11-24 | 2007-05-23 | 清华大学 | 面向服务的体系结构环境下服务之间数据传输的动态优化方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101499095A (zh) | 2009-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101499095B (zh) | 用于数据共享平台的构建缓冲的方法 | |
| CN104252536B (zh) | 一种基于hbase的上网日志数据查询方法及装置 | |
| CN103605727A (zh) | 基于连接池的多用户数据库访问高效率优化方法及架构 | |
| CN104202423B (zh) | 一种通过软件架构扩展缓存的系统 | |
| CN1658598A (zh) | 计算机网络中自组织分配服务方法、系统和软件产品 | |
| CN102971732A (zh) | 键/值存储器的集成分级查询处理的系统结构 | |
| Lin et al. | Efficient algorithms for frequent pattern mining in many-task computing environments | |
| CN102279810A (zh) | 一种网络存储服务器及其缓存数据的方法 | |
| CN106210022A (zh) | 一种用于处理论坛高并发数据请求的系统和方法 | |
| Kayaaslan et al. | Document replication strategies for geographically distributed web search engines | |
| CN113810931B (zh) | 一种面向移动边缘计算网络的自适应视频缓存方法 | |
| CN102843420A (zh) | 基于模糊划分的社交网络数据分发系统 | |
| CN104202424A (zh) | 一种使用软件架构扩展缓存的方法 | |
| CN105975345A (zh) | 一种基于分布式内存的视频帧数据动态均衡存储管理方法 | |
| Cai et al. | DITIR: Distributed index for high throughput trajectory insertion and real-time temporal range query | |
| CN104580422A (zh) | 基于共享缓存的集群渲染节点数据访问方法 | |
| Jiang et al. | Cooperative content distribution for 5G systems based on distributed cloud service network | |
| Sourlas et al. | Caching in content-based publish/subscribe systems | |
| CN102737131A (zh) | 一种针对数据库重做日志的处理方法及系统 | |
| CN101217690A (zh) | 实现数据业务和数据信息分布存储的系统及方法 | |
| CN101778135A (zh) | 一种农村综合信息平台的服务器系统及其运行方法 | |
| US20230026912A1 (en) | Systems and methods for storing content items in secondary storage | |
| CN114338725B (zh) | 一种提升大规模集群渲染上限的分布式存储调度方法 | |
| CN207939557U (zh) | 一种数据采集统计硬件平台 | |
| CN105930519A (zh) | 一种基于集群文件系统的全局共享读缓存方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110427 |