CN107911413A - 一种分布式数据服务管理系统及方法 - Google Patents

一种分布式数据服务管理系统及方法 Download PDF

Info

Publication number
CN107911413A
CN107911413A CN201710970480.8A CN201710970480A CN107911413A CN 107911413 A CN107911413 A CN 107911413A CN 201710970480 A CN201710970480 A CN 201710970480A CN 107911413 A CN107911413 A CN 107911413A
Authority
CN
China
Prior art keywords
dsm
distributed
web application
modules
data service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710970480.8A
Other languages
English (en)
Inventor
姚垒
徐军
朱林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huadi Computer Group Co Ltd
Original Assignee
Huadi Computer Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huadi Computer Group Co Ltd filed Critical Huadi Computer Group Co Ltd
Priority to CN201710970480.8A priority Critical patent/CN107911413A/zh
Publication of CN107911413A publication Critical patent/CN107911413A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种分布式数据服务管理系统，包括：数据库，用于对web应用服务的分布式业务数据进行存储；数据服务管理DSM模块，采用分布式部署，用于实现web应用服务器前端页面对业务数据的查询需求，所述数据服务管理DSM模块；ETCD存储模块，用于对分布式DSM组件的服务地址信息和配置信息集中进行存储；Web应用服务前端，用于通过代理服务器获取所述ETCD存储模块中的分布式DSM配置信息，并随机访问一个DSM组件获取相应的数据信息，实现数据服务的负载均衡。本发明将web应用前端和数据服务管理分开，并采用分布式方式部署，有针对性地对数据服务管理进行分布式扩容，实现高并发性能需求，能够高效利用服务器资源，同时提升了系统的稳定性和容错性。

Description

一种分布式数据服务管理系统及方法
技术领域
本发明涉及web应用服务领域，并且更具体地，涉及一种分布式数据服务管理系统及方法。
背景技术
随着业务的推进以及web应用服务使用的人数的增加，web应用服务的访问量，访问频次，访问并发数都急剧增长，web应用服务面临着响应性能和运行稳定性的双重压力，以及在软硬件方面扩容web应用服务的支撑能力的需求。
现有的web应用服务的实现通常有两种，一种是将页面展示和数据访问放在一个工程中部署实现，仅提供一个web应用以供用户访问使用，实现方式如图1所示，采用单个web应用的服务，可利用资源有限，在高并发访问情况下存在性能瓶颈，无法满足高并发应用访问需求，系统稳定性不好，容易单点故障，容易性能瓶颈。另一种是考虑到高并发访问压力，以及单个web应用服务的性能有限，采用nginx或者硬件负载均衡的方式集成多个web应用服务的方式实现高并发性能需求，实现方式如图2所示，采用负载均衡的方式，集成多个web应用服务可以满足高并发性能需求，但是web应用服务依然将web应用前端和数据服务集成在一个工程中，功能模块耦合性高，应用集群扩容无法针对性扩容，资源浪费严重，扩容成本高且容易出错。
因此，需要一种分布式数据管理方法，以解决web应用服务的性能不稳定，容易出现性能瓶颈的问题。
发明内容
本发明提供了一种分布式数据服务管理系统及方法，以解决web应用服务的性能不稳定，容易出现性能瓶颈的问题。
为了解决上述问题，根据本发明的一个方面，提供了一种分布式数据服务管理系统，所述系统包括：
数据库，用于对web应用服务的分布式业务数据进行存储；
数据服务管理DSM(Demand Side Management，DSM)模块，采用分布式部署，用于实现web应用服务器前端页面对业务数据的查询需求，所述数据服务管理DSM模块，包括：至少一个DSM组件；
ETCD存储模块，用于对分布式DSM组件的服务地址信息和配置信息集中进行存储；
Web应用服务前端，用于通过代理服务器获取所述ETCD存储模块中的分布式DSM配置信息，并随机访问一个DSM组件获取相应的数据信息，实现数据服务的负载均衡。
优选地，其中所述数据服务管理DSM模块部署在至少一个服务器上，每个服务器上部署至少一个DSM实例。
优选地，其中所述代理服务器包括：软件代理或硬件代理。
优选地，其中所述代理服务器为：nginx反向代理服务器。
优选地，其中所述数据库包括：ORACLE、MYSQL、MONGODB以及HBASE。
根据本发明的另一个方面，提供了一种分布式数据服务管理方法，所述方法包括：
利用数据库对web应用服务的分布式业务数据进行存储；
利用数据服务管理DSM模块实现web应用服务器前端页面对业务数据的查询需求，所述数据服务管理DSM模块，包括：至少一个DSM组件；
利用ETCD存储模块对分布式DSM组件的服务地址信息和配置信息集中进行存储；
Web应用服务前端通过代理服务器获取所述ETCD存储模块中的分布式DSM配置信息，并随机访问一个DSM组件获取相应的数据信息，实现数据服务的负载均衡。
优选地，其中所述数据服务管理DSM模块部署在至少一个服务器上，每个服务器上部署至少一个DSM实例。
优选地，其中所述代理服务器包括：软件代理或硬件代理。
优选地，其中所述代理服务器为：nginx反向代理服务器。
优选地，其中所述数据库包括：ORACLE、MYSQL、MONGODB以及HBASE。
本发明提供了一种分布式数据服务管理系统及方法，将web应用前端和数据服务管理分开，拆分成两个独立工程，避免相互干扰，并采用分布式方式部署，有针对性地对数据服务管理进行分布式扩容，实现高并发性能需求，能够高效利用服务器资源，避免资源浪费，同时提升了系统的稳定性和容错性。
附图说明
通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：
图1为现有的web应用服务的实现方式一的示意图；
图2为现有的web应用服务的实现方式二的示意图；
图3为根据本发明实施方式的分布式数据服务管理系统300的结构示意图；
图4为根据本发明实施方式的分布式数据服务管理系统的示意图；以及
图5为根据本发明实施方式的分布式数据服务管理方法500的流程图。
具体实施方式
现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。
除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。
图3为根据本发明实施方式的分布式数据服务管理系统300的结构示意图。如图3所示，本发明实施方式的分布式数据服务管理系统包括：数据库，用于对web应用服务的分布式业务数据进行存储；数据服务管理DSM模块，采用分布式部署，用于实现web应用服务器前端页面对业务数据的查询需求；ETCD存储模块，用于对分布式DSM组件的服务地址信息和配置信息集中进行存储；Web应用服务前端，用于通过代理服务器获取所述ETCD存储模块中的分布式DSM配置信息，并随机访问一个DSM组件获取相应的数据信息，实现数据服务的负载均衡。通过将web应用前端和数据服务管理分开，拆分成两个独立工程，避免相互干扰，并采用分布式方式部署，有针对性地对数据服务管理进行分布式扩容，实现高并发性能需求，能够高效利用服务器资源，避免资源浪费，同时提升了系统的稳定性和容错性。
如图3所示，本发明实时方式的分布式数据服务管理系统300包括:数据库301、数据服务管理DSM模块302、ETCD存储模块303、Web应用服务前端304和代理服务器305。优选地，所述数据库301，用于对web应用服务的分布式业务数据进行存储。优选地，其中所述数据库包括：ORACLE、MYSQL、MONGODB以及HBASE。
优选地，所述数据服务管理DSM模块302，采用分布式部署，用于实现web应用服务器前端页面对业务数据的查询需求，所述数据服务管理DSM模块，包括：至少一个DSM组件。优选地，其中所述数据服务管理DSM模块部署在至少一个服务器上，每个服务器上部署至少一个DSM实例。
优选地，所述ETCD存储模块303，用于对分布式DSM组件的服务地址信息和配置信息集中进行存储。
优选地，所述Web应用服务前端304，用于通过代理服务器305获取所述ETCD存储模块中的分布式DSM配置信息，并随机访问一个DSM组件获取相应的数据信息，实现数据服务的负载均衡。
优选地，其中所述代理服务器包括：软件代理或硬件代理。
优选地，其中所述代理服务器为：nginx反向代理服务器。
图4为根据本发明实施方式的分布式数据服务管理系统的示意图。如图4所示，在本发明的实施方式中，考虑到web应用服务的主要性能瓶颈在数据查询服务上，将DSM(数据服务管理)封装成独立的组件，与web应用服务前端分离，构成独立的两个服务模块，这样可以方便开发人员职责的分配，做前端的人员可以专注于前端页面的开发，做后端的人员可以专注于后端数据服务逻辑的开发，彼此代码互不干扰，分开独立部署，提升系统工程的组件功能内聚性，降低了组件间的耦合性。为满足高并发访问需要，对DSM(数据服务管理)服务采用分布式部署，在DSM中实现web应用服务前端页面所需各种数据业务需求。分布式DSM服务的服务地址信息集中存储在分布式ETCD中。Web应用服务前端通过代理服务获取ETCD中分布式DSM配置信息并随机访问其中一个DSM服务来获得相应的数据服务信息，来实现数据服务的负载均衡功能。DSM可以在一个服务器上部署多个实例，可以在多个服务器上部署，可以充分节约利用服务器资源，不需要同时部署web服务前端就可以提升应用集群的并发能力，系统的扩展能力，容错能力得到极大的提升。
图5为根据本发明实施方式的分布式数据服务管理方法500的流程图。如图5所示，本发明实施方式的分布式数据服务管理方法500从步骤501处开始，在步骤501利用数据库对web应用服务的分布式业务数据进行存储。优选地，其中所述数据库包括：ORACLE、MYSQL、MONGODB以及HBASE。
优选地，在步骤502利用数据服务管理DSM模块实现web应用服务器前端页面对业务数据的查询需求，所述数据服务管理DSM模块，包括：至少一个DSM组件。优选地，其中所述数据服务管理DSM模块部署在至少一个服务器上，每个服务器上部署至少一个DSM实例。
优选地，在步骤503利用ETCD存储模块对分布式DSM组件的服务地址信息和配置信息集中进行存储。
优选地，在步骤504Web应用服务前端通过代理服务器获取所述ETCD存储模块中的分布式DSM配置信息，并随机访问一个DSM组件获取相应的数据信息，实现数据服务的负载均衡。
优选地，其中所述代理服务器包括：软件代理或硬件代理。
优选地，其中所述代理服务器为：nginx反向代理服务器。
本发明的实施例的分布式数据服务管理方法500与本发明的另一个实施例的分布式数据服务管理系统300相对应，在此不再赘述。
已经通过参考少量实施方式描述了本发明。然而，本领域技术人员所公知的，正如附带的专利权利要求所限定的，除了本发明以上公开的其他的实施例等同地落在本发明的范围内。
通常地，在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释，除非在其中被另外明确地定义。所有的参考“一个/所述/该[装置、组件等]”都被开放地解释为所述装置、组件等中的至少一个实例，除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行，除非明确地说明。

Claims (10)

1.一种分布式数据服务管理系统，其特征在于，所述系统包括：
数据库，用于对web应用服务的分布式业务数据进行存储；
数据服务管理DSM模块，采用分布式部署，用于实现web应用服务器前端页面对业务数据的查询需求，所述数据服务管理DSM模块，包括：至少一个DSM组件；
ETCD存储模块，用于对分布式DSM组件的服务地址信息和配置信息集中进行存储；
Web应用服务前端，用于通过代理服务器获取所述ETCD存储模块中的分布式DSM配置信息，并随机访问一个DSM组件获取相应的数据信息，实现数据服务的负载均衡。
2.根据权利要求1所述的系统，其特征在于，所述数据服务管理DSM模块部署在至少一个服务器上，每个服务器上部署至少一个DSM实例。
3.根据权利要求1所述的系统，其特征在于，所述代理服务器包括：软件代理或硬件代理。
4.根据权利要求3所述的系统，其特征在于，所述代理服务器为：nginx反向代理服务器。
5.根据权利要求1所述的系统，其特征在于，所述数据库包括：ORACLE、MYSQL、MONGODB以及HBASE。
6.一种分布式数据服务管理方法，其特征在于，所述方法包括：
利用数据库对web应用服务的分布式业务数据进行存储；
利用数据服务管理DSM模块实现web应用服务器前端页面对业务数据的查询需求，所述数据服务管理DSM模块，包括：至少一个DSM组件；
利用ETCD存储模块对分布式DSM组件的服务地址信息和配置信息集中进行存储；
Web应用服务前端通过代理服务器获取所述ETCD存储模块中的分布式DSM配置信息，并随机访问一个DSM组件获取相应的数据信息，实现数据服务的负载均衡。
7.根据权利要求6所述的方法，其特征在于，所述数据服务管理DSM模块部署在至少一个服务器上，每个服务器上部署至少一个DSM实例。
8.根据权利要求6所述的方法，其特征在于，所述代理服务器包括：软件代理或硬件代理。
9.根据权利要求8所述的方法，其特征在于，所述代理服务器为：nginx反向代理服务器。
10.根据权利要求6所述的方法，其特征在于，所述数据库包括：ORACLE、MYSQL、MONGODB以及HBASE。
CN201710970480.8A 2017-10-16 2017-10-16 一种分布式数据服务管理系统及方法 Pending CN107911413A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710970480.8A CN107911413A (zh) 2017-10-16 2017-10-16 一种分布式数据服务管理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710970480.8A CN107911413A (zh) 2017-10-16 2017-10-16 一种分布式数据服务管理系统及方法

Publications (1)

Publication Number Publication Date
CN107911413A true CN107911413A (zh) 2018-04-13

Family

ID=61840624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710970480.8A Pending CN107911413A (zh) 2017-10-16 2017-10-16 一种分布式数据服务管理系统及方法

Country Status (1)

Country Link
CN (1) CN107911413A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287009A (zh) * 2019-05-28 2019-09-27 北京大米科技有限公司 一种工作节点选择方法、装置、存储介质及服务器
CN112396526A (zh) * 2020-10-22 2021-02-23 安徽中科晶格技术有限公司 一种基于区块链的去中心化web应用管理系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101321181A (zh) * 2008-07-17 2008-12-10 上海交通大学 基于模糊控制的分布式服务流程引擎管理系统
US8620135B2 (en) * 2001-12-06 2013-12-31 Harold J. Plourde, Jr. Selection and retention of buffered media content
CN104598393A (zh) * 2013-10-31 2015-05-06 新昌县冠阳技术开发有限公司 分布式共享内存系统
CN205540450U (zh) * 2016-04-12 2016-08-31 上海银行股份有限公司 一种金融服务平台系统
CN106790660A (zh) * 2017-01-18 2017-05-31 咪咕视讯科技有限公司 一种实现分布式存储系统的部署方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8620135B2 (en) * 2001-12-06 2013-12-31 Harold J. Plourde, Jr. Selection and retention of buffered media content
CN101321181A (zh) * 2008-07-17 2008-12-10 上海交通大学 基于模糊控制的分布式服务流程引擎管理系统
CN104598393A (zh) * 2013-10-31 2015-05-06 新昌县冠阳技术开发有限公司 分布式共享内存系统
CN205540450U (zh) * 2016-04-12 2016-08-31 上海银行股份有限公司 一种金融服务平台系统
CN106790660A (zh) * 2017-01-18 2017-05-31 咪咕视讯科技有限公司 一种实现分布式存储系统的部署方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287009A (zh) * 2019-05-28 2019-09-27 北京大米科技有限公司 一种工作节点选择方法、装置、存储介质及服务器
CN112396526A (zh) * 2020-10-22 2021-02-23 安徽中科晶格技术有限公司 一种基于区块链的去中心化web应用管理系统及方法

Similar Documents

Publication Publication Date Title
US10002141B2 (en) Distributed database in software driven networks
CN110198231A (zh) 用于多租户的容器网络管理方法和系统以及中间件
US9674294B1 (en) Integrated collaboration environment
US9749445B2 (en) System and method for updating service information for across-domain messaging in a transactional middleware machine environment
US10127077B2 (en) Event distribution pattern for use with a distributed data grid
CN103617255B (zh) 一种用于电力信息系统的业务数据交换同步系统及方法
US9864689B2 (en) Near cache distribution in in-memory data grid (IMDG) non structured query language (NO-SQL) environments
US9459897B2 (en) System and method for providing data analysis service in cloud environment
CN102523234A (zh) 一种应用服务器集群实现方法及系统
US9081839B2 (en) Push replication for use with a distributed data grid
CN106953910A (zh) 一种Hadoop计算存储分离方法
CN103067488A (zh) 一种统一存储的实现方法
CN105005611A (zh) 一种文件管理系统及文件管理方法
CN105354250A (zh) 一种面向云存储的数据存储方法及装置
Silberstein et al. Pnuts in flight: Web-scale data serving at yahoo
CN116055426B (zh) 用于多绑定模式下流量卸载转发的方法、设备及介质
CN107911413A (zh) 一种分布式数据服务管理系统及方法
CN116192872A (zh) 边缘环境容器加速供给方法、系统、电子设备和存储介质
WO2015094195A1 (en) Transaction query engine
CN104714923A (zh) 一种实现设备共享的方法和装置
CN114328587A (zh) 一种ndc报文分布式解析系统架构集成方法及装置
US7676497B2 (en) Apparatus and method for report publication in a federated cluster
CN104410704A (zh) 一种云计算环境中配置服务模块的数据库的方法
CN103577465A (zh) 系统数据处理系统及方法
CN110071870A (zh) 基于Alluxio的多HDFS集群的路由方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180413

RJ01 Rejection of invention patent application after publication