CN104915442A - 数据分布处理系统及方法 - Google Patents

数据分布处理系统及方法 Download PDF

Info

Publication number
CN104915442A
CN104915442A CN201510366486.5A CN201510366486A CN104915442A CN 104915442 A CN104915442 A CN 104915442A CN 201510366486 A CN201510366486 A CN 201510366486A CN 104915442 A CN104915442 A CN 104915442A
Authority
CN
China
Prior art keywords
data
database
server
disposal system
databases
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510366486.5A
Other languages
English (en)
Inventor
郑小龙
印巍
梅蓓
王磊
刘文章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ctrip Business Co Ltd
Original Assignee
Ctrip Computer Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ctrip Computer Technology Shanghai Co Ltd filed Critical Ctrip Computer Technology Shanghai Co Ltd
Priority to CN201510366486.5A priority Critical patent/CN104915442A/zh
Publication of CN104915442A publication Critical patent/CN104915442A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据分布处理系统及方法，数据分布处理系统，包括：多个服务器，每个服务器中均具有一数据库，每个数据库中均存储一数据表；判断模块，用于自动判断服务器的并发承载量以及存储量；匹配模块，用于链接数据库，并自动匹配数据表、数据库及服务器之间的关系；处理模块，用于执行智能分布，并进行数据处理。本发明对数据分布处理系统进行划分，能够以非常细的粒度进行部署，而不是把一堆功能都部署在同一台机器上，从而能够增强系统的重用性，并使得处理数据的速度加快。

Description

数据分布处理系统及方法
技术领域
本发明涉及一种数据分布处理系统及方法。
背景技术
在传统的数据处理系统中，一个数据库中会存储多个数据表，架设在一台服务器中，传统的单一数据库、单一服务器上传格式有限制、检索速度慢，已经不能满足现有数据处理的要求。
发明内容
本发明要解决的技术问题是为了克服现有技术中传统的数据处理系统已经不能满足现有数据处理的要求的缺陷，提供一种数据分布处理系统及方法。
本发明是通过下述技术方案来解决上述技术问题的：
本发明提供了一种数据分布处理系统，其特点在于，包括：
多个服务器，每个服务器中均具有一数据库，每个数据库中均存储一数据表；
判断模块，用于自动判断服务器的并发承载量以及存储量；
匹配模块，用于链接数据库，并自动匹配数据表、数据库及服务器之间的关系；
处理模块，用于执行智能分布，并进行数据处理。
较佳地，所述匹配模块用于通过不同的数据库链接字符串来链接不同的数据库。
较佳地，不同数据库中的数据还在业务逻辑层通过程序进行关联和封装，以实现不同数据之间的整合。
较佳地，所述处理模块的数据处理包括处理应用服务端逻辑、分析数据关系及生成日志。
本发明的目的在于还提供了一种数据分布处理方法，其特点在于，其利用上述的数据分布处理系统实现，包括以下步骤：
S1、自动判断服务器的并发承载量以及存储量；
S2、链接数据库，并自动匹配数据表、数据库及服务器之间的关系；
S3、执行智能分布，并进行数据处理。
较佳地，步骤S2中通过不同的数据库链接字符串来链接不同的数据库。
较佳地，不同数据库中的数据还在业务逻辑层通过程序进行关联和封装，以实现不同数据之间的整合。
较佳地，步骤S3中的数据处理包括处理应用服务端逻辑、分析数据关系及生成日志。
本发明的积极进步效果在于：本发明对数据分布处理系统进行划分，能够以非常细的粒度进行部署，而不是把一堆功能都部署在同一台机器上，从而能够增强系统的重用性，并使得处理数据的速度加快。
附图说明
图1为本发明的较佳实施例的数据分布处理系统的模块示意图。
图2为本发明的较佳实施例的数据分布处理方法的流程图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
如图1所示，本发明的数据分布处理系统包括多个服务器1、判断模块2、匹配模块3及处理模块4，其中，每个服务器1中均具有一数据库，每个数据库中均存储一数据表；判断模块2用于自动判断服务器的并发承载量以及存储量；匹配模块3用于链接数据库，并自动匹配数据表、数据库及服务器之间的关系；处理模块4用于执行智能分布，并进行数据处理。
在本实施例中，所述匹配模块3用于通过不同的数据库链接字符串来链接不同的数据库，而不同数据库中的数据还在业务逻辑层通过程序进行关联和封装，以实现不同数据之间的整合。所述处理模块4的数据处理具体包括处理应用服务端逻辑、分析数据关系及生成日志。
分布式系统框架的目的是为了解决数据的分布，可以不用子查询、链表和存储过程，而是在程序中对数据进行处理，用程序来完成，用程序进行分布。在程序中配置不同的数据库链接字符串，对应的调取不同数据库中的数据，而且可以将不同数据库中的数据在业务逻辑层通过程序来进行关联和封装，以实现不同数据之间的整合。
本发明的数据分布处理系统可多线程操作传输数据，提高传输速度。
如图2所示，本发明利用本实施例的数据分布处理系统实现的数据分布处理方法包括以下步骤：
步骤101、自动判断服务器的并发承载量以及存储量；
步骤102、链接数据库，并自动匹配数据表、数据库及服务器之间的关系；
步骤103、执行智能分布，并进行数据处理。
其中，步骤102中通过不同的数据库链接字符串来链接不同的数据库，步骤103中的数据处理包括处理应用服务端逻辑、分析数据关系及生成日志。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (8)

1.一种数据分布处理系统，其特征在于，包括：
多个服务器，每个服务器中均具有一数据库，每个数据库中均存储一数据表；
判断模块，用于自动判断服务器的并发承载量以及存储量；
匹配模块，用于链接数据库，并自动匹配数据表、数据库及服务器之间的关系；
处理模块，用于执行智能分布，并进行数据处理。
2.如权利要求1所述的数据分布处理系统，其特征在于，所述匹配模块用于通过不同的数据库链接字符串来链接不同的数据库。
3.如权利要求1所述的数据分布处理系统，其特征在于，不同数据库中的数据还在业务逻辑层通过程序进行关联和封装，以实现不同数据之间的整合。
4.如权利要求1所述的数据分布处理系统，其特征在于，所述处理模块的数据处理包括处理应用服务端逻辑、分析数据关系及生成日志。
5.一种数据分布处理方法，其特征在于，其利用如权利要求1所述的数据分布处理系统实现，包括以下步骤：
S1、自动判断服务器的并发承载量以及存储量；
S2、链接数据库，并自动匹配数据表、数据库及服务器之间的关系；
S3、执行智能分布，并进行数据处理。
6.如权利要求5所述的数据分布处理方法，其特征在于，步骤S2中通过不同的数据库链接字符串来链接不同的数据库。
7.如权利要求5所述的数据分布处理方法，其特征在于，不同数据库中的数据还在业务逻辑层通过程序进行关联和封装，以实现不同数据之间的整合。
8.如权利要求5所述的数据分布处理方法，其特征在于，步骤S3中的数据处理包括处理应用服务端逻辑、分析数据关系及生成日志。
CN201510366486.5A 2015-06-26 2015-06-26 数据分布处理系统及方法 Pending CN104915442A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510366486.5A CN104915442A (zh) 2015-06-26 2015-06-26 数据分布处理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510366486.5A CN104915442A (zh) 2015-06-26 2015-06-26 数据分布处理系统及方法

Publications (1)

Publication Number Publication Date
CN104915442A true CN104915442A (zh) 2015-09-16

Family

ID=54084505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510366486.5A Pending CN104915442A (zh) 2015-06-26 2015-06-26 数据分布处理系统及方法

Country Status (1)

Country Link
CN (1) CN104915442A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101233492A (zh) * 2005-08-05 2008-07-30 国际商业机器公司 分布式存储系统中的应用配置
CN101321181A (zh) * 2008-07-17 2008-12-10 上海交通大学 基于模糊控制的分布式服务流程引擎管理系统
CN103095806A (zh) * 2012-12-20 2013-05-08 中国电力科学研究院 一种面向大电网的实时数据库系统的负载均衡管理系统
CN103595776A (zh) * 2013-11-05 2014-02-19 福建网龙计算机网络信息技术有限公司 分布式缓存方法及系统
CN103747274A (zh) * 2013-12-18 2014-04-23 北京邮电大学 一种增设缓存集群的视频数据中心及其缓存资源调度方法
CN104462548A (zh) * 2014-12-25 2015-03-25 杭州东信北邮信息技术有限公司 一种数据库分布式系统及其实现方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101233492A (zh) * 2005-08-05 2008-07-30 国际商业机器公司 分布式存储系统中的应用配置
CN101321181A (zh) * 2008-07-17 2008-12-10 上海交通大学 基于模糊控制的分布式服务流程引擎管理系统
CN103095806A (zh) * 2012-12-20 2013-05-08 中国电力科学研究院 一种面向大电网的实时数据库系统的负载均衡管理系统
CN103595776A (zh) * 2013-11-05 2014-02-19 福建网龙计算机网络信息技术有限公司 分布式缓存方法及系统
CN103747274A (zh) * 2013-12-18 2014-04-23 北京邮电大学 一种增设缓存集群的视频数据中心及其缓存资源调度方法
CN104462548A (zh) * 2014-12-25 2015-03-25 杭州东信北邮信息技术有限公司 一种数据库分布式系统及其实现方法

Similar Documents

Publication Publication Date Title
CN104331435B (zh) 一种基于Hadoop大数据平台的低影响高效率的海量数据抽取方法
CN104408132A (zh) 数据推送方法和系统
CN104408159B (zh) 一种数据关联、加载、查询方法及装置
CN104699723A (zh) 数据交换适配器、异构系统之间数据同步系统和方法
CN105335479B (zh) 一种基于sql的文本数据统计实现方法
CN102665231B (zh) 一种lte系统自动生成参数配置文件的方法
CN105205105A (zh) 一种基于storm的数据ETL系统及处理方法
CN105404690A (zh) 查询数据库的方法和装置
CN106126601A (zh) 一种社保大数据分布式预处理方法及系统
CN103309904A (zh) 一种生成数据仓库etl 代码的方法及装置
CN107229747A (zh) 一种基于流式处理框架的大规模数据处理装置及方法
CN104298736A (zh) 数据集合连接方法、装置及数据库系统
CN110471754A (zh) 作业调度中的数据展示方法、装置、设备及存储介质
CN104077385A (zh) 一种文件的分类及检索方法
CN105930502B (zh) 一种收集数据的系统、客户端和方法
CN104424240A (zh) 多表关联方法、主服务节点、计算节点及系统
CN110705891A (zh) 一种基于高可配可变更的数据处理方法
CN109656997B (zh) 工业互联网大数据服务平台系统和服务方法
CN104881475A (zh) 一种用于大数据随机抽样的方法和系统
CN108509447A (zh) 数据处理方法及装置
CN105808748A (zh) 一种mib版本对比方法和装置
CN106909460B (zh) 数据缓冲方法、装置及存储介质
CN106528051B (zh) 基于MongoDB的大数据队列堆栈操作的方法
CN107291938A (zh) 订单查询系统及方法
CN105488271B (zh) 一种油气模块型钢自动匹配方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160206

Address after: 200335 Shanghai city Changning District Admiralty Road No. 968 Building No. 16 10 floor

Applicant after: SHANGHAI XIECHENG BUSINESS CO., LTD.

Address before: 200335 Shanghai City, Changning District Fuquan Road No. 99, Ctrip network technology building

Applicant before: Ctrip computer technology (Shanghai) Co., Ltd.

RJ01 Rejection of invention patent application after publication

Application publication date: 20150916

RJ01 Rejection of invention patent application after publication