CN105138638A - 一种基于应用层的数据库分布方法 - Google Patents
一种基于应用层的数据库分布方法 Download PDFInfo
- Publication number
- CN105138638A CN105138638A CN201510521173.2A CN201510521173A CN105138638A CN 105138638 A CN105138638 A CN 105138638A CN 201510521173 A CN201510521173 A CN 201510521173A CN 105138638 A CN105138638 A CN 105138638A
- Authority
- CN
- China
- Prior art keywords
- database
- application layer
- business
- dblink
- mapping table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000013507 mapping Methods 0.000 claims abstract description 20
- 238000005192 partition Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000013480 data collection Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于应用层的数据库分布方法，具体实现过程为：根据各业务系统的特点，提取业务维度，按照业务维度进行数据库划分，并创建对应的数据库节点；在主库中，配置各分布数据库的连接dblink，同时，配置业务维度同数据库的映射表；应用层根据业务维度信息，在对照表中查找对应的数据库；根据已创建好的此数据库的连接dblink，执行业务操作。该一种基于应用层的数据库分布方法与现有技术相比，根据数据库分布配置表，来确定业务操作执行的数据库位置，从而使数据库做到了可无限制增加节点，使数据处理的压力得到分布，提升系统应用性能，实用性强。
Description
技术领域
本发明涉及大数据的数据采集技术领域，具体地说是一种实用性强、基于应用层的数据库分布方法。
背景技术
随着社会的进步和信息化的不断发展，人们对数据的要求越来越高，企业信息化程度越来越精细，随之而来的是日益增加的庞大的业务交易数据量，给ERP系统建设带来了不小的挑战。为了减轻巨大的数据处理对数据库造成的压力，业界产生了分布式数据库的概念。然而，对于传统的SqlServer、Oracle数据库来说，对这种分布式集群的支持很有限，性能提升不明显。
减轻数据库压力的方式大致分为三种，数据库负载均衡、基于文件系统的分布式数据库及关系型数据库的分布。
1、数据库负载均衡。此技术主要针对关系型Oracle数据库，利用Rack的方式，增加数据库服务器节点，将数据计算分担到多个数据库服务器。这种技术，最多增加的4台数据库服务器节点，而性能提升仅为1.5倍，如果继续增加节点，对数据库性能已无提升空间。
2、基于文件系统的分布式数据库。如Hadoop分布式数据库架构，可将数据分布式存储在不同的数据库上面，各个节点的数据库数据量维持在一个较低的水平，然而，这种技术限于各数据库之间关系不密切，数据可以独立存在的情况，且数据库类型为非关系型的文件系统数据库。
3、关系型数据库的分布。关系型数据库，能够支撑复杂的数据应用，然而，对于关系型数据库，减少单个数据库数据处理压力的方式，在数据库层面没有很好的解决思路。通过应用层，可以很好的处理这种矛盾。通过应用层的划分及数据库节点映射，在执行数据操作时，自动连接不同的数据库节点，实现数据库的分布，降低单数据库节点的数据处理压力。
基于此，现提供一种可解决上述问题、性能提升明显、基于应用层的数据库分布方法。
发明内容
本发明的技术任务是针对以上不足之处，提供一种实用性强、基于应用层的数据库分布方法。
一种基于应用层的数据库分布方法，其具体实现过程为：
根据各业务系统的特点，提取业务维度，按照业务维度进行数据库划分，并创建对应的数据库节点；
在主库中，配置各分布数据库的连接dblink，同时，配置业务维度同数据库的映射表；
应用层根据业务维度信息，在对照表中查找对应的数据库；
根据已创建好的此数据库的连接dblink，执行业务操作。
所述数据库的连接具体配置过程为：首先定义主数据库连接各个分布数据库节点的dblink的名称及说明，供数据库连接映射定义用；在应用程序拼写数据库执行SQL时，根据此连接，将创建的dblink名称加入，从而定位SQL执行的对象所在数据库。
所述映射表的配置过程为：使用系统管理配置工具，配置服务器端的参数，该参数包括各个分布数据库连接配置表、业务维度同数据库连接的映射表。
业务维度同数据库连接映射表的具体配置过程为：在按照维度信息确定数据库的划分后，查找要用到的dblink时，根据维度信息，在此映射表中查找当前业务数据单位编号对应的数据库连接，然后再根据数据库连接，建立该单位业务数据所在的数据库的连接，进行相关数据操作。
应用层数据分布处理的具体过程为：应用层根据当前业务场景，确定业务维度数据值，并根据这些值，查找到所要连接的数据库，执行相应数据操作。
本发明的一种基于应用层的数据库分布方法，具有以下优点：
该发明的一种基于应用层的数据库分布方法根据获取业务维度同数据库映射信息，从应用层面使关系型数据库分布式部署成为可能，解决了由于数据处理压力而造成的系统应用的性能瓶颈；根据数据库分布配置表，来确定业务操作执行的数据库位置，从而使数据库做到了可无限制增加节点，使数据处理的压力得到分布，提升系统应用性能，实用性强，适用范围广泛，易于推广。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
本发明的提供一种基于应用层的数据库分布方法，通过数据采集客户端进行海量数据采集的方式进行数据采集。
其实现过程为：
根据各业务系统的特点，提取业务维度，按照业务维度进行数据库划分，并创建对应的数据库节点；
在主库中，配置各分布数据库的连接dblink，同时，配置业务维度同数据库的映射表；
应用层根据业务维度信息，在对照表中查找对应的数据库；
根据已创建好的此数据库的连接dblink，执行业务操作。
在上述发明中，根据业务系统特点，提取可作为数据库划分依据的业务维度。
根据划分的数据库节点创建各个分布的业务数据库，并在主库建立各分布库的连接dblink。
使用系统管理配置工具，配置服务器端的参数，包括各个分布数据库连接配置表，业务维度同数据库连接的映射表。
应用程序在进行业务处理时，依据业务维度数据库连接配置表，找到操作需要执行的数据库，并通过数据库连接配置进行实际的业务执行操作。
所述数据库的连接具体配置过程为：首先定义主数据库连接各个分布数据库节点的dblink的名称及说明，供数据库连接映射定义用；在应用程序拼写数据库执行SQL时，根据此连接，将创建的dblink名称加入，从而定位SQL执行的对象所在数据库。
业务维度同数据库连接映射表的具体配置过程为：在按照维度信息确定数据库的划分后，查找要用到的dblink时，根据维度信息，在此映射表中查找当前业务数据单位编号对应的数据库连接，然后再根据数据库连接，建立该单位业务数据所在的数据库的连接，进行相关数据操作。
应用层数据分布处理的具体过程为：应用层根据当前业务场景，确定业务维度数据值，并根据这些值，查找到所要连接的数据库，执行相应数据操作。
本发明适用于财务系统同异构系统集成时，异构系统日常业务数据量较大，从而造成对财务系统数据库产生巨大压力的情形；同时，也适用于ERP系统业务数据量大，且需要进行频繁而复杂的计算时，对数据库的数据处理性能要求很高的情形。
以上情形，在应用Oracle数据库时，受数据库技术限制，无法进行数据库集群部署，即使通过Rack技术，增加服务器负载均衡，性能提升也仅限于1.5倍。本发明，在应用层对数据库进行了拆分，实现了真正意义的数据库集群部署，集群中数据库节点可根据需要无限制增加，以增强单个数据库服务器处理数据的能力，提供ERP系统应用性能。本发明适用范围广泛，不仅限于Oracle数据库。
上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明的一种基于应用层的数据库分布方法的权利要求书的且任何所属技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。
Claims (5)
1.一种基于应用层的数据库分布方法，其特征在于，具体实现过程为：
根据各业务系统的特点，提取业务维度，按照业务维度进行数据库划分，并创建对应的数据库节点；
在主库中，配置各分布数据库的连接dblink，同时，配置业务维度同数据库的映射表；
应用层根据业务维度信息，在对照表中查找对应的数据库；
根据已创建好的此数据库的连接dblink，执行业务操作。
2.根据权利要求1所述的一种基于应用层的数据库分布方法，其特征在于，所述数据库的连接具体配置过程为：首先定义主数据库连接各个分布数据库节点的dblink的名称及说明，供数据库连接映射定义用；在应用程序拼写数据库执行SQL时，根据此连接，将创建的dblink名称加入，从而定位SQL执行的对象所在数据库。
3.根据权利要求1所述的一种基于应用层的数据库分布方法，其特征在于，所述映射表的配置过程为：使用系统管理配置工具，配置服务器端的参数，该参数包括各个分布数据库连接配置表、业务维度同数据库连接的映射表。
4.根据权利要求3所述的一种基于应用层的数据库分布方法，其特征在于，业务维度同数据库连接映射表的具体配置过程为：在按照维度信息确定数据库的划分后，查找要用到的dblink时，根据维度信息，在此映射表中查找当前业务数据单位编号对应的数据库连接，然后再根据数据库连接，建立该单位业务数据所在的数据库的连接，进行相关数据操作。
5.根据权利要求1所述的一种基于应用层的数据库分布方法，其特征在于，应用层数据分布处理的具体过程为：应用层根据当前业务场景，确定业务维度数据值，并根据这些值，查找到所要连接的数据库，执行相应数据操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510521173.2A CN105138638A (zh) | 2015-08-24 | 2015-08-24 | 一种基于应用层的数据库分布方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510521173.2A CN105138638A (zh) | 2015-08-24 | 2015-08-24 | 一种基于应用层的数据库分布方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105138638A true CN105138638A (zh) | 2015-12-09 |
Family
ID=54723986
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510521173.2A Pending CN105138638A (zh) | 2015-08-24 | 2015-08-24 | 一种基于应用层的数据库分布方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105138638A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105677915A (zh) * | 2016-02-29 | 2016-06-15 | 浪潮通用软件有限公司 | 一种基于引擎的分布式业务数据存取方法 |
| CN105760510A (zh) * | 2016-02-24 | 2016-07-13 | 浪潮通用软件有限公司 | 一种软件业务系统的数据库横向扩展方法 |
| CN106202540A (zh) * | 2016-07-26 | 2016-12-07 | 浪潮通用软件有限公司 | 一种大型应用系统的数据库可横向扩展方法 |
| CN108460070A (zh) * | 2017-12-21 | 2018-08-28 | 阿里巴巴集团控股有限公司 | 一种基于数据库的数据处理方法、装置及设备 |
| CN109271451A (zh) * | 2018-10-12 | 2019-01-25 | 武汉达梦数据库有限公司 | 一种数据库外部链接的提取方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100199061A1 (en) * | 2004-06-29 | 2010-08-05 | Justiss Steven A | System and Method for Distributed Partitioned Library Mapping |
| CN102243653A (zh) * | 2011-06-16 | 2011-11-16 | 苏州阔地网络科技有限公司 | 一种数据库连接的管理方法及装置 |
| CN103942209A (zh) * | 2013-01-18 | 2014-07-23 | 阿里巴巴集团控股有限公司 | 数据处理方法 |
| CN104376109A (zh) * | 2014-11-28 | 2015-02-25 | 国家电网公司 | 一种基于数据分布库的多维度数据分布方法 |
| CN104462548A (zh) * | 2014-12-25 | 2015-03-25 | 杭州东信北邮信息技术有限公司 | 一种数据库分布式系统及其实现方法 |
-
2015
- 2015-08-24 CN CN201510521173.2A patent/CN105138638A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100199061A1 (en) * | 2004-06-29 | 2010-08-05 | Justiss Steven A | System and Method for Distributed Partitioned Library Mapping |
| CN102243653A (zh) * | 2011-06-16 | 2011-11-16 | 苏州阔地网络科技有限公司 | 一种数据库连接的管理方法及装置 |
| CN103942209A (zh) * | 2013-01-18 | 2014-07-23 | 阿里巴巴集团控股有限公司 | 数据处理方法 |
| CN104376109A (zh) * | 2014-11-28 | 2015-02-25 | 国家电网公司 | 一种基于数据分布库的多维度数据分布方法 |
| CN104462548A (zh) * | 2014-12-25 | 2015-03-25 | 杭州东信北邮信息技术有限公司 | 一种数据库分布式系统及其实现方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105760510A (zh) * | 2016-02-24 | 2016-07-13 | 浪潮通用软件有限公司 | 一种软件业务系统的数据库横向扩展方法 |
| CN105677915A (zh) * | 2016-02-29 | 2016-06-15 | 浪潮通用软件有限公司 | 一种基于引擎的分布式业务数据存取方法 |
| CN106202540A (zh) * | 2016-07-26 | 2016-12-07 | 浪潮通用软件有限公司 | 一种大型应用系统的数据库可横向扩展方法 |
| CN108460070A (zh) * | 2017-12-21 | 2018-08-28 | 阿里巴巴集团控股有限公司 | 一种基于数据库的数据处理方法、装置及设备 |
| CN109271451A (zh) * | 2018-10-12 | 2019-01-25 | 武汉达梦数据库有限公司 | 一种数据库外部链接的提取方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3120261B1 (en) | Dependency-aware transaction batching for data replication | |
| CN103365929B (zh) | 一种数据库连接的管理方法及系统 | |
| CN106570086B (zh) | 数据迁移系统及数据迁移方法 | |
| CN105138638A (zh) | 一种基于应用层的数据库分布方法 | |
| US20140351285A1 (en) | Platform and method for analyzing electric power system data | |
| EP3236365A1 (en) | Data query method and device | |
| US10002178B2 (en) | Storage cluster data shifting | |
| US10901996B2 (en) | Optimized subset processing for de-duplication | |
| US20170242868A1 (en) | Bulk deduplication detection | |
| US10783163B2 (en) | Instance-based distributed data recovery method and apparatus | |
| CN103425762A (zh) | 基于Hadoop平台的电信运营商海量数据处理方法 | |
| CN106126601A (zh) | 一种社保大数据分布式预处理方法及系统 | |
| CN104504008B (zh) | 一种基于嵌套的SQL到HBase的数据迁移算法 | |
| KR101400214B1 (ko) | Ｈｙｂｒｉｄ Ｃ 인터페이스를 지원하는 장치 | |
| CN107665246B (zh) | 基于图数据库的动态数据迁移方法及图数据库集群 | |
| CN103761140B (zh) | 一种在异构关系型数据库中实现事务处理的方法 | |
| CN104111936A (zh) | 数据查询方法和系统 | |
| CN106708917A (zh) | 一种数据处理方法、装置以及olap系统 | |
| CN104268298A (zh) | 一种创建数据库索引及其查询的方法 | |
| CN107391502A (zh) | 时间间隔的数据查询方法、装置及索引构建方法、装置 | |
| CN104216962A (zh) | 一种基于HBase的海量网管数据索引设计方法 | |
| CN108268614B (zh) | 一种森林资源空间数据的分布式管理方法 | |
| CN108197187B (zh) | 查询语句的优化方法、装置、存储介质和计算机设备 | |
| CN104899295A (zh) | 一种异构数据源数据关联分析方法 | |
| WO2016191995A1 (zh) | 一种分布式数据库中关联表分区的方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20151209 |