CN109308293A - 大并发数据库的分库分表方法 - Google Patents
大并发数据库的分库分表方法 Download PDFInfo
- Publication number
- CN109308293A CN109308293A CN201811495468.7A CN201811495468A CN109308293A CN 109308293 A CN109308293 A CN 109308293A CN 201811495468 A CN201811495468 A CN 201811495468A CN 109308293 A CN109308293 A CN 109308293A
- Authority
- CN
- China
- Prior art keywords
- data
- database
- library
- divided
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 14
- 238000013500 data storage Methods 0.000 claims abstract description 13
- 238000007405 data analysis Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 7
- 230000003139 buffering effect Effects 0.000 claims abstract description 6
- 210000000352 storage cell Anatomy 0.000 claims abstract description 5
- 238000013507 mapping Methods 0.000 claims description 6
- 230000003203 everyday effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 2
- 238000011161 development Methods 0.000 abstract description 2
- 238000013506 data mapping Methods 0.000 abstract 1
- 238000004458 analytical method Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 3
- 230000002354 daily effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种大并发数据库的分库分表方法，该数据库以业务数据单元、原数据存储单元及数据分析单元分库分表，这些数据库单元作为分布式数据系统中的节点，数据并发和数据存储主要分成数据缓冲、缓冲池数据及数据映射三部分处理。将数据信息在分布式数据归集点上分为三种单元，每一种单元都为单一数据库，使其各个单元数据库的线程池中的并发得到分离，大大提高不同工程但对象特征相同的大数据并发存储时造成的数据的紊乱，并且解决大数据在高并发情况下数据存储的瓶颈。并为数据进行数据分析，数据深度探索研究，和数据归集整理以后的查询做准备。
Description
技术领域
本发明涉及数据处理技术领域，具体是指大并发数据库的分库分表方法。
背景技术
目前市面上科技领域中的对于数据在数据库架构中存储的方式都是以常态化方式存储，并非全部以单元化数据分类进行存储。由于传统方式存储数据，在对大数据分析时造成的数据库锁表问题，无响应，数据准确性，分析数据时取表信息不灵活等等存在缺点因素。特别是由于现代窑炉设备数据信息的特殊化，需要将窑炉设备的数据信息化按照单元化数据分类进行存储，以便对窑炉数据信息的归类单元化管理。
发明内容
本发明要解决的技术问题是为提供一种将数据信息按照单元化数据分类进行存储的方法。
为解决上述技术问题所采用的技术方案：一种大并发数据库的分库分表方法，该数据库以业务数据单元、原数据存储单元及数据分析单元分库分表，这些数据库单元作为分布式数据系统中的节点，数据并发和数据存储主要分成三部分处理：
一、数据缓冲，用于缓冲异步接收的数据，作为一个数据队列缓冲池；
二、缓冲池数据，用于将缓冲池中的数据进行辨别，然后将类型规划的数据类型进行整理，然后存到对应的数据集中的类型表中；
三、数据映射，用于将内存中临时存储的数据表的数据映射到数据库中对应类型表中，映射方式采用值表类型数据映射。
将数据信息在分布式数据归集点上分为三种单元，1.业务数据库单元，2.原数据存储库单元，3.数据分析库单元，每一种单元都为单一数据库，使其各个单元数据库的线程池中的并发得到分离，大大提高不同工程但对象特征相同的大数据并发存储时造成的数据的紊乱，并且解决大数据在高并发情况下数据存储的瓶颈。并为数据进行数据分析，数据深度探索研究，和数据归集整理以后的查询做准备。该方案也适用于不同行业，在存储数据的时候，存在某一对象特征相同，但对象不同时的数据存储方案。
采用本发明所带来的有益效果：
1、解决在单机情况下大量数据存储瓶颈，解决数据库存储压力，主要解决数据写入、读取、存储压力过大，从而导致数据库数据某表在读写时受数据分析调用时锁表产生无响应；
2、将存入数据库中的数据进行分类化分表，可提供程序独立对某一类型数据进行独立分析，以提高数据分析能力、扩展能力、和数据分类分析能力，能拓展多点分布式数据存储及程序自动化多点分布分析能力；
3、业务数据单元、原数据存储单元、数据分析单元完全分离提高每种数据库单元的线程池高并发作业；
4、原数据库中归类分表存储结构，提高对相同对象、不同特征的形式进行数据存储，提高了每张表对于数据存储的横向最大化存储；
5、数据分析可以完全独立化地为每一个相同对象，不同特征，但类型相同的数据进行数据分析，数据挖掘等等…
附图说明
图1为本发明窑炉数据库分库分表流程图；
图2为本发明中业务数据库的流程图；
图3为本发明中分析数据库的流程图；
图4为本发明中分析数据库的查询流程图
具体实施方式
窑炉数据库以业务数据单元、原数据存储单元及数据分析单元分库分表，并且视数据库单元化分库分表在分布式数据系统中为一组节点的设计方式。
在分布式数据系统中，视单个数据节点部署为数据库单元化分库分表方式。
在分布式数据系统中，可以无限递归数据库单元化分库分表层级方式，父节点中的库单元可以以子节点或其他数据信息的方式存储子节点信息。
在分布式数据系统中，当前某个节点中的数据库单元中的所有数据可以被包含为它上一级节点的数据信息。
数据并发和数据存储业务，主要是分为3个部分进行处理处理方式如下：
1、数据缓冲部分，用于缓冲异步接收的数据，作为一个数据队列缓冲池(该数据缓冲池可以拓展为作为集群数据接收的缓冲池)。
2、缓冲池数据业务，用于将缓冲池中的数据进行辨别，然后将类型规划的数据类型进行整理，然后存到对应的数据集中的类型表中。
3、数据映射业务，用于将内存中临时存储的数据表的数据映射到数据库中对应类型表中，映射方式采用值表类型数据映射。
上文中提到的3部分全部为这个数据层中的数据引擎。数据引擎具有的特性：
1、动态增加工程数据库对象，根据数据源接口获取到的工程信息，会为业务数据库中增加工程信息表，而且信息表每一年会一对一的为对应数据库增加一张业务表，同时元数据库也会随着对应表而对应增加。
2、数据库的增加条件是按年进行递增的，因为数据库在使用的过程中无法确定当前窑体中是否增加或者减少窑体中各个采集数据的寄存器类型，所以这里将类型进行通用化处理，将所有只要是一个类型的数据，例如是整条窑中电压类型的数据，那么这里就不管他是哪一个寄存器，直接只要是该类型为本条窑中电压的全部就存到电压的那张表中，这样可以大大利用表行存值空间，减少表架构的复杂度设计，并且类型单一便于程序业务化理解。
3、类型元数据表的递增是按照每一天进行递增，因为每一天的数据并发后存入到数据表中，会导致表的无限期延长，这样不利于表取值，因为数据取值过程不能在一个无线长度的表中进行数据筛选，这会导致在某些异步查询中查询的表异步响应变慢，变慢时造成锁表情况，所以此处每个数据库中的元数据表全部按照每一天进行递增，以减轻所有表的数据承载，并且方便利于数据按天统计，按天的某时、分、秒进行统计，并且通过统计可以分析数据数据在每天，每周，每月，每季度，每年的某类型数据变化状况，产生分析结果表。
Claims (4)
1.一种大并发数据库的分库分表方法，该数据库以业务数据单元、原数据存储单元及数据分析单元分库分表，这些数据库单元作为分布式数据系统中的节点，数据并发和数据存储主要分成三部分处理：
一、数据缓冲，用于缓冲异步接收的数据，作为一个数据队列缓冲池；
二、缓冲池数据，用于将缓冲池中的数据进行辨别，然后将类型规划的数据类型进行整理，然后存到对应的数据集中的类型表中；
三、数据映射，用于将内存中临时存储的数据表的数据映射到数据库中对应类型表中，映射方式采用值表类型数据映射。
2.根据权利要求1所述的大并发数据库的分库分表方法，其特征在于：在分布式数据系统中，数据库单元分库分表以无限递归方式层级，父节点中的数据库单元以子节点或数据信息的方式存储子节点信息。
3.根据权利要求1所述的大并发数据库的分库分表方法，其特征在于：在分布式数据系统中，节点中的数据库单元的数据被包含为上一级节点的数据信息。
4.根据权利要求1-3任一所述的大并发数据库的分库分表方法，数据并发和数据存储的数据引擎特性为：
一、动态增加工程数据库对象，根据数据源接口获取到的工程信息，为业务数据库中增加工程信息表，信息表每一年一对一地为对应数据库增加一张业务表，同时元数据库亦随着对应表而对应增加；
二、数据库的增加条件是按年进行递增；
三、类型元数据表的递增是按照每一天进行递增。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811495468.7A CN109308293B (zh) | 2018-12-07 | 2018-12-07 | 大并发数据库的分库分表方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811495468.7A CN109308293B (zh) | 2018-12-07 | 2018-12-07 | 大并发数据库的分库分表方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109308293A true CN109308293A (zh) | 2019-02-05 |
| CN109308293B CN109308293B (zh) | 2021-09-24 |
Family
ID=65222505
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811495468.7A Active CN109308293B (zh) | 2018-12-07 | 2018-12-07 | 大并发数据库的分库分表方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109308293B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112463331A (zh) * | 2020-12-02 | 2021-03-09 | 天津光电通信技术有限公司 | 一种基于java单线程池的任务调度优化实现方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101082928A (zh) * | 2007-06-25 | 2007-12-05 | 腾讯科技（深圳）有限公司 | 一种数据库访问的方法及数据库映射系统 |
| CN103440325A (zh) * | 2013-09-02 | 2013-12-11 | 重庆九鼎山科技有限公司 | 高效、多并发、自适用的数据库及其运行方法 |
| CN103440279A (zh) * | 2013-08-13 | 2013-12-11 | 江苏华大天益电力科技有限公司 | 一种数据采集过程中的数据适配器及其数据适配方法 |
| CN104516967A (zh) * | 2014-12-25 | 2015-04-15 | 国家电网公司 | 一种电力系统海量数据管理系统及其使用方法 |
| CN106095878A (zh) * | 2016-06-07 | 2016-11-09 | 中国建设银行股份有限公司 | 基于分库分表的数据库操作装置及方法 |
| CN106302640A (zh) * | 2016-07-27 | 2017-01-04 | 乐视控股（北京）有限公司 | 数据请求处理方法及装置 |
| US9767138B2 (en) * | 2013-06-12 | 2017-09-19 | Oracle International Corporation | In-database sharded queue for a shared-disk database |
| CN107590257A (zh) * | 2017-09-20 | 2018-01-16 | 郑州云海信息技术有限公司 | 一种数据库管理方法及装置 |
| CN108647361A (zh) * | 2018-05-21 | 2018-10-12 | 中国工商银行股份有限公司 | 一种基于区块链的数据存储方法、装置及系统 |
-
2018
- 2018-12-07 CN CN201811495468.7A patent/CN109308293B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101082928A (zh) * | 2007-06-25 | 2007-12-05 | 腾讯科技（深圳）有限公司 | 一种数据库访问的方法及数据库映射系统 |
| US9767138B2 (en) * | 2013-06-12 | 2017-09-19 | Oracle International Corporation | In-database sharded queue for a shared-disk database |
| CN103440279A (zh) * | 2013-08-13 | 2013-12-11 | 江苏华大天益电力科技有限公司 | 一种数据采集过程中的数据适配器及其数据适配方法 |
| CN103440325A (zh) * | 2013-09-02 | 2013-12-11 | 重庆九鼎山科技有限公司 | 高效、多并发、自适用的数据库及其运行方法 |
| CN104516967A (zh) * | 2014-12-25 | 2015-04-15 | 国家电网公司 | 一种电力系统海量数据管理系统及其使用方法 |
| CN106095878A (zh) * | 2016-06-07 | 2016-11-09 | 中国建设银行股份有限公司 | 基于分库分表的数据库操作装置及方法 |
| CN106302640A (zh) * | 2016-07-27 | 2017-01-04 | 乐视控股（北京）有限公司 | 数据请求处理方法及装置 |
| CN107590257A (zh) * | 2017-09-20 | 2018-01-16 | 郑州云海信息技术有限公司 | 一种数据库管理方法及装置 |
| CN108647361A (zh) * | 2018-05-21 | 2018-10-12 | 中国工商银行股份有限公司 | 一种基于区块链的数据存储方法、装置及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 严成武: "支持分库分表和读写分离的ORM框架的设计与实现", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112463331A (zh) * | 2020-12-02 | 2021-03-09 | 天津光电通信技术有限公司 | 一种基于java单线程池的任务调度优化实现方法 |
| CN112463331B (zh) * | 2020-12-02 | 2022-04-15 | 天津光电通信技术有限公司 | 一种基于java单线程池的任务调度优化实现方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109308293B (zh) | 2021-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104781810B (zh) | 将行和对象数据库活动跟踪到块级热图中 | |
| US8214323B2 (en) | Extensible data warehouse for flow cytometry data | |
| CN101667205B (zh) | 一种面向快速回放的实时测点数据存储方法 | |
| CN103970902A (zh) | 一种大量数据情况下的可靠即时检索方法及系统 | |
| CN103631910A (zh) | 一种分布式数据库多列复合查询的系统及方法 | |
| CN106547918B (zh) | 一种统计数据的整合方法及系统 | |
| CN107748766B (zh) | 一种基于Presto和Elasticsearch的大数据快速查询方法 | |
| US20090204566A1 (en) | Processing of Deterministic User-Defined Functions Using Multiple Corresponding Hash Tables | |
| US10963440B2 (en) | Fast incremental column store data loading | |
| CN102222099A (zh) | 一种数据存储、查找方法及装置 | |
| CN105653609A (zh) | 基于内存的数据处理方法及装置 | |
| CN110555035A (zh) | 一种对查询语句进行优化的方法、装置 | |
| CN102682108A (zh) | 一种行列混合的数据库存储方法 | |
| CN102779138A (zh) | 实时数据的硬盘存取方法 | |
| US9454550B2 (en) | Database method for B+ tree based on PRAM | |
| CN107480466A (zh) | 基因组数据存储方法及电子设备 | |
| CN104408128B (zh) | 一种基于b+树异步更新索引的读优化方法 | |
| CN102486772A (zh) | 一种数据的导出方法及装置 | |
| Girsang et al. | Business intelligence for construction company acknowledgement reporting system | |
| CN102129619A (zh) | 一种基于云存储的业务数据处理方法及系统 | |
| CN109308293A (zh) | 大并发数据库的分库分表方法 | |
| CN110134511A (zh) | 一种OpenTSDB共享存储优化方法 | |
| CN108182244B (zh) | 一种基于多层次列式存储结构的时序数据存储方法 | |
| CN103258047A (zh) | 一种面向药企作业成本控制数据仓库的数据组织方法 | |
| CN109947705A (zh) | 一种石油工程数据的存取系统与方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 528200 Block A-2, No. 3 Xiangda Road, Danzao, Nanhai District, Foshan City, Guangdong Province (address declaration) Patentee after: Guangdong Zhongpeng Thermal Energy Technology Co.,Ltd. Address before: 528223 workshop 1 and 2, No. 9, Panjin Road, South China hardware industry base, Danzao Town, Nanhai District, Foshan City, Guangdong Province Patentee before: GUANGDONG JUMPER THERMAL TECHNOLOGY Co.,Ltd. |