CN113220802A - 一种关系型数据库下大数据量的数据处理方法及系统 - Google Patents

一种关系型数据库下大数据量的数据处理方法及系统 Download PDF

Info

Publication number
CN113220802A
CN113220802A CN202110593543.9A CN202110593543A CN113220802A CN 113220802 A CN113220802 A CN 113220802A CN 202110593543 A CN202110593543 A CN 202110593543A CN 113220802 A CN113220802 A CN 113220802A
Authority
CN
China
Prior art keywords
service
work order
data
history
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110593543.9A
Other languages
English (en)
Inventor
段宏刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Yingxin Computer Technology Co Ltd
Original Assignee
Shandong Yingxin Computer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Yingxin Computer Technology Co Ltd filed Critical Shandong Yingxin Computer Technology Co Ltd
Priority to CN202110593543.9A priority Critical patent/CN113220802A/zh
Publication of CN113220802A publication Critical patent/CN113220802A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于大数据量的数据处理技术领域,具体涉及一种关系型数据库下大数据量的数据处理方法及系统,所述的方法包括以下步骤:S 1:切割数据库为工单表、业务表、历史表三个表;S2:业务表根据业务量设置评估规则,并按机器ID或用户ID尾号取模分表;S3:设置定时任务,工单表和业务表根据设定好的时间对工单表及业务表数据切割流入历史表;S4:定期将历史表数据落文件增量备份存储。本发明提高了关系型数据库下大数据量处理效率,通过工单进行数据更新流转,完成业务和底层数据处理的解耦。

Description

一种关系型数据库下大数据量的数据处理方法及系统
技术领域
本发明属于大数据量的数据处理技术领域,具体涉及一种关系型数据库下大数据量的数据处理方法及系统。
背景技术
目前,现有的数据存储模型已经无法满足生产日常业务处理及维护的便利性,数据表规划不合理、冗余历史数据及无效数据过多导致业务处理达到瓶颈,因此,有必要对数据存储架构进行升级,而关系型数据库的事务带来的一致性、丰富的数据库语言又是日常业务处理不可或缺的。此为现有技术存在的缺陷。
有鉴于此,本发明给出一种关系型数据库下大数据量的数据处理方法及系统的技术方案;以解决现有技术中存在的缺陷和问题。
发明内容
针对现有技术中存在的现有的数据存储模型已经无法满足生产日常业务处理及维护的便利性,数据表规划不合理、冗余历史数据及无效数据过多导致业务处理达到瓶颈的问题;本发明提供一种关系型数据库下大数据量的数据处理方法及系统,以解决上述技术问题。
为实现上述目的,本发明给出以下技术方案:
第一方面,本发明提供一种关系型数据库下大数据量的数据处理方法,包括以下步骤:
S1:切割数据库为工单表、业务表、历史表三个表;
S2:业务表根据业务量设置评估规则,并按机器ID或用户ID尾号取模分表;
S3:设置定时任务,工单表和业务表根据设定好的时间对工单表及业务表数据切割流入历史表;
S4:定期将历史表数据落文件增量备份存储。
作为优选,所述步骤S1中,所述的工单表遵循统一的工单表命名规则,在业务表、用户表后面加后缀_order,所述的工单表按业务表规模进行分表,分表逻辑与用户表一致,根据业务ID及日期创建单列索引或组合索引;
业务表中,当业务新增或更新时生成新工单,上发生成的新工单表,程序轮询根据工单标志位对业务表进行数据操纵语言操作;
历史表按统一的历史表命名规则,只需在当前表后面加后缀_his,具体分为工单历史表和业务历史表两类。
作为优选,所述步骤S2中,所述的评估规则为设置业务量阈值,当业务量低于设定阈值,按机器ID或用户ID尾号取模分为业务表、配置表,当业务量超过设定阈值,按机器ID或用户ID尾号取模分为用户表、业务表、配置表。
该步骤的效果是:根据判断业务量大小与设定阈值的关系,并进一步按照机器ID或用户ID取模分表,合理取模分表,提高大数据量的数据处理效率。
作为优选,所述的用户表根据业务ID及日期创建单列索引或组合索引,同时创建视图或同义词用于对外提供查询服务,当新增业务表或用户表时只需更新查询视图或同义词,避免业务程序代码的变更;所述的配置表数据规模较小及变更频率较低,毋须做特殊规划。
作为优选,所述步骤S3中,执行所述的定时任务,对工单表按设定好的时间将历史数据转移进历史表形成工单历史表,对业务表按设定好的时间将历史数据转移进历史表形成业务历史表,通过将定时任务部署在业务量较低的时间段,避开业务量较高的高峰期,减轻服务器压力。
第二方面,本发明提供一种关系型数据库下大数据量的数据处理系统,包括:
切割数据库模块:切割数据库为工单表、业务表、历史表三个表;
取模分表模块:业务表根据业务量设置评估规则,并按机器ID或用户ID尾号取模分表;
历史数据转移模块:设置定时任务,工单表和业务表根据设定好的时间对工单表及业务表数据切割流入历史表;
定期备份存储模块:定期将历史表数据落文件增量备份存储。
作为优选,所述的切割数据库模块中,工单表遵循统一的工单表命名规则,在业务表、用户表后面加后缀_order,所述的工单表按业务表规模进行分表,分表逻辑与用户表一致,根据业务ID及日期创建单列索引或组合索引;
业务表中,当业务新增或更新时生成新工单,上发生成的新工单表,程序轮询根据工单标志位对业务表进行数据操纵语言操作;
历史表按统一的历史表命名规则,只需在当前表后面加后缀_his,具体分为工单历史表和业务历史表两类。
作为优选,所述的取模分表模块中,评估规则为设置业务量阈值,当业务量低于设定阈值,按机器ID或用户ID尾号取模分为业务表、配置表,当业务量超过设定阈值,按机器ID或用户ID尾号取模分为用户表、业务表、配置表;根据判断业务量大小与设定阈值的关系,并进一步按照机器ID或用户ID取模分表,合理取模分表,提高大数据量的数据处理效率,所述的用户表根据业务ID及日期创建单列索引或组合索引,同时创建视图或同义词,所述的视图或同义词用于对外提供查询服务,当新增业务表或用户表时只需更新查询视图或同义词,避免业务程序代码的变更;所述的配置表数据规模较小、变更频率较低,毋须做特殊规划。
作为优选,所述的历史数据转移模块中,执行所述的定时任务,对工单表按设定好的时间将历史数据转移进历史表形成工单历史表,对业务表按设定好的时间将历史数据转移进历史表形成业务历史表,通过将定时任务部署在业务量较低的时间段,避开业务量较高的高峰期,减轻服务器压力。
本发明的有益效果在于,本发明提供了一种关系型数据库下大数据量的数据处理方法及系统,通过工单表、业务表、历史表进行解耦,避免因为小的问题进行代码的大改动,存储架构确定,实现灵活,避免了单一代码的实现约束。通过定期将业务表数据表的历史数据转移至历史表,保障了业务处理的准确高效。此外,本发明设计原理可靠,结构简单,具有非常广泛的应用前景。
由此可见,本发明与现有技术相比,具有突出的实质性特点和显著的进步,其实施的有益效果也是显而易见的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例1提供的一种关系型数据库下大数据量的数据处理方法流程图。
图2是本发明实施例2提供的一种关系型数据库下大数据量的数据处理系统原理框图。
其中,1-切割数据库模块,2-取模分表模块,3-历史数据转移模块,4-定期备份存储模块。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
实施例1:
如图1所示,本实施例提供一种关系型数据库下大数据量的数据处理方法,包括以下步骤:
S1:切割数据库为工单表、业务表、历史表三个表;
所述步骤S1中,所述的工单表遵循统一的工单表命名规则,在业务表、用户表后面加后缀_order,所述的工单表按业务表规模进行分表,分表逻辑与用户表一致,根据业务ID及日期创建单列索引或组合索引,提高工单流转效率;
业务表中,当业务新增或更新时生成新工单,上发生成的新工单表,程序轮询根据工单标志位对业务表进行数据操纵语言操作;
历史表按统一的历史表命名规则,只需在当前表后面加后缀_his,具体分为工单历史表和业务历史表两类。
S2:业务表根据业务量设置评估规则,并按机器ID或用户ID尾号取模分表;
所述步骤S2中,评估规则为设置业务量阈值,当业务量低于设定阈值,按机器ID或用户ID尾号取模分为业务表、配置表,当业务量超过设定阈值,按机器ID或用户ID尾号取模分为用户表、业务表、配置表。根据判断业务量大小与设定阈值的关系,并进一步按照机器ID或用户ID取模分表,合理取模分表,提高大数据量的数据处理效率。
所述的用户表根据业务ID及日期创建单列索引或组合索引,同时创建视图或同义词用于对外提供查询服务,当新增业务表或用户表时只需更新查询视图或同义词,避免业务程序代码的变更;所述的配置表数据规模较小及变更频率较低,毋须做特殊规划。
S3:设置定时任务,工单表和业务表根据设定好的时间对工单表及业务表数据切割流入历史表,定时任务有shell脚本通过sqlplus调用实现,定时任务可部署至crontab;
所述步骤S3中,执行所述的定时任务为对工单表按设定好的时间将历史数据转移进历史表形成工单历史表,对业务表按设定好的时间将历史数据转移进历史表形成业务历史表,通过将定时任务部署在业务量较低的时间段,避开业务量较高的高峰期,减轻服务器压力。
S4:定期将历史表数据落文件增量备份存储,将历史表数据落文件具体是将历史表数据按照规则导出成文件,并将文件存储在磁盘上,历史表数据落文件由Oracle数据库下的exp及sqlloader均能实现。
实施例2:
如图2所示,本实施例提供一种关系型数据库下大数据量的数据处理系统,包括:
切割数据库模块1:切割数据库为工单表、业务表、历史表三个表;
所述的切割数据库模块1中,工单表遵循统一的工单表命名规则,在业务表、用户表后面加后缀_order,
所述的工单表按业务表规模进行分表,分表逻辑与用户表一致,根据业务ID及日期创建单列索引或组合索引,提高工单流转效率;
业务表中,当业务新增或更新时生成新工单,上发生成的新工单表,程序轮询根据工单标志位对业务表进行数据操纵语言操作;
历史表按统一的历史表命名规则,只需在当前表后面加后缀_his,具体分为工单历史表和业务历史表两类。
取模分表模块2:业务表根据业务量设置评估规则,并按机器ID或用户ID尾号取模分表。
所述的取模分表模块2中,评估规则为设置业务量阈值,当业务量低于设定阈值,按机器ID或用户ID尾号取模分为业务表、配置表,当业务量超过设定阈值,按机器ID或用户ID尾号取模分为用户表、业务表、配置表;根据判断业务量大小与设定阈值的关系,并进一步按照机器ID或用户ID取模分表,合理取模分表,提高大数据量的数据处理效率,所述的用户表根据业务ID及日期创建单列索引或组合索引,同时创建视图或同义词,所述的视图或同义词用于对外提供查询服务,当新增业务表或用户表时只需更新查询视图或同义词,避免业务程序代码的变更;所述的配置表数据规模较小、变更频率较低,毋须做特殊规划。
历史数据转移模块3:设置定时任务,工单表和业务表根据设定好的时间对工单表及业务表数据切割流入历史表,定时任务有shell脚本通过sqlplus调用实现,定时任务可部署至crontab;
所述的历史数据转移模块3中,执行所述的定时任务,对工单表按设定好的时间将历史数据转移进历史表形成工单历史表,对业务表按设定好的时间将历史数据转移进历史表形成业务历史表,通过将定时任务部署在业务量较低的时间段,避开业务量较高的高峰期,减轻服务器压力。
定期备份存储模块4:定期将历史表数据落文件增量备份存储,将历史表数据落文件具体是将历史表数据按照规则导出成文件,并将文件存储在磁盘上,历史表数据落文件由Oracle数据库下的exp及sqlloader均能实现。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述,但本发明并不限于此。在不脱离本发明的精神和实质的前提下,本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换,而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (9)

1.一种关系型数据库下大数据量的数据处理方法,其特征在于,包括以下步骤:
S1:切割数据库为工单表、业务表、历史表三个表;
S2:业务表根据业务量设置评估规则,并按机器ID或用户ID尾号取模分表;
S3:设置定时任务,工单表和业务表根据设定好的时间对工单表及业务表数据切割流入历史表;
S4:定期将历史表数据落文件增量备份存储。
2.根据权利要求1所述的一种关系型数据库下大数据量的数据处理方法,其特征在于,所述步骤S1中,所述的工单表遵循统一的工单表命名规则,在业务表、用户表后面加后缀_order,所述的工单表按业务表规模进行分表,分表逻辑与用户表一致,根据业务ID及日期创建单列索引或组合索引;
业务表中,当业务新增或更新时生成新工单,上发生成的新工单表,程序轮询根据工单标志位对业务表进行数据操纵语言操作;
历史表按统一的历史表命名规则,只需在当前表后面加后缀_his,具体分为工单历史表和业务历史表两类。
3.根据权利要求2所述的一种关系型数据库下大数据量的数据处理方法,其特征在于,所述步骤S2中,所述的评估规则为设置业务量阈值,当业务量低于设定阈值,按机器ID或用户ID尾号取模分为业务表、配置表,当业务量超过设定阈值,按机器ID或用户ID尾号取模分为用户表、业务表、配置表。
4.根据权利要求3所述的一种关系型数据库下大数据量的数据处理方法,其特征在于,所述的用户表根据业务ID及日期创建单列索引或组合索引,同时创建视图或同义词用于对外提供查询服务。
5.根据权利要求4所述的一种关系型数据库下大数据量的数据处理方法,其特征在于,所述步骤S3中,执行所述的定时任务,对工单表按设定好的时间将历史数据转移进历史表形成工单历史表,对业务表按设定好的时间将历史数据转移进历史表形成业务历史表。
6.一种关系型数据库下大数据量的数据处理系统,其特征在于,包括:
切割数据库模块:切割数据库为工单表、业务表、历史表三个表;
取模分表模块:业务表根据业务量设置评估规则,并按机器ID或用户ID尾号取模分表;
历史数据转移模块:设置定时任务,工单表和业务表根据设定好的时间对工单表及业务表数据切割流入历史表;
定期备份存储模块:定期将历史表数据落文件增量备份存储。
7.根据权利要求6所述的一种关系型数据库下大数据量的数据处理系统,其特征在于,所述的切割数据库模块中,工单表遵循统一的工单表命名规则,在业务表、用户表后面加后缀_order;
所述的工单表按业务表规模进行分表,分表逻辑与用户表一致,根据业务ID及日期创建单列索引或组合索引;
业务表中,当业务新增或更新时生成新工单,上发生成的新工单表,程序轮询根据工单标志位对业务表进行数据操纵语言操作;
历史表按统一的历史表命名规则,只需在当前表后面加后缀_his,具体分为工单历史表和业务历史表两类。
8.根据权利要求7所述的一种关系型数据库下大数据量的数据处理系统,其特征在于,所述的取模分表模块中,所述的评估规则为设置业务量阈值,当业务量低于设定阈值,按机器ID或用户ID尾号取模分为业务表、配置表,当业务量超过设定阈值,按机器ID或用户ID尾号取模分为用户表、业务表、配置表;所述的用户表根据业务ID及日期创建单列索引或组合索引,同时创建视图或同义词。
9.根据权利要求8所述的一种关系型数据库下大数据量的数据处理系统,其特征在于,所述的历史数据转移模块中,执行所述的定时任务,对工单表按设定好的时间将历史数据转移进历史表形成工单历史表,对业务表按设定好的时间将历史数据转移进历史表形成业务历史表。
CN202110593543.9A 2021-05-28 2021-05-28 一种关系型数据库下大数据量的数据处理方法及系统 Pending CN113220802A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110593543.9A CN113220802A (zh) 2021-05-28 2021-05-28 一种关系型数据库下大数据量的数据处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110593543.9A CN113220802A (zh) 2021-05-28 2021-05-28 一种关系型数据库下大数据量的数据处理方法及系统

Publications (1)

Publication Number Publication Date
CN113220802A true CN113220802A (zh) 2021-08-06

Family

ID=77099699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110593543.9A Pending CN113220802A (zh) 2021-05-28 2021-05-28 一种关系型数据库下大数据量的数据处理方法及系统

Country Status (1)

Country Link
CN (1) CN113220802A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114676152A (zh) * 2022-04-08 2022-06-28 北京自如信息科技有限公司 一种工单管理方法、装置和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7668870B1 (en) * 2004-04-15 2010-02-23 Citicorp Development Center, Inc. Methods and systems for updating web pages via a web data instant update utility
CN102467547A (zh) * 2010-11-16 2012-05-23 金蝶软件(中国)有限公司 历史数据存储方法及装置
CN110704465A (zh) * 2019-09-26 2020-01-17 中电万维信息技术有限责任公司 一种处理业务工单表的方法、装置及存储介质
CN110717073A (zh) * 2019-10-08 2020-01-21 普元信息技术股份有限公司 云流程平台中结合业务数据实现流程查询处理的系统及其方法
CN111953517A (zh) * 2020-07-09 2020-11-17 北京思特奇信息技术股份有限公司 一种实现业务规则热加载的方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7668870B1 (en) * 2004-04-15 2010-02-23 Citicorp Development Center, Inc. Methods and systems for updating web pages via a web data instant update utility
CN102467547A (zh) * 2010-11-16 2012-05-23 金蝶软件(中国)有限公司 历史数据存储方法及装置
CN110704465A (zh) * 2019-09-26 2020-01-17 中电万维信息技术有限责任公司 一种处理业务工单表的方法、装置及存储介质
CN110717073A (zh) * 2019-10-08 2020-01-21 普元信息技术股份有限公司 云流程平台中结合业务数据实现流程查询处理的系统及其方法
CN111953517A (zh) * 2020-07-09 2020-11-17 北京思特奇信息技术股份有限公司 一种实现业务规则热加载的方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王良君等: "客户服务系统数据分离实践", 《城市燃气》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114676152A (zh) * 2022-04-08 2022-06-28 北京自如信息科技有限公司 一种工单管理方法、装置和电子设备

Similar Documents

Publication Publication Date Title
CN107544984B (zh) 一种数据处理的方法和装置
CN104391948B (zh) 数据仓库的数据标准化构建方法及系统
CN102722582B (zh) 基于逆向清理的数据整合系统及方法
CN100476810C (zh) 一种实现信息系统数据自动交换的方法
CN104318481A (zh) 一种面向电网运行的全息时标量测数据萃取转换方法
CN103390038A (zh) 一种基于HBase的构建和检索增量索引的方法
CN104504030B (zh) 一种面向电力调度自动化海量报文的索引方法
CN105787058A (zh) 一种用户标签系统及基于用户标签系统的数据推送系统
CN103944964A (zh) 一种分布式系统及根据该系统进行逐步扩容的方法
CN113220802A (zh) 一种关系型数据库下大数据量的数据处理方法及系统
CN109669975B (zh) 一种工业大数据处理系统及方法
CN102402600A (zh) 一种维护数据库复本一致性的异步归集方法
CN111666344B (zh) 异构数据同步方法及装置
CN109768878B (zh) 一种基于大数据的网络工单计算方法及装置
CN102768666A (zh) 一种工业数据存储读取方法及其系统
CN114153809A (zh) 基于数据库日志并行实时增量统计的方法
CN105956041A (zh) 基于Spring Data for MongoDB集群的数据模型处理方法
CN111625596A (zh) 新能源实时消纳调度的多源数据同步共享方法及系统
CN102999629A (zh) 一种关系数据库到无模式数据库异步转换系统及方法
CN111104411A (zh) 一种快速生成全量数据拉链表的方法
CN113934797B (zh) 一种银行业超大数据同步方法和系统
CN112434010A (zh) 一种用电信息采集系统主站数据库的交互方法
CN113032385A (zh) 一种易扩展可配置化的数据备份系统及方法
CN110928839B (zh) 国际运价数据的存储方法和系统
CN104933623A (zh) 机械非标零部件设计服务平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210806