CN105868421A - 一种数据管理方法及装置 - Google Patents

一种数据管理方法及装置 Download PDF

Info

Publication number
CN105868421A
CN105868421A CN201610411529.1A CN201610411529A CN105868421A CN 105868421 A CN105868421 A CN 105868421A CN 201610411529 A CN201610411529 A CN 201610411529A CN 105868421 A CN105868421 A CN 105868421A
Authority
CN
China
Prior art keywords
business
data
target
target database
database table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610411529.1A
Other languages
English (en)
Inventor
裴广恩
丁雪松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur General Software Co Ltd
Original Assignee
Inspur General Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur General Software Co Ltd filed Critical Inspur General Software Co Ltd
Priority to CN201610411529.1A priority Critical patent/CN105868421A/zh
Publication of CN105868421A publication Critical patent/CN105868421A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2453Query optimisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/214Database migration support
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2453Query optimisation
    • G06F16/24534Query rewriting; Transformation
    • G06F16/24535Query rewriting; Transformation of sub-queries or views

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种数据管理方法及装置,其中,方法包括:S1:接收对应目标数据库表的数据拆分指令,其中,数据拆分指令携带数据拆分策略;S2:根据数据拆分指令,在外部数据库中构建业务分表,其中,业务分表的结构与目标数据库表的结构相同;S3:根据数据拆分策略将目标数据库表中存储的至少一个第一目标业务数据迁移至业务分表;S4:根据数据拆分策略配置业务分表和目标数据库表分别对应的属性信息;S5:接收携带数据查询条件的查询请求指令;S6:确定对应查询条件的目标属性信息,从对应目标属性信息的目标业务分表或目标数据库表中获取第二目标业务数据。通过本发明的技术方案,可提高用户体验。

Description

一种数据管理方法及装置
技术领域
本发明涉及计算机技术领域,特别涉及一种数据管理方法及装置。
背景技术
随着信息技术的发展,利用数据库存储业务数据的业务已得到普及。
目前,利用数据库存储业务数据时,主要通过在数据库中构建不同结构的数据库表,以利用不同结构的数据库表分别存储不同类型的业务数据,在需要获取数据数据库中存储的目标业务数据时,可根据目标业务数据的类型访问对应的目标数据库表,进而读取目标数据库表中存储的目标业务数据。
但是,企业或组织在长时间使用数据库的过程中,随着数据库表中存储的业务数据大量增加,当用户访问的目标数据库表中数据量过大时,数据库响应速度较慢,无法从目标数据库表中快速的读取到目标业务数据,用户体验较差。
发明内容
本发明实施例提供了一种数据管理方法及装置,可提高用户体验。
第一方面,本发明实施例提供了一种数据管理方法,包括:
S1:接收对应目标数据库表的数据拆分指令,其中,所述数据拆分指令携带数据拆分策略;
S2:根据所述数据拆分指令,在外部数据库中构建业务分表,其中,所述业务分表的结构与所述目标数据库表的结构相同;
S3:根据所述数据拆分策略将目标数据库表中存储的至少一个第一目标业务数据迁移至所述业务分表;
S4:根据所述数据拆分策略配置所述业务分表和所述目标数据库表分别对应的属性信息;
S5:接收携带数据查询条件的查询请求指令;
S6:确定对应所述查询条件的目标属性信息,从对应所述目标属性信息的目标业务分表或目标数据库表中获取第二目标业务数据。
进一步的,
所述在外部数据库中构建业务分表,进一步包括:配置所述业务分表的表名;
在所述根据所述数据拆分策略配置所述业务分表和所述目标数据库表分别对应的属性信息之后,在所述接收携带数据查询条件的查询请求指令之前,还包括:
根据所述业务分表和所述目标数据库表分别对应的表名和属性信息构建数据路由表;
所述确定对应所述查询条件的目标属性信息,从对应所述目标属性信息的目标业务分表或目标数据库表中获取第二目标业务数据,包括:
查询所述数据路由表,确定对应所述查询条件的目标属性信息;
确定所述目标属性信息对应的目标表名;
根据所述目标表名构建数据库查询语句,并利用所述数据库查询语句从所述目标表名对应的业务分表或目标数据库表中获取第二目标业务数据。
进一步的,所述数据拆分策略,包括:
将目标时间段内被存储至目标数据库表的第一目标业务数据迁移到业务分表。
进一步的,所述根据所述数据拆分策略将目标数据库表中存储的至少一个第一目标业务数据迁移至所述业务分表,包括:
确定所述目标数据库表中对应所述数据拆分策略的至少一个第一目标业务数据;
将每一个所述第一目标业务数据插入到所述业务分表;
在当前第一目标业务数据被成功插入到所述业务分表之后,删除所述目标数据库表中的当前第一目标业务数据。
进一步的,
所述在外部数据库中构建业务分表,进一步包括:在外部数据库中构建对应所述业务分表和所述目标数据库表的视图,配置所述视图的视图名称;
还包括:
当所述目标属性信息包括所述业务分表和所述目标数据库表分别对应的属性信息时,根据所述视图名称查询所述视图以获取所述业务分表和所述目标数据库表中存储的第二目标业务数据。
第二方面,本发明实施例提供了一种数据管理装置,包括:
第一指令接收模块,用于接收对应目标数据库表的数据拆分指令,其中,所述数据拆分指令携带数据拆分策略;
分表构建模块,用于根据所述数据拆分指令,在外部数据库中构建业务分表,其中,所述业务分表的结构与所述目标数据库表的结构相同;
数据迁移模块,用于根据所述数据拆分策略将目标数据库表中存储的至少一个第一目标业务数据迁移至所述业务分表;
配置模块,用于根据所述数据拆分策略配置所述业务分表和所述目标数据库表分别对应的属性信息;
第二指令接收模块,用于接收携带数据查询条件的查询请求指令;
处理模块,用于确定对应所述查询条件的目标属性信息,从对应所述目标属性信息的目标业务分表或目标数据库表中获取第二目标业务数据。
进一步的,
所述分表构建模块,进一步用于配置所述业务分表的表名;
还包括:
路由表构建模块,用于根据所述业务分表和所述目标数据库表分别对应的表名和属性信息构建数据路由表;
所述处理模块,包括:
查询子单元,用于查询所述数据路由表,确定对应所述查询条件的目标属性信息;
第一确定子单元,用于确定所述目标属性信息对应的目标表名;
处理中子单元,用于根据所述目标表名构建数据库查询语句,并利用所述数据库查询语句从所述目标表名对应的业务分表或目标数据库表中获取第二目标业务数据。
进一步的,所述数据拆分策略,包括:
将目标时间段内被存储至目标数据库表的第一目标业务数据迁移到业务分表。
进一步的,所述数据迁移模块,包括:
第二确定子单元,用于确定所述目标数据库表中对应所述数据拆分策略的至少一个第一目标业务数据;
插入处理子单元,用于将每一个所述第一目标业务数据插入到所述业务分表;
删除处理子单元,用于在当前第一目标业务数据被成功插入到所述业务分表之后,删除所述目标数据库表中的当前第一目标业务数据。
进一步的,
所述分表构建模块,进一步用于在外部数据库中构建对应所述业务分表和所述目标数据库表的视图,配置所述视图的视图名称;
所述处理模块,进一步用于当所述目标属性信息包括所述业务分表和所述目标数据库表分别对应的属性信息时,根据所述视图名称查询所述视图以获取所述业务分表和所述目标数据库表中存储的第二目标业务数据。
本发明实施例提供了一种数据管理方法及装置,根据对应目标数据库表的数据拆分策略,在外部数据库中构建相应的业务分表,将目标数据库表中符合所述数据拆分策略的每一个第一目标数据迁移到业务分表,并根据拆分策略配置目标数据库表和业务分表分别对应的属性信息,实现针对原目标数据库表中存储的具备不同属性的业务数据进行分表存储;相应的,在用户需要查询原目标数据库表中存储的第二目标业务数据时,即可通过分析对应的查询请求指令中携带的查询条件,以确定对应该查询条件的目标属性信息,根据该目标属性信息确定出存储有第二目标业务数据的目标数据库表或业务分表,进而访问目标数据库表或业务分表以获取第二目标业务数据;综上所述,将目标数据库表中存储的第一目标业务数据迁移到业务分表,使得业务分表和目标数据库表中分别存储数量较少的业务数据,相应的,根据查询条件从业务分表或目标数据库表中获取第二目标业务数据时,数据库响应速度较快,可提高用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种数据管理方法的流程图;
图2是本发明一实施例提供的另一种数据管理方法的流程图;
图3是本发明一实施例提供的一种数据管理装置的结构图;
图4是本发明一实施例提供的另一种数据管理装置的结构图;
图5是本发明一实施例提供的又一种数据管理装置的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供了一种数据管理方法,包括:
S1:接收对应目标数据库表的数据拆分指令,其中,所述数据拆分指令携带数据拆分策略;
S2:根据所述数据拆分指令,在外部数据库中构建业务分表,其中,所述业务分表的结构与所述目标数据库表的结构相同;
S3:根据所述数据拆分策略将目标数据库表中存储的至少一个第一目标业务数据迁移至所述业务分表;
S4:根据所述数据拆分策略配置所述业务分表和所述目标数据库表分别对应的属性信息;
S5:接收携带数据查询条件的查询请求指令;
S6:确定对应所述查询条件的目标属性信息,从对应所述目标属性信息的目标业务分表或目标数据库表中获取第二目标业务数据。
本发明上述实施例中,根据对应目标数据库表的数据拆分策略,在外部数据库中构建相应的业务分表,将目标数据库表中符合所述数据拆分策略的每一个第一目标数据迁移到业务分表,并根据拆分策略配置目标数据库表和业务分表分别对应的属性信息,实现针对原目标数据库表中存储的具备不同属性的业务数据进行分表存储;相应的,在用户需要查询原目标数据库表中存储的第二目标业务数据时,即可通过分析对应的查询请求指令中携带的查询条件,以确定对应该查询条件的目标属性信息,根据该目标属性信息确定出存储有第二目标业务数据的目标数据库表或业务分表,进而访问目标数据库表或业务分表以获取第二目标业务数据;综上所述,将目标数据库表中存储的第一目标业务数据迁移到业务分表,使得业务分表和目标数据库表中分别存储数量较少的业务数据,相应的,根据查询条件从业务分表或目标数据库表中获取第二目标业务数据时,数据库响应速度较快,可提高用户体验。
需要说明的是,对应目标数据库表的数据拆分指令可以携带目标数据库表的表名。
进一步的,在具体的应用场景的,可结合实际业务需求合理设置相应的数据拆分策略对目标数据库表中存储的业务数据进行分表存储,具体地,本发明一个优选实施例中,所述数据拆分策略,包括:
将目标时间段内被存储至目标数据库表的第一目标业务数据迁移到业务分表。
举例来说,当目标数据库表中存储了2014年至当前时间点存储至目标数据库表的业务数据,可设置相应的数据拆分策略为根据时间属性将不同时间段存储至目标数据库中的业务数据分别迁移到对应的业务分表中,具体地:可以设置为将2014年存储至目标数据库表中的业务数据迁移到一张业务分表,将2015年存储至目标数据库表中的业务数据迁移到另一张业务分表,使得目标数据库表只存储2015年之后存储至目标数据库表的业务数据。
本发明上述实施例中,携带数据拆分策略的数据拆分指令可以指示相应的装置在外部数据库中构建至少一个对应目标数据库表的业务分表,将目标数据库表中具备不同属性的业务数据分别迁移到不同的业务分表中,并在当前装置中配置每一个业务分表和目标数据库表分别对应的属性信息。
本发明一实施例中,以根据时间维度设置数据拆分策略对目标数据库表中存储的业务数据进行拆分为例,当数据拆分策略为将2014年内和2015年内存储至目标数据库表中的业务数据分别迁移到不同的业务分表时,业务分表对应的属性信息则可分别配置为2014年和2015年;同时,还可以将目标数据库表的属性信息配置为NOW。
需要说明的是,还可以根据企业或组织的实际业务场景以其他维度对目标数据库表中存储的业务数据进行拆分,比如,以企业或组织内的多个不同业务部门为拆分维度,分别将不同业务部门的业务数据迁移到对应当前业务部门的业务分表。
进一步的,由于将目标数据库表中存储的至少一个第一目标业务数据迁移到业务分表,第一目标业务数据在数据库中的存储路径发生变化,需要使用不同的数据库查询语句才能分别从业务分表和目标数据库表中获取业务数据;因此,本发明一个优选实施例中,所述在外部数据库中构建业务分表,进一步包括:配置所述业务分表的表名;
在所述根据所述数据拆分策略配置所述业务分表和所述目标数据库表分别对应的属性信息之后,在所述接收携带数据查询条件的查询请求指令之前,还包括:
根据所述业务分表和所述目标数据库表分别对应的表名和属性信息构建数据路由表;
所述确定对应所述查询条件的目标属性信息,从对应所述目标属性信息的目标业务分表或目标数据库表中获取第二目标业务数据,包括:
查询所述数据路由表,确定对应所述查询条件的目标属性信息;
确定所述目标属性信息对应的目标表名;
根据所述目标表名构建数据库查询语句,并利用所述数据库查询语句从所述目标表名对应的业务分表或目标数据库表中获取第二目标业务数据。
本发明上述实施例中,数据路由表存储每一张业务分别和目标数据库表的属性信息与表名之间的对应关系。
进一步的,为了防止第一目标业务数据因未能成功迁移而发生丢失,本发明一个优选实施例中,所述根据所述数据拆分策略将目标数据库表中存储的至少一个第一目标业务数据迁移至所述业务分表,包括:
确定所述目标数据库表中对应所述数据拆分策略的至少一个第一目标业务数据;
将每一个所述第一目标业务数据插入到所述业务分表;
在当前第一目标业务数据被成功插入到所述业务分表之后,删除所述目标数据库表中的当前第一目标业务数据。
本发明上述实施例中,只有在当前第一业务数据成功插入到对应的业务分表时,才删除目标数据库表中存储的当前第一目标业务数据,防止当前第一目标数据被直接迁移出目标数据库表时,未能成功插入对应的业务分表而导致当前第一目标业务数据发生丢失。
进一步的,为了实现可同时查询业务分表和目标数据库表中存储的业务数据,本发明一个优选实施例中,所述在外部数据库中构建业务分表,进一步包括:在外部数据库中构建对应所述业务分表和所述目标数据库表的视图,配置所述视图的视图名称;
还包括:
当所述目标属性信息包括所述业务分表和所述目标数据库表分别对应的属性信息时,根据所述视图名称查询所述视图以获取所述业务分表和所述目标数据库表中存储的第二目标业务数据。
本发明上述实施例中,还可以配置视图的属性信息为ALL,并将视图的名称和属性信息之间的对应关系存储到数据路由表,以实现在需要同时访问业务分表和目标数据库表以获取第二目标业务数据时,可以通过数据路由表存储的视图名称构建相应的数据库查询语句,通过该数据库查询语句访问数据库中的视图,并通过该视图同时获取业务分表和目标数据库表中存储的业务数据。
如图2所示,本发明实施例提供了一种数据管理方法,以根据对应时间维度的数据拆分策略,在数据库中构建两张业务分表,将两个不同时间段内分别存储至目标数据库表的业务数据对应的迁移到两个业务分表为例,可以包括如下步骤:
步骤201,接收对应目标数据库表的数据拆分指令。
这里,数据拆分指令应携带目标数据库表的表名及数据拆分策略。
本发明实施例中,用户可结合实际业务场景合理设置数据拆分策略,这里以根据时间维度设置拆分策略为例,数据拆分策略可以设置为:将2014年度和2015年度分别存储至目标数据库表RPC_FKSQ中的业务数据分别迁移到两个不同的业务分表。
步骤202,在外部数据库中构建业务分表RPC_FKSQ_01和业务分表RPC_FKSQ_02。
本发明实施例中,数据拆分指令可以携带目标数据库表的表名,根据目标数据库表的表名可确定出外部数据库中待拆分的目标数据库表,并构建与目标数据库表的结构相同的业务分表RPC_FKSQ_01和业务分表RPC_FKSQ_02。
步骤203,根据业务分表RPC_FKSQ_01、业务分表RPC_FKSQ_02和目标数据库表RPC_FKSQ在外部数据库中构建视图VIE_FKSQ。
步骤202和步骤203中,同时实现了配置外部数据库中构建的业务分表和视图分别对应表名。
步骤204,确定2014年度存储至目标数据库表RPC_FKSQ的至少一个业务数据An;确定2015年度存储至目标数据库表RPC_FKSQ的至少一个业务数据Bn。
步骤205,将至少一个业务数据An插入到业务分表RPC_FKSQ_01;将至少一个业务数据Bn插入到业务分表RPC_FKSQ_02。
步骤206,在当前业务数据An被成功插入到业务分表RPC_FKSQ_01时,删除目标数据库表RPC_FKSQ中存储的当前业务数据An;在当前业务数据Bn被成功插入到业务分表RPC_FKSQ_02时,删除目标数据库表RPC_FKSQ中存储的当前业务数据Bn。
步骤207,配置业务分表RPC_FKSQ_01对应的属性信息为2014年;配置业务分表RPC_FKSQ_02对应的属性信息为2015年;配置目标数据库表RPC_FKSQ对应的属性信息为NOW;配置视图VIE_FKSQ的属性信息为ALL。
步骤208,根据业务分表RPC_FKSQ_01、业务分表RPC_FKSQ_02和目标数据库表RPC_FKSQ、视图VIE_FKSQ分别对应的表名和属性信息构建数据路由表。
步骤209,接收携带数据查询条件的查询请求指令。
步骤210,查询数据路由表,确定对应所述查询条件的目标属性信息。
步骤209至步骤210中,可针对查询条件中的关键词进行分析以确定对应该查询条件的目标属性信息。
举例来说,当查询条件为获取2014年度存储至目标数据库表的业务数据时,可确定对应该查询条件的目标属性信息为2014年;当查询条件为获取2015年存储至数据库的业务数据时,可确定对应该查询条件的目标属性信息为2015年;当查询条件为查询2015年以后存储至数据库的业务数据时,可确定对应该查询条件的目标属性信息为NOW;当查询条件为查询2014年至当前时间点之间的时间段存储至数据库的业务数据时,目标属性信息同时包括2014、2015和NOW,即目标属性信息为ALL。
步骤211,确定目标属性信息对应的目标表名。
步骤212,根据目标表名构建数据库查询语句,并利用构建的数据库查询语句从数据库中获取目标业务数据。
步骤211至步骤212中,由于将目标数据库表RPC_FKSQ中存储的部分业务数据迁移到业务分表RPC_FKSQ_01和业务分表RPC_FKSQ_02,被迁移的业务数据在数据库中的存储路径发生变化,同时为了实现能够通过构建的视图VIE_FKSQ同时访问业务分表和目标数据库表以获取相应的业务数据,需要使用不同的数据库查询语句才能分别从业务分表RPC_FKSQ_01、业务分表RPC_FKSQ_02、目标数据库表RPC_FKSQ中获取相应的业务数据。
如图3所示,本发明实施例提供了一种数据管理装置,包括:
第一指令接收模块301,用于接收对应目标数据库表的数据拆分指令,其中,所述数据拆分指令携带数据拆分策略;
分表构建模块302,用于根据所述数据拆分指令,在外部数据库中构建业务分表,其中,所述业务分表的结构与所述目标数据库表的结构相同;
数据迁移模块303,用于根据所述数据拆分策略将目标数据库表中存储的至少一个第一目标业务数据迁移至所述业务分表;
配置模块304,用于根据所述数据拆分策略配置所述业务分表和所述目标数据库表分别对应的属性信息;
第二指令接收模块305,用于接收携带数据查询条件的查询请求指令;
处理模块306,用于确定对应所述查询条件的目标属性信息,从对应所述目标属性信息的目标业务分表或目标数据库表中获取第二目标业务数据。
进一步的,由于将数据库内目标数据库表中存储的至少一个第一目标业务数据迁移到业务分表后,第一目标业务数据的存储路径发生变化,分别从业务分表和目标数据库表中获取业务数据时,需要使用不同的数据库查询语句;因此,如图4所示,本发明一个优选实施例中,所述分表构建模块302,进一步用于配置所述业务分表的表名;
还包括:
路由表构建模块401,用于根据所述业务分表和所述目标数据库表分别对应的表名和属性信息构建数据路由表;
所述处理模块306,包括:
查询子单元3061,用于查询所述数据路由表,确定对应所述查询条件的目标属性信息;
第一确定子单元3062,用于确定所述目标属性信息对应的目标表名;
处理中子单元3063,用于根据所述目标表名构建数据库查询语句,并利用所述数据库查询语句从所述目标表名对应的业务分表或目标数据库表中获取第二目标业务数据。
进一步的,本发明一个优选实施例中,所述数据拆分策略,包括:
将目标时间段内被存储至目标数据库表的第一目标业务数据迁移到业务分表。
进一步的,为了防止第一目标业务数据因未能成功迁移而发生丢失,如图5所示,本发明一个优选实施例中,所述数据迁移模块303,包括:
第二确定子单元3031,用于确定所述目标数据库表中对应所述数据拆分策略的至少一个第一目标业务数据;
插入处理子单元3032,用于将每一个所述第一目标业务数据插入到所述业务分表;
删除处理子单元3033,用于在当前第一目标业务数据被成功插入到所述业务分表之后,删除所述目标数据库表中的当前第一目标业务数据。
进一步的,为了实现可同时查询业务分表和目标数据库表中存储的业务数据,本发明一个优选实施例中,所述分表构建模块302,进一步用于在外部数据库中构建对应所述业务分表和所述目标数据库表的视图,配置所述视图的视图名称;
所述处理模块306,进一步用于当所述目标属性信息包括所述业务分表和所述目标数据库表分别对应的属性信息时,根据所述视图名称查询所述视图以获取所述业务分表和所述目标数据库表中存储的第二目标业务数据。
上述装置内的各单元之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,具体内容可参见本发明方法实施例中的叙述,此处不再赘述。
本发明各个实施例至少具有如下有益效果:
1、根据对应目标数据库表的数据拆分策略,在外部数据库中构建相应的业务分表,将目标数据库表中符合所述数据拆分策略的每一个第一目标数据迁移到业务分表,并根据拆分策略配置目标数据库表和业务分表分别对应的属性信息,实现针对原目标数据库表中存储的具备不同属性的业务数据进行分表存储;相应的,在用户需要查询原目标数据库表中存储的第二目标业务数据时,即可通过分析对应的查询请求指令中携带的查询条件,以确定对应该查询条件的目标属性信息,根据该目标属性信息确定出存储有第二目标业务数据的目标数据库表或业务分表,进而访问目标数据库表或业务分表以获取第二目标业务数据;综上所述,将目标数据库表中存储的第一目标业务数据迁移到业务分表,使得业务分表和目标数据库表中分别存储数量较少的业务数据,相应的,根据查询条件从业务分表或目标数据库表中获取第二目标业务数据时,数据库响应速度较快,可提高用户体验。
2、在被迁移的当前业务数据成功迁移至对应的业务分表时,删除目标数据库表中存储的当前业务数据,一方面,可减少目标数据库表中业务数据的数量;另一方面,防止业务数据因未能够成功迁移至对应的业务分表而发生丢失。
3、根据业务分表和目标数据库表在数据库中构建视图,可通过访问该视图实现同时访问业务分表和目标数据库表中存储的业务数据,进而实现从业务分表和目标数据库表中同时获取相应的业务数据。
需要说明的是,在本文中,诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个······”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储在计算机可读取的存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
最后需要说明的是:以上所述仅为本发明的较佳实施例,仅用于说明本发明的技术方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (10)

1.一种数据管理方法,其特征在于,包括:
接收对应目标数据库表的数据拆分指令,其中,所述数据拆分指令携带数据拆分策略;
根据所述数据拆分指令,在外部数据库中构建业务分表,其中,所述业务分表的结构与所述目标数据库表的结构相同;
根据所述数据拆分策略将目标数据库表中存储的至少一个第一目标业务数据迁移至所述业务分表;
根据所述数据拆分策略配置所述业务分表和所述目标数据库表分别对应的属性信息;
接收携带数据查询条件的查询请求指令;
确定对应所述查询条件的目标属性信息,从对应所述目标属性信息的目标业务分表或目标数据库表中获取第二目标业务数据。
2.根据权利要求1所述的数据管理方法,其特征在于,
所述在外部数据库中构建业务分表,进一步包括:配置所述业务分表的表名;
在所述根据所述数据拆分策略配置所述业务分表和所述目标数据库表分别对应的属性信息之后,在所述接收携带数据查询条件的查询请求指令之前,还包括:
根据所述业务分表和所述目标数据库表分别对应的表名和属性信息构建数据路由表;
所述确定对应所述查询条件的目标属性信息,从对应所述目标属性信息的目标业务分表或目标数据库表中获取第二目标业务数据,包括:
查询所述数据路由表,确定对应所述查询条件的目标属性信息;
确定所述目标属性信息对应的目标表名;
根据所述目标表名构建数据库查询语句,并利用所述数据库查询语句从所述目标表名对应的业务分表或目标数据库表中获取第二目标业务数据。
3.根据权利要求1所述的数据管理方法,其特征在于,所述数据拆分策略,包括:
将目标时间段内被存储至目标数据库表的第一目标业务数据迁移到业务分表。
4.根据权利要求1所述的数据管理方法,其特征在于,所述根据所述数据拆分策略将目标数据库表中存储的至少一个第一目标业务数据迁移至所述业务分表,包括:
确定所述目标数据库表中对应所述数据拆分策略的至少一个第一目标业务数据;
将每一个所述第一目标业务数据插入到所述业务分表;
在当前第一目标业务数据被成功插入到所述业务分表之后,删除所述目标数据库表中的当前第一目标业务数据。
5.根据权利要求1至4中任一所述的数据管理方法,其特征在于,
所述在外部数据库中构建业务分表,进一步包括:在外部数据库中构建对应所述业务分表和所述目标数据库表的视图,配置所述视图的视图名称;
还包括:
当所述目标属性信息包括所述业务分表和所述目标数据库表分别对应的属性信息时,根据所述视图名称查询所述视图以获取所述业务分表和所述目标数据库表中存储的第二目标业务数据。
6.一种数据管理装置,其特征在于,包括:
第一指令接收模块,用于接收对应目标数据库表的数据拆分指令,其中,所述数据拆分指令携带数据拆分策略;
分表构建模块,用于根据所述数据拆分指令,在外部数据库中构建业务分表,其中,所述业务分表的结构与所述目标数据库表的结构相同;
数据迁移模块,用于根据所述数据拆分策略将目标数据库表中存储的至少一个第一目标业务数据迁移至所述业务分表;
配置模块,用于根据所述数据拆分策略配置所述业务分表和所述目标数据库表分别对应的属性信息;
第二指令接收模块,用于接收携带数据查询条件的查询请求指令;
处理模块,用于确定对应所述查询条件的目标属性信息,从对应所述目标属性信息的目标业务分表或目标数据库表中获取第二目标业务数据。
7.根据权利要求6所述的数据管理装置,其特征在于,
所述分表构建模块,进一步用于配置所述业务分表的表名;
还包括:
路由表构建模块,用于根据所述业务分表和所述目标数据库表分别对应的表名和属性信息构建数据路由表;
所述处理模块,包括:
查询子单元,用于查询所述数据路由表,确定对应所述查询条件的目标属性信息;
第一确定子单元,用于确定所述目标属性信息对应的目标表名;
处理中子单元,用于根据所述目标表名构建数据库查询语句,并利用所述数据库查询语句从所述目标表名对应的业务分表或目标数据库表中获取第二目标业务数据。
8.根据权利要求6所述的数据管理装置,其特征在于,所述数据拆分策略,包括:
将目标时间段内被存储至目标数据库表的第一目标业务数据迁移到业务分表。
9.根据权利要求6所述的数据管理装置,其特征在于,所述数据迁移模块,包括:
第二确定子单元,用于确定所述目标数据库表中对应所述数据拆分策略的至少一个第一目标业务数据;
插入处理子单元,用于将每一个所述第一目标业务数据插入到所述业务分表;
删除处理子单元,用于在当前第一目标业务数据被成功插入到所述业务分表之后,删除所述目标数据库表中的当前第一目标业务数据。
10.根据权利要求6至9中任一所述的数据管理装置,其特征在于,
所述分表构建模块,进一步用于在外部数据库中构建对应所述业务分表和所述目标数据库表的视图,配置所述视图的视图名称;
所述处理模块,进一步用于当所述目标属性信息包括所述业务分表和所述目标数据库表分别对应的属性信息时,根据所述视图名称查询所述视图以获取所述业务分表和所述目标数据库表中存储的第二目标业务数据。
CN201610411529.1A 2016-06-12 2016-06-12 一种数据管理方法及装置 Pending CN105868421A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610411529.1A CN105868421A (zh) 2016-06-12 2016-06-12 一种数据管理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610411529.1A CN105868421A (zh) 2016-06-12 2016-06-12 一种数据管理方法及装置

Publications (1)

Publication Number Publication Date
CN105868421A true CN105868421A (zh) 2016-08-17

Family

ID=56650172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610411529.1A Pending CN105868421A (zh) 2016-06-12 2016-06-12 一种数据管理方法及装置

Country Status (1)

Country Link
CN (1) CN105868421A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107451208A (zh) * 2017-07-12 2017-12-08 北京潘达互娱科技有限公司 一种数据搜索方法与装置
CN108205559A (zh) * 2016-12-19 2018-06-26 腾讯科技(深圳)有限公司 一种数据管理方法及其设备
CN108629699A (zh) * 2018-05-15 2018-10-09 中国平安人寿保险股份有限公司 数据上传方法、数据上传设备、存储介质及装置
CN110069521A (zh) * 2017-10-16 2019-07-30 浙江萨宝信息科技有限公司 一种销售数据处理方法与系统
CN110209431A (zh) * 2018-02-28 2019-09-06 杭州海康威视数字技术股份有限公司 数据分区拆分方法及装置
CN110287199A (zh) * 2019-07-01 2019-09-27 联想(北京)有限公司 一种数据库的处理方法及电子设备
CN110727656A (zh) * 2019-09-25 2020-01-24 贝壳技术有限公司 一种数据的分表方法、装置、电子设备以及可读存储介质
CN111753019A (zh) * 2019-03-26 2020-10-09 北京沃东天骏信息技术有限公司 一种应用于数据仓库的数据分区方法和装置
CN113568924A (zh) * 2021-07-23 2021-10-29 北京达佳互联信息技术有限公司 一种数据处理方法、装置、电子设备及存储介质
CN113742043A (zh) * 2021-08-31 2021-12-03 中企云链(北京)金融信息服务有限公司 一种服务器后端任务异步拆分方法
CN113806575A (zh) * 2021-08-05 2021-12-17 北京房江湖科技有限公司 仓库拆分中图片信息获取方法及装置
US11500832B2 (en) 2016-12-19 2022-11-15 Tencent Technology (Shenzhen) Company Limited Data management method and server

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101697152A (zh) * 2009-10-23 2010-04-21 金蝶软件(中国)有限公司 一种数据库存储系统及其数据的拆分方法和装置
CN103093324A (zh) * 2011-10-27 2013-05-08 镇江雅迅软件有限责任公司 一种基于数据表拆分技术的库存管理系统
CN105045816A (zh) * 2015-06-26 2015-11-11 上海斐讯数据通信技术有限公司 一种大量数据的存取方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101697152A (zh) * 2009-10-23 2010-04-21 金蝶软件(中国)有限公司 一种数据库存储系统及其数据的拆分方法和装置
CN103093324A (zh) * 2011-10-27 2013-05-08 镇江雅迅软件有限责任公司 一种基于数据表拆分技术的库存管理系统
CN105045816A (zh) * 2015-06-26 2015-11-11 上海斐讯数据通信技术有限公司 一种大量数据的存取方法及系统

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108205559B (zh) * 2016-12-19 2022-01-07 腾讯科技(深圳)有限公司 一种数据管理方法及其设备
CN108205559A (zh) * 2016-12-19 2018-06-26 腾讯科技(深圳)有限公司 一种数据管理方法及其设备
US11500832B2 (en) 2016-12-19 2022-11-15 Tencent Technology (Shenzhen) Company Limited Data management method and server
CN107451208A (zh) * 2017-07-12 2017-12-08 北京潘达互娱科技有限公司 一种数据搜索方法与装置
CN110069521A (zh) * 2017-10-16 2019-07-30 浙江萨宝信息科技有限公司 一种销售数据处理方法与系统
CN110209431A (zh) * 2018-02-28 2019-09-06 杭州海康威视数字技术股份有限公司 数据分区拆分方法及装置
WO2019165996A1 (zh) * 2018-02-28 2019-09-06 杭州海康威视数字技术股份有限公司 数据分区拆分方法、装置、服务器及存储介质
CN110209431B (zh) * 2018-02-28 2021-04-27 杭州海康威视数字技术股份有限公司 数据分区拆分方法及装置
CN108629699A (zh) * 2018-05-15 2018-10-09 中国平安人寿保险股份有限公司 数据上传方法、数据上传设备、存储介质及装置
CN108629699B (zh) * 2018-05-15 2023-04-18 中国平安人寿保险股份有限公司 数据上传方法、数据上传设备、存储介质及装置
CN111753019A (zh) * 2019-03-26 2020-10-09 北京沃东天骏信息技术有限公司 一种应用于数据仓库的数据分区方法和装置
CN110287199A (zh) * 2019-07-01 2019-09-27 联想(北京)有限公司 一种数据库的处理方法及电子设备
CN110727656A (zh) * 2019-09-25 2020-01-24 贝壳技术有限公司 一种数据的分表方法、装置、电子设备以及可读存储介质
CN113568924A (zh) * 2021-07-23 2021-10-29 北京达佳互联信息技术有限公司 一种数据处理方法、装置、电子设备及存储介质
CN113568924B (zh) * 2021-07-23 2024-05-14 北京达佳互联信息技术有限公司 一种数据处理方法、装置、电子设备及存储介质
CN113806575A (zh) * 2021-08-05 2021-12-17 北京房江湖科技有限公司 仓库拆分中图片信息获取方法及装置
CN113806575B (zh) * 2021-08-05 2024-02-20 贝壳找房(北京)科技有限公司 仓库拆分中图片信息获取方法及装置
CN113742043A (zh) * 2021-08-31 2021-12-03 中企云链(北京)金融信息服务有限公司 一种服务器后端任务异步拆分方法
CN113742043B (zh) * 2021-08-31 2024-04-26 中企云链股份有限公司 一种服务器后端任务异步拆分方法

Similar Documents

Publication Publication Date Title
CN105868421A (zh) 一种数据管理方法及装置
US11468103B2 (en) Relational modeler and renderer for non-relational data
AU2018204273B2 (en) Auto discovery of configuration items
CN106599218A (zh) 一种树形结构的处理方法和装置
CN105468473A (zh) 数据迁移方法及数据迁移装置
CN105183735A (zh) 数据的查询方法及查询装置
US10248680B2 (en) Index management
CN106970929B (zh) 数据导入方法及装置
CN104850565B (zh) 一种基于k-v存储系统的元数据管理方法
KR101546333B1 (ko) 복합 저장소를 가지는 데이터베이스에서 질의 처리 장치 및 방법
CN110427364A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN103942205A (zh) 存储、读取目录索引的方法、装置及系统
CN109977135A (zh) 一种数据查询方法、装置及服务器
CN108319608A (zh) 访问日志存储查询的方法、装置及系统
CN110019111A (zh) 数据处理方法、装置、存储介质以及处理器
US10713228B2 (en) Generating and accessing a data table
CN106227769A (zh) 数据存储方法及装置
CN101727503A (zh) 一种创建磁盘文件系统的方法
US9679014B2 (en) Generating and accessing a data table
CN105677805A (zh) 一种利用protobuf的数据存储、读取方法及装置
CN108170824A (zh) 一种基于sql的数据存储方法、装置、设备及存储介质
CN104598652A (zh) 一种数据库查询方法及装置
CN111008198B (zh) 业务数据获取方法、装置、存储介质、电子设备
US20170344454A1 (en) Determining dynamic statistics based on key value patterns
KR20120082176A (ko) 데이터베이스 관리 시스템의 데이터 처리 방법 및 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160817