CN110263044B

CN110263044B - 数据存储方法、装置、设备及计算机可读存储介质

Info

Publication number: CN110263044B
Application number: CN201910551894.6A
Authority: CN
Inventors: 夏鹏
Original assignee: WeBank Co Ltd
Current assignee: WeBank Co Ltd
Priority date: 2019-06-21
Filing date: 2019-06-21
Publication date: 2023-03-31
Anticipated expiration: 2039-06-21
Also published as: CN110263044A

Abstract

本发明公开了一种数据存储方法。该数据存储方法包括：获取业务数据表，并确定与所述业务数据表对应的子数据表；按预设规则对各子数据表进行检测，并根据检测结果确定对应的数据存储策略；根据所述数据存储策略将与各子数据表对应的数据分别存储至预设数据存储系统的对应分区内，其中，所述预设数据存储系统为一分布式数据存储系统。本发明还公开了一种数据存储装置、设备及计算机可读存储介质。本发明能够解决现有的数据存储方式下存在的数据加载性能较差、加载效率低的问题。

Description

数据存储方法、装置、设备及计算机可读存储介质

技术领域

本发明涉及金融科技(Fintech)技术领域，尤其涉及一种数据存储方法、装置、设备及计算机可读存储介质。

背景技术

近年来，随着金融科技(Fintech)，尤其是互联网科技金融的不断发展，互联网金融行业的业务数据量日益庞大，数据的存储管理也愈加困难。目前金融领域的企业在对数据进行存储，通常是使用传统关系型数据库或者非关系型数据库，直接从业务主题需求出发，对同一业务主题的数据进行集中存储，在面对海量数据处理时，存在数据加载性能较差、加载效率低的问题。

发明内容

本发明的主要目的在于提供一种数据存储方法、装置、设备及计算机可读存储介质，旨在解决现有的数据存储方式下存在的数据加载性能较差、加载效率低的问题。

为实现上述目的，本发明提供一种数据存储方法，所述数据存储方法包括：

获取业务数据表，并确定与所述业务数据表对应的子数据表；

按预设规则对各子数据表进行检测，并根据检测结果确定对应的数据存储策略；

根据所述数据存储策略将与各子数据表对应的数据分别存储至预设数据存储系统的对应分区内，其中，所述预设数据存储系统为一分布式数据存储系统。

可选地，所述按预设规则对各子数据表进行检测，并根据检测结果确定对应的数据存储策略的步骤包括：

检测各子数据表之间是否具有相关性；

若各子数据表之间不具有相关性，则确定数据存储策略为分散存储策略；

若各子数据表之间具有相关性，则获取各子数据表的数据指标，并检测所述数据指标之间是否存在关联关系；

若所述数据指标之间存在关联关系，则确定数据存储策略为第一集中存储策略；

若所述数据指标之间不存在关联关系，则确定数据存储策略为第二集中存储策略。

可选地，若确定所述数据存储策略为分散存储策略，所述根据所述数据存储策略将与各子数据表对应的数据分别存储至预设数据存储系统的对应分区内的步骤包括：

根据所述分散存储策略将各子数据表对应的数据分别存储至预设数据存储系统的不同机架中。

可选地，若确定所述数据存储策略为第一集中存储策略，所述根据所述数据存储策略将与各子数据表对应的数据分别存储至预设数据存储系统的对应分区内的步骤包括：

根据所述第一集中存储策略将各子数据表对应的数据存储至预设数据存储系统的同一机架的同一机器中。

可选地，若确定所述数据存储策略为第二集中存储策略，所述根据所述数据存储策略将与各子数据表对应的数据分别存储至预设数据存储系统的对应分区内的步骤包括：

根据所述第二集中存储策略将各子数据表对应的数据分别存储至预设数据存储系统的同一机架的不同机器中。

可选地，所述预设数据存储系统包括多个机架，各机架上包括多台机器。

此外，为实现上述目的，本发明还提供一种数据存储装置，所述数据存储装置包括：

第一确定模块，用于获取业务数据表，并确定与所述业务数据表对应的子数据表；

第二确定模块，用于按预设规则对各子数据表进行检测，并根据检测结果确定对应的数据存储策略；

数据存储模块，用于根据所述数据存储策略将与各子数据表对应的数据分别存储至预设数据存储系统的对应分区内，其中，所述预设数据存储系统为一分布式数据存储系统。

可选地，所述第二确定模块包括：

第一检测单元，用于检测各子数据表之间是否具有相关性；

第一确定单元，用于若各子数据表之间不具有相关性，则确定数据存储策略为分散存储策略；

第二检测单元，用于若各子数据表之间具有相关性，则获取各子数据表的数据指标，并检测所述数据指标之间是否存在关联关系；

第二确定单元，用于若所述数据指标之间存在关联关系，则确定数据存储策略为第一集中存储策略；

第三确定单元，用于若所述数据指标之间不存在关联关系，则确定数据存储策略为第二集中存储策略。

此外，为实现上述目的，本发明还提供一种数据存储设备，所述数据存储设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据存储程序，所述数据存储程序被所述处理器执行时实现如上所述的数据存储方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据存储程序，所述数据存储程序被处理器执行时实现如上所述的数据存储方法的步骤。

本发明提供一种数据存储方法、装置、设备及计算机可读存储介质，通过获取业务数据表，并确定与该业务数据表对应的子数据表；按预设规则对各子数据表进行检测，并根据检测结果确定对应的数据存储策略；根据数据存储策略将与各子数据表对应的数据分别存储至预设数据存储系统的对应分区内，其中，该预设数据存储系统为一分布式数据存储系统。本实施例中采用分布式存储系统对数据进行分区存储，将业务场景下各子数据表之间的关系与分布式存储系统的系统架构相结合，来确定数据存储策略，进而对不同关系的数据应用不同的数据存储策略进行存储，可很好地平衡数据操作的并行度和局部性，从而可提高数据的加载性能，并提高数据加载效率。

附图说明

图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图；

图2为本发明数据存储方法第一实施例的流程示意图；

图3为本发明数据存储方法第一实施例中步骤S20的细化流程示意图；

图4为本发明数据存储装置第一实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图。

本发明实施例数据存储设备可以是智能手机，也可以是PC(Personal Computer，个人计算机)、平板电脑、便携计算机等终端设备。

如图1所示，该数据存储设备可以包括：处理器1001，例如CPU，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如Wi-Fi接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的数据存储设备结构并不构成对数据存储设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据存储程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的数据存储程序，并执行以下操作：

进一步地，处理器1001可以调用存储器1005中存储的数据存储程序，还执行以下操作：

检测各子数据表之间是否具有相关性；

进一步地，若确定所述数据存储策略为分散存储策略，处理器1001可以调用存储器1005中存储的数据存储程序，还执行以下操作：

进一步地，若确定所述数据存储策略为第一集中存储策略，处理器1001可以调用存储器1005中存储的数据存储程序，还执行以下操作：

进一步地，若确定所述数据存储策略为第二集中存储策略，处理器1001可以调用存储器1005中存储的数据存储程序，还执行以下操作：

基于上述硬件结构，提出本发明数据存储方法的各实施例。

本发明提供一种数据存储方法。

参照图2，图2为本发明数据存储方法第一实施例的流程示意图。

在本实施例中，该数据存储方法包括：

步骤S10，获取业务数据表，并确定与所述业务数据表对应的子数据表；

本实施例的数据存储方法是由数据存储设备实现的，该设备以服务器为例进行说明。首先服务器获取业务数据表，并确定与该业务数据表对应的子数据表。其中，业务数据表可由子数据表的数据处理得到，对于子数据表的获取方式，可预先设定业务数据表与子数据表之间的映射关系，从而可根据业务数据表和该映射关系确定出该业务数据表对应的子数据表。为方便说明，本发明实施例中以汽车金融场景中的业务数据表为例进行说明。例如，对于分期状态汇总集市表，其是根据每月的还款计划表汇总得到的，因此，当业务数据表为分期状态汇总集市表时，其对应的子数据表为每月还款计划表(即一月还款计划表、二月还款计划表、……、十二月还款计划表)；对于审批集市表，其是由审批各环节数据表(包括验四表、反欺诈审批表和信用审批表)整理汇总而成，因此，当业务数据表为审批集市表时，其对应的子数据表为验四表、反欺诈审批表和信用审批表；对于贷后还款集市表，其是根据应还表和已还表处理得到的，因此，当业务数据表为贷后还款集市表时，其对应的子数据表为还表和已还表。

步骤S20，按预设规则对各子数据表进行检测，并根据检测结果确定对应的数据存储策略；

在确定业务数据表所对应的子数据表之后，按预设规则对各子数据表进行检测，并根据检测结果确定对应的数据存储策略。具体的，参照图3，步骤S20包括：

步骤S21，检测各子数据表之间是否具有相关性；

先检测各子数据表之间是否具有相关性，具体的相关性的检测方法可以包括但不限于：1)预先设定存在相关性的数据表组合，然后检测各子数据表中是否存在上述预先设定的数据表组合；2)基于各子数据表生成对应的检测指令，并将检测指令发送至对应的工作端，以使得工作人员进行人工检测判断，在接收到工作端返回的检测结果时，根据该检测结果来判断各子数据表之间是否具有相关性。

步骤S22，若各子数据表之间不具有相关性，则确定数据存储策略为分散存储策略；

若各子数据表之间不具有相关性，说明各子数据表之间无直接依赖关系，可并行处理，故可将各子数据表对应的数据分散存储，此时，则确定数据存储策略为分散存储策略。

步骤S23，若各子数据表之间具有相关性，则获取各子数据表的数据指标，并检测所述数据指标之间是否存在关联关系；

若各子数据表之间具有相关性，说明各子数据表之间有直接依赖关系，需集中处理，但考虑到数据操作的局部性，需进一步考虑各子数据表是否需要同时访问，以确定具体的数据存储策略，此时，则获取各子数据表的数据指标，并检测各数据指标之间是否存在关联关系。其中，对于关联关系的检测方法可以包括但不限于：1)预先设定存在关联关系的数据指标组合，然后检测各子数据表的数据指标之间是否存在上述预先设定的数据指标组合；2)基于各子数据表的数据指标生成对应的检测指令，并将检测指令发送至对应的工作端，以使得工作人员进行人工检测判断，在接收到工作端返回的检测结果时，根据该检测结果来判断各子数据表的数据指标之间是否存在关联关系。

步骤S24，若所述数据指标之间存在关联关系，则确定数据存储策略为第一集中存储策略；

若数据指标之间存在关联关系，说明该数据指标对应的数据需要同时访问处理，此时，确定数据存储策略为第一集中存储策略；

步骤S25，若所述数据指标之间不存在关联关系，则确定数据存储策略为第二集中存储策略。

若数据指标之间不存在关联关系，说明该数据指标对应的数据不需要同时访问处理，此时，确定数据存储策略为第一集中存储策略。

步骤S30，根据所述数据存储策略将与各子数据表对应的数据分别存储至预设数据存储系统的对应分区内，其中，所述预设数据存储系统为一分布式数据存储系统。

在确定数据存储策略之后，根据数据存储策略将与各子数据表对应的数据分别存储至预设数据存储系统的对应分区内，其中，该预设数据存储系统为一分布式数据存储系统，该预设数据存储系统包括多个机架，各机架上包括多台机器。本实施例中采用分布式存储系统对数据进行分区存储，将业务场景下各子数据表之间的关系与分布式存储系统的系统架构相结合，来确定数据存储策略，进而对不同关系的数据应用不同的数据存储策略进行存储，可很好地平衡数据操作的并行度和局部性，从而可提高数据的加载性能，并提高数据加载效率。

其中，由于数据存储策略包括分散存储策略、第一集中存储策略和第二集中存储策略，不同的数据存储策略所对应的数据存储过程具体如下：

若确定所述数据存储策略为分散存储策略，步骤S30包括：

在本实施例中，若确定数据存储策略为分散存储策略，根据分散存储策略将各子数据表对应的数据分别存储至预设数据存储系统的不同机架中，通过将不具有相关性的子数据表对应的数据存储在不同机架中，由于不同机架下数据访问带宽彼此不影响，各机架下的数据操作可并列执行，即保证了数据操作的并行度，从而可提高数据加载效率。例如，上述例中的分期状态汇总集市表，其子数据表每月还款计划表之间无相关性，则根据分散存储策略将每月的还款计划表所对应的数据(包括借据号、还款期数、当期应还时间、当期还款时间、当期应还本金、当期已还本金、当期应还利息、当期已还利息、当期应还罚息、当期已还罚息、当期逾期天数)分别存储至预设数据存储系统的不同机架中。

若确定所述数据存储策略为第一集中存储策略，步骤S30包括：

在本实施例中，若确定数据存储策略为第一集中存储策略，根据第一集中存储策略将各子数据表对应的数据存储至预设数据存储系统的同一机架的同一机器中。对于子数据表之间具有相关性、且其数据指标之间存在关联关系的情况，将各子数据表对应的数据存储在同一机架的同一机器中，可保证数据操作的局部性，便于数据的连续加载，即可加速后续数据操作，从而可提高数据加载效率。例如，上述例中的贷后还款集市表，其子数据表应还表和已还表之间具有相关性，且应还表(其数据指标包括当日应还本金、当日应还利息、当日应还罚息)和已还表(其数据指标包括当日已还本金、当日已还利息、当日已还罚息、当日最大逾期时间)的数据指标之间存在关联关系，则根据第一集中存储策略将应还表和已还表所对应的数据存储至预设数据存储系统的同一机架的同一机器中。

若确定所述数据存储策略为第二集中存储策略，步骤S30包括：

在本实施例中，若确定数据存储策略为第二集中存储策略，根据第二集中存储策略将各子数据表对应的数据分别存储至预设数据存储系统的同一机架的不同机器中。对于子数据表之间具有相关性、但其数据指标之间不存在关联关系的情况，将各子数据表对应的数据分别存储在同一机架的不同机器中，可保证数据操作的并行度和局部性均衡，从而可提高数据加载效率。例如，上述例中的审批集市表，其子数据表验四表、反欺诈审批表和信用审批表之间具有相关性，但验四表(其数据指标包括验四时间、验四结果)、反欺诈审批表(其数据指标包括审批时间、拒绝原因码)和信用审批表(其数据指标包括审批时间、人行分数、命中规则码、拒绝原因等)的数据指标之间不存在关联关系，则根据第二集中存储策略将验四表、反欺诈审批表和信用审批表所对应的数据分别存储至预设数据存储系统的同一机架的不同机器中。

本发明实施例提供一种数据存储方法，通过获取业务数据表，并确定与该业务数据表对应的子数据表；按预设规则对各子数据表进行检测，并根据检测结果确定对应的数据存储策略；根据数据存储策略将与各子数据表对应的数据分别存储至预设数据存储系统的对应分区内，其中，该预设数据存储系统为一分布式数据存储系统。本实施例中采用分布式存储系统对数据进行分区存储，将业务场景下各子数据表之间的关系与分布式存储系统的系统架构相结合，来确定数据存储策略，进而对不同关系的数据应用不同的数据存储策略进行存储，可很好地平衡数据操作的并行度和局部性，从而可提高数据的加载性能，并提高数据加载效率。

本发明还提供一种数据存储装置。

参照图4，图4为本发明数据存储装置第一实施例的功能模块示意图。

如图4所示，所述数据存储装置包括：

第一确定模块10，用于获取业务数据表，并确定与所述业务数据表对应的子数据表；

第二确定模块20，用于按预设规则对各子数据表进行检测，并根据检测结果确定对应的数据存储策略；

数据存储模块30，用于根据所述数据存储策略将与各子数据表对应的数据分别存储至预设数据存储系统的对应分区内，其中，所述预设数据存储系统为一分布式数据存储系统。

进一步的，所述第二确定模块20包括：

第一检测单元，用于检测各子数据表之间是否具有相关性；

进一步的，若确定所述数据存储策略为分散存储策略，所述数据存储模块30，具体用于根据所述分散存储策略将各子数据表对应的数据分别存储至预设数据存储系统的不同机架中。

进一步的，若确定所述数据存储策略为第一集中存储策略，所述数据存储模块30，还具体用于根据所述第一集中存储策略将各子数据表对应的数据存储至预设数据存储系统的同一机架的同一机器中。

进一步的，若确定所述数据存储策略为第二集中存储策略，所述数据存储模块30，还具体用于根据所述第二集中存储策略将各子数据表对应的数据分别存储至预设数据存储系统的同一机架的不同机器中。

进一步的，所述预设数据存储系统包括多个机架，各机架上包括多台机器。

其中，上述数据存储装置中各个模块的功能实现与上述数据存储方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质上存储有数据存储程序，所述数据存储程序被处理器执行时实现如以上任一项实施例所述的数据存储方法的步骤。

本发明计算机可读存储介质的具体实施例与上述数据存储方法各实施例基本相同，在此不作赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种数据存储方法，其特征在于，所述数据存储方法包括：

根据所述数据存储策略将与各子数据表对应的数据分别存储至预设数据存储系统的对应分区内，其中，所述预设数据存储系统为一分布式数据存储系统；

其中，所述按预设规则对各子数据表进行检测，并根据检测结果确定对应的数据存储策略的步骤包括：

检测各子数据表之间是否具有相关性；

其中，所述检测各子数据表之间是否具有相关性的步骤包括：

检测各所述子数据表中是否存在预设存在相关性的数据表组合；或者，基于各所述子数据表生成检测指令，并将所述检测指令发送至工作端，并根据所述工作端返回的检测结果确定各所述子数据表之间是否具有相关性；

其中，所述检测所述数据指标之间是否存在关联关系的步骤包括：

检测各所述子数据表的数据指标之间是否存在预设存在关联关系的数据指标组合；或者，基于各所述子数据表的数据指标生成检测指令，并将所述检测指令发送至工作端，并根据所述工作端返回的检测结果确定各所述子数据表的数据指标之间是否存在关联关系；

2.如权利要求1所述的数据存储方法，其特征在于，若确定所述数据存储策略为分散存储策略，所述根据所述数据存储策略将与各子数据表对应的数据分别存储至预设数据存储系统的对应分区内的步骤包括：

3.如权利要求1所述的数据存储方法，其特征在于，若确定所述数据存储策略为第一集中存储策略，所述根据所述数据存储策略将与各子数据表对应的数据分别存储至预设数据存储系统的对应分区内的步骤包括：

4.如权利要求1所述的数据存储方法，其特征在于，若确定所述数据存储策略为第二集中存储策略，所述根据所述数据存储策略将与各子数据表对应的数据分别存储至预设数据存储系统的对应分区内的步骤包括：

5.如权利要求1至4中任一项所述的数据存储方法，其特征在于，所述预设数据存储系统包括多个机架，各机架上包括多台机器。

6.一种数据存储装置，其特征在于，所述数据存储装置包括：

数据存储模块，用于根据所述数据存储策略将与各子数据表对应的数据分别存储至预设数据存储系统的对应分区内，其中，所述预设数据存储系统为一分布式数据存储系统；

其中，所述第二确定模块包括：

第一检测单元，用于检测各子数据表之间是否具有相关性，其中，检测各子数据表之间是否具有相关性包括：

第二检测单元，用于若各子数据表之间具有相关性，则获取各子数据表的数据指标，并检测所述数据指标之间是否存在关联关系，其中，检测所述数据指标之间是否存在关联关系包括：

7.一种数据存储设备，其特征在于，所述数据存储设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据存储程序，所述数据存储程序被所述处理器执行时实现如权利要求1至5中任一项所述的数据存储方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据存储程序，所述数据存储程序被处理器执行时实现如权利要求1至5中任一项所述的数据存储方法的步骤。