CN110069487A - 一种数据处理方法、装置及系统 - Google Patents

Abstract

本发明公开了一种数据处理方法、装置及系统，该方法应用于分布式关系型数据库，数据库预先创建有目标数据表，目标数据表包括表征版本号的列，该方法首先获取目标数据的操作类型，其中，操作类型包括数据修改、数据增加以及数据删除中的任意一个或多个操作类型。然后，根据操作类型，将目标数据插入目标数据表的空白行。可见，本方案将数据操作均变成在目标数据表中的插入操作，对应的通过版本号进行区分不同的数据，而非现有技术中对数据表中的数据进行更新和删除。进一步的，在数据读取时，获取版本号最新的行的数据即可，由于分布式关系型数据库的数据插入能力较强，因此采用本数据处理方法，能够快速的对数据进行存储和读取。

Description

一种数据处理方法、装置及系统

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法、装置及系统。

背景技术

随着大数据的快速发展，数据量越来越多，这就要求数据处理系统的计算能力以及存储能力也越来越强。然而，对于传统的关系型数据库，随着数据的逐步增加，其数据查询性能显著下降，已经无法满足海量数据下数据分析的需求。

因此，分布式数据库凭借其联机分析处理能力(OLAP功能)，能够通过线性扩展服务器，实现海量数据的快速查询性能。然而，SEM业务的数据增删改要求较大，需要系统支持联机事物处理能力(OLTP功能)的场景。除此，海量数据在多维度分析时，需要系统支持联机分析处理能力(OLAP功能)的场景。

综上，如何提供一种数据处理方法，使得系统同时支持OLAP功能以及OLTP功能，以便系统快速进行数据查询，是本领域技术人员亟待解决的一大技术问题。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的技术方案：

一种数据处理方法，应用于分布式关系型数据库，所述数据库预先创建有目标数据表，所述目标数据表包括表征版本号的列，该方法包括：

获取目标数据的操作类型，所述操作类型包括数据修改、数据增加以及数据删除中的任意一个或多个操作类型；

根据所述操作类型，将所述目标数据插入所述目标数据表的空白行。

可选的，还包括：

基于用户的查询指令，获取与所述查询指令对应的待查询数据；

确定所述目标数据表中包含所述待查询数据的行中，所述表征版本号的列中版本号符合预设条件的数据内容为目标查询数据。

可选的，还包括：

获取所述目标数据表中所述列的类型标识；

按照预设划分规则，将所述列进行分区，生成多个数据分区。

可选的，还包括：

确定所述目标数据表中所述表征版本号的列中版本号属性相同的数据为历史数据，所述版本号至少包括版本号属性以及版本号信息；

根据所述历史数据，建立数据缓存表；

删除所述目标数据表中的所述历史数据。

一种数据处理装置，应用于分布式关系型数据库，所述数据库预先创建有目标数据表，所述目标数据表包括表征版本号的列，该装置包括：

第一获取模块，用于获取目标数据的操作类型，所述操作类型包括数据修改、数据增加以及数据删除中的任意一个或多个操作类型；

插入模块，用于根据所述操作类型，将所述目标数据插入所述目标数据表的空白行。

可选的，还包括：

第二获取模块，用于基于用户的查询指令，获取与所述查询指令对应的待查询数据；

第一确定模块，用于确定所述目标数据表中包含所述待查询数据的行中，所述表征版本号的列中版本号符合预设条件的数据内容为目标查询数据。

可选的，还包括：

第三获取模块，用于获取所述目标数据表中所述列的类型标识；

生成模块，用于按照预设划分规则，将所述列进行分区，生成多个数据分区。

可选的，还包括：

第二确定模块，用于确定所述目标数据表中所述表征版本号的列中版本号属性相同的数据为历史数据，所述版本号至少包括版本号属性以及版本号信息；

创建模块，用于根据所述历史数据，建立数据缓存表；

删除模块，用于删除所述目标数据表中的所述历史数据。

一种数据处理系统，包括：

存储器，用于存储程序；

处理器，用于执行所述程序，所述程序运行时执行任意一项上述的数据处理方法。

一种存储介质，存储有程序，所述程序被处理器执行时实现任意一项上述的数据处理方法。

借由上述技术方案，本发明公开了一种数据处理方法，应用于分布式关系型数据库，所述数据库预先创建有目标数据表，所述目标数据表包括表征版本号的列，该方法首先获取目标数据的操作类型，其中，所述操作类型包括数据修改、数据增加以及数据删除中的任意一个或多个操作类型。然后，根据所述操作类型，将所述目标数据插入所述目标数据表的空白行。可见，本方案将数据操作均变成在目标数据表中的插入操作，对应的通过版本号进行区分不同的数据，而非现有技术中对数据表中的数据进行更新和删除。进一步的，在数据读取时，获取版本号最新的行的数据即可，由于分布式关系型数据库的数据插入能力较强，因此采用本数据处理方法，能够快速的对数据进行存储和读取。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种数据处理方法的流程示意图；

图2示出了本发明实施例提供的一种数据处理方法的又一流程示意图；

图3示出了本发明实施例提供的一种数据处理方法的又一流程示意图；

图4示出了本发明实施例提供的一种数据处理方法的又一流程示意图；

图5示出了本发明实施例提供的一种数据处理装置的结构示意图；

图6示出了本发明实施例提供的一种数据处理装置的又一结构示意图；

图7示出了本发明实施例提供的一种数据处理装置的又一结构示意图；

图8示出了本发明实施例提供的一种数据处理装置的又一结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例提供了一种数据处理方法，应用于分布式关系型数据库，所述数据库预先创建有目标数据表，所述目标数据表包括表征版本号的列，请参阅图1，示出了该数据处理方法的流程示意图，包括步骤：

S11、获取目标数据的操作类型。

其中，所述操作类型包括数据修改、数据增加以及数据删除中的任意一个或多个操作类型。

随着数据量的不断增加，必然会导致数据在查询时，数据的处理时间变长，如需要查寻一个数据A，而该数据A在数据库中存储了多个版本，那么数据库需要遍历所有的数据，确定出具有数据A的数据标识的数据，然后进一步确定出用户需要查寻的指定版本的数据A。

而，发明人发现，目前的非关系型数据库NoSql的查询能力有限，无法满足数据的快速查询的要求。因此，本实施例提供的数据处理方案应用于分布式关系型数据库，其可以通过线性扩展服务器，实现海量数据秒级查询，即关系型数据库的自身OLAP能力较强。

然而，SEM业务需要进行高频率的数据增加、删除以及修改操作，这就要求数据库支持OLTP的场景，而分布式关系型数据库的OLTP功能在千万级数据频繁改动时，其处理能力较弱。

因此，如何让关系型数据库同时具有较强的OLAP以及OLTP能力，以满足数据的快速查询，是本领域技术人员需要亟待解决的一大技术问题。

S12、根据所述操作类型，将所述目标数据插入所述目标数据表的空白行。

本实施例利用关系型数据库具有较强的数据插入能力，将所有的数据操作均作为新的数据的插入操作，即无论是数据的增加、修改还是删除，均在目标数据表中插入一条新数据，然后通过版本号进行新旧数据的区分。

例如，需要对一条数据B中的某个参数进行修改，现有技术中的方案是查找到该条数据B，然后找到该条数据中需要进行修改的参数的位置，然后对该参数进行数据的修改。通过上述数据修改流程可知，由于数据库中存储的数据量越来越大，在数据库中查询数据B的时间也必然会增加，导致查询速度变慢。

而本实施例是将目标数据均已插入的方式插入目标数据表，然后通过版本号进行标识数据的新旧。同样的，当需要进行数据B中某个参数的修改时，本实施例是直接在目标数据表中，新增一行数据，其中需要修改的参数的列对应的表格内容写入预修改的新数据，该行中其他表格的数据均写入与原数据B中的相同数据。那么，在进行数据读取时，只需获取该条数据中版本号最新的行的数据即可。其中，版本号的新旧可以通过设定相应的处理规则来实现，如按照数据插入的时间体现版本号，又或者将版本号逐步递增，又或者设定新增的数据的版本号内容为旧版本的内容上增加预设字段等。

可见，本实施例提供的数据处理方法，基于分布式关系型数据库的较强的数据插入能力，通过版本号实现快速的对数据进行存储和读取。

在上述实施例的基础上，本实施例还提供了一种数据查询的具体实现步骤，如图2所示，包括：

S21、基于用户的查询指令，获取与所述查询指令对应的待查询数据。

S22、确定所述目标数据表中包含所述待查询数据的行中，所述表征版本号的列中版本号符合预设条件的数据内容为目标查询数据。

其中，预设条件为根据版本号的划分规则而对应的不同状态，如按照数据插入的时间体现版本号时，预设条件可以为获取版本号的时间最新的数据行。当版本号为逐步递增的情况时，预设条件可以为版本号中数据最大的版本号。当设定新增的数据的版本号内容为旧版本的内容上增加预设字段时，预设条件可以为获取版本号中最长的版本号为最新的版本号。

除此，在上述实施例的基础上，本实施例为了进一步加快数据的查询速度，还提供了一种表格分类方法，如图3所示，包括步骤：

S31、获取所述目标数据表中所述列的类型标识；

S32、按照预设划分规则，将所述列进行分区，生成多个数据分区。

其中，上述实施例中的目标数据表中包含了同一个数据的不同版本的数据，而，在进行数据查询时，需要对目标数据表中的所有数据进行遍历，因此，本步骤是将目标数据表中的数据进行分类处理，如，根据数据的类别不同，可以分为视频类数据、图片类数据、音频类数据等等，在进行了数据分类后，当用户需要进行某个数据的查询时，首先判定该待查询数据的所属类型，如为图片类数据，那么，在进行数据表遍历时，只需遍历数据图片类数据的数据即可，由于不需要对整个数据表进行遍历，因此加快了数据读取速度。

除此，发明人为了更快的查询到预设数据，本实施例还提供了一种数据处理方法，如图4所示，包括步骤：

S41、确定所述目标数据表中所述表征版本号的列中版本号属性相同的数据为历史数据。

其中，所述版本号至少包括版本号属性以及版本号信息。

S42、根据所述历史数据，建立数据缓存表；

S43、删除所述目标数据表中的所述历史数据。

本实施例是考虑到目标数据表中会对一条相似的数据具有多个不同的版本数据的情况，例如，一款APP的安装包数据，会根据版本号的不同，记录了多条数据，然而，当用户进行该APP的数据查询时，只需获取版本号最新的数据即可，但，由于目标数据表中包含了该APP的多个版本的数据，因此，在进行APP数据查找时，需要遍历表格中的所有数据，然后确定出版本号最新的该APP为目标数据。

因此，本实施例在目标数据表中只保留相似数据的最新版本号的数据，将其他版本号的相应数据建立在另一数据表中进行存储和查询，这样，在用户进行数据查询中，只对目标数据表中，跟版本号均为最新版本号的数据进行遍历查询即可，进一步加速了查询速度。

与上述方法相对应，本发明实施例还提供了一种数据处理装置，应用于分布式关系型数据库，请参阅图5，示出了该数据处理装置的结构示意图，其中，所述数据库预先创建有目标数据表，所述目标数据表包括表征版本号的列，该数据处理装置可以包括：

第一获取模块51，用于获取目标数据的操作类型，所述操作类型包括数据修改、数据增加以及数据删除中的任意一个或多个操作类型；

插入模块52，用于根据所述操作类型，将所述目标数据插入所述目标数据表的空白行。

可选的，如图6所示，还包括：

第二获取模块61，用于基于用户的查询指令，获取与所述查询指令对应的待查询数据；

第一确定模块62，用于确定所述目标数据表中包含所述待查询数据的行中，所述表征版本号的列中版本号符合预设条件的数据内容为目标查询数据。

可选的，如图7所示，还包括：

第三获取模块71，用于获取所述目标数据表中所述列的类型标识；

生成模块72，用于按照预设划分规则，将所述列进行分区，生成多个数据分区。

可选的，如图8所示，还包括：

第二确定模块81，用于确定所述目标数据表中所述表征版本号的列中版本号属性相同的数据为历史数据，所述版本号至少包括版本号属性以及版本号信息；

创建模块82，用于根据所述历史数据，建立数据缓存表；

删除模块83，用于删除所述目标数据表中的所述历史数据。

所述数据处理装置包括处理器和存储器，上述第一获取模块以及插入模块等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来解决了系统同时支持OLAP功能以及OLTP功能，以便系统快速进行数据查询的问题。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述数据处理方法。

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述数据处理方法。

本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：

一种数据处理方法，应用于分布式关系型数据库，所述数据库预先创建有目标数据表，所述目标数据表包括表征版本号的列，该方法包括：

获取目标数据的操作类型，所述操作类型包括数据修改、数据增加以及数据删除中的任意一个或多个操作类型；

根据所述操作类型，将所述目标数据插入所述目标数据表的空白行。

可选的，还包括：

基于用户的查询指令，获取与所述查询指令对应的待查询数据；

确定所述目标数据表中包含所述待查询数据的行中，所述表征版本号的列中版本号符合预设条件的数据内容为目标查询数据。

可选的，还包括：

获取所述目标数据表中所述列的类型标识；

按照预设划分规则，将所述列进行分区，生成多个数据分区。

可选的，还包括：

确定所述目标数据表中所述表征版本号的列中版本号属性相同的数据为历史数据，所述版本号至少包括版本号属性以及版本号信息；

根据所述历史数据，建立数据缓存表；

删除所述目标数据表中的所述历史数据。

本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：

一种数据处理方法，应用于分布式关系型数据库，所述数据库预先创建有目标数据表，所述目标数据表包括表征版本号的列，该方法包括：

获取目标数据的操作类型，所述操作类型包括数据修改、数据增加以及数据删除中的任意一个或多个操作类型；

根据所述操作类型，将所述目标数据插入所述目标数据表的空白行。

可选的，还包括：

基于用户的查询指令，获取与所述查询指令对应的待查询数据；

确定所述目标数据表中包含所述待查询数据的行中，所述表征版本号的列中版本号符合预设条件的数据内容为目标查询数据。

可选的，还包括：

获取所述目标数据表中所述列的类型标识；

按照预设划分规则，将所述列进行分区，生成多个数据分区。

可选的，还包括：

确定所述目标数据表中所述表征版本号的列中版本号属性相同的数据为历史数据，所述版本号至少包括版本号属性以及版本号信息；

根据所述历史数据，建立数据缓存表；

删除所述目标数据表中的所述历史数据。

综上，本发明公开了一种数据处理方法，应用于分布式关系型数据库，所述数据库预先创建有目标数据表，所述目标数据表包括表征版本号的列，该方法首先获取目标数据的操作类型，其中，所述操作类型包括数据修改、数据增加以及数据删除中的任意一个或多个操作类型。然后，根据所述操作类型，将所述目标数据插入所述目标数据表的空白行。可见，本方案将数据操作均变成在目标数据表中的插入操作，对应的通过版本号进行区分不同的数据，而非现有技术中对数据表中的数据进行更新和删除。进一步的，在数据读取时，获取版本号最新的行的数据即可，由于分布式关系型数据库的数据插入能力较强，因此采用本数据处理方法，能够快速的对数据进行存储和读取。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，应用于分布式关系型数据库，所述数据库预先创建有目标数据表，所述目标数据表包括表征版本号的列，该方法包括：

获取目标数据的操作类型，所述操作类型包括数据修改、数据增加以及数据删除中的任意一个或多个操作类型；

根据所述操作类型，将所述目标数据插入所述目标数据表的空白行。

2.根据权利要求1所述的数据处理方法，其特征在于，还包括：

基于用户的查询指令，获取与所述查询指令对应的待查询数据；

确定所述目标数据表中包含所述待查询数据的行中，所述表征版本号的列中版本号符合预设条件的数据内容为目标查询数据。

3.根据权利要求1所述的数据处理方法，其特征在于，还包括：

获取所述目标数据表中所述列的类型标识；

按照预设划分规则，将所述列进行分区，生成多个数据分区。

4.根据权利要求1所述的数据处理方法，其特征在于，还包括：

确定所述目标数据表中所述表征版本号的列中版本号属性相同的数据为历史数据，所述版本号至少包括版本号属性以及版本号信息；

根据所述历史数据，建立数据缓存表；

删除所述目标数据表中的所述历史数据。

5.一种数据处理装置，其特征在于，应用于分布式关系型数据库，所述数据库预先创建有目标数据表，所述目标数据表包括表征版本号的列，该装置包括：

第一获取模块，用于获取目标数据的操作类型，所述操作类型包括数据修改、数据增加以及数据删除中的任意一个或多个操作类型；

插入模块，用于根据所述操作类型，将所述目标数据插入所述目标数据表的空白行。

6.根据权利要求1所述的数据处理装置，其特征在于，还包括：

第二获取模块，用于基于用户的查询指令，获取与所述查询指令对应的待查询数据；

第一确定模块，用于确定所述目标数据表中包含所述待查询数据的行中，所述表征版本号的列中版本号符合预设条件的数据内容为目标查询数据。

7.根据权利要求1所述的数据处理装置，其特征在于，还包括：

第三获取模块，用于获取所述目标数据表中所述列的类型标识；

生成模块，用于按照预设划分规则，将所述列进行分区，生成多个数据分区。

8.根据权利要求1所述的数据处理装置，其特征在于，还包括：

第二确定模块，用于确定所述目标数据表中所述表征版本号的列中版本号属性相同的数据为历史数据，所述版本号至少包括版本号属性以及版本号信息；

创建模块，用于根据所述历史数据，建立数据缓存表；

删除模块，用于删除所述目标数据表中的所述历史数据。

9.一种数据处理系统，其特征在于，包括：

存储器，用于存储程序；

处理器，用于执行所述程序，所述程序运行时执行权利要求1至4中任意一项所述的数据处理方法。

10.一种存储介质，其特征在于，存储有程序，所述程序被处理器执行时实现如权利要求1-4中任意一项所述的数据处理方法。