CN109684324A - 一种数据处理方法及其相关产品 - Google Patents

Abstract

本申请实施例公开了一种数据处理方法，该方法包括获取针对待计算数据的计算请求，待计算数据为通过第一类二维表和/或第二类二维表保存的数据，第一类二维表和第二类二维表均为行有序的二维表；根据计算请求携带的计算规则，对待计算数据进行计算得到保存在第二类二维表中的计算结果；通过格式转换，将计算结果保存到第一类二维表中输出。通过引入行有序的二维表，可以将不能通过行无序二维表保存的数据保存到大数据处理平台的数据库中，从而大数据处理平台具备了为这类数据提供计算服务的可能，扩展了大数据处理平台的适用范围。本申请实施例还公开了一种数据处理装置、设备、存储介质及计算机程序产品。

Description

一种数据处理方法及其相关产品

技术领域

本申请涉及数据处理领域，特别是涉及一种数据处理方法及其相关产品。

背景技术

大数据处理过程中需要对各种数据进行存储，并可以针对计算需求对存储的数据进行计算，以得到所需的计算结果。

大数据处理平台可以实现大数据的存储和计算服务，通过分布式数据库存储海量数据。大数据处理平台的业务处理范围与平台的数据库所能存储的数据类型有一定关系，数据库所能存储的数据类型越多，平台就能够提供针对更多类型数据的计算服务。

发明内容

有些大数据处理平台的数据库的基本存储格式是二维表，而且存储数据时主要使用的是行无序的二维表，然而，有些类型的数据是无法使用这类二维表进行存储的，例如列数较多的数据，或者矩阵形式的数据等，从而导致了大数据处理平台无法针对这类不能存储的数据进行计算，限制了大数据处理平台的适用范围。

为了解决上述技术问题，本申请提供了一种数据处理方法及相关产品，使得大数据处理平台具备了为这类数据提供计算服务的可能，扩展了大数据处理平台的适用范围。

本申请实施例公开了如下技术方案：

第一方面，本申请实施例公开了一种数据处理方法，该方法包括：

获取针对待计算数据的计算请求，待计算数据为通过第一类二维表和/或第二类二维表保存的数据，第一类二维表和第二类二维表均为行有序的二维表；

根据计算请求携带的计算规则，对待计算数据进行计算得到保存在第二类二维表中的计算结果；

通过格式转换，将计算结果保存到第一类二维表中输出。

可选的，计算请求是由用户发送的。

可选的，待计算数据是由用户上传的。

可选的，在根据计算请求携带的计算规则，对待计算数据进行计算得到保存在第二类二维表中的计算结果之前，还包括：

通过格式转换，将待计算数据保存到第二类二维表中。

可选的，通过格式转换，将计算结果保存到第一类二维表中输出，包括：

获取用户发送的转换请求，转换请求包括第一类二维表的目标格式；

通过格式转换，将计算结果保存到符合目标格式的第一类二维表中输出。

可选的，第一类二维表包括键值表、索引键值表、三元组表和索引三元组表中任意一项或多项的组合；第二类二维表包括有序表、稠密矩阵表和稀疏矩阵表中任意一项或多项的组合。

第二方面，本申请实施例公开了一种数据处理装置，该装置包括：

获取单元、计算单元、输出单元，其中：

获取单元，用于获取针对待计算数据的计算请求，待计算数据为通过第一类二维表和/或第二类二维表保存的数据，第一类二维表和第二类二维表均为行有序的二维表；

计算单元，用于根据计算请求携带的计算规则，对待计算数据进行计算得到保存在第二类二维表中的计算结果；

输出单元，用于通过格式转换，将计算结果保存到第一类二维表中输出。

可选的，可选的，计算请求是由用户发送的。

可选的，待计算数据是由用户上传的。

可选的，该装置还包括保存单元，用于通过格式转换，将待计算数据保存到第二类二维表中。

可选的，输出单元包括：

获取子单元，用于获取用户发送的转换请求，转换请求包括第一类二维表的目标格式；

输出子单元，用于通过格式转换，将计算结果保存到符合目标格式的第一类二维表中输出。

可选的，第一类二维表包括键值表、索引键值表、三元组表和索引三元组表中任意一项或多项的组合；第二类二维表包括有序表、稠密矩阵表和稀疏矩阵表中任意一项或多项的组合。

第三方面，本申请实施例公开了一种数据处理设备，该设备包括存储器和处理器，其中：

存储器，用于存储程序代码，并将程序代码传输给处理器；

处理器，用于根据程序代码中的指令执行以下方法：

获取针对待计算数据的计算请求，待计算数据为通过第一类二维表和/或第二类二维表保存的数据，第一类二维表和第二类二维表均为行有序的二维表；

根据计算请求携带的计算规则，对待计算数据进行计算得到保存在第二类二维表中的计算结果；

通过格式转换，将计算结果保存到第一类二维表中输出。

可选的，计算请求是由用户发送的。

可选的，待计算数据是由用户上传的。

可选的，处理器还用于根据程序代码中的指令执行如下操作：

通过格式转换，将待计算数据保存到第二类二维表中。

可选的，处理器还用于根据程序代码中的指令执行如下操作：

获取用户发送的转换请求，转换请求包括第一类二维表的目标格式；

通过格式转换，将计算结果保存到符合目标格式的第一类二维表中输出。

可选的，第一类二维表包括键值表、索引键值表、三元组表和索引三元组表中任意一项或多项的组合；第二类二维表包括有序表、稠密矩阵表和稀疏矩阵表中任意一项或多项的组合。

第四方面，本申请实施例公开了一种存储介质，该存储介质用于存储程序代码，该程序代码用于执行本申请实施例第一方面提供的数据处理方法。

第五方面，本申请实施例公开了一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本申请实施例第一方面提供的数据处理方法。

由上述技术方案可以看出，针对大数据处理平台引入了两类行有序的二维表，用于保存不能保存在行无序的二维表中的数据，针对需要保存在行有序的二维表中的待计算数据的计算请求，可以根据计算请求所携带的计算规则，将待计算数据计算出保存在第二类二维表中的计算结果，由于第一类二维表更便于展示，故可以通过格式转换，将计算结果保存到第一类二维表中进行输出，以便更为清晰的展示针对该计算请求的计算结果。可见，通过引入行有序的二维表，可以将不能通过行无序二维表保存的数据保存到大数据处理平台的数据库中，从而大数据处理平台具备了为这类数据提供计算服务的可能，扩展了大数据处理平台的适用范围。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种数据处理方法的示意图；

图2为本申请实施例提供的一种数据处理方法的流程示意图；

图3为本申请实施例提供的一种数据处理方法的流程示意图；

图4为本申请实施例提供的一种数据处理方法的实例示意图；

图5为本申请实施例提供的一种键值表的界面展示图；

图6为本申请实施例提供的一种键值索引表的界面展示图；

图7为本申请实施例提供的一种三元组表的界面展示图；

图8为本申请实施例提供的一种索引三元组表的界面展示图；

图9-a为本申请实施例提供的一种稠密矩阵表在matrixconf分区下的界面展示图；

图9-b为本申请实施例提供的一种稠密矩阵表在matrixdata分区下的界面展示图；

图10-a为本申请实施例提供的一种稀疏矩阵表在matrixconf分区下的界面展示图；

图10-b为本申请实施例提供的一种稀疏矩阵表在matrixdata分区下的界面展示图；

图10-c为本申请实施例提供的一种稀疏矩阵表在matrixrow分区下的界面展示图；

图10-d为本申请实施例提供的一种稀疏矩阵表在matrixcol分区下的界面展示图；

图11为本申请实施例提供的一种数据处理装置的装置结构图；

图12为本申请实施例提供的一种数据处理设备的设备结构图。

具体实施方式

下面结合附图，对本申请的实施例进行描述。

在互联网公司的一些场景中，经常需要对大数据进行处理，例如对大数据进行存储和计算，一些大数据处理平台可以实现大数据的存储和计算。目前，很多的大数据处理平台的数据库的基本存储格式是二维表，存储数据所使用的存储格式必须是二维表；发明人经研究发现，很多大数据处理平台的数据库的基本存储格式为行无序的二维表，但是，这类的行无序的二维表进行数据存储时存在一定的局限性，一方面，这类行无序的二维表对于列数非常多的数据无法进行存储，例如：对于超过1024列的表无法进行存储；另一方面，一些需要有序存储的数据类型无法通过这类行无序的二维表进行存储，例如：一些矩阵形式的数据无法通过这类行无序的二维表进行存储；除此之外，这类行无序的二维表也无法对稀疏数据进行存储；因此，大数据平台通过存储的数据进行计算时，就无法对不能存储的这些数据进行计算，从而限制了大数据平台的适用范围。

有鉴于此，本申请实施例提供了一种数据处理方法及其相关产品，针对于行无序的二维表无法存储的数据，采用两种不同形式的有序表对数据进行存储，使得大数据处理平台不仅可以将行无序的二维表无法存储的数据进行存储，而且还使得大数据处理平台具备了为这类行无序的二维表无法存储的数据提供计算服务的可能，扩展了大数据处理平台的适用范围。

本申请实施例可以主要应用于大数据处理平台，在该大数据处理平台中引入了上述的两种新类型的二维表，分别可以为第一类二维表和第二类二维表。如图1所示，大数据处理平台可以通过相应的大数据计算规则400对待计算数据300进行计算，其中，待计算数据可以包括第一类二维表100和/或第二类二维表200，其中，第一类二维表100可以表示为通过第一类二维表保存的特定格式数据，第二类二维表200可以表示为通过第二类二维表保存的特定格式数据，这两种不同类型的二维表与该大数据处理平台原本使用的行无序的二维表不同，第一类二维表和第二类二维表均是行有序的二维表，除此之外，这两类二维表还分别具有不同的特征。针对于第一类二维表，该种类型的二维表的表格结构、表达维度等均比较符合用户的阅读习惯和理解方式，也就是说，用户通过阅读一张第一类二维表，可以比较明确的了解这张第一类二维表中存储的数据所表达的意义。其中，为大数据处理平台提供的第一类二维表可以包括多种不同的格式，具体的，可以包括：键值(key value，kv)表、索引键值表、三元组表和索引三元组表等。当大数据处理平台对第一类二维表100中的待计算数据进行计算时，所使用的第一类二维表100可包括上述一种或者多种不同的格式，例如可以包括键值表、索引键值表、三元组表和索引三元组表中的一种或者多种的组合。

但是，由于第一类二维表的特征主要是具有倾向于方便用户理解的格式，当需要对待处理数据进行计算时，可能有一些通过第一类二维表保存的特定格式数据并不便于计算，即从数据处理设备的角度来看，若希望使用保存在第一类二维表中的特定格式数据进行计算，可能会需要执行大量的计算步骤或者花费大量的计算资源才能实现，可见，第一类二维表的存储格式并不适用于机器计算的处理逻辑，若直接使用第一类二维表进行计算，计算效率会较低。

因此，为了方便机器理解和数据计算，还引入了第二类二维表，该种类型的二维表的表格结构、表达维度等均较符合机器抽取数据、数据处理或者数据计算的逻辑，也就是说，数据处理设备在使用通过第二类二维表保存的特定格式数据进行计算时，相对于使用通过第一类二维表保存的特定格式数据进行计算，数据处理设备仅需要执行少量的计算步骤或者花费少量的计算资源就能实现。其中，为大数据处理平台提供的第二类二维表可以包括多种不同的格式，例如，可以包括：有序表、稠密矩阵表和稀疏矩阵表等。当大数据处理平台通过相关的大数据计算规则400对第二类二维表200中的待计算数据进行计算时，所使用的第二类二维表200可以包括上述一种或者多种不同的格式，例如可以包括有序表、稠密矩阵表和稀疏矩阵表等任意一种或多种的组合。

除此之外，第一类二维表和第二类二维表具体是包括哪些格式的表，在本实施例中不作限定，除了以上提到的这些表之外，还可以包括便于用户查看的其它格式的第一类二维表，以及便于机器理解和计算的其它格式的第二类二维表。

对于通过相关的大数据处理规则400对待处理数据300进行计算得到的计算结果，为了方便以后通过该计算结果进行相关的大数据处理，可以将得到的计算结果保存为第二类二维表格式的数据，在这里将保存为第二类二维表格式的计算结果表示为第二类二维表500，这样当大数据处理平台应用该计算结果再次进行大数据处理时，可以直接调用第二类二维表500中的数据，提高了运算的效率。但是，当需要对计算结果进行输出时，由于第二类二维表的格式，不太符合用户的阅读和理解习惯，不方便用户对数据进行查看，而第一类二维表比较符合用户的阅读和理解习惯，因此在对计算结果进行输出时，可以转换保存计算结果的二维表的格式，将计算结果保存在第一类二维表600中输出。

因此，通过以上提到的这种数据处理方式，不仅提高了大数据处理平台的运算效率，扩展了大数据处理平台的使用范围，而且，还方便了用户使用。

需要说明的是，图1中，第一类二维表100表示的是保存在第一类二维表中的待计算数据，该第一类二维表可以包括一种或者多种上述提到的格式；而第一类二维表600表示的是输出的保存在第一类二维表中的计算结果，该第一类二维表可以包括上述提到的一种或者多种格式；并且，第一类二维表100与第一类二维表600的二维表的格式可以是相同的也可以是不同的，但是保存的数据是不同的。第二类二维表200表示的是保存在第二类二维表中的待计算数据，该第二类二维表可以包括一种或者多种上述提到的格式；而第二类二维表500表示的是通过相关的大数据计算规则400得到的保存在第二类二维表500中的计算结果，该第二类二维表可以包括一种或者多种上述提到的格式；并且，第二类二维表200与第二类二维表500的格式可以是相同的也可以是不同的，但是保存的数据是不同的。

举例说明，假设待计算数据既包括第一类二维表100也包括第二类二维表200，其中，第一类二维表100包括保存在键值表中的数据和保存在三元组表中的数据，第二类二维表200包括保存在有序表中的数据和保存在稀疏矩阵表中的数据，通过相关的大数据计算规则400计算后得到的计算结果为第二类二维表500，其中，第二类二维表500可以包括保存在稠密矩阵表中的计算结果和保存在稀疏矩阵表中的计算结果，当需要对计算结果输出时，将第二类二维表500转换格式输出，转换为第一类二维表600输出，其中，第一类二维表格式600可以包括保存在键值表中的计算结果和保存在索引三元组中的计算结果。

参考图2，示出了本申请实施例提供的一种数据处理方法的流程示意图，在本实施例中，所述方法可以包括：

S201：获取针对待计算数据的计算请求，所述待计算数据为通过第一类二维表和/或第二类二维表保存的数据，所述第一类二维表和第二类二维表均为行有序的二维表。

举例说明，本实施例中，对于获取针对待计算数据的计算请求的方式可以包括多种，在这里不进行限定，例如可以是用户依据特定语言编写的一段计算请求的程序，该计算请求的程序是大数据处理平台可以理解的；或者可以是，大数据处理平台为用户提供计算请求的选项，大数据处理平台根据用户确定的选项，获取相应的计算请求；除此之外，还可以是预先设置在大数据处理平台中的处理规则，大数据处理平台依据该处理规则，周期性的获取相应的计算请求。

在S201中提到的待计算数据包括需通过第一类二维表和/或第二类二维表保存的特定格式数据，具体的，可以理解为，待计算数据可以是只包括通过第一类二维表保存的特定格式数据、或者可以是只包括通过第二类二维表保存的特定格式数据，或者还可以是既包括通过第一类二维表保存的特定格式数据也包括通过第二类二维表保存的特定格式数据。该特定格式数据的数据类型可以包括上述无法通过行无序的二维表保存的数据类型。不过，对于该待计算数据中除了可以包括特定格式数据以外，还可以包括能够通过行无序的二维表保存的数据。

本实施例中针对于待计算数据的来源并不进行限定，该待计算数据可以保存在大数据处理平台的数据库中，当需要对该待计算数据进行相关的计算时，可以直接从数据库中调用该待计算数据；或者该待计算数据也可以是由用户上传的；或者该待计算数据既包括存储在大数据处理平台的数据库中的，也包括由用户上传的。可见，待计算数据的来源可以至少包括以下的三个方面，接下来，将针对这三个方面分别进行说明：

第一方面，当待计算的数据保存在大数据处理平台的数据库中时，保存在大数据处理平台的数据库中待计算数据可以包括通过第一类二维表保存的特定格式的待计算数据和/或通过第二类二维表保存的特定格式的待计算数据。

其中，针对于保存在数据库中的通过第一类二维表保存的特定格式的待计算数据可以是通过以下两种实施方式保存的：

实施方式一：在本次数据处理之前，大数据处理平台对待计算数据进行相应的计算后得到保存在第二类二维表中的计算结果，并将该计算结果进行转换，将该计算结果保存到第一类二维表中，然后将保存在第一类二维表中的计算结果保存在数据库中，该保存在第一类二维表中的计算结果可以作为本次计算所使用的待计算数据。

实施方式二：在本次数据处理之前，用户将通过第一类二维表保存的特定格式的待计算数据上传到大数据处理平台，并保存在该数据库中。

其中，针对于保存在数据库中的通过第一类二维表保存的特定格式的待计算数据可以是通过以下两种实施方式保存的：

实施方式三：在本次数据处理之前，大数据处理平台对数据进行相应的计算后得到保存在第二类二维表中的计算结果，并将该保存在第二类二维表中计算结果保存在数据库中；

实施方式四：在本次数据处理之前，用户将通过第二类二维表保存的特定格式的待计算数据上传到大数据处理平台，并保存在该数据库中。

第二方面：当待计算数据是由用户上传时，该待计算数据可以包括通过第一类二维表保存的特定格式的待计算数据和/或通过第二类二维表保存的特定格式的待计算数据。

需要说明的是，针对于第二方面中用户向大数据处理平台上传的待计算数据可以是在S201之前执行的，也可以是在S201之后执行的。

针对于第二方面，举例说明，用户可以先将待计算数据上传到大数据处理平台，然后再向大数据处理平台发送针对该待计算数据的计算请求；或者也可以是，用户向大数据处理平台发送计算请求，然后再根据大数据处理平台的提示，上传计算所需的待计算数据。

第三方面：当待计算数据既包括存储在大数据处理平台的数据库中的数据，也包括由用户上传的数据时，针对于第三方面中保存在大数据处理平台的数据库中的数据可以是通过第一方面提到的实施方式获得的。针对于第三方面中由用户上传的待计算数据的操作可以是在执行S201之前进行的，也可以是在执行完S201之后进行的。

本实施例中，通过第三方面得到的待计算数据可以包括通过第一类二维表保存的特定格式的待计算数据和/或通过第二类二维表保存的特定格式的待计算数据，接下来分别针对于待计算的数据包括的不同保存格式的不同来源进行详细的说明：

当所述待计算数据只包括通过第一类二维表保存的特定格式的数据或者只包括通过第二类二维表保存的特定格式的数据时，该待计算数据中部分是保存在大数据处理平台的数据库中的，部分是由用户上传的。

当待计算数据既包括通过第一类二维表保存的特定格式的数据也包括通过第二类二维表保存的特定格式的数据时，对于待计算的数据可以是通过以下的几种实施方式获得的：

实施方式五：通过第一类二维表保存的特定格式的数据是保存在数据库中的，通过第二类二维表保存的特定格式的数据是由用户上传的；

实施方式六：通过第一类二维表保存的特定格式的数据是由用户上传的，通过第二类二维表保存的特定格式的数据是保存在数据库中的；

实施方式七：通过第一类二维表保存的特定格式的数据是保存在数据库中的，通过第二类二维表保存的特定格式的数据中部分是保存在数据库中的，部分是由用户上传的；

实施方式八：通过第一类二维表保存的特定格式的数据是用户上传的，通过第二类二维表保存的特定格式的数据部分是保存在数据库中的，部分是由用户上传的。

实施方式九：通过第二类二维表保存的特定格式的数据是保存在数据库中的，通过第一类二维表保存的特定格式的数据部分是保存在数据库中的，部分是由用户上传的；

实施方式十：通过第二类二维表保存的特定格式的数据是由用户上传的，通过第一类二维表保存的特定格式的数据部分是保存在数据库中的，部分是由用户上传的；

实施方式十一：通过第一类二维表保存的特定格式的数据中部分是保存在数据库中的，部分是由用户上传的，通过第二类二维表保存的特定格式的数据中部分是保存在数据库中的，部分是由用户上传的。

需要说明的是，本实施例中提到的通过第一类二维表保存的特定格式的数据和通过第二类二维表保存的特定格式的数据的行序均是有序的，这种行序有序的二维表的存储格式，不仅扩展了大数据处理平台的存储形式，而且行序有序的二维表中，有一些是可以向用户清晰的展示以方便用户查看的；有一些是更加符合机器的处理逻辑的。

本实施例中，当待计算数据已保存在大数据处理平台的数据库中时，若需要对数据进行相关计算，可以直接调用，提高了运算的效率；并且，即使大数据处理平台的数据库中不包括该待计算的数据，仍可以通过用户上传的方式得到待计算的数据，这样不仅方便了用户使用，还扩展了平台的适用性，对于平台中的数据库中未存储的数据也可以进行数据处理。

S202：根据所述计算请求携带的计算规则，对所述待计算数据进行计算得到保存在第二类二维表中的计算结果；

本实施例中，对于计算请求携带的计算规则可以是保存在大数据处理平台的数据库中的，当接收到用户的相关计算请求时，从数据库中直接调用该计算请求相对应的计算规则；或者该计算规则也可以是由用户上传的。

其中，针对于由用户上传计算规则可以通过以下的两种实施方式实现：

实施方式十二：用户向大数据处理平台发送计算请求的同时也上传了该计算请求对应的计算规则；

实施方式十三：用户先向大数据处理平台发送计算请求，再依据大数据处理平台的提示，上传该计算请求相对应的计算规则。

针对于实施方式十三，大数据处理平台可以在接收了计算请求后，提示用户选择或者上传该大数据计算请求对应的计算规则；或者也可以是判断数据库中是否保存了该计算规则，若是数据库中未保存该计算规则，再提示用户上传。例如：当用户向大数据计算平台发送了进行分布式计算的请求后，大数据处理平台判断数据库中是否保存了相应的分布式计算规则，若保存有该分布式计算规则，则直接调用数据库中的该分布式计算规则；若是未保存有该分布式计算相应的计算规则，提示用户上传该分布式计算相对应的计算规则。

本实施例中，通过以上的介绍可知，对待计算数据进行相应的计算后，得到的计算结果要保存在第二类二维表中，而待计算数据可以包括通过第一类二维表保存的特定格式的数据或者通过第二类二维表保存的特定格式的数据或者既包括通过第一类二维表保存的特定格式的数据也包括通过第二类二维表保存的特定格式的数据，因此，进一步可知，无论待计算的数据属于那种数据格式，得到的计算结果均是第二类二维表的格式。

本实施例中，虽然计算结果是保存在第二类二维表中，但是由于第二类二维表又包括多种不同的格式，例如：有序表、稠密矩阵表、稀疏矩阵表等，因此，计算结果具体保存在哪种格式的第二类二维表中，以及通过什么样的方式进行保存，还可以包括以下的三种情况：

情况一：将计算结果随机的保存在第二类二维表中任意的一种或者多种格式的表格中。

举例说明：假设第二类二维表的格式包括：有序表、稠密矩阵表、稀疏矩阵表时，计算结果可以随机的保存在有序表或者稠密矩阵表或者稀疏矩阵表中，或者保存在这三种表中的任意两个中或者保存在这三种格式的表中。

情况二：依据用户需求，将计算结果保存在用户选择的第二类二维表中一种或者多种格式中。

举例说明：当对待计算数据依据计算规则计算完成后，提供给用户三个选型，包括：有序表、稠密矩阵表和稀疏矩阵表，用户可以根据需求，勾选其中的任意一个或者多个，假设，勾选的为稠密矩阵表和稀疏矩阵表，然后大数据处理平台就可以依据用户的选择，将计算结果保存在稠密矩阵表和稀疏矩阵表中；或者，还可以是，在对待计算数据进行计算之前，获取到用户需保存的第二类二维表格式的具体格式，当计算完成后，直接根据用户需求，将计算结果保存在已获取到的第二类二维表的具体格式中。

情况三：根据预设的规则，将计算结果保存在相应的第二类二维表中的一种或者多种格式中。

举例说明：预设的规则可以包括：针对于某一种格式的待计算数据，可以转换为与之相对应的一种或者多种格式的第二类二维表的格式。例如：若待计算数据为有序表，则计算完成后，计算结果只可以转换为有序表，或者可以转换为有序表和稠密矩阵表。

本实施例中，将计算结果保存在第二类二维表中，由于第二类二维表保存的数据格式更便于机器理解和处理，当再次应用该保存在第二类二维表中的计算结果进行计算时，可以直接调用保存在第二类二维表中的计算结果作为待计算数据，这样可以无需用户再次上传数据，提高了大数据处理平台的数据处理效率。

S203：通过格式转换，将所述计算结果保存到所述第一类二维表中输出。

本实施例中，通过S202可知，将待计算数据进行计算后得到的计算结果被保存在第二类二维表中，但是由于第二类二维表的格式比较适用于机器计算的处理逻辑，而不太符合用户的阅读和理解习惯，因此，当用户需要对计算结果进行输出时，可以通过格式转换，将计算结果保存在第一类二维表中输出。

本实施例中，通过S201可知，第一类二维表可以包括多种格式，例如可以包括：键值表、索引键值表、三元组表和索引三元组表，当需要将计算结果保存在第一类二维表中输出时，输出的第一类二维表的格式可以包括多种格式中的一种或者多种，例如可以包括键值表、索引键值表、三元组表和索引三元组表中的一种或者多种。

本实施例中，针对大数据处理平台引入了两类行有序的二维表，用于保存不能保存在行无序的二维表中的数据，针对需要保存在行有序的二维表中的待计算数据的计算请求，可以根据计算请求所携带的计算规则，将待计算数据计算出保存在第二类二维表中的计算结果，由于第一类二维表更便于展示，故可以通过格式转换，将计算结果保存到第一类二维表中进行输出，以便更为清晰的展示针对该计算请求的计算结果。可见，通过引入行有序的二维表，可以将不能通过行无序二维表保存的数据保存到大数据处理平台的数据库中，从而大数据处理平台具备了为这类数据提供计算服务的可能，扩展了大数据处理平台的适用范围。

本实施例中，由于第二类二维表表示的是机器容易理解和计算的数据格式，当待计算数据中包括通过第二类二维表保存的特定格式的数据时，可以直接进行计算，但是，若待计算的数据中包括通过第一类二维表保存的特定格式的数据时，由于第一类二维表的存储格式并不适用于机器计算的处理逻辑，若直接使用第一类二维表进行计算，计算效率会较低，因此，当待计算数据包括通过第一类二维保存的特定格式的数据时，可以将通过第一类二维表保存的特定格式的数据格式进行转换，将通过第一类二维表保存的特定格式的数据保存到为机器可以理解的第二类二维表中。具体的，在S202之前，还可以包括：通过格式转换，将所述待计算数据保存到第二类二维表中。因此，即使待计算数据是进行计算时机器无法理解的第一类二维表格式的数据，也可以通过数据格式转换，将待计算数据保存到机器可以理解的第二类二维表中，这样拓宽大数据处理平台所适用的数据类型的范围。

除此之外，在不考虑计算效率的情况下，也可以根据用户需求，直接对通过第一类二维表保存的特定格式的待计算数据进行计算，而无需先将该通过第一类二维表保存的特定格式的待计算数据保存到第二类二维表中再进行计算。

本实施例中，通过S201可知待计算数据可以包括通过第一类二维表保存的特定格式的数据和/或通过第二类二维表保存的特定格式的数据，而待计算数据中包括的第一类二维表的格式可以包括键值表、索引键值表、三元组表、索引三元组表中的一种或者多种，待计算数据中包括的第一类二维表的格式可以包括有序表、稠密矩阵表、稀疏矩阵表；由此可知，待计算数据可以包括一个特定格式数据也可以包括多个特定格式的数据，针对不同数量的待计算数据，在对待计算数据进行计算时可以包括以下两个方面，接下来分别对这两个方面进行介绍：

第四方面可以是：当待计算数据只包括一个特定格式数据时，若是该待计算数据是通过第一类二维表保存的特定格式的数据，可以将该通过第一类二维表保存的特定格式的数据转换成相对应的第二类二维表特定格式的数据，然后根据计算规则进行计算；若是该特定格式的数据为通过第二类二维表保存的特定格式的数据，可以直接对该特定格式的数据进行计算，也可以根据用户需求，将该特定格式的数据转换成其它的便于计算的除该特定格式之外的第二类二维表的格式。

举例说明：若待计算的数据格式为有序表，当依据相应的计算规则对该待计算数据进行计算时，根据计算规则的需求，需要将有序表转换成稀疏矩阵表，则需要先将有序表转换成稀疏矩阵表，再进行计算。

第五方面可以是：当该待计算数据包括多个特定格式数据时，待计算的数据中可以只包括多个通过第二类的二维表保存的特定格式数据，或者只包括多个通过第一类二维表保存的特定格式数据，或者既包括通过第一类二维表保存的特定格式数据也包括通过第二类二维表保存的特定格式数据，针对于第五方面的这几种情况，可以包括以下的几种实施方式，接下来分别对这几种实施方式进行介绍：

实施方式十四：若待计算数据包括的都是通过第二类二维表保存的特定格式数据，当这些通过第二类二维表保存的特定格式数据可以直接依据相应的计算规则进行计算时，则无需对这些数据进行格式转换，直接对这些通过第二类二维表保存的特定格式数据进行相应的计算；若是这些通过第二类二维表保存的特定格式数据无法根据相应的计算规则进行计算，可以将这些通过第二类二维表保存的特定格式数据转换成可以进行计算的某一种第二类二维表的格式，或者转换成多种可以进行计算的二维表的格式，然后再依据转换后的二维表格式进行计算；

举例说明：假设待计算数据包括：有序表、稠密矩阵表和稀疏矩阵表时，对这三个表中的数据进行分布式计算，但是由于三种表形式上不一样，计算时可能不方便，因此可以将这三种表均转换成有序表，然后再进行计算。

实施方式十五：当待计算的数据中只包括多个通过第一类二维表保存的特定格式的数据时，可以将这些通过第一类二维表保存的特定格式的数据根据需求转换成某一种通过第二类二维表保存的特定格式的数据，或者也可以根据需求转换成某几种通过第二类二维表保存的特定格式的数据，然后再根据转换后的第二类二维表格式的数据进行相应的计算。

举例明：当待计算的数据的保存格式包括：键值表、索引键值表、三元组表和索引三元组表时，在对待计算的数据进行计算之前，可以将键值表转换为稠密矩阵表和/或稀疏矩阵表；可以将索引键值表转换为稠密矩阵表和/或稀疏矩阵表；可将索引三元组表转换为稀疏矩阵表；可以将三元组表转换成索引三元组表；可以将索引三元组表转换为稀疏矩阵表等。

除此之外，还可以将行无序的普通表转换为有序表。实施方式十六：当待计算数据中既包括通过第一类二维表保存的特定格式数据也包括通过第二类二维表保存的特定格式数据时，可以只将通过第一类二维表保存的特定格式数据转换成一种或者多种通过第二类二维表保存的特定格式数据；也可以是，将通过第一类二维表保存的特定格式数据和通过第二类二维表保存的特定格式数据均转换为便于计算的一种或者多种通过第二类二维表保存的特定格式数据。

举例说明：当待计算数据包括：三元组表、键值表、有序表、稀疏矩阵表，则进行计算前，可以将三元组表和键值表转换成有序表或者稀疏矩阵表，然后再进行计算；或者还可以是将三元组表和键值表以及有序表和稀疏矩阵表均转换为稠密矩阵表，然后再进行相应的计算；或者还可以是将三元组表、键值表以及有序表转换成稀疏矩阵表，然后再进行相应的计算。

参考图3，示出了本申请实施例一种数据处理方法的流程示意图，在本实施例中，所述方法可以包括：

本实施例中，通过S203可知，当需要对计算结果输出时，可以将该计算结果转换成通过第一类二维表保存的特定格式，通过S201可知，第一类二维表又包括多种不同的格式，并且，不同的用户对于输出的第一类二维表的格式有不同的要求，因此为了满足不同用户的需求，用户可以选择输出的第一类二维表格式的格式。具体的，S203可以包括：

S301：获取用户发送的转换请求，所述转换请求包括第一类二维表的目标格式；

S302：通过格式转换，将所述计算结果保存到符合所述目标格式的第一类二维表中输出。

举例说明：当需要对计算结果进行输出时，大数据处理平台可以为用户提供多种选择，例如计算结果的输出格式可以包括：键值表、索引键值表、三元组表和索引三元组表，用户可以根据需求选择其中的一种或者多种，例如，用户选择的为索引三元组表，则将计算结果转换为索引三元组表的格式的数据输出。

本实施例中，这种通过用户选择输出第一类二维表格式的方式，更加贴近了用户需求，提高了大数据处理平台的实用性。

除了可以根据用户选择，输出获取到的转换请求中包括的第一类二维表的目标格式之外，还可以通过以下的两种实施方式，输出相对应的第一类二维表的目标格式，接下来对这两种实施方式进行说明。

实施方式十七：当需要对计算结果输出时，可以随机的将计算结果以任意一种或者多种第一类二维表的格式输出。

实施方式十八：当需要对计算结果输出时，可以依据预设的规则，将计算结果以一种或者多种第一类二维表的格式输出。

举例说明：该预设的规则可以包括：某一种第二类二维表格式的计算结果可以对应输出为以某一种或者多种第一类二维表格式的数据。例如：假设计算结果保存在有序表中，这种有序表的格式只可以输出为三元组表或者索引三元组表；或者假设计算结果保存在稀疏矩阵表中，输出时可以将计算结果保存在键值表、索引键值表和/或索引三元组表中；或者假设计算结果保存在稠密矩阵表中，输出时可以将计算结果保存在索引键值表和/或索引三元组表中，除此之外，还可以是，假设计算结果保存在稀疏矩阵表、稠密矩阵表或者有序表中，输出时，可以先将计算结果保存在索引三元组表中，然后再将计算结果保存在三元组表中，即先要将稀疏矩阵表、稠密矩阵表或者有序表转换为索引三元组表，再将索引三元组表转换为三元组表。

本实施例中，对于将计算结果输出为第一类二维表的格式的方式，可以通过用户选择输出第一类二维表格式的方式，除此之外，也可以通过本实施例提供的其它方式输出第一类二维表的格式。这样更加贴近了用户需求，提高了大数据处理平台的实用性。

参考图4，示出了本申请实施例一种数据处理方法的实例示意图，在本实施例中，大数据处理平台接收到用户发送的计算请求后，大数据处理平台获取到由用户上传的待计算数据，其中待计算数据被保存在键值表401中，然后大数据处理平台自动的将键值表401转换为稀疏矩阵表402，即可以理解为将通过键值表401保存的待计算数据转换为通过稀疏矩阵402表保存的待计算数据，成功转换后，根据计算请求中携带的逻辑回归训练的计算规则对通过稀疏矩阵表402保存的待计算数据进行计算，得到通过有序表403保存的第一计算结果，再后，通过计算请求中携带的逻辑回归预测的计算规则对通过有序表403保存的第一计算结果和通过稀疏矩阵表402保存的待计算数据进行计算，得到通过稀疏矩阵表404保存的第二计算结果。当用户需要将第二计算结果输出时，大数据处理平台根据预设的规则，自动的将稀疏矩阵表404转换为键值表405，即将通过稀疏矩阵表404保存的第二结果转换为通过键值405表保存的第二计算结果，最后将通过键值表保存的第二结果输出并显示。本实施例中，针对于S201中提到的第一类二维表的不同格式和第二类二维表的不同格式，为了更进一步的说明每种格式的二维表的存储特点，接下来分别对以上提到的第一类二维表的不同格式中键值表、键值索引表、三元组表、索引三元组表以及第二类二维表的不同格式种有序表、稠密矩阵表、稀疏矩阵表进行举例说明：

键值表：键值表中数据字段的格式可以为：key：value，key：value，key：value…的形式；其中，key是指列名，value是指存储在该行key列的数据；并且对于key和value之间，以及不同的键值数据之间的分隔符用户可以自定义的设置；如图5所示，图中列0、列3表示的就是key，13.5800000000000001表示的即为第零行第零列对应的value的值。

键值索引表：键值索引表中数据字段的格式可以为：key：value，key：value，key：value…的形式；其中，key表示的是索引ID，value是指该ID号对应的数据；并且对于key和value之间，以及不同的键值数据之间的分隔符用户可以自定义的设置，除此之外，键值索引表不需要对应map表；如图6所示，图中0、3表示的就是key值即索引ID号，13.5800000000000001表示的即为value的值。

三元组表：三元组表可以理解为用三元组的形式表示稀疏矩阵，三元组表共包括三列，分别为行、列、值，其中“值”的类型为Double或Long,且三元组表存储的是稀疏矩阵的非零元素的行名、列名及值，如图7所述，row_index_row表示的是行，col_index_col表示的是列，value表示的是该行和该列对应的值。

索引三元组表：索引三元组表是三元组表的一种特殊形式，三元组表中，若是行和列表示的是索引，则该表就为索引三元组表，索引三元组表中，值的类型可以包括：Long、Long、Double|Long。其中，索引可以理解数据存储的指向，如图8所示，图中row_index为行索引，col_index为列。

有序表：有序表可以理解为是一种行有序的普通表，这里提到的有序是一种逻辑意义上的有序，可以理解为表中的数据已按照某种规则排列好了顺序。例如：在table1中，存储了两个文件，若该table1为普通表，则表中存储的这两个文件就是无序的；但是，对于有序表，table1中存储的这两个文件就是有顺序的，当读取这两个文件的时候，要按照预设的顺序进行读取。

稠密矩阵表：稠密矩阵表是指存储稠密矩阵的表，并且，稠密矩阵表中非0元素占所有元素的比例较大，在本实施例中，通过以下的四个分区来描述稠密矩阵：其中，matrixconf：矩阵类型，如图9-a所示，当第一行矩阵类型为1时代表稠密矩阵，第二行表示的为该矩阵有4行，第三行表示的是，该矩阵有4列，第4行表示的是，该矩阵中元素的总数为16个；matrixdata：数据值，按先行后列存储全部数据，如图9-b所示；matrixrow：表示行为空；matrixcol：表示列为空。

稀疏矩阵表：稀疏矩阵可以理解为存储稀疏矩阵的表，稀疏矩阵表中非零元素的个数远远小于矩阵元素总数，并且非零元素的为没有分布规律的矩阵。在本实施例中，将稀疏矩阵通过以下四个分区进行表示：matrixconf：矩阵类型，例如：图10-a所示，在matrixconf分区的状态下，当第一行中矩阵类型为3时代表稀疏矩阵，第二行中表示该矩阵包括4行，第三行中表示该矩阵包括4列，第4行中表示该矩阵表示非零元素总数为9个；matrixdata：按先行后列存储全部数据，如图10-b所示；matrixrow：存储每一行的开头在matrixdata文件里的偏移，如图10-c所示；matrixcol：存储matrixdata文件里每个非零元素的列指标,如图10-d所示。

以上为本申请实施例提供的一种数据处理方法的具体实施方式，基于此，本申请实施例还提供了一种数据处理装置，具体参见以下实施例。

图11所示为本申请实施例提供的一种数据处理装置的结构图，请参照图11，该装置包括获取单元1101、计算单元1102、输出单元1103，其中：

获取单元1101，用于获取针对待计算数据的计算请求，待计算数据为通过第一类二维表和/或第二类二维表保存的数据，第一类二维表和第二类二维表均为行有序的二维表；

计算单元1102，用于根据计算请求携带的计算规则，对待计算数据进行计算得到保存在第二类二维表中的计算结果；

输出单元1103，用于通过格式转换，将计算结果保存到第一类二维表中输出。

可选的，可选的，计算请求是由用户发送的。

可选的，待计算数据是由用户上传的。

可选的，该装置还包括保存单元，用于通过格式转换，将待计算数据保存到第二类二维表中。

可选的，输出单元1103包括：

获取子单元，用于获取用户发送的转换请求，转换请求包括第一类二维表的目标格式；

输出子单元，用于通过格式转换，将计算结果保存到符合目标格式的第一类二维表中输出。

可选的，第一类二维表包括键值表、索引键值表、三元组表和索引三元组表中任意一项或多项的组合；第二类二维表包括有序表、稠密矩阵表和稀疏矩阵表中任意一项或多项的组合。

本申请实施例提供了一种数据处理装置，获取单元获取针对待计算数据的计算请求，计算单元根据计算请求携带的计算规则，对待计算数据进行计算得到保存在第二类二维表中的计算结果，输出单元通过格式转换，将计算结果保存到第一类二维表中输出。通过引入行有序的二维表，可以将不能通过行无序二维表保存的数据保存到大数据处理平台的数据库中，从而大数据处理平台具备了为这类数据提供计算服务的可能，扩展了大数据处理平台的适用范围。

上面从模块化功能实体的角度对本申请实施例中的装置进行了描述，本申请实施例还提供了一种数据处理设备，下面从硬件处理的角度对本申请实施例中的数据处理设备进行描述。

图12所示为本申请实施例提供的一种数据处理设备的结构图，请参阅图12，本申请实施例中的数据处理设备包括：处理器1201以及存储器1202，其中：

存储器1202，用于存储程序代码，并将程序代码传输给处理器1201；

处理器1201，用于根据程序代码中的指令执行以下方法：

获取针对待计算数据的计算请求，待计算数据为通过第一类二维表和/或第二类二维表保存的数据，第一类二维表和第二类二维表均为行有序的二维表；

根据计算请求携带的计算规则，对待计算数据进行计算得到保存在第二类二维表中的计算结果；

通过格式转换，将计算结果保存到第一类二维表中输出。

可选的，计算请求是由用户发送的。

可选的，待计算数据是由用户上传的。

可选的，处理器1201还用于根据程序代码中的指令执行如下操作：

通过格式转换，将待计算数据保存到第二类二维表中。

可选的，处理器1201还用于根据程序代码中的指令执行如下操作：

获取用户发送的转换请求，转换请求包括第一类二维表的目标格式；

通过格式转换，将计算结果保存到符合目标格式的第一类二维表中输出。

可选的，第一类二维表包括键值表、索引键值表、三元组表和索引三元组表中任意一项或多项的组合；第二类二维表包括有序表、稠密矩阵表和稀疏矩阵表中任意一项或多项的组合。

本申请实施例中的设备可以是服务器、PC(Personal Computer，个人计算机)、PAD(平板电脑)、手机等，本申请对此不做限定。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质可以是下述介质中的至少一种：只读存储器(英文：read-only memory，缩写：ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (15)

1.一种数据处理方法，其特征在于，所述方法包括：

获取针对待计算数据的计算请求，所述待计算数据为通过第一类二维表和/或第二类二维表保存的数据，所述第一类二维表和第二类二维表均为行有序的二维表；

根据所述计算请求携带的计算规则，对所述待计算数据进行计算得到保存在第二类二维表中的计算结果；

通过格式转换，将所述计算结果保存到所述第一类二维表中输出。

2.根据权利要求1所述的方法，其特征在于，所述计算请求是由用户发送的。

3.根据权利要求2所述的方法，其特征在于，所述待计算数据是由所述用户上传的。

4.根据权利要求1至3任意一项所述的方法，其特征在于，在所述根据所述计算请求携带的计算规则，对所述待计算数据进行计算得到保存在第二类二维表中的计算结果之前，还包括：

通过格式转换，将所述待计算数据保存到第二类二维表中。

5.根据权利要求1所述的方法，其特征在于，所述通过格式转换，将所述计算结果保存到所述第一类二维表中输出，包括：

获取用户发送的转换请求，所述转换请求包括第一类二维表的目标格式；

通过格式转换，将所述计算结果保存到符合所述目标格式的第一类二维表中输出。

6.根据权利要求1所述的方法，其特征在于，所述第一类二维表包括键值表、索引键值表、三元组表和索引三元组表中任意一项或多项的组合；所述第二类二维表包括有序表、稠密矩阵表和稀疏矩阵表中任意一项或多项的组合。

7.一种数据处理装置，其特征在于，所述装置包括获取单元、计算单元、输出单元，其中：

所述获取单元，用于获取针对待计算数据的计算请求，所述待计算数据为通过第一类二维表和/或第二类二维表保存的数据，所述第一类二维表和第二类二维表均为行有序的二维表；

所述计算单元，用于根据所述计算请求携带的计算规则，对所述待计算数据进行计算得到保存在第二类二维表中的计算结果；

所述输出单元，用于通过格式转换，将所述计算结果保存到所述第一类二维表中输出。

8.一种数据处理设备，其特征在于，所述设备包括处理器和存储器，其中：

所述存储器，用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器，用于根据所述程序代码中的指令执行以下方法：

获取针对待计算数据的计算请求，所述待计算数据为通过第一类二维表和/或第二类二维表保存的数据，所述第一类二维表和第二类二维表均为行有序的二维表；

根据所述计算请求携带的计算规则，对所述待计算数据进行计算得到保存在第二类二维表中的计算结果；

通过格式转换，将所述计算结果保存到所述第一类二维表中输出。

9.根据权利要求8所述的设备，其特征在于，所述计算请求是由用户发送的。

10.根据权利要求9所述的设备，其特征在于，所述待计算数据是由所述用户上传的。

11.根据权利要求8至10任意一项所述的设备，其特征在于，所述处理器还用于根据所述程序代码中的指令执行如下操作：

通过格式转换，将所述待计算数据保存到第二类二维表中。

12.根据权利要求8所述的设备，其特征在于，所述处理器还用于根据所述程序代码中的指令执行如下操作：

获取用户发送的转换请求，所述转换请求包括第一类二维表的目标格式；

通过格式转换，将所述计算结果保存到符合所述目标格式的第一类二维表中输出。

13.根据权利要求8所述的设备，其特征在于，所述第一类二维表包括键值表、索引键值表、三元组表和索引三元组表中任意一项或多项的组合；所述第二类二维表包括有序表、稠密矩阵表和稀疏矩阵表中任意一项或多项的组合。

14.一种存储介质，其特征在于，所述存储介质用于存储程序代码，所述程序代码用于执行权利要求1-13任意一项所述的数据处理方法。

15.一种包括指令的计算机程序产品，当其在计算机上运行时，使得所述计算机执行权利要求1-13任意一项所述的数据处理方法。