CN113220760A - 一种数据处理方法、装置、服务器及存储介质 - Google Patents

Abstract

本公开关于一种数据处理方法、装置、服务器及存储介质，涉及计算机技术领域，可以提高数据的读取效率。该数据处理方法包括：获取用于读取第一数据的第一配置类的列表；第一配置类的列表包括：用于指示查询数据的查询字段、分区指示信息和用于确定第一数据的键的目标列表的标识；拼接查询字段和分区指示信息，以得到用于获取第一数据的查询语句；调用查询语句，获取第一数据；根据目标列表的标识，确定第一数据中的目标列表中的数据；以目标列表中的数据作为键、第一数据作为值，存储第一数据。

Description

一种数据处理方法、装置、服务器及存储介质

技术领域

本公开涉及计算机技术领域，尤其涉及一种数据处理方法、装置、服务器及存储介质。

背景技术

Hive作为一种数据仓库工具，用于对各个数据库中的数据按照时间粒度汇总或统计，并将汇总或统计到的数据映射为一张数据库表。

Hive数据仓库中存储的通常是离线数据，并非实时数据，因此，在服务器实时请求读取Hive数据仓库中数据的情况下，数据的读取效率较低。

发明内容

本公开提供一种数据处理方法、装置、服务器及存储介质，可以提高数据的读取效率。

本公开实施例的技术方案如下：

根据本公开实施例的第一方面，提供一种数据处理方法，该数据处理方法可以应用于服务器。该数据处理方法可以包括：

获取用于读取第一数据的第一配置类的列表；第一配置类的列表包括：用于指示查询数据的查询字段、分区指示信息和用于确定第一数据的键的目标列表的标识；

拼接查询字段和分区指示信息，以得到用于获取第一数据的查询语句；

调用查询语句，获取第一数据；

根据目标列表的标识，确定第一数据中的目标列表中的数据；

以目标列表中的数据作为键、第一数据作为值，存储第一数据。

可选地，上述获取用于读取第一数据的第一配置类的列表的方法具体包括：

获取配置文件；配置文件用于读取至少一个数据；配置文件包括至少一个配置类的列表；至少一个配置类的列表与至少一个数据一一对应；至少一个配置类的列表包括：第一配置类的列表；

解析配置文件，以得到第一配置类的列表。

可选地，第一配置类的列表还包括：执行时间间隔信息；上述解析配置文件，以得到第一配置类的列表的方法具体包括：

获取上一次执行第一读取任务的时间；第一读取任务为：解析配置文件，以得到第一配置类的列表，并根据第一配置类的列表读取第一数据；

根据上一次执行第一读取任务的时间和执行时间间隔信息，确定下一次执行第一读取任务的时间；

在下一次执行第一读取任务的时间，解析配置文件，以得到第一配置类的列表。

可选地，当配置文件包括多个配置类的列表时，多个配置类的列表中的至少两个配置类的列表对应的执行时间间隔信息不相同。

可选地，上述数据处理方法还包括：

在首次解析配置文件的情况下，获取多个配置类的列表；

对多个配置类的列表中的每个配置类的列表均执行第二读取任务，以得到与多个配置类的列表一一对应的多个数据；第二读取任务为：根据第二配置类的列表读取与第二配置类的列表对应的第二数据；第二配置类的列表为多个配置类的列表中的任意一个。

可选地，第一配置类的列表还包括：缓存标识；上述以目标列表中的数据作为键、第一数据作为值，存储第一数据的方法具体包括：

以目标列表中的数据作为键、第一数据作为值，将第一数据存储于与缓存标识对应的缓存中。

可选地，上述数据处理方法还包括：

接收用于请求获取第一数据的读数据请求；读数据请求包括第一数据的标识；

调用查询语句，从与缓存标识对应的缓存中读取第一数据；

发送第一数据。

根据本公开实施例的第二方面，提供一种数据处理装置，可以应用于服务器。该数据处理装置可以包括：获取单元、处理单元和存储单元；

获取单元，用于获取用于读取第一数据的第一配置类的列表；第一配置类的列表包括：用于指示查询数据的查询字段、分区指示信息和用于确定第一数据的键的目标列表的标识；

处理单元，用于拼接查询字段和分区指示信息，以得到用于获取第一数据的查询语句；

获取单元，还用于调用查询语句，获取第一数据；

处理单元，还用于根据目标列表的标识，确定第一数据中的目标列表中的数据；

存储单元，用于以目标列表中的数据作为键、第一数据作为值，存储第一数据。

可选地，获取单元，具体用于：

获取配置文件；配置文件用于读取至少一个数据；配置文件包括至少一个配置类的列表；至少一个配置类的列表与至少一个数据一一对应；至少一个配置类的列表包括：第一配置类的列表；

解析配置文件，以得到第一配置类的列表。

可选地，第一配置类的列表还包括：执行时间间隔信息；获取单元，具体用于：

获取上一次执行第一读取任务的时间；第一读取任务为：解析配置文件，以得到第一配置类的列表，并根据第一配置类的列表读取第一数据；

根据上一次执行第一读取任务的时间和执行时间间隔信息，确定下一次执行第一读取任务的时间；

在下一次执行第一读取任务的时间，解析配置文件，以得到第一配置类的列表。

可选地，当配置文件包括多个配置类的列表时，多个配置类的列表中的至少两个配置类的列表对应的执行时间间隔信息不相同。

可选地，获取单元，还用于在首次解析配置文件的情况下，获取多个配置类的列表；

处理单元，还用于对多个配置类的列表中的每个配置类的列表均执行第二读取任务，以得到与多个配置类的列表一一对应的多个数据；第二读取任务为：根据第二配置类的列表读取与第二配置类的列表对应的第二数据；第二配置类的列表为多个配置类的列表中的任意一个。

可选地，第一配置类的列表还包括：缓存标识；存储单元，具体用于：

以目标列表中的数据作为键、第一数据作为值，将第一数据存储于与缓存标识对应的缓存中。

可选地，上述数据处理装置还包括：接收单元和发送单元；

接收单元，用于接收用于请求获取第一数据的读数据请求；读数据请求包括第一数据的标识；

处理单元，用于调用查询语句，从与缓存标识对应的缓存中读取第一数据；

发送单元，用于发送第一数据。

根据本公开实施例的第三方面，提供一种服务器，可以包括：处理器和用于存储处理器可执行指令的存储器；其中，处理器被配置为执行所述指令，以实现上述第一方面中任一种可选地实现方式所述的数据处理方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，计算机可读存储介质上存储有指令，当所述计算机可读存储介质中的指令由服务器的处理器执行时，使得所述服务器能够执行上述第一方面中任一种可选地实现方式所述的数据处理方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，该计算机程序产品包括计算机指令，当计算机指令在服务器上运行时，使得服务器执行如第一方面中任一种可选地实现方式所述的数据处理方法。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

本公开的实施例提供的技术方案至少带来以下有益效果：

基于上述任一方面，本公开中，服务器可以首先获取用于读取第一数据的第一配置类的列表。由于第一配置类的列表包括：用于指示查询数据的查询字段、分区指示信息和用于确定第一数据的键的目标列表的标识，因此，服务器可以拼接查询字段和分区指示信息，以得到用于获取第一数据的查询语句，并调用查询语句，获取第一数据。后续，服务器根据目标列表的标识，确定第一数据中的目标列表中的数据，并以目标列表中的数据作为键、第一数据作为值，存储第一数据。这样一来，由于服务器以键值形式(便于读取)存储了第一数据，因此，在接收到用于获取第一数据的读数据请求后，服务器可以根据接收到的数据请求，快速、准确的确定与数据请求对应的第一数据的键，并根据第一数据的键确定并发送第一数据的值，提高了数据的读取效率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1为本公开实施例提供的一种通信系统示意图；

图2示出了本公开实施例提供的一种数据处理方法的流程示意图；

图3示出了本公开实施例提供的又一种数据处理方法的流程示意图；

图4示出了本公开实施例提供的又一种数据处理方法的流程示意图；

图5示出了本公开实施例提供的又一种数据处理方法的流程示意图；

图6示出了本公开实施例提供的又一种数据处理方法的流程示意图；

图7示出了本公开实施例提供的又一种数据处理方法的流程示意图；

图8示出了本公开实施例提供的一种数据处理装置的结构示意图；

图9示出了本公开实施例提供的又一种数据处理装置的结构示意图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

还应当理解的是，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其他特征、整体、步骤、操作、元素和/或组件的存在或添加。

本公开所涉及的数据可以为经用户授权或者经过各方充分授权的数据。

如背景技术中所描述，Hive数据仓库中存储的通常是离线数据，并非实时数据，因此，在服务器实时请求读取Hive数据仓库中数据的情况下，数据的读取效率较低。

基于此，本公开实施例提供一种数据处理方法，服务器可以首先获取用于读取第一数据的第一配置类的列表。由于第一配置类的列表包括：用于指示查询数据的查询字段、分区指示信息和用于确定第一数据的键的目标列表的标识，因此，服务器可以拼接查询字段和分区指示信息，以得到用于获取第一数据的查询语句，并调用查询语句，获取第一数据。后续，服务器根据目标列表的标识，确定第一数据中的目标列表中的数据，并以目标列表中的数据作为键、第一数据作为值，存储第一数据。这样一来，由于服务器以键值形式(便于读取)存储了第一数据，因此，在接收到用于获取第一数据的读数据请求后，服务器可以根据接收到的数据请求，快速、准确的确定与数据请求对应的第一数据的键，并根据第一数据的键确定并发送第一数据的值，提高了数据的读取效率。

以下结合附图对本公开实施例提供的数据处理方法进行示例性说明：

图1为本公开实施例提供的一种通信系统示意图，如图1所示，该通信系统中可以包括：第一设备110、服务器120和第二设备130，服务器120可以通过有线网络或无线网络分别与第一设备110和第二设备130之间建立连接。

本公开中，第一设备110可以是数据仓库(例如Hive数据仓库)设备。数据仓库是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。现有技术中，由于数据仓库设备中存储的数据通常为离线数据，并非实时数据，因此，在服务器实时请求读取数据仓库设备中数据的情况下，数据的读取效率较低。

一些实施例中，第一设备110还可以是其他用于存储大量离线数据的设备，本公开对此不作限定。

一些实施例中，服务器120可以是单独的一个服务器，或者，也可以是由多个服务器构成的服务器集群。部分实施方式中，服务器集群还可以是分布式集群。本公开对服务器120的具体实现方式也不作限制。

一些实施例中，第二设备130可以是服务器，也可以是终端，还可以是其他用于读取服务器120中的数据的电子设备，本公开对此不作限定。

当第二设备130为服务器时，该服务器可以是单独的一个服务器，或者，也可以是由多个服务器构成的服务器集群。部分实施方式中，服务器集群还可以是分布式集群。本公开对服务器120的具体实现方式也不作限制。

当第二设备130为终端时，终端可以是手机、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本，以及蜂窝电话、个人数字助理(personal digital assistant，PDA)、增强现实(augmentedreality，AR)\虚拟现实(virtual reality，VR)设备等可以安装并使用内容社区应用(如快手)的设备，本公开对该终端的具体形态不作特殊限制。其可以与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互。

下面结合上述图1示出的通信系统，对本公开实施例提供的数据处理方法进行详细介绍。

本公开实施例提供的数据处理方法可以应用于前述图1所示的应用场景中的服务器。

如图2所示，当数据处理方法应用于服务器时，该数据处理方法可以包括：S201-S205。

S201、服务器获取用于读取第一数据的第一配置类的列表。

具体的，由于在读取第一设备中的数据时效率较低，因此，配置人员可以编写用于将第一设备中数据以键值形式存储与缓存中的配置文件。在这种情况下，服务器接收解析配置文件，以得到用于读取第一数据的第一配置类的列表。

其中，第一配置类的列表包括：用于指示查询数据的查询字段、分区指示信息和用于确定第一数据的键的目标列表的标识。

可选的，用于指示查询数据的查询字段为查询语句的通用字段。例如结构化查询语言(structured query language，SQL)语句中的select开头的字段、where开头的字段等。

可选的，分区指示信息用于指示第一设备中存储第一数据的分区。

示例性的，第一设备通常以时间格式进行分区。在这种情况下，分区指示信息可以根据该分区的时间格式，表示第一设备中存储第一数据的分区。

示例性的，当第一设备以“天”为单位进行分区时，每个分区的名称可以为当天的日期。例如，2020年1月1日存储的数据所属的分区名称为20200101。

可选的，用于确定第一数据的键的目标列表的标识可以是目标列表的名称。

结合上述示例，如表1所示，第一设备中，存储第一数据的分区(分区名称为20200101)中包括：数据A、数据B和数据C。

表1

数据名称	数据类型
		数据A	游戏数据
数据B	视频数据
		数据C	视频数据

如上表所示，由于数据A、数据B和数据C的数据类型可能相同(例如数据B和数据C的数据类型都是游戏数据)，但每个数据的数据名称不同。为了保证第一数据的键的唯一性，因此，将第一列(“数据名称”列)的数据作为第一数据的键。在这种情况下，用于确定第一数据的键的目标列表即为第一列，目标列表的标识即为第一列的标识：“数据名称”。

S202、服务器拼接查询字段和分区指示信息，以得到用于获取第一数据的查询语句。

具体的，在获取到第一配置类的列表后，服务器拼接查询字段和分区指示信息，以得到用于获取第一数据的查询语句。该查询语句用于从第一设备中读取第一数据。

结合上述示例，服务器拼接用于指示查询20200101分区中的数据的查询字段、分区指示信息(即上述分区名称20200101)和第一列的标识(即“数据名称”)，以得到用于读取第一数据的查询语句。

S203、服务器调用查询语句，获取第一数据。

具体的，在拼接查询字段和分区指示信息，以得到用于获取第一数据的查询语句后，服务器调用查询语句，获取第一数据。

结合上述示例，在拼接查询字段和分区指示信息，以得到用于获取第一数据的查询语句后，服务器调用查询语句，获取上述表1中的所有数据。

S204、服务器根据目标列表的标识，确定第一数据中的目标列表中的数据。

具体的，在获取第一数据后，服务器根据目标列表的标识，确定第一数据中的目标列表中的数据。

结合上述示例，在获取第一数据后，服务器根据第一列的标识(即“数据名称”)，确定第一数据中的目标列表中的数据为：“数据A、数据B和数据C”。

S205、服务器以目标列表中的数据作为键、第一数据作为值，存储第一数据。

具体的，在根据目标列表的标识，确定第一数据中的目标列表中的数据后，服务器以目标列表中的数据作为键、第一数据作为值，存储第一数据。

可选的，服务器以目标列表中的数据作为键、第一数据作为值，存储第一数据，可以将第一数据存储为JOSN格式。

结合上述示例，在根据目标列表的标识，确定第一数据中的目标列表中的数据后，服务器以“数据A、数据B和数据C”为键，以上述表1中的所有数据为值，存储第一数据。

需要说明的是，服务器可以将“数据A、数据B和数据C”之间有下划线连接起来，并确定“数据A、数据B和数据C”与上述表1中的所有数据之前的对应关系。后续，服务器根据该对应关系，存储第一数据。

上述实施例提供的技术方案至少带来以下有益效果：由S201-S205可知，服务器可以首先获取用于读取第一数据的第一配置类的列表。由于第一配置类的列表包括：用于指示查询数据的查询字段、分区指示信息和用于确定第一数据的键的目标列表的标识，因此，服务器可以拼接查询字段和分区指示信息，以得到用于获取第一数据的查询语句，并调用查询语句，获取第一数据。后续，服务器根据目标列表的标识，确定第一数据中的目标列表中的数据，并以目标列表中的数据作为键、第一数据作为值，存储第一数据。这样一来，由于服务器以键值形式(便于读取)存储了第一数据，因此，在接收到用于获取第一数据的读数据请求后，服务器可以根据接收到的数据请求，快速、准确的确定与数据请求对应的第一数据的键，并根据第一数据的键确定并发送第一数据的值，提高了数据的读取效率。

在一种实施例中，结合图2，如图3所示，上述S201中，服务器获取用于读取第一数据的第一配置类的列表的方法具体包括：

S301、服务器获取配置文件。

其中，配置文件用于读取至少一个数据；配置文件包括至少一个配置类的列表；至少一个配置类的列表与至少一个数据一一对应；至少一个配置类的列表包括：第一配置类的列表。

具体的，由于在读取第一设备中的数据时效率较低，因此，配置人员可以编写用于将第一设备中数据以键值形式存储与缓存中的配置文件。由于第一设备中存储的数据较多，因此，配置文件可以包括至少一个配置类的列表；至少一个配置类的列表与至少一个数据一一对应；至少一个配置类的列表包括：第一配置类的列表。

示例性的，第一设备中存储有10个数据。在这种情况下，服务器获取包括10个配置类的列表的配置文件。10个配置类的列表与第一设备中存储的10个数据一一对应。

S302、服务器解析配置文件，以得到第一配置类的列表。

具体的，在获取配置文件后，服务器解析配置文件，以得到第一配置类的列表。

上述实施例提供的技术方案至少带来以下有益效果：由S301-S302可知，服务器在获取用于读取第一数据的第一配置类的列表时，由于第一设备中存储的数据较多，因此，配置文件可以包括至少一个配置类的列表；至少一个配置类的列表与至少一个数据一一对应；至少一个配置类的列表包括：第一配置类的列表。在这种情况下，服务器可以解析配置文件，以得到第一配置类的列表，给出了一种获取用于读取第一数据的第一配置类的列表的具体实现方式。

其次，由于配置文件包括至少一个配置类的列表；至少一个配置类的列表与至少一个数据一一对应，因此，服务器可以根据至少一个配置类的列表读取第一设备中的所有数据。这样一来，服务器可以读取并存储第一设备中的所有数据，以便于在接收到读数据请求后，快速、准确的发送与读数据请求对应的数据，提高了数据的读取效率。

在一种实施例中，第一配置类的列表还包括：执行时间间隔信息。结合图3，如图4所示，上述S302中，服务器解析配置文件，以得到第一配置类的列表的方法具体包括：

S401、服务器获取上一次执行第一读取任务的时间。

其中，第一读取任务为：解析配置文件，以得到第一配置类的列表，并根据第一配置类的列表读取第一数据。

具体的，第一配置类的列表还包括：执行时间间隔信息。

可选的，该执行时间间隔信息可以分为执行时间间隔类型和执行时间间隔两部分。执行时间间隔类型可以是时间类型(例如天、小时、分钟等)，执行时间间隔可以是具体数值(例如5、6等)。

S402、服务器根据上一次执行第一读取任务的时间和执行时间间隔信息，确定下一次执行第一读取任务的时间。

示例性的，上一次执行第一读取任务的时间为2020年4月1日，执行时间间隔信息包括执行时间间隔类型和执行时间间隔。其中，执行时间间隔类型为“天”，时间间隔的数值为“5”。在这种情况下，服务器根据上一次执行第一读取任务的时间和执行时间间隔信息，确定下一次执行第一读取任务的时间为2020年4月6日。

S403、服务器在下一次执行第一读取任务的时间，解析配置文件，以得到第一配置类的列表。

具体的，在确定下一次执行第一读取任务的时间后，、服务器在下一次执行第一读取任务的时间，解析配置文件，以得到第一配置类的列表。

结合上述示例，在确定下一次执行第一读取任务的时间为2020年4月6日后，服务器在2020年4月6日解析配置文件，以得到第一配置类的列表。

上述实施例提供的技术方案至少带来以下有益效果：由S401-S402可知，服务器可以根据执行时间间隔信息，周期性的读取第一数据。这样一来，当服务器中存储的第一数据被删除，或者第一设备中的第一数据更新后，服务器可以更新存储的第一数据，以便于第二设备获取到最新的第一数据。

需要说明的是，由于第一设备中存储的数据的类型不同，因此每个数据的读取周期也可以不同。当配置文件包括多个配置类的列表时，多个配置类的列表中的至少两个配置类的列表对应的执行时间间隔信息不相同。这样一来，服务器可以根据不同的配置类的列表，以不同的时间间隔，读取与配置类的列表对应的数据。

在一种实施例中，如图5所示，上述数据处理方法还包括：

S501、服务器在首次解析配置文件的情况下，获取多个配置类的列表。

具体的，服务器在首次解析配置文件的情况下，可以获取配置文件中的多个配置类的列表。

S502、服务器对多个配置类的列表中的每个配置类的列表均执行第二读取任务，以得到与多个配置类的列表一一对应的多个数据。

具体的，在获取多个配置类的列表后，服务器对多个配置类的列表中的每个配置类的列表均执行第二读取任务，以得到与多个配置类的列表一一对应的多个数据。这样一来，服务器首次解析配置文件时，可以对多个配置类的列表中的每个配置类的列表均执行第二读取任务，保证百分百读取第一设备中的所有数据。

其中，第二读取任务为：根据第二配置类的列表读取与第二配置类的列表对应的第二数据；第二配置类的列表为多个配置类的列表中的任意一个。

示例性的，配置文件包括10个配置类的列表。服务器在首次解析配置文件的情况下，获取上述10个配置类的列表，并对上述10个配置类的列表中的每个配置类的列表均执行第二读取任务，以得到与10个配置类的列表一一对应的10个数据。

上述实施例提供的技术方案至少带来以下有益效果：由S501-S502可知，在获取多个配置类的列表后，服务器对多个配置类的列表中的每个配置类的列表均执行第二读取任务，以得到与多个配置类的列表一一对应的多个数据。这样一来，服务器首次解析配置文件时，可以对多个配置类的列表中的每个配置类的列表均执行第二读取任务，保证百分百读取第一设备中的所有数据。

在一种实施例中，第一配置类的列表还包括：缓存标识。结合图2，如图6所示，上述S205中，服务器以目标列表中的数据作为键、第一数据作为值，存储第一数据的方法具体包括：

S601、服务器以目标列表中的数据作为键、第一数据作为值，将第一数据存储于与缓存标识对应的缓存中。

具体的，第一配置类的列表还包括：缓存标识。服务器以目标列表中的数据作为键、第一数据作为值，存储第一数据时，可以以目标列表中的数据作为键、第一数据作为值，将第一数据存储于与缓存标识对应的缓存中。

可选的，缓存标识可以是服务器的缓存中的分区标识，也可以是分布式缓存中的设备标识，本公开对此不作限定。

需要说明的是，当第一配置类的列表不包括缓存标识时，服务器以目标列表中的数据作为键、第一数据作为值，将第一数据存储于默认缓存中。

上述实施例提供的技术方案至少带来以下有益效果：由S601可知，服务器以目标列表中的数据作为键、第一数据作为值，存储第一数据时，可以以目标列表中的数据作为键、第一数据作为值，将第一数据存储于与缓存标识对应的缓存中。在这种情况下，服务器可以将第一数据存储到与缓存标识对应的缓存中，以便于后续读取第一数据时，可以直接从与缓存标识对应的缓存中读取。

在一种实施例中，如图7所示，上述数据处理方法还包括：

S701、服务器接收用于请求获取第一数据的读数据请求。

其中，读数据请求包括第一数据的标识。

可选的，第一数据的标识可以是第一数据的键。这样一来，服务器可以直接根据第一数据的键，读取到第一数据。

S702、服务器调用查询语句，从与缓存标识对应的缓存中读取第一数据。

具体的，由于服务器预先生成有用于读取第一数据的查询语句和存储第一数据的缓存标识。因此，在收用于请求获取第一数据的读数据请求后，服务器调用查询语句，从与缓存标识对应的缓存中读取第一数据。

S703、服务器发送第一数据。

上述实施例提供的技术方案至少带来以下有益效果：由S701-S703可知，由于服务器预先生成有用于读取第一数据的查询语句和存储第一数据的缓存标识。因此，在收用于请求获取第一数据的读数据请求后，服务器调用查询语句，从与缓存标识对应的缓存中读取第一数据，并发送目标数据。这样一来，服务器无需从存储有大量离线数据的第一设备中读取第一数据，而是可以从缓存中读取第一数据。在这种情况下，由于服务器从缓存中读取数据的效率高于服务器从第一设备中读取数据的效率，因此，本公开提供的数据处理方法提高了数据的读取效率。

实现所描述的功能，但是这种实现不应认为超出本公开的范围。

基于这样的理解，本公开实施例还对应提供一种数据处理装置，可以应用于服务器。图8示出了本公开实施例提供的数据处理装置的结构示意图。如图8所示，该数据处理装置可以包括：获取单元801、处理单元802和存储单元803；

获取单元801，用于获取用于读取第一数据的第一配置类的列表；第一配置类的列表包括：用于指示查询数据的查询字段、分区指示信息和用于确定第一数据的键的目标列表的标识。例如，结合图2，获取单元801用于执行S201。

处理单元802，用于拼接查询字段和分区指示信息，以得到用于获取第一数据的查询语句。例如，结合图2，处理单元802用于执行S202。

获取单元801，还用于调用查询语句，获取第一数据。例如，结合图2，获取单元801用于执行S203。

处理单元802，还用于根据目标列表的标识，确定第一数据中的目标列表中的数据。例如，结合图2，处理单元802用于执行S204。

存储单元803，用于以目标列表中的数据作为键、第一数据作为值，存储第一数据。例如，结合图2，存储单元803用于执行S205。

可选地，获取单元801，具体用于：

获取配置文件；配置文件用于读取至少一个数据；配置文件包括至少一个配置类的列表；至少一个配置类的列表与至少一个数据一一对应；至少一个配置类的列表包括：第一配置类的列表。例如，结合图3，获取单元801用于执行S301。

解析配置文件，以得到第一配置类的列表。例如，结合图3，获取单元801用于执行S302。

可选地，第一配置类的列表还包括：执行时间间隔信息；获取单元801，具体用于：

获取上一次执行第一读取任务的时间；第一读取任务为：解析配置文件，以得到第一配置类的列表，并根据第一配置类的列表读取第一数据。例如，结合图4，获取单元801用于执行S401。

根据上一次执行第一读取任务的时间和执行时间间隔信息，确定下一次执行第一读取任务的时间。例如，结合图4，获取单元801用于执行S402。

在下一次执行第一读取任务的时间，解析配置文件，以得到第一配置类的列表。例如，结合图4，获取单元801用于执行S405。

可选地，当配置文件包括多个配置类的列表时，多个配置类的列表中的至少两个配置类的列表对应的执行时间间隔信息不相同。

可选地，获取单元801，还用于在首次解析配置文件的情况下，获取多个配置类的列表。例如，结合图5，获取单元801用于执行S501。

处理单元802，还用于对多个配置类的列表中的每个配置类的列表均执行第二读取任务，以得到与多个配置类的列表一一对应的多个数据；第二读取任务为：根据第二配置类的列表读取与第二配置类的列表对应的第二数据；第二配置类的列表为多个配置类的列表中的任意一个。例如，结合图5，处理单元802用于执行S502。

可选地，第一配置类的列表还包括：缓存标识；存储单元803，具体用于：

以目标列表中的数据作为键、第一数据作为值，将第一数据存储于与缓存标识对应的缓存中。例如，结合图6，存储单元803用于执行S601。

可选地，上述数据处理装置还包括：接收单元804和发送单元805；

接收单元804，用于接收用于请求获取第一数据的读数据请求；读数据请求包括第一数据的标识。例如，结合图7，接收单元804用于执行S701。

处理单元802，用于调用查询语句，从与缓存标识对应的缓存中读取第一数据。例如，结合图7，处理单元802用于执行S702。

发送单元805，用于发送第一数据。例如，结合图7，发送单元805用于执行S703。

如上所述，本公开实施例可以根据上述方法示例对服务器进行功能模块的划分。其中，上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。另外，还需要说明的是，本公开实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。

关于上述实施例中的数据处理装置，其中各个模块执行操作的具体方式、以及具备的有益效果，均已经在前述方法实施例中进行了详细描述，此处不再赘述。

本公开实施例还提供一种数据处理装置，该数据处理装置可以应用于服务器。图9示出了本公开实施例提供的服务器的结构示意图。该服务器可以是数据处理装置。该服务器可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器71和一个或一个以上的存储器72。其中，存储器72中存储有至少一条指令，至少一条指令由处理器71加载并执行以实现上述各个方法实施例提供的数据处理方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。

本公开还提供了一种包括指令的计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述计算机可读存储介质中的指令由计算机设备的处理器执行时，使得计算机能够执行上述所示实施例提供的数据处理方法。例如，计算机可读存储介质可以为包括指令的存储器63，上述指令可由终端的处理器61执行以完成上述方法。又例如，计算机可读存储介质可以为包括指令的存储器72，上述指令可由服务器的处理器71执行以完成上述方法。可选地，计算机可读存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据第一设备等。

本公开还提供了一种计算机程序产品，该计算机程序产品包括计算机指令，当所述计算机指令在服务器上运行时，使得所述服务器执行上述图2-图7任一附图所示的数据处理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

获取用于读取第一数据的第一配置类的列表；所述第一配置类的列表包括：用于指示查询数据的查询字段、分区指示信息和用于确定所述第一数据的键的目标列表的标识；

拼接所述查询字段和所述分区指示信息，以得到用于获取所述第一数据的查询语句；

调用所述查询语句，获取所述第一数据；

根据所述目标列表的标识，确定所述第一数据中的所述目标列表中的数据；

以所述目标列表中的数据作为键、所述第一数据作为值，存储所述第一数据。

2.根据权利要求1所述的数据处理方法，其特征在于，所述获取用于读取第一数据的第一配置类的列表，包括：

获取配置文件；所述配置文件用于读取至少一个数据；所述配置文件包括至少一个配置类的列表；所述至少一个配置类的列表与所述至少一个数据一一对应；所述至少一个配置类的列表包括：所述第一配置类的列表；

解析所述配置文件，以得到所述第一配置类的列表。

3.根据权利要求2所述的数据处理方法，其特征在于，所述第一配置类的列表还包括：执行时间间隔信息；所述解析所述配置文件，以得到所述第一配置类的列表，包括：

获取上一次执行第一读取任务的时间；所述第一读取任务为：解析所述配置文件，以得到所述第一配置类的列表，并根据所述第一配置类的列表读取所述第一数据；

根据所述上一次执行所述第一读取任务的时间和所述执行时间间隔信息，确定下一次执行所述第一读取任务的时间；

在所述下一次执行所述第一读取任务的时间，解析所述配置文件，以得到所述第一配置类的列表。

4.根据权利要求2所述的数据处理方法，其特征在于，当所述配置文件包括多个配置类的列表时，所述多个配置类的列表中的至少两个配置类的列表对应的执行时间间隔信息不相同。

5.根据权利要求4所述的数据处理方法，其特征在于，还包括：

在首次解析所述配置文件的情况下，获取所述多个配置类的列表；

对所述多个配置类的列表中的每个配置类的列表均执行第二读取任务，以得到与所述多个配置类的列表一一对应的多个数据；所述第二读取任务为：根据第二配置类的列表读取与所述第二配置类的列表对应的第二数据；所述第二配置类的列表为所述多个配置类的列表中的任意一个。

6.根据权利要求1所述的数据处理方法，其特征在于，所述第一配置类的列表还包括：缓存标识；所述以所述目标列表中的数据作为键、所述第一数据作为值，存储所述第一数据，包括：

以所述目标列表中的数据作为键、所述第一数据作为值，将所述第一数据存储于与所述缓存标识对应的缓存中。

7.一种数据处理装置，其特征在于，包括：获取单元、处理单元和存储单元；

所述获取单元，用于获取用于读取第一数据的第一配置类的列表；所述第一配置类的列表包括：用于指示查询数据的查询字段、分区指示信息和用于确定所述第一数据的键的目标列表的标识；

所述处理单元，用于拼接所述查询字段和所述分区指示信息，以得到用于获取所述第一数据的查询语句；

所述获取单元，还用于调用所述查询语句，获取所述第一数据；

所述处理单元，还用于根据所述目标列表的标识，确定所述第一数据中的所述目标列表中的数据；

所述存储单元，用于以所述目标列表中的数据作为键、所述第一数据作为值，存储所述第一数据。

8.一种服务器，其特征在于，所述服务器包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1-6中任一项所述的数据处理方法。

9.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，当所述计算机可读存储介质中的指令由服务器的处理器执行时，使得所述服务器能够执行如权利要求1-6中任一项所述的数据处理方法。

10.一种计算机程序产品，包括指令，其特征在于，当所述指令在服务器上运行时，使得所述服务器执行如权利要求1-6所述的数据处理方法。

Images