CN113312414A - 数据处理方法、装置、设备和存储介质 - Google Patents

Abstract

本申请实施例提供了一种数据处理方法、装置、设备和存储介质；所述方法包括：在接收到写请求时，基于固定分区的方式将所述写请求对应的数据写入至对应的工作节点；在满足预设条件时，以非固定分区的方式上传所述工作节点中存储的数据；进而实现数据快速写入和查询。

Description

数据处理方法、装置、设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种数据处理方法和装置、一种电子设备、一种存储介质和一种数据仓库。

背景技术

随着数据量及数据复杂度的增加，给传统的数据库带来巨大的压力；以及数据库技术的更新迭代，数据仓库应运而生。

数据仓库在软硬件领域、Internet和企业内部网解决方案以及数据库方面提供了许多经济高效的计算资源，可以保存极大量的数据供分析使用，且允许使用多种数据访问技术数据仓库；这使得数据仓库受到越来越多的用户青睐。

目前，数据仓库采用的读写方式是：写入过程中，按照固定的块大小将用户写入的数据上传至对象存储后返回，导致写入数据的响应时间长；读取过程中，不仅需要从对象存储中拉取数据，且还需要确定待查询数据所在块，查询效率低。

发明内容

本申请实施例提供了一种数据处理方法，以实现数据快速写入和查询。

相应的，本申请实施例还提供了一种数据处理装置、一种电子设备、一种存储介质，用以保证上述方法的实现及应用。

为了解决上述问题，本申请实施例公开了一种数据处理方法，应用于数据仓库中，所述方法包括：在接收到写请求时，基于固定分区的方式将所述写请求对应的数据写入至对应的工作节点；在满足预设条件时，以非固定分区的方式上传所述工作节点中存储的数据。

可选地，所述基于固定分区的方式将所述写请求对应的数据写入至对应的工作节点，包括：确定所述写请求对应用户预先指定的分片数量和用户标识；依据所述用户标识和分片数量确定对应的存储空间，并将所述写请求对应的数据写入所述存储空间对应工作节点。

可选地，所述将所述写请求对应的数据写入所述存储空间对应工作节点，包括：确定所述存储空间对应的工作节点组，所述工作节点组由多个工作节点组成；将所述写请求对应的数据，写入所述存储空间对应工作节点组所包含的至少部分工作节点。

可选地，所述的方法还包括判断所述工作节点的存储状态信息是否满足预设条件的步骤：判断所述工作节点的数据存储量是否达到预设存储量阈值；和/或，判断所述工作节点的数据存储时长是否达到预设存储时长；若所述工作节点的数据存储量达到预设存储量阈值，和/或所述工作节点的数据存储时长达到预设存储时长，则确定所述工作节点的存储状态信息满足预设条件。

可选地，所述以非固定分区的方式上传所述工作节点中存储的数据，包括：为所述工作节点中存储的数据构建用户分区，并确定所述用户分区对应的用户分区数据；构建所述用户分区数据对应的用户分区目录信息，并上传所述用户分区数据。

可选地，所述的方法还包括：确定过期用户和所述过期用户对应的过期用户分区；将上传的用户分区数据中所述过期用户分区对应的用户分区数据删除，并删除所述用户分区目录信息中所述过期用户对应的用户分区目录信息。

本申请实施例还公开了一种数据处理方法，应用于数据仓库中，所述方法包括：在接收到查询请求时：从基于固定分区写入工作节点的数据中，获取所述查询请求对应的第一目标查询数据；和/或，从基于非固定分区的方式上传的数据中，下载所述查询请求对应的第二目标查询数据；返回所述第一目标查询数据和第二目标查询数据。

可选地，所述从基于固定分区写入工作节点的数据中，获取所述查询请求对应的第一目标查询数据，包括：确定所述查询请求对应第一目标查询数据所在的目标工作节点；从基于固定分区写入目标工作节点的数据中，查找所述查询请求对应第一目标查询数据。

可选地：依据用户分区目录信息，确定所述查询请求对应的目标用户分区元数据；所述用户分区目录信息与以非固定分区的方式上传的数据对应；所述从基于非固定分区的方式上传的数据中，下载所述查询请求对应的第二目标查询数据，包括：确定多个空闲工作节点；调用所述多个空闲工作节点从基于非固定分区的方式上传的数据中，依据所述目标用户分区元数据并行下载所述查询请求对应的第二目标查询数据。

可选地，所述用户分区目录信息包括：用户分区统计信息和用户分区元数据目录；所述依据用户分区目录信息，确定所述查询请求对应的目标用户分区元数据，包括：从所述查询请求中提取查询条件，并根据查询条件确定候选用户分区；依据所述用户分区统计信息对所述候选用户分区进行剪枝，确定目标查询用户分区；依据所述用户分区元数据目录，确定目标查询用户分区对应的目标用户分区元数据。

可选地，所述返回所述第一目标查询数据和第二目标查询数据，包括：将所述第一目标查询数据和第二目标查询数据合并，并对合并的数据去重后返回。

可选地，所述的方法还包括：确定过期用户和所述过期用户对应的过期用户分区；将上传的用户分区数据中所述过期用户分区对应的用户分区数据删除，并删除所述用户分区目录信息中所述过期用户对应的用户分区目录信息。

本申请实施例还公开了一种数据处理方法，应用于数据仓库中，所述方法包括：确定待进行计费的目标计费用户，以及所述目标计费用户对应的目标计费用户分区；基于所述目标计费用户分区查询用户分区目录信息，确定所述目标计费用户对应用户分区数据的占用信息；所述用户分区目录信息与以非固定分区的方式上传的数据对应；依据所述目标计费用户对应的用户分区数据的占用信息，对所述目标计费用户存储的数据进行计费。

本申请实施例还公开了一种数据处理方法，应用于审计日志数据仓库中，所述方法包括：在接收到写审计日志请求时，基于固定分区的方式将所述写审计日志请求对应的审计日志写入至对应的工作节点；在满足预设条件时，以非固定分区的方式上传所述工作节点中存储的审计日志。

本申请实施例还公开了一种数据处理方法，应用于审计日志数据仓库中，所述方法包括：在接收到审计日志查询请求时：从基于固定分区写入工作节点的审计日志中，获取所述查询请求对应的第一目标审计日志；和/或，从基于非固定分区的方式上传的审计日志中，下载所述查询请求对应的第二目标审计日志；返回所述第一目标审计日志和第二目标审计日志。

本申请实施例还公开了一种数据处理方法，应用于审计日志数据仓库中，所述方法包括：确定待进行审计日志计费的目标计费用户，以及所述目标计费用户对应的目标计费用户分区；基于所述目标计费用户分区查询用户分区目录信息，确定所述目标计费用户对应用户分区数据的占用信息；所述用户分区目录信息与以非固定分区的方式上传的审计日志对应；依据所述目标计费用户对应的用户分区数据的占用信息，对所述目标计费用户存储的审计日志进行计费。

本申请实施例还公开了一种数据处理装置，应用于数据仓库中，所述装置包括：写数据模块，用于在接收到写请求时，基于固定分区的方式将所述写请求对应的数据写入至对应的工作节点；上传模块，用于在满足预设条件时，以非固定分区的方式上传所述工作节点中存储的数据。

可选地，所述写数据模块，包括：确定子模块，用于确定所述写请求对应用户预先指定的分片数量和用户标识；写入子模块，用于依据所述用户标识和分片数量确定对应的存储空间，并将所述写请求对应的数据写入所述存储空间对应工作节点。

可选地，所述写入子模块，用于确定所述存储空间对应的工作节点组，所述工作节点组由多个工作节点组成；将所述写请求对应的数据，写入所述存储空间对应工作节点组所包含的至少部分工作节点。

可选地，所述的装置还包括：判断模块，用于判断所述工作节点的存储状态信息是否满足预设条件；所述判断模块，具体用于判断所述工作节点的数据存储量是否达到预设存储量阈值；和/或，判断所述工作节点的数据存储时长是否达到预设存储时长；若所述工作节点的数据存储量达到预设存储量阈值，和/或所述工作节点的数据存储时长达到预设存储时长，则确定所述工作节点的存储状态信息满足预设条件。

可选地，所述上传模块，用于为所述工作节点中存储的数据构建用户分区，并确定所述用户分区对应的用户分区数据；构建所述用户分区数据对应的用户分区目录信息，并上传所述用户分区数据。

可选地，所述的装置还包括：第一过期处理模块，用于确定过期用户和所述过期用户对应的过期用户分区；将上传的用户分区数据中所述过期用户分区对应的用户分区数据删除，并删除所述用户分区目录信息中所述过期用户对应的用户分区目录信息。

本申请实施例还公开了一种数据处理装置，应用于数据仓库中，所述装置包括：查询模块，用于在接收到查询请求时：从基于固定分区写入工作节点的数据中，获取所述查询请求对应的第一目标查询数据；和/或，从基于非固定分区的方式上传的数据中，下载所述查询请求对应的第二目标查询数据；返回模块，用于返回所述第一目标查询数据和第二目标查询数据。

可选地，所述查询模块，包括：第一数据查询子模块，用于确定所述查询请求对应第一目标查询数据所在的目标工作节点；从基于固定分区写入目标工作节点的数据中，查找所述查询请求对应第一目标查询数据。

可选地，所述的装置还包括：元数据确定模块，用于依据用户分区目录信息，确定所述查询请求对应的目标用户分区元数据；所述用户分区目录信息与以非固定分区的方式上传的数据对应；所述查询模块，包括：第二数据查询子模块，用于确定多个空闲工作节点；调用所述多个空闲工作节点从基于非固定分区的方式上传的数据中，依据所述目标用户分区元数据并行下载所述查询请求对应的第二目标查询数据。

可选地，所述用户分区目录信息包括：用户分区统计信息和用户分区元数据目录；所述元数据确定模块，用于从所述查询请求中提取查询条件，并根据查询条件确定候选用户分区；依据所述用户分区统计信息对所述候选用户分区进行剪枝，确定目标查询用户分区；依据所述用户分区元数据目录，确定目标查询用户分区对应的目标用户分区元数据。

可选地，所述返回模块，用于将所述第一目标查询数据和第二目标查询数据合并，并对合并的数据去重后返回。

可选地，所述的装置还包括：第二过期处理模块，用于确定过期用户和所述过期用户对应的过期用户分区；将上传的用户分区数据中所述过期用户分区对应的用户分区数据删除，并删除所述用户分区目录信息中所述过期用户对应的用户分区目录信息。

本申请实施例还公开了一种数据处理装置，应用于数据仓库中，所述装置包括：用户确定模块，用于确定待进行计费的目标计费用户，以及所述目标计费用户对应的目标计费用户分区；计费查询模块，用于基于所述目标计费用户分区查询用户分区目录信息，确定所述目标计费用户对应用户分区数据的占用信息；所述用户分区目录信息与以非固定分区的方式上传的数据对应；计费模块，用于依据所述目标计费用户对应的用户分区数据的占用信息，对所述目标计费用户存储的数据进行计费。

本申请实施例还公开了一种数据处理装置，应用于审计日志数据仓库中，所述装置包括：日志写模块，用于在接收到写审计日志请求时，基于固定分区的方式将所述写审计日志请求对应的审计日志写入至对应的工作节点；日志上传模块，用于在满足预设条件时，以非固定分区的方式上传所述工作节点中存储的审计日志。

本申请实施例还公开了一种数据处理装置，应用于审计日志数据仓库中，所述装置包括：日志查询模块，用于在接收到审计日志查询请求时：从基于固定分区写入工作节点的审计日志中，获取所述查询请求对应的第一目标审计日志；和/或，从基于非固定分区的方式上传的审计日志中，下载所述查询请求对应的第二目标审计日志；日志返回模块，用于返回所述第一目标审计日志和第二目标审计日志。

本申请实施例还公开了一种数据处理装置，应用于审计日志数据仓库中，所述装置包括：日志计费用户确定模块，用于确定待进行审计日志计费的目标计费用户，以及所述目标计费用户对应的目标计费用户分区；日志计费查询模块，用于基于所述目标计费用户分区查询用户分区目录信息，确定所述目标计费用户对应用户分区数据的占用信息；所述用户分区目录信息与以非固定分区的方式上传的审计日志对应；日志计费模块，用于依据所述目标计费用户对应的用户分区数据的占用信息，对所述目标计费用户存储的审计日志进行计费。

本申请实施例还公开了一种电子设备，包括：处理器；和存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如本申请实施例中一个或多个所述的数据处理方法。

本申请实施例还公开了一个或多个机器可读介质，其上存储有可执行代码，当所述可执行代码被执行时，使得处理器执行如本申请实施例中一个或多个所述的数据处理方法。

与现有技术相比，本申请实施例包括以下优点：

本申请实施例在接收到写请求时，基于固定分区的方式将所述写请求对应的数据写入至对应的工作节点；相对于现有技术上传后返回速度更快，能够缩短写数据的响应时间；且在后续查询数据的过程中，可以直接从工作节点中查找，相对于现有技术从上传的数据中下载数据的速度更快。以及在满足预设条件时，以非固定分区的方式上传所述工作节点中存储的数据，以实现将存储在工作节点中的数据进行重新分区上传；进而后续在查询数据的过程中，可以从重新分区的数据中查找所需查询的数据并下载该数据后返回，相对于现有技术确定固定分区中所需查询的数据速度更快；从而本申请实施例能够实现数据的快速写入与查询。

附图说明

图1A是本申请实施例的一种数据仓库写数据的处理过程示意图；

图1B是本申请的一种数据处理方法实施例的步骤流程图；

图2A是本申请实施例的一种数据仓库读取数据的处理过程示意图；

图2B是本申请的一种数据处理方法可选实施例的步骤流程图；

图3是本申请的另一种数据处理方法实施例的步骤流程图；

图4是本申请的再一种数据处理方法实施例的步骤流程图；

图5是本申请的又一种数据处理方法实施例的步骤流程图；

图6是本申请的还一种数据处理方法实施例的步骤流程图；

图7是本申请的一种数据处理装置实施例的结构框图；

图8是本申请的一种数据处理装置可选实施例的结构框图；

图9是本申请的另一种数据处理装置实施例的结构框图；

图10是本申请的另一种数据处理装置可选实施例的结构框图；

图11是本申请的又一种数据处理装置实施例的结构框图；

图12是本申请的再一种数据处理装置实施例的结构框图；

图13是本申请的还一种数据处理装置实施例的结构框图；

图14是本申请的还一种数据处理装置可选实施例的结构框图；

图15是本申请一实施例提供的装置的结构示意图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

本申请实施例可应用于各种数据仓库的数据写入和查询。其中，可采用固定分区和非固定分区结合的方式，实现数据快速写入和查询。可以在写数据的过程中，基于固定分区的方式将数据写入工作节点后返回，相对于现有技术将数据上传后返回速度更快，能够缩短写数据的响应时间；且后续在查询数据的过程中，可以直接从工作节点中查询所需数据并返回，这相对于现有技术从上传的数据中下载数据的速度更快。以及在满足预设条件时，可以以非固定分区的方式上传所述工作节点中存储的数据，以实现将存储在工作节点中的数据进行重新分区上传；后续在查询数据的过程中，可以从重新分区的数据中查找所需查询的数据并下载该数据返回，这相对于现有技术从固定分区中查找所需查询的数据速度更快；从而本申请实施例能够提高数据写入和查询的速度。

以下先对数据仓库写数据的方法进行介绍。

参照图1A，示出了本申请实施例的一种数据仓库写数据的处理过程示意图。所述数据仓库可以包括：前端节点、工作节点、元数据服务模块和对象存储服务模块。其中，所述前端节点用于与前端进行交互。所述工作节点可以提供计算服务和存储服务，可以包括计算节点和分片，所述分片用于数据存储；多个工作节点可以构成一个工作节点组(图1A中示出了三个工作节点构成的工作节点组，本申请不限制构成工作节点组的数量)。所述元数据服务模块可以提供元数据存储的服务和查询元数据目录信息的服务；所述存储对象服务模块可以提供数据存储服务。

参照图1B，示出了本申请的一种数据处理方法实施例的步骤流程图。

步骤102、在接收到写请求时，基于固定分区的方式将所述写请求对应的数据写入至对应的工作节点。

本申请实施例中，在数据仓库的用户写入过程中，数据仓库的前端节点可以接收到写请求；然后可以响应于所述写请求，将所述写请求对应的数据写入对应的工作节点中。相对于现有技术将数据上传后返回速度更快，能够缩短写数据的响应时间。

本申请的一个实施例中，一种将写请求对应的输入写入对应的工作节点的方式可以是：基于固定分区的方式将所述写请求对应的数据写入至对应的工作节点。可以包括如下子步骤S1022-子步骤S1024：

子步骤S1022、确定所述写请求对应用户预先指定的分片数量和用户标识。

子步骤S1024、依据所述用户标识和分片数量确定对应的存储空间，并将所述写请求对应的数据写入所述存储空间对应工作节点。

用户在数据仓库中创建数据库时，可以指定所需的分片数量；其中，用户所需的分片可以被均衡的分配至各工作节点组中，工作节点组与分片的关系是固定的。进而数据仓库在写数据时，可以根据用户预先指定的分片数量，来确定将写请求对应的数据写入对应工作节点组的分片中。

其中，可以从写请求中获取所述写请求对应的数据，以及获取所述写请求对应的用户标识，所述用户标识可以用于唯一标识用户，如spXXXXX。然后依据所述用户标识，确定所述用户标识对应用户在创建数据库时预先指定的分片数量；再基于用户标识和分片数量，确定存储空间。一个示例中，可以对用户标识进行哈希计算，得到对应的哈希值；然后再计算该哈希值与分片数量的模，基于哈希值与分片数量的模，确定对应的存储空间。其中，所述存储空间可以对应一个或多个工作节点组；然后可以将写请求对应的数据，写入所述存储空间对应工作节点组的工作节点的分片中。

其中，所述将所述写请求对应的数据，写入所述存储空间对应工作节点中，包括：确定所述存储空间对应的工作节点组，所述工作节点组由多个工作节点组成；将所述写请求对应的数据，写入所述存储空间对应工作节点组所包含的至少部分工作节点中。以实现目标写入数据对应多个副本的高可用。

作为本申请的一个示例，可以由前端节点可以将写请求对应的数据写入至对应的工作节点；可参照图1A中的

和

这两个过程，其中，图1A中的D表征写请求对应的数据。

步骤104、在满足预设条件时，以非固定分区的方式上传所述工作节点中存储的数据。

本申请实施例中，可以在满足预设条件时，再上传工作节点中存储的数据。

其中，可以预先按照需求设置预设条件，当预设条件被触发时，再执上传工作节点中存储的数据。对应的，所述的方法还包括：判断所述工作节点的存储状态信息是否满足预设条件；若所述工作节点的存储状态信息满足预设条件，则上传工作节点中存储的数据。若所述工作节点的存储状态信息不满足预设条件，则可以继续判断所述工作节点的存储状态信息是否满足预设条件。所述预设条件可以包括：数据存储量大于预设存储量阈值，和/或，数据存储时长达到预设存储时长；所述预设存储量阈值和预设存储时长均可以按照需求设置，本申请实施例对此不作限制。所述工作节点的存储状态信息可以包括：工作节点的数据存储量和/或工作节点的数据存储时长，所述数据存储时长可以是指当前时间与上一次上传工作中存储数据对应时间的差值。

对应的，所述判断所述工作节点的存储状态信息是否满足预设条件，包括：判断所述工作节点的数据存储量是否达到预设存储量阈值；和/或，判断所述工作节点的数据存储时长是否达到预设存储时长；若所述工作节点的数据存储量达到预设存储量阈值，和/或所述工作节点的数据存储时长达到预设存储时长，则确定所述工作节点的存储状态信息满足预设条件。否则，则确定所述工作节点的存储状态信息不满足预设条件。其中，所述工作节点数据存储量可以是指所述工作节点中所有分片的总数据存储量，也可以是指所述工作节点中各分片中数据存储量的最大值；本申请实施例对此不作限制。所述工作节点数据存储时长可以是指所述工作节点中所有分片的总数据存储时长，也可以是指所述工作节点中各分片中数据存储时长的最大值；本申请实施例对此不作限制。

本申请的一个可选实施例中，一种上传工作节点中存储的数据的方式可以是：以非固定分区的方式上传所述工作节点中存储的数据。其中，可以通过将所述工作节点中存储的数据重新分区后再上传，以实现以非固定分区的方式上传所述工作节点中存储的数据。

所述以非固定分区的方式上传所述工作节点中存储的数据，可以包括如下子步骤S1042-子步骤S1044：

子步骤S1042、为所述工作节点中存储的数据构建用户分区，并确定所述用户分区对应的用户分区数据。

子步骤S1044、构建所述用户分区数据对应的用户分区目录信息，并上传所述用户分区数据。

本申请实施例中，在确定满足预设条件时，可以为工作节点中存储的数据，重新构建用户分区；并在构建用户分区后，生成用户分区对应的用户分区数据。然后一方面可以对所述用户分区进行重新排列组织，生成用户分区数据对应的用户分区目录信息；另一方面可以将用户分区数据上传。进而后续在查询过程中，可以基于用户分区目录信息，快速的确定需要查询的数据，能够提高查询效率。

本申请一个实施例中，所述子步骤1022，可以包括如下子步骤S10222-子步骤S10226：

子步骤S10222、从所述工作节点存储的数据中确定待构建用户分区的目标构建数据，并获取所述目标构建数据对应的用户标识和时间字段。

子步骤S10224、按照所述用户标识和时间字段，为所述目标构建数据构建对应的用户分区，以及创建所述用户分区的索引并对所述目标构建数据进行列存。

子步骤S10226、依据所述索引和列存后的目标构建数据，生成所述用户分区对应的用户分区数据。

本申请的一个可选实施例中，可以由前端节点生成构建任务(构建任务可以参照图1A中的T)，并将构建任务发送给工作节点(可以对应图1A中

这个过程)；然后由所述工作节点从其中选取一个或多个分片(可以对应图1A中

这个过程)，将选取出的分片中所存储的所有数据，确定待构建用户分区的目标构建数据。

其中，若工作节点数据存储量是指所述工作节点中所有分片的总数据存储量，则当所述工作节点的数据存储量达到预设存储量阈值时，可以选取工作节点中数据存储量最高的前几个分片，将数据存储量最高的前几个分片中所存储的所有数据，确定待构建用户分区的目标构建数据。若工作节点数据存储量是指所述工作节点中各分片中数据存储量的最大值，则当工作节点的数据存储量达到预设存储量阈值时，可以选取出数据存储量高于预设存储量阈值的分片，将数据存储量高于预设存储量阈值的分片中所存储的所有数据，确定待构建用户分区的目标构建数据。若工作节点数据存储时长是指所述工作节点中所有分片的总数据存储时长，则当工作节点中的数据存储时长达到预设存储时长时，可以选取出工作节点中数据存储时长最高的前几个分片，将数据存储时长最高的前几个分片中所存储的所有数据，确定待构建用户分区的目标构建数据。若工作节点数据存储时长是指所述工作节点中各分片中数据存储时长的最大值，则当工作节点的数据存储时长达到预设存储时长阈值时，可以选取出数据存储时长高于预设存储时长阈值的分片，将数据存储时长高于预设存储时长阈值的分片中所存储的所有数据，确定待构建用户分区的目标构建数据。若所述工作节点的数据存储量达到预设存储量阈值和所述工作节点的数据存储时长达到预设存储时长，则可以选取出工作节点中，数据存储量超过预设存储量阈值且数据存储时长超过预设存储时长阈值的分片，将这些分片中存储的所有数据确定待构建用户分区的目标构建数据。

然后可以确定目标构建数据对应的用户标识(如spXXXXX)和时间字段(pXXXXX)；其中，所述目标构建数据对应的时间字段，可以是指目标构建数据写入至工作节点的时间对应的时间字段。然后可以按照所述用户标识和时间字段，为所述目标构建数据构建对应的用户分区。例如构建两级分区如sp和p的两级分区，sp和p的两级分区的组合可以称为用户分区。并在为目标数据构建用户分区的过程中，构建所述用户分区的索引，以及对所述目标构建数据进行列存(目标构建数据在工作节点中存储方式为行存)。其中，可以由工作节点在磁盘(如SSD(Solid State Disk，固态硬盘))中，创建用户分区的索引和对所述目标构建数据进行列存；创建的索引可以包括多种，如倒排索引(也可以称为全文检索索引)、正排索引(如数字类索引、字符串类索引，用于过滤)等，本申请实施例对此不作限制。

此外，工作节点在为目标数据构建用户分区的过程中，还可以创建的用户分区生成对应的用户分区统计信息，然后再采用创建的索引、列存后的目标构建数据和用户分区统计信息，生成所述用户分区对应的用户分区数据。

然后可以执行子步骤S1024，一方面将用户分区数据上传至对象存储服务模块(可以对应图1A中

这个过程)；另一方面构建所述用户分区数据对应的用户分区目录信息；可以包括如下子步骤S22-S26：

子步骤S22、获取所述目标构建数据所在分片的分片标识与所述目标构建数据对应用户分区之间的对应关系，以及所述目标构建数据对应用户分区的用户分区统计信息。

子步骤S24、按读优化转换所述对应关系，得到所述用户分区数据对应的用户分区元数据目录。

子步骤S26、依据所述用户分区数据对应的用户分区元数据目录和用户分区统计信息，生成所述用户分区数据对应的用户分区目录信息。

本申请的一个可选实施例中，可以由所述元数据服务模块执行所述子步骤S22-S26。

可以由工作节点将目标构建数据所在分片的分片标识与所述目标构建数据对应用户分区之间的对应关系，以及目标构建数据对应用户分区的统计信息，发送给元数据服务模块(可以对应图1A中

这个过程)，由元数据服务模块对所述用户分区进行重新排列。其中，所述分片标识用于唯一标识分片；所述用户分区统计信息可以包括多种，如各个字段的最大值、最小值、数据量等等，本申请实施例对此不作限制。对应的，元数据服务模块可以接收到目标构建数据所在分片的分片标识与所述目标构建数据对应用户分区之间的对应关系，以及所述目标构建数据对应用户分区的统计信息；然后基于该对应关系对目标构建数据的用户分区进行重新排列。其中，可以按读优化对所述对应关系进行转换，得到一颗树(例如[sp]/[shard id]/[p]的一颗树，sp是用户标识、shard id是分片标识，以及p是时间字段)；然后可以基于转换得到的树，构建出任一用户任一时间对应用户分区数据的用户分区元数据目录。其中，所述元数据可以是指描述数据的数据，主要是描述数据属性的信息。之后，可以采用所述用户分区数据对应的用户分区元数据目录和用户分区统计信息，生成所述用户分区数据对应的用户分区目录信息。

本申请的一个实施例中，在执行完步骤104后，可以将重新分区的数据对应的分片中删除，以减少对工作节点的占用。

本申请的一个实施例中，在生成用户分区目录信息后，一种缓存用户分区目录信息的策略可以是：当用户分区的数量超过预设分区数量阈值时，将使用频率高于使用频率阈值的用户分区目录信息，保留在内存中；以及将使用频率低于使用频率阈值的用户分区目录信息，迁移至磁盘中存储。

本申请的另一些实施例中，若当前的元数据服务模块不可用，则创建一新的元数据服务模块；所述新的元数据服务模块基于所述用户分区数据，恢复用户分区数据对应的用户分区目录信息。以便于后续的数据查询。

本申请的另一些实施例中，一种基于所述用户分区数据恢复所述候选用户分区对应的用户分区目录信息的方式可以是：基于用户分区数据与对应分片的对应关系，恢复用户分区元数据目录；基于恢复的用户分区元数据目录和用户分区数据中用户分区统计信息，恢复用户分区元数据目录对应的用户分区统计信息。

本申请的另一些实施例中，数据仓库可以周期性的将过期数据进行清除。其中，数据仓库清除过期数据的周期可以按照需求设置，本申请实施例对此不作限制。所述的方法还包括：确定过期用户和所述过期用户对应的过期用户分区；将上传的用户分区数据中所述过期用户分区对应的用户分区数据删除，并删除所述用户分区目录信息中所述过期用户对应的用户分区目录信息。

其中，可以由前端节点构建过期数据清理任务并执行过期数据清理任务。前端节点在执行数据清理任务过程中，可以在元数据服务模块中，根据其中的用户分区元数据目录中各用户分区对应的时间，确定需要过期的用户分区；后续可以将需要过期的用户分区称为过期用户分区。以及确定各过期用户分区对应的用户分区元数据。然后前端节点基于过期用户分区对应的用户分区元数据，从上传的用户分区数据中查找各过期用户分区对应的用户分区数据，并进行删除。并在上传的用户分区数据中过期用户分区对应的用户分区数据成功删除后，删除元数据服务模块中所述过期用户分区对应的用户分区元数据，和所述用户分区统计信息中所述过期用户分区对应的用户分区统计信息。进而保证元数据服务模块中存储有效用户分区的用户分区目录信息，以及上传有效的用户分区的用户分区数据。

综上，本申请实施例在接收到写请求时，基于固定分区的方式将所述写请求对应的数据写入至对应的工作节点；相对于现有技术上传后返回速度更快，能够缩短写数据的响应时间；且在后续查询数据的过程中，可以直接从工作节点中查找，相对于现有技术从上传的数据中下载数据的速度更快。以及在满足预设条件时，以非固定分区的方式上传所述工作节点中存储的数据，以实现将存储在工作节点中的数据进行重新分区上传；进而后续在查询数据的过程中，可以从重新分区的数据中查找所需查询的数据并下载该数据后返回，相对于现有技术确定固定分区中所需查询的数据速度更快；从而本申请实施例能够实现数据的快速写入与查询。

在上述实施例数据仓库写数据的基础上，本申请实施例还提供了一种数据处理方法，能够实现数据仓库中数据的快速查询。可参照图2A，示出了本申请实施例的一种数据查询处理过程示意图。在接收到到查询请求时：一方面可以直接从工作节点的分片中查询数据，另一方面可以从基于非固定分区的方式上传的数据中，下载所需查询的用户分区数据；相对于现有技术从上传的固定分区中下载数据而言，查询速度更快；进而提高数据查询的速度。

参照图2，示出了本申请的一种数据处理方法可选实施例的步骤流程图。

步骤202，在接收到查询请求时：从基于固定分区写入工作节点的数据中，获取所述查询请求对应的第一目标查询数据；和/或，从基于非固定分区的方式上传的数据中，下载所述查询请求对应的第二目标查询数据。

本申请实施例中，用户在数据仓库中查询过程中，数据仓库可以接收到用户的查询请求，然后基于所述查询请求进行数据查询。

其中，可以由前端节点接收所述查询请求。

在写数据的过程中，采用了固定分区和非固定分区结合的方式进行了写入；对应的，在数据查询过程中，也可以采用固定分区和非固定分区结合的方式进行数据查询。即可以从基于固定分区写入工作节点的数据中获取所述查询请求对应的第一目标查询数据，以及可以从基于非固定分区的方式上传的数据中，下载所述查询请求对应的第二目标查询数据。

本申请的一个可选实施例中，在从基于固定分区写入工作节点的数据中，获取所述查询请求对应的第一目标查询数据；和/或，从基于非固定分区的方式上传的数据中，下载所述查询请求对应的第二目标查询数据之前，所述的方法还包括：依据用户分区目录信息，确定所述查询请求对应的目标用户分区元数据；所述用户分区目录信息与以非固定分区的方式上传的数据对应。

其中，所述用户分区目录信息包括：用户分区元数据目录和用户分区统计信息；可以基于用户分区统计信息剪枝优化，从用户分区元数据目录中查找所述查询请求对应目标查询用户分区的目标用户分区元数据。

本申请的一个可选实施例中，所述依据用户分区目录信息，确定所述查询请求对应的目标用户分区元数据，可以包括如下子步骤S42-子步骤S46：

子步骤S42、从所述查询请求中提取查询条件，并根据查询条件确定候选用户分区。

子步骤S44、依据所述用户分区统计信息对所述候选用户分区进行剪枝，确定目标查询用户分区。

子步骤S46、依据所述用户分区元数据目录，确定目标查询用户分区对应的目标用户分区元数据。

可以由前端节点对所述查询请求进行解析，从接收到的查询请求中提取出查询条件；然后将查询条件发送至元数据服务模块(可以对应图2A中的

这个过程)，由元数据服务模块确定所述查询请求对应目标查询用户分区的目标用户分区元数据。元数据服务模块接收到所述查询条件后，可以先确定查询条件中候选用户分区；然后基于所述用户分区统计信息对所述候选用户分区进行剪枝，筛除候选用户分区中不需要查询的用户分区，选取出查询条件中需要查询的用户分区，可以称为目标查询用户分区。再基于用户分区元数据目录，确定目标查询用户分区对应的目标用户分区元数据；并将确定的目标用户分区元数据，返回给前端节点。

本申请的一个实施例中，在所述依据所述用户分区统计信息对所述候选用户分区进行剪枝，确定目标查询用户分区之前，所述的方法还包括：所述判断内存中是否存在候选用户分区对应的用户分区目录信息；若内存中不存在候选用户分区对应的用户分区目录信息，则判断磁盘中是否存储候选用户分区对应的用户分区目录信息；若磁盘中存在候选用户分区对应的用户分区目录信息，则从所述磁盘中将候选用户分区对应的用户分区目录信息加载至内存中；若磁盘中不存在候选用户分区对应的用户分区目录信息，则基于对象存储服务模块存储的用户分区数据恢复所述候选用户分区对应的用户分区目录信息。进而能够提前将用户分区目标信息加载至内存中，能提高元数据服务模块确定目标查询用户分区的效率。

前端节点接收到目标用户分区元数据后，一方面可以从基于固定分区写入工作节点的数据中，获取所述查询请求对应的第一目标查询数据；另一方面，可以基于该目标用户分区元数据，从基于非固定分区的方式上传的数据中，下载所述查询请求对应的第二目标查询数据。进而通过并行处理，以提高查询效率。

其中，一种从基于固定分区写入工作节点的数据中，获取所述查询请求对应的第一目标查询数据的方式，可以包括如下子步骤S62-子步骤S64：

子步骤S62、确定所述查询请求对应第一目标查询数据所在的目标工作节点；

子步骤S64、从基于固定分区写入目标工作节点的数据中，查找所述查询请求对应第一目标查询数据。

一种从基于非固定分区的方式上传的数据中，下载所述查询请求对应的第二目标查询数据的方式，可以包括如下子步骤S82-子步骤S84：

子步骤S82、确定多个空闲工作节点。

子步骤S84、调用所述多个空闲工作节点从基于非固定分区的方式上传的数据中，依据所述目标用户分区元数据并行下载所述查询请求对应的第二目标查询数据。

其中，可以是由前端节点指示工作节点的从自身的分片中查找第一目标查询数据，以及并行从对象存储服务模块中拉取所述目标查询用户分区的目标用户分区元数据对应的数据，并从拉取的数据中查询第二目标查询数据。

前端节点在接收到元数据服务模块返回的目标用户分区元数据后，一方面，可以确定基于工作节点最新的写路由路径，确定存储有所述查询请求对应第一目标查询数据的目标工作节点。另一方面，可以查询工作节点的状态，并选取状态为空闲状态的空闲工作节点。其中，空闲工作节点和目标工作节点可以是不同的工作节点，同一工作节点组中可以包括空闲工作节点和目标工作节点，本申请实施例对此不作限制。然后前端节点可以进行大规模并行处理，即将查询任务并行发送给空闲工作节点和目标工作节点(可以对应图2A中的

和

这两个过程)。然后由目标工作节点和空闲工作节点，并行的查找第一目标查询数据和第二目标查询数据。其中，所述空闲工作节点与目标工作节点均可以为多个，空闲工作节点和目标工作节点之间，多个空闲工作节点之间，以及多个目标工作节点之间均可以是并行进行查询的。

目标工作节点接收到查询任务后，可以基于其内部的计算节点(如实时计算节点)进行计算和查询其内部分片中存储的数据(可以对应图2A中

这个过程)，获取第一目标查询数据然后返回给前端节点。空闲节点在接收到查询任务后，可以基于所述目标查询用户分区元数据，在其内部构建对应的计算节点(如分区计算节点)，然后由构建的计算节点通过高速缓存文件系统从对象存储服务模块中，拉取所述目标查询用户分区对应的用户分区数据(可以对应图2A中

这个过程)。然后从拉取的用户分区数据中查询第二目标查询数据，并将第二目标查询数据返回给前端节点。

本申请的一个实施例中，前端节点可以从状态为空闲的工作节点中，优先选取出具有缓存的空闲工作节点。进而在空闲节点从对象存储服务模块中拉取用户分区数据后，可以将拉取的数据保存设定时长；以在设定时长内接收到相同数据的查询时，无需再次从对象存储服务模块中拉取数据，节约查询时间；且还能够提高用户体验。所述设定时长可以根据需求设置，本申请实施例对此不作限制。

其中，用户分区数据中不仅包含数据本身(即工作节点列存至对象存储服务模块的数据)，还包括了数据的索引。所述从所述目标查询用户分区对应的用户分区数据查找所述查询请求对应的第二目标查询数据，包括：依据所述目标查询用户分区对应的用户分区数据中的索引，从所述目标查询用户分区对应的用户分区数据中查找所述查询请求对应第二目标查询数据。相对于现有技术基于固定块写数据无法建立索引而言，本申请基于索引进行数据查询，能够进一步提供数据查询效率。

步骤204，返回所述第一目标查询数据和第二目标查询数据。

本申请实施例中，可以将第一目标查询数据和第二目标查询数据，作为查询请求的响应消息返回。

由于数据更新/删除等操作，可能会存在工作节点中存储的数据是存储在上传数据的更新；因此返回所述第一目标查询数据和第二目标查询数据，包括：所述前端节点将所述第一目标查询数据和第二目标查询数据合并，并对合并的数据去重后返回。

综上，本申请实施例中，在接收到查询请求时：从基于固定分区写入工作节点的数据中，获取所述查询请求对应的第一目标查询数据；进而相对于现有技术从上传的数据中下载数据而言，查询速度快；以及可以从基于非固定分区的方式上传的数据中，下载所述查询请求对应的第二目标查询数据；相对于现有技术确定固定分区中所需查询的数据速度更快；再返回所述第一目标查询数据和第二目标查询数据，从而能够提高查询速度。

在上述数据仓库写数据，以及对过期用户分区对应的数据进行处理的基础上，本申请实施例还提供了一种数据处理方法，应用于对用户存储在数据仓库中的数据计费。

参照图3，示出了本申请的一种数据处理方法可选实施例的步骤流程图。

步骤302、确定待进行计费的目标计费用户，以及所述目标计费用户对应的目标计费用户分区。

本申请实施例中，可以确定待进行计费的用户，并将待进行计费的用户称为目标计费用户；然后确定目标计费用户的用户标识。再基于目标计费用户的用户标识，确定目标计费用户对应的目标计费用户分区；进而后续可以基于目标计费用户分区，为目标计费用户进行计费。

步骤304、基于所述目标计费用户分区查询用户分区目录信息，确定所述目标计费用户对应用户分区数据的占用信息；所述用户分区目录信息与以非固定分区的方式上传的数据对应。

数据仓库可以周期性的将过期用户分区的用户分区元数据和用户分区统计信息清除，以及将过期用户分区的用户分区数据清除；因此数据仓库中存储的是有效的用户分区数据对应的用户分区目录信息，以及有效的用户分区数据。进而可以基于有效的用户分区目录信息，查询目标计费用户分区对应用户分区数据的占用信息，所述占用信息可以包括：占用空间和占用时长。

其中，可以基于所述目标计费用户分区查询元数据服务模块中的用户分区统计信息，确定所述目标计费用户对应的用户分区数据在所述对象存储服务模块中的占用空间和占用时长。

步骤306、依据所述目标计费用户对应的用户分区数据的占用信息，对所述目标计费用户存储的数据进行计费。

本申请的一种示例中，可以基于占用空间和占用时长进行计费的方式可以是：占用空间*占用时长(单位：天)；当然还可以采用其他的计费方式，本申请实施例对此不作限制。

综上，本申请实施例中，可以确定待进行计费的目标计费用户，以及所述目标计费用户对应的目标计费用户分区，然后基于所述目标计费用户分区查询用户分区目录信息，确定所述目标计费用户对应用户分区数据的占用信息，再依据所述目标计费用户对应的用户分区数据的占用信息，对所述目标计费用户存储的数据进行计费；由于所述数据仓库中存储的是有效的用户分区数据和有效的用户分区数据对应的用户分区目录信息，进而本申请实施例能够实现准确的计费。且本申请实施例中有效的用户分区数据对应的用户分区目录信息，是集中管理的，通过用户分区元数据目录可以查询到用户在对象存储服务模块中占用信息，而无需遍历所有的用户分区数据，能够实现快速的进行计费。

本申请实施例还提供了一种数据处理方法，可以应用于审计日志数据仓库中，可以用于快速的写入审计日志。

参照图4，示出了本申请的又一种数据处理方法实施例的步骤流程图。

步骤402、在接收到写审计日志请求时，基于固定分区的方式将所述写审计日志请求对应的审计日志写入至对应的工作节点。

步骤404、在满足预设条件时，以非固定分区的方式上传所述工作节点中存储的审计日志。

其中，步骤402-步骤404与上述步骤102-步骤104类似，在此不再赘述。

本申请实施例还提供了一种数据处理方法，可以应用于审计日志数据仓库中，可以用于快速的查询审计日志。其中，所述审计日志数据仓库存储有实时写入的审计日志、审计日志的用户分区数据和所述审计日志的用户分区数据对应的用户分区目录信息，其中，所述实时写入的审计日志存储在所述数据仓库的工作节点中

参照图5，示出了本申请的另一种数据处理方法实施例的步骤流程图。

步骤502、在接收审计日志查询请求时：从基于固定分区写入工作节点的审计日志中，获取所述查询请求对应的第一目标审计日志；和/或，从基于非固定分区的方式上传的审计日志中，下载所述查询请求对应的第二目标审计日志。

步骤504、返回所述第一目标审计日志和第二目标审计日志。

其中，步骤502-步骤504与上述步骤202-步骤204类似，在此不再赘述。

本申请实施例还提供了一种数据处理方法，可以应用于审计日志数据仓库中，可以用于快速的针对审计日志进行计费。其中，所述审计日志数据仓库中存储有有效的审计日志对应的用户分区数据和所述用户分区数据对应的用户分区目录信息。

参照图6，示出了本申请的再一种数据处理方法实施例的步骤流程图。

步骤602、确定待进行审计日志计费的目标计费用户，以及所述目标计费用户对应的目标计费用户分区。

步骤604、基于所述目标计费用户分区查询用户分区目录信息，确定所述目标计费用户对应用户分区数据的占用信息；所述用户分区目录信息与以非固定分区的方式上传的审计日志对应。

步骤606、依据所述目标计费用户对应的用户分区数据的占用信息，对所述目标计费用户存储的审计日志进行计费。

其中，步骤602-步骤606与上述步骤302-步骤306类似，在此不再赘述。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。

在上述实施例的基础上，本实施例还提供了一种数据处理装置，应用于数据仓库中。

参照图7，示出了本申请的一种数据处理装置实施例的结构框图，具体可以包括如下模块：

写数据模块702，用于在接收到写请求时，基于固定分区的方式将所述写请求对应的数据写入至对应的工作节点；

上传模块704，用于在满足预设条件时，以非固定分区的方式上传所述工作节点中存储的数据。

参照图8，示出了本申请的一种数据处理装置可选实施例的结构框图，具体可以包括如下模块：

本申请一个可选实施例中，所述写数据模块702，包括：

确定子模块7022，用于确定所述写请求对应用户预先指定的分片数量和用户标识；

写入子模块7024，用于依据所述用户标识和分片数量确定对应的存储空间，并将所述写请求对应的数据写入所述存储空间对应工作节点。

本申请一个可选实施例中，所述写入子模块7024，用于确定所述存储空间对应的工作节点组，所述工作节点组由多个工作节点组成；将所述写请求对应的数据，写入所述存储空间对应工作节点组所包含的至少部分工作节点。

本申请一个可选实施例中，所述的装置还包括：

判断模块706，用于判断所述工作节点的存储状态信息是否满足预设条件；

所述判断模块706，具体用于判断所述工作节点的数据存储量是否达到预设存储量阈值；和/或，判断所述工作节点的数据存储时长是否达到预设存储时长；若所述工作节点的数据存储量达到预设存储量阈值，和/或所述工作节点的数据存储时长达到预设存储时长，则确定所述工作节点的存储状态信息满足预设条件。

本申请一个可选实施例中，所述上传模块704，用于为所述工作节点中存储的数据构建用户分区，并确定所述用户分区对应的用户分区数据；构建所述用户分区数据对应的用户分区目录信息，并上传所述用户分区数据。

本申请一个可选实施例中，所述的装置还包括：

第一过期处理模块708，用于确定过期用户和所述过期用户对应的过期用户分区；将上传的用户分区数据中所述过期用户分区对应的用户分区数据删除，并删除所述用户分区目录信息中所述过期用户对应的用户分区目录信息。

综上，本申请实施例在接收到写请求时，基于固定分区的方式将所述写请求对应的数据写入至对应的工作节点；相对于现有技术上传后返回速度更快，能够缩短写数据的响应时间；且在后续查询数据的过程中，可以直接从工作节点中查找，相对于现有技术从上传的数据中下载数据的速度更快。以及在满足预设条件时，以非固定分区的方式上传所述工作节点中存储的数据，以实现将存储在工作节点中的数据进行重新分区上传；进而后续在查询数据的过程中，可以从重新分区的数据中查找所需查询的数据并下载该数据后返回，相对于现有技术确定固定分区中所需查询的数据速度更快；从而本申请实施例能够实现数据的快速写入与查询。

在上述实施例的基础上，本实施例还提供了一种数据处理装置，应用于数据仓库中。

参照图9，示出了本申请的另一种数据处理装置实施例的结构框图，具体可以包括如下模块：

查询模块902，用于在接收到查询请求时：从基于固定分区写入工作节点的数据中，获取所述查询请求对应的第一目标查询数据；和/或，从基于非固定分区的方式上传的数据中，下载所述查询请求对应的第二目标查询数据；

返回模块904，用于返回所述第一目标查询数据和第二目标查询数据。

参照图10，示出了本申请的另一种数据处理装置可选实施例的结构框图，具体可以包括如下模块：

本申请一个可选实施例中所述查询模块902，包括：

第一数据查询子模块9022，用于确定所述查询请求对应第一目标查询数据所在的目标工作节点；从基于固定分区写入目标工作节点的数据中，查找所述查询请求对应第一目标查询数据。

本申请一个可选实施例中，所述的装置还包括：

元数据确定模块906，用于依据用户分区目录信息，确定所述查询请求对应的目标用户分区元数据；所述用户分区目录信息与以非固定分区的方式上传的数据对应；

所述查询模块902，包括：

第二数据查询子模块9024，用于确定多个空闲工作节点；调用所述多个空闲工作节点从基于非固定分区的方式上传的数据中，依据所述目标用户分区元数据并行下载所述查询请求对应的第二目标查询数据。

本申请一个可选实施例中，所述用户分区目录信息包括：用户分区统计信息和用户分区元数据目录；

所述元数据确定模块906，用于从所述查询请求中提取查询条件，并根据查询条件确定候选用户分区；依据所述用户分区统计信息对所述候选用户分区进行剪枝，确定目标查询用户分区；依据所述用户分区元数据目录，确定目标查询用户分区对应的目标用户分区元数据。

本申请一个可选实施例中，所述返回模块904，用于将所述第一目标查询数据和第二目标查询数据合并，并对合并的数据去重后返回。

本申请一个可选实施例中，所述的装置还包括：

第二过期处理模块908，用于确定过期用户和所述过期用户对应的过期用户分区；将上传的用户分区数据中所述过期用户分区对应的用户分区数据删除，并删除所述用户分区目录信息中所述过期用户对应的用户分区目录信息。

综上，本申请实施例中，在接收到查询请求时：从基于固定分区写入工作节点的数据中，获取所述查询请求对应的第一目标查询数据；进而相对于现有技术从上传的数据中下载数据而言，查询速度快；以及可以从基于非固定分区的方式上传的数据中，下载所述查询请求对应的第二目标查询数据；相对于现有技术确定固定分区中所需查询的数据速度更快；再返回所述第一目标查询数据和第二目标查询数据，从而能够提高查询速度。

在上述实施例的基础上，本实施例还提供了一种数据处理装置，应用于数据仓库中。

参照图11，示出了本申请的又一种数据处理装置实施例的结构框图，具体可以包括如下模块：

用户确定模块1102，用于确定待进行计费的目标计费用户，以及所述目标计费用户对应的目标计费用户分区；

计费查询模块1104，用于基于所述目标计费用户分区查询用户分区目录信息，确定所述目标计费用户对应用户分区数据的占用信息；所述用户分区目录信息与以非固定分区的方式上传的数据对应；

计费模块1106，用于依据所述目标计费用户对应的用户分区数据的占用信息，对所述目标计费用户存储的数据进行计费。

综上，本申请实施例中，可以确定待进行计费的目标计费用户，以及所述目标计费用户对应的目标计费用户分区，然后基于所述目标计费用户分区查询用户分区目录信息，确定所述目标计费用户对应用户分区数据的占用信息，再依据所述目标计费用户对应的用户分区数据的占用信息，对所述目标计费用户存储的数据进行计费；由于所述数据仓库中存储的是有效的用户分区数据和有效的用户分区数据对应的用户分区目录信息，进而本申请实施例能够实现准确的计费。且本申请实施例中有效的用户分区数据对应的用户分区目录信息，是集中管理的，通过用户分区元数据目录可以查询到用户在对象存储服务模块中占用信息，而无需遍历所有的用户分区数据，能够实现快速的进行计费。

在上述实施例的基础上，本实施例还提供了一种数据处理装置，应用于审计日志数据仓库中。

参照图12，示出了本申请的再一种数据处理装置实施例的结构框图，具体可以包括如下模块：

日志写模块1202，用于在接收到写审计日志请求时，基于固定分区的方式将所述写审计日志请求对应的审计日志写入至对应的工作节点；

日志上传模块1204，用于在满足预设条件时，以非固定分区的方式上传所述工作节点中存储的审计日志。

在上述实施例的基础上，本实施例还提供了一种数据处理装置，应用于审计日志数据仓库中。

参照图13，示出了本申请的还一种数据处理装置实施例的结构框图，具体可以包括如下模块：

日志查询模块1302，用于在接收到审计日志查询请求时：从基于固定分区写入工作节点的审计日志中，获取所述查询请求对应的第一目标审计日志；和/或，从基于非固定分区的方式上传的审计日志中，下载所述查询请求对应的第二目标审计日志；

日志返回模块1304，用于返回所述第一目标审计日志和第二目标审计日志。

在上述实施例的基础上，本实施例还提供了一种数据处理装置，应用于审计日志数据仓库中。

参照图14，示出了本申请的还一种数据处理装置可选实施例的结构框图，具体可以包括如下模块：

日志计费用户确定模块1402，用于确定待进行审计日志计费的目标计费用户，以及所述目标计费用户对应的目标计费用户分区；

日志计费查询模块1404，用于基于所述目标计费用户分区查询用户分区目录信息，确定所述目标计费用户对应用户分区数据的占用信息；所述用户分区目录信息与以非固定分区的方式上传的审计日志对应；

日志计费模块1406，用于依据所述目标计费用户对应的用户分区数据的占用信息，对所述目标计费用户存储的审计日志进行计费。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例中各方法步骤的指令(instructions)。

本申请实施例提供了一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得电子设备执行如上述实施例中一个或多个所述的方法。本申请实施例中，所述电子设备包括终端设备、服务器(集群)等各类型的设备。

本公开的实施例可被实现为使用任意适当的硬件，固件，软件，或及其任意组合进行想要的配置的装置，该装置可包括终端设备、服务器(集群)等电子设备。图15示意性地示出了可被用于实现本申请中所述的各个实施例的示例性装置1500。

对于一个实施例，图15示出了示例性装置1500，该装置具有一个或多个处理器1502、被耦合到(一个或多个)处理器1502中的至少一个的控制模块(芯片组)1504、被耦合到控制模块1504的存储器1506、被耦合到控制模块1504的非易失性存储器(NVM)/存储设备1508、被耦合到控制模块1504的一个或多个输入/输出设备1510，以及被耦合到控制模块1504的网络接口1512。

处理器1502可包括一个或多个单核或多核处理器，处理器1502可包括通用处理器或专用处理器(例如图形处理器、应用处理器、基频处理器等)的任意组合。在一些实施例中，装置1500能够作为本申请实施例中所述终端设备、服务器(集群)等设备。

在一些实施例中，装置1500可包括具有指令1514的一个或多个计算机可读介质(例如，存储器1506或NVM/存储设备1508)以及与该一个或多个计算机可读介质相合并被配置为执行指令1514以实现模块从而执行本公开中所述的动作的一个或多个处理器1502。

对于一个实施例，控制模块1504可包括任意适当的接口控制器，以向(一个或多个)处理器1502中的至少一个和/或与控制模块1504通信的任意适当的设备或组件提供任意适当的接口。

控制模块1504可包括存储器控制器模块，以向存储器1506提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。

存储器1506可被用于例如为装置1500加载和存储数据和/或指令1514。对于一个实施例，存储器1506可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，存储器1506可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。

对于一个实施例，控制模块1504可包括一个或多个输入/输出控制器，以向NVM/存储设备1508及(一个或多个)输入/输出设备1510提供接口。

例如，NVM/存储设备1508可被用于存储数据和/或指令1514。NVM/存储设备1508可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。

NVM/存储设备1508可包括在物理上作为装置1500被安装在其上的设备的一部分的存储资源，或者其可被该设备访问可不必作为该设备的一部分。例如，NVM/存储设备1508可通过网络经由(一个或多个)输入/输出设备1510进行访问。

(一个或多个)输入/输出设备1510可为装置1500提供接口以与任意其他适当的设备通信，输入/输出设备1510可以包括通信组件、音频组件、传感器组件等。网络接口1512可为装置1500提供接口以通过一个或多个网络通信，装置1500可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信，例如接入基于通信标准的无线网络，如WiFi、2G、3G、4G、5G等，或它们的组合进行无线通信。

对于一个实施例，(一个或多个)处理器1502中的至少一个可与控制模块1504的一个或多个控制器(例如，存储器控制器模块)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器1502中的至少一个可与控制模块1504的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器1502中的至少一个可与控制模块1504的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器1502中的至少一个可与控制模块1504的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。

在各个实施例中，装置1500可以但不限于是：服务器、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。在各个实施例中，装置1500可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，装置1500包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。

其中，检测装置中可采用主控芯片作为处理器或控制模块，传感器数据、位置信息等存储到存储器或NVM/存储设备中，传感器组可作为输入/输出设备，通信接口可包括包括网络接口。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种数据处理方法和装置，一种电子设备、一种存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (34)

1.一种数据处理方法，应用于数据仓库中，包括：

在接收到写请求时，基于固定分区的方式将所述写请求对应的数据写入至对应的工作节点；

在满足预设条件时，以非固定分区的方式上传所述工作节点中存储的数据。

2.根据权利要求1所述的方法，所述基于固定分区的方式将所述写请求对应的数据写入至对应的工作节点，包括：

确定所述写请求对应用户预先指定的分片数量和用户标识；

依据所述用户标识和分片数量确定对应的存储空间，并将所述写请求对应的数据写入所述存储空间对应工作节点。

3.根据权利要求2所述的方法，所述将所述写请求对应的数据写入所述存储空间对应工作节点，包括：

确定所述存储空间对应的工作节点组，所述工作节点组由多个工作节点组成；

将所述写请求对应的数据，写入所述存储空间对应工作节点组所包含的至少部分工作节点。

4.根据权利要求1所述的方法，所述的方法还包括判断所述工作节点的存储状态信息是否满足预设条件的步骤：

判断所述工作节点的数据存储量是否达到预设存储量阈值；和/或，判断所述工作节点的数据存储时长是否达到预设存储时长；

若所述工作节点的数据存储量达到预设存储量阈值，和/或所述工作节点的数据存储时长达到预设存储时长，则确定所述工作节点的存储状态信息满足预设条件。

5.根据权利要求1所述的方法，所述以非固定分区的方式上传所述工作节点中存储的数据，包括：

为所述工作节点中存储的数据构建用户分区，并确定所述用户分区对应的用户分区数据；

构建所述用户分区数据对应的用户分区目录信息，并上传所述用户分区数据。

6.根据权利要求5所述的方法，所述的方法还包括：

确定过期用户和所述过期用户对应的过期用户分区；

将上传的用户分区数据中所述过期用户分区对应的用户分区数据删除，并删除所述用户分区目录信息中所述过期用户对应的用户分区目录信息。

7.一种数据处理方法，应用于数据仓库中，包括：

在接收到查询请求时：

从基于固定分区写入工作节点的数据中，获取所述查询请求对应的第一目标查询数据；和/或，从基于非固定分区的方式上传的数据中，下载所述查询请求对应的第二目标查询数据；

返回所述第一目标查询数据和第二目标查询数据。

8.根据权利要求7所述的方法，所述从基于固定分区写入工作节点的数据中，获取所述查询请求对应的第一目标查询数据，包括：

确定所述查询请求对应第一目标查询数据所在的目标工作节点；

从基于固定分区写入目标工作节点的数据中，查找所述查询请求对应第一目标查询数据。

9.根据权利要求7所述的方法，所述的方法还包括：

依据用户分区目录信息，确定所述查询请求对应的目标用户分区元数据；所述用户分区目录信息与以非固定分区的方式上传的数据对应；

所述从基于非固定分区的方式上传的数据中，下载所述查询请求对应的第二目标查询数据，包括：

确定多个空闲工作节点；

调用所述多个空闲工作节点从基于非固定分区的方式上传的数据中，依据所述目标用户分区元数据并行下载所述查询请求对应的第二目标查询数据。

10.根据权利要求9所述的方法，所述用户分区目录信息包括：用户分区统计信息和用户分区元数据目录；

所述依据用户分区目录信息，确定所述查询请求对应的目标用户分区元数据，包括：

从所述查询请求中提取查询条件，并根据查询条件确定候选用户分区；

依据所述用户分区统计信息对所述候选用户分区进行剪枝，确定目标查询用户分区；

依据所述用户分区元数据目录，确定目标查询用户分区对应的目标用户分区元数据。

11.根据权利要求7所述的方法，所述返回所述第一目标查询数据和第二目标查询数据，包括：

将所述第一目标查询数据和第二目标查询数据合并，并对合并的数据去重后返回。

12.根据权利要求9所述的方法，所述的方法还包括：

确定过期用户和所述过期用户对应的过期用户分区；

将上传的用户分区数据中所述过期用户分区对应的用户分区数据删除，并删除所述用户分区目录信息中所述过期用户对应的用户分区目录信息。

13.一种数据处理方法，应用于数据仓库中，包括：

确定待进行计费的目标计费用户，以及所述目标计费用户对应的目标计费用户分区；

基于所述目标计费用户分区查询用户分区目录信息，确定所述目标计费用户对应用户分区数据的占用信息；所述用户分区目录信息与以非固定分区的方式上传的数据对应；

依据所述目标计费用户对应的用户分区数据的占用信息，对所述目标计费用户存储的数据进行计费。

14.一种数据处理方法，应用于审计日志数据仓库中，包括：

在接收到写审计日志请求时，基于固定分区的方式将所述写审计日志请求对应的审计日志写入至对应的工作节点；

在满足预设条件时，以非固定分区的方式上传所述工作节点中存储的审计日志。

15.一种数据处理方法，应用于审计日志数据仓库中，包括：

在接收到审计日志查询请求时：

从基于固定分区写入工作节点的审计日志中，获取所述查询请求对应的第一目标审计日志；和/或，从基于非固定分区的方式上传的审计日志中，下载所述查询请求对应的第二目标审计日志；

返回所述第一目标审计日志和第二目标审计日志。

16.一种数据处理方法，应用于审计日志数据仓库中，包括：

确定待进行审计日志计费的目标计费用户，以及所述目标计费用户对应的目标计费用户分区；

基于所述目标计费用户分区查询用户分区目录信息，确定所述目标计费用户对应用户分区数据的占用信息；所述用户分区目录信息与以非固定分区的方式上传的审计日志对应；

依据所述目标计费用户对应的用户分区数据的占用信息，对所述目标计费用户存储的审计日志进行计费。

17.一种数据处理装置，应用于数据仓库中，所述的装置包括：

写数据模块，用于在接收到写请求时，基于固定分区的方式将所述写请求对应的数据写入至对应的工作节点；

上传模块，用于在满足预设条件时，以非固定分区的方式上传所述工作节点中存储的数据。

18.根据权利要求17所述的装置，所述写数据模块，包括：

确定子模块，用于确定所述写请求对应用户预先指定的分片数量和用户标识；

写入子模块，用于依据所述用户标识和分片数量确定对应的存储空间，并将所述写请求对应的数据写入所述存储空间对应工作节点。

19.根据权利要求18所述的装置，

所述写入子模块，用于确定所述存储空间对应的工作节点组，所述工作节点组由多个工作节点组成；将所述写请求对应的数据，写入所述存储空间对应工作节点组所包含的至少部分工作节点。

20.根据权利要求17所述的装置，所述的装置还包括：

判断模块，用于判断所述工作节点的存储状态信息是否满足预设条件；

所述判断模块，具体用于判断所述工作节点的数据存储量是否达到预设存储量阈值；和/或，判断所述工作节点的数据存储时长是否达到预设存储时长；若所述工作节点的数据存储量达到预设存储量阈值，和/或所述工作节点的数据存储时长达到预设存储时长，则确定所述工作节点的存储状态信息满足预设条件。

21.根据权利要求17所述的装置，

所述上传模块，用于为所述工作节点中存储的数据构建用户分区，并确定所述用户分区对应的用户分区数据；构建所述用户分区数据对应的用户分区目录信息，并上传所述用户分区数据。

22.根据权利要求21所述的装置，所述的装置还包括：

第一过期处理模块，用于确定过期用户和所述过期用户对应的过期用户分区；将上传的用户分区数据中所述过期用户分区对应的用户分区数据删除，并删除所述用户分区目录信息中所述过期用户对应的用户分区目录信息。

23.一种数据处理装置，应用于数据仓库中，所述的装置包括：

查询模块，用于在接收到查询请求时：从基于固定分区写入工作节点的数据中，获取所述查询请求对应的第一目标查询数据；和/或，从基于非固定分区的方式上传的数据中，下载所述查询请求对应的第二目标查询数据；

返回模块，用于返回所述第一目标查询数据和第二目标查询数据。

24.根据权利要求23所述的装置，所述查询模块，包括：

第一数据查询子模块，用于确定所述查询请求对应第一目标查询数据所在的目标工作节点；从基于固定分区写入目标工作节点的数据中，查找所述查询请求对应第一目标查询数据。

25.根据权利要求23所述的装置，所述的装置还包括：

元数据确定模块，用于依据用户分区目录信息，确定所述查询请求对应的目标用户分区元数据；所述用户分区目录信息与以非固定分区的方式上传的数据对应；

所述查询模块，包括：

第二数据查询子模块，用于确定多个空闲工作节点；调用所述多个空闲工作节点从基于非固定分区的方式上传的数据中，依据所述目标用户分区元数据并行下载所述查询请求对应的第二目标查询数据。

26.根据权利要求25所述的装置，所述用户分区目录信息包括：用户分区统计信息和用户分区元数据目录；

所述元数据确定模块，用于从所述查询请求中提取查询条件，并根据查询条件确定候选用户分区；依据所述用户分区统计信息对所述候选用户分区进行剪枝，确定目标查询用户分区；依据所述用户分区元数据目录，确定目标查询用户分区对应的目标用户分区元数据。

27.根据权利要求23所述的装置，

所述返回模块，用于将所述第一目标查询数据和第二目标查询数据合并，并对合并的数据去重后返回。

28.根据权利要求25所述的装置，所述的装置还包括：

第二过期处理模块，用于确定过期用户和所述过期用户对应的过期用户分区；将上传的用户分区数据中所述过期用户分区对应的用户分区数据删除，并删除所述用户分区目录信息中所述过期用户对应的用户分区目录信息。

29.一种数据处理装置，应用于数据仓库中，所述的装置包括：

用户确定模块，用于确定待进行计费的目标计费用户，以及所述目标计费用户对应的目标计费用户分区；

计费查询模块，用于基于所述目标计费用户分区查询用户分区目录信息，确定所述目标计费用户对应用户分区数据的占用信息；所述用户分区目录信息与以非固定分区的方式上传的数据对应；

计费模块，用于依据所述目标计费用户对应的用户分区数据的占用信息，对所述目标计费用户存储的数据进行计费。

30.一种数据处理装置，应用于审计日志数据仓库中，所述的装置包括：

日志写模块，用于在接收到写审计日志请求时，基于固定分区的方式将所述写审计日志请求对应的审计日志写入至对应的工作节点；

日志上传模块，用于在满足预设条件时，以非固定分区的方式上传所述工作节点中存储的审计日志。

31.一种数据处理装置，应用于审计日志数据仓库中，所述的装置包括：

日志查询模块，用于在接收到审计日志查询请求时：从基于固定分区写入工作节点的审计日志中，获取所述查询请求对应的第一目标审计日志；和/或，从基于非固定分区的方式上传的审计日志中，下载所述查询请求对应的第二目标审计日志；

日志返回模块，用于返回所述第一目标审计日志和第二目标审计日志。

32.一种数据处理装置，应用于审计日志数据仓库中，所述的装置包括：

日志计费用户确定模块，用于确定待进行审计日志计费的目标计费用户，以及所述目标计费用户对应的目标计费用户分区；

日志计费查询模块，用于基于所述目标计费用户分区查询用户分区目录信息，确定所述目标计费用户对应用户分区数据的占用信息；所述用户分区目录信息与以非固定分区的方式上传的审计日志对应；

日志计费模块，用于依据所述目标计费用户对应的用户分区数据的占用信息，对所述目标计费用户存储的审计日志进行计费。

33.一种电子设备，包括：处理器；和

存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如权利要求1-16中一个或多个所述的数据处理方法。

34.一个或多个机器可读介质，其上存储有可执行代码，当所述可执行代码被执行时，使得处理器执行如权利要求1-16中一个或多个所述的数据处理方法。

Images