CN117931731A - 一种数据管理方法、平台、电子设备及存储介质 - Google Patents

Abstract

本发明提供一种数据管理方法、平台、电子设备及存储介质，通过在接收到目标缓存数据的写入请求的情况下，将目标缓存数据从Alluxio中删除，再按照写入请求对底层存储中的该数据进行更新，并在更新结束后将目标缓存数据重新添加至Alluxio，由于在目标缓存数据更新过程中，该数据并不在Alluxio中，而是在数据更新结束后将数据重新挂载，使得Alluxio中的数据始终与底层存储层中的数据同步，保证Alluxio与底层存储的一致性，进而保证后续数据查询可靠性。

Description

一种数据管理方法、平台、电子设备及存储介质

技术领域

本发明涉及大数据领域，尤其涉及一种数据管理方法、平台、电子设备及存储介质。

背景技术

为了提高数据访问速度，较多企业会在大数据集群中采用Alluxio进行数据缓存，即将数据在底层存储中的存储路径挂载在Alluxio的文件夹中，访问该文件夹就相当于访问到了该数据。Alluxio是一个开源的提供内存速度访问的分布式存储系统，它作为应用层与底层存储的中间层，可以将底层数据中的数据进行缓存，以提供低延迟的数据访问。

但由于集群中的机器节点故障或数据更新不同步等问题，容易导致Alluxio中的数据与底层存储的数据不一致，这导致在数据查询场景中，可能返回错误结果。

为了保证Alluxio中的数据与底层数据的一致性，相关技术中通常会预先设置时间窗口，并按照该时间窗口对Alluxio中的数据与底层存储中的数据进行同步，但在时间窗口的前后依旧存在数据不一致的可能。

发明内容

有鉴于此，本发明实施例提供了一种数据管理方法、平台、电子设备及存储介质，以解决Alluxio与底层存储数据不一致的问题。

根据本发明的一方面，提供了一种数据管理方法，所述方法包括：

接收目标请求；所述目标请求中包含目标数据；

在所述目标数据的目标存储路径挂载在Alluxio中且所述目标请求为写入请求的情况下，解除所述目标存储路径对所述Alluxio的挂载，使得所述目标数据无法在Alluxio中被查询到；

按照所述目标请求对底层存储中的所述目标数据进行变更；

将变更后的所述目标数据的目标存储路径挂载至所述Alluxio中。

在一种可能的实施例中，所述方法还包括：在所述目标请求为查询请求的情况下，基于所述目标数据的元数据确定所述目标数据的目标存储路径是否挂载在所述Alluxio中，所述元数据用于存储数据的描述信息，所述描述信息包括数据的存储路径以及所述存储路径对所述Alluxio的挂载信息；

在所述目标存储路径挂载在所述Alluxio的情况下，从所述Alluxio中获取所述目标数据并返回；

所述解除所述目标存储路径对所述Alluxio的挂载之前，所述方法还包括：

将所述目标存储路径对所述Alluxio的挂载信息从所述目标数据的元数据中删除。

在一种可能的实施例中，所述方法还包括：在所述目标请求为挂载请求的情况下，禁止底层存储中所述目标数据的写入权限；

将所述目标数据的目标存储路径挂载至所述Alluxio；

将所述目标数据对所述Alluxio的挂载信息加入至所述目标数据的元数据中。

在一种可能的实施例中，所述方法还包括：在所述目标请求为解除挂载请求的情况下，将所述目标存储路径对所述Alluxio的挂载信息从所述目标数据的元数据中删除；

解除所述目标存储路径对所述Alluxio的挂载；

开放所述底层存储中所述目标数据的写入权限。

根据本发明的另一方面，提供了一种数据管理平台，所述平台包括：

接收模块，用于接收目标请求；所述目标请求中包含目标数据；

控制模块，用于在所述目标数据的目标存储路径挂载在Alluxio中且所述目标请求为写入请求的情况下，解除所述目标存储路径对所述Alluxio的挂载，使得所述目标数据无法在Alluxio中被查询到；按照所述目标请求对底层存储中的所述目标数据进行变更；将变更后的所述目标数据的目标存储路径挂载至所述Alluxio中。

在一种可能的实施例中，所述控制模块，还用于在所述目标请求为查询请求的情况下，基于所述目标数据的元数据确定所述目标数据的目标存储路径是否挂载在所述Alluxio中，所述元数据用于存储数据的描述信息，所述描述信息包括数据的存储路径以及所述存储路径对所述Alluxio的挂载信息；在所述目标存储路径挂载在所述Alluxio的情况下，从所述Alluxio中获取所述目标数据并返回；所述解除所述目标存储路径对所述Alluxio的挂载之前，将所述目标存储路径对所述Alluxio的挂载信息从所述目标数据的元数据中删除。

在一种可能的实施例中，所述控制模块，还用于在所述目标请求为挂载请求的情况下，禁止底层存储中所述目标数据的写入权限；将所述目标数据的目标存储路径挂载至所述Alluxio；将所述目标数据对所述Alluxio的挂载信息加入至所述目标数据的元数据中。

在一种可能的实施例中，所述控制模块，还用于在所述目标请求为解除挂载请求的情况下，将所述目标存储路径对所述Alluxio的挂载信息从所述目标数据的元数据中删除；解除所述目标存储路径对所述Alluxio的挂载；开放所述底层存储中所述目标数据的写入权限。

根据本发明的另一方面，提供了一种电子设备，包括：

处理器；以及

存储程序的存储器，

其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行上述任一项所述的数据管理方法。

根据本发明的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行上述任一项所述的数据管理方法。

本发明实施例中提供的一个或多个技术方案，通过在接收到写入请求的情况下，通过在接收到目标缓存数据的写入请求的情况下，将目标缓存数据从Alluxio中删除，再按照写入请求对底层存储中的该数据进行更新，并在更新结束后将目标缓存数据重新添加至Alluxio，由于在目标缓存数据更新过程中，该数据并不在Alluxio中，而是在数据更新结束后将数据重新挂载，使得Alluxio中的数据始终与底层存储层中的数据同步，保证Alluxio与底层存储的一致性，进而保证后续数据查询可靠性。

附图说明

在下面结合附图对于示例性实施例的描述中，本发明的更多细节、特征和优点被公开，在附图中：

图1为本发明提供的数据管理方法的一种流程示意图；

图2为本发明提供的数据管理方法的又一种流程示意图；

图3为本发明提供的数据管理方法的又一种流程示意图；

图4为本发明实施例提供的数据管理平台的一种结构示意图；

图5示出了能够用于实现本发明的实施例的示例性电子设备的结构框图。

具体实施方式

下面将参照附图更详细地描述本发明的实施例。虽然附图中显示了本发明的某些实施例，然而应当理解的是，本发明可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本发明。应当理解的是，本发明的附图及实施例仅用于示例性作用，并非用于限制本发明的保护范围。

应当理解，本发明的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本发明的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本发明中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本发明实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

为了保证Alluxio中的数据与底层数据中的一致性，本发明提供了一种数据管理方法、平台、电子设备及存储介质。本发明实施例提供的数据管理方法可以应用于任意具有数据管理功能的电子设备中，该电子设备可以是服务器、计算机以及移动终端等等。以下参照附图描述本发明的方案：

图1为本发明实施例提供的数据管理方法的一种流程示意图，如图1所示，该数据管理方法可以包括以下步骤：

S101、接收目标请求；该目标请求中包含目标数据；

S102、在目标数据的目标存储路径挂载在Alluxio中且目标请求为写入请求的情况下，解除目标存储路径对Alluxio的挂载，使得该目标数据无法在Alluxio中被查询到；

S103、按照目标请求对底层存储中的该目标数据进行变更；

S104、将变更后的目标数据的目标存储路径挂载至Alluxio中。

应用本发明实施例，通过在接收到针对Alluxio中缓存的目标数据的写入请求的情况下，解除目标数据的存储路径对Alluxio的挂载，即删除目标数据在Alluxio中的缓存，再按照写入请求对底层存储中的该目标数据进行更新，并在完成更新后，将目标数据重新挂载至Alluxio中。由于在目标数据更新过程中，该数据不在Alluxio中缓存，即在数据变更过程中并不能在Alluxio中查询到该数据，避免查询场景中，Alluxio中与底层存储中的数据不一致导致的查询错误，而在完成对目标数据的更新后，再将目标缓存至Alluxio中，使得变更前后Alluxio中的数据与底层存储中的数据始终一致，通过保证Alluxio与底层存储的一致性，进而保证后续数据查询可靠性。

下面对上述S101-S104进行示例性说明：

S101中，目标请求可以是用户通过数据查询引擎发出，在一种可能的实施例中，上述数据查询引擎可以是Pesto。Pesto是一个开源的分布式SQL查询引擎，它可以快速查询大规模数据，支持多种数据源，并具有高度灵活的查询能力。Presto通常用于执行复杂的数据分析和查询操作。在其他实施例中，也可以通过其他OLAP(Online AnalyticalProcessing，在线分析处理，一种数据处理方式，通常用于处理大规模、离线且分散的数据集)数据查询引擎发出上述目标请求，如Impala、Druid、Kylin、Doris、Clickhouse、Greenplum等等，上述数据查询引擎可以根据实际需要选择，本发明对此不做具体限定。

上述目标请求中可以包括请求针对的目标数据信息，上述目标数据信息可以包括目标数据标识、存储路径等等。上述目标数据标识可以是目标数据名称、编码等等。目标请求中可以包括一个或多个目标数据的信息，本发明对此不作具体限定。

目标请求可以有多种类型。在一种可能的实施例中，目标请求的类型可以包括写入请求、挂载请求、解除挂载请求以及查询请求等等。上述写入请求指的是对底层存储进行变更的请求，上述变更包括新增数据、修改数据以及删除数据等。上述挂载请求指的是请求将数据在底层存储中存储路径挂载至Alluxio中，即将数据增加至Alluxio中进行缓存，以使数据可以在Alluxio中被查询到。上述解除挂载请求指的是请求将挂载在Alluxio中的存储路径从Alluxio中删除，使得数据无法在Alluxio中被查询到。上述查询请求则指的是对底层存储或Alluxio中的数据进行查询。

大数据集群中通常会使用分布式文件系统作为底层存储来存储各种数据，并通过Hive对分布式文件系统中的数据进行管理。Hive是基于Hadoop(一种分布式系统基础架构)的一个数据仓库工具，用来进行数据提取、转化以及加载等等。在一种可能的实施例中，可以采用分布式文件系统作为底层存储，并使用Hive对该底层存储进行数据提取、转化以及加载等。在其他实施例中，也可以采用其他的分布式存储系统作为底层存储，本发明对此不作具体限定。

Hive中通常会使用元数据Hivemeta存储数据的描述信息，该描述信息通常包括数据的在底层存储中的存储路径以及存储时间等。在一种可能的实施例中，上述元数据中还可以包括数据的挂载信息。该挂载信息中可以包括数据的存储路径是否挂载在Alluxio中的信息以及该数据在Alluxio中的目录，即该数据在Alluxio中的存储位置。

在一种可能的实施例中，在上述目标请求为查询请求的情况下，可以基于目标数据的元数据确定目标数据的目标存储路径是否挂载在Alluxio中，在目标存储路径挂载在所述Alluxio的情况下，从所述Alluxio中获取所述目标数据并返回。若上述目标数据的存储位置未挂载在Alluxio中，则从底层存储中获取目标数据返回。

在一种可能的实施例中，在上述目标请求为写入请求的情况下，可以先确定该目标请求中包含的目标数据是否为Alluxio中的缓存数据。作为一种可能的实施方式，在接收到目标请求后，可以基于目标请求中包含的目标数据标识在Hive中确定目标数据的目标存储路径是否挂载在Alluxio中。若目标存储路径挂载在Alluxio中，则可确定目标数据为Alluxio中的缓存数据。

在一种可能的实施例中，还可以在元数据库中设置白名单，该白名单用于存储挂载至Alluxio的目标数据的元数据。在获取目标请求后，可以按照目标请求中包含的目标数据标识在该白名单中查找目标数据，若查找到，则确定目标数据挂载Alluxio中，为Alluxio中的缓存数据；若未查找到，则确定目标数据不在Alluxio中缓存。

在上述目标请求为针对Alluxio中的缓存数据的写入请求的情况下，解除上述目标存储路径对Alluxio的挂载，并在解除目标存储路径对Alluxio的挂载之后，开放该目标数据的变更权限，进而可以按照该目标请求对目标数据进行变更。解除目标存储路径对Alluxio的挂载指的是，从Alluxio目录中将目标存储路径删除，或将目标存储路径所在的Alluxio中的文件夹删除。

作为一种可能的实施方式，可以按照目标请求中包含的目标数据标识，从目标数据的元数据中确定目标数据在底层存储中的目标存储路径，并按照该目标存储路径对目标数据进行新增、修改或删除等等。

如上所述，在某些查询场景中会按照数据的元数据确定目标数据是否缓存在Alluxio中，为了进一步避免查询到错误数据，在解除目标存储路径对Alluxio的挂载之前可以先将所述目标存储路径对所述Alluxio的挂载信息从所述目标数据的元数据中删除。

这样，通过在Hive以及Alluxio中删除需要变更的目标数据，再对目标数据进行变更，避免在变更过程中查询到错误数据，进一步提高数据查询可靠性。

若上述写入请求中包含的目标数据不在Alluxio中缓存，而是仅在底层存储中存储，则允许该目标数据变更。即在接收到目标请求后，即可按照目标请求对底层存储中的目标数据进行变更。

在一种可能的实施例中，在上述目标请求为挂载请求的情况下，可以禁止底层存储中所述目标数据的写入权限；将所述目标数据的目标存储路径挂载至所述Alluxio；将所述目标数据对所述Alluxio的挂载信息加入至所述目标数据的元数据中。

通过上述技术方案，先禁止底层存储中目标数据的变更权限，再将目标数据挂载至Alluxio，避免由于在挂载过程中对底层存储的数据进行变更，导致的Alluxio中数据与底层存储数据不一致的问题，保证后续数据查询的可靠性。

在一种可能的实施例中，上述挂载请求可以通过Presto发出。为了便于数据管理，大数据集群中通常会使用分表、分区等方式，将具有相同属性的数据存储在同一表或区中。上述属性可以指存储时间、数据所属业务、数据管理人员等等。示例性的，可以预设多个时间段，并将存储时间在同一时间段的数据存储在同一分区，在需要删除旧数据时，可以按照各分区对应的时间段，对相应分区中的数据进行整体删除。在一种可能的实施例中，上述挂载请求中包括的目标数据可以是单个的目标数据，也可以是目标数据分区，相应的，上述目标请求中还可以包括目标分区标识、目标分区存储路径等等。

在一种可能的实施例中，可以通过执行挂载指令Mount将目标数据挂载至Alluxio中。Mount指令可以将分区挂载至Alluxio的一个文件夹下，从而将底层存储中该分区与Alluxio中该文件夹目录联系起来，访问到该文件夹即访问到该分区。

在一种可能的实施例中，在所述目标请求为解除挂载请求的情况下，将所述目标存储路径对所述Alluxio的挂载信息从所述目标数据的元数据中删除；

解除所述目标存储路径对所述Alluxio的挂载；

开放所述底层存储中所述目标数据的写入权限。

响应解除挂载请求的具体执行步骤已在上文进行示例性说明，此处不再赘述。

在一种可能的实施例中，本发明提供的数据管理方法可以应用在预设的数据管理平台中。

如图2所示，图2为本发明实施例提供的数据管理方法的一种流程示意图，该图中示出了挂载Alluxio的流程以及从Alluxio中解除挂载的流程。

将数据挂载至Alluxio的流程可以包括以下步骤：

1、数据管理平台获取用户发送的挂载请求，该挂载请求中可以包括目标数据标识、目标数据在底层存储中的存储路径Location以及挂载至Alluxio中的目录等等。

2、数据管理平台禁止底层存储中挂载请求中包括的存储路径的写入权限。

3、数据管理平台将该存储路径挂载至Alluxio中。

4、数据管理平台将该目标数据的存储路径挂载在Alluxio中的信息加入至元数据Hivemeta中。

5、数据管理平台向用户返回挂载成功信息。

解除挂载的流程可以包括以下步骤：

①、数据管理平台获取用户发送的解除挂载请求，该解除挂载请求中可以包括目标数据标识、目标数据挂载在Alluxio中的目录以及目标数据在底层存储中的存储路径等等。

②、数据管理平台将该目标数据的挂载信息从目标数据元数据中删除。

示例性的，也可以从预设的元数据白名单中将目标数据删除，该元数据白名单中可以保存挂载至Alluxio中的数据的元数据。

③、数据管理平台从Alluxio中删除缓存的目标数据，即取消目标数据存储路径在Alluxio中的挂载。

④、数据管理平台打开底层存储中目标数据存储路径的写入权限。

⑤、向用户返回路径移除缓存成功信息。

图3示出了不同查询引擎读取底层存储中的数据的流程：

针对Presto通过文件系统请求数据的场景：在接收到请求后，通过元数据获取到目标数据的存储路径，通过文件系统访问到该路径，若该请求是请求读Alluxio数据，则允许该请求通过，即可以按照该请求进行缓存数据读取；若该请求为写Alluxio数据，则不允许通过，即禁止变更缓存数据；若该请求是针对是底层存储中的数据，则任意请求类型都可以通过，即可以读写底层存储中的数据。

对于其他查询引擎通过文件系统请求数据的场景：通过元数据获取到目标数据的存储路径后，若该请求是请求读取加入到Alluxio中的数据，则允许通过，即允许读缓存数据；若该请求是写入挂载至Alluxio的数据，即变更缓存数据，则不允许通过，即禁止变更缓存数据；若该请求是针对底层存储中的非缓存数据，则任意请求类型都可以通过。

通过应用本发明实施例，通过禁止目标数据的写入权限后再将目标数据挂载至Alluxio中，避免在操作过程中出现请求到错误数据的现象，又通过操作的原子性来保证操作过程中的数据一致性。通过保证控制底层数据的修改权限进而保证数据的最终一致性。

而且应用本发明实施例，可以通过Hive控制底层数据变更来实现Alluxio中的数据变更，无需设置统一的数据变更入口，并将所有引擎同步接入Alluxio。另外，在数据变更前后仅需对Alluxio执行挂载、解除挂载操作，无需同步变更底层存储以及Alluxio，降低对Alluxio集群的性能影响。

基于相同的发明构思，本发明还提供了一种数据管理平台，如图4所示，该数据管理平台400可以包括：

接收模块401，用于接收目标请求；所述目标请求中包含目标数据；

控制模块402，用于在所述目标数据的目标存储路径挂载在Alluxio中且所述目标请求为写入请求的情况下，解除所述目标存储路径对所述Alluxio的挂载，使得所述目标数据无法在Alluxio中被查询到；按照所述目标请求对底层存储中的所述目标数据进行变更；将变更后的所述目标数据的目标存储路径挂载至所述Alluxio中。

在一种可能的实施例中，所述控制模块402，还用于在所述目标请求为查询请求的情况下，基于所述目标数据的元数据确定所述目标数据的目标存储路径是否挂载在所述Alluxio中，所述元数据用于存储数据的描述信息，所述描述信息包括数据的存储路径以及所述存储路径对所述Alluxio的挂载信息；在所述目标存储路径挂载在所述Alluxio的情况下，从所述Alluxio中获取所述目标数据并返回；在所述解除所述目标存储路径对所述Alluxio的挂载之前，将所述目标存储路径对所述Alluxio的挂载信息从所述目标数据的元数据中删除。

在一种可能的实施例中，所述控制模块402，还用于在所述目标请求为挂载请求的情况下，禁止底层存储中所述目标数据的写入权限；将所述目标数据的目标存储路径挂载至所述Alluxio；将所述目标数据对所述Alluxio的挂载信息加入至所述目标数据的元数据中。

在一种可能的实施例中，所述控制模块402，还用于在所述目标请求为解除挂载请求的情况下，将所述目标存储路径对所述Alluxio的挂载信息从所述目标数据的元数据中删除；解除所述目标存储路径对所述Alluxio的挂载；开放所述底层存储中所述目标数据的写入权限。

本发明示例性实施例还提供一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器。所述存储器存储有能够被所述至少一个处理器执行的计算机程序，所述计算机程序在被所述至少一个处理器执行时用于使所述电子设备执行根据本发明实施例的方法。

本发明示例性实施例还提供一种存储有计算机程序的非瞬时计算机可读存储介质，其中，所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本发明实施例的方法。

本发明示例性实施例还提供一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本发明实施例的方法。

参考图5，现将描述可以作为本发明的服务器或客户端的电子设备500的结构框图，其是可以应用于本发明的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图5所示，电子设备500包括计算单元501，其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储电子设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

电子设备500中的多个部件连接至I/O接口505，包括：输入单元506、输出单元507、存储单元508以及通信单元509。输入单元506可以是能向电子设备500输入信息的任何类型的设备，输入单元506可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入。输出单元507可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元508可以包括但不限于磁盘、光盘。通信单元509允许电子设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙TM设备、Wifi设备、Wimax设备、蜂窝通信设备和/或类似物。

计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理。例如，在一些实施例中，数据管理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM502和/或通信单元509而被载入和/或安装到电子设备500上。在一些实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据管理方法。

用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

如本发明使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

Claims (10)

1.一种数据管理方法，其特征在于，所述方法包括：

接收目标请求；所述目标请求中包含目标数据；

在所述目标数据的目标存储路径挂载在Alluxio中且所述目标请求为写入请求的情况下，解除所述目标存储路径对所述Alluxio的挂载，使得所述目标数据无法在Alluxio中被查询到；

按照所述目标请求对底层存储中的所述目标数据进行变更；

将变更后的所述目标数据的目标存储路径挂载至所述Alluxio中。

2.根据权利要求1所述方法，其特征在于，所述方法还包括：

在所述目标请求为查询请求的情况下，基于所述目标数据的元数据确定所述目标数据的目标存储路径是否挂载在所述Alluxio中，所述元数据用于存储数据的描述信息，所述描述信息包括数据的存储路径以及所述存储路径对所述Alluxio的挂载信息；

在所述目标存储路径挂载在所述Alluxio的情况下，从所述Alluxio中获取所述目标数据并返回；

所述解除所述目标存储路径对所述Alluxio的挂载之前，所述方法还包括：

将所述目标存储路径对所述Alluxio的挂载信息从所述目标数据的元数据中删除。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述目标请求为挂载请求的情况下，禁止底层存储中所述目标数据的写入权限；

将所述目标数据的目标存储路径挂载至所述Alluxio；

将所述目标数据对所述Alluxio的挂载信息加入至所述目标数据的元数据中。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述目标请求为解除挂载请求的情况下，将所述目标存储路径对所述Alluxio的挂载信息从所述目标数据的元数据中删除；

解除所述目标存储路径对所述Alluxio的挂载；

开放所述底层存储中所述目标数据的写入权限。

5.一种数据管理平台，其特征在于，所述平台包括：

接收模块，用于接收目标请求；所述目标请求中包含目标数据；

控制模块，用于在所述目标数据的目标存储路径挂载在Alluxio中且所述目标请求为写入请求的情况下，解除所述目标存储路径对所述Alluxio的挂载，使得所述目标数据无法在Alluxio中被查询到；按照所述目标请求对底层存储中的所述目标数据进行变更；将变更后的所述目标数据的目标存储路径挂载至所述Alluxio中。

6.根据权利要求5所述平台，其特征在于，

所述控制模块，还用于在所述目标请求为查询请求的情况下，基于所述目标数据的元数据确定所述目标数据的目标存储路径是否挂载在所述Alluxio中，所述元数据用于存储数据的描述信息，所述描述信息包括数据的存储路径以及所述存储路径对所述Alluxio的挂载信息；在所述目标存储路径挂载在所述Alluxio的情况下，从所述Alluxio中获取所述目标数据并返回；在所述解除所述目标存储路径对所述Alluxio的挂载之前，将所述目标存储路径对所述Alluxio的挂载信息从所述目标数据的元数据中删除。

7.根据权利要求5所述的平台，其特征在于，

所述控制模块，还用于在所述目标请求为挂载请求的情况下，禁止底层存储中所述目标数据的写入权限；将所述目标数据的目标存储路径挂载至所述Alluxio；将所述目标数据对所述Alluxio的挂载信息加入至所述目标数据的元数据中。

8.根据权利要求5所述的平台，其特征在于，

所述控制模块，还用于在所述目标请求为解除挂载请求的情况下，将所述目标存储路径对所述Alluxio的挂载信息从所述目标数据的元数据中删除；解除所述目标存储路径对所述Alluxio的挂载；开放所述底层存储中所述目标数据的写入权限。

9.一种电子设备，包括：

处理器；以及

存储程序的存储器，

其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-4中任一项所述的方法。

10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-4中任一项所述的方法。