CN114372081A - 数据准备方法、装置和设备 - Google Patents

Abstract

本申请提供了一种数据准备方法、装置和设备，获取包括不同类型的查询请求的查询操作；从每个查询请求对应的数据集中获取每个查询请求对应的待查询信息；根据所有待查询信息和每个查询请求对应的查询类型，确定数据连接模式；根据每个待查询信息，提取每个查询请求对应的查询数据；基于数据连接模式，根据查询数据、待查询信息和所有查询数据之间预设的关联关系，确定并输出查询操作对应的目标查询信息。本方案针对多个不同查询类型的查询请求进行数据查询，并输出对应的目标查询信息，能够实现不同查询类型的数据查询，满足不同层次人员以及多种场景下进行数据准备的需求，提高数据查询的便捷性和数据集实用性，从而提高数据分析查询效率。

Description

数据准备方法、装置和设备

技术领域

本申请涉及数据处理技术领域，具体涉及一种数据准备方法、装置和设备。

背景技术

数据准备是从不同的数据源中提取数据、进行准确性检查、转换和合并整理，并载入到数据库，供应用程序分析、应用的综合过程。目前，通常使用数据集进行数据准备，相比于以往利用技术人员编写SQL查询语句进行查询，使用数据集进行数据准备的难度较小，便捷性和实用性更高。

常见的数据集类型有SQL数据集、自助数据集、存储过程数据集等。通常，专业技术人员习惯借助SQL构建SQL数据集，业务人员习惯利用ETL高级查询通过简单的拖拽构建自助数据集，还有的用户需要导入外部数据等。但是，现有技术中的数据集并不能同时满足不同层次人员以及多种场景下进行数据准备的需求，导致实用性和便捷性较低，影响数据分析查询效率。

发明内容

有鉴于此，本申请实施例致力于提供一种数据准备方法、装置和设备，以解决现有技术中不能同时满足不同层次人员以及多种场景下进行数据准备的需求，导致实用性和便捷性较低，影响数据分析查询效率的问题。

本申请一方面提供了一种数据准备方法，包括：

获取用户输入的查询操作，其中，所述查询操作包括至少一个不同类型的查询请求；

从每个所述查询请求对应的数据集中获取每个所述查询请求对应的待查询信息；

根据所有待查询信息和每个查询请求对应的查询类型，确定数据连接模式；

利用所述数据连接模式，根据每个所述待查询信息，提取每个所述查询请求对应的查询数据；

基于所述数据连接模式，根据所述查询数据、所述待查询信息和所有查询数据之间预设的关联关系，确定并输出所述查询操作对应的目标查询信息。

可选的，上述数据准备方法中，所述获取用户输入的查询操作之前，还包括：

定义目标数据接口，以使各个待连接数据集按照所述目标数据接口定义对应的取数接口；

通过所述目标数据接口，与各个待连接数据集对应的取数接口相连。

可选的，上述数据准备方法中，所述获取用户输入的查询操作之后，还包括：

判断所有待连接数据集中是否包含查询操作中每个查询请求对应的数据集；

若所有待连接数据集中未包含每个查询请求对应的数据集，则将所有待连接数据集中未包含的查询请求对应的数据集作为第一数据集；

将所述目标数据接口对应的接口信息发送给所述第一数据集，以使所述第一数据集根据所述接口信息定义与所述目标数据接口对应的取数接口。

可选的，上述数据准备方法中，所述根据所有待查询信息和每个查询请求对应的查询类型，确定数据连接模式，包括：

判断所有查询请求对应的查询类型中是否存在预先设置的抽取查询类型；

若所有查询类型中存在所述抽取查询类型，则确定数据连接模式为抽取模式；

若所有查询类型中不存在所述抽取查询类型，则根据所有待查询信息和历史查询数据对应的历史数据源，确定数据连接模式。

可选的，上述数据准备方法中，所述待查询信息包括：待查询标识和数据源链接；

所述根据所有待查询信息和历史查询数据对应的历史数据源，确定数据连接模式，包括：

判断所有数据源链接对应的数据源以及历史数据源是否均为同一数据源；

若所有数据源链接对应的数据源以及历史数据源不是同一数据源，则确定数据连接模式为抽取模式；

若所有数据源链接对应的数据源以及历史数据源均为同一数据源，则确定数据连接模式为直连模式。

可选的，上述数据准备方法中，所述基于所述数据连接模式，根据所述查询数据、所述待查询信息和所有查询数据之间的关联关系，确定并输出所述查询操作对应的目标查询信息，包括：

若所述数据连接模式为直连模式，则将所有查询数据作为目标查询信息；

若所述数据连接模式为抽取模式，则将所有查询数据加载到预设缓存数据库中，以使所述预设缓存数据库根据每个查询请求对应的查询数据，生成每个查询请求对应的缓存表；

根据所述待查询信息和所述关联关系，创建所述查询操作对应的多维查询表达式；

将所述多维查询表达式发送给多维分析引擎，以使所述多维分析引擎根据所述多维查询表达式对所述预设缓存数据库中存储的所有缓存表进行加工，得到所述查询操作对应的目标查询信息；

将所述目标查询信息输出。

可选的，上述数据准备方法中，所述基于所述数据连接模式，根据所述查询数据、所述待查询信息和所有查询数据之间预设的关联关系，确定并输出所述查询操作对应的目标查询信息之前，还包括：

若所述数据连接模式为抽取模式，则判断用户是否建立了所有查询请求对应的查询数据之间的关联；

若用户建立了所有查询请求对应的查询数据之间的关联，则接收用户输入的所有查询数据之间的关联关系；

若用户未建立所有查询请求对应的查询数据之间的关联，则建立所有查询数据之间的关联关系。

可选的，上述数据准备方法中，所述建立所有查询数据之间的关联关系，包括：

判断各个查询请求对应的查询数据之间是否能建立关联；

若各个查询请求对应的查询数据之间能建立关联，则生成所有查询数据之间的关联关系；

若各个查询请求对应的查询数据之间不能建立关联，则生成关系异常消息，以便通知用户各个查询请求对应的查询数据之间不能建立关联。

可选的，上述数据准备方法中，所述接收用户输入的所有查询数据之间的关联关系之后，还包括：

判断用户输入的所有查询数据之间的关联关系是否错误；

若用户输入的所有查询数据之间的关联关系错误，则生成关系错误消息，以便通知用户修改，直至接收到的用户输入的所有查询数据之间的关联关系正确。

可选的，上述数据准备方法中，所述根据所有待查询信息和每个查询请求对应的查询类型，确定数据连接模式之后，还包括：

接收用户输入的模式切换操作；

根据所述模式切换操作，对所述数据连接模式进行更新。

可选的，上述数据准备方法中，所述根据所述模式切换操作，对所述数据连接模式进行更新，包括：

若所述模式切换操作表示将直连模式切换为抽取模式，则将所述数据连接模式由直连模式更新为抽取模式；

若所述模式切换操作表示将抽取模式切换为直连模式，则将所述数据连接模式保持为抽取模式。

本申请另一方面提供了一种数据准备装置，包括：

操作获取模块，用于获取用户输入的查询操作，其中，所述查询操作包括至少一个查询请求；

信息获取模块，用于从每个所述查询请求对应的数据集中获取每个所述查询请求对应的待查询信息；

模式确定模块，用于根据所有待查询信息和每个查询请求对应的查询类型，确定数据连接模式；

数据提取模块，用于利用所述数据连接模式，根据每个所述待查询信息，提取每个所述查询请求对应的查询数据；

信息确定模块，用于基于所述数据连接模式，根据所述查询数据、所述待查询信息和所有查询数据之间预设的关联关系，确定并输出所述查询操作对应的目标查询信息。

本申请另一方面提供了一种数据准备电子设备，包括存储器和处理器；

其中，所述存储器与所述处理器连接，用于存储程序；

所述处理器，用于通过运行所述存储器中的程序，实现上述数据准备方法。

根据本申请提供的数据准备方法，先获取用户输入的包括不同类型的查询请求的查询操作；然后，从每个查询请求对应的数据集中获取每个查询请求对应的待查询信息；再根据所有待查询信息和每个查询请求对应的查询类型，确定数据连接模式；并根据每个待查询信息，提取每个查询请求对应的查询数据；最后，基于数据连接模式，根据查询数据、待查询信息和所有查询数据之间预设的关联关系，确定并输出查询操作对应的目标查询信息。采用本方案，可以针对多个不同查询类型的查询请求进行数据查询，并输出对应的目标查询信息，能够实现不同查询类型的数据查询，满足不同层次人员以及多种场景下进行数据准备的需求，提高数据查询的便捷性和数据集实用性，从而提高数据分析查询效率。

附图说明

图1是本申请实施例提供的一种数据准备方法的应用环境的示意图。

图2是本申请实施例提供的一种数据准备方法的流程示意图。

图3是本申请实施例提供的另一种数据准备方法的流程示意图。

图4是本申请实施例提供的确定数据连接模式的处理流程示意图。

图5是本申请实施例提供的又一种数据准备方法的流程示意图。

图6是本申请实施例提供的确定所有查询数据之间的关联关系的处理流程示意图。

图7是本申请实施例提供的一种数据准备装置的结构示意图。

图8是本申请实施例提供的一种数据准备设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“根据”是“至少部分地根据”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”。其它术语的相关定义将在下文描述中给出。

图1是本申请实施例提供的一种数据准备方法的应用环境的示意图。本申请提供的数据准备方法，可以应用于如图1所示的应用环境中。

如图1所示，本申请实施例提供的数据准备方法涉及用户终端100和服务器端200。用户终端100和服务器端200通信连接。

用户终端100例如可以但不限于是台式电脑、笔记本电脑、平板电脑和智能手机等用户终端设备。服务器端200例如可以由本地服务器设备或云端服务器来实现。

应当理解，图1所示出的应用环境仅仅是示例性的，而不应当构成对本文所描述的实施例的功能和范围的任何限制。

图2是本申请实施例提供的一种数据准备方法的流程示意图。

如图2所示，本实施例的数据准备方法包括步骤S101~S105，可以由服务器端实现。

S101、获取用户输入的查询操作。

示例性的，用户终端可以显示交互界面，以供用户输入查询操作，用户通过用户终端输入查询操作后，服务器端便可以获取用户输入的查询操作。其中，查询操作可以包括不同类型的查询请求。查询请求的类型包括：SQL查询类型、即席查询类型、脚本查询类型、存储过程查询类型、ETL高级查询类型、数据源表查询类型和数据文件查询类型。

S102、从查询操作中的每个所述查询请求对应的数据集中获取每个所述查询请求对应的待查询信息。

具体的，不同类型的查询对应不同的数据集，例如SQL查询类型对应SQL数据集、即席查询类型对应即席数据集、脚本查询类型对应脚本数据集、存储过程查询类型对应存储过程数据集、ETL高级查询对应自助数据集、数据源表查询类型对应数据源表、数据文件查询类型对应导入文件。其中，导入文件包括：线下处理好的Excel、CSV、TXT等文件。

服务器端预先与各个数据集相连，根据每个查询请求对应的查询类型，将每个查询请求发送给其查询类型对应的数据集，以使数据集将查询请求对应的待查询信息传递给服务器端，这样，服务器端便可以从每个查询请求对应的数据集中获取到每个查询请求对应的待查询信息。其中，待查询信息包括：查询请求对应的待查询标识和查询请求对应的查询数据所处数据源的数据源链接。

S103、根据所有待查询信息和每个查询请求对应的查询类型，确定数据连接模式。

具体的，数据连接模式包括：直连模式和抽取模式。直连模式在数据量比较大时，获取数据的效率更高，但是现有的数据源中有些支持直连逻辑，有些并不支持，所以本实施例需要在可以通过直连获取时采用直连模式，而不可以通过直连获取时采用抽取模式，这样可以提高查询数据获取的效率。因此，本实施例需要根据所有待查询信息和每个查询请求对应的查询类型，来确定数据连接模式。

S104、根据每个所述待查询信息，提取每个所述查询请求对应的查询数据。

具体的，每个查询请求对应的待查询信息中均包括该查询请求对应的查询数据所处数据源的数据源链接，服务器端根据每个查询请求对应的数据源链接，从相应的数据源中提取出每个查询请求对应的查询数据。其中，查询数据的提取可以利用该查询请求对应的数据集提取。例如，服务器端调用每个查询请求对应的数据集的取数接口，实现数据集从数据源链接对应的数据源中的取数操作，并将获取的数据进行加工形成标准的二维表，将该二维表作为查询数据。

每个不同类型的查询，底层的数据获取查询的逻辑（即不同数据集从数据源中的取数逻辑）为现有技术，此处不再具体阐述。

S105、基于所述数据连接模式，根据所述查询数据、所述待查询信息和所有查询数据之间预设的关联关系，确定并输出所述查询操作对应的目标查询信息。

具体的，不同的数据连接模式，对查询数据的输出方式不同，如果数据连接模式为直连模式，可以直接输出查询数据，而如果数据连接模式为抽取模式，需要对查询数据进行多维分析，得到可以用于展示的目标查询信息，并且对查询数据进行多维分析需要根据所有查询数据之间的关联关系，因此，本实施例需要基于不同的数据连接模式，根据每个查询请求对应的查询数据和待查询信息，以及所有查询数据之间预设的关联关系，确定查询操作对应的目标查询信息。其中，预设的关联关系可以为用户手动建立的，也可以是服务器端自动检测并建立的。服务器端确定了查询操作对应的目标查询信息后，需要将目标查询信息输出到用户终端，以使用户终端通过交互界面展示该目标查询信息，用户便可通过用户终端得到查询操作的查询结果。

本申请实施例提供的数据准备方法，先获取用户输入的包括不同类型的查询请求的查询操作；然后，从每个查询请求对应的数据集中获取每个查询请求对应的待查询信息；再根据所有待查询信息和每个查询请求对应的查询类型，确定数据连接模式；并根据每个待查询信息，提取每个查询请求对应的查询数据；最后，基于数据连接模式，根据查询数据、待查询信息和所有查询数据之间预设的关联关系，确定并输出查询操作对应的目标查询信息，实现了针对多个不同查询类型的查询请求进行数据查询，并输出对应的目标查询信息，不同查询类型的数据查询，满足了不同层次人员以及多种场景下进行数据准备的需求，能够提高数据查询的便捷性和数据集实用性，从而提高数据分析查询效率。

作为一种优选的实现方式，在进行数据准备时，服务器端需要从各个数据集中获取诸多信息或数据，因此，在一些实施例中，获取用户输入的查询操作之前，还需要实现服务器端与各个数据集之间的连接，具体步骤如下所述：

第一，定义目标数据接口。

具体的，服务器端在针对用户的查询操作，确定对应的查询结果之前，需要提前定义服务器端与各个数据集之间相统一的数据接口，因此，服务器端需要先定义目标数据接口，以使各个待连接数据集按照该目标数据接口定义自身的取数接口，保证目标数据接口与各个取数接口的统一。

第二，通过所述目标数据接口，与各个待连接数据集对应的取数接口相连。

具体的，目标数据接口与各个待连接数据集的取数接口为预先统一的接口，因此，服务器端可以通过目标数据接口与各个待连接数据集的取数接口相连，从而实现服务器端通过各个待连接数据集的取数接口获取信息或数据。

通过服务器端与各个待连接数据集之间的接口统一，可以提高服务器端的取数效率，避免由于接口不一致，在取数过程中出现无法连接或者连接中断的情况，影响数据准备效率。

优选的，图3是本申请实施例提供的另一种数据准备方法的流程示意图。如图3所示，本实施例在获取用户输入的查询操作之后，还包括如下步骤：

S202、判断所有待连接数据集中是否包含查询操作中每个查询请求对应的数据集。

具体的，在从每个查询请求对应的数据集中获取对应的待查询信息之前，需要先确认服务器端的目标数据接口是否与每个查询请求对应的数据集的取数接口为统一的接口，也就是说需要判断之前已经与根据目标数据接口定义了统一的取数接口的所有待连接数据集中是否包含有每个查询请求对应的数据集。

如果判断出所有待连接数据集中未包含查询操作中每个查询请求对应的数据集，则执行步骤S203~S204；如果判断出所有待连接数据集中已包含查询操作中每个查询请求对应的数据集，则执行步骤S205。

S203、将所有待连接数据集中未包含的查询请求对应的数据集作为第一数据集。

具体的，如果所有待连接数据集中并未包含每个查询请求对应的数据集，那么将所有查询请求对应的数据集中未存在于所有待连接数据集中的数据集作为第一数据集。

S204、将所述目标数据接口对应的接口信息发送给所述第一数据集。

具体的，由于服务器端并未与第一数据集之间进行接口统一，因此，服务器端需要将其目标数据接口对应的接口信息发送给第一数据集，以使第一数据集可以根据该接口信息定义其自身的取数接口，以使服务器端与第一数据集之间的接口统一，便于数据和信息的传输。

对应的，如果判断出所有待连接数据集中已包含查询操作中每个查询请求对应的数据集，则从查询操作中的每个查询请求对应的数据集中获取每个查询请求对应的待查询信息。

图3所示的实施例中的步骤S201与图2所示的方法实施例中的步骤S101对应，图3所示的实施例中的步骤S205~S208与图2所示的方法实施例中的步骤S102~S105对应，步骤S201与步骤S205~S208的具体内容可参见图2所示的方法实施例的内容，提出不再赘述。

作为一种优选的实现方式，图4是本申请实施例提供的确定数据连接模式的处理流程示意图。如图4所示，步骤 “根据所有待查询信息和每个查询请求对应的查询类型，确定数据连接模式”可以包括如下步骤：

S301、判断所有查询请求对应的查询类型中是否存在预先设置的抽取查询类型。

具体的，现有技术中，并不是所有的查询类型均可以实现直连模式的数据连接方式，有些查询类型的数据连接模式仅仅只能使用抽取模式，因此，本申请实施例预先设置了抽取查询类型，需要先判断所有查询请求对应的查询类型中是否存在预先设置的抽取查询类型，其中，预先设置的抽取查询类型包括：脚本查询类型、存储过程查询类型、ETL高级查询类型和数据文件查询类型。

如果判断出所有查询请求对应的查询类型中存在预先设置的抽取查询类型，则执行步骤S304；如果判断出所有查询请求对应的查询类型中不存在预先设置的抽取查询类型，则需要根据所有待查询信息和历史查询数据对应的历史数据源，确定数据连接模式。

优选的，待查询信息包括：待查询标识和数据源链接。步骤“根据所有待查询信息和历史查询数据对应的历史数据源，确定数据连接模式”具体包括如下步骤：

S302、判断所有数据源链接对应的数据源以及历史数据源是否均为同一数据源。

具体的，如果所有查询请求对应的查询类型中并不存在预先设置的抽取查询类型，例如所有查询请求对应的查询类型中仅仅只包括数据源表查询类型、SQL查询类型、即席查询类型中的任意类型，则需要根据各个查询请求对应的待查询信息中的数据源链接，对比所有查询请求对应的查询数据所处的数据源以及历史查询数据对应的历史数据源是否均为同一数据源。

如果所有查询请求对应的查询数据所处的数据源以及历史查询数据对应的历史数据源均为同一数据源，则说明用户输入的查询操作所需要获取的数据并未跨数据库，因此，需要执行步骤S303；如果所有查询请求对应的查询数据所处的数据源以及历史查询数据对应的历史数据源并不是均为同一数据源，则说明用户输入的查询操作需要获取的数据并不在同一数据库中，在获取时需要跨数据库，因此，需要执行步骤S304。

S303、确定数据连接模式为直连模式。

具体的，如果所有查询请求对应的查询类型中并不存在预先设置的抽取查询类型，并且所有查询请求对应的查询数据所处的数据源以及历史查询数据对应的数据源均为同一数据源，则确定数据连接模式为直连模式。

S304、确定数据连接模式为抽取模式。

具体的，如果所有查询请求对应的查询类型中存在预先设置的抽取查询类型，则确定数据连接模式为抽取模式。或者，如果所有查询请求对应的查询类型中不存在预先设置的抽取查询类型，但是所有查询请求对应的查询数据所处的数据源以及历史查询数据对应的查询数据源并不是均为同一数据源，则确定数据连接模式为抽取模式。

另外，当查询操作中包含的查询请求为同一类型时，也可采用本申请实施例的技术方案。但是，当所有查询请求对应的查询类型仅包含SQL查询类型时，如果检测到查询请求对应的数据源不允许SQL查询作为子查询，服务器端需要输出反馈信息到用户终端，以提示用户将数据连接模式更换为抽取模式，如果检测到查询请求对应的数据源允许SQL查询作为子查询，则可以采用直连模式作为数据连接模式。

作为一种优选的实现方式，图5是本申请实施例提供的又一种数据准备方法的流程示意图。如图5所示，步骤“基于所述数据连接模式，根据所述查询数据、所述待查询信息和所有查询数据之间的关联关系，确定并输出所述查询操作对应的目标查询信息”可以包括步骤S405~S409。步骤S405~S409可以由服务器端实现。

S405、若所述数据连接模式为直连模式，则将所有查询数据作为目标查询信息。

具体的，如果预先确定的数据连接模式为直连模式，则说明所有查询请求对应的查询数据所处的数据源均为同一数据源，即所有的查询数据均来源于同一数据源，因此无需进行多维分析，直接将所有查询数据作为目标查询信息进行展示即可。由于每个查询数据可能是其相应的数据集生成的二维表，并且二维表中的数据均来源于同一数据源，因此，服务器端也可以将所有二维表统一组合成一个二维表作为目标查询信息。

S406、若所述数据连接模式为抽取模式，则将所有查询数据加载到预设缓存数据库中。

具体的，如果预先确定的数据连接模式为抽取模式，则说明所有查询请求对应的查询数据所处的数据源并不是均为同一数据源，因此需要对查询数据进行多维分析，所以，首先需要将所有查询数据加载到预设缓存数据库中。预设缓存数据库会将每个查询请求对应的查询数据独立加载进其对应的表中，从而得到每个查询请求对应的缓存表。

S407、根据所述待查询信息和所述关联关系，创建所述查询操作对应的多维查询表达式。

具体的，多维分析引擎需要根据多维查询表达式（即MDX语句）对相关数据进行多维分析，因此对查询数据进行多维分析之前，需要先创建查询操作对应的多维查询表达式，即MDX语句。MDX语句中需要包括：数据模型cube定义、数据源链接、待查询标识，并且数据模型cube定义需要包含所有查询数据之间的关联关系。由于每个查询请求对应的待查询信息中均包含待查询标识和数据源链接，因此，服务器端需要根据所有查询请求对应的待查询信息以及所有查询数据之间的关联关系，来创建用户输入的查询操作对应的多维查询表达式。

S408、将所述多维查询表达式发送给多维分析引擎。

具体的，服务器端需要将用户输入的查询操作对应的多维查询表达式发送给多维分析引擎（例如，Mondrian引擎），多维分析引擎可以根据该多维查询表达式对预设缓存数据库中存储的所有查询请求对应的缓存表进行加工，将各个缓存表按照所有查询请求之间的关联关系设置关联，从而生成一张宽表，并将该宽表作为用户输入的查询操作对应的目标查询信息。其中，将各个缓存表按照所有查询请求之间的关联关系设置关联可以采用OLAP数据加工技术。多维分析引擎生成的宽表是根据关联关系，将关联输出的结果基于CUBE模型以“维度”和“度量”重新构建的数据结构。

S409、将多维分析引擎根据所述多维查询表达式和所述预设缓存数据库中存储的每个查询请求对应的缓存表生成的所述目标查询信息输出。

具体的，当数据连接模式为直连模式时，服务器端需要将作为目标查询信息的查询数据输出到用户终端，以便用户查看其输入的查询操作对应的查询结果。当数据连接模式为抽取模式时，服务器端需要将多维分析引擎分析出的宽表作为目标查询信息输出到用户终端，由于宽表可以实现多维的数据展示，从而实现用户终端以多维的形式展示查询操作对应的查询结果，这样，可以将查询操作对应的不同数据库中的数据以多维的形式展示，实现多种不同用户角度、不同场景的数据展示。

图5所示的实施例中的步骤S401~S404与图2所示的方法实施例中的步骤S101~S104对应，步骤S401~S404的具体内容可参见图2所示的方法实施例的内容，提出不再赘述。

作为一种优选的实现方式，图6是本申请实施例提供的确定所有查询数据之间的关联关系的处理流程示意图。如图6所示，在执行步骤“基于所述数据连接模式，根据所述查询数据、所述待查询信息和所有查询数据之间预设的关联关系，确定并输出所述查询操作对应的目标查询信息”之前，还需要服务器端来确定所有查询数据之间的关联关系，具体步骤如下所述：

S501、若所述数据连接模式为抽取模式，则判断用户是否建立了所有查询请求对应的查询数据之间的关联。

具体的，如果数据连接模式为直连模式，则说明所有查询数据均在同一个数据源，并未跨数据库，因此所有查询数据之间的关系均是一一对应的，无需构建宽表并建立关系，直接将预先提取到的查询数据作为目标查询信息输出即可，无需确定查询数据之间的关联关系。所以，只有在数据连接模式为抽取模式时，才需要确定查询数据之间的关联关系。

本申请实施例支持用户手动建立关联以及系统自动建立关联，因此，当数据连接模式为抽取模式时，首先需要判断用户是否手动建立了所有查询请求对应的查询数据之间的关联。如果判断出用户建立了所有查询请求对应的查询数据之间的关联，则执行步骤S502；如果判断出用户并未建立所有查询请求对应的查询数据之间的关联，则需要自动建立所有查询请求对应的查询数据之间的关联关系，其中建立所有查询请求对应的查询数据之间的关联关系的方法包括步骤S503~S505，由服务器端实现。

S502、接收用户输入的所有查询数据之间的关联关系。

具体的，如果用户手动建立了所有查询请求对应的查询数据之间的关联，那么服务器端需要获取用户在建立关联时通过用户终端输入的所有查询数据之间的关联关系，以便之后利用该关联关系构建对应的宽表。

S503、判断各个查询请求对应的查询数据之间是否能建立关联。

具体的，如果用户并未手动建立所有查询请求对应的查询数据之间的关联，则需要服务器端自动建立关联。首先，在建立关联之前，需要判断各个查询请求对应的查询数据之间是否能够建立关联。

其中，每个查询请求对应的查询数据可以为该查询请求对应的数据集生成的二维表，因此判断各查询数据，即各二维表之间是否能够建立关联需要先获取字段名，然后逐个匹配，找出相同名称的列，再逐个判断相同名称的字段列是1还是多（例如，可以判断count的数量和distinct count的数量是否一致，如果不一致，则说明该字段列为多，否则为1）。当各二维表中具有相同名称的字段列为多时，便可将多个相同名称的字段列关联，如果具有相同名称的字段列为1，则无法关联，因此，判断各个查询请求对应的查询数据之间是否能够建立关联需要根据各二维表中具有相同名称的列的数量进行判断，只要各二维表之间有一个字段列能够关联上则表示其能够建立关联。

例如，a、b、c三个二维表，如果a中的一个字段列可以与b中的一个字段列关联，b中的另一个字段列可以与c中的一个字段列关联，则说明各二维表能够建立关联，如果a中的一个字段列可以与b中的一个字段列关联，而b和c中并无可以关联的字段列，则说明各二维表不能够建立关联。

如果判断出各个查询请求对应的查询数据之间能建立关联，则执行步骤S504；如果判断出各个查询请求对应的查询数据之间不能建立关联，则执行步骤S505。

S504、生成所有查询数据之间的关联关系。

具体的，如果各个查询请求对应的查询数据之间能建立关联，则按照上述的各个二维表之间建立关联的方法自动建立各二维表，即各查询数据之间的关联，并根据关联生成对应的关联关系。

S505、生成关系异常消息。

具体的，如果各个查询请求对应的查询数据之间不能建立关联，则说明各个查询请求对应的查询数据存在与其他数据无关的数据，或者其他问题，需要生成关系异常消息，并将该消息输出到用户终端，以通知用户各个查询请求对应的查询数据之间存在关系异常的情况，以使用户及时纠正，从而提高数据准备的准确度。

优选的，在接收用户输入的所有查询数据之间的关联关系之后，本申请实施例中，服务器端还可以执行如下步骤：

第一，判断用户输入的所有查询数据之间的关联关系是否错误。

具体的，如果用户预先手动建立了所有查询请求对应的查询数据之间的关联，为了保证多维分析引擎创建的查询操作对应的宽表的准确性，服务器端需要判断接收到的用户输入的所有查询数据之间的关联关系是否存在错误，具体判断方式与上述实施例中所述的自动建立各个查询请求对应的查询数据之间的关联的方法相同，即确定各个查询请求对应的查询数据之间的关联是否与接收到的用户输入的关联关系是否相同，如果不同，则说明用户输入的关联关系错误，如果相同，则说明用户输入的关联关系正确。

第二，若用户输入的所有查询数据之间的关联关系错误，则生成关系错误消息。

具体的，如果判断出用户输入的所有查询数据之间的关联关系错误，则需要生成关系错误消息，并将该消息传输到用户终端，以使用户可以根据关系错误消息及时进行各查询数据之间的关联的修改。服务器端还需要对修改后的关联关系进行判断，直至接收到的用户输入的所有查询数据之间的关联关系正确为止。

如果判断出用户输入的所有查询数据之间的关联关系正确，则继续执行步骤“基于所述数据连接模式，根据所述查询数据、所述待查询信息和所有查询数据之间预设的关联关系，确定并输出所述查询操作对应的目标查询信息”。

作为一种优选的实现方式，本申请实施例在执行步骤“根据所有待查询信息和每个查询请求对应的查询类型，确定数据连接模式”之后，服务器端还可以执行如下步骤：

第一，接收用户输入的模式切换操作。

具体的，本申请实施例不仅可以根据待查询信息以及各查询请求对应的查询类型自动确定数据连接模式，还可以为用户提供手动切换数据连接模式的功能。用户如果需要切换数据连接模式，可以通过用户终端输入模式切换操作，服务器端接收用户输入的模式切换操作。

第二，根据所述模式切换操作，对所述数据连接模式进行更新。

具体的，如果用户通过用户终端输入了模式切换操作，服务器端则对数据连接模式进行更新。其中，模式切换操作可以表示将直连模式切换为抽取模式，也可以表示将抽取模式切换为直连模式。本申请实施例中，有些查询类型对应的数据集并不支持直连模式作为数据连接模式，因此，用户输入的模式切换操作可以实现将直连模式切换为抽取模式，但是并不能实现将抽取模式切换为直连模式。

进一步地，如果用户输入的模式切换操作表示将直连模式切换为抽取模式，则将数据连接模式由直连模式更新为抽取模式；若模式切换操作表示将抽取模式切换为直连模式，则将数据连接模式保持为抽取模式。

与上述的数据准备方法相对应的，本申请实施例还提出一种数据准备装置，图7是本申请实施例提供的一种数据准备装置的结构示意图。如图7所示，该数据准备装置包括：

操作获取模块11，用于获取用户输入的查询操作，其中，所述查询操作包括至少一个查询请求；

信息获取模块12，用于从每个所述查询请求对应的数据集中获取每个所述查询请求对应的待查询信息；

模式确定模块13，用于根据所有待查询信息和每个查询请求对应的查询类型，确定数据连接模式；

数据提取模块14，用于根据每个所述待查询信息，提取每个所述查询请求对应的查询数据；

信息确定模块15，用于基于所述数据连接模式，根据所述查询数据、所述待查询信息和所有查询数据之间预设的关联关系，确定并输出所述查询操作对应的目标查询信息。

本申请提供的数据准备装置可以针对多个不同查询类型的查询请求进行数据查询，并输出对应的目标查询信息，能够实现不同查询类型的数据查询，满足不同层次人员以及多种场景下进行数据准备的需求，提高数据查询的便捷性和数据集实用性，从而提高数据分析查询效率。

在一些实施例中，数据准备装置还可以包括：接口定义模块和接口连接模块。

接口定义模块，用于定义目标数据接口，以使各个待连接数据集按照所述目标数据接口定义对应的取数接口；

接口连接模块，用于通过所述目标数据接口，与各个待连接数据集对应的取数接口相连。

在一些实施例中，数据准备装置还可以包括：数据集判断模块、数据集确定模块和接口信息发送模块。

数据集判断模块，用于判断所有待连接数据集中是否包含查询操作中每个查询请求对应的数据集；

数据集确定模块，用于若所有待连接数据集中未包含每个查询请求对应的数据集，则将所有待连接数据集中未包含的查询请求对应的数据集作为第一数据集；

接口信息发送模块，用于将所述目标数据接口对应的接口信息发送给所述第一数据集，以使所述第一数据集根据所述接口信息定义与所述目标数据接口对应的取数接口。

在一些实施例中，数据准备装置中的模式确定模块13可以包括：查询类型判断单元、模式确定单元。

查询类型判断单元，用于判断所有查询请求对应的查询类型中是否存在预先设置的抽取查询类型；

模式确定单元，用于若所有查询类型中存在所述抽取查询类型，则确定数据连接模式为抽取模式；若所有查询类型中不存在所述抽取查询类型，则根据所有待查询信息和历史查询数据对应的历史数据源，确定数据连接模式。

在一些实施例中，所述待查询信息包括：待查询标识和数据源链接。模式确定单元具体用于：

若所有查询类型中不存在所述抽取查询类型，则判断所有数据源链接对应的数据源以及历史数据源是否均为同一数据源；

若所有数据源链接对应的数据源以及历史数据源不是同一数据源，则确定数据连接模式为抽取模式；

若所有数据源链接对应的数据源以及历史数据源均为同一数据源，则确定数据连接模式为直连模式。

在一些实施例中，数据准备装置中的信息确定模块15可以包括：确定单元、数据加载单元、表达式创建单元、表达式发送单元和信息输出单元。

确定单元，用于若所述数据连接模式为直连模式，则将所有查询数据作为目标查询信息；

数据加载单元，用于若所述数据连接模式为抽取模式，则将所有查询数据加载到预设缓存数据库中，以使所述预设缓存数据库根据每个查询请求对应的查询数据，生成每个查询请求对应的缓存表；

表达式创建单元，用于根据所述待查询信息和所述关联关系，创建所述查询操作对应的多维查询表达式；

表达式发送单元，用于将所述多维查询表达式发送给多维分析引擎，以使所述多维分析引擎根据所述多维查询表达式对所述预设缓存数据库中存储的所有缓存表进行加工，得到所述查询操作对应的目标查询信息；

信息输出单元，用于将所述目标查询信息输出。

在一些实施例中，数据准备装置还可以包括：关联判断模块、关联接收模块和关联建立模块。

关联判断模块，用于若所述数据连接模式为抽取模式，则判断用户是否建立了所有查询请求对应的查询数据之间的关联；

关联接收模块，用于若用户建立了所有查询请求对应的查询数据之间的关联，则接收用户输入的所有查询数据之间的关联关系；

关联建立模块，用于若用户未建立所有查询请求对应的查询数据之间的关联，则建立所有查询数据之间的关联关系。

在一些实施例中，数据准备装置中的关联建立模块可以包括：建立判断单元、关联生成单元和异常消息生成单元。

建立判断单元，用于判断各个查询请求对应的查询数据之间是否能建立关联；

关联生成单元，用于若各个查询请求对应的查询数据之间能建立关联，则生成所有查询数据之间的关联关系；

异常消息生成单元，用于若各个查询请求对应的查询数据之间不能建立关联，则生成关系异常消息，以便通知用户各个查询请求对应的查询数据之间不能建立关联。

在一些实施例中，数据准备装置还可以包括：关联正误确定模块和正误消息生成模块。

关联正误确定模块，用于判断用户输入的所有查询数据之间的关联关系是否错误；

正误消息生成模块，用于若用户输入的所有查询数据之间的关联关系错误，则生成关系错误消息，以便通知用户修改，直至接收到的用户输入的所有查询数据之间的关联关系正确。

在一些实施例中，数据准备装置还可以包括：切换接收模块和模式更新模块。

切换接收模块，用于接收用户输入的模式切换操作；

模式更新模块，用于根据所述模式切换操作，对所述数据连接模式进行更新。

在一些实施例中，数据准备装置中的模式更新模块，具体用于：

若所述模式切换操作表示将直连模式切换为抽取模式，则将所述数据连接模式由直连模式更新为抽取模式；

若所述模式切换操作表示将抽取模式切换为直连模式，则将所述数据连接模式保持为抽取模式。

具体的，上述的数据准备装置的各个单元的具体工作内容，请参见上述方法实施例的介绍，此处不再重复。

图8是本申请实施例提供的一种数据准备设备的结构示意图。如图8所示，本申请实施例的数据准备设备包括：存储器21和处理器22。其中，存储器21与处理器22连接，用于存储程序；处理器22，用于通过运行存储器21中的程序，实现前述实施例中的数据准备方法。

本申请的其它实施例，还提供一种计算机可读可存储介质，其上存储有用于执行前述实施例中的数据准备方法的指令。

本申请的其它实施例，还提供一种计算机程序产品。该计算机产品包括用于执行前述实施例中的数据准备方法的代码。

应当理解，虽然术语“第一”或“第二”等可能在本申请中用来描述各种元素（如查询语句片段集合），但这些元素不被这些术语所限定，这些术语只是用来将一个元素与另一个元素区分开。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器端或数据中心通过有线（例如同轴电缆、光纤、数字用户线（digital subscriber line，DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器端或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器端、数据中心等数据存储设备。所述可用介质可以是磁性介质（例如，软盘、硬盘、磁带）、光介质（例如数字视频光盘（digital video disc，DVD））、或者半导体介质（例如固态硬盘（solid statedisk，SSD））等。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种数据准备方法，其特征在于，包括：

获取用户输入的查询操作，其中，所述查询操作包括不同类型的查询请求；

从每个所述查询请求对应的数据集中获取每个所述查询请求对应的待查询信息；

根据所有待查询信息和每个查询请求对应的查询类型，确定数据连接模式；

根据每个所述待查询信息，提取每个所述查询请求对应的查询数据；

基于所述数据连接模式，根据所述查询数据、所述待查询信息和所有查询数据之间预设的关联关系，确定并输出所述查询操作对应的目标查询信息。

2.根据权利要求1所述的数据准备方法，其特征在于，所述获取用户输入的查询操作之前，还包括：

定义目标数据接口，以使各个待连接数据集按照所述目标数据接口定义对应的取数接口；

通过所述目标数据接口，与各个待连接数据集对应的取数接口相连。

3.根据权利要求2所述的数据准备方法，其特征在于，所述获取用户输入的查询操作之后，还包括：

判断所有待连接数据集中是否包含查询操作中每个查询请求对应的数据集；

若所有待连接数据集中未包含每个查询请求对应的数据集，则将所有待连接数据集中未包含的查询请求对应的数据集作为第一数据集；

将所述目标数据接口对应的接口信息发送给所述第一数据集，以使所述第一数据集根据所述接口信息定义与所述目标数据接口对应的取数接口。

4.根据权利要求1所述的数据准备方法，其特征在于，所述根据所有待查询信息和每个查询请求对应的查询类型，确定数据连接模式，包括：

判断所有查询请求对应的查询类型中是否存在预先设置的抽取查询类型；

若所有查询类型中存在所述抽取查询类型，则确定数据连接模式为抽取模式；

若所有查询类型中不存在所述抽取查询类型，则根据所有待查询信息和历史查询数据对应的历史数据源，确定数据连接模式。

5.根据权利要求4所述的数据准备方法，其特征在于，所述待查询信息包括：待查询标识和数据源链接；

所述根据所有待查询信息和历史查询数据对应的历史数据源，确定数据连接模式，包括：

判断所有数据源链接对应的数据源以及历史数据源是否均为同一数据源；

若所有数据源链接对应的数据源以及历史数据源不是同一数据源，则确定数据连接模式为抽取模式；

若所有数据源链接对应的数据源以及历史数据源均为同一数据源，则确定数据连接模式为直连模式。

6.根据权利要求1所述的数据准备方法，其特征在于，所述基于所述数据连接模式，根据所述查询数据、所述待查询信息和所有查询数据之间的关联关系，确定并输出所述查询操作对应的目标查询信息，包括：

若所述数据连接模式为直连模式，则将所有查询数据作为目标查询信息；

若所述数据连接模式为抽取模式，则将所有查询数据加载到预设缓存数据库中，以使所述预设缓存数据库根据每个查询请求对应的查询数据，生成每个查询请求对应的缓存表；

根据所述待查询信息和所述关联关系，创建所述查询操作对应的多维查询表达式；

将所述多维查询表达式发送给多维分析引擎，以使所述多维分析引擎根据所述多维查询表达式对所述预设缓存数据库中存储的所有缓存表进行加工，得到所述查询操作对应的目标查询信息；

将所述目标查询信息输出。

7.根据权利要求1所述的数据准备方法，其特征在于，所述基于所述数据连接模式，根据所述查询数据、所述待查询信息和所有查询数据之间预设的关联关系，确定并输出所述查询操作对应的目标查询信息之前，还包括：

若所述数据连接模式为抽取模式，则判断用户是否建立了所有查询请求对应的查询数据之间的关联；

若用户建立了所有查询请求对应的查询数据之间的关联，则接收用户输入的所有查询数据之间的关联关系；

若用户未建立所有查询请求对应的查询数据之间的关联，则建立所有查询数据之间的关联关系。

8.根据权利要求7所述的数据准备方法，其特征在于，所述建立所有查询数据之间的关联关系，包括：

判断各个查询请求对应的查询数据之间是否能建立关联；

若各个查询请求对应的查询数据之间能建立关联，则生成所有查询数据之间的关联关系；

若各个查询请求对应的查询数据之间不能建立关联，则生成关系异常消息，以便通知用户各个查询请求对应的查询数据之间不能建立关联。

9.根据权利要求7所述的数据准备方法，其特征在于，所述接收用户输入的所有查询数据之间的关联关系之后，还包括：

判断用户输入的所有查询数据之间的关联关系是否错误；

若用户输入的所有查询数据之间的关联关系错误，则生成关系错误消息，以便通知用户修改，直至接收到的用户输入的所有查询数据之间的关联关系正确。

10.根据权利要求1所述的数据准备方法，其特征在于，所述根据所有待查询信息和每个查询请求对应的查询类型，确定数据连接模式之后，还包括：

接收用户输入的模式切换操作；

根据所述模式切换操作，对所述数据连接模式进行更新。

11.根据权利要求10所述的数据准备方法，其特征在于，所述根据所述模式切换操作，对所述数据连接模式进行更新，包括：

若所述模式切换操作表示将直连模式切换为抽取模式，则将所述数据连接模式由直连模式更新为抽取模式；

若所述模式切换操作表示将抽取模式切换为直连模式，则将所述数据连接模式保持为抽取模式。

12.一种数据准备装置，其特征在于，包括：

操作获取模块，用于获取用户输入的查询操作，其中，所述查询操作包括至少一个查询请求；

信息获取模块，用于从每个所述查询请求对应的数据集中获取每个所述查询请求对应的待查询信息；

模式确定模块，用于根据所有待查询信息和每个查询请求对应的查询类型，确定数据连接模式；

数据提取模块，用于根据每个所述待查询信息，提取每个所述查询请求对应的查询数据；

信息确定模块，用于基于所述数据连接模式，根据所述查询数据、所述待查询信息和所有查询数据之间预设的关联关系，确定并输出所述查询操作对应的目标查询信息。

13.一种数据准备设备，其特征在于，包括存储器和处理器；

其中，所述存储器与所述处理器连接，用于存储程序；

所述处理器，用于通过运行所述存储器中的程序，实现如权利要求1至11中任一项所述的数据准备方法。

Images