CN116166316A - 数据治理方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种数据治理方法、装置、计算机设备及存储介质。所述方法应用于数据治理系统，所述方法包括：获取数据源类型信息以及多个数据项配置信息；从预设的多种数据源类型分别对应的调用实例中确定与所述数据源类型信息对应的目标调用实例，并根据多个所述数据项配置信息确定目标会话域实例以及数据返回实例；根据所述目标调用实例、所述目标会话域实例以及所述数据返回实例获取目标数据。一方面，本申请实施例由于预设有多种数据源类型分别对应的调用实例，相同的数据源类型可以调用同一个调用实例，避免调用实例的重复编码；另一方面，当需要接入新的数据源时，只需要进行数据源类型以及数据项配置信息的配置即可，数据治理效率高。

Description

数据治理方法、装置、计算机设备及存储介质

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据治理方法、装置、计算机设备及存储介质。

背景技术

企业在软件开发中，通常需要进行数据集成管理。而数据来源各式各样，比如超文本传输协议(HTTP，HyperText Transfer Protocol)请求响应、关系型数据库管理系统(MySQL)数据库、逗号/字符分隔值(Comma-Separated Values，CSV)，我们需要在代码层面为不同的数据源适配不同的数据编写代码。

使用传统方案进行数据集成管理，需要对接每个数据接口，且每对接每个数据接口都要重复编码，整个流程繁琐复杂，而且每次遇到新的数据源需要接入，都要进行编码、代码打包、服务部署等一系列的手动操作，新增的数据才算接入成功。

当需要频繁的接入数据时，传统方案人力成本巨大，且无法进行维护，无法做到热更新，导致数据治理的效率非常低。

发明内容

本申请实施例提供了一种数据治理方法、装置、计算机设备及存储介质，可以提高数据治理的效率。

第一方面，本申请实施例提供了一种数据治理方法，所述方法应用于数据治理系统，所述方法包括：

获取数据源类型信息以及多个数据项配置信息；

从预设的多种数据源类型分别对应的调用实例中确定与所述数据源类型信息对应的目标调用实例，并根据多个所述数据项配置信息确定目标会话域实例以及数据返回实例；

根据所述目标调用实例、所述目标会话域实例以及所述数据返回实例获取目标数据。

第二方面，本申请实施例还提供了一种数据治理装置，所述数据集成管理装置被配置于数据治理系统，所述装置包括：

收发单元，用于获取数据源类型信息以及多个数据项配置信息；

处理单元，用于从预设的多种数据源类型分别对应的调用实例中确定与所述数据源类型信息对应的目标调用实例，并根据多个所述数据项配置信息确定目标会话域实例以及数据返回实例；根据所述目标调用实例、所述目标会话域实例以及所述数据返回实例获取目标数据。

第三方面，本申请实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。

第四方面，本申请实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现上述方法。

本申请实施例提供了一种数据治理方法、装置、计算机设备及存储介质。其中，所述方法应用于数据治理系统，所述方法包括：获取数据源类型信息以及多个数据项配置信息；从预设的多种数据源类型分别对应的调用实例中确定与所述数据源类型信息对应的目标调用实例，并根据多个所述数据项配置信息确定目标会话域实例以及数据返回实例；根据所述目标调用实例、所述目标会话域实例以及所述数据返回实例获取目标数据。一方面，本申请实施例由于预设有多种数据源类型分别对应的调用实例，相同的数据源类型可以调用同一个调用实例，避免调用实例的重复编码；另一方面，当需要接入新的数据源时，只需要进行数据源类型以及数据项配置信息的配置即可，数据治理效率高。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的数据治理方法的流程示意图；

图2为本申请实施例提供的数据源配置页面的一个界面示意图；

图3为本申请另一实施例提供的数据治理方法的流程示意图；

图4为本申请实施例提供的数据治理方法的一个具体数据执行流程示意图；

图5为本申请实施例提供的数据治理方法的一个架构设计图；

图6为本申请实施例提供的数据治理装置的示意性框图；

图7为本申请实施例提供的计算机设备的示意性框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

本申请实施例提供了一种数据治理方法、装置、计算机设备及存储介质。

该数据治理方法的执行主体可以是本申请实施例提供的数据治理装置，或者集成了该数据治理装置的计算机设备，其中，该数据治理装置可以采用硬件或者软件的方式实现，该计算机设备可以为终端或服务器。

具体地，该计算机设备种安装有数据治理系统，该数据集成管理装置被配置于所述数据治理系统。

图1是本申请实施例提供的数据治理方法的流程示意图。如图1所示，该方法包括以下步骤S110-S130。

S110、获取数据源类型信息以及多个数据项配置信息。

具体地，在一些实施例中，步骤S110包括：展示数据源配置页面；基于所述数据源配置页面获取所述数据源类型信息以及多个所述数据项配置信息。

进一步地，本实施例中的数据治理系统包括业务系统、配置域以及数据引擎执行域，当需要新增数据时，通过用户侧的业务系统展示数据源配置页面，该数据源配置页面，其中，在一些实施例中，MySQL的数据源配置页面如图2所示。

其中，本实施例中，用户可以在数据源配置页面中输入多个数据项配置信息，也可以在数据源配置页面输入数据组配置信息(此时，数据源配置页面中显示有多个数据组配置信息，然后用户通过点击选择所需的数据组配置信息)，其中，数据组配置信息由多个数据项配置信息组成，此时，步骤S110包括：基于所述数据源配置页面获取所述数据源类型信息以及数据组配置信息；根据所述数据组配置信息获取多个所述数据项配置信息。

可见，本实施例提供了数据组配置信息的输入功能，可以同时配置多个数据项信息，提高了用户的配置速度。

其中，本实施例中所述数据项配置信息包括访问配置信息以及返回值配置信息，访问配置信息包括数据源名称、http、url、参数等。

S120、从预设的多种数据源类型分别对应的调用实例中确定与所述数据源类型信息对应的目标调用实例，并根据多个所述数据项配置信息确定目标会话域实例以及数据返回实例。

本实施例中的数据治理系统为多种数据源类型分别预设有其对应的调用实例，例如，MySQL的数据源类型对应的调用实例为jdbc(Java DataBase Connectivity，java数据库连接)Template，Http接口的数据源类型对应的调用实例为OkHttpClient(是一个高效的HTTP客户端)。

此时，若获取到的数据源类型信息指示的数据源类型为MySQL，则此时对应的目标调用实例为jdbc Template。

其中，本实施例中的目标调用实例为DataInvoker实例。

本实施例中，具体地，所述数据项配置信息包括访问配置信息以及返回值配置信息；所述根据多个所述数据项配置信息确定目标会话域实例以及数据返回实例，包括：根据预设的访问配置信息与访问配置实例的映射关系，将所述访问配置信息映射组装至对应的访问配置实例中，得到所述目标会话域实例(DataInvocation实例)；将所述返回值配置信息映射组装至预设的返回值配置实例中，得到所述数据返回实例(DataResult实例)。

具体地，本实施例的设计方案使用Java语言进行编码实现，抽象DataConfig接口为配置总线统一格式，所有的数据配置信息都是通过DataConfig配置总线进行信息传递，具体地，获取到多个数据项配置信息之后，将整合格式转换为执行参数集合，并基于该执行参数集合映射组装对应的DataConfig实例(访问配置实例)，包装得到Invocation实例(目标会话域实例)。

本实施例中，用户可通过可视化页面配置数据项配置信息，并根据数据项配置信息生成Invoker实体域。

Invoker实体域：是数据引擎的核心模型，所有的模型最后都会向它靠拢，代表一个可执行体，用它发起一次数据源调用。

Invocation实例是会话域实例：持有调用过程中的运行变量，比如http、url、参数等。

S130、根据所述目标调用实例、所述目标会话域实例以及所述数据返回实例获取目标数据。

在一些实施例中，具体地，步骤S130包括：将所述目标调用实例、所述目标会话域实例以及所述数据返回实例组装成目标任务实例，并基于该目标任务实例获取目标数据。

具体地，使用目标调用实例以及目标会话域实例访问目标数据源，使用目标调用实例获取与该目标会话域实例对应的初始数据，并通过数据返回实例对初始数据进行筛选处理，得到目标数据。

综上所述，本实施例中，获取数据源类型信息以及多个数据项配置信息；从预设的多种数据源类型分别对应的调用实例中确定与所述数据源类型信息对应的目标调用实例，并根据多个所述数据项配置信息确定目标会话域实例以及数据返回实例；根据所述目标调用实例、所述目标会话域实例以及所述数据返回实例获取目标数据。一方面，本申请实施例由于预设有多种数据源类型分别对应的调用实例，相同的数据源类型可以调用同一个调用实例，避免调用实例的重复编码；另一方面，当需要接入新的数据源时，只需要进行数据源类型以及数据项配置信息的配置即可，数据治理效率高。

在现有技术中，当获取到初始数据(即数据源返回的原始数据)之后，很多时候还需要通过人工编码对初始数据进行特定的数据清洗、转换以及整合等才能获得目标数据，可见，现有技术中获取目标数据的步骤繁琐，效率低，为了解决这个问题，本申请还提供另一实施例，请参阅图3，图3是本申请另一实施例提供的一种数据治理方法的流程示意图，包括步骤S310-S350：

S310、获取数据源类型信息以及多个数据项配置信息。

本步骤与步骤S110类似，具体此处不作赘述。

S320、获取插件配置指令，所述插件配置指令包括前置插件配置指令以及后置插件配置指令中的至少一种。

其中，本申请对步骤S320与步骤S310之间的执行顺序不作限定，例如，S320还可以与步骤S310可以同时执行，也可以在步骤S310之前或之后执行。

在一些实施例中，该插件配置指令还可以基于数据源配置页面获取，此时，用户除了可以在数据源配置页面中配置数据源类型信息以及多个数据项配置信息，还可以在数据源配置页面中进行插件配置。

S330、从预设的多种数据源类型分别对应的调用实例中确定与所述数据源类型信息对应的目标调用实例，并根据多个所述数据项配置信息确定目标会话域实例以及数据返回实例。

本步骤与步骤S120类似，具体此处不作赘述。

S340、根据所述插件配置指令从预设的多个插件中确定至少一个目标插件，所述目标插件包括前置插件以及后置插件中的至少一种。

本实施例中的数据治理系统中预设有多种插件，当需要使用时，可以通过插件配置指令直接调用。

所述前置插件包括任务编排插件以及任务过滤插件，所述后置插件包括数据输出处理插件以及数据回调插件。

通过前置插件以及后置插件可以实现日志监控、数据埋点、数据融合、数据清洗、数据回调、数据可视化等功能的扩展。

S350、根据所述目标调用实例、所述目标会话域实例、所述数据返回实例以及所述目标插件获取所述目标数据。

具体地，步骤S350包括：将所述目标调用实例、所述目标会话域实例以及所述数据返回实例组装成目标任务实例；将所述目标任务实例以及所述目标插件组装成目标数据链路；根据所述目标数据链路获取目标数据。

在一些实施例中，当所述目标插件包括所述前置插件和所述后置插件时，所述目标数据链路按照先后执行顺序由所述前置插件、所述目标任务实例以及所述后置插件组成；此时，所述根据所述目标数据链路获取目标数据，包括：根据所述前置插件对所述目标任务实例进行任务前置处理，得到处理后任务实例；根据所述处理后任务实例获取初始数据；根据所述后置插件对所述初始数据进行数据后置处理，得到所述目标数据。

在另一些实施例中，当所述目标插件只包括所述前置插件时，所述目标数据链路按照先后执行顺序由所述前置插件以及所述目标任务实例组成；此时，所述根据所述目标数据链路获取目标数据，包括：根据所述前置插件对所述目标任务实例进行任务前置处理，得到处理后任务实例；然后根据所述处理后任务实例获取所述目标数据。

在另一些实施例中，当所述目标插件只包括后置插件时，所述目标数据链路按照先后执行顺序由所述目标任务实例以及所述后置插件组成；此时，所述根据所述目标数据链路获取目标数据，包括：根据所述目标任务实例获取初始数据；根据所述后置插件对所述初始数据进行数据后置处理，得到所述目标数据。

具体地，在一些实施例中，本实施例中的目标调用实例根据目标会话域实例访问与目标会话域实例对应的数据源，并从数据源中获取数据返回实例中要求返回的数据。其中目标会话域实例中持有调用过程中的运行变量，例如http、url、参数等数据项配置信息，目标会话域实例中包括数据项配置信息中指定的数据返回值。

本实施例在Invoker执行过程中，采用责任链模式对，抽象出DataFilter接口获取插件，以对整个生命周期进行增强。使用者可自由组合这些插件对数据进行灵活处理，从而实现一次插件编写，多次复用的目的，大大减少编码量。并且在数据返回前即可通过插件对初始数据进行处理，简化了用户侧的数据处理流程，提高了获取目标数据的效率。

具体地，本实施例的具体数据执行流程如图4所示，架构设计如图5所示：

其中，图5中：

1.配置层：用户使用网页客户端(业务系统)配置数据元信息DataConfig(数据源类型信息以及多个数据项配置信息)。

2.Factory层：针对每种数据类型返回不同数据类型的实际调用实例，比如MySQL数据源则返回jdbcTemplate，Http接口则返回OkHttpClient。

3.Invoker：封装调用领域，屏蔽底层数据调用细节，每一种数据类型都有一个Invoker与之对应。这样能实现每种数据调用只需要编写一个Invoker就可以实现调用，一次编写，多次复用，提高编码效率。

4.数据源：实际需要接入的数据源。

综上所述，本申请基于配置总线驱动各个领域(工厂领域、前后置扩展领域、数据获取执行领域、数据结果领域)进行配合，实现只需要通过页面配置就能对数据进行加载获取、清洗和整合。真正做到无需编码即可快速进行数据的集成管理，简化流程，提高效率。

此外，本申请对各个数据源(如MySQL数据库，HTTP接口请求等)获取底层执行方式进行屏蔽(抽象为Invoker实体域)，只需要通过页面配置，能合理抽象任何数据的接入调用，并且做到不需要编码实现新数据管理，同时在数据接入的生命周期中通过插件进行增强处理，采用微内核+plugin模式。系统通过插件可对数据进行如下处理：1、日志记录和埋点统计；2、数据清洗；3、数据整合；4、数据回调及通知等。同时，还方便支持各种自定义扩展实现，这样做到对拓展开放，对修改关闭，同时这些拓展点能对所有的数据处理复用。

图6是本申请实施例提供的一种数据治理装置的示意性框图。如图6所示，对应于以上数据治理方法，本申请还提供一种数据治理装置。该数据治理装置包括用于执行上述数据治理方法的单元，所述数据集成管理装置被配置于数据治理系统。具体地，请参阅图6，该数据治理装置600包括收发单元601以及处理单元602，其中：

收发单元601，用于获取数据源类型信息以及多个数据项配置信息；

处理单元602，用于从预设的多种数据源类型分别对应的调用实例中确定与所述数据源类型信息对应的目标调用实例，并根据多个所述数据项配置信息确定目标会话域实例以及数据返回实例；根据所述目标调用实例、所述目标会话域实例以及所述数据返回实例获取目标数据。

在一些实施例中，所述收发单元601在执行所述获取数据源类型信息以及多个数据项配置信息步骤时，具体用于：

通过所述处理单元602展示数据源配置页面；

基于所述数据源配置页面获取所述数据源类型信息以及多个所述数据项配置信息。

在一些实施例中，所述处理单元602在执行所述基于所述数据源配置页面获取所述数据源类型信息以及多个所述数据项配置信息步骤时，具体用于：

基于所述数据源配置页面获取所述数据源类型信息以及数据组配置信息；

根据所述数据组配置信息获取多个所述数据项配置信息。

在一些实施例中，所述数据项配置信息包括访问配置信息以及返回值配置信息；所述处理单元602在执行所述根据多个所述数据项配置信息确定目标会话域实例以及数据返回实例步骤时，具体用于：

根据预设的访问配置信息与访问配置实例的映射关系，将所述访问配置信息映射组装至对应的访问配置实例中，得到所述目标会话域实例；

将所述返回值配置信息映射组装至预设的返回值配置实例中，得到所述数据返回实例。

在一些实施例中，所述处理单元602执行所述根据所述目标调用实例、所述目标会话域实例以及所述数据返回实例获取目标数据步骤之前，还用于：

通过所述收发单元601获取插件配置指令，所述插件配置指令包括前置插件配置指令以及后置插件配置指令中的至少一种；

根据所述插件配置指令从预设的多个插件中确定至少一个目标插件，所述目标插件包括前置插件以及后置插件中的至少一种；

此时，所述处理单元602执行所述根据所述目标调用实例、所述目标会话域实例以及所述数据返回实例获取目标数据步骤时，具体用于：

根据所述目标调用实例、所述目标会话域实例、所述数据返回实例以及所述目标插件获取所述目标数据。

在一些实施例中，所述处理单元602执行所述根据所述目标调用实例、所述目标会话域实例、所述数据返回实例以及所述目标插件获取目标数据步骤时，具体用于：

将所述目标调用实例、所述目标会话域实例以及所述数据返回实例组装成目标任务实例；

将所述目标任务实例以及所述目标插件组装成目标数据链路；

根据所述目标数据链路获取目标数据。

在一些实施例中，所述前置插件包括任务编排插件以及任务过滤插件，所述后置插件包括数据输出处理插件以及数据回调插件。

在一些实施例中，所述目标插件包括所述前置插件和所述后置插件，所述目标数据链路按照先后执行顺序由所述前置插件、所述目标任务实例以及所述后置插件组成；所述处理单元在执行所述根据所述目标数据链路获取目标数据，步骤时，具体用于：

根据所述前置插件对所述目标任务实例进行任务前置处理，得到处理后任务实例；

根据所述处理后任务实例获取初始数据；

根据所述后置插件对所述初始数据进行数据后置处理，得到所述目标数据。

综上所述，一方面，本申请实施例由于预设有多种数据源类型分别对应的调用实例，相同的数据源类型可以调用同一个调用实例，避免调用实例的重复编码；另一方面，当需要接入新的数据源时，只需要进行数据源类型以及数据项配置信息的配置即可，数据治理效率高。

需要说明的是，所属领域的技术人员可以清楚地了解到，上述数据治理装置和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。

上述数据治理装置可以实现为一种计算机程序的形式，该计算机程序可以在如图7所示的计算机设备上运行。

请参阅图7，图7是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备700可以是终端，也可以是服务器，其中，终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。

参阅图7，该计算机设备700包括通过系统总线701连接的处理器702、存储器和网络接口705，其中，存储器可以包括非易失性存储介质703和内存储器704。

该非易失性存储介质703可存储操作系统7031和计算机程序7032。该计算机程序7032包括程序指令，该程序指令被执行时，可使得处理器702执行一种数据治理方法。

该处理器702用于提供计算和控制能力，以支撑整个计算机设备700的运行。

该内存储器704为非易失性存储介质703中的计算机程序7032的运行提供环境，该计算机程序7032被处理器702执行时，可使得处理器702执行一种数据治理方法。

该网络接口705用于与其它设备进行网络通信。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备700的限定，具体的计算机设备700可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

其中，所述处理器702用于运行存储在存储器中的计算机程序7032，以实现如下步骤：

获取数据源类型信息以及多个数据项配置信息；

从预设的多种数据源类型分别对应的调用实例中确定与所述数据源类型信息对应的目标调用实例，并根据多个所述数据项配置信息确定目标会话域实例以及数据返回实例；

根据所述目标调用实例、所述目标会话域实例以及所述数据返回实例获取目标数据。

在一些实施例中，处理器702在实现所述获取数据源类型信息以及多个数据项配置信息步骤时，具体实现如下步骤：

展示数据源配置页面；

基于所述数据源配置页面获取所述数据源类型信息以及多个所述数据项配置信息。

在一些实施例中，处理器702在实现所述基于所述数据源配置页面获取所述数据源类型信息以及多个所述数据项配置信息步骤时，具体实现如下步骤：

基于所述数据源配置页面获取所述数据源类型信息以及数据组配置信息；

根据所述数据组配置信息获取多个所述数据项配置信息。

在一些实施例中，所述数据项配置信息包括访问配置信息以及返回值配置信息；处理器702在实现所述根据多个所述数据项配置信息确定目标会话域实例以及数据返回实例步骤时，具体实现如下步骤：

根据预设的访问配置信息与访问配置实例的映射关系，将所述访问配置信息映射组装至对应的访问配置实例中，得到所述目标会话域实例；

将所述返回值配置信息映射组装至预设的返回值配置实例中，得到所述数据返回实例。

在一些实施例中，处理器702在实现所述根据所述目标调用实例、所述目标会话域实例以及所述数据返回实例获取目标数据步骤之前，还实现如下步骤：

获取插件配置指令，所述插件配置指令包括前置插件配置指令以及后置插件配置指令中的至少一种；

根据所述插件配置指令从预设的多个插件中确定至少一个目标插件，所述目标插件包括前置插件以及后置插件中的至少一种；

在一些实施例中，处理器702在实现所述根据所述目标调用实例、所述目标会话域实例以及所述数据返回实例获取目标数据步骤时，具体实现如下步骤：

根据所述目标调用实例、所述目标会话域实例、所述数据返回实例以及所述目标插件获取所述目标数据。

在一些实施例中，处理器702在实现所述根据所述目标调用实例、所述目标会话域实例、所述数据返回实例以及所述目标插件获取目标数据步骤时，具体实现如下步骤：

将所述目标调用实例、所述目标会话域实例以及所述数据返回实例组装成目标任务实例；

将所述目标任务实例以及所述目标插件组装成目标数据链路；

根据所述目标数据链路获取目标数据。

在一些实施例中，所述前置插件包括任务编排插件以及任务过滤插件，所述后置插件包括数据输出处理插件以及数据回调插件。

在一些实施例中，所述目标插件包括所述前置插件和所述后置插件，所述目标数据链路按照先后执行顺序由所述前置插件、所述目标任务实例以及所述后置插件组成；处理器702在实现所述根据所述目标数据链路获取目标数据，步骤时，具体实现如下步骤：

根据所述前置插件对所述目标任务实例进行任务前置处理，得到处理后任务实例；

根据所述处理后任务实例获取初始数据；

根据所述后置插件对所述初始数据进行数据后置处理，得到所述目标数据。

应当理解，在本申请实施例中，处理器702可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器702还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。

因此，本申请还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中计算机程序包括程序指令。该程序指令被处理器执行时使处理器执行如下步骤：

获取数据源类型信息以及多个数据项配置信息；

从预设的多种数据源类型分别对应的调用实例中确定与所述数据源类型信息对应的目标调用实例，并根据多个所述数据项配置信息确定目标会话域实例以及数据返回实例；

根据所述目标调用实例、所述目标会话域实例以及所述数据返回实例获取目标数据。

所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本申请实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种数据治理方法，其特征在于，所述方法应用于数据治理系统，所述方法包括：

获取数据源类型信息以及多个数据项配置信息；

从预设的多种数据源类型分别对应的调用实例中确定与所述数据源类型信息对应的目标调用实例，并根据多个所述数据项配置信息确定目标会话域实例以及数据返回实例；

根据所述目标调用实例、所述目标会话域实例以及所述数据返回实例获取目标数据。

2.根据权利要求1所述的方法，其特征在于，所述获取数据源类型信息以及多个数据项配置信息，包括：

展示数据源配置页面；

基于所述数据源配置页面获取所述数据源类型信息以及数据组配置信息；

根据所述数据组配置信息获取多个所述数据项配置信息。

3.根据权利要求1所述的方法，所述数据项配置信息包括访问配置信息以及返回值配置信息；所述根据多个所述数据项配置信息确定目标会话域实例以及数据返回实例，包括：

根据预设的访问配置信息与访问配置实例的映射关系，将所述访问配置信息映射组装至对应的访问配置实例中，得到所述目标会话域实例；

将所述返回值配置信息映射组装至预设的返回值配置实例中，得到所述数据返回实例。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述根据所述目标调用实例、所述目标会话域实例以及所述数据返回实例获取目标数据之前，所述方法还包括：

获取插件配置指令，所述插件配置指令包括前置插件配置指令以及后置插件配置指令中的至少一种；

根据所述插件配置指令从预设的多个插件中确定至少一个目标插件，所述目标插件包括前置插件以及后置插件中的至少一种，所述前置插件根据所述前置插件配置指令得到，所述后置插件根据所述后置插件配置指令得到；

所述根据所述目标调用实例、所述目标会话域实例以及所述数据返回实例获取目标数据，包括：

根据所述目标调用实例、所述目标会话域实例、所述数据返回实例以及所述目标插件获取所述目标数据。

5.根据权利要求4所述的方法，其特征在于，所述前置插件包括任务编排插件以及任务过滤插件，所述后置插件包括数据输出处理插件以及数据回调插件。

6.根据权利要求4所述的方法，其特征在于，所述根据所述目标调用实例、所述目标会话域实例、所述数据返回实例以及所述目标插件获取目标数据，包括：

将所述目标调用实例、所述目标会话域实例以及所述数据返回实例组装成目标任务实例；

将所述目标任务实例以及所述目标插件组装成目标数据链路；

根据所述目标数据链路获取目标数据。

7.根据权利要求6所述的方法，其特征在于，所述目标插件包括所述前置插件和所述后置插件，所述目标数据链路按照先后执行顺序由所述前置插件、所述目标任务实例以及所述后置插件组成；所述根据所述目标数据链路获取目标数据，包括：

根据所述前置插件对所述目标任务实例进行任务前置处理，得到处理后任务实例；

根据所述处理后任务实例获取初始数据；

根据所述后置插件对所述初始数据进行数据后置处理，得到所述目标数据。

8.一种数据集成管理装置，其特征在于，所述数据集成管理装置被配置于数据治理系统，所述装置包括：

收发单元，用于获取数据源类型信息以及多个数据项配置信息；

处理单元，用于从预设的多种数据源类型分别对应的调用实例中确定与所述数据源类型信息对应的目标调用实例，并根据多个所述数据项配置信息确定目标会话域实例以及数据返回实例；根据所述目标调用实例、所述目标会话域实例以及所述数据返回实例获取目标数据。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现如权利要求1-7中任一项所述的方法。

Images