CN108132951B - 数据接入方法及数据接入装置 - Google Patents

Abstract

一种数据接入方法及装置，一个实施例中的方法包括：响应数据接入指令，根据数据接入指令在参数配置数据表中查找对应的第一产品标识；从参数配置数据表的配置信息中查找与第一产品标识对应的配置信息，与第一产品标识对应的配置信息至少包括：源数据路径、描述性信息及该描述性信息的数据指标信息；读取与源数据路径对应的源数据；读取与源数据路径对应的源数据中，与描述性信息对应的描述性数据以及与数据指标信息对应的指标数据；根据读取的描述性数据及指标数据计算描述性数据的数据指标；将描述性数据以及描述性数据的数据指标作为接入数据进行数据接入。本实施例的方案可以快速实现不同的数据源的数据的配置化接入，提高了数据接入的效率。

Description

数据接入方法及数据接入装置

技术领域

本发明涉及信息处理技术领域，特别是涉及一种数据接入方法以及一种数据接入装置。

背景技术

随着互联网技术的快速发展，在目前的网络技术应用中，通过接入不同产品的数据，以对各种数据进行大数据分析，实现各种指数和数据的运算，已经是互联网运用的一项重要内容。为了能够进行大数据分析，从各个产品接入相关的基础数据，成为其中的一项重要内容，而接入基础数据的效率和质量，直接影响到后续的分析处理等过程的效率和质量。

目前的接入各产品的基础数据的方式，通常是针对各产品的数据源分别接入，即针对各数据源，分别编写对应的程序代码，对各数据源分别采用其对应的程序代码进行文件验证、数据读取、数据检验、数据写入、数据告警等各种编码分析处理过程。或者是直接统一各个数据源的数据格式，使得整个过程只需要一套代码就可以进行批量处理。然而，在采用对各产品的数据源分别接入的情况下，每个数据源都需要有对应的程序代码，不仅需要增加很多重复性的工作，导致开发、测试等成本高，而且随着接入的数据源或者数据量的加大，代码量会持续增大，需要增加的模块也越来越多，维护困难。在统一各数据源格式的情况下，虽然实现了代码复用，但却只适用于数据内容相似的接入场景，对于数据格式差异大的场景并不适用。

发明内容

基于此，本实施例提供一种数据接入方法以及一种数据接入装置，以提高数据接入的效率。

为达到上述目的，本实施例采用以下技术方案：

一种数据接入方法，包括步骤：

响应数据接入指令，根据所述数据接入指令在参数配置数据表中查找到对应的第一产品标识；

从所述参数配置数据表的配置信息中查找到与所述第一产品标识对应的配置信息，与所述第一产品标识对应的配置信息至少包括：源数据路径、描述性信息以及该描述性信息的数据指标信息；

读取与所述源数据路径对应的源数据；

读取与所述源数据路径对应的源数据中，与所述描述性信息对应的描述性数据以及与所述数据指标信息对应的指标数据；

根据读取的描述性数据以及与所述数据指标信息对应的指标数据，计算所述描述性数据的数据指标；

将所述描述性数据以及所述描述性数据的数据指标作为接入数据进行数据接入。

一种数据接入装置，包括：

标识查找模块，用于响应数据接入指令，根据所述数据接入指令在参数配置数据表中查找到对应的第一产品标识；

配置信息获取模块，用于从所述参数配置数据表的配置信息中查找到与所述第一产品标识对应的配置信息，与所述第一产品标识对应的配置信息至少包括：源数据路径、描述性信息以及该描述性信息的数据指标信息；

源数据读取模块，用于读取与所述源数据路径对应的源数据；

数据读取模块，用于读取与所述源数据路径对应的源数据中，与所述描述性信息对应的描述性数据以及与所述数据指标信息对应的指标数据；

指标数据计算模块，用于根据读取的描述性数据以及与所述数据指标信息对应的指标数据，确定所述描述性数据的数据指标；

接入模块，用于将所述描述性数据以及所述描述性数据的数据指标作为接入数据进行数据接入。

根据如上所述的实施例的方案，其通过配置参数配置数据表，在参数配置数据表中配置相关的产品标识、源数据路径、描述性信息以及该描述性信息的数据指标信息等配置信息，并基于这些配置信息从源数据中读取到相关的描述性数据以及相关的指标数据，从而基于读取的这些描述性数据和指标数据可以计算出描述性数据的数据指标，并将这些描述性数据以及其数据指标作为接入的数据进行接入，将其写入后台，由于其是基于配置信息将数据源抽象为描述性数据和指标数据，并以描述性数据作为纬度、指标数据作为经度进行数据指标的确定，据此进行数据的接入，从而其在进行数据接入时，基于参数配置数据表，无需多套代码，就可以快速实现不同的数据源的数据的配置化接入，而且无需要求各数据源的数据内容相似，提高了数据接入的效率。

附图说明

图1是一个实施例中的本发明方案的应用环境的示意图；

图2是一个实施例中的服务器的结构示意图；

图3是一个实施例中的数据接入方法的流程示意图；

图4是一个具体示例中配置的配置信息的示意图；

图5是一个具体示例中关联配置信息的示意图；

图6是一个具体示例中加入相关引用关系的示意图；

图7是一个具体应用示例中的数据接入方法的流程示意图；

图8是一个实施例中的数据接入装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

图1示出了本发明一个实施例中的工作环境示意图，如图1所示，其工作环境涉及终端101、终端102以及服务器111、服务器112，终端101、终端102、服务器111、服务器112之间可以通过网络进行通信。终端101、终端102上可以运行有相关的应用程序产品，终端101、终端102上的相关应用程序产品的相关数据可以提供给服务器111和/或者服务器112成为数据源，终端101、终端102上的相关应用程序产品的相关数据也可以存储在终端101、终端102本地。服务器111/服务器112可以从终端101、终端102以及服务器112/服务器111接入数据，从而基于接入的数据进行进一步的相关分析和处理。

服务器111/服务器112在一个实施例中的结构示意图如图2所示。其包括通过系统总线连接的处理器、供电模块、存储介质、内存和通信接口。其中，服务器的存储介质存储有操作系统、数据库和一种数据接入装置，该装置用于实现一种数据接入方法。服务器111/服务器112的通信接口用于与终端101、终端102或者服务器112/服务器111进行连接和通信。

图3中示出了一个实施例中的数据接入方法的流程示意图，如图3所示，该实施例中的数据接入方法包括：

步骤S301：响应数据接入指令，根据所述数据接入指令在参数配置数据表中查找到对应的第一产品标识；

步骤S302：从所述参数配置数据表的配置信息中查找到与所述第一产品标识对应的配置信息，与所述第一产品标识对应的配置信息至少包括：源数据路径、描述性信息以及该描述性信息的数据指标信息；

步骤S303：读取与所述源数据路径对应的源数据；

步骤S304：读取与所述源数据路径对应的源数据中，与所述描述性信息对应的描述性数据以及与所述数据指标信息对应的指标数据；

步骤S305：根据读取的描述性数据以及与所述数据指标信息对应的指标数据，计算所述描述性数据的数据指标；

步骤S306：将所述描述性数据以及所述描述性数据的数据指标作为接入数据进行数据接入。

根据如上所述的实施例的方案，其通过配置参数配置数据表，在参数配置数据表中配置相关的产品标识、源数据路径、描述性信息以及该描述性信息的数据指标信息等配置信息，并基于这些配置信息从源数据中读取到相关的描述性数据以及相关的指标数据，从而基于读取的这些描述性数据和指标数据可以计算出描述性数据的数据指标，并将这些描述性数据以及其数据指标作为接入的数据进行接入，将其写入后台，由于其是基于配置信息将数据源抽象为描述性数据和指标数据，并以描述性数据作为纬度、指标数据作为经度来进行数据指标的确定，据此进行数据的接入，从而其在进行数据接入时，基于参数配置数据表，无需多套代码，就可以快速实现不同的数据源的数据的配置化接入，而且无需要求各数据源的数据内容相似，提高了数据接入的效率。

上述读取与所述源数据路径对应的源数据的方式，可以采用任何可能的方式进行。在其中一个具体示例中，可以是将源数据同步到本地(例如执行数据接入运算的服务器)之后，再进行读取。

因此，在上述步骤S302从所述参数配置数据表的配置信息中查找到与所述第一产品标识对应的配置信息之后，在上述步骤S303读取与所述源数据路径对应的源数据之前，还可以包括步骤：

将所述源数据路径对应的数据源同步到本地预定文件路径。

在将源数据路径对应的数据源同步到本地预定文件路径时，可以是通过分布式文件系统(HFDS)将所述源数据路径对应的数据源同步到本地预定文件路径，也可以是通过数据镜像备份工具(例如类unix系统下的数据镜像备份工具Rsync)将所述源数据路径对应的数据源同步到本地预定文件路径。另一方面，也可以是通过本地数据复制的方式(例如采用类unix系统下的数据镜像备份工具Rsync)将源数据从源数据路径复制到本地预定文件路径。

在另一个具体示例中，读取与所述源数据路径对应的源数据中，与所述描述性信息对应的描述性数据以及与所述数据指标信息对应的指标数据时，也可以是直接由数据源所在的终端/服务器提供，例如可以是：

向所述源数据路径所在的终端/服务器发送信息提取指令，所述信息提取指令包括所述源文件路径、所述描述性信息以及所述数据指标数信息；

接收所述终端/服务器根据所述信息提取指令返回的与所述描述性信息对应的描述性数据以及与所述数据指标信息对应的指标数据。

如上所述，通过配置参数配置数据表，可以无需多套代码，就可以快速实现不同的数据源的数据的配置化接入。

因此，在一个具体示例中，上述数据接入指令中可以不包含任何的应用程序产品的产品标识，即数据接入指令中的产品标识为空，此时，上述查找到的第一产品标识包括所述参数配置数据表中的各个产品标识，即数据接入指令中的产品标识为空时，可以是默认配置的所有产品标识对应的数据源的数据进行接入。

当然，基于实际需要，也可以只接入配置信息中的部分数据源的数据，因此，在另一个具体示例中，上述数据接入指令中包括所述待接入数据的第二产品标识，此时，响应所述数据接入指令时，是根据所述数据接入指令中的第二产品标识在所述参数配置数据表中查找到所述第一产品标识。可以理解的是，这里的第一产品标识、第二产品标识的具体值或者内容实际上相同。在一些具体技术应用示例中，上述数据接入指令中的待接入数据的第二产品标识可以包括至少一个。

在一个具体示例中，还可以对上述配置信息进行更新，从而使得即便是需要增加新的数据源进行数据接入，也可以无需重新编写新的代码，进一步提高数据接入的效率。

据此，本实施例中的方法还可以包括步骤：

接收配置更新指令，所述配置更新指令包括待添加配置信息，所述待添加配置信息包括：新产品标识、新源数据路径、新描述性信息以及该新描述性信息的数据指标信息；

将所述待添加配置信息添加到所述参数配置数据表中，并更新所述参数配置数据表。

上述参数配置数据表的具体形式跟内容，可以基于实际需要进行设定。在一个具体示例中，可以在上述参数配置信息表中包含基于所述源数据路径对应的源数据的文件的内容格式配置的对应的数据对象序列，并在数据对象序列中包含上述配置信息。

在此情况下，在上述从参数配置数据表中获取待接入数据的产品标识的配置信息时，一个具体示例中的方式可以包括：

根据所述第一产品标识，从所述参数配置数据表中，获取基于所述源数据路径对应的源数据的文件的内容格式配置的对应的数据对象序列；

从所述数据对象序列中获取所述配置信息。

如上所述的实施例中的方法，可以运用在各种需要接入大量数据的应用场景，例如需要进行用户行为分析和进行用户画像的应用场景。其通过接入多种数据，例如多种不同应用程序产品的运行数据、多种不同应用程序产品的日志数据等等，这些多种不同应用程序产品，可以不限定产品类型，例如可以是即时聊天工具的相关数据、相关访问类平台的相关数据、相关购物类平台的数据、以及一些综合性网站的数据等等。基于本实施例方法对这些不同应用程序产品的数据进行接入，可以通过一套编码程序就可以实现多种数据的接入，可以大量节省人力时间成本。再例如，可以应用在进行渠道推广数据分析的应用场景。在推广多种应用程序产品时，可以接入各应用程序产品的用户数据，并以各应用程序产品上报的用户数据作为数据源进行结算。另一方面，通过接入各个不同的数据源，也可以对接入的数据源中的相关数据源的真实性进行验证。

如上所述，本发明实施例方案是通过配置化的方式来实现数据的接入。在进行配置时，可以通过“模块+配置项”的方式来唯一确定配置内容，配置的结果写入参数配置数据表。当本实施例方案有读取配置的需求时，仅需加载参数配置数据表，通过“模块+配置项”值，即可获取到具体的接入数据的内容。

本实施例方案中，可以通过面向对象的方式来处理数据，即每一个待接入的数据源对应一个数据对象数组，而每个数据对象数组的成员与数据源中的数据项一一对应。本实施例方案中，以源数据中的描述性信息作为数据纬度，以数据指标信息作为相应数据纬度下的数据指标，即将所有数据源抽象为数据纬度和数据指标，实现数据配置化接入。其中，这里的描述性信息(或者说数据纬度)可以是指可以指定不同的值的对象的描述性属性或特征，例如渠道推广数据的描述性信息(或者说数据纬度)可以包括“合作方”、“渠道号”、“推广方式”等，互联网+指数数据的描述性信息(或者说数据纬度)可以包括“省份”、“城市”等。而数据指标信息(或者说数据指标)作为数据纬度的具体纬度元素，可以是指可以按照总数或比值衡量的相关信息，渠道推广数据的数据指标信息(或者说数据指标)可以包括“新增用户数”、“活跃用户数”等，互联网+指数数据的数据指标信息(或者说数据指标)可以包括“基础分指数”、“产业分指数”等。

在一个具体应用示例中，可以先完成一套数据处理程序的编码与测试，其每个需要接入的数据源都会配置对应的配置信息，包括：产品标识、源数据路径、描述性信息以及该描述性信息的数据指标信息，通过配置信息可以获取到源数据文件、数据纬度和数据指标，其中，数据纬度及其数据指标可以通过数据对象的方式来实现，每一个数据对象对应一个数据源的数据纬度和数据指标。基于这些配置信息，可以实现读数据、数据处理、以及写数据的过程。

随后，在此基础上即可完成各个数据源的数据的配置化接入，首先需要完成各个数据源的配置信息的配置，图4中示出了一个具体示例中配置的配置信息的示意图。然后即可将配置信息与数据文件的相关配置关联起来，图5中示出了一个具体示例中关联配置信息的示意图，具体将相关配置关联时，可以在脚本中实现关联。在实现上述关联后，可根据各源数据文件的表结构生成对应的结构类，具体的生成方式可以采用任何可能的(包括已有的)方式或者工具进行，然后加入相关的引用关系，以便于对数据对象中的描述性信息以及指标数据进行赋值，图6中示出了一个具体示例中加入相关引用关系的示意图。

由此可见，本实施例方案中，对相关参数的配置和对相关代码内部的配置相互结合，对相关参数的配置可以确保源数据有变动时无需改动代码，运维量小，而代码内部的相关配置可以实现根据数据源独立运行，使得各数据源之间保持独立。

在上述各种配置完成之后，在进行具体的数据接入的过程中，如图7所示，首先读取配置信息，在读取配置信息时，可以是基于产品标识等产品参数进行，该产品标识等产品参数可以是直接包含在接收的数据接入指令中(例如无需接入所有数据源只接入其中的一个或者几个数据源时，或者是需要接入所有的数据源时也可以包含所有的产品标识)，也可以是直接从配置信息中读取所有的产品标识或者直接读取相关的其他参数(例如需要接入所有的数据源时)。

在读取到配置信息后，基于源数据路径判断该配置信息相关的数据源是否存在，若不存在，则进行告警，同时可以进行日志记录，结束当前的数据接入过程。

若数据源存在，则根据配置信息中的源数据路径，将源数据路径对应的源数据同步到本地预定文件路径，具体进行同步时，可以采用任何可能的方式进行，例如通过分布式文件系统(HFDS)或者数据镜像备份工具(例如类unix系统下的数据镜像备份工具Rsync)将所述源数据路径对应的数据源同步到本地预定文件路径，或者通过本地复制的方式将源数据从源数据路径复制到本地预定文件路径。

在完成数据源的同步后，一方面对源数据进行验证，判断是否包含有异常数据，若有异常数据，则进一步判断该异常数据是否在数据白名单中，若否，则进行异常数据告警，并可以同时进行日志记录，结束当前的数据接入过程。

另一方面，对源数据文件的文件内部格式进行验证，具体的验证方式可以采用任何可能的方式进行。若源数据文件的文件内部格式验证不通过，则进行告警，同时可以进行日志记录，结束当前的数据接入过程。

若源数据文件的文件内部格式验证通过，而且源数据中不包含异常数据或者尽管包含异常数据但该异常数据在数据白名单中，则基于配置信息进行源数据文件中的数据读取，并根据配置信息计算确定出各描述性信息的描述性数据以及各描述性数据对应的指标数据。然后将所述描述性数据以及所述描述性数据的数据指标作为接入数据进行数据接入，完成数据接入过程。在一个具体应用示例中，可以是将确定的各描述性信息的描述性数据以及各描述性数据对应的指标数据写入一个表(例如可以命名为配置获取结果表)后，通过读取该配置获取结果表后，将该配置获取结果表写入后台，进行数据入库，从而完成数据接入过程。

基于与上述数据接入方法相同的思想，本发明实施例还提供一种数据接入装置，图8中示出了一个实施例中的数据接入装置的结构示意图。

如图8所示，该实施例中的数据接入装置包括：

标识查找模块801，用于响应数据接入指令，根据所述数据接入指令在参数配置数据表中查找到对应的第一产品标识；

配置信息获取模块802，用于从所述参数配置数据表的配置信息中查找到与所述第一产品标识对应的配置信息，与所述第一产品标识对应的配置信息至少包括：源数据路径、描述性信息以及该描述性信息的数据指标信息；

源数据读取模块803，用于读取与所述源数据路径对应的源数据；

数据读取模块804，用于读取与所述源数据路径对应的源数据中，与所述描述性信息对应的描述性数据以及与所述数据指标信息对应的指标数据；

指标数据计算模块805，用于根据读取的描述性数据以及与所述数据指标信息对应的指标数据，确定所述描述性数据的数据指标；

接入模块806，用于将所述描述性数据以及所述描述性数据的数据指标作为接入数据进行数据接入。

根据如上所述的实施例的方案，其通过配置参数配置数据表，在参数配置数据表中配置相关的产品标识、源数据路径、描述性信息以及该描述性信息的数据指标信息等配置信息，并基于这些配置信息从源数据中读取到相关的描述性数据以及相关的指标数据，从而基于读取的这些描述性数据和指标数据可以计算出描述性数据的数据指标，并将这些描述性数据以及其数据指标作为接入的数据进行接入，将其写入后台，由于其是基于配置信息将数据源抽象为描述性数据和指标数据，并以描述性数据作为纬度、指标数据作为经度来进行数据指标的确定，据此进行数据的接入，从而其在进行数据接入时，基于参数配置数据表，无需多套代码，就可以快速实现不同的数据源的数据的配置化接入，而且无需要求各数据源的数据内容相似，提高了数据接入的效率。

上述读取与所述源数据路径对应的源数据的方式，可以采用任何可能的方式进行。

在其中一个具体示例中，可以是将源数据同步到本地(例如执行数据接入运算的服务器)之后，再进行具体的源数据的读取。据此，如图8所示，该实施例中的数据接入装置还可以包括：

数据同步模块807，用于将所述源数据路径对应的数据源同步到本地预定文件路径。

此时，上述源数据读取模块803可以是将数据同步模块807同步至所述本地预定文件路径的源数据作为与所述源数据路径对应的源数据。

在将源数据路径对应的数据源同步到本地预定文件路径时，可以是通过分布式文件系统(HFDS)将所述源数据路径对应的数据源同步到本地预定文件路径，也可以是通过数据镜像备份工具(例如类unix系统下的数据镜像备份工具Rsync)将所述源数据路径对应的数据源同步到本地预定文件路径。另一方面，也可以是通过本地数据复制的方式(例如采用类unix系统下的数据镜像备份工具Rsync)将源数据从源数据路径复制到本地预定文件路径。

在另一个具体示例中，数据读取模块804读取与所述源数据路径对应的源数据中，与所述描述性信息对应的描述性数据以及与所述数据指标信息对应的指标数据时，也可以是直接由数据源所在的终端/服务器提供，据此，上述数据读取模块804，用于向所述源数据路径所在的终端发送信息提取指令，所述信息提取指令包括所述源文件路径、所述描述性信息以及所述数据指标数信息，并接收所述终端根据所述信息提取指令返回的与所述描述性信息对应的描述性数据以及与所述数据指标信息对应的指标数据。

如上所述，通过配置参数配置数据表，可以无需多套代码，就可以快速实现不同的数据源的数据的配置化接入。

因此，在一个具体示例中，上述数据接入指令中可以不包含任何的应用程序产品的产品标识，即数据接入指令中的产品标识为空，此时，上述查找到的第一产品标识包括所述参数配置数据表中的各个产品标识，即数据接入指令中的产品标识为空时，可以是默认配置的所有产品标识对应的数据源的数据进行接入。

当然，基于实际需要，也可以只接入配置信息中的部分数据源的数据，因此，在另一个具体示例中，上述数据接入指令中包括所述待接入数据的第二产品标识，此时，上述标识查找模块801，是响应所述数据接入指令，根据所述数据接入指令中的第二产品标识在所述参数配置数据表中查找到所述第一产品标识。可以理解的是，这里的第一产品标识、第二产品标识的具体值或者内容实际上相同。在一些具体技术应用示例中，上述数据接入指令中的待接入数据的第二产品标识可以包括至少一个。

在一个具体示例中，还可以对上述配置信息进行更新，从而使得即便是需要增加新的数据源进行数据接入，也可以无需重新编写新的代码，进一步提高数据接入的效率。

据此，如图8所示，该实施例中的数据接入装置还可以包括：

配置更新模块808，用于接收配置更新指令，所述配置更新指令包括待添加配置信息，所述待添加配置信息包括：新产品标识、新源数据路径、新描述性信息以及该新描述性信息的数据指标信息，并将所述待添加配置信息添加到所述参数配置数据表中，并更新所述参数配置数据表。

上述参数配置数据表的具体形式跟内容，可以基于实际需要进行设定。在一个具体示例中，可以在上述参数配置信息表中包含基于所述源数据路径对应的源数据的文件的内容格式配置的对应的数据对象序列，并在数据对象序列中包含上述配置信息。

据此，在一个具体示例中，上述配置信息获取模块802可以包括：

数据对象序列获取模块8021，用于根据所述第一产品标识，从所述参数配置数据表中，获取基于所述源数据路径对应的源数据的文件的内容格式配置的对应的数据对象序列；

信息获取模块8022，用于从所述数据对象序列中获取所述配置信息。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性的计算机可读取存储介质中，如本发明实施例中，该程序可存储于计算机系统的存储介质中，并被该计算机系统中的至少一个处理器执行，以实现包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种数据接入方法，其特征在于，包括步骤：

响应数据接入指令，根据所述数据接入指令在参数配置数据表中查找到对应的第一产品标识；其中，在所述数据接入指令中的产品标识为空时，所述第一产品标识包括所述参数配置数据表中的各个产品标识；

从所述参数配置数据表的配置信息中查找到与所述第一产品标识对应的配置信息，与所述第一产品标识对应的配置信息至少包括：源数据路径、描述性信息以及该描述性信息的数据指标信息；

读取与所述源数据路径对应的源数据；

读取与所述源数据路径对应的源数据中，与所述描述性信息对应的描述性数据以及与所述数据指标信息对应的指标数据；

根据读取的描述性数据以及与所述数据指标信息对应的指标数据，计算所述描述性数据的数据指标；

将确定的各描述性信息的描述性数据以及各描述性数据对应的指标数据写入配置获取结果表后，将所述配置获取结果表写入后台，进行数据入库，从而完成数据接入过程。

2.根据权利要求1所述的数据接入方法，其特征在于，在从所述参数配置数据表的配置信息中查找到与所述第一产品标识对应的配置信息之后，读取与所述源数据路径对应的源数据之前，还包括步骤：

将所述源数据路径对应的数据源同步到本地预定文件路径。

3.根据权利要求1所述的数据接入方法，其特征在于，读取与所述源数据路径对应的源数据中，与所述描述性信息对应的描述性数据以及与所述数据指标信息对应的指标数据的方式包括：

向所述源数据路径所在的终端发送信息提取指令，所述信息提取指令包括所述源文件路径、所述描述性信息以及所述数据指标数信息；

接收所述终端根据所述信息提取指令返回的与所述描述性信息对应的描述性数据以及与所述数据指标信息对应的指标数据。

4.根据权利要求1至3任意一项所述的数据接入方法，其特征在于，从所述参数配置数据表的配置信息中查找到与所述第一产品标识对应的配置信息的方式包括：

根据所述第一产品标识，从所述参数配置数据表中，获取基于所述源数据路径对应的源数据的文件的内容格式配置的对应的数据对象序列；

从所述数据对象序列中获取所述配置信息。

5.根据权利要求1至3任意一项所述的数据接入方法，其特征在于：

所述数据接入指令中包括待接入数据的第二产品标识，响应所述数据接入指令，根据所述数据接入指令中的第二产品标识在所述参数配置数据表中查找到所述第一产品标识。

6.一种数据接入装置，其特征在于，包括：

标识查找模块，用于响应数据接入指令，根据所述数据接入指令在参数配置数据表中查找到对应的第一产品标识；其中，在所述数据接入指令中的产品标识为空时，所述第一产品标识包括所述参数配置数据表中的各个产品标识；

配置信息获取模块，用于从所述参数配置数据表的配置信息中查找到与所述第一产品标识对应的配置信息，与所述第一产品标识对应的配置信息至少包括：源数据路径、描述性信息以及该描述性信息的数据指标信息；

源数据读取模块，用于读取与所述源数据路径对应的源数据；

数据读取模块，用于读取与所述源数据路径对应的源数据中，与所述描述性信息对应的描述性数据以及与所述数据指标信息对应的指标数据；

指标数据计算模块，用于根据读取的描述性数据以及与所述数据指标信息对应的指标数据，确定所述描述性数据的数据指标；

接入模块，用于将确定的各描述性信息的描述性数据以及各描述性数据对应的指标数据写入配置获取结果表后，将所述配置获取结果表写入后台，进行数据入库，从而完成数据接入过程。

7.根据权利要求6所述的数据接入装置，其特征在于：

还包括数据同步模块，用于将所述源数据路径对应的数据源同步到本地预定文件路径；

所述源数据读取模块将所述数据同步模块同步至所述本地预定文件路径的源数据作为与所述源数据路径对应的源数据进行读取。

8.根据权利要求6所述的数据接入装置，其特征在于，所述数据读取模块，用于向所述源数据路径所在的终端发送信息提取指令，所述信息提取指令包括所述源文件路径、所述描述性信息以及所述数据指标数信息，并接收所述终端根据所述信息提取指令返回的与所述描述性信息对应的描述性数据以及与所述数据指标信息对应的指标数据。

9.根据权利要求6至8任意一项所述的数据接入装置，其特征在于，所述配置信息获取模块包括：

数据对象序列获取模块，用于根据所述第一产品标识，从所述参数配置数据表中，获取基于所述源数据路径对应的源数据的文件的内容格式配置的对应的数据对象序列；

信息获取模块，用于从所述数据对象序列中获取所述配置信息。

10.根据权利要求6至8任意一项所述的数据接入装置，其特征在于：

所述数据接入指令中包括待接入数据的第二产品标识时，所述标识查找模块响应所述数据接入指令，根据所述数据接入指令中的第二产品标识在所述参数配置数据表中查找到所述第一产品标识。

11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。

Images