CN112231408B - 数据集成方法及装置、电子设备、存储介质 - Google Patents

Abstract

本申请提供一种数据集成方法及装置、电子设备、计算机可读存储介质，方法包括：依据预设数据集成配置中的项目标识和凭据信息，生成连接请求；向服务端发起连接请求；其中，所述连接请求用于与服务端建立连接；响应于针对目标数据源中目标数据表的传输指令，将所述目标数据表中的数据传输至所述服务端。本申请方案，对于不同被采集数据源，通过客户端的上述措施均可实现数据传输，从而降低了开发人员针对不同被采集数据源开发对应接口的人工成本，提高了数据集成的效率。

Description

数据集成方法及装置、电子设备、存储介质

技术领域

本申请涉及数据处理技术领域，特别涉及一种数据集成方法及装置、电子设备、计算机可读存储介质。

背景技术

数据集成平台是可跨异构数据存储系统的数据同步平台，用于实现离线(批量)数据集成、汇聚和实时数据计入。一般，可在被采集数据源和采集数据源所在网络分别部署相关的WEB(World Wide Web，全球广域网)应用用于数据采集和接收。该方案需为WEB应用开放相应的接口，比较繁琐。在新增其它被采集数据源时，仍需要重新定制化开发对应的接口，这样会增加开发成本，降低数据集成的效率。

发明内容

本申请实施例的目的在于提供一种数据集成方法及装置、电子设备、计算机可读存储介质，用于降低开发成本，提高数据集成的效率。

一方面，本申请提供了一种数据集成方法，应用于客户端，包括：

依据预设数据集成配置中的项目标识和凭据信息，生成连接请求；

向服务端发起连接请求；其中，所述连接请求用于与服务端建立连接；

响应于针对目标数据源中目标数据表的传输指令，将所述目标数据表中的数据传输至所述服务端。

在一实施例中，所述传输指令包括离线传输指令；

所述响应于针对目标数据源中目标数据表的传输指令，将所述目标数据表中的数据传输至所述服务端，包括：

响应于所述离线传输指令，向所述服务器发送数据离线同步请求；其中，所述数据离线同步请求携带所述目标数据表的表标识和待传输数据，以使所述服务端依据所述表标识存储所述待传输数据。

在一实施例中，在将所述目标数据表中的数据传输至所述服务端之前，所述方法还包括：

响应于针对所述目标数据表的表构建指令，向所述服务端发起表构建请求；其中，所述表构建请求包括所述目标数据表的表标识和表结构信息，使得所述服务端依据所述表结构信息创建对应于所述目标数据表的备份数据表。

在一实施例中，所述传输指令包括实时传输指令；

所述响应于针对目标数据源中目标数据表的传输指令，将所述目标数据表中的数据传输至所述服务端，包括：

响应于所述实时传输指令，向所述服务端发送数据实时同步请求；其中，所述数据实时同步请求携带所述目标数据表的表标识和增量日志文件，使得所述服务端依据所述表标识存储所述增量日志文件中的待传输数据。

在一实施例中，所述方法还包括：

基于所述数据集成配置中的心跳周期，向所述服务端发送心跳报文；其中，所述心跳报文携带本地的工作状态信息。

在一实施例中，所述方法还包括：

依据所述目标数据表的传输任务进度生成任务日志；

响应于针对所述目标数据表的进度查询指令，输出所述任务日志中的传输任务进度。

另一方面，本申请还提供了一种数据集成方法，应用于服务端，包括：

接收客户端发送的连接请求；其中，所述连接请求携带项目标识和凭据信息；

判断所述凭据信息是否正确，如果是，为所述客户端分配传输接口；

通过所述传输接口获取所述客户端传输的目标数据表中的数据。

在一实施例中，所述传输接口包括离线接口；

所述通过所述传输接口获取所述客户端传输的目标数据表中的数据，包括：

通过所述离线接口获取数据离线同步请求；其中，所述数据离线同步请求携带所述目标数据表的表标识和待传输数据；

基于所述表标识查找对应于所述目标数据表的备份数据表；

将所述待传输数据写入所述备份数据表。

在一实施例中，在所述通过所述传输接口获取所述客户端传输的目标数据表中的数据之前，所述方法还包括：

接收所述客户端发送的表构建请求；其中，所述表构建请求包括所述目标数据表的表标识和表结构信息；

依据所述表结构信息创建对应于所述目标数据表的备份数据表；

建立所述表标识与所述备份数据表的关联关系。

在一实施例中，所述传输接口包括实时接口；

所述通过所述传输接口获取所述客户端传输的目标数据表中的数据，包括：

通过所述实时接口接收所述客户端发送的数据实时同步请求；其中，所述数据实时同步携带所述目标数据表的表标识和增量日志文件；

从所述增量日志文件中解析出待传输数据，并将所述待传输数据放入所述表标识对应的消息队列。

在一实施例中，所述方法还包括：

接收所述客户端发送的心跳报文；其中，所述心跳报文携带所述客户端的工作状态信息；

响应于针对所述客户端的状态查询指令，输出所述工作状态信息。

进一步的，本申请还提供了一种电子设备，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述应用于客户端的数据集成方法。

进一步的，本申请还提供了一种电子设备，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述应用于服务端的数据集成方法。

另外，本申请还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成上述应用于客户端的数据集成方法。

另外，本申请还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成上述应用服务端的数据集成方法。

在本申请实施例中，客户端可以依据应用程序的数据集成配置与服务端建立连接，从而在建立连接后依据客户端搭载应用程序的执行逻辑，响应针对目标数据表的传输指令后，向服务端传输数据；对于不同被采集数据源，通过客户端的上述措施均可实现数据传输，从而降低了开发人员针对不同被采集数据源开发对应接口的人工成本，提高了数据集成的效率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。

图1为本申请一实施例提供的数据集成方法的应用场景示意图；

图2为本申请一实施例提供的电子设备的结构示意图；

图3为本申请另一实施例提供的电子设备的结构示意图；

图4为本申请一实施例提供的数据集成方法的流程示意图；

图5为本申请一实施例提供的数据传输方法的流程示意图；

图6为本申请一实施例提供的数据表复制方法的流程示意图；

图7为本申请另一实施例提供的数据传输方法的流程示意图；

图8为本申请一实施例提供的数据集成装置的框图；

图9为本申请一实施例提供的数据集成装置的框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

图1为本申请实施例提供的数据集成方法的应用场景示意图。如图1所示，该应用场景包括客户端40、服务端50；其中，客户端40为被采集数据源所在的服务器、服务器集群或云计算中心，客户端40用于向服务端50传输待同步的数据；服务端50为采集数据源所在的服务器、服务器集群或云计算中心，用于从若干客户端40接收待同步的数据，并进行存储，从而实现对客户端40上的数据同步工作。

如图2所示，本实施例提供一种电子设备1，包括：至少一个处理器11和存储器12，图2中以一个处理器11为例。处理器11和存储器12通过总线10连接，存储器12存储有可被处理器11执行的指令，指令被处理器11执行，以使电子设备1可执行下述的实施例中方法的全部或部分流程。在一实施例中，电子设备1可以是上述客户端40。

存储器12可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory，简称EPROM)，可编程只读存储器(Programmable Red-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。

本申请还提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序可由处理器11执行以完成本申请提供的应用于客户端的数据集成方法。

如图3所示，本实施例提供一种电子设备2，包括：至少一个处理器21和存储器22，图3中以一个处理器21为例。处理器21和存储器22通过总线20连接，存储器22存储有可被处理器21执行的指令，指令被处理器21执行，以使电子设备2可执行下述的实施例中方法的全部或部分流程。在一实施例中，电子设备2可以是上述服务端50。

存储器22可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器，电可擦除可编程只读存储器，可擦除可编程只读存储器，可编程只读存储器，只读存储器，磁存储器，快闪存储器，磁盘或光盘。

本申请还提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序可由处理器21执行以完成本申请提供的应用于服务端的数据集成方法。

参见图4，为本申请一实施例提供的数据集成方法的流程示意图，如图4所示，该方法可以包括以下步骤410-步骤440。

步骤410：客户端依据预设数据集成配置中的项目标识和凭据信息，生成连接请求，并向服务端发送连接请求。

其中，项目标识用于区分不同的数据集成项目。示例性的，互联网医院平台在集成各地医院的数据时，可以将每一医院的数据集成到互联网医院平台的工作成为一个数据集成项目。

凭据信息用于验证客户端的合法性。示例性的，凭据信息可以是Access Key ID和Access Key Secret。

客户端可以从运用人员的用户终端获取上述项目标识和凭据信息。当接收用户终端下发的连接指令时，可以依据项目标识和拼接信息生成连接请求，并向服务端发送连接请求。

步骤420：服务端接收连接请求，并判断连接请求中的凭据信息是否正确，如果是，为客户端分配传输接口。

服务端从连接请求中解析出项目标识和凭据信息后，可以对凭据信息进行验证。一方面，如果该凭据信息未通过验证，可以认为客户端为非法客户端，忽视连接请求。另一方面，如果该凭据信息通过验证，可以认为客户端为合法客户端。此时，服务端可以为客户端分配传输接口，该传输接口与服务端上数据存储位置相关，后续服务端可通过该传输接口接收客户端上报的数据。其中，数据存储位置可以包括ActiveMQ、RabbitMQ、Kafka、RocketMQ等消息队列，也可以是数据仓库平台(比如：hive)。

步骤430：客户端响应于针对目标数据源中目标数据表的传输指令，将目标数据表中数据传输至服务端。

目标数据源是需要被集成数据的数据源，可以包括客户端本地的数据库。目标数据表是目标数据源内需要接受数据集成的数据表。示例性的，需要将A医院的病患资料数据库中病人信息表的数据同步至互联网医院平台，则目标数据源为A医院的病患资料数据库，目标数据表为病人信息表。

当运营人员通过用户终端启用针对目标数据表的数据传输任务时，客户端可以响应于传输指令，从目标数据源的目标数据表中获取数据，并传输至服务端。

步骤440：服务端通过传输接口获取客户端传输的目标数据表中的数据。

服务端接收客户端传输的目标数据表中的数据后，可以将数据放入传输接口对应的数据存储位置。

在一实施例中，对于一些实时性要求较低的数据，可以通过离线传输的方式集成至服务端。示例性的，客户端可以周期性将待传输数据传输至服务端，这里，周期时长可基于实际应用场景进行配置。参见图5，为本申请一实施例提供的数据传输方法的流程示意图，如图5所示，该方法可以包括以下步骤510-步骤530。

步骤510：客户端响应于离线传输指令，向服务器发送数据离线同步请求；其中，数据离线同步请求携带目标数据表的表标识和待传输数据。

当运营人员通过用户终端启用针对目标数据表的离线数据传输任务时，客户端可以响应于离线传输指令，从目标数据表获取待传输数据。客户端可以依据目标数据表的表标识生成数据离线同步请求，该数据离线同步请求包括上述待传输数据。客户端可以向服务端发送上述数据离线同步请求。

示例性的，客户端可以通过datax来向服务端实现数据离线同步。

步骤520：服务端通过离线接口获取数据离线同步请求，并基于表标识查找对应于目标数据表的备份数据表。

步骤530：服务端将待传输数据写入备份数据表。

其中，离线接口是专用于对接离线数据传输任务的传输接口。离线接口对应的数据存储位置可以是数据仓库平台。

备份数据表是服务端在本地数据存储位置(比如：hive)上创建的与目标数据表对应的数据表。

服务端可以通过离线接口接收数据离线同步请求，并从中解析出待传输数据和表标识，依据该表标识查找到对应的备份数据表。服务端可以将待传输数据写入上述备份数据表。

在一实施例中，执行上述离线数据传输任务之前，需要创建与目标数据表对应的备份数据表。参见图6，为本申请一实施例提供的数据表复制方法的流程示意图，如图6所示，该方法可以包括以下步骤610-步骤630。

步骤610：客户端响应于针对目标数据表的表构建指令，向服务端发起表构建请求；其中，表构建请求包括目标数据表的表标识和表结构信息。

表构建指令用于控制客户端向服务端发起表构建请求，使得服务端可以创建对应于目标数据表的备份数据表。表构建指令中可以指示若干个目标数据表，以及每一目标数据表中待传输数据的字段名称。

如果服务端需获取客户端上目标数据表的所有数据，表构建指令中包括目标数据表中所有字段名称。如果服务端需获取客户端上目标数据表的部分数据，表构建指令中包括目标数据表中部分字段名称。

客户端可以响应于上述表构建指令，基于表构建指令中的表标识以及表结构信息生成表构建请求，并向服务端发起表构建请求。其中，表结构信息包括目标数据表中待传输数据的字段名称和字段类型。

步骤620：服务端接收客户端发送的表构建请求，依据表结构信息创建对应于目标数据表的备份数据表。

步骤630：服务端建立表标识与备份数据表的关联关系。

服务端接收到上述表构建请求后，从表构建请求中解析出表结构信息和目标数据表的表标识。服务端可以依据表结构信息中的字段名称和字段类型构建备份数据表，并建立表标识与备份数据表之间的关联关系。

通过该措施，服务端可以在后续将目标数据表中的数据写入到本地的备份数据表。

在一实施例中，对于一些实时性要求较高的数据，可以通过实时传输增量数据的方式集成至服务端。参见图7，为本申请一实施例提供的数据传输方法的流程示意图，如图7所示，该方法可以包括以下步骤710-步骤730。

步骤710：客户端响应于实时传输指令，向服务端发送数据实时同步请求；其中，数据实时同步请求携带目标数据表的表标识和增量日志文件。

当运营人员通过用户终端启用针对目标数据表的实时数据传输任务时，客户端可以响应于实时传输指令，获取目标数据表的增量日志文件。该增量日志文件记录目标数据表的增量数据。示例性的，如果目标数据源为MySql数据库，增量日志文件为binlog。客户端可以将实时获取到的增量日志文件转换为指定数据格式(比如：通过Google ProtocolBuffer进行压缩)，并基于指定数据格式的增量日志文件和表标识生成实时同步请求，发送至服务端。

步骤720：服务端通过实时接口接收客户端发送的数据实时同步请求。

步骤730：服务端从增量日志文件中解析出待传输数据，并将待传输数据放入表标识对应的消息队列。

其中，实时接口是专用于对接实时数据传输任务的传输接口。实时接口对应的数据存储位置可以是消息队列。

服务端可以通过实时接口接收数据实时同步请求，并从中解析出待增量日志文件和表标识。服务端可以从增量日志文件总解析出待传输数据，并可以将待传输数据放入到表标识对应的消息队列。

在一实施例中，客户端可以依据目标数据表的传输任务进度生成任务日志，该任务日志记录离线数据传输任务或实时数据传输任务的任务进度。当运用人员在用户终端下发针对目标数据表的进度查询指令时，客户端可以响应于该进度查询指令，输出任务日志中的传输任务进度。

通过该措施，可以实现对数据传输任务的进度展示。

在一实施例中，客户端可以基于数据集成配置中的心跳周期，向服务端发送心跳报文。其中，心跳周期可以是经验值，比如，60秒。心跳报文可以携带客户端的工作状态信息，工作状态信息可以包括负载信息、内存信息、CPU占用率等。

服务端接收到心跳报文，可以获知客户端仍处于工作状态。当超过预设时长阈值(比如：20个心跳周期)没收到心跳报文后，可以认定客户端出现故障，在这种情况下，服务端可以输出报警信息。

当运营人员通过用户终端向服务端发起针对客户端的状态查询指令时，服务端可以从最新的心跳报文中解析出工作状态信息，并向用户终端输出该工作状态信息。

图8是本发明一实施例提供的数据集成装置的框图，该装置应用于客户端，如图8所示，该装置可以包括：

生成模块810，用于依据预设数据集成配置中的项目标识和凭据信息，生成连接请求；

发起模块820，用于向服务端发起连接请求；其中，所述连接请求用于与服务端建立连接；

传输模块830，用于响应于针对目标数据源中目标数据表的传输指令，将所述目标数据表中的数据传输至所述服务端。

图9是本发明一实施例提供的数据集成装置的框图，该装置应用于服务端，如图9所示，该装置可以包括：

接收模块910，用于接收客户端发送的连接请求；其中，所述连接请求携带项目标识和凭据信息；

判断模块920，用于判断所述凭据信息是否正确，如果是，为所述客户端分配传输接口；

获取模块930，用于通过所述传输接口获取所述客户端传输的目标数据表中的数据。

上述装置中各个模块的功能和作用的实现过程具体详见上述数据集成方法中对应步骤的实现过程，在此不再赘述。

在本申请所提供的几个实施例中，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (9)

1.一种数据集成方法，应用于客户端，其特征在于，包括：

依据预设数据集成配置中的项目标识和凭据信息，生成连接请求；其中，所述凭据信息包括访问账号和访问密钥；

向服务端发起连接请求；其中，所述连接请求用于与服务端建立连接；

响应于针对目标数据表的表构建指令，向所述服务端发起表构建请求；其中，所述表构建请求包括所述目标数据表的表标识和表结构信息，使得所述服务端依据所述表结构信息创建对应于所述目标数据表的备份数据表；响应于针对目标数据源中目标数据表的离线传输指令，向所述服务端发送数据离线同步请求；其中，所述数据离线同步请求携带所述目标数据表的表标识和待传输数据，以使所述服务端依据所述表标识存储所述待传输数据至所述目标数据表对应的备份数据表；或者，

响应于针对所述目标数据源中目标数据包的实时传输指令，向所述服务端发送数据实时同步请求；其中，所述数据实时同步请求携带所述目标数据表的表标识和增量日志文件，使得所述服务端依据所述表标识存储所述增量日志文件中的待传输数据至消息队列。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述数据集成配置中的心跳周期，向所述服务端发送心跳报文；其中，所述心跳报文携带本地的工作状态信息。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

依据所述目标数据表的传输任务进度生成任务日志；

响应于针对所述目标数据表的进度查询指令，输出所述任务日志中的传输任务进度。

4.一种数据集成方法，应用于服务端，其特征在于，包括：

接收客户端发送的连接请求；其中，所述连接请求携带项目标识和凭据信息，所述凭据信息包括访问账号和访问密钥；

判断所述凭据信息是否正确，如果是，为所述客户端分配传输接口；其中，所述传输接口为离线接口或实时接口；

接收所述客户端发送的表构建请求；其中，所述表构建请求包括目标数据表的表标识和表结构信息；依据所述表结构信息创建对应于所述目标数据表的备份数据表；建立所述表标识与所述备份数据表的关联关系；通过所述离线接口获取数据离线同步请求；其中，所述数据离线同步请求携带目标数据表的表标识和待传输数据；基于所述表标识查找对应于所述目标数据表的备份数据表；将所述待传输数据写入所述备份数据表；或者，

通过所述实时接口接收所述客户端发送的数据实时同步请求；其中，所述数据实时同步携带目标数据表的表标识和增量日志文件；从所述增量日志文件中解析出待传输数据，并将所述待传输数据放入所述表标识对应的消息队列。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

接收所述客户端发送的心跳报文；其中，所述心跳报文携带所述客户端的工作状态信息；

响应于针对所述客户端的状态查询指令，输出所述工作状态信息。

6.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求1-3任意一项所述数据集成方法。

7.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求4-5任意一项所述数据集成方法。

8.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成权利要求1-3任意一项所述的数据集成方法。

9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成权利要求4-5任意一项所述的数据集成方法。

Images