CN114416438A - 数据导出方法、装置、计算机设备及调度服务系统 - Google Patents

Abstract

本申请涉及一种数据导出方法、装置、计算机设备、存储介质、计算机程序产品和调度服务系统，涉及大数据技术领域，可以应用于金融科技领域或其它领域。所述方法包括：向第一目标计算节点发送第一数据导出指令，指示第一目标计算节点从目标数据所属的数据库中获取目标数据并存储于共享存储空间；在监测到第一目标计算节点的设备状态为故障状态的情况下，确定第二目标计算节点，并向第二目标计算节点发送第二数据导出指令，以使第二目标计算节点在确定共享存储空间中包含目标数据的情况下，从共享存储空间中获取目标数据发送给目标服务器。采用本方法能够避免在数据导出过程中数据容易丢失的问题，提高数据导出的安全性和可靠性。

Description

数据导出方法、装置、计算机设备及调度服务系统

技术领域

本申请涉及大数据技术领域，特别是涉及一种数据导出方法、装置、计算机设备、存储介质、计算机程序产品和调度服务系统。

背景技术

随着数据量产生速度越来越快，出现了大数据平台技术。通过大数据平台统一管理、集中存储大数据资源，可以满足大数据对高性能计算能力和大容量存储能力的需求，并能提供数据采集、数据计算、数据存储、数据分析，数据可视化等大量开发能力。各应用可以在大数据平台上进行数据开发，具体的，各应用将数据导入到大数据平台的大数据集群进行集中存放，然后每个应用可以根据作业需要，在大数据平台批量加工数据，并将加工后的数据导出到应用服务器以便查询使用。

其中，为了各应用之间的解耦合，各应用之间不能相互访问对方的数据库，只能通过接口或者文件的方式来交互，因此，导出加工后的数据时，会先将数据导出在大数据平台调度服务器的数据导出节点，进而由该数据导出节点将数据发送给应用服务器。

相关技术中，数据导出节点包括任务执行(执行数据导出任务)和数据存储，即数据导出节点导出数据后先进行本地存储，然后将本地存储的数据发送给应用服务器。然而，若该数据导出节点出现故障，则存储在该数据导出节点的数据容易丢失，将造成较大损失。

发明内容

基于此，有必要针对上述技术问题，提供一种能够解决数据易丢失问题的数据导出方法、装置、计算机设备、存储介质、计算机程序产品和调度服务系统。

第一方面，本申请提供了一种数据导出方法，所述方法应用于调度服务系统中的控制节点，所述方法包括：

向所述调度服务系统中的第一目标计算节点发送针对目标数据的第一数据导出指令；所述第一数据导出指令用于指示所述第一目标计算节点从所述目标数据所属的数据库中获取所述目标数据，并将所述目标数据存储于共享存储空间；所述共享存储空间用于存储所述调度服务系统中各计算节点从数据库中导出的数据；

在监测到所述第一目标计算节点的设备状态为故障状态的情况下，在所述各计算节点中确定第二目标计算节点；

向所述第二目标计算节点发送针对所述目标数据的第二数据导出指令，以使所述第二目标计算节点在确定所述共享存储空间中包含所述目标数据的情况下，从所述共享存储空间中获取所述目标数据，将所述目标数据发送给所述第二数据导出指令包含的目标服务器地址对应的目标服务器。

在其中一个实施例中，所述在所述各计算节点中确定第二目标计算节点，包括：

接收每个所述计算节点按照预设周期发送的心跳信息、当前运行任务数和最大运行任务数；

根据每个所述计算节点对应的心跳信息、当前运行任务数和最大运行任务数，确定每个所述计算节点对应的运行状态信息；

根据每个所述计算节点对应的运行状态信息，确定运行状态信息满足预设选取条件的第二目标计算节点。

在其中一个实施例中，所述运行状态信息包括设备状态和任务运行率；

所述根据每个所述计算节点对应的心跳信息、当前运行任务数和最大运行任务数，确定每个所述计算节点对应的运行状态信息，包括：

根据每个所述计算节点对应的心跳信息，确定所述计算节点的设备状态，所述设备状态包括正常状态和故障状态；

根据每个所述计算节点对应的当前运行任务数和最大运行任务数，计算所述计算节点的任务运行率；

所述根据每个所述计算节点对应的运行状态信息，确定运行状态信息满足预设选取条件的第二目标计算节点，包括：

在设备状态为正常状态的计算节点中，将任务运行率最小的计算节点确定为第二目标计算节点。

第二方面，本申请还提供了另一种数据导出方法，所述方法应用于调度服务系统中的计算节点，所述方法包括：

接收所述调度服务系统中控制节点发送的针对目标数据的数据导出指令；

在确定共享存储空间中包含所述目标数据的情况下，从所述共享存储空间中获取所述目标数据；

将所述目标数据发送给所述数据导出指令包含的目标服务器地址对应的目标服务器。

在其中一个实施例中，所述方法还包括：

在确定所述共享存储空间中不包含所述目标数据的情况下，从所述目标数据所属的数据库中获取所述目标数据，并将所述目标数据存储于所述共享存储空间。

在其中一个实施例中，所述方法还包括：

按照预设目录创建规则，创建所述目标数据对应的数据目录，并将所述数据目录挂载于所述共享存储空间；

所述将所述目标数据存储于所述共享存储空间，包括：

将所述目标数据存储于所述共享存储空间中所述数据目录对应的存储单元。

第三方面，本申请还提供了一种调度服务系统，所述调度服务系统包括控制节点、多个计算节点和共享存储空间，其中：

所述控制节点，用于向所述多个计算节点中的第一目标计算节点发送针对目标数据的第一数据导出指令；

所述第一目标计算节点，用于根据所述第一数据导出指令，从所述目标数据所属的数据库中获取所述目标数据，并将所述目标数据存储于所述共享存储空间；所述共享存储空间用于存储所述多个计算节点从数据库中导出的数据；

所述控制节点，还用于在监测到所述第一目标计算节点的设备状态为故障状态的情况下，在所述多个计算节点中确定第二目标计算节点；向所述第二目标计算节点发送针对所述目标数据的第二数据导出指令；

所述第二目标计算节点，用于在确定所述共享存储空间中包含所述目标数据的情况下，从所述共享存储空间中获取所述目标数据，将所述目标数据发送给所述第二数据导出指令包含的目标服务器地址对应的目标服务器。

第四方面，本申请还提供了一种数据导出装置。所述装置包括：

第一发送模块，用于向所述调度服务系统中的第一目标计算节点发送针对目标数据的第一数据导出指令；所述第一数据导出指令用于指示所述第一目标计算节点从所述目标数据所属的数据库中获取所述目标数据，并将所述目标数据存储于共享存储空间；所述共享存储空间用于存储所述调度服务系统中各计算节点从数据库中导出的数据；

第一确定模块，用于在监测到所述第一目标计算节点的设备状态为故障状态的情况下，在所述各计算节点中确定第二目标计算节点；

第二发送模块，用于向所述第二目标计算节点发送针对所述目标数据的第二数据导出指令，以使所述第二目标计算节点在确定所述共享存储空间中包含所述目标数据的情况下，从所述共享存储空间中获取所述目标数据，将所述目标数据发送给所述第二数据导出指令包含的目标服务器地址对应的目标服务器。

在其中一个实施例中，所述第一确定模块具体用于：

接收每个所述计算节点按照预设周期发送的心跳信息、当前运行任务数和最大运行任务数；根据每个所述计算节点对应的心跳信息、当前运行任务数和最大运行任务数，确定每个所述计算节点对应的运行状态信息；根据每个所述计算节点对应的运行状态信息，确定运行状态信息满足预设选取条件的第二目标计算节点。

在其中一个实施例中，所述运行状态信息包括设备状态和任务运行率；所述第一确定模块具体用于：

根据每个所述计算节点对应的心跳信息，确定所述计算节点的设备状态，所述设备状态包括正常状态和故障状态；根据每个所述计算节点对应的当前运行任务数和最大运行任务数，计算所述计算节点的任务运行率；在设备状态为正常状态的计算节点中，将任务运行率最小的计算节点确定为第二目标计算节点。

第五方面，本申请还提供了另一种数据导出装置。所述装置包括：

接收模块，用于接收所述调度服务系统中控制节点发送的针对目标数据的数据导出指令；

获取模块，用于在确定共享存储空间中包含所述目标数据的情况下，从所述共享存储空间中获取所述目标数据；

第三发送模块，用于将所述目标数据发送给所述数据导出指令包含的目标服务器地址对应的目标服务器。

在其中一个实施例中，所述装置还包括存储模块，用于：

在确定所述共享存储空间中不包含所述目标数据的情况下，从所述目标数据所属的数据库中获取所述目标数据，并将所述目标数据存储于所述共享存储空间。

在其中一个实施例中，所述装置还包括挂载模块，用于：

按照预设目录创建规则，创建所述目标数据对应的数据目录，并将所述数据目录挂载于所述共享存储空间。

所述存储模块具体用于：

将所述目标数据存储于所述共享存储空间中所述数据目录对应的存储单元。

第六方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面或第二方面所述的方法的步骤。

第七方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面或第二方面所述的方法的步骤。

第八方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面或第二方面所述的方法的步骤。

上述数据导出方法、装置、计算机设备、存储介质、计算机程序产品和调度服务系统，通过控制节点向第一目标计算节点发送针对目标数据的第一数据导出指令，指示第一目标计算节点从数据库中获取目标数据，并将目标数据存储于共享存储空间，若控制节点监测到第一目标计算节点的设备状态为故障状态，则控制节点向第二目标计算节点发送第二数据导出指令，使第二目标计算节点在确定共享存储空间中包含目标数据的情况下，从共享存储空间中获取目标数据并发送给目标服务器。本方法通过设置共享存储空间，计算节点不进行数据存储，仅执行将目标数据导出到共享存储空间，以及从共享存储空间获取目标数据发送给目标服务器的任务，若第一目标计算节点将目标数据导出到共享存储空间后出现设备故障，则目标数据并不会丢失，控制节点可以选取第二目标计算节点继续执行数据导出任务，进而通过第二目标计算节点从共享存储空间获取目标数据发送给目标服务器，完成数据导出任务。因此，本申请可以避免在数据导出过程中数据容易丢失的问题，提高数据导出的安全性和可靠性。

附图说明

图1为一个实施例中调度服务系统的结构示意图；

图2为一个实施例中数据导出方法的流程示意图；

图3为另一个实施例中数据导出方法的流程示意图；

图4为一个实施例中数据导出装置的结构框图；

图5为另一个实施例中数据导出装置的结构框图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

首先，在具体介绍本申请实施例的技术方案之前，先对本申请实施例基于的技术背景或者技术演进脉络进行介绍。随着数据量产生速度越来越快，出现了大数据平台技术。通过大数据平台统一管理、集中存储大数据资源，可以满足大数据对高性能计算能力和大容量存储能力的需求，并能提供数据采集、数据计算、数据存储、数据分析，数据可视化等大量开发能力。各应用可以在大数据平台上进行数据开发，具体的，各应用将数据导入到大数据平台的大数据集群进行集中存放，然后每个应用可以根据作业需要，在大数据平台批量加工数据，并将加工后的数据导出到应用服务器以便查询使用。其中，为了各应用之间的解耦合，各应用之间不能相互访问对方的数据库，只能通过接口或者文件的方式来交互，因此，导出加工后的数据时，会先将数据导出在大数据平台调度服务器的数据导出节点，进而由该数据导出节点将数据发送给应用服务器。

相关技术中，数据导出节点包括作业执行(执行数据导出和发送作业)和数据存储，即数据导出节点导出数据后进行本地存储，然后将本地存储的数据发送给应用服务器。然而，若该数据导出节点出现故障，则存储在该数据导出节点的数据容易丢失，将造成较大损失。此外，由于数据导出节点需要存放大量数据，对磁盘的容量要求较大，故通常使用物理机，而物理机在软件、节点切换、缩容扩容方面十分不便，并且物理机的磁盘容量有限，在导出超大文件时容易出现磁盘容量不够的情况，使得该节点上的其他作业也无法执行，导致大量的中断作业，极大限制了调度服务器的可扩展性和高可用性。基于该背景，申请人通过长期的研发以及实验验证，提出本申请的数据导出方法，可以避免在数据导出过程中数据容易丢失的问题，提高数据导出的安全性和可靠性，并且还能提高调度服务器的可扩展性和高可用性。另外，需要说明的是，本申请技术问题的发现以及下述实施例介绍的技术方案，申请人均付出了大量的创造性劳动。

本申请实施例提供的数据导出方法，可以应用于如图1所示的调度服务系统100。其中，每个计算节点104分别与控制节点102和共享存储空间106通信连接。控制节点102、计算节点104可以用独立的服务器或者是多个服务器组成的服务器集群来实现，共享存储空间106可以用多个PC机或服务器通过网络互联来实现。

在一个实施例中，如图2所示，提供了一种数据导出方法，以该方法应用于图1中的控制节点102为例进行说明，包括以下步骤：

步骤201，向调度服务系统中的第一目标计算节点发送针对目标数据的第一数据导出指令。

其中，第一数据导出指令用于指示第一目标计算节点从目标数据所属的数据库中获取目标数据，并将目标数据存储于共享存储空间。共享存储空间用于存储调度服务系统中各计算节点从数据库中导出的数据。

在实施中，应用(如应用A)在大数据平台加工数据后，需要将加工后的数据(即目标数据，一般为表格数据)导出到应用A对应的应用服务器时，可以将导出目标数据的请求发送给调度服务系统，调度服务系统接收到该请求后，可以生成针对目标数据的第一数据导出指令，并由控制节点将该第一数据导出指令发送给第一目标计算节点。第一目标计算节点可以是预先针对应用A分配的计算节点，例如，可以预先针对各应用按照一定规则或随机分配计算节点，并建立应用标识和计算节点的对应关系，控制节点可以在该预先建立的对应关系中，确定应用A对应的计算节点作为第一目标计算节点。第一目标计算节点也可以是在调度服务系统接收到导出目标数据的请求后，由控制节点在多个计算节点中确定出的符合预设条件的计算节点。

第一数据导出指令可以包含目标数据标识，包括目标数据所属的数据库标识、以及目标数据的名称、编号等信息，若第一目标计算节点的设备状态为正常状态，即可以正常执行数据导出任务，则第一目标计算节点可以接收到第一数据导出指令，并根据第一数据导出指令包含的目标数据标识确定目标数据所属的数据库，然后从该数据库中获取目标数据标识对应的目标数据，之后将获取到的目标数据存储于共享存储空间。共享存储空间为利用分布式文件系统搭建的存储空间，用于存储调度服务系统中各计算节点从数据库(各应用加工后的数据临时存储在大数据平台的数据库)中导出的数据，各计算节点均可以访问共享存储空间中的数据。进一步的，第一目标计算节点将目标数据存储到共享存储空间后，可以从共享存储空间中获取目标数据，然后将目标数据发送给第一数据导出指令包含的目标服务器地址对应的目标服务器。

步骤202，在监测到第一目标计算节点的设备状态为故障状态的情况下，在各计算节点中确定第二目标计算节点。

在实施中，控制节点向第一目标计算节点发送第一数据导出指令后，可以监测第一目标计算节点的设备状态。例如，第一目标计算节点可以按照预设周期向控制节点发送反馈信息，控制节点可以根据该反馈信息确定第一目标计算节点的设备状态，反馈信息可以是心跳信息，若控制节点未接收到第一目标计算节点的心跳信息，则可以确定第一目标计算节点的设备状态为故障状态。反馈信息也可以是执行该数据导出任务的执行状态信息，用于表示该数据导出任务的执行状态为执行完成、执行失败或执行中，若控制节点接收到表示执行失败的反馈信息，则可以确定第一目标计算节点的设备状态为故障状态。在监测到第一目标计算节点的设备状态为故障状态的情况下，控制节点可以在各计算节点中确定第二目标计算节点，例如，控制节点可以在各计算节点中选取符合预设条件的计算节点作为第二目标计算节点。

步骤203，向第二目标计算节点发送针对目标数据的第二数据导出指令，以使第二目标计算节点在确定共享存储空间中包含目标数据的情况下，从共享存储空间中获取目标数据，将目标数据发送给第二数据导出指令包含的目标服务器地址对应的目标服务器。

在实施中，控制节点在确定出第二目标计算节点后，可以向第二目标计算节点发送针对目标数据的第二数据导出指令。第二目标计算节点接收到第二数据导出指令后，可以先判断共享存储空间中是否包含目标数据，例如，第二目标计算节点可以根据第二数据导出指令中的目标数据标识，在共享存储空间中进行数据名称匹配搜索，若搜索到与目标数据标识匹配的数据，即共享存储空间中已包含目标数据(例如第一目标计算节点将目标数据存储到共享存储空间后再发生设备故障的情况)，则第二目标计算节点可以直接从共享存储空间中获取目标数据，并发送给第二数据导出指令包含的目标服务器地址对应的目标服务器(如应用A对应的应用服务器)，即完成数据导出任务。可选的，若共享存储空间中不包含目标数据或包含目标数据对应的中间文件(仅存储了部分数据)，即第一目标计算节点将目标数据完全存储到共享存储空间之前即发生设备故障(设备宕机)的情况，则第二目标计算节点可以先执行从目标数据所属的数据库中获取目标数据，并将目标数据存储于共享存储空间的步骤，然后再执行从共享存储空间中获取目标数据，将目标数据发送给目标服务器的步骤。其中，共享存储空间中包含目标数据对应的中间文件的情况下，第二目标计算节点将目标数据存储于共享存储空间时会将原中间文件覆盖。

上述数据导出方法中，控制节点向第一目标计算节点发送针对目标数据的第一数据导出指令，指示第一目标计算节点从数据库中获取目标数据，并将目标数据存储于共享存储空间，若控制节点监测到第一目标计算节点的设备状态为故障状态，则控制节点向第二目标计算节点发送第二数据导出指令，使第二目标计算节点在确定共享存储空间中包含目标数据的情况下，从共享存储空间中获取目标数据并发送给目标服务器。本方法通过设置共享存储空间，计算节点不进行数据存储，仅执行将目标数据导出到共享存储空间，以及从共享存储空间获取目标数据发送给目标服务器的任务，若第一目标计算节点将目标数据导出到共享存储空间后出现设备故障，则目标数据并不会丢失，控制节点可以选取第二目标计算节点继续执行数据导出任务，进而通过第二目标计算节点从共享存储空间获取目标数据发送给目标服务器，完成数据导出任务。因此，本方法可以避免在数据导出过程中数据容易丢失的问题，提高数据导出的安全性和可靠性。此外，由于共享存储空间是基于分布式文件系统搭建的，其多副本机制保证了存储的高可用性，还能有效的支持超大文件的存储、传输，并且可以根据调度服务系统的负载情况来动态的添加、删除计算节点，实现快速扩容、缩容，可扩展性强，因此，本方法还可以提高调度服务器的可扩展性、高可用性和资源利用率。

在一个实施例中，步骤202中确定第二目标计算节点的过程具体包括如下步骤：接收每个计算节点按照预设周期发送的心跳信息、当前运行任务数和最大运行任务数；根据每个计算节点对应的心跳信息、当前运行任务数和最大运行任务数，确定每个计算节点对应的运行状态信息；根据每个计算节点对应的运行状态信息，确定运行状态信息满足预设选取条件的第二目标计算节点。

在实施中，调度服务系统中的每个计算节点可以按照预设周期向控制节点发送心跳信息、当前运行任务数和最大运行任务数等信息，控制节点可以根据每个计算节点对应的心跳信息、当前运行任务数和最大运行任务数，确定每个计算节点对应的运行状态信息。运行状态信息可以是前述各信息本身(即心跳信息、当前运行任务数和最大运行任务数)，也可以是根据前述各信息确定出的其他用于表示计算节点状态的信息。然后，控制节点可以根据每个所述计算节点对应的运行状态信息，确定运行状态信息满足预设选取条件的第二目标计算节点。例如，预设选取条件可以是包含心跳信息(即控制节点可以接收到计算节点按预设周期发送的心跳信息)、且当前任务数小于最大运行任务数，若有多个计算节点符合该预设选取条件，则可以在符合该预设选取条件的多个计算节点中随机选取第二目标计算节点，或者进一步按照其他规则选取，如选取当前任务数最小的计算节点作为第二目标计算节点。可以理解的，控制节点在确定第一目标计算节点时也可以采用确定第二目标计算节点的方法。

在一个示例中，控制节点可以包括调度模块和协调模块，协调模块用于接收每个计算节点对应的心跳信息、当前运行任务数和最大运行任务数，并确定每个计算节点的运行状态信息，调度模块用于从协调模块获取每个计算节点的运行状态信息，进而确定目标计算节点，并向目标计算节点发送数据导出指令。协调模块可以由ZooKeeper(一个为分布式应用提供一致性服务的软件)等分布式应用程序协调服务软件来实现。

本实施例中，通过获取计算节点的心跳信息、当前运行任务数和最大运行任务数，确定各计算节点运行状态信息，进而确定运行状态信息满足预设选取条件的第二目标计算节点，由此，控制节点可以方便监测每个计算节点的运行状态，并且根据计算节点的运行状态信息确定出的第二目标计算节点，可以保障数据导出任务的顺利执行。

在一个实施例中，运行状态信息包括设备状态和任务运行率。确定每个计算节点对应的运行状态信息的过程具体包括如下步骤：根据每个计算节点对应的心跳信息，确定计算节点的设备状态，设备状态包括正常状态和故障状态；根据每个计算节点对应的当前运行任务数和最大运行任务数，计算计算节点的任务运行率。相应的，确定运行状态信息满足预设选取条件的第二目标计算节点的过程具体包括如下步骤：在设备状态为正常状态的计算节点中，将任务运行率最小的计算节点确定为第二目标计算节点。

在实施中，控制节点接收到计算节点发送的心跳信息、当前运行任务数和最大运行任务数后，可以根据计算节点的心跳信息，确定该计算节点的设备状态，例如，若控制节点未接收到计算节点按照预设周期发送的心跳信息，则确定该计算节点的设备状态为故障状态，若控制节点接收到计算节点按照预设周期发送的心跳信息，则确定为正常状态。以及，控制节点可以根据计算节点的当前运行任务数和最大运行任务数，计算二者的比值，得到该计算节点的任务运行率。由此，可以得到每个计算节点对应的运行状态信息(包括设备状态和任务运行率)。然后，控制节点可以筛选出设备状态的计算节点，然后在设备状态为正常状态的计算节点对应的任务运行率中，确定任务运行率最小值，并将任务运行率最小值对应的计算节点作为第二目标计算节点。

本实施例中，通过根据计算节点的心跳信息确定设备状态，并根据当前运行任务数和最大运行任务数计算任务运行率，进而在设备状态为正常状态的计算节点中确定任务运行率最小的计算节点为第二目标计算节点，由此可以快速可靠的选出合适的第二目标计算节点，并且可以根据各节点的负载情况合理调度计算节点，保障各计算节点的数据导出任务同步顺利执行。

在另一个实施例中，如图3所示，还提供了一种应用于计算节点的数据导出方法，该方法包括以下步骤：

步骤301，接收调度服务系统中控制节点发送的针对目标数据的数据导出指令。

在实施中，计算节点可以接收控制节点发送的针对目标数据的数据导出指令。数据导出指令可以包含目标数据标识。计算节点与控制节点之间可以通过基于RPC(RemoteProcedure Call，远程过程调用)的远程调度框架进行通信。

步骤302，在确定共享存储空间中包含目标数据的情况下，从共享存储空间中获取目标数据。

在实施中，计算节点接收到数据导出指令后，可以判断共享存储空间中是否包含目标数据。例如，计算节点可以在共享存储空间中进行匹配搜索，以确定共享存储空间中是否包含与目标数据标识匹配的数据。在确定共享存储空间中包含目标数据的情况下，该计算节点可以从共享存储空间获取目标数据。

步骤303，将目标数据发送给数据导出指令包含的目标服务器地址对应的目标服务器。

在实施中，计算节点在共享存储空间获取到目标数据后，可以将目标数据发送给数据导出指令包含的目标服务器地址对应的目标服务器。

本实施例中，计算节点在接收到数据导出指令后，可以先在共享存储空间查询是否已包含目标数据，若包含目标数据，则计算节点可以直接在共享存储空间获取目标数据发送给目标服务器。即通过设置共享存储空间用于存储目标数据，计算节点仅执行数据导出任务，即使计算节点将数据导出到共享存储空间后发生故障，数据也不会丢失，可以通过控制节点向其他计算节点发送数据导出指令，由其他计算节点继续执行数据导出任务，并且其他计算节点可以直接从共享存储空间获取已存储的目标数据发送给目标服务器，由此保障数据导出任务的连续性和执行效率。

在一个实施例中，该方法还包括如下步骤：在确定共享存储空间中不包含目标数据的情况下，从目标数据所属的数据库中获取目标数据，并将目标数据存储于共享存储空间。

在实施中，若计算节点确定出共享存储空间中不包含目标数据，则该计算节点可以从目标数据所属的数据库中获取目标数据，并将目标数据存储于共享存储空间，然后再执行从共享存储空间中获取目标数据，并将目标数据发送给数据导出指令包含的目标服务器地址对应的目标服务器的步骤。

本实施例中，计算节点在确定共享存储空间中不包含目标数据的情况下可以执行从数据库获取目标数据并存储于共享存储空间的步骤，保障数据导出任务的连续性和执行效率。

在一个实施例中，该方法还包括如下步骤：按照预设目录创建规则，创建目标数据对应的数据目录，并将数据目录挂载于共享存储空间。相应的，将目标数据存储于共享存储空间的过程具体包括如下步骤：将目标数据存储于共享存储空间中数据目录对应的存储单元。

在实施中，计算节点可以按照预设目录创建规则，创建目标数据对应的数据目录，并将数据目录挂载于共享存储空间。预设目录创建规则包括目录结构和目录命名规则，例如，为了将各应用间的数据进行隔离，可以设置不同应用的数据存放在不同的数据目录中，对于应用A请求导出的目标数据，可以创建与数据导出以及应用A的名称相关的目录，如目录“${WORK_ROOT}/export/Function_A”，对于应用B请求导出的目标数据，可以创建目录“${WORK_ROOT}/export/Function_B”，进一步的，每个数据目录可以设置对应的访问权限。然后，计算节点可以将创建的数据目录挂载到共享存储空间。在一个示例中，共享存储空间为利用Glusterfs(一个开源分布式文件系统)搭建的存储空间。计算节点从目标数据所属的数据库中获取到目标数据后，可以通过Infiniband RDMA(Infiniband为无线宽带协议，RDMA为Remote Direct Memory Access的缩写，即基于无线宽带协议实现的远程直接数据存取技术)或Tcp/Ip(Transmission Control Protocol/Internet Protocol，传输控制协议/网际协议)的方式把目标数据发送给共享存储空间中数据目录对应的存储单元，即将目标数据存储在共享存储空间中的数据目录下。由此，计算节点可以通过访问本地的数据目录，自动链接到共享存储空间的数据目录下，进而获取存储在共享存储空间的数据目录下的目标数据。调度服务系统中的每个计算节点可以按照相同的目录创建规则创建数据目录，若执行数据导出任务的计算节点发生故障，则控制节点确定出的新的用于执行数据导出任务的计算节点，也可以通过访问本地的数据目录，获取共享存储空间中的目录数据。

本实施例中，通过按照预设目录创建规则创建目标数据对应的数据目录，并将数据目录挂载于共享存储空间，进而将目标数据存储在共享存储空间中数据目录对应的存储单元，由此，计算节点可以通过访问本地的数据目录，自动链接到共享存储空间的数据目录，进而获取到目标数据，并且，每个计算节点可以创建相同的数据目录，即每个计算节点都可以提供访问数据目录从共享存储空间中获取目标数据，以实现执行数据导出任务的计算节点发生故障时，可以快速切换其他计算节点继续执行数据导出任务，保障数据导出任务的连续性和执行效率。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的数据导出方法的调度服务系统。该系统所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个调度服务系统实施例中的具体限定可以参见上文中对数据导出方法的限定，在此不再赘述。

在一个实施例中，提供了一种调度服务系统，包括控制节点、多个计算节点和共享存储空间，其中：

控制节点，用于向多个计算节点中的第一目标计算节点发送针对目标数据的第一数据导出指令。

第一目标计算节点，用于根据第一数据导出指令，从目标数据所属的数据库中获取目标数据，并将目标数据存储于共享存储空间；共享存储空间用于存储多个计算节点从数据库中导出的数据。

控制节点还用于在监测到第一目标计算节点的设备状态为故障状态的情况下，在多个计算节点中确定第二目标计算节点；向第二目标计算节点发送针对目标数据的第二数据导出指令。

第二目标计算节点，用于在确定共享存储空间中包含目标数据的情况下，从共享存储空间中获取目标数据，将目标数据发送给第二数据导出指令包含的目标服务器地址对应的目标服务器。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的数据导出方法的数据导出装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个数据导出装置实施例中的具体限定可以参见上文中对于数据导出方法的限定，在此不再赘述。

在一个实施例中，如图4所示，提供了一种数据导出装置400，包括：第一发送模块401，第一确定模块402和第二发送模块403，其中：

第一发送模块401，用于向所述调度服务系统中的第一目标计算节点发送针对目标数据的第一数据导出指令；所述第一数据导出指令用于指示所述第一目标计算节点从所述目标数据所属的数据库中获取所述目标数据，并将所述目标数据存储于共享存储空间；所述共享存储空间用于存储所述调度服务系统中各计算节点从数据库中导出的数据。

第一确定模块402，用于在监测到所述第一目标计算节点的设备状态为故障状态的情况下，在所述各计算节点中确定第二目标计算节点。

第二发送模块403，用于向所述第二目标计算节点发送针对所述目标数据的第二数据导出指令，以使所述第二目标计算节点在确定所述共享存储空间中包含所述目标数据的情况下，从所述共享存储空间中获取所述目标数据，将所述目标数据发送给所述第二数据导出指令包含的目标服务器地址对应的目标服务器。

在一个实施例中，第一确定模块402具体用于：

接收每个所述计算节点按照预设周期发送的心跳信息、当前运行任务数和最大运行任务数；根据每个所述计算节点对应的心跳信息、当前运行任务数和最大运行任务数，确定每个所述计算节点对应的运行状态信息；根据每个所述计算节点对应的运行状态信息，确定运行状态信息满足预设选取条件的第二目标计算节点。

在一个实施例中，所述运行状态信息包括设备状态和任务运行率；第一确定模块402具体用于：

根据每个所述计算节点对应的心跳信息，确定所述计算节点的设备状态，所述设备状态包括正常状态和故障状态；根据每个所述计算节点对应的当前运行任务数和最大运行任务数，计算所述计算节点的任务运行率；在设备状态为正常状态的计算节点中，将任务运行率最小的计算节点确定为第二目标计算节点。

在一个实施例中，如图5所示，还提供了一种数据导出装置500，包括：接收模块501，第一获取模块502和第三发送模块503，其中：

接收模块501，用于接收所述调度服务系统中控制节点发送的针对目标数据的数据导出指令。

获取模块502，用于在确定共享存储空间中包含所述目标数据的情况下，从所述共享存储空间中获取所述目标数据。

第三发送模块503，用于将所述目标数据发送给所述数据导出指令包含的目标服务器地址对应的目标服务器。

在一个实施例中，该装置还包括存储模块，用于：

在确定所述共享存储空间中不包含所述目标数据的情况下，从所述目标数据所属的数据库中获取所述目标数据，并将所述目标数据存储于所述共享存储空间。

在一个实施例中，该装置还包括挂载模块，用于：

按照预设目录创建规则，创建所述目标数据对应的数据目录，并将所述数据目录挂载于所述共享存储空间。

相应的，存储模块具体用于：

将所述目标数据存储于所述共享存储空间中所述数据目录对应的存储单元。

上述数据导出装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储执行上述数据导出方法所需的或产生的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据导出方法。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

本申请提供的数据导出方法、装置、计算机设备、存储介质、计算机程序产品和调度服务系统涉及大数据技术领域，可用于金融科技领域，也可用于除金融科技领域之外的任意领域，本申请对数据导出方法、装置、计算机设备、存储介质、计算机程序产品和调度服务系统的应用领域不做限定。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (12)

1.一种数据导出方法，其特征在于，所述方法应用于调度服务系统中的控制节点，所述方法包括：

向所述调度服务系统中的第一目标计算节点发送针对目标数据的第一数据导出指令；所述第一数据导出指令用于指示所述第一目标计算节点从所述目标数据所属的数据库中获取所述目标数据，并将所述目标数据存储于共享存储空间；所述共享存储空间用于存储所述调度服务系统中各计算节点从数据库中导出的数据；

在监测到所述第一目标计算节点的设备状态为故障状态的情况下，在所述各计算节点中确定第二目标计算节点；

向所述第二目标计算节点发送针对所述目标数据的第二数据导出指令，以使所述第二目标计算节点在确定所述共享存储空间中包含所述目标数据的情况下，从所述共享存储空间中获取所述目标数据，将所述目标数据发送给所述第二数据导出指令包含的目标服务器地址对应的目标服务器。

2.根据权利要求1所述的方法，其特征在于，所述在所述各计算节点中确定第二目标计算节点，包括：

接收每个所述计算节点按照预设周期发送的心跳信息、当前运行任务数和最大运行任务数；

根据每个所述计算节点对应的心跳信息、当前运行任务数和最大运行任务数，确定每个所述计算节点对应的运行状态信息；

根据每个所述计算节点对应的运行状态信息，确定运行状态信息满足预设选取条件的第二目标计算节点。

3.根据权利要求2所述的方法，其特征在于，所述运行状态信息包括设备状态和任务运行率；

所述根据每个所述计算节点对应的心跳信息、当前运行任务数和最大运行任务数，确定每个所述计算节点对应的运行状态信息，包括：

根据每个所述计算节点对应的心跳信息，确定所述计算节点的设备状态，所述设备状态包括正常状态和故障状态；

根据每个所述计算节点对应的当前运行任务数和最大运行任务数，计算所述计算节点的任务运行率；

所述根据每个所述计算节点对应的运行状态信息，确定运行状态信息满足预设选取条件的第二目标计算节点，包括：

在设备状态为正常状态的计算节点中，将任务运行率最小的计算节点确定为第二目标计算节点。

4.一种数据导出方法，其特征在于，所述方法应用于调度服务系统中的计算节点，所述方法包括：

接收所述调度服务系统中控制节点发送的针对目标数据的数据导出指令；

在确定共享存储空间中包含所述目标数据的情况下，从所述共享存储空间中获取所述目标数据；

将所述目标数据发送给所述数据导出指令包含的目标服务器地址对应的目标服务器。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

在确定所述共享存储空间中不包含所述目标数据的情况下，从所述目标数据所属的数据库中获取所述目标数据，并将所述目标数据存储于所述共享存储空间。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

按照预设目录创建规则，创建所述目标数据对应的数据目录，并将所述数据目录挂载于所述共享存储空间；

所述将所述目标数据存储于所述共享存储空间，包括：

将所述目标数据存储于所述共享存储空间中所述数据目录对应的存储单元。

7.一种调度服务系统，其特征在于，所述调度服务系统包括控制节点、多个计算节点和共享存储空间，其中：

所述控制节点，用于向所述多个计算节点中的第一目标计算节点发送针对目标数据的第一数据导出指令；

所述第一目标计算节点，用于根据所述第一数据导出指令，从所述目标数据所属的数据库中获取所述目标数据，并将所述目标数据存储于所述共享存储空间；所述共享存储空间用于存储所述多个计算节点从数据库中导出的数据；

所述控制节点，还用于在监测到所述第一目标计算节点的设备状态为故障状态的情况下，在所述多个计算节点中确定第二目标计算节点；向所述第二目标计算节点发送针对所述目标数据的第二数据导出指令；

所述第二目标计算节点，用于在确定所述共享存储空间中包含所述目标数据的情况下，从所述共享存储空间中获取所述目标数据，将所述目标数据发送给所述第二数据导出指令包含的目标服务器地址对应的目标服务器。

8.一种数据导出装置，其特征在于，所述装置包括：

第一发送模块，用于向所述调度服务系统中的第一目标计算节点发送针对目标数据的第一数据导出指令；所述第一数据导出指令用于指示所述第一目标计算节点从所述目标数据所属的数据库中获取所述目标数据，并将所述目标数据存储于共享存储空间；所述共享存储空间用于存储所述调度服务系统中各计算节点从数据库中导出的数据；

第一确定模块，用于在监测到所述第一目标计算节点的设备状态为故障状态的情况下，在所述各计算节点中确定第二目标计算节点；

第二发送模块，用于向所述第二目标计算节点发送针对所述目标数据的第二数据导出指令，以使所述第二目标计算节点在确定所述共享存储空间中包含所述目标数据的情况下，从所述共享存储空间中获取所述目标数据，将所述目标数据发送给所述第二数据导出指令包含的目标服务器地址对应的目标服务器。

9.一种数据导出装置，其特征在于，所述装置包括：

接收模块，用于接收所述调度服务系统中控制节点发送的针对目标数据的数据导出指令；

获取模块，用于在确定共享存储空间中包含所述目标数据的情况下，从所述共享存储空间中获取所述目标数据；

第三发送模块，用于将所述目标数据发送给所述数据导出指令包含的目标服务器地址对应的目标服务器。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3或4至6中任一项所述的方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至3或4至6中任一项所述的方法的步骤。

12.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至3或4至6中任一项所述的方法的步骤。

Images