CN117041025A - 数据传输方法、装置、存储介质及电子设备 - Google Patents

Abstract

本发明公开了一种数据传输方法、装置、存储介质及电子设备。涉及大数据技术领域、金融科技领域或其他相关领域。该方法包括：通过发送集群获取传输任务信息；获取主发送节点的目标状态信息和接收集群的主接收节点的目标状态信息；在主发送节点和主接收节点的运行状态正常的情况下，基于主发送节点、主接收节点将待传输文件传输至接收集群；在主发送节点的运行状态异常的情况下，在发送集群中选择新的主发送节点，和/或，在主接收节点的运行状态异常的情况下，在接收集群中选择新的主接收节点，基于新的主发送节点、新的主接收节点将待传输文件传输至接收集群。解决相关技术中存在单点故障的情况下，难以进行高可用传输导致传输效率低的技术问题。

Description

数据传输方法、装置、存储介质及电子设备

技术领域

本发明涉及大数据技术领域、金融科技领域或其他相关领域，具体而言，涉及一种数据传输方法、装置、存储介质及电子设备。

背景技术

目前，科技企业进行数据交换中，存储与传输是最重要的环节，由于数据存储存在单点问题，无法实现传输高可用，例如：当一台传输产品出现故障时，在待传输的数据并未发生损坏的情况下，却无法对待传输数据进行数据传输，并且随着分布式文件系统大范围普及推广，分布式文件系统自带高可用功能，数据存储层已实现存储高可用，但是数据交换过程中的传输环节使用的传输产品目前自身均不具备高可用传输能力，需要各应用自行在研发实现高可用，因此，数据传输成为高可用能力短板。

相关技术中，在实现数据传输时，金融行业使用的传输技术是将一个源目录下的文件传输到另一目标目录，其中，发送源目录文件的客户端称为发送端，基于目标目录接收源目录文件的客户端为接收端，包含发送端、源目录、接收端、目标目录等传输信息的配置的任务称为传输任务。如果有多个发送端对同一目录下的文件进行发送，会造成资源抢占，导致文件丢失无法正常传输。如果多个接收端接收相同文件至同一目标，由于同名文件存在数据覆盖，可能导致接收到的数据异常。并且基于相关技术中的传输产品实现高可用，对发送接收双方不透明，需要双方根据传输情况调整任务或切换下数/加载路径，切换过程复杂涉及手工动作，通常只能实现发送或接收一方的高可用，因此，相关技术中的数据传输方式无法实现真正的高可用传输。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据传输方法、装置、存储介质及电子设备，以至少解决相关技术中文件传输在存在单点故障的情况下，难以进行高可用传输导致传输效率低的技术问题。

根据本发明实施例的一个方面，提供了一种数据传输方法，包括：通过发送集群获取传输任务信息，其中，所述发送集群至少包括一个主发送节点和M个从发送节点，所述传输任务信息至少包括：待传输文件的目录信息，M为正整数；获取所述主发送节点的目标状态信息和接收集群的主接收节点的目标状态信息，其中，所述目标状态信息至少包括：运行状态是否异常，所述接收集群至少包括所述主接收节点和S个从接收节点，S为正整数；在所述主发送节点的运行状态正常且所述主接收节点的运行状态正常的情况下，基于所述主发送节点、所述主接收节点和所述传输任务信息，将所述待传输文件传输至所述接收集群；在所述主发送节点的运行状态异常的情况下，在所述发送集群中选择其中一个所述从发送节点作为新的主发送节点，和/或，在所述主接收节点的运行状态异常的情况下，在所述接收集群中选择其中一个所述从接收节点作为新的主接收节点，并基于所述新的主发送节点、所述新的主接收节点和所述传输任务信息，将所述待传输文件传输至所述接收集群。

进一步地，获取所述主发送节点的目标状态信息和接收集群的主接收节点的目标状态信息，包括：基于心跳机制，将所述主发送节点的心跳信号和所述主接收节点的心跳信号发送至管理中心；在预设时长内，所述管理中心未收到所述主发送节点的心跳信号的情况下，确定所述主发送节点的运行状态异常；在所述预设时长内，所述管理中心未收到所述主接收节点的心跳信号的情况下，确定所述主接收节点的运行状态异常。

进一步地，所述目标状态信息还包括：工作状态信息，所述工作状态信息包括：当前时刻处理文件传输任务的数量是否小于预设数量阈值，基于所述主发送节点、所述主接收节点和所述传输任务信息，将所述待传输文件传输至所述接收集群，包括：基于M个所述从发送节点的工作状态信息和所述传输任务信息，通过所述主发送节点将所述待传输文件的传输任务分配至M个所述从发送节点，并基于所述接收集群的工作状态信息建立所述发送集群和所述接收集群的文件传输通道；基于所述文件传输通道，通过M个所述从发送节点将所述待传输文件传输至所述接收集群。

进一步地，基于M个所述从发送节点的工作状态信息和所述传输任务信息，通过所述主发送节点将所述待传输文件的传输任务分配至M个所述从发送节点，包括：通过所述主发送节点扫描所述目录信息，得到待传输文件信息；将所述待传输文件信息添加至任务队列；基于所述任务队列和M个所述从发送节点的工作状态信息，通过所述主发送节点将所述待传输文件的传输任务分配至M个所述从发送节点。

进一步地，基于所述任务队列和M个所述从发送节点的工作状态信息，通过所述主发送节点将所述待传输文件的传输任务分配至M个所述从发送节点，包括：在M个所述从发送节点中选择当前时刻处理文件传输任务的数量小于预设数量阈值的从发送节点；通过所述主发送节点，将所述任务队列中的传输任务分配至当前时刻处理文件传输任务的数量小于预设数量阈值的所述从发送节点。

进一步地，在基于所述文件传输通道，通过M个所述从发送节点将所述待传输文件传输至所述接收集群过程中，还包括：获取传输失败的文件的文件信息；将所述传输失败的文件的文件信息重新添加至所述任务队列，基于所述任务队列将所述传输失败的文件重新传输至所述接收集群。

进一步地，数据传输方法还包括：通过所述主发送节点，接收M个所述从发送节点的工作状态信息；通过所述主发送节点，接收所述主接收节点发送的S个从接收节点的工作状态信息。

进一步地，基于所述接收集群的工作状态信息建立所述发送集群和所述接收集群的文件传输通道，包括：基于S个所述从接收节点的工作状态信息，通过每个所述从发送节点向至少一个所述从接收节点发送通信请求；在每个所述从发送节点接收到至少一个所述从接收节点的返回信息的情况下，建立该从发送节点与该从接收节点之间的文件传输通道。

进一步地，基于所述主发送节点、所述主接收节点和所述传输任务信息，将所述待传输文件传输至所述接收集群，还包括：基于所述传输任务信息，通过所述主发送节点将所述待传输文件传输至所述主接收节点。

根据本发明实施例的另一方面，还提供了一种数据传输装置，包括：第一获取单元，用于通过发送集群获取传输任务信息，其中，所述发送集群至少包括：一个主发送节点和M个从发送节点，所述传输任务信息至少包括：待传输文件的目录信息，M为正整数；第二获取单元，用于获取所述主发送节点的目标状态信息和接收集群的主接收节点的目标状态信息，其中，所述目标状态信息至少包括：运行状态是否异常，所述接收集群至少包括所述主接收节点和S个从接收节点，S为正整数；第一传输单元，用于在所述主发送节点的运行状态正常且所述主接收节点的运行状态正常的情况下，基于所述主发送节点、所述主接收节点和所述传输任务信息，将所述待传输文件传输至所述接收集群；第二传输单元，用于在所述主发送节点的运行状态异常的情况下，在所述发送集群中选择其中一个所述从发送节点作为新的主发送节点，和/或，在所述主接收节点的运行状态异常的情况下，在所述接收集群中选择其中一个所述从接收节点作为新的主接收节点，并基于所述新的主发送节点、所述新的主接收节点和所述传输任务信息，将所述待传输文件传输至所述接收集群。

进一步地，第一获取单元包括：发送子单元，用于基于心跳机制，将所述主发送节点的心跳信号和所述主接收节点的心跳信号发送至管理中心；第一确定单元，用于在预设时长内，所述管理中心未收到所述主发送节点的心跳信号的情况下，确定所述主发送节点的运行状态异常；第二确定单元，用于在所述预设时长内，所述管理中心未收到所述主接收节点的心跳信号的情况下，确定所述主接收节点的运行状态异常。

进一步地，所述目标状态信息还包括：工作状态信息，所述工作状态信息包括：当前时刻处理文件传输任务的数量是否小于预设数量阈值，第一查传输单元包括：处理子单元，用于基于M个所述从发送节点的工作状态信息和所述传输任务信息，通过所述主发送节点将所述待传输文件的传输任务分配至M个所述从发送节点，并基于所述接收集群的工作状态信息建立所述发送集群和所述接收集群的文件传输通道；第一传输子单元，用于基于所述文件传输通道，通过M个所述从发送节点将所述待传输文件传输至所述接收集群。

进一步地，处理子单元包括：扫描模块，用于通过所述主发送节点扫描所述目录信息，得到待传输文件信息；添加模块，用于将所述待传输文件信息添加至任务队列；分配模块，用于基于所述任务队列和M个所述从发送节点的工作状态信息，通过所述主发送节点将所述待传输文件的传输任务分配至M个所述从发送节点。

进一步地，分配模块包括：选择子模块，用于在M个所述从发送节点中选择当前时刻处理文件传输任务的数量小于预设数量阈值的从发送节点；分配子模块，用于通过所述主发送节点，将所述任务队列中的传输任务分配至当前时刻处理文件传输任务的数量小于预设数量阈值的所述从发送节点。

进一步地，分配模块还包括：获取子模块，用于在基于所述文件传输通道，通过M个所述从发送节点将所述待传输文件传输至所述接收集群过程中，获取传输失败的文件的文件信息；处理子模块，用于将所述传输失败的文件的文件信息重新添加至所述任务队列，基于所述任务队列将所述传输失败的文件重新传输至所述接收集群。

进一步地，数据传输装置还包括：第一接收单元，用于通过所述主发送节点，接收M个所述从发送节点的工作状态信息；第二接收单元，用于通过所述主发送节点，接收所述主接收节点发送的S个从接收节点的工作状态信息。

进一步地，处理子单元还包括：发送模块，用于基于S个所述从接收节点的工作状态信息，通过每个所述从发送节点向至少一个所述从接收节点发送通信请求；建立模块，用于在每个所述从发送节点接收到至少一个所述从接收节点的返回信息的情况下，建立该从发送节点与该从接收节点之间的文件传输通道。

进一步地，第一传输单元还包括：第二传输子单元，用于基于所述传输任务信息，通过所述主发送节点将所述待传输文件传输至所述主接收节点。

根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述任意一项的数据传输方法。

根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行上述任意一项的数据传输方法。

在本发明中，通过发送集群获取传输任务信息，其中，发送集群至少包括一个主发送节点和M个从发送节点，传输任务信息至少包括：待传输文件的目录信息，M为正整数；获取主发送节点的目标状态信息和接收集群的主接收节点的目标状态信息，其中，目标状态信息至少包括：运行状态是否异常，接收集群至少包括主接收节点和S个从接收节点，S为正整数；在主发送节点的运行状态正常且主接收节点的运行状态正常的情况下，基于主发送节点、主接收节点和传输任务信息，将待传输文件传输至接收集群；在主发送节点的运行状态异常的情况下，在发送集群中选择其中一个从发送节点作为新的主发送节点，和/或，在主接收节点的运行状态异常的情况下，在接收集群中选择其中一个从接收节点作为新的主接收节点，并基于新的主发送节点、新的主接收节点和传输任务信息，将待传输文件传输至接收集群。进而解决了相关技术中文件传输在存在单点故障的情况下，难以进行高可用传输导致传输效率低的技术问题。在本实施例中，通过发送集群和接收集群中的多个节点进行文件传输，并在发送集群和接收集群的主节点状态异常的情况下，更换主节点，避免了相关技术进行文件传输时，存在单点故障的情况，难以进行文件传输的情况，从而实现了文件高可用传输，提高文件传输效率的技术效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的数据传输方法的流程图；

图2是根据本发明实施例的一种可选的数据传输的示意图一；

图3是根据本发明实施例的一种可选的数据传输的示意图二；

图4是根据本发明实施例的一种可选的数据传输的示意图三；

图5是根据本发明实施例的一种可选的数据传输装置的示意图；

图6是根据本发明实施例的一种电子设备的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

为了便于描述，下面对本申请各实施例涉及的部分术语或名词进行解释：

节点：用于实现文件传输的客户端，可以部署在传输服务器上，负责跨服务器之间网络文件传输。管理中心与节点之间通信，主要包含控制信息和日志信息两类，节点接收到管理中心下发的传输信息配置开始工作，既可以向其他节点发送文件，也可以接收其他节点文件。在具体文件传输场景中，发送文件的节点称为源节点或发送节点，接收文件的节点称为目标节点或接收节点。

目录：用于发送文件的目录可以称为发送目录，用于接收文件的目录称为接收目录。

文件传输：通过目录粒度实现发送和接收文件的功能。

任务：即文件传输任务，定义了发送节点、发送目录，以及接收节点和接收目录信息。客户端根据传输任务配置，在发送节点服务器上可以自动扫描发送目录下的文件，将其传输至接收节点服务器上的接收目录。

实施例一

根据本发明实施例，提供了一种可选的数据传输方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的一种可选的数据传输方法的流程图，如图1所示，该方法包括如下步骤：

步骤S101，通过发送集群获取传输任务信息，其中，发送集群至少包括：一个主发送节点和M个从发送节点，传输任务信息至少包括：待传输文件的目录信息，M为正整数。

上述的传输任务信息可以包括待传输文件的目录信息，目录信息可以包括多个目录的信息，每个目录中可以包括多个待传输文件的文件信息，上述的发送集群可以包括一个主发送节点和M个从发送节点，主发送节点和从发送节点可以为客户端。

在本实施例中，发送集群可以获取传输任务信息，例如：发送集群中的主发送节点和从发送节点均可以从管理中心获取传输任务信息。

步骤S102，获取主发送节点的目标状态信息和接收集群的主接收节点的目标状态信息，其中，目标状态信息至少包括：运行状态是否异常，接收集群至少包括主接收节点和S个从接收节点，S为正整数。

上述的目标状态信息可以包括主发送节点、主接收节点的运行状态信息，例如：主发送节点和主接收节点的运行状态是否异常。

上述的接收集群可以包括一个主接收节点和S个从接收节点，也即是在本实施例中，发送方由多个节点组成发送集群，接收方由多个节点组成接收集群。集群(发送集群和接收集群)中多个节点分为一个leader和多个follower，其中，发送集群的leader对应于主发送节点，接收集群的leader对应于主接收节点，发送集群的follower对应于从发送节点，接收集群的follower对应于从接收节点。

在本实施例中，可以基于心跳机制确定主发送节点和主接收节点运行状态是否异常，例如；主接收节点leader和主发送节点leader可以向管理中心通知自己的leader地位并发送心跳(例如：心跳信号)，当管理中心在一定时间未收到心跳时，例如：若3次检测leader状态均为异常(即在一定时间内连续3次未收到心跳的情况下，运行状态异常)。

步骤S103，在主发送节点的运行状态正常且主接收节点的运行状态正常的情况下，基于主发送节点、主接收节点和传输任务信息，将待传输文件传输至接收集群。

在一种可选的方式中，在主发送节点的运行状态正常且主接收节点的运行状态正常的情况下，可以通过主发送节点获取M个从发送节点的工作状态信息(例如：当前时刻处理文件传输任务的数量是否小于预设数量阈值，即从发送节点的忙闲情况)，并通过主发送节点接收主接收节点发送的S个从接收节点的工作状态信息(即从接收节点的忙闲情况)，然后基于传输任务信息，通过主发送节点将待传输文件的传输任务分配给M个从发送节点，并基于S个从节点接收的工作状态信息，通过M个从发送节点发送待传输文件，通过S个从接收节点的工作状态信息接收待传输文件，以此，将将待传输文件传输至接收集群。

在另一种可选的方式中，在主发送节点的运行状态正常且主接收节点的运行状态正常的情况下，可以通过主发送节点发送待传输文件，通过主接收节点接收待传输文件。

步骤S104，在主发送节点的运行状态异常的情况下，在发送集群中选择其中一个从发送节点作为新的主发送节点，和/或，在主接收节点的运行状态异常的情况下，在接收集群中选择其中一个从接收节点作为新的主接收节点，并基于新的主发送节点、新的主接收节点和传输任务信息，将待传输文件传输至接收集群。

在一种可选的方式中，若主发送节点的运行状态异常，则可以在发送集群中选择其中一个从发送节点作为新的主发送节点；若主接收节点的运行状态异常，则可以在接收集群中选择一个从接收节点作为新的主接收节点。

在另一种可选的方式中，可以使用主备双活模式实现高可用传输，即若主发送节点的运行状态异常，则可以将主发送节点和主接收节点同时降为从节点(即从发送节点和从接收节点)，然后可以在发送集群中选择其中一个从发送节点作为新的主发送节点，并在接收集群中选择与该从发送节点关联的从接收节点作为新的主接收节点。

使用主备双活模式实现高可用传输，例如：发送方(即发送集群)由A(对应于主发送节点)、B节点构成(对应于从发送节点)，接收方(即接收集群)由A’(对应于主接收节点)、B’(对应于从接收节点)节点组成，其中B、B’分别为A、A’的备节点(即从节点)，在发送集群中的主发送节点和主接收节点的运行状态正常的情况，可以以A、A’为主节点进行发送传输，将待传输文件传输至接收集群，并向管理中心发送心跳，当管理中心在一定时间未收到心跳时(即若3次检测主节点状态均为异常)，此时管理中心可以将A、A’降级为备节点，将B、B’升级为主节点承担传输服务，并重传未传输完成数据。

通过上述步骤，在本实施例中，通过发送集群和接收集群中的多个节点进行文件传输，并在发送集群和接收集群的主节点状态异常的情况下，更换主节点，避免了相关技术中文件传输过程中，存在单点故障的情况，难以进行文件传输的情况，从而实现了文件高可用传输，提高文件传输效率的技术效果。进而解决了相关技术中进行文件传输时，在存在单点故障的情况下，难以进行高可用传输导致传输效率低的技术问题。

可选地，获取主发送节点的目标状态信息和接收集群的主接收节点的目标状态信息，包括：基于心跳机制，将主发送节点的心跳信号和主接收节点的心跳信号发送至管理中心；在预设时长内，管理中心未收到主发送节点的心跳信号的情况下，确定主发送节点的运行状态异常；在预设时长内，管理中心未收到主接收节点的心跳信号的情况下，确定主接收节点的运行状态异常。

在本实施例中，图2是根据本发明实施例的一种可选的数据传输的示意图一，如图2所示，管理中心分配发送集群和接收集群中leader，leader初始可以由节点抢占，第一个启动的节点即为leader其余为follower。leader可以向管理中心通知自己的leader并发送心跳(即心跳信号)，当管理中心在一定时间未收到心跳时(例如：若3次检测leader状态均为异常，即未收到心跳)，此时，可以随机挑选任一运行状态正常的follower作为leader，实现了保证主发送节点和主接收节点的高可用的技术效果。

可选地，目标状态信息还包括：工作状态信息，工作状态信息包括：当前时刻处理文件传输任务的数量是否小于预设数量阈值，基于主发送节点、主接收节点和传输任务信息，将待传输文件传输至接收集群，包括：基于M个从发送节点的工作状态信息和传输任务信息，通过主发送节点将待传输文件的传输任务分配至M个从发送节点，并基于接收集群的工作状态信息建立发送集群和接收集群的文件传输通道；基于文件传输通道，通过M个从发送节点将待传输文件传输至接收集群。

在本实施例中，可以根据每个从发送节点的当前时刻正则处理文件传输任务的数量是否小于预设数量阈值，确定每个从发送节点当前时刻忙闲情况(例如：当前时刻正则处理文件传输任务的数量大于预设数量阈值即为忙，否则为闲)，主发送节点可以根据每个从发送节点的工作状态信息，确定是否给该发送节点分配传输任务，例如：如果从发送节点的工作状态为忙，则可以不给该节点分配传输任务，若从发送节点的工作状态为闲，则可以给该从发送节点分配传输任务。

在本实施例中，接收方leader(主接收节点)可以定时从接收follower(从接收节点)获取忙闲情况，并与发送方leader通信，图3是根据本发明实施例的一种可选的数据传输的示意图二，如图3所示，可以将从接收节点的忙闲情况发送至主发送节点，以便于确定发送集群可以与哪些从接收节点建立文件传输通道。

通过建立处于空闲状态的从发送节点和处理空闲状态的从接收节点之间的文件传输通道，即可以建立发送集群和接收集群之间的文件传输通道，基于该文件传输通道，通过M个从发送节点将待传输文件传输至接收集群中从接收节点中，如图3中，发送集群可以向管理中心发送传输信息，从发送节点follower可以向主发送节点上送发送队列情况，从接收节点可以向主接收节点发送接收队列情况，实现了提高文件传输的高可用性和文件传输效率的技术效果。

可选地，基于M个从发送节点的工作状态信息和传输任务信息，通过主发送节点将待传输文件的传输任务分配至M个从发送节点，包括：通过主发送节点扫描目录信息，得到待传输文件信息；将待传输文件信息添加至任务队列；基于任务队列和M个从发送节点的工作状态信息，通过主发送节点将待传输文件的传输任务分配至M个从发送节点。

图4是根据本发明实施例的一种可选的数据传输的示意图三，如图4所示，在本实施例中，可以通过发送leader扫描所有任务中的发送目录中的目录信息，将扫到的文件加入到发送任务队列(对应于任务队列)。同时根据发送follower的忙闲情况(对应于工作状态信息)将发送任务队列中的文件传输任务分配给所有空闲的发送follower，然后向接收集群传输文件数据，同时，发送集群还可以向管理中心上报发送日志，接收队列可以向管理中心上报接收日志，实现了提高文件的发送效率的技术效果。

可选地，基于任务队列和M个从发送节点的工作状态信息，通过主发送节点将待传输文件的传输任务分配至M个从发送节点，包括：在M个从发送节点中选择当前时刻处理文件传输任务的数量小于预设数量阈值的从发送节点；通过主发送节点，将任务队列中的传输任务分配至当前时刻处理文件传输任务的数量小于预设数量阈值的从发送节点。

在本实施例中，可以根据每个从发送节点的当前时刻正则处理文件传输任务的数量是否小于预设数量阈值，确定每个从发送节点当前时刻忙闲情况(例如：当前时刻正则处理文件传输任务的数量大于预设数量阈值即为忙，否则为闲)，主发送节点可以根据每个从发送节点的工作状态信息，确定是否给该发送节点分配传输任务，例如：如果从发送节点的工作状态为忙，则可以不给该节点分配传输任务，若从发送节点的工作状态为闲，则可以给该从发送节点分配传输任务，实现了保证发送端发送节点的高可用性，提高文件发送效率的技术效果。

可选地，在基于文件传输通道，通过M个从发送节点将待传输文件传输至接收集群过程中，还包括：获取传输失败的文件的文件信息；将传输失败的文件的文件信息重新添加至任务队列，基于任务队列将传输失败的文件重新传输至接收集群。

在本实施例中，当文件发送失败时，发送leader可以将发送失败文件重新加入传输队列(对应于任务队列)分配传输，完成重传，实现了提高文件传输的成功率的技术效果。

可选地，数据传输方法还包括：通过主发送节点，接收M个从发送节点的工作状态信息；通过主发送节点，接收主接收节点发送的S个从接收节点的工作状态信息。

在本实施例中，follower(从发送节点或从接收节点)可以向leader(主发送节点或主接收节点)报告自己的当前忙闲情况(即工作状态信息，当前时刻正处理文件传输任务的数量超过发送预警值(即预设数量阈值)即为忙，否则为闲)。发送方leader(主发送节点)与接收leader(主接收节点)通信，可以获取接收空闲follower。接收方leader可以定时从接收follower获取忙闲情况，并与发送方leader通信，实现了精准获取发送集群和接收集群中节点忙闲状态的技术效果。

可选地，基于接收集群的工作状态信息建立发送集群和接收集群的文件传输通道，包括：基于S个从接收节点的工作状态信息，通过每个从发送节点向至少一个从接收节点发送通信请求；在每个从发送节点接收到至少一个从接收节点的返回信息的情况下，建立该从发送节点与该从接收节点之间的文件传输通道。

在本实施例中，发送follower(即从发送节点)接到主发送节点分配的传输任务的传输信息后，可以与接收follower(即从接收节点)建立通信，例如：发送follower可以向接收follower发送通过请求，通信成功(例如：发送follower成功接收到返回的返回信息)可以建立该发送follower与该接收follower传输通道，并进行文件传输；若通信失败，可以将本次传输文件移动到发送失败目录。传输结束发送和接收follower上报管理中心发送记录，实现了保证发送follower与接收follower之间的高可用传输的技术效果。

可选地，基于主发送节点、主接收节点和传输任务信息，将待传输文件传输至接收集群，还包括：基于传输任务信息，通过主发送节点将待传输文件传输至主接收节点。

在本实施例中，可以使用主备双活模式实现高可用传输，例如：发送方(即发送集群)由A(对应于主发送节点)、B节点构成(对应于从发送节点)，接收方(即接收集群)由A’(对应于主接收节点)、B’(对应于从接收节点)节点组成，其中B、B’分别为A、A’的备节点(即从节点))，在发送集群中的主发送节点和主接收节点的运行状态正常的情况，可以以A、A’为主节点进行发送传输，将待传输文件传输至接收集群，通过主备双活模型实现文件传输，实现了文件传输的高可用性的技术效果。

需要说明的是，在本实施例中，发送集群中有任一个节点异常(即运行状态异常时)时发送leader会自动选择一个正常的follower进行传输，如果发送方leader异常管理中心会自动分配发送leader，管理中心也可以设置有热备节点，避免管理中心异常，从而实现发送方的高可用。接收方leader会通知发送方leader可用的接收节点，让发送方始终和正常的接收节点进行传输，如果在接收过程中接收节点发送异常，同样通过触发失败重传的方式进行传输以保障接收的高可用，也即是发送方和接收方两方，任意一方都可以实现高可用传输，保证数据传输的时效性、连续性和可靠性，因此本实施例中的数据传输方法可以应用于对连续性、可靠性和时效要求较高关键系统，保证发送和接收的双向高可用以保障传输的稳定可靠性。

通过本实施例，首先，可以无需根据上下游传输场景进行高可用研发投入，降低成本减少耦合度，其次，产品层高可用方面可以实现自动切换快速响应，减少传输不稳定引发的问题排查等运维工作，另外对于文件传输量较大的场景，节点集群可不断扩展实现高可用能力的同时具备负载均衡能力，可以兼容各种系统的高可用需求，提高文件传输效率。

实施例二

本申请实施例二提供了一种可选的数据传输装置，该数据传输装置中的各个实施单元对应于实施例一中的各个实施步骤。

图5是根据本发明实施例的一种可选的数据传输装置的示意图，如图5所示，该数据传输装置包括：第一获取单元51、第二获取单元52、第一传输单元53以及第二传输单元54。

具体地，第一获取单元51，用于通过发送集群获取传输任务信息，其中，发送集群至少包括：一个主发送节点和M个从发送节点，传输任务信息至少包括：待传输文件的目录信息，M为正整数；

第二获取单元52，用于获取主发送节点的目标状态信息和接收集群的主接收节点的目标状态信息，其中，目标状态信息至少包括：运行状态是否异常，接收集群至少包括主接收节点和S个从接收节点，S为正整数；

第一传输单元53，用于在主发送节点的运行状态正常且主接收节点的运行状态正常的情况下，基于主发送节点、主接收节点和传输任务信息，将待传输文件传输至接收集群；

第二传输单元54，用于在主发送节点的运行状态异常的情况下，在发送集群中选择其中一个从发送节点作为新的主发送节点，和/或，在主接收节点的运行状态异常的情况下，在接收集群中选择其中一个从接收节点作为新的主接收节点，并基于新的主发送节点、新的主接收节点和传输任务信息，将待传输文件传输至接收集群。

在本申请实施例二提供的数据传输装置中，可以第一获取单元51通过发送集群获取传输任务信息，其中，发送集群至少包括：一个主发送节点和M个从发送节点，传输任务信息至少包括：待传输文件的目录信息，M为正整数，通过该第二获取单元52获取主发送节点的目标状态信息和接收集群的主接收节点的目标状态信息，其中，目标状态信息至少包括：运行状态是否异常，接收集群至少包括主接收节点和S个从接收节点，S为正整数，通过第一传输单元53在主发送节点的运行状态正常且主接收节点的运行状态正常的情况下，基于主发送节点、主接收节点和传输任务信息，将待传输文件传输至接收集群，通过第二传输单元54在主发送节点的运行状态异常的情况下，在发送集群中选择其中一个从发送节点作为新的主发送节点，和/或，在主接收节点的运行状态异常的情况下，在接收集群中选择其中一个从接收节点作为新的主接收节点，并基于新的主发送节点、新的主接收节点和传输任务信息，将待传输文件传输至接收集群。进而解决了相关技术中文件传输在存在单点故障的情况下，难以进行高可用传输导致传输效率低的技术问题。在本实施例中，通过发送集群和接收集群中的多个节点进行文件传输，并在发送集群和接收集群的主节点状态异常的情况下，更换主节点，避免了相关技术中进行文件传输时，存在单点故障的情况，难以进行文件传输的情况，从而实现了文件高可用传输，提高文件传输效率的技术效果。

可选地，在本申请实施例二提供的数据传输装置中，第一获取单元包括：发送子单元，用于基于心跳机制，将主发送节点的心跳信号和主接收节点的心跳信号发送至管理中心；第一确定单元，用于在预设时长内，管理中心未收到主发送节点的心跳信号的情况下，确定主发送节点的运行状态异常；第二确定单元，用于在预设时长内，管理中心未收到主接收节点的心跳信号的情况下，确定主接收节点的运行状态异常。

可选地，在本申请实施例二提供的数据传输装置中，目标状态信息还包括：工作状态信息，工作状态信息包括：当前时刻处理文件传输任务的数量是否小于预设数量阈值，第一查传输单元包括：处理子单元，用于基于M个从发送节点的工作状态信息和传输任务信息，通过主发送节点将待传输文件的传输任务分配至M个从发送节点，并基于接收集群的工作状态信息建立发送集群和接收集群的文件传输通道；第一传输子单元，用于基于文件传输通道，通过M个从发送节点将待传输文件传输至接收集群。

可选地，在本申请实施例二提供的数据传输装置中，处理子单元包括：扫描模块，用于通过主发送节点扫描目录信息，得到待传输文件信息；添加模块，用于将待传输文件信息添加至任务队列；分配模块，用于基于任务队列和M个从发送节点的工作状态信息，通过主发送节点将待传输文件的传输任务分配至M个从发送节点。

可选地，在本申请实施例二提供的数据传输装置中，分配模块包括：选择子模块，用于在M个从发送节点中选择当前时刻处理文件传输任务的数量小于预设数量阈值的从发送节点；分配子模块，用于通过主发送节点，将任务队列中的传输任务分配至当前时刻处理文件传输任务的数量小于预设数量阈值的从发送节点。

可选地，在本申请实施例二提供的数据传输装置中，分配模块还包括：获取子模块，用于在基于文件传输通道，通过M个从发送节点将待传输文件传输至接收集群过程中，获取传输失败的文件的文件信息；处理子模块，用于将传输失败的文件的文件信息重新添加至任务队列，基于任务队列将传输失败的文件重新传输至接收集群。

可选地，在本申请实施例二提供的数据传输装置中，数据传输装置还包括：第一接收单元，用于通过主发送节点，接收M个从发送节点的工作状态信息；第二接收单元，用于通过主发送节点，接收主接收节点发送的S个从接收节点的工作状态信息。

可选地，在本申请实施例二提供的数据传输装置中，处理子单元还包括：发送模块，用于基于S个从接收节点的工作状态信息，通过每个从发送节点向至少一个从接收节点发送通信请求；建立模块，用于在每个从发送节点接收到至少一个从接收节点的返回信息的情况下，建立该从发送节点与该从接收节点之间的文件传输通道。

可选地，在本申请实施例二提供的数据传输装置中，第一传输单元还包括：第二传输子单元，用于基于传输任务信息，通过主发送节点将待传输文件传输至主接收节点。

上述的数据传输装置还可以包括处理器和存储器，上述的第一获取单元51、第二获取单元52、第一传输单元53以及第二传输单元54等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

上述处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来通过发送集群和接收集群中的多个节点进行文件传输，并在发送集群和接收集群的主节点状态异常的情况下，更换主节点，避免了相关技术中文件传输过程中，存在单点故障的情况，难以进行文件传输的情况，从而实现了文件高可用传输，提高文件传输效率的技术效果。

上述存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述任意一项的数据传输方法。

根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行上述任意一项的数据传输方法。

图6是根据本发明实施例的一种电子设备的示意图，如图6所示，本发明实施例提供了一种电子设备60，电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现上述任意一项的数据传输方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种数据传输方法，其特征在于，包括：

通过发送集群获取传输任务信息，其中，所述发送集群至少包括：一个主发送节点和M个从发送节点，所述传输任务信息至少包括：待传输文件的目录信息，M为正整数；

获取所述主发送节点的目标状态信息和接收集群的主接收节点的目标状态信息，其中，所述目标状态信息至少包括：运行状态是否异常，所述接收集群至少包括所述主接收节点和S个从接收节点，S为正整数；

在所述主发送节点的运行状态正常且所述主接收节点的运行状态正常的情况下，基于所述主发送节点、所述主接收节点和所述传输任务信息，将所述待传输文件传输至所述接收集群；

在所述主发送节点的运行状态异常的情况下，在所述发送集群中选择其中一个所述从发送节点作为新的主发送节点，和/或，在所述主接收节点的运行状态异常的情况下，在所述接收集群中选择其中一个所述从接收节点作为新的主接收节点，并基于所述新的主发送节点、所述新的主接收节点和所述传输任务信息，将所述待传输文件传输至所述接收集群。

2.根据权利要求1所述的数据传输方法，其特征在于，获取所述主发送节点的目标状态信息和接收集群的主接收节点的目标状态信息，包括：

基于心跳机制，将所述主发送节点的心跳信号和所述主接收节点的心跳信号发送至管理中心；

在预设时长内，所述管理中心未收到所述主发送节点的心跳信号的情况下，确定所述主发送节点的运行状态异常；

在所述预设时长内，所述管理中心未收到所述主接收节点的心跳信号的情况下，确定所述主接收节点的运行状态异常。

3.根据权利要求1所述的数据传输方法，其特征在于，所述目标状态信息还包括：工作状态信息，所述工作状态信息包括：当前时刻处理文件传输任务的数量是否小于预设数量阈值，基于所述主发送节点、所述主接收节点和所述传输任务信息，将所述待传输文件传输至所述接收集群，包括：

基于M个所述从发送节点的工作状态信息和所述传输任务信息，通过所述主发送节点将所述待传输文件的传输任务分配至M个所述从发送节点，并基于所述接收集群的工作状态信息建立所述发送集群和所述接收集群的文件传输通道；

基于所述文件传输通道，通过M个所述从发送节点将所述待传输文件传输至所述接收集群。

4.根据权利要求3所述的数据传输方法，其特征在于，基于M个所述从发送节点的工作状态信息和所述传输任务信息，通过所述主发送节点将所述待传输文件的传输任务分配至M个所述从发送节点，包括：

通过所述主发送节点扫描所述目录信息，得到待传输文件信息；

将所述待传输文件信息添加至任务队列；

基于所述任务队列和M个所述从发送节点的工作状态信息，通过所述主发送节点将所述待传输文件的传输任务分配至M个所述从发送节点。

5.根据权利要求4所述的数据传输方法，其特征在于，基于所述任务队列和M个所述从发送节点的工作状态信息，通过所述主发送节点将所述待传输文件的传输任务分配至M个所述从发送节点，包括：

在M个所述从发送节点中选择当前时刻处理文件传输任务的数量小于预设数量阈值的从发送节点；

通过所述主发送节点，将所述任务队列中的传输任务分配至当前时刻处理文件传输任务的数量小于预设数量阈值的所述从发送节点。

6.根据权利要求5所述的数据传输方法，其特征在于，在基于所述文件传输通道，通过M个所述从发送节点将所述待传输文件传输至所述接收集群过程中，还包括：

获取传输失败的文件的文件信息；

将所述传输失败的文件的文件信息重新添加至所述任务队列，基于所述任务队列将所述传输失败的文件重新传输至所述接收集群。

7.根据权利要求3所述的数据传输方法，其特征在于，所述方法还包括：

通过所述主发送节点，接收M个所述从发送节点的工作状态信息；

通过所述主发送节点，接收所述主接收节点发送的S个所述从接收节点的工作状态信息。

8.根据权利要求3所述的数据传输方法，其特征在于，基于所述接收集群的工作状态信息建立所述发送集群和所述接收集群的文件传输通道，包括：

基于S个所述从接收节点的工作状态信息，通过每个所述从发送节点向至少一个所述从接收节点发送通信请求；

在每个所述从发送节点接收到至少一个所述从接收节点的返回信息的情况下，建立该从发送节点与该从接收节点之间的文件传输通道。

9.根据权利要求1所述的数据传输方法，其特征在于，基于所述主发送节点、所述主接收节点和所述传输任务信息，将所述待传输文件传输至所述接收集群，还包括：基于所述传输任务信息，通过所述主发送节点将所述待传输文件传输至所述主接收节点。

10.一种数据传输装置，其特征在于，包括：

第一获取单元，用于通过发送集群获取传输任务信息，其中，所述发送集群至少包括：一个主发送节点和M个从发送节点，所述传输任务信息至少包括：待传输文件的目录信息，M为正整数；

第二获取单元，用于获取所述主发送节点的目标状态信息和接收集群的主接收节点的目标状态信息，其中，所述目标状态信息至少包括：运行状态是否异常，所述接收集群至少包括所述主接收节点和S个从接收节点，S为正整数；

第一传输单元，用于在所述主发送节点的运行状态正常且所述主接收节点的运行状态正常的情况下，基于所述主发送节点、所述主接收节点和所述传输任务信息，将所述待传输文件传输至所述接收集群；

第二传输单元，用于在所述主发送节点的运行状态异常的情况下，在所述发送集群中选择其中一个所述从发送节点作为新的主发送节点，和/或，在所述主接收节点的运行状态异常的情况下，在所述接收集群中选择其中一个所述从接收节点作为新的主接收节点，并基于所述新的主发送节点、所述新的主接收节点和所述传输任务信息，将所述待传输文件传输至所述接收集群。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至9中任意一项所述的数据传输方法。

12.一种电子设备，其特征在于，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至9中任意一项所述的数据传输方法。