CN111722963A - 数据接入方法、系统及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种数据接入方法。该方法包括：通过集群调度服务检测数据接入集群中是否存在故障节点；当检测到数据接入集群中存在故障节点时，通过集群调度服务回收故障节点的数据接入任务，并将故障节点的数据接入任务分配至目标节点，其中，目标节点为数据接入集群中除故障节点外的其它节点；通过数据接入集群中的keepalived服务确定接入目标节点的IP地址，通过IP地址以及目标节点的数据接入服务对故障节点的数据接入任务进行接入，以供目标节点实现对故障节点的任务接管。本发明还公开了一种数据接入系统及计算机可读存储介质。本发明能够实现整个数据接入任务的完整性和连续性，实现了数据接入集群中高可用数据接入功能。

Description

数据接入方法、系统及计算机可读存储介质

技术领域

本发明涉及大数据分析技术领域，尤其涉及一种数据接入方法、系统及计算机可读存储介质。

背景技术

随着大数据分析技术地普遍使用，常常需要结合多处接入的数据进行分析对比，如在安防领域、道路监控领域等尤其普遍。以安防领域为例，在该领域想要依靠大数据准确、快速、无遗漏的发现警情，并通知到执法人员，除了对大数据分析能力有极高的要求之外，数据源的完整性决定了大数据分析结果的可靠性，因此，数据接入的高可用才能保证其源数据的完整性。

目前的数据接入方式是，在集群配置时将下级平台或者各前端设备的接入地址与集群中各节点的网卡固定绑定，从而当集群中某一节点故障时，与该故障节点绑定的下级平台或者各前端设备无法正常将数据接入进集群，导致部分接入数据丢失，接入数据不完整的问题，这样将可能给接入厂商及客户带来十分严重的后果。因此，提供一种高可用的数据接入方案，成为亟待解决的技术问题。

发明内容

本发明的主要目的在于提供一种数据接入方法、系统及计算机可读存储介质，旨在解决目前的数据接入方式容易出现接入数据丢失，导致接入数据不完整的技术问题。

为实现上述目的，本发明提供一种数据接入方法，所述数据接入方法包括以下步骤：

通过集群调度服务检测数据接入集群中是否存在故障节点；当检测到所述数据接入集群中存在故障节点时，通过所述集群调度服务回收所述故障节点的数据接入任务，并将所述故障节点的数据接入任务分配至目标节点，其中，所述目标节点为所述数据接入集群中除所述故障节点外的其它节点；

通过所述数据接入集群中的keepalived服务确定接入所述目标节点的IP地址，通过所述IP地址以及所述目标节点的数据接入服务对所述故障节点的数据接入任务进行接入，以供所述目标节点实现对所述故障节点的任务接管。

可选地，所述通过所述集群调度服务回收所述故障节点的数据接入任务，并将所述故障节点的数据接入任务分配至目标节点的步骤，包括：

通过所述集群调度服务从分布式键值数据库ETCD中回收所述故障节点的数据接入任务，其中，所述ETCD中存储有所述数据接入集群中所有节点的任务列表；

基于预设的负载均衡策略，确定接管所述故障节点的数据接入任务的目标节点，以及各目标节点对应的目标接入任务；

根据获得的目标节点以及各目标节点对应的目标接入任务，将所述故障节点的数据接入任务分配至对应的目标节点。

可选地，在所述根据获得的目标节点以及各目标节点对应的目标接入任务，将所述故障节点的数据接入任务分配至对应的目标节点的步骤之后，包括：

通过所述集群调度服务对所述ETCD中的各目标节点对应任务列表进行更新，并将更新后的各目标节点对应任务列表同步至各目标节点；

通过各目标节点的组件管理服务对所述ETCD进行订阅，启动各目标节点的数据接入服务，并执行步骤：通过所述数据接入集群中的keepalived服务确定接入所述目标节点的IP地址，通过所述IP地址以及所述目标节点的数据接入服务对所述故障节点的数据接入任务进行接入，以供所述目标节点实现对所述故障节点的任务接管。

可选地，所述数据接入服务包括下级主动推送数据模式和上级主动请求数据模式。

可选地，当所述数据接入服务为下级主动推送数据模式时，所述通过所述数据接入集群中的keepalived服务确定接入所述目标节点的IP地址，通过所述IP地址以及所述目标节点的数据接入服务对所述故障节点的数据接入任务进行接入的步骤，包括：

通过所述数据接入集群中的keepalived服务确定接入所述目标节点的IP地址，并将所述目标节点的IP地址以及数据接入服务反馈至相应的下级平台或者前端设备；

通过所述下级平台或者前端设备基于所述目标节点的IP地址以及数据接入服务，向所述目标节点的数据接入服务发送认证请求；

在所述目标节点的数据接入服务认证请求通过后，通过所述下级平台或者前端设备向所述目标节点主动推送所述故障节点的数据接入任务。

可选地，当所述数据接入服务为上级主动请求数据模式时，所述通过所述数据接入集群中的keepalived服务确定接入所述目标节点的IP地址，通过所述IP地址以及所述目标节点的数据接入服务对所述故障节点的数据接入任务进行接入的步骤，包括：

通过所述数据接入集群中的keepalived服务确定接入所述目标节点的IP地址；

通过所述目标节点的数据接入服务向下级平台或者前端设备发送数据请求指令；

通过所述下级平台或者前端设备接收到所述数据请求指令，并将对所述故障节点的数据接入任务通过所述目标节点的IP地址接入至所述目标节点。

可选地，所述方法还包括：

当检测到数据接入集群中存在故障节点时，通过所述数据接入集群中的keepalived服务回收所述故障节点的IP地址。

可选地，当所述故障节点为所述集群调度服务开启的节点时，在所述通过所述数据接入集群中的keepalived服务回收所述故障节点的IP地址的步骤之后，还包括：

通过所述数据接入集群中的keepalived服务将虚拟IP地址漂移至其它正常节点；

通过漂移后的虚拟IP地址所在节点的集群调度服务继续接收配置服务器的接入任务。

此外，为实现上述目的，本发明还提供一种数据接入系统，所述数据接入系统包括：配置服务器、数据接入集群，以及下级平台或者前端设备；

所述配置服务器，用于接收用户配置的数据接入任务，并将配置的数据接入任务进行下发；

所述数据接入集群，用于通过集群调度服务检测数据接入集群中是否存在故障节点；当检测到所述数据接入集群中存在故障节点时，通过所述集群调度服务回收所述故障节点的数据接入任务，并将所述故障节点的数据接入任务分配至目标节点，其中，所述目标节点为所述数据接入集群中除所述故障节点外的其它节点；通过所述数据接入集群中的keepalived服务确定接入所述目标节点的IP地址，通过所述IP地址以及所述目标节点的数据接入服务对所述故障节点的数据接入任务进行接入，以供所述目标节点实现对所述故障节点的任务接管；

所述下级平台或者前端设备，用于获取外部数据，并将所述外部数据接入至对应节点的数据接入服务。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据接入程序，所述数据接入程序被所述配置服务器、所述数据接入集群，以及所述下级平台或者前端设备的处理器执行时实现上述的数据接入方法的步骤。

本发明提供一种数据接入方法、系统和计算机可读存储介质。在该方法中，通过集群调度服务检测数据接入集群中是否存在故障节点；当检测到所述数据接入集群中存在故障节点时，通过所述集群调度服务回收所述故障节点的数据接入任务，并将所述故障节点的数据接入任务分配至目标节点，其中，所述目标节点为所述数据接入集群中除所述故障节点外的其它节点；通过所述数据接入集群中的keepalived服务确定接入所述目标节点的IP地址，通过所述IP地址以及所述目标节点的数据接入服务对所述故障节点的数据接入任务进行接入，以供所述目标节点实现对所述故障节点的任务接管。通过上述方式，本发明在数据接入集群的各节点中部署集群调度服务，通过该数据接入集群实现故障节点检测，当检测到数据接入集群中存在故障节点后，通过该数据接入集群对故障节点的数据接入任务进行回收并重新分配至目标节点，此时再通过各节点上的keepalived服务中的虚拟IP地址确定该目标节点的IP地址，并把原来故障节点的数据接入任务接入至目标节点的数据接入服务中，从而使得故障节点的数据接入任务不被中断，而是由目标节点即正常节点继续进行接入，保证了整个数据接入任务的完整性和连续性，实现了数据接入集群中高可用数据接入功能。

附图说明

图1(a)是本发明数据接入系统的一实施例的结构示意图；

图1(b)是本发明数据接入系统的一实施例的数据接入流程的示意图；

图2为本发明数据接入方法的第一实施例的流程示意图；

图3为本发明数据接入方法的第二实施例的流程示意图；

图4为本发明数据接入方法的第三实施例的流程示意图；

图5为本发明数据接入方法的一实施例的下级主动推送数据模式下的数据接入流程示意图；

图6为本发明数据接入方法的第四实施例的流程示意图；

图7为本发明数据接入方法的一实施例的上级主动请求数据模式下的数据接入流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1(a)所示，图1(a)是本发明数据接入系统的一实施例的结构示意图。该数据接入系统中包括配置服务器、数据接入集群，以及下级平台或者前端设备。其中，该配置服务器，用于接收用户触发的数据接入任务，并将数据接入任务下发至数据接入集群。

该数据接入集群包括多个节点，各节点分别与该配置服务器无线连接；各节点内均部署有集群调度服务、分布式键值数据库ETCD、用于防止单点故障的keepalived服务、组件管理服务和数据接入服务。其中，集群调度服务用于负责数据接入集群内部的数据接入任务分配、故障节点发现、故障节点任务转移、下级主动推送数据模式重定向等功能，在同一时刻，数据接入集群中的各节点只有一个节点上的集群调用服务处于工作状态。分布式键值数据库ETCD用于存储所有节点各自被分配的数据接入任务，集群调度服务通过ETCD给各个节点下发数据接入任务。用于防止单点故障的keepalived服务，主要负责检测服务器的状态，将故障节点从数据接入集群中剔除，以保证数据接入集群的虚拟IP地址一直位于可用的节点上。组件管理服务，用于订阅自身节点对应的ETCD，并根据自身节点对应的ETCD启动对应的数据接入服务，通过数据接入服务接入目标接入任务对应的数据。数据接入服务用于接入各种视频数据、卡口数据等，如实现海康卡口数据、大华卡口数据、国标28181、国标1400的数据接入。各节点中的分布式键值数据库ETCD相互同步，以保证各节点的ETCD中的数据都是同步更新的。各节点中的keepalived服务通过vrrp协议相互通讯。

该下级平台或者前端设备用于获取外部数据，并将获取的外部数据接入至对应节点的数据接入服务。下级平台为该数据接入集群的下级平台，通过该下级平台去获取前端设备的数据。前端数据至直接获取外部数据的设备，如安装在路口的摄像头、麦克风等设备。

通过如图1(a)所述的数据接入系统，可以实现数据接入集群的数据接入，具体到，请参阅图1(b)，图1(b)为数据接入集群的数据接入流程的示意图。用户可以通过Web网页或者Restful架构在配置服务器上配置接入任务，并在配置好接入任务后对其进行下发，发送给数据接入集群。数据接入集群通过集群调度服务定时同步接收配置服务器下发的接入任务，并基于负载均衡策略对接入任务进行分配，并将各节点分配的任务通过ETCD通知给各节点。此时，各节点的组件管理服务通过订阅ETCD获取自身节点里的任务列表，根据自身节点的任务列表启动相应的数据接入服务，并将该节点的数据接入任务下发给数据接入服务，之后基于数据接入服务后对下级平台或者前端设备如前端抓拍机的数据进行接入。

与此同时，数据接入集群中的集群调度服务检测数据接入集群中是否存在故障节点；当检测到数据接入集群中存在故障节点时，通过集群调度服务回收故障节点的数据接入任务，并将故障节点的数据接入任务分配至目标节点，其中，目标节点为数据接入集群中除故障节点外的其它节点；通过数据接入集群中的keepalived服务确定接入目标节点的IP地址，通过IP地址以及目标节点的数据接入服务对故障节点的数据接入任务进行接入，以供目标节点实现对故障节点的任务接管。

本发明数据接入系统的具体实施例与下述数据接入方法各实施例基本相同，在此不作赘述。

参照图2，图2为本发明数据接入方法的第一实施例的流程示意图，所述数据接入方法包括：

步骤S10，通过集群调度服务检测数据接入集群中是否存在故障节点；当检测到所述数据接入集群中存在故障节点时，通过所述集群调度服务回收所述故障节点的数据接入任务，并将所述故障节点的数据接入任务分配至目标节点，其中，所述目标节点为所述数据接入集群中除所述故障节点外的其它节点。

在数据接入集群进行数据接入时，数据接入集群中的集群调度服务实时检测各节点的工作状态，判断数据接入集群中是否存在故障节点，当检测到数据接入集群中存在故障节点时，集群调度服务会将故障节点的数据接入任务进行回收，并重新将故障节点的数据接入任何分配给其他正常的节点。具体的，所述通过所述集群调度服务回收所述故障节点的数据接入任务，并将所述故障节点的数据接入任务分配至目标节点的步骤，包括：

步骤S110，通过所述集群调度服务从分布式键值数据库ETCD中回收所述故障节点的数据接入任务，其中，所述ETCD中存储有所述数据接入集群中所有节点的任务列表。

当检测到数据接入集群中存在故障节点时，集群调度服务获取ETCD中的各节点的任务列表，并将故障节点的数据接入任务回收，同时将故障节点的任务列表从ETCD中删除。其中，该ETCD中存储有数据接入集群中所有节点的任务列表，这里的节点指的是正常接入的节点，当原本正常的节点出现故障，那么该节点就会从ETCD中删除。

步骤S120，基于预设的负载均衡策略，确定接管所述故障节点的数据接入任务的目标节点，以及各目标节点对应的目标接入任务。

集群调度服务在回收故障节点的数据接入任务后，基于预设的负载均衡策略，将故障节点的数据接入任务分配至其他正常节点，由此确定被分配的目标节点以及各目标节点对应的目标接入任务。需要说明的是，此处的负载均衡(Load Balance)是由多台服务器以对称的方式组成一个服务器集合，每台服务器都具有等价的地位，都可以单独对外供应效力而无须其他服务器的辅助。经过某种负载分管技术，将外部发送来的央求均匀分配到对称结构中的某一台服务器上，而接收到央求的服务器独登时回应客户的央求。均衡负载可以平均分配客户央求到服务器列阵，籍此供应快速获取重要数据，解决很多并发访问效力问题。本发明实施例中，预设的负载均衡策略可以是轮询策略、指定权重策略、IP绑定ip_hash策略、fair策略、url_hash策略等策略中的一种。

步骤S130，根据获得的目标节点以及各目标节点对应的目标接入任务，将所述故障节点的数据接入任务分配至对应的目标节点。

集群调度服务根据获得的目标节点以及各目标节点对应的目标接入任务对故障节点的数据接入任务进行拆分，并将拆分后的各目标节点的目标接入任务分配至对应的目标节点。

步骤S20，通过所述数据接入集群中的keepalived服务确定接入所述目标节点的IP地址，通过所述IP地址以及所述目标节点的数据接入服务对所述故障节点的数据接入任务进行接入，以供所述目标节点实现对所述故障节点的任务接管。

数据接入集群中的keepalived服务能使集群中的各节点共用一个虚拟IP地址与外界通讯，由此为下级主动推动数据时的重定向和上级主动请求数据时的配置任务下发请求提供统一入口。当数据接入集群中存在故障节点时，首先通过keepalived服务重新确定虚拟IP地址是否发生变化，在重新确定虚拟IP地址后，由集群调度服务通过该虚拟IP地址返回一个接入目标节点的IP地址，由此重新确定接入入口来接入原来属于故障节点的数据接入任务。同时根据各目标节点中的数据接入服务的接入模式，确定数据接入方式，使得原本与故障节点进行数据接入的下级平台或者前端设备能与目标节点进行数据对接。这样下级平台或者前端设备就可以通过目标节点的IP地址成功接入至目标节点的数据接入服务，对故障节点的任务进行接管。

本实施例通过该数据接入集群实现故障节点检测，当检测到数据接入集群中存在故障节点后，通过该数据接入集群对故障节点的数据接入任务进行回收并重新分配至目标节点，此时再通过各节点上的keepalived服务中的虚拟IP地址确定该目标节点的IP地址，并把原来故障节点的数据接入任务接入至目标节点的数据接入服务中，从而使得故障节点的数据接入任务不被中断，而是由目标节点即正常节点继续进行接入，保证了整个数据接入任务的完整性和连续性，实现了数据接入集群中高可用数据接入功能。

请参阅图3，图3为本发明数据接入方法的第二实施例的流程示意图。基于上述图2所示的实施例，本实施例中，在所述步骤S130根据获得的目标节点以及各目标节点对应的目标接入任务，将所述故障节点的数据接入任务分配至对应的目标节点之后，包括：

步骤S140，通过所述集群调度服务对所述ETCD中的各目标节点对应任务列表进行更新，并将更新后的各目标节点对应任务列表同步至各目标节点。

集群调度服务在对故障节点的数据接入任务重新划分后，会对ETCD中的各节点的任务列表进行更新，如删除故障节点的任务列表，以及将各目标节点的目标接入任务加入至原有的数据接入任务中。在ETCD更新后，通过各节点之间的同步将各节点的ETCD内容同步更新。

步骤S150，通过各目标节点的组件管理服务对所述ETCD进行订阅，启动各目标节点的数据接入服务，并执行步骤：通过所述数据接入集群中的keepalived服务确定接入所述目标节点的IP地址，通过所述IP地址以及所述目标节点的数据接入服务对所述故障节点的数据接入任务进行接入，以供所述目标节点实现对所述故障节点的任务接管。

各目标节点的组件管理服务实时对自身节点内的ETCD进行订阅，通过订阅ETCD启动相应的数据接入服务，并在启动数据接入服务后，执行上述步骤S20：通过所述数据接入集群中的keepalived服务确定接入所述目标节点的IP地址，通过所述IP地址以及所述目标节点的数据接入服务对所述故障节点的数据接入任务进行接入，以供所述目标节点实现对所述故障节点的任务接管。

本实施例中根据集群调度服务的任务分配，实时调整ETCD内的任务列表，使得各节点可以通过订阅自身节点的ETCD来来接自身的数据接入任务，由此通过数据接入服务获取需要的外部数据。

进一步地，请参阅图4，图4为本发明数据接入方法的第三实施例的流程示意图。基于上述图2所示的实施例，本实施例中，当所述数据接入服务为下级主动推送数据模式时，所述步骤S20通过所述数据接入集群中的keepalived服务确定接入所述目标节点的IP地址，通过所述IP地址以及所述目标节点的数据接入服务对所述故障节点的数据接入任务进行接入，包括：

步骤S201，通过所述数据接入集群中的keepalived服务确定接入所述目标节点的IP地址，并将所述目标节点的IP地址以及数据接入服务反馈至相应的下级平台或者前端设备。

当数据接入服务为下级主动推送数据模式时，需要下级平台或者前端设备主动向数据接入集群推送数据，下级主动推送数据模式下的数据接入流程如图5所示。在故障发生前，集群调度服务将某一数据接入任务分配给节点A，节点A通过ETCD订阅到自身的数据接入任务，并通过自身的组件管理服务启动相应的数据接入服务，此时下级平台或者前端设备通过数据接入集群的虚拟IP地址向集群调度服务发起注册请求，集群调度服务接收到注册请求后，向下级平台或者前端设备返回实际节点A的实际IP地址和数据接入服务给下级平台或者前端设备，由此，下级平台或者前端设备再向节点A的数据接入服务发起认证和保活请求，在节点A的数据接入服务认证和保活请求通过后，向节点A推送外部数据。在数据接入过程中，如果节点A宕机，此时下级平台或前端设备向节点A的注册和保活失败，且数据传输中断。集群调度服务检测到节点A宕机，将节点A的数据接入任务回收，并重新对故障节点的数据接入任务进行分配。假设需要将故障节点A的接入任务分配至节点B，那么，节点B在订阅到目标接入任务后，重复节点A之前的数据接入流程，完成对故障节点A的任务接管。需要说明的是，节点A和节点B可以是数据接入集群中的任意节点，本发明不做具体限定。

因此，在数据接入集群出现故障节点后，可以通过数据接入集群中的keepalived服务重新确定虚拟IP地址是否发生变化，在重新确定虚拟IP地址后，由集群调度服务通过该虚拟IP地址返回一个接入上述目标节点的IP地址，并将目标节点的IP地址反馈至相应的下级平台或者前端设备。同时，下级平台或者前端设备回使用虚拟IP地址向集群调度服务发起注册请求，集群调度服务在收到虚拟IP地址发送的新的注册请求时，也会将目标节点的数据接入服务返回给下级平台或者前端设备。由此可以使得下级平台或者前端设备能够确定接入数据的目标节点的数据接入服务。

步骤S202，通过所述下级平台或者前端设备基于所述目标节点的IP地址以及数据接入服务，向所述目标节点的数据接入服务发送认证请求。

步骤S203，在所述目标节点的数据接入服务认证请求通过后，通过所述下级平台或者前端设备向所述目标节点主动推送所述故障节点的数据接入任务。

本实施例通过下级平台或者前端设备向目标节点的数据接入服务发送认证、保活请求，并在认证、保活通过后，主动向目标节点的数据接入服务推送数据，由此使得目标节点完成对故障节点的任务接管。

进一步地，请参阅图6，图6为本发明数据接入方法的第四实施例的流程示意图。基于上述图2所示的实施例，本实施例中，当所述数据接入服务为上级主动请求数据模式时，所述步骤S20通过所述数据接入集群中的keepalived服务确定接入所述目标节点的IP地址，通过所述IP地址以及所述目标节点的数据接入服务对所述故障节点的数据接入任务进行接入，包括：

步骤S204，通过所述数据接入集群中的keepalived服务确定接入所述目标节点的IP地址。

当数据接入服务为上级主动请求数据模式时，需要数据接入集群主动向下级平台或者前端设备推送数据，上级主动请求数据模式下的数据接入流程如图7所示。在故障发生前，集群调度服务将某一数据接入任务分配给节点A，节点A通过ETCD订阅到自身的数据接入任务，并通过自身的组件管理服务启动相应的数据接入服务，此时数据接入服务向下级平台或者前端设备发送数据请求，下级平台或者前端设备接收到数据请求后，向节点A的数据接入服务传输数据。在数据接入过程中，如果节点A宕机，此时下级平台或前端设备与节点A之间的数据传输中断。集群调度服务检测到节点A宕机，将节点A的数据接入任务回收，并重新对故障节点的数据接入任务进行分配。假设需要将故障节点A的接入任务分配至节点B，那么，节点B在订阅到目标接入任务后，重复节点A之前的数据接入流程，完成对故障节点A的任务接管。需要说明的是，节点A和节点B可以是数据接入集群中的任意节点，本发明不做具体限定。

因此，在数据接入集群出现故障节点后，可以通过数据接入集群中的keepalived服务重新确定虚拟IP地址是否发生变化，在重新确定虚拟IP地址后，由集群调度服务通过该虚拟IP地址返回一个接入上述目标节点的IP地址，并将目标节点的IP地址反馈至相应的下级平台或者前端设备，由此目标节点在主动请求数据时，下级平台或者前端设备能够确定接入数据的目标节点的数据接入服务。

步骤S205，通过所述目标节点的数据接入服务向下级平台或者前端设备发送数据请求指令。

步骤S206，通过所述下级平台或者前端设备接收到所述数据请求指令，并将对所述故障节点的数据接入任务通过所述目标节点的IP地址接入至所述目标节点。

本实施例通过目标节点的数据接入服务向下级平台或者前端设备发送数据请求，下级平台或者前端设备接收到数据请求后，主动向目标节点的数据接入服务推送数据，由此使得目标节点完成对故障节点的任务接管。

进一步地，基于上述图2所示的实施例，本实施例中，所述数据接入方法还包括：

步骤S30，当检测到数据接入集群中存在故障节点时，通过所述数据接入集群中的keepalived服务回收所述故障节点的IP地址。

本实施例，在集群调度服务检测到数据接入集群存在故障节点后，将通过keepalived服务对故障节点的IP地址进行回收，从而只保留集群中能正常接入的节点的IP地址，这样在下级平台或者前端设备通过虚拟IP地址重定向目标节点的IP地址时，就不会将目标节点的IP地址定位到有故障的节点，从而保证数据接入的高可用。

进一步地，基于上述图2所示的实施例，本实施例中，当所述故障节点为所述集群调度服务开启的节点时，在所述步骤S30通过所述数据接入集群中的keepalived服务回收所述故障节点的IP地址之后，还包括：

步骤S40，通过所述数据接入集群中的keepalived服务将虚拟IP地址漂移至其它正常节点。

当所述故障节点为集群调度服务开启的节点时，需要将其他某一台节点的集群调度服务开启，来继续负责原来的集群调度服务的任务。那么由哪台节点的集群调度服务开启，这个由数据接入集群中的keepalived服务决定，keepalived服务会通过自身的虚拟路由冗余协议(Virtual Router Redundancy Protocol，简称VRRP协议)将虚拟IP地址漂移至其他正常节点上，被选中的这个节点的集群调度服务就会开启。需要说明的是，VRRP协议是一种容错协议，该协议能够实现将可以承担网关功能的一组路由器加入到备份组中，形成一台虚拟路由器，由VRRP的选举机制决定哪台路由器承担转发任务，局域网内的主机只需将虚拟路由器配置为缺省网关。

步骤S50，通过漂移后的虚拟IP地址所在节点的集群调度服务继续接收配置服务器的接入任务。

漂移后的虚拟IP地址所在节点的集群调度服务开启后，通过该集群调度服务继续接收配置服务器下发的接入任务，从而保证数据接入集群中的主节点故障时能够继续对集群中的人物进行调度。

此外，本发明实施例还提出一种计算机可读存储介质。

本发明计算机可读存储介质上存储有数据接入程序，所述数据接入程序被所述配置服务器、所述数据接入集群，以及所述下级平台或者前端设备的处理器执行时实现如上所述的数据接入方法的步骤。

其中，在所述处理器上运行的数据接入程序被执行时所实现的方法可参照本发明数据接入方法各个实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据接入方法，其特征在于，所述方法包括：

通过集群调度服务检测数据接入集群中是否存在故障节点；当检测到所述数据接入集群中存在故障节点时，通过所述集群调度服务回收所述故障节点的数据接入任务，并将所述故障节点的数据接入任务分配至目标节点，其中，所述目标节点为所述数据接入集群中除所述故障节点外的其它节点；

通过所述数据接入集群中的keepalived服务确定接入所述目标节点的IP地址，通过所述IP地址以及所述目标节点的数据接入服务对所述故障节点的数据接入任务进行接入，以供所述目标节点实现对所述故障节点的任务接管。

2.如权利要求1所述的数据接入方法，其特征在于，所述通过所述集群调度服务回收所述故障节点的数据接入任务，并将所述故障节点的数据接入任务分配至目标节点的步骤，包括：

通过所述集群调度服务从分布式键值数据库ETCD中回收所述故障节点的数据接入任务，其中，所述ETCD中存储有所述数据接入集群中所有节点的任务列表；

基于预设的负载均衡策略，确定接管所述故障节点的数据接入任务的目标节点，以及各目标节点对应的目标接入任务；

根据获得的目标节点以及各目标节点对应的目标接入任务，将所述故障节点的数据接入任务分配至对应的目标节点。

3.如权利要求2所述的数据接入方法，其特征在于，在所述根据获得的目标节点以及各目标节点对应的目标接入任务，将所述故障节点的数据接入任务分配至对应的目标节点的步骤之后，包括：

通过所述集群调度服务对所述ETCD中的各目标节点对应任务列表进行更新，并将更新后的各目标节点对应任务列表同步至各目标节点；

通过各目标节点的组件管理服务对所述ETCD进行订阅，启动各目标节点的数据接入服务，并执行步骤：通过所述数据接入集群中的keepalived服务确定接入所述目标节点的IP地址，通过所述IP地址以及所述目标节点的数据接入服务对所述故障节点的数据接入任务进行接入，以供所述目标节点实现对所述故障节点的任务接管。

4.如权利要求1至3任一所述的数据接入方法，其特征在于，所述数据接入服务包括下级主动推送数据模式和上级主动请求数据模式。

5.如权利要求4所述的数据接入方法，其特征在于，当所述数据接入服务为下级主动推送数据模式时，所述通过所述数据接入集群中的keepalived服务确定接入所述目标节点的IP地址，通过所述IP地址以及所述目标节点的数据接入服务对所述故障节点的数据接入任务进行接入的步骤，包括：

通过所述数据接入集群中的keepalived服务确定接入所述目标节点的IP地址，并将所述目标节点的IP地址以及数据接入服务反馈至相应的下级平台或者前端设备；

通过所述下级平台或者前端设备基于所述目标节点的IP地址以及数据接入服务，向所述目标节点的数据接入服务发送认证请求；

在所述目标节点的数据接入服务认证请求通过后，通过所述下级平台或者前端设备向所述目标节点主动推送所述故障节点的数据接入任务。

6.如权利要求4所述的数据接入方法，其特征在于，当所述数据接入服务为上级主动请求数据模式时，所述通过所述数据接入集群中的keepalived服务确定接入所述目标节点的IP地址，通过所述IP地址以及所述目标节点的数据接入服务对所述故障节点的数据接入任务进行接入的步骤，包括：

通过所述数据接入集群中的keepalived服务确定接入所述目标节点的IP地址；

通过所述目标节点的数据接入服务向下级平台或者前端设备发送数据请求指令；

通过所述下级平台或者前端设备接收到所述数据请求指令，并将对所述故障节点的数据接入任务通过所述目标节点的IP地址接入至所述目标节点。

7.如权利要求1所述的数据接入方法，其特征在于，所述方法还包括：

当检测到数据接入集群中存在故障节点时，通过所述数据接入集群中的keepalived服务回收所述故障节点的IP地址。

8.如权利要求7所述的数据接入方法，其特征在于，当所述故障节点为所述集群调度服务开启的节点时，在所述通过所述数据接入集群中的keepalived服务回收所述故障节点的IP地址的步骤之后，还包括：

通过所述数据接入集群中的keepalived服务将虚拟IP地址漂移至其它正常节点；

通过漂移后的虚拟IP地址所在节点的集群调度服务继续接收配置服务器的接入任务。

9.一种数据接入系统，其特征在于，所述系统包括：配置服务器、数据接入集群，以及下级平台或者前端设备；

所述配置服务器，用于接收用户配置的数据接入任务，并将配置的数据接入任务进行下发；

所述数据接入集群，用于通过集群调度服务检测数据接入集群中是否存在故障节点；当检测到所述数据接入集群中存在故障节点时，通过所述集群调度服务回收所述故障节点的数据接入任务，并将所述故障节点的数据接入任务分配至目标节点，其中，所述目标节点为所述数据接入集群中除所述故障节点外的其它节点；通过所述数据接入集群中的keepalived服务确定接入所述目标节点的IP地址，通过所述IP地址以及所述目标节点的数据接入服务对所述故障节点的数据接入任务进行接入，以供所述目标节点实现对所述故障节点的任务接管；

所述下级平台或者前端设备，用于获取外部数据，并将所述外部数据接入至对应节点的数据接入服务。

10.一种计算机可读存储介质，其上存储有数据接入程序，其特征在于，所述数据接入程序被所述配置服务器、所述数据接入集群，以及所述下级平台或者前端设备的处理器执行时实现如权利要求1至8中任一项所述的数据接入方法的步骤。

Images