CN112051771A

CN112051771A - 多云数据采集方法、装置、计算机设备和存储介质

Info

Publication number: CN112051771A
Application number: CN202010902881.1A
Authority: CN
Inventors: 杨立坤; 周永兴
Original assignee: Beijing Horizon Yuntian Technology Co ltd
Current assignee: Beijing Horizon Yuntian Technology Co ltd
Priority date: 2020-09-01
Filing date: 2020-09-01
Publication date: 2020-12-08
Anticipated expiration: 2040-09-01
Also published as: CN112051771B

Abstract

本申请涉及一种多云数据采集方法、装置、计算机设备和存储介质。所述方法包括：通过接收并解析客户端发送的任务请求，根据任务请求中云厂商信息和数据类型信息，确定执行数据采集的数据接口，根据数据接口的请求响应时间、采集耗时经验值、故障频次和接口优先级，确定采集任务对应的任务权重值；获取采集节点的任务执行状况信息，以及采集节点每条运营商网络线路到数据接口的节点网络状况信息，根据任务执行状况信息和节点网络状况信息，确定采集节点采用每条网络线路对应的节点权重值；根据任务权重值，对任务采集节点对应的运营商网络线路上的任务序列进行排序，利用运营商网络线路和数据接口构成的采集网络对采集任务进行数据采集。

Description

多云数据采集方法、装置、计算机设备和存储介质

技术领域

本申请涉及数据采集技术领域，特别是涉及一种多云数据采集方法、装置、计算机设备和存储介质。

背景技术

随着云计算、大数据行业的飞速发展，数据中心发展到一个新的阶段。数据中心基础设施是云计算架构的核心，它提供给用户包括CPU、内存、存储、网络等资源的使用，有效减轻了IT运维的成本和复杂性。

多云服务需要对接众多的云厂商，各厂商提供了不同类型的数据采集接口，云厂商使用的运营商网络也各不相同，在实际应用中，客户端发送任务请求后，采集节点执行数据采集任务时，可能会出现跨运营商的数据采集；另外如果某个厂商的数据采集接口异常或网络状况不佳，采集节点会出现采集任务积压，导致整个系统其他采集任务延迟，影响后续接口数据的采集。因此，现有多云数据采集技术存在效率低，适应性差的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够解决多云数据采集效率低、适应性差问题的多云数据采集方法、装置、计算机设备和存储介质。

一种多云数据采集方法，所述方法包括：

接收客户端发送的任务请求；所述任务请求中包括云厂商信息和数据类型信息；

解析所述任务请求，得到采集任务，根据所述云厂商信息和所述数据类型信息，分别获取所述数据类型信息对应的数据接口的请求响应时间、采集耗时经验值、故障频次和接口优先级；

根据所述请求响应时间、所述采集耗时经验值、所述故障频次和所述接口优先级，确定所述采集任务对应的任务权重值；

获取采集节点到所述数据接口的节点网络状况信息；所述采集节点对应多个网络线路，所述采集节点通过所述运营商网络线路与所述数据接口连接，所述运营商网络线路为运营商网络线路；

根据所述节点网络状况信息以及所述采集节点采用所述运营商网络线路的任务执行状况信息，确定所述采集节点采用所述运营商网络线路对应的节点权重值；

根据所述节点权重值，从所述采集节点中确定任务采集节点和对应的运营商网络线路；

根据所述任务权重值，对所述任务采集节点对应的运营商网络线路上的任务序列进行排序，利用所述运营商网络线路和所述数据接口构成的采集网络对所述采集任务进行数据采集。

在其中一个实施例中，还包括：根据所述云厂商信息和所述数据类型信息，确定云厂商服务器中与数据类型信息对应的数据接口；

通过向所述数据接口发送探测包或任务请求，根据数据接口针对所述探测包或任务请求反馈的返回参数，得到所述请求相应时间、所述采集耗时经验值、所述故障频次和所述接口优先级。

在其中一个实施例中，还包括：根据采集任务的执行情况，统计并分析采集任务的请求相应时间、采集耗时经验值和故障频次，对所述数据接口的请求相应时间、采集耗时经验值、故障频次进行更新。

在其中一个实施例中，还包括：获取预先设置的所述请求响应时间、所述采集耗时经验值、所述故障频次和所述接口优先级的参数上限值和权重上限值；

根据所述请求响应时间、所述采集耗时经验值、所述故障频次和所述接口优先级，确定所述采集任务对应的任务权重值为：

其中w_task表示采集任务对应的任务权重值；W₁表示请求响应时间权重上限值，W₂表示采集耗时经验值权重上限值，W₃表示故障频次权重上限值，W₄表示接口优先级权重值的上限值；T₁表示请求响应时间参数上限值，T₂表示采集耗时经验值参数上限值，T₃表示故障频次参数上限值，T₄表示接口优先级参数上限值；t₁表示所述请求响应时间，t₂表示所述采集耗时经验值、t₃表示所述故障频次，t₄表示所述接口优先级。

在其中一个实施例中，还包括：通过向各个数据接口发送网络探测包，根据数据接口针对所述网络探测包反馈的返回的网络延迟时间，得到所述节点网络状况信息。

在其中一个实施例中，还包括：所述根据节点网络状况信息以及所述采集节点采用所述运营商网络线路的任务执行状况信息，确定所述采集节点采用所述运营商网络线路对应的节点权重值，包括：

获取预先设置的所述节点网络延迟时间、所述节点负载信息、所述节点任务数信息的参数上限值和权重上限值；

根据所述节点网络状况信息以及所述采集节点采用所述运营商网络线路的任务执行状况信息，确定所述采集节点采用所述运营商网络线路对应的节点权重值为：

其中w_node表示采集任务对应的任务权重值；W₃表示节点网络延迟时间权重上限值，W₄表示节点负载信息权重上限值，W₅表示节点任务数信息权重上限值；T₃表示节点网络延迟时间参数上限值，L表示节点负载参数上限值，M表示节点任务数参数上限值；t₃表示所述请求响应时间，l表示所述节点负载信息、m表示所述节点任务数信息。

在其中一个实施例中，还包括：根据所述任务权重值，对所述任务采集节点对应的运营商网络线路上的任务序列进行排序，利用所述运营商网络线路和所述数据接口构成的采集网络对任务权重高的采集任务优先进行数据采集。

一种多云数据采集装置，所述装置包括：

任务请求接收模块，用于接收客户端发送的任务请求；

任务权重值确定模块，用于根据所述请求响应时间、所述采集耗时经验值、所述故障频次和所述接口优先级，确定所述采集任务对应的任务权重值；

节点权重值确定模块，用于根据所述节点网络状况信息以及所述采集节点采用所述运营商网络线路的任务执行状况信息，确定所述采集节点采用所述运营商网络线路对应的节点权重值；

数据采集模块，用于根据所述节点权重值，从所述采集节点中确定任务采集节点和对应的运营商网络线路；根据所述任务权重值，对所述任务采集节点对应的运营商网络线路上的任务序列进行排序，利用所述运营商网络线路和所述数据接口构成的采集网络进行数据采集。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

上述多云数据采集方法、装置、计算机设备和存储介质，通过接收并解析客户端发送的任务请求，根据任务请求中云厂商信息和数据类型信息，确定执行数据采集的数据接口，根据数据接口的请求响应时间、采集耗时经验值、故障频次和接口优先级，确定采集任务对应的任务权重值；获取采集节点的任务执行状况信息，以及采集节点每条运营商网络线路到数据接口的节点网络状况信息，根据任务执行状况信息和节点网络状况信息，确定采集节点采用每条网络线路对应的节点权重值；根据任务权重值，对任务采集节点对应的运营商网络线路上的任务序列进行排序，利用运营商网络线路和数据接口构成的采集网络对采集任务进行数据采集。通过采用本方法，可以实现对数据量小、数据采集时效要求高、云厂商数据接口性能佳的采集任务优先进行数据采集，且通过节点权重值分配合理的采集节点和运营商网络线路，可以实现负载均衡的采集节点调度方案。本方法具有效率高，适应性好的优点。

附图说明

图1为一个实施例中多云数据采集方法的场景应用图；

图2为一个实施例中多云数据采集方法的流程示意图；

图3为一个实施例中多云数据采集装置的结构框图；

图4为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的多云数据采集方法，可以应用于如图1所示的应用环境中。其中，客户端102通过网络与云厂商服务器110通过网络进行通信，调度机112用于确定执行采集任务的采集节点104和运营商网络线路106。接收并解析客户端102发送的任务请求，根据任务请求中云厂商信息和数据类型信息，确定执行数据采集的数据接口108，根据数据接口108的请求响应时间、采集耗时经验值、故障频次和接口优先级，确定采集任务对应的任务权重值；获取采集节点104的任务执行状况信息，以及采集节点104每条运营商网络线路106到数据接口108的节点网络状况信息，根据任务执行状况信息和节点网络状况信息，确定采集节点104采用每条运营商网络线路106对应的节点权重值；根据任务权重值，对任务采集节点104对应的运营商网络线路106上的任务序列进行排序，利用运营商网络线路106和数据接口108构成的采集网络对采集任务进行数据采集。其中，客户端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，云厂商服务器110可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种多云数据采集方法，以该方法应用于图1中的调度机为例进行说明，包括以下步骤：

步骤202，接收客户端发送的任务请求；任务请求中包括云厂商信息和数据类型信息。

多云数据采集系统通常对接多个云厂商，客户端发送的任务请求中包含要对接的云厂商信息和请求采集的数据类型信息。数据类型主要是两种，一种是普通的JSON数据，JSON是一种轻量级的数据交换格式，易于人阅读和编写，同时也易于机器解析。由于JSON数据量较小，采集较快；另一种是日志文件类型，日志文件是用于记录系统操作事件的记录文件或文件集合，可分为事件日志和消息日志，具有处理历史数据、诊断问题的追踪以及理解系统的活动等重要作用。日志文件数据量比较大，采集耗时长。

步骤204，解析任务请求，得到采集任务，根据云厂商信息和数据类型信息，分别获取数据类型信息对应的数据接口的请求响应时间、采集耗时经验值、故障频次和接口优先级。

由于不同云厂商的网络状况不同，同一云厂商不同的数据接口性能不同，而数据接口的通讯性能对数据采集的效率具有较大影响。通过数据接口的请求响应时间、采集耗时经验值、故障频次和接口优先级这些指标，可以评价数据接口的通讯性能。

请求响应时间是指客户端向云厂商服务器发起请求到云厂商服务器响应请求的时间，具体值可从任务请求返回参数中获得；采集耗时经验值包含了云厂商服务器请求响应时间和数据处理时间；故障频次是指单位时间内接口采集失败的次数，失败的原因包括：网络原因，服务端接口变更导致的请求错误，服务端接口变更导致的返回格式解析错误等；接口优先级是指从业务层次区分的接口重要等级，通常设置要求数据采集延迟短的数据接口优先级高。

步骤206，根据请求响应时间、采集耗时经验值、故障频次和接口优先级，确定采集任务对应的任务权重值。

在任务权重值的计算模型中结合对应的数据接口的性能信息，在实际应用中可以有目的的选择接口性能好的任务优先进行数据采集，从而提高数据采集的效率。

步骤208，获取采集节点到数据接口的节点网络状况信息；采集节点对应多个网络线路，采集节点通过网络线路与数据接口连接，网络线路为运营商网络线路。

多云环境下进行数据采集时，各个云厂商使用的网络运营商不同，采集节点数据可能要跨多个运营商传输，当一个运营商出现网络不稳定等问题时，就会导致数据采集耗时长或数据异常。针对上述情况，在采集节点同时部署多个网络线路，每一条网络线路对应一个运营商，在采集节点上采用与云厂商使用的运营商对应的运营商网络线路进行数据采集，可以避免跨运营商的数据采集，提高数据采集的传输效率。

步骤210，根据节点网络状况信息以及采集节点采用所述运营商网络线路的任务执行状况信息，确定采集节点采用运营商网络线路对应的节点权重值。

运营商网络线路的任务执行状况信息可以评价当前运营商网络线路的通讯质量，当前运营商网络线路通讯繁忙时，采用该线路进行数据采集需要更长的排队时间。

步骤212，根据节点权重值，从采集节点中确定任务采集节点和对应的运营商网络线路。

优先选择节点权重值高的采集节点和对应的运营商网络线路执行数据采集任务。

步骤214，根据任务权重值，对任务采集节点对应的运营商网络线路上的任务序列进行排序，利用运营商网络线路和数据接口构成的采集网络对采集任务进行数据采集。

一个采集节点的一条网络线路上，通常有多个采集任务构成的任务序列，根据任务权重值大小，对任务序列进行排序，根据需要，确定从采集任务的处理顺序，可以实现任务采集顺序的可控化。

上述多云数据采集方法中，通过接收并解析客户端发送的任务请求，根据任务请求中云厂商信息和数据类型信息，确定执行数据采集的数据接口，根据数据接口的请求响应时间、采集耗时经验值、故障频次和接口优先级，确定采集任务对应的任务权重值；获取采集节点的任务执行状况信息，以及采集节点每条运营商网络线路到数据接口的节点网络状况信息，根据任务执行状况信息和节点网络状况信息，确定采集节点采用每条网络线路对应的节点权重值；根据任务权重值，对任务采集节点对应的运营商网络线路上的任务序列进行排序，利用运营商网络线路和数据接口构成的采集网络对采集任务进行数据采集。通过采用本方法，可以实现对数据量小、数据采集时效要求高、云厂商数据接口性能佳的采集任务优先进行数据采集，且通过节点权重值分配合理的采集节点和运营商网络线路，可以实现负载均衡的采集节点调度方案。本方法具有效率高，适应性好的优点。

在其中一个实施例中，根据云厂商信息和数据类型信息，确定云厂商服务器中与数据类型信息对应的数据接口；通过向数据接口发送探测包或任务请求，根据数据接口针对探测包或任务请求反馈的返回参数，得到请求相应时间、采集耗时经验值、故障频次和接口优先级。具体的，探测包和任务请求为一个http请求，数据接口针对探测包或任务请求返回参数包含请求相应时间、采集耗时经验值、故障频次和接口优先级参数。

在其中一个实施例中，根据采集任务的执行情况，统计并分析采集任务的请求相应时间、采集耗时经验值和故障频次，对数据接口的请求相应时间、采集耗时经验值、故障频次进行更新。通过每完成一次采集任务，都对接口的请求相应时间、采集耗时经验值和故障频次参数进行更新，实现接口性能参数的实时更新，确保任务权重值计算的合理性。

在其中一个实施例中，获取预先设置的请求响应时间、采集耗时经验值、故障频次和接口优先级的参数上限值和权重上限值；

根据请求响应时间、采集耗时经验值、故障频次和接口优先级，确定采集任务对应的任务权重值为：

其中w_task表示采集任务对应的任务权重值；W₁表示请求响应时间权重上限值，W₂表示采集耗时经验值权重上限值，W₃表示故障频次权重上限值，W₄表示接口优先级权重值的上限值；T₁表示请求响应时间参数上限值，T₂表示采集耗时经验值参数上限值，N表示故障频次参数上限值，P表示接口优先级参数上限值；t₁表示所述请求响应时间，t₂表示所述采集耗时经验值、n表示所述故障频次，p表示所述接口优先级。

具体的，设置请求响应时间、采集耗时经验值、故障频次和接口优先级的权重上限值和参数上限值，以及获取的请求响应时间、采集耗时经验值、故障频次和接口优先级值如下：

参数类型	权重上限值	参数上限值	返回参数值	计算所得权重
					请求响应时间	W<sub>1</sub>＝30	T<sub>1</sub>＝200	t<sub>1</sub>＝50	22.5
采集耗时	W<sub>2</sub>＝30	T<sub>2</sub>＝500	t<sub>2</sub>＝100	24
					故障次数	W<sub>3</sub>＝20	N＝5	n＝2	12
接口优先级	W<sub>4</sub>＝20	P＝10	p＝5	10

计算得到任务权重值为：

w_task＝22.5+24+12+10＝68.5

在其中一个实施例中，通过向各个数据接口发送网络探测包，根据数据接口针对网络探测包反馈的返回的网络延迟时间，得到节点网络状况信息。具体的，网络探测包为一个http请求，从数据接口针对该http请求返回的参数中得到网络延迟时间。

在其中一个实施例中，任务执行状况信息包括：节点负载信息和节点任务数信息，获取预先设置的节点网络延迟时间、节点负载信息、节点任务数信息的参数上限值和权重上限值；再根据节点网络状况信息以及采集节点采用运营商网络线路的任务执行状况信息，确定采集节点采用运营商网络线路对应的节点权重值为：

其中w_node表示采集任务对应的任务权重值；W₃表示节点网络延迟时间权重上限值，W₄表示节点负载信息权重上限值，W₅表示节点任务数信息权重上限值；T₃表示节点网络延迟时间参数上限值，L表示节点负载参数上限值，M表示节点任务数参数上限值；t₃表示所述网络延迟时间，l表示所述节点负载信息、m表示所述节点任务数信息。

具体的，设置网络延迟时间、节点负载信息和节点任务数信息的权重上限值和参数上限值，以及获取的网络延迟时间、节点负载信息和节点任务数信息如下：

参数类型	权重上限值	参数上限值	返回参数值	计算所得权重
					网络延迟时间	W<sub>3</sub>＝60	T<sub>3</sub>＝1000	t<sub>3</sub>＝105	59.37
节点负载信息	W<sub>4</sub>＝20	L＝100	l＝15	17
					节点任务数信息	W<sub>5</sub>＝20	M＝1000	m＝500	10

计算得到节点权重值为：

w_node＝59.37+17+10＝86.37

在其中一个实施例中，还包括：根据任务权重值，对任务采集节点对应的运营商网络线路上的任务序列进行排序，利用运营商网络线路和数据接口构成的采集网络对任务权重高的采集任务优先进行数据采集。采用这种方式，可以实现数据量小，对应接口网络性能好的采集任务优先执行，提高多云数据采集的效率。

应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图3所示，提供了一种多云数据采集装置，包括：任务请求接收模块、任务权重值确定模块、节点权重值确定模块和数据采集模块，其中：

任务请求接收模块302，用于接收客户端发送的任务请求；

任务权重值确定模块304，用于根据请求响应时间、采集耗时经验值、故障频次和接口优先级，确定采集任务对应的任务权重值；

节点权重值确定模块306，用于根据节点网络状况信息以及采集节点采用所述运营商网络线路的任务执行状况信息，确定采集节点采用所述运营商网络线路对应的节点权重值；

数据采集模块308，用于根据所述节点权重值，从采集节点中确定任务采集节点和对应的运营商网络线路；根据任务权重值，对任务采集节点对应的运营商网络线路上的任务序列进行排序，利用运营商网络线路和所述数据接口构成的采集网络进行数据采集。

任务权重值确定模块304还用于根据云厂商信息和数据类型信息，确定云厂商服务器中与数据类型信息对应的数据接口；通过向数据接口发送探测包或任务请求，根据数据接口针对探测包或任务请求反馈的返回参数，得到请求相应时间、采集耗时经验值、故障频次和接口优先级。

任务权重值确定模块304还用于在采集任务完成之后，根据采集任务的执行情况，统计并分析采集任务的请求相应时间、采集耗时经验值和故障频次，对所述数据接口的请求相应时间、采集耗时经验值、故障频次进行更新。

任务权重值确定模块304还用于将请求响应时间、采集耗时经验值、故障频次和接口优先级加权求和得到任务权重值。

节点权重值确定模块306还用于通过向各个数据接口发送网络探测包，根据数据接口针对网络探测包反馈的返回的网络延迟时间，得到节点网络状况信息。

节点权重值确定模块306还用于将网络延迟时间、节点负载信息和节点任务数信息加权求和得到节点权重值。

数据采集模块308还用于根据任务权重值，对任务采集节点对应的运营商网络线路上的任务序列进行排序，利用运营商网络线路和数据接口构成的采集网络对任务权重高的采集任务优先进行数据采集。

关于多云数据采集装置的具体限定可以参见上文中对于多云数据采集方法的限定，在此不再赘述。上述多云数据采集装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种多云数据采集方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种多云数据采集方法，其特征在于，所述方法包括：

获取采集节点到所述数据接口的节点网络状况信息；所述采集节点对应多个网络线路，所述采集节点通过所述网络线路与所述数据接口连接，所述网络线路为运营商网络线路；

2.根据权利要求1所述的方法，其特征在于，根据所述云厂商信息和所述数据类型信息，分别获取所述数据类型信息对应的数据接口的请求响应时间、采集耗时经验值、故障频次和接口优先级，包括：

根据所述云厂商信息和所述数据类型信息，确定云厂商服务器中与数据类型信息对应的数据接口；

3.根据权利要求1所述的方法，其特征在于，根据所述任务权重值，对所述任务采集节点对应的运营商网络线路上的任务序列进行排序，利用所述运营商网络线路和所述数据接口构成的采集网络对所述采集任务进行数据采集之后，还包括：

根据采集任务的执行情况，统计并分析采集任务的请求相应时间、采集耗时经验值和故障频次，对所述数据接口的请求相应时间、采集耗时经验值、故障频次进行更新。

4.根据权利要求1所述的方法，其特征在于，根据所述请求响应时间、所述采集耗时经验值、所述故障频次和所述接口优先级，确定所述采集任务对应的任务权重值，包括：

获取预先设置的所述请求响应时间、所述采集耗时经验值、所述故障频次和所述接口优先级的参数上限值和权重上限值；

5.根据权利要求1所述的方法，其特征在于，所述获取采集节点到所述数据接口的节点网络状况信息，包括：

通过向各个数据接口发送网络探测包，根据数据接口针对所述网络探测包反馈的返回的网络延迟时间，得到所述节点网络状况信息。

6.根据权利要求5所述的方法，其特征在于，所述任务执行状况信息包括：节点负载信息和节点任务数信息；

所述根据节点网络状况信息以及所述采集节点采用所述运营商网络线路的任务执行状况信息，确定所述采集节点采用所述运营商网络线路对应的节点权重值，包括：

7.根据权利要求1所述的方法，其特征在于，根据所述任务权重值，对所述任务采集节点对应的运营商网络线路上的任务序列进行排序，利用所述运营商网络线路和所述数据接口构成的采集网络进行数据采集，包括：

根据所述任务权重值，对所述任务采集节点对应的运营商网络线路上的任务序列进行排序，利用所述运营商网络线路和所述数据接口构成的采集网络对任务权重高的采集任务优先进行数据采集。

8.一种多云数据采集装置，其特征在于，所述装置包括：

任务请求接收模块，用于接收客户端发送的任务请求；

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。