CN105282094A - 一种数据采集方法和系统 - Google Patents

一种数据采集方法和系统 Download PDF

Info

Publication number
CN105282094A
CN105282094A CN201410266960.2A CN201410266960A CN105282094A CN 105282094 A CN105282094 A CN 105282094A CN 201410266960 A CN201410266960 A CN 201410266960A CN 105282094 A CN105282094 A CN 105282094A
Authority
CN
China
Prior art keywords
acquisition terminal
address
acquisition
service end
father
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410266960.2A
Other languages
English (en)
Other versions
CN105282094B (zh
Inventor
韩雨
张国波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenzhou Taiyue Software Co Ltd
Original Assignee
Beijing Shenzhou Taiyue Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenzhou Taiyue Software Co Ltd filed Critical Beijing Shenzhou Taiyue Software Co Ltd
Priority to CN201410266960.2A priority Critical patent/CN105282094B/zh
Publication of CN105282094A publication Critical patent/CN105282094A/zh
Application granted granted Critical
Publication of CN105282094B publication Critical patent/CN105282094B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种数据采集方法和系统,涉及计算机网络通信技术领域。本发明实施例采集服务端获取采集网络中各采集终端基于HTTP协议的网络连通关系;当接收到采集任务,采集服务端根据所述采集任务的目标采集终端的网络连通关系,采用HTTP协议与目标采集终端进行数据交互,完成数据采集任务。可见,本发明实施例通过HTTP协议实现数据采集,从而避免了频繁配置MQ消息队列的繁琐及大量占用资源的问题,本发明实施例使得数据采集更加高效、便捷而且也节省了大量的网络资源。

Description

一种数据采集方法和系统
技术领域
本发明涉及计算机网络通信技术领域,特别涉及一种数据采集方法和系统。
背景技术
在网络运维管理中,用户需要了解不同服务器上的数据信息,如内存剩余容量、磁盘剩余大小等信息,因此,数据采集是网络运维管理系统中非常常见的一种操作需求。但是,现有数据采集方案中,采集服务端与各采集终端之间的消息传递是通过一个消息中间件来进行关联,如MQ消息队列,把MQ消息队列部署到中间网络的服务器上,该部署了MQ消息队列的中间网络服务器所在的网络,与采集服务段的网络和采集终端所在的网络是通的,多个网络需要部署多个MQ消息队列。
可见,现有数据采集方案中,应用程序和采集应用程序通信时,要借助MQ中间件来做消息中转,应用程序信息不直接交互,并且采集应用程序服务器分属于多个网络时,就需要部署多个MQ,占用的资源比较多,而且部署和配置MQ比较繁琐。
发明内容
鉴于上述问题,本发明实施例提供一种数据采集方法和系统,通过采用HTTP协议实现采集服务端与采集终端之间的消息传输,避免设置消息中间件带来的繁琐及资源浪费的问题。
本发明实施例采用了如下技术方案:
本发明一个实施例提供了一种数据采集方法,所述方法包括:
采集服务端获取采集网络中各采集终端基于HTTP协议的网络连通关系;
当接收到采集任务,采集服务端根据所述采集任务的目标采集终端的网络连通关系,采用HTTP协议与目标采集终端进行数据交互,完成数据采集任务。
所述采集服务端获取采集网络中各采集终端基于HTTP协议的网络连通关系包括:
采集终端利用PING命令PIN采集网络中的采集设备,将能PIN通的采集设备的IP地址标记为该采集终端的父IP地址;所述采集设备为采集服务端及其它采集终端;
采集终端将各自的父IP地址同步至采集服务端。
所述当接收到采集任务,采集服务端根据所述采集任务的目标采集终端的网络连通关系,采用HTTP协议与目标采集终端进行数据交互,完成数据采集任务包括:
当接收到采集任务,采集服务端解析所述采集任务,确定采集任务对应的目标采集终端;
在所述各采集终端基于HTTP协议的网络连通关系中查找目标采集终端的父IP地址;
判断目标采集终端的父IP地址中是否有采集服务端IP地址,若有,则采集服务端直接采用HTTP协议与目标采集终端进行数据交互,完成数据采集任务;
若目标采集终端的父IP地址中没有采集服务端IP地址,则查找目标采集终端父IP地址对应采集终端的父IP地址,在查找得到的父IP地址中判断是否有采集服务端IP地址,若有,则将包括采集服务端IP地址的采集终端作为采集代理端,采集服务端经所述采集代理端采用HTTP协议与目标采集终端进行数据交互,完成数据采集任务;
若目标采集终端父IP地址对应采集终端的父IP地址中不包括采集服务端IP地址,则继续查找采集终端上一级父IP地址,直至找到父IP地址中包括采集服务端IP地址的采集终端,根据各级采集设备间的连通关系,将目标采集终端和采集服务端之间的采集终端作为采集代理端,采集服务端经多级所述采集代理端采用HTTP协议与目标采集终端进行数据交互,完成数据采集任务。
所述方法还包括:
利用PING命令PIN采集代理端,判断采集代理端的当前连通状态;
选择当前处于连通状态的采集设备作为采集代理端。
若当前处于连通状态采集代理端为多个,所述方法还包括:
比较各采集代理端PIN通的时间,选取PIN通时间最短的采集终端作为优选采集代理端。
另外,本发明实施例还提供了一种数据采集系统,所述系统包括:
网络连通关系获取模块,用于采集服务端获取采集网络中各采集终端基于HTTP协议的网络连通关系;
HTTP采集模块,用于当接收到采集任务,采集服务端根据所述采集任务的目标采集终端的网络连通关系,采用HTTP协议与目标采集终端进行数据交互,完成数据采集任务。
所述网络连通关系获取模块包括:
父IP获取单元,用于采集终端利用PING命令PIN采集网络中的采集设备,将能PIN通的采集设备的IP地址标记为该采集终端的父IP地址;所述采集设备为采集服务端及其它采集终端;
同步单元,用于采集终端将各自的父IP地址同步至采集服务端。
所述HTTP采集模块包括:
目标采集终端确定单元,用于当接收到采集任务,采集服务端解析所述采集任务,确定采集任务对应的目标采集终端;
目标采集终端父IP查找单元,用于在所述各采集终端基于HTTP协议的网络连通关系中查找目标采集终端的父IP地址;
采集路径第一判断单元,用于判断目标采集终端的父IP地址中是否有采集服务端IP地址,若有,则采集服务端直接采用HTTP协议与目标采集终端进行数据交互,完成数据采集任务;
采集路径第二判断单元,用于若目标采集终端的父IP地址中没有采集服务端IP地址,则查找目标采集终端父IP地址对应采集终端的父IP地址,在查找得到的父IP地址中判断是否有采集服务端IP地址,若有,则将包括采集服务端IP地址的采集终端作为采集代理端,采集服务端经所述采集代理端采用HTTP协议与目标采集终端进行数据交互,完成数据采集任务;
采集路径第三判断单元,用于若目标采集终端父IP地址对应采集终端的父IP地址中不包括采集服务端IP地址,则继续查找采集终端上一级父IP地址,直至找到父IP地址中包括采集服务端IP地址的采集终端,根据各级采集设备间的连通关系,将目标采集终端和采集服务端之间的采集终端作为采集代理端,采集服务端经多级所述采集代理端采用HTTP协议与目标采集终端进行数据交互,完成数据采集任务。
所述系统还包括:
当前连通状态确定模块,用于利用PING命令PIN采集代理端,判断采集代理端的当前连通状态;
选择模块,用于选择当前处于连通状态的采集设备作为采集代理端。
所述系统还包括:
优选模块,用于若当前处于连通状态采集代理端为多个,比较各采集代理端PIN通的时间,选取PIN通时间最短的采集终端作为优选采集代理端。
本发明实施例提供的一种数据采集方法和系统,采集服务端获取采集网络中各采集终端基于HTTP协议的网络连通关系;当接收到采集任务,采集服务端根据所述采集任务的目标采集终端的网络连通关系,采用HTTP协议与目标采集终端进行数据交互,完成数据采集任务。可见,本发明实施例通过HTTP协议实现数据采集,从而避免了频繁配置MQ消息队列的繁琐及大量占用资源的问题,本发明实施例使得数据采集更加高效、便捷而且也节省了大量的网络资源。
附图说明
图1为本发明实施例提供的一种数据采集方法流程图;
图2为本发明实施例中一种采集网络示意图;
图3本发明实施例提供的一种数据采集系统框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
参见图1,本发明实施例提供一种数据采集的方法,包括如下步骤:
S101:采集服务端获取采集网络中各采集终端基于HTTP协议的网络连通关系。
优选的,所述采集服务端获取采集网络中各采集终端基于HTTP协议的网络连通关系包括:
采集终端利用PING命令PIN采集网络中的采集设备,将能PIN通的采集设备的IP地址标记为该采集终端的父IP地址;所述采集设备为采集服务端及其它采集终端;
采集终端将各自的父IP地址同步至采集服务端。
优选的,可以在采集终端加入采集网络的时候,做PING的操作,并将PING通的IP作为父IP,同步至采集终端。
举例说明,参见图2,采集终端B在加入采集网络时,去PING采集网络中的各采集设备(包括采集服务端和其它采集设备),PING通采集服务端A,则将采集服务端A的IP地址作为采集终端B的父IP,同步至采集服务端。同理,采集终端C在加入采集网络时,去PING采集网络中的各采集设备,PING通采集服务端A,则将采集服务端A的IP地址作为采集终端C的父IP,同步至采集服务端。采集终端D在加入采集网络时,去PING采集网络中的各采集设备,PING通采集服务端A,则将采集服务端A的IP地址作为采集终端D的父IP,同步至采集服务端。
采集终端F在加入采集网络时,去PING采集网络中的各采集设备,PING通采集终端D,则将采集终端D的IP地址作为采集终端F的父IP,同步至采集服务端A。
采集终端E在加入采集网络时,去PING采集网络中的各采集设备,PING通采集终端B、C、F,则将采集终端B、C、F的IP地址作为采集终端E的父IP,同步至采集服务端。
也就是说,采集服务端A获取到采集网络中各采集终端基于HTTP协议的网络连通关系如表1所示。
表1
S102:当接收到采集任务,采集服务端根据所述采集任务的目标采集终端的网络连通关系,采用HTTP协议与目标采集终端进行数据交互,完成数据采集任务。
作为优选的,所述当接收到采集任务,采集服务端根据所述采集任务的目标采集终端的网络连通关系,采用HTTP协议与目标采集终端进行数据交互,完成数据采集任务一种优选实施方式可以是:
当接收到采集任务,采集服务端解析所述采集任务,确定采集任务对应的目标采集终端;
在所述各采集终端基于HTTP协议的网络连通关系中查找目标采集终端的父IP地址;
判断目标采集终端的父IP地址中是否有采集服务端IP地址,若有,则采集服务端直接采用HTTP协议与目标采集终端进行数据交互,完成数据采集任务;
若目标采集终端的父IP地址中没有采集服务端IP地址,则查找目标采集终端父IP地址对应采集终端的父IP地址,在查找得到的父IP地址中判断是否有采集服务端IP地址,若有,则将包括采集服务端IP地址的采集终端作为采集代理端,采集服务端经所述采集代理端采用HTTP协议与目标采集终端进行数据交互,完成数据采集任务;
若目标采集终端父IP地址对应采集终端的父IP地址中不包括采集服务端IP地址,则继续查找采集终端上一级父IP地址,直至找到父IP地址中包括采集服务端IP地址的采集终端,根据各级采集设备间的连通关系,将目标采集终端和采集服务端之间的采集终端作为采集代理端,采集服务端经多级所述采集代理端采用HTTP协议与目标采集终端进行数据交互,完成数据采集任务。
需要说明的是,为了进一步提高数据采集的效率,本发明实施例还包括采集服务端对采集任务进行任务分解,将其分解为多个子任务,根据具体情况进行分布式执行。
另外还需要说明的是,采集任务可能包括对多个采集终端上数据进行采集,也就是说,并非一个采集任务仅对一个采集终端进行数据采集。针对本发明实施例所提供的数据采集方法,无论采集任务是针对一个采集终端或针对多个采集终端,一样适用,原理相同,不再一一赘述。
沿用上例,参见图2,假设采集任务为需要从采集终端B上进行数据采集。
在基于HTTP协议的网络连通关系中查找采集终端B的父IP,为采集服务端A的IP地址,则采集服务端直接采用HTTP协议与目标采集终端进行数据交互,完成数据采集任务。
假设采集任务为需要从采集终端F上进行数据采集。
在基于HTTP协议的网络连通关系中查找采集终端F的父IP,为采集终端D的IP地址,则继续查找采集终端D的父IP地址,为采集服务端A的IP地址,则将采集终端D作为采集代理端,采集服务端A经采集代理端(即采集终端D)采用HTTP协议与目标采集终端F进行数据交互,完成数据采集任务。
假设采集任务为需要从采集终端E上进行数据采集。
在基于HTTP协议的网络连通关系中查找采集终端E的父IP,为采集终端B、C和F的IP地址,则继续查找采集终端B、C和F的父IP地址,分别为采集服务端A、采集服务端A和采集终端D的IP地址,则将采集终端B或C作为采集代理端,采集服务端A经采集代理端(即采集终端B或C)采用HTTP协议与目标采集终端E进行数据交互,完成数据采集任务。
需要说明的是,当有多种方案的时候,优选经历的采集代理级数最少的路径进行数据采集,比如上例中,优选将采集终端B或C作为采集代理的数据采集路径,而不采用将采集终端F和D两级代理的方案。
作为优选的,所述方法还包括:
利用PING命令PIN采集代理端,判断该多个采集代理端的当前连通状态;
将当前处于不连通状态的采集设备在多个采集代理端中删除。
为了避免数据采集失败,考虑到各采集终端基于HTTP协议的网络连通关系是在最初获取的,若在某个数据采集的时候,某个采集终端发生故障或退出采集网络,若经本发明实施例提供的方案确定的数据采集路径中正好包括了该发生故障或退出的采集终端,则会导致数据采集失败,则优选的,本发明实施例在查找确定采集路径的过程中,利用PING命令PING采集代理端,选择当前处于连通状态的采集设备作为采集代理端,避免出现采集失败的问题。
进一步的,若当前处于连通状态采集代理端为多个,所述方法还包括:
比较各采集代理端PIN通的时间,选取PIN通时间最短的采集终端作为优选采集代理端。
也就是说,在有多个备选项的时候,优先选取速度最快的采集设备作为采集代理端。
HTTP(HTTP-Hypertexttransferprotocol)超文本传输协议是一种详细规定了浏览器和万维网服务器之间互相通信的规则,通过因特网传送万维网文档的数据传送协议。
需要说明的是,http协议虽然使用最广泛,通常服务器几乎默认都会开通,而且http协议通信业不需要使用消息中间件(如MQ消息队列等),但是为了安全起见,在实际应用中,通常,服务器一般不会允许陌生IP地址通过http协议随意访问,这也是为什么虽然基本上大部分服务器通常都默认开通了http协议,但是现有技术在实现中需要为每个数据采集通道配置消息中间件(如MQ消息队列等),以保证访问的安全性。
MQ消息队列是一种应用程序对应用程序的通信方法。
而本发明实施例中,首先采集服务端获取采集网络中各采集终端基于HTTP协议的网络连通关系,也就是说,先获取采集网络中已经是互为信任IP的采集设备间基于http协议的网络连通关系,再利用存在的基于http协议的网络连通关系,采集服务端直接或通过作为中间级的采集终端(即采集代理端)利用http协议进行数据交互,实现数据采集任务。可见,本发明实施例通过HTTP协议实现数据采集,从而避免了频繁配置MQ消息队列的繁琐及大量占用资源的问题,本发明实施例使得数据采集更加高效、便捷而且也节省了大量的网络资源。
以下以一个简单的采集网络为例介绍下本发明实施例所述的数据采集方法。
在采集服务端设置采集Server服务,在各采集终端设置采集应用服务。若采集服务器和采集终端1能够PING通时,两者可以通过HTTP协议即时通信。若采集服务器和采集终端2不能PING通,但采集终端2和采集终端1可以PING通,则可以利用采集终端1做跳板也就是代理,通过消息传递来实现采集Server服务程序和采集应用服务的通信。
采集Server服务程序通过代理获取采集终端2采集应用服务的采集数据的步骤如下:
1.首先要把各个采集终端的网络联通性数据信息保存到采集服务端的数据库中。
2.采集Server服务程序调用向采集终端2的采集应用服务发送指令的方法,向采集终端2的采集应用服务发送数据采集指令。
3.采集Server服务程序从数据库查找到采集终端1和采集终端2连通,采集终端1又和采集服务端连通。
4.则将采集终端1作为代理,采集服务端的采集Server服务程序向采集终端1的采集应用程序的发送代理指令,并向采集终端2的采集应用服务程序传入采集指令相关参数。
5.采集终端1的采集应用程序执行代理指令,通过查找参数查找到代理的是采集终端2的采集应用服务程序的采集指令,然后向采集终端2的采集应用服务程序发送采集指令。
6.采集终端2的采集应用服务程序执行采集指令得到采集结果消息,并将采集结果消息返回给采集终端1的采集应用程序。
7.采集终端1的采集应用程序将获取到的采集结果消息返回给采集服务端的采集Server服务程序。
参见图3,本发明实施例提供一种数据采集系统,所述系统包括:
网络连通关系获取模块301,用于采集服务端获取采集网络中各采集终端基于HTTP协议的网络连通关系。
和,HTTP采集模块302,用于当接收到采集任务,采集服务端根据所述采集任务的目标采集终端的网络连通关系,采用HTTP协议与目标采集终端进行数据交互,完成数据采集任务。
作为一种优选的方案,所述网络连通关系获取模块包括:
父IP获取单元,用于采集终端利用PING命令PIN采集网络中的采集设备,将能PIN通的采集设备的IP地址标记为该采集终端的父IP地址;所述采集设备为采集服务端及其它采集终端;
同步单元,用于采集终端将各自的父IP地址同步至采集服务端。
优选的,所述HTTP采集模块包括:
目标采集终端确定单元,用于当接收到采集任务,采集服务端解析所述采集任务,确定采集任务对应的目标采集终端;
目标采集终端父IP查找单元,用于在所述各采集终端基于HTTP协议的网络连通关系中查找目标采集终端的父IP地址;
采集路径第一判断单元,用于判断目标采集终端的父IP地址中是否有采集服务端IP地址,若有,则采集服务端直接采用HTTP协议与目标采集终端进行数据交互,完成数据采集任务;
采集路径第二判断单元,用于若目标采集终端的父IP地址中没有采集服务端IP地址,则查找目标采集终端父IP地址对应采集终端的父IP地址,在查找得到的父IP地址中判断是否有采集服务端IP地址,若有,则将包括采集服务端IP地址的采集终端作为采集代理端,采集服务端经所述采集代理端采用HTTP协议与目标采集终端进行数据交互,完成数据采集任务;
采集路径第三判断单元,用于若目标采集终端父IP地址对应采集终端的父IP地址中不包括采集服务端IP地址,则继续查找采集终端上一级父IP地址,直至找到父IP地址中包括采集服务端IP地址的采集终端,根据各级采集设备间的连通关系,将目标采集终端和采集服务端之间的采集终端作为采集代理端,采集服务端经多级所述采集代理端采用HTTP协议与目标采集终端进行数据交互,完成数据采集任务。
进一步的,所述系统还包括:
当前连通状态确定模块,用于利用PING命令PIN采集代理端,判断采集代理端的当前连通状态;
选择模块,用于选择当前处于连通状态的采集设备作为采集代理端。
优选的,所述系统还包括:
优选模块,用于若当前处于连通状态采集代理端为多个,比较各采集代理端PIN通的时间,选取PIN通时间最短的采集终端作为优选采集代理端。
需要说明的是,本发明系统实施例中的各个模块或者单元的工作原理和处理过程可以参见上述图1-图2所示方法实施例中的相关描述,此处不再赘述。
本发明实施例中,首先网络连通关系获取模块采集服务端获取采集网络中各采集终端基于HTTP协议的网络连通关系,也就是说,先获取采集网络中已经是互为信任IP的采集设备间基于http协议的网络连通关系,HTTP采集模块再利用存在的基于http协议的网络连通关系,采集服务端直接或通过作为中间级的采集终端(即采集代理端)利用http协议进行数据交互,实现数据采集任务。可见,本发明实施例通过HTTP协议实现数据采集,从而避免了频繁配置MQ消息队列的繁琐及大量占用资源的问题,本发明实施例使得数据采集更加高效、便捷而且也节省了大量的网络资源。
为了便于清楚描述本发明实施例的技术方案,在发明的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分,本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。
本领域普通技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,包括如下步骤:(方法的步骤),所述的存储介质,如:ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (10)

1.一种数据采集方法,其特征在于,所述方法包括:
采集服务端获取采集网络中各采集终端基于HTTP协议的网络连通关系;
当接收到采集任务,采集服务端根据所述采集任务的目标采集终端的网络连通关系,采用HTTP协议与目标采集终端进行数据交互,完成数据采集任务。
2.根据权利要求1所述的数据采集方法,其特征在于,所述采集服务端获取采集网络中各采集终端基于HTTP协议的网络连通关系包括:
采集终端利用PING命令PIN采集网络中的采集设备,将能PIN通的采集设备的IP地址标记为该采集终端的父IP地址;所述采集设备为采集服务端及其它采集终端;
采集终端将各自的父IP地址同步至采集服务端。
3.根据权利要求2所述的数据采集方法,其特征在于,所述当接收到采集任务,采集服务端根据所述采集任务的目标采集终端的网络连通关系,采用HTTP协议与目标采集终端进行数据交互,完成数据采集任务包括:
当接收到采集任务,采集服务端解析所述采集任务,确定采集任务对应的目标采集终端;
在所述各采集终端基于HTTP协议的网络连通关系中查找目标采集终端的父IP地址;
判断目标采集终端的父IP地址中是否有采集服务端IP地址,若有,则采集服务端直接采用HTTP协议与目标采集终端进行数据交互,完成数据采集任务;
若目标采集终端的父IP地址中没有采集服务端IP地址,则查找目标采集终端父IP地址对应采集终端的父IP地址,在查找得到的父IP地址中判断是否有采集服务端IP地址,若有,则将包括采集服务端IP地址的采集终端作为采集代理端,采集服务端经所述采集代理端采用HTTP协议与目标采集终端进行数据交互,完成数据采集任务;
若目标采集终端父IP地址对应采集终端的父IP地址中不包括采集服务端IP地址,则继续查找采集终端上一级父IP地址,直至找到父IP地址中包括采集服务端IP地址的采集终端,根据各级采集设备间的连通关系,将目标采集终端和采集服务端之间的采集终端作为采集代理端,采集服务端经多级所述采集代理端采用HTTP协议与目标采集终端进行数据交互,完成数据采集任务。
4.根据权利要求3所述的数据采集方法,其特征在于,所述方法还包括:
利用PING命令PIN采集代理端,判断采集代理端的当前连通状态;
选择当前处于连通状态的采集设备作为采集代理端。
5.根据权利要求4所述的数据采集方法,其特征在于,若当前处于连通状态采集代理端为多个,所述方法还包括:
比较各采集代理端PIN通的时间,选取PIN通时间最短的采集终端作为优选采集代理端。
6.一种数据采集系统,其特征在于,所述系统包括:
网络连通关系获取模块,用于采集服务端获取采集网络中各采集终端基于HTTP协议的网络连通关系;
HTTP采集模块,用于当接收到采集任务,采集服务端根据所述采集任务的目标采集终端的网络连通关系,采用HTTP协议与目标采集终端进行数据交互,完成数据采集任务。
7.根据权利要求6所述的数据采集系统,其特征在于,所述网络连通关系获取模块包括:
父IP获取单元,用于采集终端利用PING命令PIN采集网络中的采集设备,将能PIN通的采集设备的IP地址标记为该采集终端的父IP地址;所述采集设备为采集服务端及其它采集终端;
同步单元,用于采集终端将各自的父IP地址同步至采集服务端。
8.根据权利要求7所述的数据采集系统,其特征在于,所述HTTP采集模块包括:
目标采集终端确定单元,用于当接收到采集任务,采集服务端解析所述采集任务,确定采集任务对应的目标采集终端;
目标采集终端父IP查找单元,用于在所述各采集终端基于HTTP协议的网络连通关系中查找目标采集终端的父IP地址;
采集路径第一判断单元,用于判断目标采集终端的父IP地址中是否有采集服务端IP地址,若有,则采集服务端直接采用HTTP协议与目标采集终端进行数据交互,完成数据采集任务;
采集路径第二判断单元,用于若目标采集终端的父IP地址中没有采集服务端IP地址,则查找目标采集终端父IP地址对应采集终端的父IP地址,在查找得到的父IP地址中判断是否有采集服务端IP地址,若有,则将包括采集服务端IP地址的采集终端作为采集代理端,采集服务端经所述采集代理端采用HTTP协议与目标采集终端进行数据交互,完成数据采集任务;
采集路径第三判断单元,用于若目标采集终端父IP地址对应采集终端的父IP地址中不包括采集服务端IP地址,则继续查找采集终端上一级父IP地址,直至找到父IP地址中包括采集服务端IP地址的采集终端,根据各级采集设备间的连通关系,将目标采集终端和采集服务端之间的采集终端作为采集代理端,采集服务端经多级所述采集代理端采用HTTP协议与目标采集终端进行数据交互,完成数据采集任务。
9.根据权利要求8所述的数据采集系统,其特征在于,所述系统还包括:
当前连通状态确定模块,用于利用PING命令PIN采集代理端,判断采集代理端的当前连通状态;
选择模块,用于选择当前处于连通状态的采集设备作为采集代理端。
10.根据权利要求9所述的数据采集系统,其特征在于,所述系统还包括:
优选模块,用于若当前处于连通状态采集代理端为多个,比较各采集代理端PIN通的时间,选取PIN通时间最短的采集终端作为优选采集代理端。
CN201410266960.2A 2014-06-16 2014-06-16 一种数据采集方法和系统 Active CN105282094B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410266960.2A CN105282094B (zh) 2014-06-16 2014-06-16 一种数据采集方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410266960.2A CN105282094B (zh) 2014-06-16 2014-06-16 一种数据采集方法和系统

Publications (2)

Publication Number Publication Date
CN105282094A true CN105282094A (zh) 2016-01-27
CN105282094B CN105282094B (zh) 2018-05-08

Family

ID=55150434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410266960.2A Active CN105282094B (zh) 2014-06-16 2014-06-16 一种数据采集方法和系统

Country Status (1)

Country Link
CN (1) CN105282094B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108111589A (zh) * 2017-12-15 2018-06-01 广东工业大学 数据采集方法、装置、设备及计算机可读存储介质
CN108133062A (zh) * 2018-02-02 2018-06-08 北京火花日志科技有限公司 一种数据处理系统
CN108763040A (zh) * 2018-04-25 2018-11-06 郑州易通众联电子科技有限公司 数据采集方法及数据采集装置
CN109951376A (zh) * 2019-02-28 2019-06-28 北京蒂斯科技有限公司 一种即时通讯软件信息采集方法、装置、系统及存储介质
CN110209723A (zh) * 2019-06-06 2019-09-06 广州商学院 一种基于物联网大数据的设备信息采集系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101056220A (zh) * 2007-05-29 2007-10-17 中国移动通信集团江苏有限公司 无网管接口的数据业务系统的集中监控方法
US20080244319A1 (en) * 2004-03-29 2008-10-02 Smadar Nehab Method and Apparatus For Detecting Performance, Availability and Content Deviations in Enterprise Software Applications
CN102546251A (zh) * 2011-12-31 2012-07-04 清华大学 基于混合探测技术的网络拓扑发现和自动布局方法及系统
CN103220188A (zh) * 2013-04-11 2013-07-24 江苏中科惠软信息技术有限公司 一种http数据采集设备
CN103280090A (zh) * 2013-06-21 2013-09-04 国家电网公司 一种移动采集控制系统及其控制方法
CN103533626A (zh) * 2013-10-25 2014-01-22 成都思晗科技有限公司 基于级联跳转无线通信网络的休眠唤醒方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080244319A1 (en) * 2004-03-29 2008-10-02 Smadar Nehab Method and Apparatus For Detecting Performance, Availability and Content Deviations in Enterprise Software Applications
CN101056220A (zh) * 2007-05-29 2007-10-17 中国移动通信集团江苏有限公司 无网管接口的数据业务系统的集中监控方法
CN102546251A (zh) * 2011-12-31 2012-07-04 清华大学 基于混合探测技术的网络拓扑发现和自动布局方法及系统
CN103220188A (zh) * 2013-04-11 2013-07-24 江苏中科惠软信息技术有限公司 一种http数据采集设备
CN103280090A (zh) * 2013-06-21 2013-09-04 国家电网公司 一种移动采集控制系统及其控制方法
CN103533626A (zh) * 2013-10-25 2014-01-22 成都思晗科技有限公司 基于级联跳转无线通信网络的休眠唤醒方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108111589A (zh) * 2017-12-15 2018-06-01 广东工业大学 数据采集方法、装置、设备及计算机可读存储介质
CN108133062A (zh) * 2018-02-02 2018-06-08 北京火花日志科技有限公司 一种数据处理系统
CN108763040A (zh) * 2018-04-25 2018-11-06 郑州易通众联电子科技有限公司 数据采集方法及数据采集装置
CN108763040B (zh) * 2018-04-25 2021-07-16 郑州易通众联电子科技有限公司 数据采集方法及数据采集装置
CN109951376A (zh) * 2019-02-28 2019-06-28 北京蒂斯科技有限公司 一种即时通讯软件信息采集方法、装置、系统及存储介质
CN110209723A (zh) * 2019-06-06 2019-09-06 广州商学院 一种基于物联网大数据的设备信息采集系统

Also Published As

Publication number Publication date
CN105282094B (zh) 2018-05-08

Similar Documents

Publication Publication Date Title
Zheng et al. Distributed QoS evaluation for real-world web services
US20150271202A1 (en) Method, device, and system for detecting link layer hijacking, user equipment, and analyzing server
CN111046011B (zh) 日志收集方法、系统、装置、电子设备及可读存储介质
CN105282094A (zh) 一种数据采集方法和系统
CN102332071B (zh) 发现疑似恶意信息、追踪恶意文件的方法及装置
CN104993953A (zh) 检测网络服务状态的方法和装置
CN107181779B (zh) 访问请求的处理方法、装置和系统
CN103248625A (zh) 一种网络爬虫运行异常监控方法和系统
CN105515900A (zh) 一种获取终端在线状态的方法及装置
CN107347062A (zh) 一种日志数据处理的方法、电子设备和可读存储介质
CN105743730A (zh) 为移动终端的网页服务提供实时监控的方法及其系统
CN105306300A (zh) 网络集群实时监控方法和系统
CN103455600A (zh) 一种视频url抓取方法、装置及服务器设备
US20110145339A1 (en) Reclaiming lost internet customers
CN113364852B (zh) 文件的传输方法、装置和服务器
CN114465741B (zh) 一种异常检测方法、装置、计算机设备及存储介质
CN108073693A (zh) 一种基于Hadoop的分布式网络爬虫系统
US9641595B2 (en) System management apparatus, system management method, and storage medium
CN116055524A (zh) 用于互联网平台与物联网设备的交互方法、处理器及装置
CN111368227A (zh) 一种url处理方法以及装置
CN110347955B (zh) 一种资源检测方法及装置
CN103532737A (zh) 一种处理多种类型告警的方法、装置及系统
CN115729727A (zh) 故障修复方法、装置、设备及介质
CN116150513A (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN108255868B (zh) 检查网站中链接的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: Room 818, 8 / F, 34 Haidian Street, Haidian District, Beijing 100080

Patentee after: BEIJING ULTRAPOWER SOFTWARE Co.,Ltd.

Address before: 100089 Beijing city Haidian District wanquanzhuang Road No. 28 Wanliu new building 6 storey block A Room 601

Patentee before: BEIJING ULTRAPOWER SOFTWARE Co.,Ltd.