CN106534259B - 基于Docker的Web数据采集方法、Web服务器及Web数据采集系统 - Google Patents

基于Docker的Web数据采集方法、Web服务器及Web数据采集系统 Download PDF

Info

Publication number
CN106534259B
CN106534259B CN201610872814.3A CN201610872814A CN106534259B CN 106534259 B CN106534259 B CN 106534259B CN 201610872814 A CN201610872814 A CN 201610872814A CN 106534259 B CN106534259 B CN 106534259B
Authority
CN
China
Prior art keywords
data
node
data acquisition
web
collection task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610872814.3A
Other languages
English (en)
Other versions
CN106534259A (zh
Inventor
边俊峰
钱进
闵新平
郭伟
崔立真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201610872814.3A priority Critical patent/CN106534259B/zh
Publication of CN106534259A publication Critical patent/CN106534259A/zh
Application granted granted Critical
Publication of CN106534259B publication Critical patent/CN106534259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network-specific arrangements or communication protocols supporting networked applications
    • H04L67/10Network-specific arrangements or communication protocols supporting networked applications in which an application is distributed across nodes in the network
    • H04L67/1002Network-specific arrangements or communication protocols supporting networked applications in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers, e.g. load balancing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance or administration or management of packet switching networks
    • H04L41/06Arrangements for maintenance or administration or management of packet switching networks involving management of faults or events or alarms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network-specific arrangements or communication protocols supporting networked applications
    • H04L67/10Network-specific arrangements or communication protocols supporting networked applications in which an application is distributed across nodes in the network
    • H04L67/1002Network-specific arrangements or communication protocols supporting networked applications in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers, e.g. load balancing
    • H04L67/1031Controlling of the operation of servers by a load balancer, e.g. adding or removing servers that serve requests

Abstract

本发明公开了一种基于Docker的Web数据采集方法、Web服务器及Web数据采集系统,其中Web数据采集方法在Web服务器内完成,包括基于Docker创建镜像容器,由镜像容器构建出一个数据采集主节点和若干个数据采集工作节点;所述数据采集主节点与数据采集工作节点相互通信;数据采集主节点接收Web数据采集任务,并根据Web数据采集任务中URL的数量来启动预设数量的数据采集工作节点;Web数据采集任务包括数据源IP地址和URL;数据采集工作节点启动后,数据采集主节点将数据源IP地址和URL分配给各数据采集工作节点,由数据采集工作节点采集相应的Web数据;数据采集主节点接收各数据采集工作节点传送来的数据,并回收所有数据采集工作节点,完成Web数据的采集。

Description

基于Docker的Web数据采集方法、Web服务器及Web数据采集 系统
技术领域
本发明属于互联网Web数据处理领域,尤其涉及一种基于Docker的Web数据采集方法、Web服务器及Web数据采集系统。
背景技术
网络技术的迅猛发展,使得互联网已经成为主要信息的载体,充分、有效地提取这些信息是当今互联网信息收集工作的重点、难点。数据采集技术应运而生,该技术能够集中解决从数据源中提取关键信息的问题。目前,国内外的大型互联网公司、相关研究机构已经给出了一些较为成熟的解决方案,有些也己投入使用,但是这些方案大都是通过建立一台主节点、部署数量固定的工作节点来实现,在资源利用方面及其不稳定。
如我们所知,在传统实践中大规模服务器架构的方式中,当需要采集数量较少的数据源时,已经部署的工作节点只能有一部分任务,另外一部分保持空闲,导致资源浪费;而当需要采集数量较多时,已经部署的工作节点不足以满足采集任务的需求,那么采取增加部署工作节点或者待其他工作节点任务完成后再分配其他任务的方式解决,这样严重影响Web数据采集系统的健壮性和稳定性。
超轻量虚拟机Docker(以下简称Docker)可以把应用实例及其依赖环境打包到一个可移植容器中,根据需求自由创建镜像并发布到任何流行的Linux机器上,并且Docker可以创建大量的镜像容器,完全可以替代数据采集过程中的工作节点。
因此,借助Docker平台,将Web数据采集系统架构在Docker之上,转变传统实践中大规模服务器架构的方式,提高数据采集的规范化程度,提高Web数据采集系统的健壮性和普适性,实现Web数据采集系统的可扩展性,对于系统可扩展性、为设备减耗提供便利成为本领域一个急需解决的问题。
发明内容
为了解决现有技术的缺点,本发明提供一种基于Docker的Web数据采集方法、Web服务器及Web数据采集系统。本发明可有效解决现有技术中存在的Web数据采集系统可扩展性不理想的问题。
为实现上述目的,本发明采用以下技术方案:
一种基于Docker的Web数据采集方法,该方法在Web服务器内完成,具体包括以下步骤:
基于Docker创建镜像容器,由镜像容器构建出一个数据采集主节点和若干个数据采集工作节点;所述数据采集主节点与数据采集工作节点相互通信;
数据采集主节点接收Web数据采集任务,并根据Web数据采集任务中URL的数量来启动预设数量的数据采集工作节点;Web数据采集任务包括数据源IP地址和URL;
数据采集工作节点启动后,数据采集主节点将数据源IP地址和URL分配给各数据采集工作节点,由数据采集工作节点采集相应的Web数据;
数据采集主节点接收各数据采集工作节点传送来的数据,并回收所有数据采集工作节点,完成Web数据的采集。
本发明通过借助超轻量虚拟机Docker平台,将传统Web数据采集系统架构在Docker平台之上,根据任务量大小,创建启动多种搭配方式数量的数据采集工作节点,转变传统大规模服务器架构方式,实现Web数据采集系统可扩展性,提高数据采集工作节点的健壮性和普适性。
数据采集主节点还接收URL预先制定的规则,并将接收的URL预先制定的规则分配给各数据采集工作节点。
当数据采集工作节点被分配于URL后,将针对该URL所提前制定的规则传递给该数据采集工作节点,以用于更好、更方便的进行数据采集。
数据采集主节点通过分布式消息中间件将URL预先制定的规则分配给各数据采集工作节点。
数据采集主节点通过分布式消息中间件将数据源IP地址和URL分配给各数据采集工作节点。
分布式消息中间件的优势是:发送方、接收方系统之间不需要了解双方,只需认识消息;而且数据采集主节点可以同时发送各数据采集工作节点相对应的数据源IP地址和URL,节省了任务分配时间,从而达到了加快Web数据采集的速度的目的。
该方法还包括:数据采集工作节点完成Web数据采集后,通过分布式消息中间件告知数据采集主节点已处于空闲状态并向数据采集主节点请求新的URL。
该方法还包括:数据采集主节点实时检测数据源IP地址访问异常数据;当数据采集主节点检测到数据源IP地址访问异常数据时,数据采集主节点向数据源IP地址所对应的数据采集工作节点发送结束采集命令。本发明能够更高效实现web数据采集的Web服务器的可扩展性,并通过加强对整个数据采集过程中的监控管理,实现整个数据采集过程稳定进行。
一种基于Docker的Web数据采集的Web服务器,包括数据采集节点构建模块,其用于基于Docker创建镜像容器,由镜像容器构建出一个数据采集主节点和若干个数据采集工作节点;所述数据采集主节点与数据采集工作节点相互通信;
其中,数据采集主节点,其用于接收Web数据采集任务,并根据Web数据采集任务中URL的数量来启动预设数量的数据采集工作节点;Web数据采集任务包括数据源IP地址和URL;
数据采集工作节点启动后,数据采集主节点用于将数据源IP地址和URL分配给各数据采集工作节点,由数据采集工作节点采集相应的Web数据;
数据采集主节点还用于接收各数据采集工作节点传送来的数据,并回收所有数据采集工作节点,完成Web数据的采集。
所述Web服务器还包括异常监控模块,其用于监控数据采集主节点及工作状态下的数据采集工作节点的运行状态,当数据采集主节点或工作状态下的数据采集工作节点出现异常状态时,输出异常报警信号至客户端。
一种基于Docker的Web数据采集系统,包括所述的Web服务器;
Web数据采集任务发送端,其用于将Web数据采集任务发送至数据采集主节点。
所述基于Docker的Web数据采集系统还包括客户端,其用于接收Web服务器输出的异常报警信号。
本发明的有益效果为:
(1)本发明通过借助超轻量虚拟机Docker平台,基于Docker创建镜像容器,由镜像容器构建出一个数据采集主节点和若干个数据采集工作节点,将传统Web数据采集系统架构在Docker平台之上;根据任务量大小,创建启动多种搭配方式数量的数据采集工作节点,转变传统大规模服务器架构方式,实现Web数据采集系统可扩展性,提高数据采集工作节点的健壮性和普适性;
(2)本发明在借助超轻量虚拟机Docker平台过程中,本发明还针对运行过程中数据采集主节点及数据采集工作节点运行异常、数据采集工作节点受到反采集限制问题进行监控管理,确保整个数据采集过程稳定进行。
附图说明
图1是本发明的基于Docker的Web数据采集方法的实施例一流程图;
图2是本发明的基于Docker的Web数据采集方法的实施例二流程图;
图3是本发明的基于Docker的Web数据采集的Web服务器的结构示意图;
图4是本发明的基于Docker的Web数据采集系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。本发明的Docker是一种轻量级虚拟机。
图1是本发明的基于Docker的Web数据采集方法的实施例一流程图,该方法在Web服务器内完成,如图1所示,具体包括以下步骤:
步骤1:基于Docker创建镜像容器,由镜像容器构建出一个数据采集主节点和若干个数据采集工作节点;所述数据采集主节点与数据采集工作节点相互通信。
步骤2:数据采集主节点接收Web数据采集任务,并根据Web数据采集任务中URL的数量来启动预设数量的数据采集工作节点;Web数据采集任务包括数据源IP地址和URL。
在该步骤中,数据采集主节点还接收URL预先制定的规则,并将接收的URL预先制定的规则分配给各数据采集工作节点。
其中,数据采集主节点通过分布式消息中间件将URL预先制定的规则分配给各数据采集工作节点。
当数据采集工作节点被分配于URL后,将针对该URL所提前制定的规则传递给该数据采集工作节点,以用于更好、更方便的进行数据采集。
数据采集主节点通过分布式消息中间件将数据源IP地址和URL分配给各数据采集工作节点。
分布式消息中间件的优势是:发送方、接收方系统之间不需要了解双方,只需认识消息;而且数据采集主节点可以同时发送各数据采集工作节点相对应的数据源IP地址和URL,节省了任务分配时间,从而达到了加快Web数据采集的速度的目的。
步骤3:数据采集工作节点启动后,数据采集主节点将数据源IP地址和URL分配给各数据采集工作节点,由数据采集工作节点采集相应的Web数据。
数据采集工作节点完成Web数据采集后,通过分布式消息中间件告知数据采集主节点已处于空闲状态并向数据采集主节点请求新的URL。
步骤4:数据采集主节点接收各数据采集工作节点传送来的数据,并回收所有数据采集工作节点,完成Web数据的采集。
本发明借助Docker平台,当需要采集数量较少的数据源时,数据采集主节点自动部署固定数量(但数量较少)的工作节点用于保证任务完成;当需要采集数量较多的数据源时,数据采集主节点自动部署固定数量(但数量较多)的工作节点用于保证任务完成。
具体的,回收空闲状态的数据采集工作节点,是指借助Docker平台,当URL为空时,数据采集主节点无法为数据采集工作节点再分配URL,这该数据采集工作节点任务结束,数据采集主节点回收该数据采集工作节点,当所有数据采集工作节点任务结束,则整个web数据采集系统工作任务结束,数据采集主节点回收所有数据采集工作节点。
具体的,对一个URL由数据采集主节点分配给数据采集工作节点,数据采集工作节点通过从数据源进行数据采集并存储的过程称作一个任务。
本实施例通过借助超轻量虚拟机Docker平台,基于Docker创建镜像容器,由镜像容器构建出一个数据采集主节点和若干个数据采集工作节点,将传统Web数据采集系统架构在Docker平台之上;根据任务量大小,创建启动多种搭配方式数量的数据采集工作节点,转变传统大规模服务器架构方式,实现Web数据采集系统可扩展性,提高数据采集工作节点的健壮性和普适性。
图2是本发明的基于Docker的Web数据采集方法的实施例二流程图,该方法在Web服务器内完成,如图2所示,具体包括以下步骤:
步骤1:基于Docker创建镜像容器,由镜像容器构建出一个数据采集主节点和若干个数据采集工作节点;所述数据采集主节点与数据采集工作节点相互通信。
步骤2:数据采集主节点接收Web数据采集任务,并根据Web数据采集任务中URL的数量来启动预设数量的数据采集工作节点;Web数据采集任务包括数据源IP地址和URL。
在该步骤中,数据采集主节点还接收URL预先制定的规则,并将接收的URL预先制定的规则分配给各数据采集工作节点。
其中,数据采集主节点通过分布式消息中间件将URL预先制定的规则分配给各数据采集工作节点。
数据采集主节点通过分布式消息中间件将数据源IP地址和URL分配给各数据采集工作节点。
当数据采集工作节点被分配于URL后,将针对该URL所提前制定的规则传递给该数据采集工作节点,以用于更好、更方便的进行数据采集。
分布式消息中间件的优势是:发送方、接收方系统之间不需要了解双方,只需认识消息;而且数据采集主节点可以同时发送各数据采集工作节点相对应的数据源IP地址和URL,节省了任务分配时间,从而达到了加快Web数据采集的速度的目的。
步骤3:数据采集工作节点启动后,数据采集主节点将数据源IP地址和URL分配给各数据采集工作节点,由数据采集工作节点采集相应的Web数据。
数据采集工作节点完成Web数据采集后,通过分布式消息中间件告知数据采集主节点已处于空闲状态并向数据采集主节点请求新的URL。
步骤4:数据采集主节点实时检测数据源IP地址访问异常数据;当数据采集主节点检测到数据源IP地址访问异常数据时,数据采集主节点向数据源IP地址所对应的数据采集工作节点发送结束采集命令。
这样能够更高效实现web数据采集的Web服务器的可扩展性,并通过加强对整个数据采集过程中的监控管理,实现整个数据采集过程稳定进行。
步骤5:数据采集主节点接收各数据采集工作节点传送来的数据,并回收所有数据采集工作节点,完成Web数据的采集。
本实施例通过借助超轻量虚拟机Docker平台,基于Docker创建镜像容器,由镜像容器构建出一个数据采集主节点和若干个数据采集工作节点,将传统Web数据采集系统架构在Docker平台之上;根据任务量大小,创建启动多种搭配方式数量的数据采集工作节点,转变传统大规模服务器架构方式,实现Web数据采集系统可扩展性,提高数据采集工作节点的健壮性和普适性;本实施例还针对运行过程中数据采集主节点及数据采集工作节点运行异常、数据采集工作节点受到反采集限制问题进行监控管理,确保整个数据采集过程稳定进行。
图3是本发明的基于Docker的Web数据采集的Web服务器的结构示意图。如图3所示的基于Docker的Web数据采集的Web服务器,Web服务器包括数据采集节点构建模块和异常监控模块。
数据采集节点构建模块,其用于基于Docker创建镜像容器,由镜像容器构建出一个数据采集主节点和若干个数据采集工作节点;所述数据采集主节点与数据采集工作节点相互通信;
其中,数据采集主节点,其用于接收Web数据采集任务,并根据Web数据采集任务中URL的数量来启动预设数量的数据采集工作节点;Web数据采集任务包括数据源IP地址和URL;
数据采集工作节点启动后,数据采集主节点用于将数据源IP地址和URL分配给各数据采集工作节点,由数据采集工作节点采集相应的Web数据;
数据采集主节点还用于接收各数据采集工作节点传送来的数据,并回收所有数据采集工作节点,完成Web数据的采集。
异常监控模块,其用于监控数据采集主节点及工作状态下的数据采集工作节点的运行状态,当数据采集主节点或工作状态下的数据采集工作节点出现异常状态时,输出异常报警信号至客户端。
本实施例通过借助超轻量虚拟机Docker平台,基于Docker创建镜像容器,由镜像容器构建出一个数据采集主节点和若干个数据采集工作节点,将传统Web数据采集系统架构在Docker平台之上;根据任务量大小,创建启动多种搭配方式数量的数据采集工作节点,转变传统大规模服务器架构方式,实现Web数据采集系统可扩展性,提高数据采集工作节点的健壮性和普适性;本实施例还针对运行过程中数据采集主节点及数据采集工作节点运行异常、数据采集工作节点受到反采集限制问题进行监控管理,确保整个数据采集过程稳定进行。
图4是本发明的基于Docker的Web数据采集系统结构示意图。如图4所示的基于Docker的Web数据采集系统包括Web服务器;
Web数据采集任务发送端,其用于将Web数据采集任务发送至数据采集主节点。
进一步地,基于Docker的Web数据采集系统还包括客户端,其用于接收Web服务器输出的异常报警信号。
其中,Web服务器包括数据采集节点构建模块,所述数据采集节点构建模块用于基于Docker创建镜像容器,由镜像容器构建出一个数据采集主节点和若干个数据采集工作节点;所述数据采集主节点与数据采集工作节点相互通信;
其中,数据采集主节点,其用于接收Web数据采集任务,并根据Web数据采集任务中URL的数量来启动预设数量的数据采集工作节点;Web数据采集任务包括数据源IP地址和URL;
数据采集工作节点启动后,数据采集主节点用于将数据源IP地址和URL分配给各数据采集工作节点,由数据采集工作节点采集相应的Web数据;
数据采集主节点还用于接收各数据采集工作节点传送来的数据,并回收所有数据采集工作节点,完成Web数据的采集。
更进一步地,Web服务器还包括异常监控模块,异常监控模块用于监控数据采集主节点及工作状态下的数据采集工作节点的运行状态,当数据采集主节点或工作状态下的数据采集工作节点出现异常状态时,输出异常报警信号至客户端。
本实施例通过借助超轻量虚拟机Docker平台,基于Docker创建镜像容器,由镜像容器构建出一个数据采集主节点和若干个数据采集工作节点,将传统Web数据采集系统架构在Docker平台之上;根据任务量大小,创建启动多种搭配方式数量的数据采集工作节点,转变传统大规模服务器架构方式,实现Web数据采集系统可扩展性,提高数据采集工作节点的健壮性和普适性;本实施例还针对运行过程中数据采集主节点及数据采集工作节点运行异常、数据采集工作节点受到反采集限制问题进行监控管理,确保整个数据采集过程稳定进行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.一种基于Docker的Web数据采集方法,其特征在于,该方法在Web服务器内完成,具体包括以下步骤:
基于Docker创建镜像容器,由镜像容器构建出一个数据采集主节点和若干个数据采集工作节点;所述数据采集主节点与数据采集工作节点相互通信;
Web数据采集任务包括数据源IP地址和URL;
数据采集工作节点启动后,数据采集主节点将数据源IP地址和URL分配给各数据采集工作节点,由数据采集工作节点采集相应的Web数据;
数据采集主节点接收各数据采集工作节点传送来的数据,并回收所有数据采集工作节点,完成Web数据的采集;
数据采集主节点还接收URL预先制定的规则,并将接收的URL预先制定的规则分配给各数据采集工作节点。
2.如权利要求1所述的一种基于Docker的Web数据采集方法,其特征在于,数据采集主节点通过分布式消息中间件将URL预先制定的规则分配给各数据采集工作节点。
3.如权利要求1所述的一种基于Docker的Web数据采集方法,其特征在于,数据采集主节点通过分布式消息中间件将数据源IP地址和URL分配给各数据采集工作节点。
4.如权利要求1所述的一种基于Docker的Web数据采集方法,其特征在于,该方法还包括:数据采集工作节点完成Web数据采集后,通过分布式消息中间件告知数据采集主节点已处于空闲状态并向数据采集主节点请求新的URL。
5.如权利要求1所述的一种基于Docker的Web数据采集方法,其特征在于,该方法还包括:数据采集主节点实时检测数据源IP地址访问异常数据;当数据采集主节点检测到数据源IP地址访问异常数据时,数据采集主节点向数据源IP地址所对应的数据采集工作节点发送结束采集命令。
6.一种基于Docker的Web数据采集的Web服务器,其特征在于,包括数据采集节点构建模块,其用于基于Docker创建镜像容器,由镜像容器构建出一个数据采集主节点和若干个数据采集工作节点;所述数据采集主节点与数据采集工作节点相互通信;
其中,数据采集主节点,其用于接收Web数据采集任务,并根据Web数据采集任务中URL的数量来启动预设数量的数据采集工作节点;Web数据采集任务包括数据源IP地址和URL;
数据采集工作节点启动后,数据采集主节点用于将数据源IP地址和URL分配给各数据采集工作节点,由数据采集工作节点采集相应的Web数据;
数据采集主节点还用于接收各数据采集工作节点传送来的数据,并回收所有数据采集工作节点,完成Web数据的采集。
7.如权利要求6所述的一种基于Docker的Web数据采集的Web服务器,其特征在于,所述Web服务器还包括异常监控模块,其用于监控数据采集主节点及工作状态下的数据采集工作节点的运行状态,当数据采集主节点或工作状态下的数据采集工作节点出现异常状态时,输出异常报警信号至客户端。
8.一种基于Docker的Web数据采集系统,其特征在于,包括如权利要求6-7任一所述的Web服务器;
Web数据采集任务发送端,其用于将Web数据采集任务发送至数据采集主节点。
9.如权利要求8所述的一种基于Docker的Web数据采集系统,其特征在于,所述基于Docker的Web数据采集系统还包括客户端,其用于接收Web服务器输出的异常报警信号。
CN201610872814.3A 2016-09-30 2016-09-30 基于Docker的Web数据采集方法、Web服务器及Web数据采集系统 Active CN106534259B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610872814.3A CN106534259B (zh) 2016-09-30 2016-09-30 基于Docker的Web数据采集方法、Web服务器及Web数据采集系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610872814.3A CN106534259B (zh) 2016-09-30 2016-09-30 基于Docker的Web数据采集方法、Web服务器及Web数据采集系统

Publications (2)

Publication Number Publication Date
CN106534259A CN106534259A (zh) 2017-03-22
CN106534259B true CN106534259B (zh) 2019-08-13

Family

ID=58331372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610872814.3A Active CN106534259B (zh) 2016-09-30 2016-09-30 基于Docker的Web数据采集方法、Web服务器及Web数据采集系统

Country Status (1)

Country Link
CN (1) CN106534259B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107329800B (zh) * 2017-06-29 2019-11-05 北京北信源软件股份有限公司 一种基于Docker平台的中间件应用管控方法和装置
CN107370816A (zh) * 2017-07-26 2017-11-21 郑州云海信息技术有限公司 一种Web应用的部署方法和装置
CN110457555A (zh) * 2019-06-24 2019-11-15 平安国际智慧城市科技股份有限公司 基于Docker的数据采集方法、装置及计算机设备、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103236949A (zh) * 2013-04-27 2013-08-07 北京搜狐新媒体信息技术有限公司 一种服务器集群的监控方法、装置与系统
CN103369054A (zh) * 2013-07-30 2013-10-23 北京搜狐新媒体信息技术有限公司 一种采集任务管理方法及系统
CN104866378A (zh) * 2015-05-29 2015-08-26 北京京东尚科信息技术有限公司 一种协调执行任务的系统及方法
CN105447097A (zh) * 2015-11-10 2016-03-30 北京北信源软件股份有限公司 数据采集方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103236949A (zh) * 2013-04-27 2013-08-07 北京搜狐新媒体信息技术有限公司 一种服务器集群的监控方法、装置与系统
CN103369054A (zh) * 2013-07-30 2013-10-23 北京搜狐新媒体信息技术有限公司 一种采集任务管理方法及系统
CN104866378A (zh) * 2015-05-29 2015-08-26 北京京东尚科信息技术有限公司 一种协调执行任务的系统及方法
CN105447097A (zh) * 2015-11-10 2016-03-30 北京北信源软件股份有限公司 数据采集方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Docker容器的Web集群设计与实现;刘熙 等;《电子设计工程》;20160430;第24卷(第8期);全文

Also Published As

Publication number Publication date
CN106534259A (zh) 2017-03-22

Similar Documents

Publication Publication Date Title
CN106534259B (zh) 基于Docker的Web数据采集方法、Web服务器及Web数据采集系统
CN103024060B (zh) 一种开放式云计算大规模集群监控系统及方法
CN103109271B (zh) 一种平台间迁移应用的实现方法及系统
CN101459534B (zh) 一种树状网络的网络拓扑收集方法和网络设备
CN102137007B (zh) 网络拓扑生成方法、系统、协调者
CN102904746A (zh) 基于消息机制的集群任务自调度系统与方法
CN103414579A (zh) 一种适用于云计算的跨平台监控系统及其监控方法
CN104394209B (zh) 一种用于分布式能源管理的实时库数据传输方法
CN102026228B (zh) 通信网络性能数据的统计方法和设备
CN102355374A (zh) 一种数据获取方法和设备
CN104506462A (zh) 一种分布式交换机中mac地址管理方法及设备
CN106357442A (zh) 一种服务器集群监控方法及系统
CN106982222A (zh) 一种工业4.0环境下可配置的多协议数据接入方法及装置
CN103488696A (zh) Cpe的业务查询方法、装置及系统、acs和cpe
CN102136957B (zh) 一种标签交换路径监控的实现方法、装置和系统
CN104468729A (zh) 一种基于动态ip的可远程监控的烧录器控制升级方法
CN103825813A (zh) Lldp报文的处理方法及装置
CN111340456A (zh) 基于物联网的边云协同数据处理方法、装置及设备
CN104270272B (zh) 一种基于移动Agent的电能质量监测数据管理方案
CN102148702B (zh) 一种使用网络配置协议进行网络管理的方法
CN105207825A (zh) 一种网元快速同步系统及网元快速同步方法
CN103457748A (zh) 数据传输方法、系统和设备
CN111327460A (zh) 一种网关配置方法、云端设备、网关及系统
CN109462522A (zh) 一种终端外接设备的状态监测方法、终端及其系统
CN105740180A (zh) Usb设备的虚拟机接入方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant