CN106534259A - 基于Docker的Web数据采集方法、Web服务器及Web数据采集系统 - Google Patents

基于Docker的Web数据采集方法、Web服务器及Web数据采集系统 Download PDF

Info

Publication number
CN106534259A
CN106534259A CN201610872814.3A CN201610872814A CN106534259A CN 106534259 A CN106534259 A CN 106534259A CN 201610872814 A CN201610872814 A CN 201610872814A CN 106534259 A CN106534259 A CN 106534259A
Authority
CN
China
Prior art keywords
data
data acquisition
node
web
data collection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610872814.3A
Other languages
English (en)
Other versions
CN106534259B (zh
Inventor
边俊峰
钱进
闵新平
郭伟
崔立真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201610872814.3A priority Critical patent/CN106534259B/zh
Publication of CN106534259A publication Critical patent/CN106534259A/zh
Application granted granted Critical
Publication of CN106534259B publication Critical patent/CN106534259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1031—Controlling of the operation of servers by a load balancer, e.g. adding or removing servers that serve requests

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种基于Docker的Web数据采集方法、Web服务器及Web数据采集系统，其中Web数据采集方法在Web服务器内完成，包括基于Docker创建镜像容器，由镜像容器构建出一个数据采集主节点和若干个数据采集工作节点；所述数据采集主节点与数据采集工作节点相互通信；数据采集主节点接收Web数据采集任务，并根据Web数据采集任务中URL的数量来启动预设数量的数据采集工作节点；Web数据采集任务包括数据源IP地址和URL；数据采集工作节点启动后，数据采集主节点将数据源IP地址和URL分配给各数据采集工作节点，由数据采集工作节点采集相应的Web数据；数据采集主节点接收各数据采集工作节点传送来的数据，并回收所有数据采集工作节点，完成Web数据的采集。

Description

基于Docker的Web数据采集方法、Web服务器及Web数据采集 系统
技术领域
本发明属于互联网Web数据处理领域，尤其涉及一种基于Docker的Web数据采集方法、Web服务器及Web数据采集系统。
背景技术
网络技术的迅猛发展，使得互联网已经成为主要信息的载体，充分、有效地提取这些信息是当今互联网信息收集工作的重点、难点。数据采集技术应运而生，该技术能够集中解决从数据源中提取关键信息的问题。目前，国内外的大型互联网公司、相关研究机构已经给出了一些较为成熟的解决方案，有些也己投入使用，但是这些方案大都是通过建立一台主节点、部署数量固定的工作节点来实现，在资源利用方面及其不稳定。
如我们所知，在传统实践中大规模服务器架构的方式中，当需要采集数量较少的数据源时，已经部署的工作节点只能有一部分任务，另外一部分保持空闲，导致资源浪费；而当需要采集数量较多时，已经部署的工作节点不足以满足采集任务的需求，那么采取增加部署工作节点或者待其他工作节点任务完成后再分配其他任务的方式解决，这样严重影响Web数据采集系统的健壮性和稳定性。
超轻量虚拟机Docker(以下简称Docker)可以把应用实例及其依赖环境打包到一个可移植容器中，根据需求自由创建镜像并发布到任何流行的Linux机器上，并且Docker可以创建大量的镜像容器，完全可以替代数据采集过程中的工作节点。
因此，借助Docker平台，将Web数据采集系统架构在Docker之上，转变传统实践中大规模服务器架构的方式，提高数据采集的规范化程度，提高Web数据采集系统的健壮性和普适性，实现Web数据采集系统的可扩展性，对于系统可扩展性、为设备减耗提供便利成为本领域一个急需解决的问题。
发明内容
为了解决现有技术的缺点，本发明提供一种基于Docker的Web数据采集方法、Web服务器及Web数据采集系统。本发明可有效解决现有技术中存在的Web数据采集系统可扩展性不理想的问题。
为实现上述目的，本发明采用以下技术方案：
一种基于Docker的Web数据采集方法，该方法在Web服务器内完成，具体包括以下步骤：
基于Docker创建镜像容器，由镜像容器构建出一个数据采集主节点和若干个数据采集工作节点；所述数据采集主节点与数据采集工作节点相互通信；
数据采集主节点接收Web数据采集任务，并根据Web数据采集任务中URL的数量来启动预设数量的数据采集工作节点；Web数据采集任务包括数据源IP地址和URL；
数据采集工作节点启动后，数据采集主节点将数据源IP地址和URL分配给各数据采集工作节点，由数据采集工作节点采集相应的Web数据；
数据采集主节点接收各数据采集工作节点传送来的数据，并回收所有数据采集工作节点，完成Web数据的采集。
本发明通过借助超轻量虚拟机Docker平台，将传统Web数据采集系统架构在Docker平台之上，根据任务量大小，创建启动多种搭配方式数量的数据采集工作节点，转变传统大规模服务器架构方式，实现Web数据采集系统可扩展性，提高数据采集工作节点的健壮性和普适性。
数据采集主节点还接收URL预先制定的规则，并将接收的URL预先制定的规则分配给各数据采集工作节点。
当数据采集工作节点被分配于URL后，将针对该URL所提前制定的规则传递给该数据采集工作节点，以用于更好、更方便的进行数据采集。
数据采集主节点通过分布式消息中间件将URL预先制定的规则分配给各数据采集工作节点。
数据采集主节点通过分布式消息中间件将数据源IP地址和URL分配给各数据采集工作节点。
分布式消息中间件的优势是：发送方、接收方系统之间不需要了解双方，只需认识消息；而且数据采集主节点可以同时发送各数据采集工作节点相对应的数据源IP地址和URL，节省了任务分配时间，从而达到了加快Web数据采集的速度的目的。
该方法还包括：数据采集工作节点完成Web数据采集后，通过分布式消息中间件告知数据采集主节点已处于空闲状态并向数据采集主节点请求新的URL。
该方法还包括：数据采集主节点实时检测数据源IP地址访问异常数据；当数据采集主节点检测到数据源IP地址访问异常数据时，数据采集主节点向数据源IP地址所对应的数据采集工作节点发送结束采集命令。本发明能够更高效实现web数据采集的Web服务器的可扩展性，并通过加强对整个数据采集过程中的监控管理，实现整个数据采集过程稳定进行。
一种基于Docker的Web数据采集的Web服务器，包括数据采集节点构建模块，其用于基于Docker创建镜像容器，由镜像容器构建出一个数据采集主节点和若干个数据采集工作节点；所述数据采集主节点与数据采集工作节点相互通信；
其中，数据采集主节点，其用于接收Web数据采集任务，并根据Web数据采集任务中URL的数量来启动预设数量的数据采集工作节点；Web数据采集任务包括数据源IP地址和URL；
数据采集工作节点启动后，数据采集主节点用于将数据源IP地址和URL分配给各数据采集工作节点，由数据采集工作节点采集相应的Web数据；
数据采集主节点还用于接收各数据采集工作节点传送来的数据，并回收所有数据采集工作节点，完成Web数据的采集。
所述Web服务器还包括异常监控模块，其用于监控数据采集主节点及工作状态下的数据采集工作节点的运行状态，当数据采集主节点或工作状态下的数据采集工作节点出现异常状态时，输出异常报警信号至客户端。
一种基于Docker的Web数据采集系统，包括所述的Web服务器；
Web数据采集任务发送端，其用于将Web数据采集任务发送至数据采集主节点。
所述基于Docker的Web数据采集系统还包括客户端，其用于接收Web服务器输出的异常报警信号。
本发明的有益效果为：
(1)本发明通过借助超轻量虚拟机Docker平台，基于Docker创建镜像容器，由镜像容器构建出一个数据采集主节点和若干个数据采集工作节点，将传统Web数据采集系统架构在Docker平台之上；根据任务量大小，创建启动多种搭配方式数量的数据采集工作节点，转变传统大规模服务器架构方式，实现Web数据采集系统可扩展性，提高数据采集工作节点的健壮性和普适性；
(2)本发明在借助超轻量虚拟机Docker平台过程中，本发明还针对运行过程中数据采集主节点及数据采集工作节点运行异常、数据采集工作节点受到反采集限制问题进行监控管理，确保整个数据采集过程稳定进行。
附图说明
图1是本发明的基于Docker的Web数据采集方法的实施例一流程图；
图2是本发明的基于Docker的Web数据采集方法的实施例二流程图；
图3是本发明的基于Docker的Web数据采集的Web服务器的结构示意图；
图4是本发明的基于Docker的Web数据采集系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。本发明的Docker是一种轻量级虚拟机。
图1是本发明的基于Docker的Web数据采集方法的实施例一流程图，该方法在Web服务器内完成，如图1所示，具体包括以下步骤：
步骤1：基于Docker创建镜像容器，由镜像容器构建出一个数据采集主节点和若干个数据采集工作节点；所述数据采集主节点与数据采集工作节点相互通信。
步骤2：数据采集主节点接收Web数据采集任务，并根据Web数据采集任务中URL的数量来启动预设数量的数据采集工作节点；Web数据采集任务包括数据源IP地址和URL。
在该步骤中，数据采集主节点还接收URL预先制定的规则，并将接收的URL预先制定的规则分配给各数据采集工作节点。
其中，数据采集主节点通过分布式消息中间件将URL预先制定的规则分配给各数据采集工作节点。
当数据采集工作节点被分配于URL后，将针对该URL所提前制定的规则传递给该数据采集工作节点，以用于更好、更方便的进行数据采集。
数据采集主节点通过分布式消息中间件将数据源IP地址和URL分配给各数据采集工作节点。
分布式消息中间件的优势是：发送方、接收方系统之间不需要了解双方，只需认识消息；而且数据采集主节点可以同时发送各数据采集工作节点相对应的数据源IP地址和URL，节省了任务分配时间，从而达到了加快Web数据采集的速度的目的。
步骤3：数据采集工作节点启动后，数据采集主节点将数据源IP地址和URL分配给各数据采集工作节点，由数据采集工作节点采集相应的Web数据。
数据采集工作节点完成Web数据采集后，通过分布式消息中间件告知数据采集主节点已处于空闲状态并向数据采集主节点请求新的URL。
步骤4：数据采集主节点接收各数据采集工作节点传送来的数据，并回收所有数据采集工作节点，完成Web数据的采集。
本发明借助Docker平台，当需要采集数量较少的数据源时，数据采集主节点自动部署固定数量(但数量较少)的工作节点用于保证任务完成；当需要采集数量较多的数据源时，数据采集主节点自动部署固定数量(但数量较多)的工作节点用于保证任务完成。
具体的，回收空闲状态的数据采集工作节点，是指借助Docker平台，当URL为空时，数据采集主节点无法为数据采集工作节点再分配URL，这该数据采集工作节点任务结束，数据采集主节点回收该数据采集工作节点，当所有数据采集工作节点任务结束，则整个web数据采集系统工作任务结束，数据采集主节点回收所有数据采集工作节点。
具体的，对一个URL由数据采集主节点分配给数据采集工作节点，数据采集工作节点通过从数据源进行数据采集并存储的过程称作一个任务。
本实施例通过借助超轻量虚拟机Docker平台，基于Docker创建镜像容器，由镜像容器构建出一个数据采集主节点和若干个数据采集工作节点，将传统Web数据采集系统架构在Docker平台之上；根据任务量大小，创建启动多种搭配方式数量的数据采集工作节点，转变传统大规模服务器架构方式，实现Web数据采集系统可扩展性，提高数据采集工作节点的健壮性和普适性。
图2是本发明的基于Docker的Web数据采集方法的实施例二流程图，该方法在Web服务器内完成，如图2所示，具体包括以下步骤：
步骤1：基于Docker创建镜像容器，由镜像容器构建出一个数据采集主节点和若干个数据采集工作节点；所述数据采集主节点与数据采集工作节点相互通信。
步骤2：数据采集主节点接收Web数据采集任务，并根据Web数据采集任务中URL的数量来启动预设数量的数据采集工作节点；Web数据采集任务包括数据源IP地址和URL。
在该步骤中，数据采集主节点还接收URL预先制定的规则，并将接收的URL预先制定的规则分配给各数据采集工作节点。
其中，数据采集主节点通过分布式消息中间件将URL预先制定的规则分配给各数据采集工作节点。
数据采集主节点通过分布式消息中间件将数据源IP地址和URL分配给各数据采集工作节点。
当数据采集工作节点被分配于URL后，将针对该URL所提前制定的规则传递给该数据采集工作节点，以用于更好、更方便的进行数据采集。
分布式消息中间件的优势是：发送方、接收方系统之间不需要了解双方，只需认识消息；而且数据采集主节点可以同时发送各数据采集工作节点相对应的数据源IP地址和URL，节省了任务分配时间，从而达到了加快Web数据采集的速度的目的。
步骤3：数据采集工作节点启动后，数据采集主节点将数据源IP地址和URL分配给各数据采集工作节点，由数据采集工作节点采集相应的Web数据。
数据采集工作节点完成Web数据采集后，通过分布式消息中间件告知数据采集主节点已处于空闲状态并向数据采集主节点请求新的URL。
步骤4：数据采集主节点实时检测数据源IP地址访问异常数据；当数据采集主节点检测到数据源IP地址访问异常数据时，数据采集主节点向数据源IP地址所对应的数据采集工作节点发送结束采集命令。
这样能够更高效实现web数据采集的Web服务器的可扩展性，并通过加强对整个数据采集过程中的监控管理，实现整个数据采集过程稳定进行。
步骤5：数据采集主节点接收各数据采集工作节点传送来的数据，并回收所有数据采集工作节点，完成Web数据的采集。
本实施例通过借助超轻量虚拟机Docker平台，基于Docker创建镜像容器，由镜像容器构建出一个数据采集主节点和若干个数据采集工作节点，将传统Web数据采集系统架构在Docker平台之上；根据任务量大小，创建启动多种搭配方式数量的数据采集工作节点，转变传统大规模服务器架构方式，实现Web数据采集系统可扩展性，提高数据采集工作节点的健壮性和普适性；本实施例还针对运行过程中数据采集主节点及数据采集工作节点运行异常、数据采集工作节点受到反采集限制问题进行监控管理，确保整个数据采集过程稳定进行。
图3是本发明的基于Docker的Web数据采集的Web服务器的结构示意图。如图3所示的基于Docker的Web数据采集的Web服务器，Web服务器包括数据采集节点构建模块和异常监控模块。
数据采集节点构建模块，其用于基于Docker创建镜像容器，由镜像容器构建出一个数据采集主节点和若干个数据采集工作节点；所述数据采集主节点与数据采集工作节点相互通信；
其中，数据采集主节点，其用于接收Web数据采集任务，并根据Web数据采集任务中URL的数量来启动预设数量的数据采集工作节点；Web数据采集任务包括数据源IP地址和URL；
数据采集工作节点启动后，数据采集主节点用于将数据源IP地址和URL分配给各数据采集工作节点，由数据采集工作节点采集相应的Web数据；
数据采集主节点还用于接收各数据采集工作节点传送来的数据，并回收所有数据采集工作节点，完成Web数据的采集。
异常监控模块，其用于监控数据采集主节点及工作状态下的数据采集工作节点的运行状态，当数据采集主节点或工作状态下的数据采集工作节点出现异常状态时，输出异常报警信号至客户端。
本实施例通过借助超轻量虚拟机Docker平台，基于Docker创建镜像容器，由镜像容器构建出一个数据采集主节点和若干个数据采集工作节点，将传统Web数据采集系统架构在Docker平台之上；根据任务量大小，创建启动多种搭配方式数量的数据采集工作节点，转变传统大规模服务器架构方式，实现Web数据采集系统可扩展性，提高数据采集工作节点的健壮性和普适性；本实施例还针对运行过程中数据采集主节点及数据采集工作节点运行异常、数据采集工作节点受到反采集限制问题进行监控管理，确保整个数据采集过程稳定进行。
图4是本发明的基于Docker的Web数据采集系统结构示意图。如图4所示的基于Docker的Web数据采集系统包括Web服务器；
Web数据采集任务发送端，其用于将Web数据采集任务发送至数据采集主节点。
进一步地，基于Docker的Web数据采集系统还包括客户端，其用于接收Web服务器输出的异常报警信号。
其中，Web服务器包括数据采集节点构建模块，所述数据采集节点构建模块用于基于Docker创建镜像容器，由镜像容器构建出一个数据采集主节点和若干个数据采集工作节点；所述数据采集主节点与数据采集工作节点相互通信；
其中，数据采集主节点，其用于接收Web数据采集任务，并根据Web数据采集任务中URL的数量来启动预设数量的数据采集工作节点；Web数据采集任务包括数据源IP地址和URL；
数据采集工作节点启动后，数据采集主节点用于将数据源IP地址和URL分配给各数据采集工作节点，由数据采集工作节点采集相应的Web数据；
数据采集主节点还用于接收各数据采集工作节点传送来的数据，并回收所有数据采集工作节点，完成Web数据的采集。
更进一步地，Web服务器还包括异常监控模块，异常监控模块用于监控数据采集主节点及工作状态下的数据采集工作节点的运行状态，当数据采集主节点或工作状态下的数据采集工作节点出现异常状态时，输出异常报警信号至客户端。
本实施例通过借助超轻量虚拟机Docker平台，基于Docker创建镜像容器，由镜像容器构建出一个数据采集主节点和若干个数据采集工作节点，将传统Web数据采集系统架构在Docker平台之上；根据任务量大小，创建启动多种搭配方式数量的数据采集工作节点，转变传统大规模服务器架构方式，实现Web数据采集系统可扩展性，提高数据采集工作节点的健壮性和普适性；本实施例还针对运行过程中数据采集主节点及数据采集工作节点运行异常、数据采集工作节点受到反采集限制问题进行监控管理，确保整个数据采集过程稳定进行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于Docker的Web数据采集方法，其特征在于，该方法在Web服务器内完成，具体包括以下步骤：
基于Docker创建镜像容器，由镜像容器构建出一个数据采集主节点和若干个数据采集工作节点；所述数据采集主节点与数据采集工作节点相互通信；
数据采集主节点接收Web数据采集任务，并根据Web数据采集任务中URL的数量来启动预设数量的数据采集工作节点；Web数据采集任务包括数据源IP地址和URL；
数据采集工作节点启动后，数据采集主节点将数据源IP地址和URL分配给各数据采集工作节点，由数据采集工作节点采集相应的Web数据；
数据采集主节点接收各数据采集工作节点传送来的数据，并回收所有数据采集工作节点，完成Web数据的采集。
2.如权利要求1所述的一种基于Docker的Web数据采集方法，其特征在于，数据采集主节点还接收URL预先制定的规则，并将接收的URL预先制定的规则分配给各数据采集工作节点。
3.如权利要求2所述的一种基于Docker的Web数据采集方法，其特征在于，数据采集主节点通过分布式消息中间件将URL预先制定的规则分配给各数据采集工作节点。
4.如权利要求1所述的一种基于Docker的Web数据采集方法，其特征在于，数据采集主节点通过分布式消息中间件将数据源IP地址和URL分配给各数据采集工作节点。
5.如权利要求1所述的一种基于Docker的Web数据采集方法，其特征在于，该方法还包括：数据采集工作节点完成Web数据采集后，通过分布式消息中间件告知数据采集主节点已处于空闲状态并向数据采集主节点请求新的URL。
6.如权利要求1所述的一种基于Docker的Web数据采集方法，其特征在于，该方法还包括：数据采集主节点实时检测数据源IP地址访问异常数据；当数据采集主节点检测到数据源IP地址访问异常数据时，数据采集主节点向数据源IP地址所对应的数据采集工作节点发送结束采集命令。
7.一种基于Docker的Web数据采集的Web服务器，其特征在于，包括数据采集节点构建模块，其用于基于Docker创建镜像容器，由镜像容器构建出一个数据采集主节点和若干个数据采集工作节点；所述数据采集主节点与数据采集工作节点相互通信；
其中，数据采集主节点，其用于接收Web数据采集任务，并根据Web数据采集任务中URL的数量来启动预设数量的数据采集工作节点；Web数据采集任务包括数据源IP地址和URL；
数据采集工作节点启动后，数据采集主节点用于将数据源IP地址和URL分配给各数据采集工作节点，由数据采集工作节点采集相应的Web数据；
数据采集主节点还用于接收各数据采集工作节点传送来的数据，并回收所有数据采集工作节点，完成Web数据的采集。
8.如权利要求7所述的一种基于Docker的Web数据采集的Web服务器，其特征在于，所述Web服务器还包括异常监控模块，其用于监控数据采集主节点及工作状态下的数据采集工作节点的运行状态，当数据采集主节点或工作状态下的数据采集工作节点出现异常状态时，输出异常报警信号至客户端。
9.一种基于Docker的Web数据采集系统，其特征在于，包括如权利要求7-8任一所述的Web服务器；
Web数据采集任务发送端，其用于将Web数据采集任务发送至数据采集主节点。
10.如权利要求9所述的一种基于Docker的Web数据采集系统，其特征在于，所述基于Docker的Web数据采集系统还包括客户端，其用于接收Web服务器输出的异常报警信号。
CN201610872814.3A 2016-09-30 2016-09-30 基于Docker的Web数据采集方法、Web服务器及Web数据采集系统 Active CN106534259B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610872814.3A CN106534259B (zh) 2016-09-30 2016-09-30 基于Docker的Web数据采集方法、Web服务器及Web数据采集系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610872814.3A CN106534259B (zh) 2016-09-30 2016-09-30 基于Docker的Web数据采集方法、Web服务器及Web数据采集系统

Publications (2)

Publication Number Publication Date
CN106534259A true CN106534259A (zh) 2017-03-22
CN106534259B CN106534259B (zh) 2019-08-13

Family

ID=58331372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610872814.3A Active CN106534259B (zh) 2016-09-30 2016-09-30 基于Docker的Web数据采集方法、Web服务器及Web数据采集系统

Country Status (1)

Country Link
CN (1) CN106534259B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107329800A (zh) * 2017-06-29 2017-11-07 北京北信源软件股份有限公司 一种基于Docker平台的中间件应用管控方法和装置
CN107370816A (zh) * 2017-07-26 2017-11-21 郑州云海信息技术有限公司 一种Web应用的部署方法和装置
CN110457555A (zh) * 2019-06-24 2019-11-15 平安国际智慧城市科技股份有限公司 基于Docker的数据采集方法、装置及计算机设备、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103236949A (zh) * 2013-04-27 2013-08-07 北京搜狐新媒体信息技术有限公司 一种服务器集群的监控方法、装置与系统
CN103369054A (zh) * 2013-07-30 2013-10-23 北京搜狐新媒体信息技术有限公司 一种采集任务管理方法及系统
CN104866378A (zh) * 2015-05-29 2015-08-26 北京京东尚科信息技术有限公司 一种协调执行任务的系统及方法
CN105447097A (zh) * 2015-11-10 2016-03-30 北京北信源软件股份有限公司 数据采集方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103236949A (zh) * 2013-04-27 2013-08-07 北京搜狐新媒体信息技术有限公司 一种服务器集群的监控方法、装置与系统
CN103369054A (zh) * 2013-07-30 2013-10-23 北京搜狐新媒体信息技术有限公司 一种采集任务管理方法及系统
CN104866378A (zh) * 2015-05-29 2015-08-26 北京京东尚科信息技术有限公司 一种协调执行任务的系统及方法
CN105447097A (zh) * 2015-11-10 2016-03-30 北京北信源软件股份有限公司 数据采集方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘熙 等: "基于Docker容器的Web集群设计与实现", 《电子设计工程》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107329800A (zh) * 2017-06-29 2017-11-07 北京北信源软件股份有限公司 一种基于Docker平台的中间件应用管控方法和装置
CN107370816A (zh) * 2017-07-26 2017-11-21 郑州云海信息技术有限公司 一种Web应用的部署方法和装置
CN110457555A (zh) * 2019-06-24 2019-11-15 平安国际智慧城市科技股份有限公司 基于Docker的数据采集方法、装置及计算机设备、存储介质

Also Published As

Publication number Publication date
CN106534259B (zh) 2019-08-13

Similar Documents

Publication Publication Date Title
CN101459534B (zh) 一种树状网络的网络拓扑收集方法和网络设备
CN109756559B (zh) 面向嵌入式机载系统分布式数据分发服务的构建及使用方法
CN105338061A (zh) 一种轻量级消息中间件的实现方法与系统
CN104092719B (zh) 文件传输方法、装置及分布式集群文件系统
CN106850710A (zh) 一种数据云存储系统、客户终端、存储服务器及应用方法
CN105407180A (zh) 服务器的消息推送方法和装置
CN105989539A (zh) 一种金融交易行情获取系统以及获取方法
CN112769602B (zh) 一种白盒交换机统一配置管理系统、方法和网络操作系统
CN107135279A (zh) 一种处理长连接建立请求的方法和装置
CN106534259A (zh) 基于Docker的Web数据采集方法、Web服务器及Web数据采集系统
CN103064391A (zh) 基于TCP/IP协议及Linux网络编程的数控系统远程DNC控制方法
CN102158346A (zh) 基于云计算的信息采集系统及方法
CN104937896A (zh) 地址解析协议消息的处理方法和转发器、控制器
CN106302230B (zh) 一种数据传输方法及装置
CN110752943A (zh) 一种输电线路分布式故障诊断系统及方法
CN111327460A (zh) 一种网关配置方法、云端设备、网关及系统
CN107809457A (zh) 基于复合物联网的水量数据传输方法及物联网系统
CN104270272B (zh) 一种基于移动Agent的电能质量监测数据管理方案
CN106850268A (zh) 一种线性保护倒换的实现装置及方法
CN108055151B (zh) 网络节点的端口管理方法、装置、网络节点及存储介质
CN109462522A (zh) 一种终端外接设备的状态监测方法、终端及其系统
CN105207825A (zh) 一种网元快速同步系统及网元快速同步方法
CN106375324B (zh) 一种基于tcp/ip通信协议的网络通信系统及方法
CN102136957A (zh) 一种标签交换路径监控的实现方法、装置和系统
CN108234595B (zh) 日志传输方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant