CN108512911A - 一种基于Flume的分布式采集代理系统及其实现方法 - Google Patents

一种基于Flume的分布式采集代理系统及其实现方法 Download PDF

Info

Publication number
CN108512911A
CN108512911A CN201810214372.2A CN201810214372A CN108512911A CN 108512911 A CN108512911 A CN 108512911A CN 201810214372 A CN201810214372 A CN 201810214372A CN 108512911 A CN108512911 A CN 108512911A
Authority
CN
China
Prior art keywords
collection agent
flume
collectors
acquisition
collection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810214372.2A
Other languages
English (en)
Inventor
周海鸿
蒋平川
傅玉生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Gifted Data Co Ltd
Original Assignee
Chengdu Gifted Data Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Gifted Data Co Ltd filed Critical Chengdu Gifted Data Co Ltd
Priority to CN201810214372.2A priority Critical patent/CN108512911A/zh
Publication of CN108512911A publication Critical patent/CN108512911A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/028—Capturing of monitoring data by filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682—Policies or rules for updating, deleting or replacing the stored data

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种基于Flume的分布式采集代理系统及其实现方法，涉及数据采集技术领域，系统包括系统管理部分和采集代理部分，所述系统管理部分具体为远程管理端，用于部署管理采集代理、配置分发flume采集任务、启动采集代理和停用采集代理；所述采集代理部分包括采集代理和flume采集器，用于根据系统管理部分分发的flume采集任务，解析采集任务配置信息、启动flume采集器进行数据采集和停用flume采集器。本发明通过SSH和HTTP协议动态部署采集代理，管理采集代理启停，而采集代理管理着每一个flume采集器，通过SSH到指定服务器启停flume采集器，可灵活配置flume采集器相关信息，满足不同用户的需求，适用范围广，解决了分布式采集管理难度高、运维成本高的问题。

Description

一种基于Flume的分布式采集代理系统及其实现方法
技术领域
本发明涉及数据采集技术领域，特别涉及一种基于Flume的分布式采集代理系统及其实现方法。
背景技术
随着互联网的普及，以及分布式系统的快速发展，数据在实时地、高速地、海量地产生，如何采集这些数据成为了一个亟待解决的问题，因而也出现了许多数据采集的组件，flume就是数据采集领域比较优秀的组件，flume是apache的顶级项目，提供了高可用的，高可靠的海量日志采集、聚合和传输的系统，flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。
由于flume采集器需要人为部署，无法自动化部署和分布式管理，每定义一个新的采集器，都要人为写flume配置文件，然后启动，不仅增加了分布式采集管理的难度，还需要动用大量的人力，增加了运维成本。
发明内容
本发明的目的在于：提供了一种基于Flume的分布式采集代理系统及其实现方法，解决了分布式采集管理难度高、运维成本高的问题。
本发明采用的技术方案如下：
一种基于Flume的分布式采集代理系统，包括系统管理部分和采集代理部分；
所述系统管理部分具体为远程管理端，所述采集代理部分包括采集代理和flume采集器；
所述远程管理端用于部署管理采集代理、配置分发flume采集任务、启动采集代理和停用采集代理；
所述采集代理部分用于根据系统管理部分分发的flume采集任务，解析采集任务配置信息、启动flume采集器进行数据采集和停用flume采集器。
一种基于Flume的分布式采集代理系统的实现方法，包括以下步骤：
步骤1：在采集代理系统中部署管理采集代理；
步骤2：采集代理系统通过SSH协议启动部署好的采集代理；
步骤3：为步骤2的采集代理配置分发flume采集任务；
步骤4：采集代理根据步骤3的配置文件启动flume采集器，对指定目标数据源进行采集；
步骤5：完成采集后，采集代理根据SSH协议停用flume采集器；
步骤6：根据步骤5，远程管理端再通过HTTP协议停用采集代理。
进一步地，所述步骤1具体步骤如下：
步骤1.1：启动采集代理系统，在远程管理端进入web管理界面；
步骤1.2：在web管理界面配置部署采集代理的目标主机和登录信息；
步骤1.3：根据步骤1.2配置的信息，通过scp将采集代理程序包发送到待部署主机的配置目录下，所述采集代理程序包包括采集代理程序和flume采集器程序。
进一步地，所述步骤2具体步骤如下：
步骤2.1：在采集代理系统的远程管理端通过SSH协议查看采集代理是否已经部署；
步骤2.2：根据步骤2.1，若未部署，则返回步骤1.2；
步骤2.3：根据步骤2.1，若已经部署，则在采集代理系统的远程管理端通过SSH协议启动采集代理。
进一步地，所述步骤3具体步骤如下：
步骤3.1：为步骤1.2部署的采集代理分配flume采集任务；
步骤3.2：配置flume采集任务的相关属性和待采集主机的登录信息；
步骤3.3：将步骤3.2的flume采集任务配置信息转换成json格式；
步骤3.4：采集代理系统通过HTTP协议请求将步骤3.3的json格式数据发送给采集代理。
进一步地，所述步骤4具体步骤如下：
步骤4.1：采集代理接受flume采集器后，解析步骤2.4发送的json格式数据，生成flume采集器执行所需的配置文件；
步骤4.2：采集代理根据步骤4.1的配置文件启动flume采集器，若待采集主机与采集代理不在同一台主机上，采集代理则通过scp将flume采集器及其配置文件传输到待采集主机，启动flume采集器，对指定目标数据源进行采集；
步骤4.3：根据步骤4.2，若待采集主机与采集代理在同一台主机上，采集代理则通过SSH协议对待采集主机执行启动命令，启动flume采集器，对指定目标数据源进行采集。
进一步地，所述步骤5具体步骤如下：
步骤5.1：步骤4完成采集后，采集代理系统通过HTTP协议给采集代理发送停用某个flume采集器的指令；
步骤5.2：采集代理接收该指令，并解析指令；
步骤5.3：根据步骤5.2，采集代理通过SSH协议停用flume采集器。
进一步地，所述步骤6具体步骤如下：
步骤6.1：采集代理系统的远程管理端通过HTTP协议给采集代理发送停用采集代理的指令；
步骤6.2：采集代理接收该指令，并解析指令参数；
步骤6.3：根据步骤6.2，采集代理停止运行。
更进一步地，所述步骤3.2的相关属性包括flume采集器的source层配置、channel层配置和sink层配置。
更进一步地，所述flume采集器包括数据采集规则、脏数据过滤、数据缓存策略和数据采集存储目标。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1.一种基于Flume的分布式采集代理系统及其实现方法，通过SSH和HTTP协议动态部署采集代理，管理采集代理启停，采集代理管理着每一个flume采集器，通过SSH到指定服务器启停flume采集器，可灵活配置flume采集器相关信息，满足不同用户的的需求，适用范围广；
2.本发明整个采集代理的部署，不需要人为现场部署，可通过管理端配置后自动化部署，并且可通过管理端，远程控制采集代理的启停和flume采集器的启停，减少了工作人员工作量，不需要动用大量人力，节省了人力成本。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1是一种基于Flume的分布式采集代理系统的结构示意图；
图2是一种基于Flume的分布式采集代理系统的实现方法的流程图。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
下面结合图1、图2对本发明作详细说明。
一种基于Flume的分布式采集代理系统，包括系统管理部分和采集代理部分；
所述系统管理部分具体为远程管理端，所述采集代理部分包括采集代理和flume采集器；
所述远程管理端用于部署管理采集代理、配置分发flume采集任务、启动采集代理和停用采集代理；
所述采集代理部分用于根据系统管理部分分发的flume采集任务，解析采集任务配置信息、启动flume采集器进行数据采集和停用flume采集器。
一种基于Flume的分布式采集代理系统的实现方法，包括以下步骤：
步骤1：在采集代理系统中部署管理采集代理；
步骤2：采集代理系统通过SSH协议启动部署好的采集代理；
步骤3：为步骤2的采集代理配置分发flume采集任务；
步骤4：采集代理根据步骤3的配置文件启动flume采集器，对指定目标数据源进行采集；
步骤5：完成采集后，采集代理根据SSH协议停用flume采集器；
步骤6：根据步骤5，远程管理端再通过HTTP协议停用采集代理。
进一步地，所述步骤1具体步骤如下：
步骤1.1：启动采集代理系统，在远程管理端进入web管理界面；
步骤1.2：在web管理界面配置部署采集代理的目标主机和登录信息；
步骤1.3：根据步骤1.2配置的信息，通过scp将采集代理程序包发送到待部署主机的配置目录下，所述采集代理程序包包括采集代理程序和flume采集器程序。
进一步地，所述步骤2具体步骤如下：
步骤2.1：在采集代理系统的远程管理端通过SSH协议查看采集代理是否已经部署；
步骤2.2：根据步骤2.1，若未部署，则返回步骤1.2；
步骤2.3：根据步骤2.1，若已经部署，则在采集代理系统的远程管理端通过SSH协议启动采集代理。
进一步地，所述步骤3具体步骤如下：
步骤3.1：为步骤1.2部署的采集代理分配flume采集任务；
步骤3.2：配置flume采集任务的相关属性和待采集主机的登录信息；
步骤3.3：将步骤3.2的flume采集任务配置信息转换成json格式；
步骤3.4：采集代理系统通过HTTP协议请求将步骤3.3的json格式数据发送给采集代理。
进一步地，所述步骤4具体步骤如下：
步骤4.1：采集代理接受flume采集器后，解析步骤2.4发送的json格式数据，生成flume采集器执行所需的配置文件；
步骤4.2：采集代理根据步骤4.1的配置文件启动flume采集器，若待采集主机与采集代理不在同一台主机上，采集代理则通过scp将flume采集器及其配置文件传输到待采集主机，启动flume采集器，对指定目标数据源进行采集；
步骤4.3：根据步骤4.2，若待采集主机与采集代理在同一台主机上，采集代理则通过SSH协议对待采集主机执行启动命令，启动flume采集器，对指定目标数据源进行采集。
进一步地，所述步骤5具体步骤如下：
步骤5.1：步骤4完成采集后，采集代理系统通过HTTP协议给采集代理发送停用某个flume采集器的指令；
步骤5.2：采集代理接收该指令，并解析指令；
步骤5.3：根据步骤5.2，采集代理通过SSH协议停用flume采集器。
进一步地，所述步骤6具体步骤如下：
步骤6.1：采集代理系统的远程管理端通过HTTP协议给采集代理发送停用采集代理的指令；
步骤6.2：采集代理接收该指令，并解析指令参数；
步骤6.3：根据步骤6.2，采集代理停止运行。
更进一步地，所述步骤3.2的相关属性包括flume采集器的source层配置、channel层配置和sink层配置。
更进一步地，所述flume采集器包括数据采集规则、脏数据过滤、数据缓存策略和数据采集存储目标。
本发明的具体实施例为：
步骤1：在采集代理系统中部署管理采集代理；
步骤1.1：启动采集代理系统，在远程管理端进入web管理界面；
步骤1.2：在web管理界面，配置部署采集代理的目标主机和登录信息，主要配置用户名、密码登陆或私钥登陆；
步骤1.3：根据步骤1.2配置的信息，通过scp将采集代理程序包发送到待部署主机的配置目录下，所述采集代理程序包包括采集代理程序和flume采集器程序。
步骤2：采集代理系统通过SSH协议启动部署好的采集代理；
步骤2.1：在采集代理系统的远程管理端通过SSH协议查看采集代理是否已经部署；
步骤2.2：根据步骤2.1，若未部署，则返回步骤1.2；
步骤2.3：根据步骤2.1，若已经部署，则在采集代理系统的远程管理端通过SSH协议启动采集代理。
步骤3：为步骤2的采集代理配置分发flume采集任务；
步骤3.1：为步骤1.2部署的采集代理分配flume采集任务；
步骤3.2：配置flume采集任务的相关属性和待采集主机的登录信息，包括flume采集器的source层配置、channel层配置和sink层配置，主要配置用户名、密码登陆或私钥登陆；
步骤3.3：将步骤3.2的flume采集任务配置信息转换成json格式；
步骤3.4：采集代理系统通过HTTP协议请求将步骤3.3的json格式数据发送给采集代理。
步骤4：采集代理根据步骤2的配置文件启动flume采集器，对指定目标数据源进行采集；
步骤4.1：采集代理接受flume采集器后，解析步骤2.4发送的json格式数据，生成flume采集器执行所需的配置文件；
步骤4.2：采集代理根据步骤4.1的配置文件启动flume采集器，若待采集主机与采集代理不在同一台主机上，采集代理则通过scp将flume采集器及其配置文件传输到待采集主机，启动flume采集器，对指定目标数据源进行采集；
步骤4.3：根据步骤4.2，若待采集主机与采集代理在同一台主机上，采集代理则通过SSH协议对待采集主机执行启动命令，启动flume采集器，对指定目标数据源进行采集。
步骤5：完成采集后，采集代理根据SSH协议停用flume采集器；
步骤5.1：步骤4完成采集后，采集代理系统通过HTTP协议给采集代理发送停用某个flume采集器的指令；
步骤5.2：采集代理接收该指令，并解析指令；
步骤5.3：根据步骤5.2，采集代理通过SSH协议停用flume采集器。
步骤6：根据步骤5，远程管理端再通过HTTP协议停用采集代理。
步骤6.1：采集代理系统的远程管理端通过HTTP协议给采集代理发送停用采集代理的指令；
步骤6.2：采集代理接收该指令，并解析指令参数；
步骤6.3：根据步骤6.2，采集代理停止运行。
本发明通过SSH和HTTP协议动态部署采集代理，管理采集代理启停，采集代理管理着每一个flume采集器，通过SSH到指定服务器启停flume采集器，可灵活配置flume采集器相关信息，满足不同用户的的需求，适用范围广，解决了分布式采集管理难度高、运维成本高的问题。
以上所述，仅为本发明的优选实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域的技术人员在本发明所揭露的技术范围内，可不经过创造性劳动想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书所限定的保护范围为准。

Claims (10)

1.一种基于Flume的分布式采集代理系统，其特征在于：包括系统管理部分和采集代理部分；
所述系统管理部分具体为远程管理端，所述采集代理部分包括采集代理和flume采集器；
所述远程管理端用于部署管理采集代理、配置分发flume采集任务、启动采集代理和停用采集代理；
所述采集代理部分用于根据系统管理部分分发的flume采集任务，解析采集任务配置信息、启动flume采集器进行数据采集和停用flume采集器。
2.一种基于Flume的分布式采集代理系统的实现方法，其特征在于，包括以下步骤：
步骤1：在采集代理系统中部署管理采集代理；
步骤2：采集代理系统通过SSH协议启动部署好的采集代理；
步骤3：为步骤2的采集代理配置分发flume采集任务；
步骤4：采集代理根据步骤3的配置文件启动flume采集器，对指定目标数据源进行采集；
步骤5：完成采集后，采集代理根据SSH协议停用flume采集器；
步骤6：根据步骤5，远程管理端再通过HTTP协议停用采集代理。
3.根据权利要求2所述的一种基于Flume的分布式采集代理系统的实现方法，其特征在于，所述步骤1具体步骤如下：
步骤1.1：启动采集代理系统，在远程管理端进入web管理界面；
步骤1.2：在web管理界面配置部署采集代理的目标主机和登录信息；
步骤1.3：根据步骤1.2配置的信息，通过scp将采集代理程序包发送到待部署主机的配置目录下，所述采集代理程序包包括采集代理程序和flume采集器程序。
4.根据权利要求2或3所述的一种基于Flume的分布式采集代理系统的实现方法，其特征在于，所述步骤2具体步骤如下：
步骤2.1：在采集代理系统的远程管理端通过SSH协议查看采集代理是否已经部署；
步骤2.2：根据步骤2.1，若未部署，则返回步骤1.2；
步骤2.3：根据步骤2.1，若已经部署，则在采集代理系统的远程管理端通过SSH协议启动采集代理。
5.根据权利要求2或3所述的一种基于Flume的分布式采集代理系统的实现方法，其特征在于，所述步骤3具体步骤如下：
步骤3.1：为步骤1.2部署的采集代理分配flume采集任务；
步骤3.2：配置flume采集任务的相关属性和待采集主机的登录信息；
步骤3.3：将步骤3.2的flume采集任务配置信息转换成json格式；
步骤3.4：采集代理系统通过HTTP协议请求将步骤3.3的json格式数据发送给采集代理。
6.根据权利要求2或4所述的一种基于Flume的分布式采集代理系统的实现方法，其特征在于，所述步骤4具体步骤如下：
步骤4.1：采集代理接受flume采集任务后，解析步骤2.4发送的json格式数据，生成flume采集器执行所需的配置文件；
步骤4.2：采集代理根据步骤4.1的配置文件启动flume采集器，若待采集主机与采集代理不在同一台主机上，采集代理则通过scp将flume采集器及其配置文件传输到待采集主机，启动flume采集器，对指定目标数据源进行采集；
步骤4.3：根据步骤4.2，若待采集主机与采集代理在同一台主机上，采集代理则通过SSH协议对待采集主机执行启动命令，启动flume采集器，对指定目标数据源进行采集。
7.根据权利要求2所述的一种基于Flume的分布式采集代理系统的实现方法，其特征在于，所述步骤5具体步骤如下：
步骤5.1：步骤4完成采集后，采集代理系统通过HTTP协议给采集代理发送停用某个flume采集器的指令；
步骤5.2：采集代理接收该指令，并解析指令；
步骤5.3：根据步骤5.2，采集代理通过SSH协议停用flume采集器。
8.根据权利要求2所述的一种基于Flume的分布式采集代理系统的实现方法，其特征在于，所述步骤6具体步骤如下：
步骤6.1：采集代理系统的远程管理端通过HTTP协议给采集代理发送停用采集代理的指令；
步骤6.2：采集代理接收该指令，并解析指令参数；
步骤6.3：根据步骤6.2，采集代理停止运行。
9.根据权利要求4所述的一种基于Flume的分布式采集代理系统的实现方法，其特征在于：所述步骤3.2的相关属性包括flume采集器的source层配置、channel层配置和sink层配置。
10.根据权利要求1至9所述的一种基于Flume的分布式采集代理系统及其实现方法，其特征在于：所述flume采集器包括数据采集规则、脏数据过滤、数据缓存策略和数据采集存储目标。
CN201810214372.2A 2018-03-15 2018-03-15 一种基于Flume的分布式采集代理系统及其实现方法 Pending CN108512911A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810214372.2A CN108512911A (zh) 2018-03-15 2018-03-15 一种基于Flume的分布式采集代理系统及其实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810214372.2A CN108512911A (zh) 2018-03-15 2018-03-15 一种基于Flume的分布式采集代理系统及其实现方法

Publications (1)

Publication Number Publication Date
CN108512911A true CN108512911A (zh) 2018-09-07

Family

ID=63377557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810214372.2A Pending CN108512911A (zh) 2018-03-15 2018-03-15 一种基于Flume的分布式采集代理系统及其实现方法

Country Status (1)

Country Link
CN (1) CN108512911A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109460412A (zh) * 2018-11-14 2019-03-12 北京锐安科技有限公司 数据聚合方法、装置、设备及存储介质
CN109714312A (zh) * 2018-11-19 2019-05-03 中国科学院信息工程研究所 一种基于外部威胁的采集策略生成方法及系统
CN110297871A (zh) * 2019-06-20 2019-10-01 常州冰鉴信息科技有限公司 一种异构数据实时采集的方法
CN110727441A (zh) * 2019-10-11 2020-01-24 北京明略软件系统有限公司 一种flume代理安装方法、系统及存储介质
CN112019362A (zh) * 2019-05-30 2020-12-01 中移(苏州)软件技术有限公司 数据传输方法、装置、服务器、终端、系统及存储介质
EP3800569A1 (en) * 2019-10-01 2021-04-07 Magnet Forensics Inc. System and method for targeted endpoint data acquisition

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102608970A (zh) * 2012-03-05 2012-07-25 浪潮通信信息系统有限公司 一种基于集中管理、自动调度的分布式数据采集的方法
US8700640B2 (en) * 2011-11-30 2014-04-15 Telefonaktiebolaget L M Ericsson (Publ) System or apparatus for finding influential users
CN104993957A (zh) * 2015-06-29 2015-10-21 浪潮软件股份有限公司 一种为使用Log4j的分布式应用提供云端日志服务的方法
CN106130960A (zh) * 2016-06-12 2016-11-16 微梦创科网络科技（中国）有限公司 盗号行为的判断系统、负载调度方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8700640B2 (en) * 2011-11-30 2014-04-15 Telefonaktiebolaget L M Ericsson (Publ) System or apparatus for finding influential users
CN102608970A (zh) * 2012-03-05 2012-07-25 浪潮通信信息系统有限公司 一种基于集中管理、自动调度的分布式数据采集的方法
CN104993957A (zh) * 2015-06-29 2015-10-21 浪潮软件股份有限公司 一种为使用Log4j的分布式应用提供云端日志服务的方法
CN106130960A (zh) * 2016-06-12 2016-11-16 微梦创科网络科技（中国）有限公司 盗号行为的判断系统、负载调度方法和装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109460412A (zh) * 2018-11-14 2019-03-12 北京锐安科技有限公司 数据聚合方法、装置、设备及存储介质
CN109714312A (zh) * 2018-11-19 2019-05-03 中国科学院信息工程研究所 一种基于外部威胁的采集策略生成方法及系统
CN112019362A (zh) * 2019-05-30 2020-12-01 中移(苏州)软件技术有限公司 数据传输方法、装置、服务器、终端、系统及存储介质
CN112019362B (zh) * 2019-05-30 2022-06-10 中移(苏州)软件技术有限公司 数据传输方法、装置、服务器、终端、系统及存储介质
CN110297871A (zh) * 2019-06-20 2019-10-01 常州冰鉴信息科技有限公司 一种异构数据实时采集的方法
EP3800569A1 (en) * 2019-10-01 2021-04-07 Magnet Forensics Inc. System and method for targeted endpoint data acquisition
US11277480B2 (en) 2019-10-01 2022-03-15 Magnet Forensics Investco Inc. System and method for targeted endpoint data acquisition
CN110727441A (zh) * 2019-10-11 2020-01-24 北京明略软件系统有限公司 一种flume代理安装方法、系统及存储介质

Similar Documents

Publication Publication Date Title
CN108512911A (zh) 一种基于Flume的分布式采集代理系统及其实现方法
CN107491488B (zh) 页面数据采集的方法和装置
CN102571396B (zh) 一种通讯网络系统及通讯设备的巡检子系统和巡检方法
CN105225076B (zh) 造价分析数据采集与处理系统
CN102571420B (zh) 一种网元数据管理方法及系统
CN103268226B (zh) 一种测试脚本文件生成方法及装置
CN105468664A (zh) 一种信息采集方法及装置
CN113709810B (zh) 一种网络服务质量的配置方法、设备和介质
CN104217270A (zh) 业务流程应用文件生成和执行方法、客户端、设备及系统
CN108833264A (zh) 基于微信小程序的数据采集管理系统、方法及应用
CN111382023A (zh) 代码故障定位方法、装置、设备及存储介质
CN101819584A (zh) 轻量级智能网页内容解析方法
CN110188308B (zh) 客户端自动打点上报方法、存储介质、设备及系统
CN107992326A (zh) 基于Struts2框架的Java自动化代码发布方法
CN109672534A (zh) 网络资源的处理方法、装置、存储介质和电子装置
CN104462166A (zh) 一种报表生成方法和系统
CN103593172B (zh) 面向统一结构化数据的应用程序的开发系统、方法及装置
CN106844096A (zh) 程序代码的处理方法和装置
KR101376226B1 (ko) 오픈 소스 통합 관리 방법 및 그 서버
CN112861059A (zh) 可视化组件生成方法、装置、计算机设备及可读存储介质
CN117076250A (zh) 一种数据处理的方法和装置
CN115563423A (zh) 数据采集方法、装置、计算机设备及存储介质
CN108075922A (zh) 一种电信网络管理系统
CN112866049A (zh) 服务器主机指标采集方法及系统
CN110309028A (zh) 监控信息获取方法、服务监控方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180907

RJ01 Rejection of invention patent application after publication