CN107872351B - 一种数据采集系统及采集方法 - Google Patents
一种数据采集系统及采集方法 Download PDFInfo
- Publication number
- CN107872351B CN107872351B CN201711185068.1A CN201711185068A CN107872351B CN 107872351 B CN107872351 B CN 107872351B CN 201711185068 A CN201711185068 A CN 201711185068A CN 107872351 B CN107872351 B CN 107872351B
- Authority
- CN
- China
- Prior art keywords
- collector
- management interface
- data collection
- control node
- master control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/22—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/12—Network monitoring probes
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Debugging And Monitoring (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明涉及一种数据采集系统及采集方法，包括相互连接的数据收集管理界面、总控制节点和数据库，所述总控制节点连接一个或多个执行器，所述执行器连接一个或多个采集器；所述总控制节点通过执行器来建立和监控采集器，并将采集器信息实时保存在数据库中；所述数据收集管理界面，从数据库中获取采集器信息显示，并可通过操作，控制总控制节点建立或操作采集器，本发明通过数据收集管理界面让使用者简单直接的可进行操作，并且通过总控制节点进行管理，建立采集器时只需要通过数据收集管理界面输入简单的采集器参数，简化了配置过程，并且可以配置本地或远程的适应不同需要的采集器，可满足不同的使用环境，使得本发明系统更加的通用。
Description
技术领域
本发明涉及一种数据采集系统及采集方法，属于数据采集技术领域。
背景技术
如今，人类和各行各业都在不断产生更多的数据，当前十分钟产生的数据比2001年一整年产生的数据还多。运维数据呈现出指数增长趋势，给IT运维人员的工作带来了极大的挑战。数据产生于一个架构的各个方面：自定义应用程序、网络架构、所有类型的服务器和传感器，以及各种社交应用。这个架构中的数据数量和数据类型是十分庞大的，数量可以高达几PB每天。而且这些数据是处于不断变化之中的。
运维数据不仅数量惊人，种类繁多，而且产出位置也各不相同，处理起来十分复杂，而我们往往需要在几秒钟内得到答案。我们需要有一种方法或方式能从海量数据中快递定位，找到问题，找到根因。同时，这些数量庞大的数据还包含了许多对企事业单位、各组织机构或个人都十分有价值的信息。我们需要一个集中、可扩展、高可用的数据采集系统，方便各种数据源数据的采集与汇集。
第一种采集技术是使用高级语言开发采集节点，针对不同的数据源编写采集端，然后部署到服务器或客户机器上进行日志采集。经过数据清洗后放入数据库或消息系统中。而开发操作要由开发人员开发，然后经实施人员部署到目标机器上，然后启动采集器，并由运维人员进行进程维护。
第二种采集技术是由开发人员开发出一套系统，在配置文件配置采集方式，采集器根据配置进行数据的采集和数据发送。这种方式仍需要实施人员进行配置文件的配置，采集方式的修改很不方便。且现有的采集系统采集方式有限，没法适应真实的采集环境。
其缺点有：不同的项目开发新的采集器使得采集器不具有通用性，并且开发人员变动后维护变得很困难且代码量会成倍增长。
以配置文件的方式创建采集器会给实施人员带来很大的压力，尤其当有成百上千的机器需要采集数据时更是困难。
扩展困难，想要重新创建一个采集器，需要到后台创建或重新在新的机器上布置软件然后创建采集器。
使用者不能知道采集器对所在机器的资源使用情况，尤其是当采集器直接部署在生产机器上时，客户十分关心资源的占用及对他们的影响，如果部署采集器时要做一些改变，就需要到机器上进行配置的修改。
发明内容
本发明要解决的技术问题是：为克服上述问题，提供一种数据采集系统及采集方法。
本发明解决其技术问题所采用的技术方案是：
一种数据采集系统，包括相互连接的数据收集管理界面、总控制节点和数据库，所述总控制节点连接一个或多个执行器，所述执行器连接一个或多个采集器；
所述总控制节点通过执行器来建立和监控采集器，并将采集器信息实时保存在数据库中；
所述数据收集管理界面，从数据库中获取采集器信息显示，并可通过操作，控制总控制节点建立或操作采集器。
优选地，还包括备用总控制节点和备用数据库；
所述备用总控制节点在总控制节点宕机后，替代总控制节点履行其全部功能；
所述备用数据库在数据库宕机后，替代数据库履行其全部功能。
优选地，所述数据收集管理界面包括节点管理界面、机器列表界面；
所述节点管理界面用于通过设置采集器参数建立采集器，并实时显示执行器和采集器的运行状态；
所述机器列表界面用于管理需要采集的远程机器及需要采集的日志信息。
优选地，所述采集器参数包括IP地址、类型和所属组织。
优选地，所述采集器可为远程采集器或本地采集器。
优选地，所述采集器至少包括远程Linux采集器、远程Windows采集器、SOAP采集器、Database采集器、Avro采集器、Thrift采集器、SYSLOG采集器、SNMP采集器、Starring采集器、Rotate File采集器或轮转文件采集器。
优选地，所述数据收集管理界面通过通信协议接口与总控制节点进行通信。
一种采用以上所述数据采集系统的数据采集方法，包括步骤：
S1：在采集系统中创建总控制节点和执行器；
S2：启动总控制节点、执行器和数据收集管理界面之间的通信；
S3:在数据收集管理界面上创建采集器并启动采集器采集数据。
优选地，在数据收集管理界面上通过填选配置信息来创建采集器。
优选地，所述步骤S3还包括：
在数据收集管理界面中编辑采集器配置信息；
在数据收集管理界面中停止采集器采集；
在数据收集管理界面中删除采集器；
在数据收集管理界面中清空历史采集器；
在数据收集管理界面中刷新当前采集器；
在数据收集管理界面中将执行器新建分组。
优选地，在新机器上进行远程采集时，机器列表界面可以添加显示条目、删除运行状态显示条目或刷新运行状态显示条目。
优选地，所述总控制节点、执行器和采集器的运作状态可以在节点管理界面进行监控；在故障产生时，节点管理界面发送提醒给用户，并将监控结果被发送至下一步骤，在报告页面展示。
优选地，所述采集器之间使用PRC协议和/或自定义协议进行数据流通信。
本发明的有益效果是：本发明通过数据收集管理界面让使用者简单直接的可进行操作，并且通过总控制节点对采集节点进行管理，建立采集器时只需要通过数据收集管理界面输入简单的采集器参数，简化了配置过程，并且可以配置本地或远程的适应不同需要的采集器，可满足不同的使用环境，使得本发明系统更加的通用。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明一个实施例的结构框图；
图2是本发明所述数据收集管理界面的一个操作界面；
图3是本发明所述数据收集管理界面的另一个操作界面；
图4是本发明所述数据收集管理界面的另一个操作界面。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
实施例1
如图1所示的本发明所述一种数据采集系统，包括相互连接的数据收集管理界面、总控制节点和数据库，所述总控制节点连接一个或多个执行器，所述执行器连接一个或多个采集器，所述执行器和采集器的数量根据使用者的需求选择创建，不具体限定数量；
所述总控制节点通过执行器来建立和监控采集器，并将采集器信息实时保存在数据库中；
所述数据收集管理界面，从数据库中获取采集器信息显示，并可通过操作，可方便使用者随时观察采集器状态和信息，可在界面中操作来控制总控制节点建立或操作采集器；
本发明通过数据收集管理界面让使用者简单直接的可进行操作，并且通过总控制节点进行管理，建立采集器时只需要通过数据收集管理界面输入简单的采集器参数，简化了配置过程，并且可以配置本地或远程的适应不同需要的采集器，可满足不同的使用环境，使得本发明采集系统更加的通用。
在优选的实施方式中，还优选包括备用总控制节点和备用数据库；所述备用总控制节点在总控制节点宕机后，替代总控制节点履行其全部功能；所述备用数据库在数据库宕机后，替代数据库履行其全部功能，在长期使用的过程中，由于总控节点和数据库都处理和存储大量数据，会负载过量而宕机，此时，本发明设置的备用总控节点和备用数据库可保证本采集系统继续正常运行。
在优选的实施方式中，所述数据收集管理界面包括节点管理界面、机器列表界面，除了上述界面外还可根据需要设置一些其他功能界面；
其中，所述节点管理界面用于通过设置采集器参数建立采集器，并实时显示执行器和采集器的运行状态，该采集器参数可为采集器使用时的要求，可根据使用者对于采集器的要求不用而具体设定，该参数对于本领域技术人员属于常规手段，在节点管理界面中通过参数来快速的设定采集器可满足不同的采集需求，并且管理效率高；
所述机器列表界面用于管理需要采集的远程机器及需要采集的日志信息，供使用者观测。
在优选的实施方式中，所述采集器参数包括IP地址、类型和所属组织，上述参数属于较为优选的参数，还可根据其他需要设置其他参数。
在优选的实施方式中，所述采集器可为远程采集器或本地采集器。
在优选的实施方式中，所述采集器至少包括远程Linux采集器、远程Windows采集器、SOAP采集器、Database采集器、Avro采集器、Thrift采集器、SYSLOG采集器、SNMP采集器、Starring采集器或Rotate File采集器，以上为本发明优选的采集器，但不限定于此。
在优选的实施方式中，所述数据收集管理界面通过通信协议接口与总控制节点进行通信。通信协议可采用REST、Thrift、Netty、SSH、TCP、UDP、RPC、ZMQ以及自定义协议。
实施例2
一种采用以上所述数据采集系统的数据采集方法，包括步骤：
S1：本实施例中，如图1所示，在采集系统中根据需要创建一个总控制节点，其设置的类型或名称可根据需要进行设置，并创建两个执行器；
S2：启动总控制节点、执行器和数据收集管理界面之间的通信，如图2所示，在数据收集管理界面中执行器列表中显示的两个执行器；
S3:在数据收集管理界面上创建采集器，总控制节点中的执行器根据采集器参数创建采集器，并启动采集器采集数据。
在优选的实施方式中，如图3中所示，在数据收集管理界面上通过填选配置信息来创建采集器，优选的包括IP地址、类型和所属组织，还可给采集器设置用户名和密码，配置完成后可根据图4选择需要采集的机器进行采集。
在优选的实施方式中，所述步骤S3中还包括以下操作：
在数据收集管理界面中编辑采集器配置信息；
在数据收集管理界面中停止采集器采集；
在数据收集管理界面中删除采集器；
在数据收集管理界面中清空历史采集器；
在数据收集管理界面中刷新当前采集器；
在数据收集管理界面中将执行器新建分组，
以上为数据收集管理界面的功能，还可根据需要设置其他的操作。
在优选的实施方式中，在新机器上进行远程采集时，机器列表界面可以添加显示条目、删除运行状态显示条目或刷新运行状态显示条目。
在优选的实施方式中，所述总控制节点、执行器和采集器的运作状态可以在节点管理界面进行监控；在故障产生时，节点管理界面发送提醒给用户，并将监控结果被发送至下一步骤，在报告页面展示，可及时提供使用者并提供详细报告供分析故障。
在优选的实施方式中，所述采集器之间使用PRC(Remote Procedure CallProtocol，远程过程调用协议)协议和/或自定义协议进行数据流通信。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。
Claims (11)
1.一种数据采集系统，其特征在于，包括相互连接的数据收集管理界面、总控制节点和数据库，所述总控制节点连接一个或多个执行器，所述执行器连接一个或多个采集器；
所述总控制节点通过执行器来建立和监控采集器，并将采集器信息实时保存在数据库中；
所述数据收集管理界面，从数据库中获取采集器信息显示，并可通过操作，控制总控制节点建立或操作采集器；
所述数据收集管理界面包括节点管理界面、机器列表界面；
所述节点管理界面用于通过设置采集器参数建立采集器，并实时显示执行器和采集器的运行状态；
所述机器列表界面用于管理需要采集的远程机器及需要采集的日志信息；
还包括备用总控制节点和备用数据库；
所述备用总控制节点在总控制节点宕机后，替代总控制节点履行其全部功能；
所述备用数据库在数据库宕机后，替代数据库履行其全部功能。
2.如权利要求1所述的数据采集系统，其特征在于，所述采集器参数包括IP地址、类型和所属组织。
3.如权利要求1-2任一项所述的数据采集系统，其特征在于，所述采集器可为远程采集器或本地采集器。
4.如权利要求1所述的数据采集系统，其特征在于，所述采集器至少包括远程Linux采集器、远程Windows采集器、SOAP采集器、Database采集器、Avro采集器、Thrift采集器、SYSLOG采集器、SNMP采集器、Starring采集器或轮转文件采集器。
5.如权利要求1所述的数据采集系统，其特征在于，所述数据收集管理界面通过通信协议接口与总控制节点进行通信。
6.一种采用权利要求1-5任一项所述数据采集系统的数据采集方法，其特征在于，包括步骤：
S1：在采集系统中创建总控制节点和执行器；
S2：启动总控制节点、执行器和数据收集管理界面之间的通信；
S3:在数据收集管理界面上创建采集器并启动采集器采集数据。
7.如权利要求6所述的数据采集方法，其特征在于，在数据收集管理界面上通过填选配置信息来创建采集器。
8.如权利要求6所述的数据采集方法，其特征在于，所述步骤S3还包括：
在数据收集管理界面中编辑采集器配置信息；
在数据收集管理界面中停止采集器采集；
在数据收集管理界面中删除采集器；
在数据收集管理界面中清空历史采集器；
在数据收集管理界面中刷新当前采集器；
在数据收集管理界面中将执行器新建分组。
9.如权利要求8所述的数据采集方法，其特征在于，在新机器上进行远程采集时，机器列表界面可以添加显示条目、删除运行状态显示条目或刷新运行状态显示条目。
10.如权利要求9所述的数据采集方法，其特征在于，所述总控制节点、执行器和采集器的运作状态可以在节点管理界面进行监控；在故障产生时，节点管理界面发送提醒给用户，并将监控结果被发送至下一步骤，在报告页面展示。
11.如权利要求10所述数据采集方法，其特征在于，所述采集器之间使用PRC协议和/或自定义协议进行数据流通信。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711185068.1A CN107872351B (zh) | 2017-11-23 | 2017-11-23 | 一种数据采集系统及采集方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711185068.1A CN107872351B (zh) | 2017-11-23 | 2017-11-23 | 一种数据采集系统及采集方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107872351A CN107872351A (zh) | 2018-04-03 |
| CN107872351B true CN107872351B (zh) | 2021-09-17 |
Family
ID=61754398
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711185068.1A Active CN107872351B (zh) | 2017-11-23 | 2017-11-23 | 一种数据采集系统及采集方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107872351B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109660428B (zh) * | 2018-12-24 | 2020-08-28 | 航天信息股份有限公司 | 高可用性集群系统 |
| CN110995538B (zh) * | 2019-12-03 | 2022-01-07 | 北京博睿宏远数据科技股份有限公司 | 网络数据采集方法、装置、系统、设备及存储介质 |
| CN112181779B (zh) * | 2020-09-28 | 2024-06-04 | 北京云歌科技有限责任公司 | 一种ai元数据的综合处理方法和系统 |
| CN114443574A (zh) * | 2020-11-03 | 2022-05-06 | 中兴通讯股份有限公司 | 获取采集数据格式文件的方法、装置和系统、设备、介质 |
| CN114356176A (zh) * | 2021-12-30 | 2022-04-15 | 中国民航信息网络股份有限公司 | 一种数据采集方法、采集系统、设备及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101908178A (zh) * | 2010-08-13 | 2010-12-08 | 广州联奕信息科技有限公司 | 应用于数据交换的中间件及数据交换方法 |
| CN102479225A (zh) * | 2010-11-26 | 2012-05-30 | 中国移动通信集团四川有限公司 | 一种分布式数据分析和处理方法及系统 |
| CN102739802A (zh) * | 2012-07-06 | 2012-10-17 | 广东电网公司汕头供电局 | 面向业务应用的it集中运维分析系统 |
| CN104486445A (zh) * | 2014-12-30 | 2015-04-01 | 北京天云融创软件技术有限公司 | 一种基于云平台的分布式可扩展资源监控系统及方法 |
| CN105635279A (zh) * | 2015-12-29 | 2016-06-01 | 长城信息产业股份有限公司 | 一种分布式监控系统及数据采集方法 |
| CN106528769A (zh) * | 2016-11-04 | 2017-03-22 | 乐视控股（北京）有限公司 | 一种数据采集方法及装置 |
-
2017
- 2017-11-23 CN CN201711185068.1A patent/CN107872351B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101908178A (zh) * | 2010-08-13 | 2010-12-08 | 广州联奕信息科技有限公司 | 应用于数据交换的中间件及数据交换方法 |
| CN102479225A (zh) * | 2010-11-26 | 2012-05-30 | 中国移动通信集团四川有限公司 | 一种分布式数据分析和处理方法及系统 |
| CN102739802A (zh) * | 2012-07-06 | 2012-10-17 | 广东电网公司汕头供电局 | 面向业务应用的it集中运维分析系统 |
| CN104486445A (zh) * | 2014-12-30 | 2015-04-01 | 北京天云融创软件技术有限公司 | 一种基于云平台的分布式可扩展资源监控系统及方法 |
| CN105635279A (zh) * | 2015-12-29 | 2016-06-01 | 长城信息产业股份有限公司 | 一种分布式监控系统及数据采集方法 |
| CN106528769A (zh) * | 2016-11-04 | 2017-03-22 | 乐视控股（北京）有限公司 | 一种数据采集方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107872351A (zh) | 2018-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107872351B (zh) | 一种数据采集系统及采集方法 | |
| CN107659453B (zh) | 通过zabbix监控大量TCP服务端口的方法 | |
| CN104699759B (zh) | 一种数据库自动化运行维护方法 | |
| CN101631053B (zh) | Eaps环网拓扑监控方法及系统 | |
| CN109214704A (zh) | 一种分布式智能化运维平台、方法、装置及可读存储介质 | |
| WO2023246347A1 (zh) | 数字孪生处理方法及数字孪生系统 | |
| JP2001356972A (ja) | ネットワーク監視システム及びネットワーク監視方法 | |
| CN107203617B (zh) | 基于MHA的mysql在线迁移系统及方法 | |
| US11343355B1 (en) | Automated mapping of multi-tier applications in a distributed system | |
| CN103973484B (zh) | 一种基于网络拓扑结构的运维管理系统 | |
| US20160127207A1 (en) | System for Analyzing an Industrial Control Network | |
| CN114553709B (zh) | 拓扑关系展示方法及相关设备 | |
| TW200426628A (en) | Method for data pre-population | |
| CN108227667A (zh) | 一种工厂设备管理系统及管理方法 | |
| CN113778486A (zh) | 一种代码流水线的容器化处理方法、装置、介质及设备 | |
| CN101149680A (zh) | 动态变更的、图形化配置的资源管理方法 | |
| US11531612B2 (en) | Methods for providing an enterprise synthetic monitoring framework | |
| CN113094053A (zh) | 产品的交付方法及装置、计算机存储介质 | |
| CN111817865A (zh) | 一种监控网管设备的方法及监控系统 | |
| CN113824801B (zh) | 一种智能融合终端统一接入管理组件系统 | |
| CN111045757A (zh) | It资源运行状态的可视化展示系统和方法及存储介质 | |
| CN115934464A (zh) | 一种信息化平台监控采集系统 | |
| CN112135302B (zh) | 基站拓扑信息的控制方法、装置及计算机可读存储介质 | |
| CN113886665A (zh) | 自动化运维方法、装置、设备及存储介质 | |
| CN110134433A (zh) | 一种微服务状态获取方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230427 Address after: Rooms 601-604, 6th Floor, Building 4, No. 1 Lanxiangou, Haidian District, Beijing, 100089 Patentee after: BEIJING ADVANCED DIGITAL TECHNOLOGY Co.,Ltd. Address before: 215000, floor 6, building 2, complex building, No. 18, Kechuang Road, science and Technology City, high tech Zone, Suzhou, Jiangsu Province Patentee before: SUZHOU YOSEMEI INTELLIGENT SYSTEM CO.,LTD. |
|
| TR01 | Transfer of patent right |