CN114584593A - 一种基于集群状态感知的数据采集系统及方法 - Google Patents
一种基于集群状态感知的数据采集系统及方法 Download PDFInfo
- Publication number
- CN114584593A CN114584593A CN202210315031.0A CN202210315031A CN114584593A CN 114584593 A CN114584593 A CN 114584593A CN 202210315031 A CN202210315031 A CN 202210315031A CN 114584593 A CN114584593 A CN 114584593A
- Authority
- CN
- China
- Prior art keywords
- data
- cluster
- state
- node
- acquisition system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000008447 perception Effects 0.000 title claims abstract description 10
- 238000004140 cleaning Methods 0.000 claims abstract description 19
- 230000005540 biological transmission Effects 0.000 claims abstract description 16
- 230000002776 aggregation Effects 0.000 claims abstract description 10
- 238000004220 aggregation Methods 0.000 claims abstract description 10
- 238000004891 communication Methods 0.000 claims abstract description 4
- 238000001514 detection method Methods 0.000 claims description 22
- 238000013523 data management Methods 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 230000007613 environmental effect Effects 0.000 claims description 11
- 108010028984 3-isopropylmalate dehydratase Proteins 0.000 claims description 5
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 238000007726 management method Methods 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/08—Protocols for interworking; Protocol conversion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/18—Multiprotocol handlers, e.g. single devices capable of handling multiple protocols
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Abstract
本发明公开了一种基于集群状态感知的数据采集系统及方法，属于计算机技术领域，包括依次通信连接的数据汇聚模块、数据清洗模块、数据传输模块。本发明支撑平台为种多元异构集群平台，在满足用户需求的同时提高了数据安全和数据自主管理能力；通过提供HTTP、MQTT等多种应用层协议接口，适用于各型设备数据采集，大大提高该数据采集方法的通用性和兼容性；在采集系统正常运行的前提下，可以通过采集到的数据调整集群调度算法，监控集群各节点的状态，在节点发生故障时快速定位问题，并分析故障产生原因；用户可以根据实际需要增加或减少采集的数据类型，满足不同集群调度算法的需求。
Description
技术领域
本发明涉及计算机技术领域，具体涉及一种基于集群状态感知的数据采集系统及方法。
背景技术
为了给基于种多元异构集群平台的集群调度提供决策支持，监控集群运行状态，需要采集集群相关参数，了解在任务处理过程中的集群状态参数变化，根据上述参数确定集群的调度策略或者确认集群环境安全，同时支撑自主可控数据管理平台和可视化平台来满足业务需求。
现有的数据采集系统通常缺乏对多元异构平台下的集群系统提供支持。为此，提出一种基于集群状态感知的数据采集系统。
发明内容
本发明所要解决的技术问题在于：如何解决现有的数据采集系统通常缺乏对多元异构平台下的集群系统提供支持的问题，提供了一种基于集群状态感知的数据采集系统，为了更好的满足多元异构平台下的集群调度策略支持，维持集群运行状态的稳定，需要对集群内各节点的数据进行采集。
本发明是通过以下技术方案解决上述技术问题的，本发明包括依次通信连接的数据汇聚模块、数据清洗模块、数据传输模块；
所述数据汇聚模块，用于采集集群状态数据；
所述数据清洗模块，用于对采集的集群状态数据进行可靠性检测、转换处理；
所述数据传输模块，用于将经过可靠性检测、数据转换处理传输到集群后台数据管理平台。
更进一步地，所述集群状态数据包括基本信息、运行状态数据、IT资源数据、环境数据；其中，基本信息数据为集群各节点的基本信息，运行状态数据为集群各节点的运行状态数据，IT资源数据为集群内服务器节点、存储设备和网络设备的资源利用情况；环境数据为集群各节点上配置的传感器采集的环境数据。
更进一步地，在所述数据汇聚模块中，通过在集群各节点上配置SNMP协议，用于采集集群各节点的基本信息和IT资源数据，根据用户需要增加或者减少采集的数据类型；通过在集群各节点配置IPMI协议，用于采集集群各节点的运行状态数据；通过MQTT协议,用于采集集群各节点上配置的传感器采集的环境数据。
更进一步地，基本信息包括内存大小、磁盘容量、cpu描述信息、网络接口描述、接口物理地址、机器名、核心数；运行状态数据包括开机时间、CPU温度数据、CPU负载；环境数据包括温湿度、消防状态。
更进一步地，在所述采集集群状态数据后，根据用户设置的采集间隔，定期发送数据到数据清洗模块中。
更进一步地，在所述数据清洗模块中，可靠性检测处理时根据历史数据和系统阈值，将采集到的数据进行可靠性检测，将超出阈值或大幅偏离历史数据的采集结果直接进行告警。
更进一步地，在所述数据清洗模块中，转换处理时将经过可靠性检测处理后的数据转换成指定格式传输到数据传输模块。
更进一步地，在所述数据传输模块中，将采集到的数据进行规整，统一转换为集群后台数据管理平台规定的JSON格式，再将数据传输到集群后台数据管理平台。
本发明还提供了一种基于集群状态感知的数据采集方法，用于利用上述的采集集群各节点的状态数据并推送至集群后台数据管理平台，包括以下步骤：
S1：采集集群状态数据，根据用户设置的采集间隔，定期发送数据到数据清洗模块中；
S2：对采集的集群状态数据进行可靠性检测、转换处理；
S3：将经过可靠性检测、数据转换处理传输到集群后台数据管理平台。
本发明相比现有技术具有以下优点：该基于集群状态感知的数据采集系统，支撑平台为种多元异构集群平台，在满足用户需求的同时提高了数据安全和数据自主管理能力；通过提供HTTP、MQTT等多种应用层协议接口，适用于各型设备数据采集，大大提高该数据采集方法的通用性和兼容性；在采集系统正常运行的前提下，可以通过采集到的数据调整集群调度算法，监控集群各节点的状态，在节点发生故障时快速定位问题，并分析故障产生原因；用户可以根据实际需要增加或减少采集的数据类型，满足不同集群调度算法的需求。
附图说明
图1是本发明实施例二中数据采集系统架构图。
图中：1、设备产生的原始数据；2、格式转换后的数据；3、存入数据库的数据。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例一
本实施例提供一种技术方案：一种基于集群状态感知的数据采集系统，包括依次通信连接的数据汇聚模块、数据清洗模块、数据传输模块；
所述数据汇聚模块，用于采集集群状态数据；
所述数据清洗模块，用于对采集的集群状态数据进行可靠性检测、转换处理；
所述数据传输模块，用于将经过可靠性检测、数据转换处理传输到集群后台数据管理平台。
在本实施例中，所述集群状态数据包括基本信息、运行状态数据、IT资源数据、环境数据；其中，基本信息数据为集群各节点的基本信息，运行状态数据为集群各节点的运行状态数据，IT资源数据为集群内服务器节点、存储设备和网络设备的资源利用情况；环境数据为集群各节点上配置的传感器采集的环境数据。
在本实施例中，在所述数据汇聚模块中，通过在集群各节点上配置SNMP协议，用于采集集群各节点的基本信息和IT资源数据，根据用户需要增加或者减少采集的数据类型；通过在集群各节点配置IPMI协议，用于采集集群各节点的运行状态数据；通过MQTT协议,用于采集集群各节点上配置的传感器采集的环境数据。
在本实施例中，基本信息包括内存大小、磁盘容量、cpu描述信息、网络接口描述、接口物理地址、机器名、核心数；运行状态数据包括开机时间、CPU温度数据、CPU负载；环境数据包括温湿度、消防状态。
在本实施例中，在所述采集集群状态数据后，根据用户设置的采集间隔，定期发送数据到数据清洗模块中。
在本实施例中，在所述数据清洗模块中，可靠性检测处理时根据历史数据和系统阈值，将采集到的数据进行可靠性检测，将超出阈值或大幅偏离历史数据的采集结果直接进行告警。
在本实施例中，在所述数据清洗模块中，转换处理时将经过可靠性检测处理后的数据转换成指定格式传输到数据传输模块。
在本实施例中，在所述数据传输模块中，将采集到的数据进行规整，统一转换为集群后台数据管理平台规定的JSON格式，再将数据传输到集群后台数据管理平台。
实施例二
如图1所示，本实施例中，本发明的数据采集系统包括集群状态数据采集、数据可靠性检测、数据格式转换、数据传输四大功能。为考虑系统的稳健性，可维护性，对部分功能模块可做向下拆分，其中集群状态数据采集功能包括基本信息采集、运行状态采集、IT资源采集、环境数据采集；数据格式转换功能包括JSON、字符串、字典等格式的相互转换，将数据转化为数据管理平台识别的格式；数据传输功能将经过格式转换后的数据通过http、mqtt协议传输到数据管理平台。
在集群各节点上配置SNMP协议，用以采集集群各节点的基本信息，可以根据用户需要增加或者减少采集的数据类型；在集群各节点配置IPMI协议，用以采集集群各节点的运行状态和IT资源数据；通过MQTT协议,用以传输集群各节点上配置的传感器采集的环境数据。
在本实施例中，数据汇聚模块用于实现本系统的集群状态数据采集功能，具体的，通过SNMP协议采集集群中各节点的基本信息：内存大小、磁盘容量、cpu描述信息、网络接口描述、接口物理地址、机器名、核心数；通过IPMI协议采集集群中各节点的运行状态数据：开机时间、CPU温度数据、CPU负载；通过传感器采集集群环境数据：温湿度、消防状态。根据用户设置的采集间隔，定期发送数据到数据清洗模块。
在本实施例中，数据清洗模块用于实现本系统的数据可靠性检测、数据格式转换功能，具体的，将根据历史数据和系统阈值，将采集到的数据进行可靠性检测，超出阈值或大幅偏离历史数据的采集结果会直接进行告警；最后将数据转换成专用格式传输到集群后台数据管理平台。
在本实施例中，数据推送模块用于实现本系统的数据传输功能，具体的，将采集到的数据进行规整，统一转换为数据管理平台规定的JSON格式对数据进行处理后，将数据传输到数据管理平台。
综上所述，上述实施例的基于集群状态感知的数据采集系统，支撑平台为种多元异构集群平台，在满足用户需求的同时提高了数据安全和数据自主管理能力；通过提供HTTP、MQTT等多种应用层协议接口，适用于各型设备数据采集，大大提高该数据采集方法的通用性和兼容性；在采集系统正常运行的前提下，可以通过采集到的数据调整集群调度算法，监控集群各节点的状态，在节点发生故障时快速定位问题，并分析故障产生原因；用户可以根据实际需要增加或减少采集的数据类型，满足不同集群调度算法的需求。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (9)
1.一种基于集群状态感知的数据采集系统，其特征在于，包括：依次通信连接的数据汇聚模块、数据清洗模块、数据传输模块；
所述数据汇聚模块，用于采集集群状态数据；
所述数据清洗模块，用于对采集的集群状态数据进行可靠性检测、转换处理；
所述数据传输模块，用于将经过可靠性检测、数据转换处理传输到集群后台数据管理平台。
2.根据权利要求1所述的一种基于集群状态感知的数据采集系统，其特征在于：所述集群状态数据包括基本信息、运行状态数据、IT资源数据、环境数据；其中，基本信息数据为集群各节点的基本信息，运行状态数据为集群各节点的运行状态数据，IT资源数据为集群内服务器节点、存储设备和网络设备的资源利用情况；环境数据为集群各节点上配置的传感器采集的环境数据。
3.根据权利要求2所述的一种基于集群状态感知的数据采集系统，其特征在于：在所述数据汇聚模块中，通过在集群各节点上配置SNMP协议，用于采集集群各节点的基本信息和IT资源数据，根据用户需要增加或者减少采集的数据类型；通过在集群各节点配置IPMI协议，用于采集集群各节点的运行状态数据；通过MQTT协议采集集群各节点上配置的传感器采集的环境数据。
4.根据权利要求3所述的一种基于集群状态感知的数据采集系统，其特征在于：基本信息包括内存大小、磁盘容量、cpu描述信息、网络接口描述、接口物理地址、机器名、核心数；运行状态数据包括开机时间、CPU温度数据、CPU负载；环境数据包括温湿度、消防状态。
5.根据权利要求4所述的一种基于集群状态感知的数据采集系统，其特征在于：在所述采集集群状态数据后，根据用户设置的采集间隔，定期发送数据到数据清洗模块中。
6.根据权利要求5所述的一种基于集群状态感知的数据采集系统，其特征在于：在所述数据清洗模块中，可靠性检测处理时根据历史数据和系统阈值，将采集到的数据进行可靠性检测，将超出阈值或大幅偏离历史数据的采集结果直接进行告警。
7.根据权利要求6所述的一种基于集群状态感知的数据采集系统，其特征在于：在所述数据清洗模块中，转换处理时将经过可靠性检测处理后的数据转换成指定格式传输到数据传输模块。
8.根据权利要求7所述的一种基于集群状态感知的数据采集系统，其特征在于：在所述数据传输模块中，将采集到的数据进行规整，统一转换为集群后台数据管理平台规定的JSON格式，再将数据传输到集群后台数据管理平台。
9.一种基于集群状态感知的数据采集方法，其特征在于，利用如权利要求1～8任一项所述的采集集群各节点的状态数据并推送至集群后台数据管理平台，包括以下步骤：
S1：采集集群状态数据，根据用户设置的采集间隔，定期发送数据到数据清洗模块中；
S2：对采集的集群状态数据进行可靠性检测、转换处理；
S3：将经过可靠性检测、数据转换处理传输到集群后台数据管理平台。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210315031.0A CN114584593A (zh) | 2022-03-28 | 2022-03-28 | 一种基于集群状态感知的数据采集系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210315031.0A CN114584593A (zh) | 2022-03-28 | 2022-03-28 | 一种基于集群状态感知的数据采集系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114584593A true CN114584593A (zh) | 2022-06-03 |
Family
ID=81781935
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210315031.0A Pending CN114584593A (zh) | 2022-03-28 | 2022-03-28 | 一种基于集群状态感知的数据采集系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114584593A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115378830A (zh) * | 2022-08-19 | 2022-11-22 | 百倍云(浙江)物联科技有限公司 | 一种生态环境监测系统稳定性监控方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150081126A (ko) * | 2014-01-03 | 2015-07-13 | 주식회사 테크인모션 | Api 드라이버를 이용한 웹서버와 빅데이터 클러스터 기반의 빅데이터 서비스 시스템 |
| CN104954184A (zh) * | 2015-06-15 | 2015-09-30 | 四川长虹电器股份有限公司 | 云端后台服务器集群的监控、告警方法及系统 |
| CN105718351A (zh) * | 2016-01-08 | 2016-06-29 | 北京汇商融通信息技术有限公司 | 一种面向Hadoop集群的分布式监控管理系统 |
| CN108829509A (zh) * | 2018-05-03 | 2018-11-16 | 山东汇贸电子口岸有限公司 | 基于国产cpu和操作系统的分布式容器集群框架资源管理方法 |
| CN109067618A (zh) * | 2018-09-06 | 2018-12-21 | 北京奥技异科技发展有限公司 | 分布式实时数据iot采集系统及方法 |
| CN112327777A (zh) * | 2020-11-13 | 2021-02-05 | 上海能誉科技股份有限公司 | 一种数据采集系统及方法 |
-
2022
- 2022-03-28 CN CN202210315031.0A patent/CN114584593A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150081126A (ko) * | 2014-01-03 | 2015-07-13 | 주식회사 테크인모션 | Api 드라이버를 이용한 웹서버와 빅데이터 클러스터 기반의 빅데이터 서비스 시스템 |
| CN104954184A (zh) * | 2015-06-15 | 2015-09-30 | 四川长虹电器股份有限公司 | 云端后台服务器集群的监控、告警方法及系统 |
| CN105718351A (zh) * | 2016-01-08 | 2016-06-29 | 北京汇商融通信息技术有限公司 | 一种面向Hadoop集群的分布式监控管理系统 |
| CN108829509A (zh) * | 2018-05-03 | 2018-11-16 | 山东汇贸电子口岸有限公司 | 基于国产cpu和操作系统的分布式容器集群框架资源管理方法 |
| CN109067618A (zh) * | 2018-09-06 | 2018-12-21 | 北京奥技异科技发展有限公司 | 分布式实时数据iot采集系统及方法 |
| CN112327777A (zh) * | 2020-11-13 | 2021-02-05 | 上海能誉科技股份有限公司 | 一种数据采集系统及方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115378830A (zh) * | 2022-08-19 | 2022-11-22 | 百倍云(浙江)物联科技有限公司 | 一种生态环境监测系统稳定性监控方法 |
| CN115378830B (zh) * | 2022-08-19 | 2024-03-26 | 百倍云(浙江)物联科技有限公司 | 一种生态环境监测系统稳定性监控方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110247810B (zh) | 一种收集容器服务监控数据的系统及方法 | |
| CN107390650B (zh) | 一种基于物联网的数据采集系统及基于该系统的数据压缩方法 | |
| CN110688280B (zh) | 一种告警事件的管理系统、方法、设备和存储介质 | |
| CN101631053B (zh) | Eaps环网拓扑监控方法及系统 | |
| CN110659109B (zh) | 一种openstack集群虚拟机监控系统及方法 | |
| CN201821366U (zh) | 一种机房环境温湿度实时监控系统 | |
| CN103973815A (zh) | 一种跨数据中心存储环境统一监控方法 | |
| CN103905333A (zh) | 一种物联网多协议接入转换装置及其控制方法 | |
| CN109547240B (zh) | 基于边缘计算的智能设备以及接入与设备的解析方法 | |
| CN111625419B (zh) | 一种日志采集方法、系统、设备及计算机可读存储介质 | |
| CN101651556A (zh) | 服务器监控系统及监控方法 | |
| CN112347105B (zh) | 一种基于资源树的通用数据服务平台 | |
| CN103259684A (zh) | 互联网业务监控方法和系统 | |
| CN103795575A (zh) | 一种面向多数据中心的系统监控方法 | |
| CN103905219A (zh) | 一种业务平台中通信信息的监控存储系统及方法 | |
| CN114584593A (zh) | 一种基于集群状态感知的数据采集系统及方法 | |
| CN114689129B (zh) | 一种地下空间环境监控系统和方法 | |
| CN114201540A (zh) | 工业多源数据采集及存储系统 | |
| WO2015192664A1 (zh) | 设备监控方法及装置 | |
| EP2882216B1 (en) | Device and method for controlling, supervising and giving an alarming from a power supply of base station | |
| CN103796343A (zh) | M2m网关设备及其应用方法 | |
| CN114584429A (zh) | 工业智能物联网网关 | |
| CN112131023B (zh) | 应用容器引擎的消息处理系统、方法、设备及存储介质 | |
| CN110677293B (zh) | 一种基于机房运维管理平台的告警系统 | |
| CN107682906B (zh) | 机房内巡检数据通信方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220603 |
|
| RJ01 | Rejection of invention patent application after publication |