CN115277794B - 一种基于多种协议的智能数据采集方法和系统 - Google Patents
一种基于多种协议的智能数据采集方法和系统 Download PDFInfo
- Publication number
- CN115277794B CN115277794B CN202211177582.1A CN202211177582A CN115277794B CN 115277794 B CN115277794 B CN 115277794B CN 202211177582 A CN202211177582 A CN 202211177582A CN 115277794 B CN115277794 B CN 115277794B
- Authority
- CN
- China
- Prior art keywords
- protocol
- intelligent
- data
- intelligent equipment
- combination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/26—Special purpose or proprietary protocols or architectures
Landscapes
- Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Security & Cryptography (AREA)
- Computer And Data Communications (AREA)
- Maintenance And Management Of Digital Transmission (AREA)
Abstract
本发明提出了一种基于多种协议的智能数据采集方法和系统;所述智能数据采集方法包括根据智能设备的不同种类进行数据采集过程中不同协议的差异化设置;利用第一协议组合、第二协议组合或第三协议组合结合agent探针分别对智能设备运行的硬件参数数据和网络安全事件进行数据采集,获得智能设备运行参数数据;利用MQTT协议将所述智能设备运行参数数据传输至数据库进行存储;定时采集智能设备对于网络故障时的处理方式,并将所述处理方式发送至数据中心站点。所述系统包括与所述方法步骤对应的模块。
Description
技术领域
本发明提出了一种基于多种协议的智能数据采集方法和系统。
背景技术
物联网或者互联网网络中包括多个种类的智能设备,每种智能设备针对的采集对应和观察监控数据也有所不同,并且每种智能设备的实际硬件参数配置也有所不同。然而,现有的智能设备运行数据的采集任然采用统一一致的协议进行智能设备自身硬件运行参数的采集,常常导致协议与智能设备自身参数配置不符导致运行参数采集效率较低的问题发生。
发明内容
本发明提供了一种基于多种协议的智能数据采集方法和系统,用以解决现有数据采集过程中,采用统一协议导致智能设备数据采集差异性低进而导致协议组合与智能设备实际情况不匹配而降低数据采集效率的问题,所采取的技术方案如下:
一种基于多种协议的智能数据采集方法,所述智能数据采集方法包括:
根据智能设备的不同种类进行数据采集过程中不同协议的差异化设置;
利用第一协议组合、第二协议组合或第三协议组合结合agent探针分别对智能设备运行的硬件参数数据和网络安全事件进行数据采集,获得智能设备运行参数数据;
利用MQTT协议将所述智能设备运行参数数据传输至数据库进行存储;
定时采集智能设备对于网络故障时的处理方式,并将所述处理方式发送至数据中心站点。
进一步地,根据智能设备的不同种类进行数据采集过程中不同协议的差异化设置,包括:
当具有多种类的智能设备同时运行时,提取所述智能设备中所包含的设备种类;
针对每个设备种类设置与所述设备种类对应的唯一标识码,并利用所述唯一标识码对智能设备进行标识,获得带有设备种类的唯一标识码的智能设备;
按照所述唯一标识码依次提取每种设备类型下的各智能设备内存空间和分区参数,并利用各智能设备内存空间和分区参数获取每个智能设备对应的协议归属参考值;
通过所述协议归属参考值确定每个智能设备使用的协议组合。
进一步地,利用第一协议组合、第二协议组合或第三协议组合结合agent探针分别对智能设备运行的硬件参数数据和网络安全事件进行数据采集,获得智能设备运行参数数据,包括:
通过第一协议组合、第二协议组合或第三协议组合中的第一子协议对智能设备运行时的硬盘、CPU、内存、网卡和分区进行参数数据采集,获得第一运行参数数据;
通过第一协议组合、第二协议组合或第三协议组合中的第二子协议对智能设备运行时的功耗、风扇运行和设备温度进行参数数据采集,获得第二运行参数数据;
通过agent探针对智能设备运行的网络安全事件进行探测采集,并将采集到的网络安全事件发送至网络安全监测装置进行安全检测,同时生成日志文件记录网络安全事件探测情况。
进一步地,利用MQTT协议将所述智能设备运行参数数据传输至数据库进行存储,包括:
利用MQTT协议将所述智能设备运行参数数据发送至分布式发布订阅消息系统;
所述分布式发布订阅消息系统将所述智能设备运行参数数据传输至数据库;
所述数据库将接收到的智能设备运行参数数据后,将其存储至nosql数据库elsticsearch。
进一步地,定时采集智能设备对于网络故障时的处理方式,并将所述处理方式发送至数据中心站点,包括:
针对不同协议组合的智能设备设置不同的采集时段;
在所述采集时段对应时刻对对应设备种类的智能设备进行网络故障的处理方式的数据采集,获得网络故障处理数据;
将所述网络故障处理数据通过MQTT协议发送至数据中心站点。
一种基于多种协议的智能数据采集系统,所述智能数据采集系统包括:
差异化设置模块,用于根据智能设备的不同种类进行数据采集过程中不同协议的差异化设置;
运行参数获取模块,用于利用第一协议组合、第二协议组合或第三协议组合结合agent探针分别对智能设备运行的硬件参数数据和网络安全事件进行数据采集,获得智能设备运行参数数据;
存储模块,用于利用MQTT协议将所述智能设备运行参数数据传输至数据库进行存储;
定时采集模块,用于定时采集智能设备对于网络故障时的处理方式,并将所述处理方式发送至数据中心站点。
进一步地,所述差异化设置模块包括:
种类提取模块,用于当具有多种类的智能设备同时运行时,提取所述智能设备中所包含的设备种类;
标识码模块,用于针对每个设备种类设置与所述设备种类对应的唯一标识码,并利用所述唯一标识码对智能设备进行标识,获得带有设备种类的唯一标识码的智能设备;
参考值获取模块,用于按照所述唯一标识码依次提取每种设备类型下的各智能设备内存空间和分区参数,并利用各智能设备内存空间和分区参数获取每个智能设备对应的协议归属参考值;
协议组合确定模块,用于通过所述协议归属参考值确定每个智能设备使用的协议组合。
进一步地,所述运行参数获取模块包括:
第一采集模块,用于通过第一协议组合、第二协议组合或第三协议组合中的第一子协议对智能设备运行时的硬盘、CPU、内存、网卡和分区进行参数数据采集,获得第一运行参数数据;
第二采集模块,用于通过第一协议组合、第二协议组合或第三协议组合中的第二子协议对智能设备运行时的功耗、风扇运行和设备温度进行参数数据采集,获得第二运行参数数据;
第三采集模块,用于通过agent探针对智能设备运行的网络安全事件进行探测采集,并将采集到的网络安全事件发送至网络安全监测装置进行安全检测,同时生成日志文件记录网络安全事件探测情况。
进一步地,所述存储模块包括:
发送模块,用于利用MQTT协议将所述智能设备运行参数数据发送至分布式发布订阅消息系统;
传输模块,用于所述分布式发布订阅消息系统将所述智能设备运行参数数据传输至数据库;
数据存储模块,用于所述数据库将接收到的智能设备运行参数数据后,将其存储至nosql数据库elsticsearch。
进一步地,所述定时采集模块包括:
时段设置模块,用于针对不同协议组合的智能设备设置不同的采集时段;
故障数据采集模块,用于在所述采集时段对应时刻对对应设备种类的智能设备进行网络故障的处理方式的数据采集,获得网络故障处理数据;
故障数据发送模块,用于将所述网络故障处理数据通过MQTT协议发送至数据中心站点。
本发明有益效果:
本发明提出的一种基于多种协议的智能数据采集方法和系统通过结合智能设备的不同的硬件实际配置设置不同的协议组合进行硬件运行参数的数据采集,能够有效提高用于数据采集的多协议组合与智能设备实际硬件参数配置的匹配性,进而有效提高多协议组合对智能设备实际运行过程中的硬件运行参数采集效率,同时,由于多协议组合与智能设备实际硬件参数配置的高匹配性,能够有效降低智能设备运行过程中硬件运行参数数据采集的故障发生率,进而有效提高多协议组合对智能设备硬件运行参数数据采集的运行稳定性。
附图说明
图1为本发明所述方法的流程图一;
图2为本发明所述系统的系统框图一;
图3为本发明所述系统的系统框图二。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
本发明实施例提出了一种基于多种协议的智能数据采集方法,如图1所示,不同协议组合对应不同的服务器,所述智能数据采集方法包括:
S1、根据智能设备的不同种类进行数据采集过程中不同协议的差异化设置,确定每个智能设备的数据采集对应的协议组合;
S2、利用第一协议组合、第二协议组合或第三协议组合结合agent探针分别对智能设备运行的硬件参数数据和网络安全事件进行数据采集,获得智能设备运行参数数据;
S3、利用MQTT协议将所述智能设备运行参数数据传输至数据库进行存储;
S4、定时采集智能设备对于网络故障时的处理方式,并将所述处理方式发送至数据中心站点。
其中,所述第一协议组合包括:snmp协议和ipmi协议;所述第二协议组合包括:snmp协议和cmis/cmip协议;所述第三协议组合包括:ipmi协议和cmis/cmip协议。
上述技术方案的工作原理为:首先,根据智能设备的不同种类进行数据采集过程中不同协议的差异化设置,确定每个智能设备的数据采集对应的协议组合;然后,利用第一协议组合、第二协议组合或第三协议组合结合agent探针分别对智能设备运行的硬件参数数据和网络安全事件进行数据采集,获得智能设备运行参数数据;随后,利用MQTT协议将所述智能设备运行参数数据传输至数据库进行存储;最后,定时采集智能设备对于网络故障时的处理方式,并将所述处理方式发送至数据中心站点。
上述技术方案的效果为:本实施例提出的一种基于多种协议的智能数据采集方法通过结合智能设备的不同的硬件实际配置设置不同的协议组合进行硬件运行参数的数据采集,能够有效提高用于数据采集的多协议组合与智能设备实际硬件参数配置的匹配性,进而有效提高多协议组合对智能设备实际运行过程中的硬件运行参数采集效率,同时,由于多协议组合与智能设备实际硬件参数配置的高匹配性,能够有效降低智能设备运行过程中硬件运行参数数据采集的故障发生率,进而有效提高多协议组合对智能设备硬件运行参数数据采集的运行稳定性。
本发明的一个实施例,根据智能设备的不同种类进行数据采集过程中不同协议的差异化设置,包括:
S101、当具有多种类的智能设备同时运行时,提取所述智能设备中所包含的设备种类;
S102、针对每个设备种类设置与所述设备种类对应的唯一标识码,并利用所述唯一标识码对智能设备进行标识,获得带有设备种类的唯一标识码的智能设备;
S103、按照所述唯一标识码依次提取每种设备类型下的各智能设备内存空间和分区参数,并利用各智能设备内存空间和分区参数获取每个智能设备对应的协议归属参考值;其中,所述协议归属参考值通过如下公式获取:
其中,I表示协议归属参考值;E 0表示预先设置的内容参考标准值,E 0的取值范围为4G-12G,优选为8G;E表示当前智能设备的实际内存;n表示当前智能设备的分区个数;E fmax 和E fmin 表示多个分区中对应的分区最大存储量和分区最小存储量;λ 1和λ 2分别表示第一比例参数和第二比例参数,并且,λ 1的取值范围为0.26-0.37;λ 2的取值范围为0.28-0.53;I 0表示预先设置的基准参考值,所述基准参考值为任意常数。
另一方面,所述第一比例参数和第二比例参数需要满足如下条件:
λ 1<λ 2,且,0.58≤λ 1+λ 2≤0.73
S104、通过所述协议归属参考值确定每个智能设备使用的协议组合。
具体的,通过所述协议归属参考值确定每个智能设备使用的协议组合,包括:
当所述协议归属参考值小于预设的第一参考阈值时,采用第三协议组合对智能设备运行的硬件参数数据进行数据采集;
当所述协议归属参考值不小于第一参考阈值,但,小于预设的第二参考阈值时,采用第二协议组合对智能设备运行的硬件参数数据进行数据采集;
当所述协议归属参考值不小于预设的第二参考阈值时,采用第一协议组合对智能设备运行的硬件参数数据进行数据采集。
其中,所述第一参考阈值和第二参考阈值需要满足如下条件:
[2.2-(λ 1+λ 2)]Y1<Y2≤(2.2+λ 1+λ 2)Y1
其中,Y1和Y2分别表示第一参考阈值和第二参考阈值。
上述技术方案的工作原理为:首先,当具有多种类的智能设备同时运行时,提取所述智能设备中所包含的设备种类;然后,针对每个设备种类设置与所述设备种类对应的唯一标识码,并利用所述唯一标识码对智能设备进行标识,获得带有设备种类的唯一标识码的智能设备;随后,按照所述唯一标识码依次提取每种设备类型下的各智能设备内存空间和分区参数,并利用各智能设备内存空间和分区参数获取每个智能设备对应的协议归属参考值;最后,通过所述协议归属参考值确定每个智能设备使用的协议组合。当所述协议归属参考值小于预设的第一参考阈值时,采用第三协议组合对智能设备运行的硬件参数数据进行数据采集;当所述协议归属参考值不小于第一参考阈值,但,小于预设的第二参考阈值时,采用第二协议组合对智能设备运行的硬件参数数据进行数据采集;当所述协议归属参考值不小于预设的第二参考阈值时,采用第一协议组合对智能设备运行的硬件参数数据进行数据采集。
上述技术方案的效果为:通过结合智能设备的不同的硬件实际配置设置不同的协议组合进行硬件运行参数的数据采集,能够有效提高用于数据采集的多协议组合与智能设备实际硬件参数配置的匹配性,进而有效提高多协议组合对智能设备实际运行过程中的硬件运行参数采集效率,同时,由于多协议组合与智能设备实际硬件参数配置的高匹配性,能够有效降低智能设备运行过程中硬件运行参数数据采集的故障发生率,进而有效提高多协议组合对智能设备硬件运行参数数据采集的运行稳定性。
另一方面,通过进行唯一标识码方式对同一种类的智能设备进行归类,然后在进行每个智能设备的协议组合的确定能够有效提高每种智能设备的归类管理效率,防止后续不同各种类,不同协议组合的智能设置管理监控混乱的问题发生。
通过上述公式获取公式获取的协议归属参考值能够有效提高协议归属参考值与智能设备硬件参数配置之间的合理性,进而提高协议归属参考值对智能设备硬件参数配置的反映表达全面性。同时,通过上述第一比例参数和第二比例参数的条件设置能够有效提高协议归属参考值对于智能设备硬件参数反映的准确性,以及针对不同智能设备种类进行述第一比例参数和第二比例参数在其取值范围内的选择,能够有效提高协议归属参考值的应用广泛性,使其能够满足互联网和物联网内所有智能设备的高合理性和准确性的硬件参数评价,也同时提高不同各种的智能设备硬件参数参考的标准统一性,避免标准不统一导致的协议组合归属和应用确定混乱的问题发生。
通过上述第一参考阈值和第二参考阈值需要条件的设置能够有效提高第一参考阈值和第二参考阈值的设置合理性,进而能够有效提高后续协议组合与智能设备之间确定的合理性。防止第一参考阈值和第二参考阈值设置不合理导致后续为智能设备配置的协议组合不满足其硬件实际参数配置,进而导致其后续运行参数数据采集不稳定和数据采集效率较低的问题发生。
本发明的一个实施例,利用第一协议组合、第二协议组合或第三协议组合结合agent探针分别对智能设备运行的硬件参数数据和网络安全事件进行数据采集,获得智能设备运行参数数据,包括:
S201、通过第一协议组合、第二协议组合或第三协议组合中的第一子协议对智能设备运行时的硬盘、CPU、内存、网卡和分区(即智能设备磁盘分区)进行参数数据采集,获得第一运行参数数据;
S202、通过第一协议组合、第二协议组合或第三协议组合中的第二子协议对智能设备运行时的功耗、风扇运行和设备温度进行参数数据采集,获得第二运行参数数据;
S203、通过agent探针对智能设备运行的网络安全事件进行探测采集,并将采集到的网络安全事件发送至网络安全监测装置进行安全检测,同时生成日志文件记录网络安全事件探测情况。
其中,所述第一运行参数数据、第二运行参数数据和日志文件即为智能设备运行参数数据。
具体的,当所述第一协议组合包括:snmp协议和ipmi协议;所述第二协议组合包括:snmp协议和cmis/cmip协议;所述第三协议组合包括:ipmi协议和cmis/cmip协议时,第一协议组合中的snmp协议、第二协议组合中的snmp协议和第三协议组合中的ipmi协议为其对应协议组合内的第一子协议;第一协议组合中的ipmi协议、第二协议组合中的cmis/cmip协议和第三协议组合中的cmis/cmip协议为其对应协议组合内的第二子协议。
上述技术方案的工作原理为:首先,通过第一协议组合、第二协议组合或第三协议组合中的第一子协议对智能设备运行时的硬盘、CPU、内存、网卡和分区(即智能设备磁盘分区)进行参数数据采集,获得第一运行参数数据;然后,通过第一协议组合、第二协议组合或第三协议组合中的第二子协议对智能设备运行时的功耗、风扇运行和设备温度进行参数数据采集,获得第二运行参数数据;最后,通过agent探针对智能设备运行的网络安全事件进行探测采集,并将采集到的网络安全事件发送至网络安全监测装置进行安全检测,同时生成日志文件记录网络安全事件探测情况。
上述技术方案的效果为:通过上述方式结合智能设备的不同的硬件实际配置设置不同的协议组合进行硬件运行参数的数据采集,能够有效提高用于数据采集的多协议组合与智能设备实际硬件参数配置的匹配性,进而有效提高多协议组合对智能设备实际运行过程中的硬件运行参数采集效率,同时,由于多协议组合与智能设备实际硬件参数配置的高匹配性,能够有效降低智能设备运行过程中硬件运行参数数据采集的故障发生率,进而有效提高多协议组合对智能设备硬件运行参数数据采集的运行稳定性。
同时,通过上述不同协议组合中第一子协议和第二子协议针对不同类型的数据进行采集的设置能够进一步提高数据采集的效率和数据采集运行的稳定性。
本发明的一个实施例,利用MQTT协议将所述智能设备运行参数数据传输至数据库进行存储,包括:
S301、利用MQTT协议将所述智能设备运行参数数据发送至分布式发布订阅消息系统Kafka;
S302、所述分布式发布订阅消息系统将所述智能设备运行参数数据传输至数据库;
S303、所述数据库将接收到的智能设备运行参数数据后,将其存储至nosql数据库elsticsearch。
上述技术方案的工作原理为:首先,利用MQTT协议将所述智能设备运行参数数据发送至分布式发布订阅消息系统Kafka;然后,所述分布式发布订阅消息系统将所述智能设备运行参数数据传输至数据库;最后,所述数据库将接收到的智能设备运行参数数据后,将其存储至nosql数据库elsticsearch。
上述技术方案的效果为:通过上述方式能够提高数据传输和数据发布效率及稳定性,同时,通过上述方式能够有效提高数据传输和数据发布运行的稳定性。
本发明的一个实施例,定时采集智能设备对于网络故障时的处理方式,并将所述处理方式发送至数据中心站点,包括:
S401、针对不同协议组合的智能设备设置不同的采集时段;其中,所述采集时段通过如下公式进行获取:
其中,T表示采集时段,即采集时间间隔;T 0表示采集时段基准值,T 0的取值范围为15-40天,优选为30天。
S402、在所述采集时段对应时刻对对应设备种类的智能设备进行网络故障的处理方式的数据采集,获得网络故障处理数据;
S403、将所述网络故障处理数据通过MQTT协议发送至数据中心站点。
上述技术方案的工作原理为:首先,针对不同协议组合的智能设备设置不同的采集时段;
然后,在所述采集时段对应时刻对对应设备种类的智能设备进行网络故障的处理方式的数据采集,获得网络故障处理数据;最后,将所述网络故障处理数据通过MQTT协议发送至数据中心站点。
上述技术方案的效果为:通过上述方式能够有效提高网络故障排除处理情况及手段的监控力度和监控效率,同时,通过上述公式能够有效提高采集时段设置与采用不同协议组合的智能设备数据采集运行之间的匹配性和合理性,防止采集时段设置时间过长导致对于故障排除处理方法采集不及时,进而降低故障排除数据采集及时性的问题,又能够防止采集时间段设置过短导致故障排除数据采集启动频率过高进而增加数据采集系统负荷和能耗的问题发生。
本发明实施例提出了一种基于多种协议的智能数据采集系统,如图2所示,所述智能数据采集系统包括:
差异化设置模块,用于根据智能设备的不同种类进行数据采集过程中不同协议的差异化设置,确定每个智能设备的数据采集对应的协议组合;
运行参数获取模块,用于利用第一协议组合、第二协议组合或第三协议组合结合agent探针分别对智能设备运行的硬件参数数据和网络安全事件进行数据采集,获得智能设备运行参数数据;
存储模块,用于利用MQTT协议将所述智能设备运行参数数据传输至数据库进行存储;
定时采集模块,用于定时采集智能设备对于网络故障时的处理方式,并将所述处理方式发送至数据中心站点。
其中,所述第一协议组合包括:snmp协议和ipmi协议;所述第二协议组合包括:snmp协议和cmis/cmip协议;所述第三协议组合包括:ipmi协议和cmis/cmip协议。
上述技术方案的工作原理为:首先,通过差异化设置模块根据智能设备的不同种类进行数据采集过程中不同协议的差异化设置,确定每个智能设备的数据采集对应的协议组合;然后,通过运行参数获取模块利用第一协议组合、第二协议组合或第三协议组合结合agent探针分别对智能设备运行的硬件参数数据和网络安全事件进行数据采集,获得智能设备运行参数数据;随后,通过存储模块利用MQTT协议将所述智能设备运行参数数据传输至数据库进行存储;最后,采用定时采集模块定时采集智能设备对于网络故障时的处理方式,并将所述处理方式发送至数据中心站点。
上述技术方案的效果为:本实施例提出的一种基于多种协议的智能数据采集系统通过结合智能设备的不同的硬件实际配置设置不同的协议组合进行硬件运行参数的数据采集,能够有效提高用于数据采集的多协议组合与智能设备实际硬件参数配置的匹配性,进而有效提高多协议组合对智能设备实际运行过程中的硬件运行参数采集效率,同时,由于多协议组合与智能设备实际硬件参数配置的高匹配性,能够有效降低智能设备运行过程中硬件运行参数数据采集的故障发生率,进而有效提高多协议组合对智能设备硬件运行参数数据采集的运行稳定性。
本发明的一个实施例,所述差异化设置模块包括:
种类提取模块,用于当具有多种类的智能设备同时运行时,提取所述智能设备中所包含的设备种类;
标识码模块,用于针对每个设备种类设置与所述设备种类对应的唯一标识码,并利用所述唯一标识码对智能设备进行标识,获得带有设备种类的唯一标识码的智能设备;
参考值获取模块,用于按照所述唯一标识码依次提取每种设备类型下的各智能设备内存空间和分区参数,并利用各智能设备内存空间和分区参数获取每个智能设备对应的协议归属参考值,其中,所述协议归属参考值通过如下公式获取:
其中,I表示协议归属参考值;E 0表示预先设置的内容参考标准值,E 0的取值范围为4G-12G,优选为8G;E表示当前智能设备的实际内存;n表示当前智能设备的分区个数;E fmax 和E fmin 表示多个分区中对应的分区最大存储量和分区最小存储量;λ 1和λ 2分别表示第一比例参数和第二比例参数,并且,λ 1的取值范围为0.26-0.37;λ 2的取值范围为0.28-0.53;I 0表示预先设置的基准参考值,所述基准参考值为任意常数。
另一方面,所述第一比例参数和第二比例参数需要满足如下条件:
λ 1<λ 2,且,0.58≤λ 1+λ 2≤0.73
协议组合确定模块,用于通过所述协议归属参考值确定每个智能设备使用的协议组合。
其中,如图3所示,所述协议组合确定模块包括:
第一确定模块,用于当所述协议归属参考值小于预设的第一参考阈值时,采用第三协议组合对智能设备运行的硬件参数数据进行数据采集;
第二确定模块,用于当所述协议归属参考值不小于第一参考阈值,但,小于预设的第二参考阈值时,采用第二协议组合对智能设备运行的硬件参数数据进行数据采集;
第三确定模块,用于当所述协议归属参考值不小于预设的第二参考阈值时,采用第一协议组合对智能设备运行的硬件参数数据进行数据采集。
具体的,所述第一参考阈值和第二参考阈值需要满足如下条件:
[2.2-(λ 1+λ 2)]Y1<Y2≤(2.2+λ 1+λ 2)Y1
其中,Y1和Y2分别表示第一参考阈值和第二参考阈值。
上述技术方案的工作原理为:首先,通过种类提取模块在当具有多种类的智能设备同时运行时,提取所述智能设备中所包含的设备种类;然后,采用标识码模块针对每个设备种类设置与所述设备种类对应的唯一标识码,并利用所述唯一标识码对智能设备进行标识,获得带有设备种类的唯一标识码的智能设备;随后,通过参考值获取模块于按照所述唯一标识码依次提取每种设备类型下的各智能设备内存空间和分区参数,并利用各智能设备内存空间和分区参数获取每个智能设备对应的协议归属参考值。
上述技术方案的效果为:通过结合智能设备的不同的硬件实际配置设置不同的协议组合进行硬件运行参数的数据采集,能够有效提高用于数据采集的多协议组合与智能设备实际硬件参数配置的匹配性,进而有效提高多协议组合对智能设备实际运行过程中的硬件运行参数采集效率,同时,由于多协议组合与智能设备实际硬件参数配置的高匹配性,能够有效降低智能设备运行过程中硬件运行参数数据采集的故障发生率,进而有效提高多协议组合对智能设备硬件运行参数数据采集的运行稳定性。
另一方面,通过进行唯一标识码方式对同一种类的智能设备进行归类,然后在进行每个智能设备的协议组合的确定能够有效提高每种智能设备的归类管理效率,防止后续不同各种类,不同协议组合的智能设置管理监控混乱的问题发生。
通过上述公式获取公式获取的协议归属参考值能够有效提高协议归属参考值与智能设备硬件参数配置之间的合理性,进而提高协议归属参考值对智能设备硬件参数配置的反映表达全面性。同时,通过上述第一比例参数和第二比例参数的条件设置能够有效提高协议归属参考值对于智能设备硬件参数反映的准确性,以及针对不同智能设备种类进行述第一比例参数和第二比例参数在其取值范围内的选择,能够有效提高协议归属参考值的应用广泛性,使其能够满足互联网和物联网内所有智能设备的高合理性和准确性的硬件参数评价,也同时提高不同各种的智能设备硬件参数参考的标准统一性,避免标准不统一导致的协议组合归属和应用确定混乱的问题发生。
通过上述第一参考阈值和第二参考阈值需要条件的设置能够有效提高第一参考阈值和第二参考阈值的设置合理性,进而能够有效提高后续协议组合与智能设备之间确定的合理性。防止第一参考阈值和第二参考阈值设置不合理导致后续为智能设备配置的协议组合不满足其硬件实际参数配置,进而导致其后续运行参数数据采集不稳定和数据采集效率较低的问题发生。
本发明的一个实施例,所述运行参数获取模块包括:
第一采集模块,用于通过第一协议组合、第二协议组合或第三协议组合中的第一子协议对智能设备运行时的硬盘、CPU、内存、网卡和分区(即智能设备磁盘分区)进行参数数据采集,获得第一运行参数数据;
第二采集模块,用于通过第一协议组合、第二协议组合或第三协议组合中的第二子协议对智能设备运行时的功耗、风扇运行和设备温度进行参数数据采集,获得第二运行参数数据;
第三采集模块,用于通过agent探针对智能设备运行的网络安全事件进行探测采集,并将采集到的网络安全事件发送至网络安全监测装置进行安全检测,同时生成日志文件记录网络安全事件探测情况。
其中,所述第一运行参数数据、第二运行参数数据和日志文件即为智能设备运行参数数据。
具体的,当所述第一协议组合包括:snmp协议和ipmi协议;所述第二协议组合包括:snmp协议和cmis/cmip协议;所述第三协议组合包括:ipmi协议和cmis/cmip协议时,第一协议组合中的snmp协议、第二协议组合中的snmp协议和第三协议组合中的ipmi协议为其对应协议组合内的第一子协议;第一协议组合中的ipmi协议、第二协议组合中的cmis/cmip协议和第三协议组合中的cmis/cmip协议为其对应协议组合内的第二子协议。
上述技术方案的工作原理为:首先,利用第一采集模块通过第一协议组合、第二协议组合或第三协议组合中的第一子协议对智能设备运行时的硬盘、CPU、内存、网卡和分区(即智能设备磁盘分区)进行参数数据采集,获得第一运行参数数据;随后,采用第二采集模块通过第一协议组合、第二协议组合或第三协议组合中的第二子协议对智能设备运行时的功耗、风扇运行和设备温度进行参数数据采集,获得第二运行参数数据;最后,利用第三采集模块通过agent探针对智能设备运行的网络安全事件进行探测采集,并将采集到的网络安全事件发送至网络安全监测装置进行安全检测,同时生成日志文件记录网络安全事件探测情况。
上述技术方案的效果为:通过上述方式结合智能设备的不同的硬件实际配置设置不同的协议组合进行硬件运行参数的数据采集,能够有效提高用于数据采集的多协议组合与智能设备实际硬件参数配置的匹配性,进而有效提高多协议组合对智能设备实际运行过程中的硬件运行参数采集效率,同时,由于多协议组合与智能设备实际硬件参数配置的高匹配性,能够有效降低智能设备运行过程中硬件运行参数数据采集的故障发生率,进而有效提高多协议组合对智能设备硬件运行参数数据采集的运行稳定性。
同时,通过上述不同协议组合中第一子协议和第二子协议针对不同类型的数据进行采集的设置能够进一步提高数据采集的效率和数据采集运行的稳定性。
本发明的一个实施例,所述存储模块包括:
发送模块,用于利用MQTT协议将所述智能设备运行参数数据发送至分布式发布订阅消息系统Kafka;
传输模块,用于所述分布式发布订阅消息系统将所述智能设备运行参数数据传输至数据库;
数据存储模块,用于所述数据库将接收到的智能设备运行参数数据后,将其存储至nosql数据库elsticsearch。
上述技术方案的工作原理为:首先,通过发送模块利用MQTT协议将所述智能设备运行参数数据发送至分布式发布订阅消息系统Kafka;然后,利用传输模块所述分布式发布订阅消息系统将所述智能设备运行参数数据传输至数据库;最后,采用数据存储模块在所述数据库将接收到的智能设备运行参数数据后,将其存储至nosql数据库elsticsearch。
上述技术方案的效果为:通过上述方式能够提高数据传输和数据发布效率及稳定性,同时,通过上述方式能够有效提高数据传输和数据发布运行的稳定性。
本发明的一个实施例,所述定时采集模块包括:
时段设置模块,用于针对不同协议组合的智能设备设置不同的采集时段;其中,所述采集时段通过如下公式进行获取:
其中,T表示采集时段,即采集时间间隔;T 0表示采集时段基准值,T 0的取值范围为15-40天,优选为30天。
故障数据采集模块,用于在所述采集时段对应时刻对对应设备种类的智能设备进行网络故障的处理方式的数据采集,获得网络故障处理数据;
故障数据发送模块,用于将所述网络故障处理数据通过MQTT协议发送至数据中心站点。
上述技术方案的工作原理为:首先,通过时段设置模块针对不同协议组合的智能设备设置不同的采集时段;然后,利用故障数据采集模块于在所述采集时段对应时刻对对应设备种类的智能设备进行网络故障的处理方式的数据采集,获得网络故障处理数据;最后,采用故障数据发送模块将所述网络故障处理数据通过MQTT协议发送至数据中心站点。
上述技术方案的效果为:通过上述方式能够有效提高网络故障排除处理情况及手段的监控力度和监控效率,同时,通过上述公式能够有效提高采集时段设置与采用不同协议组合的智能设备数据采集运行之间的匹配性和合理性,防止采集时段设置时间过长导致对于故障排除处理方法采集不及时,进而降低故障排除数据采集及时性的问题,又能够防止采集时间段设置过短导致故障排除数据采集启动频率过高进而增加数据采集系统负荷和能耗的问题发生。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于多种协议的智能数据采集方法,其特征在于,所述智能数据采集方法包括:
根据智能设备的不同种类进行数据采集过程中不同协议的差异化设置;
利用第一协议组合、第二协议组合或第三协议组合结合agent探针分别对智能设备运行的硬件参数数据和网络安全事件进行数据采集,获得智能设备运行参数数据;
利用MQTT协议将所述智能设备运行参数数据传输至数据库进行存储;
定时采集智能设备对于网络故障时的处理方式,并将所述处理方式发送至数据中心站点;
根据智能设备的不同种类进行数据采集过程中不同协议的差异化设置,包括:
S101、当具有多种类的智能设备同时运行时,提取所述智能设备中所包含的设备种类;
S102、针对每个设备种类设置与所述设备种类对应的唯一标识码,并利用所述唯一标识码对智能设备进行标识,获得带有设备种类的唯一标识码的智能设备;
S103、按照所述唯一标识码依次提取每种设备类型下的各智能设备内存空间和分区参数,并利用各智能设备内存空间和分区参数获取每个智能设备对应的协议归属参考值;其中,所述协议归属参考值通过如下公式获取:
其中,I表示协议归属参考值;E0表示预先设置的内存参考标准值,E0的取值范围为4G-12G;E表示当前智能设备的实际内存;n表示当前智能设备的分区个数;Efmax和Efmin表示多个分区中对应的分区最大存储量和分区最小存储量;λ1和λ2分别表示第一比例参数和第二比例参数,并且,λ1的取值范围为0.26-0.37;λ2的取值范围为0.28-0.53;I0表示预先设置的基准参考值,所述基准参考值为任意常数;
所述第一比例参数和第二比例参数需要满足如下条件:
λ1<λ2,且,0.58≤λ1+λ2≤0.73
S104、通过所述协议归属参考值确定每个智能设备使用的协议组合;
具体的,通过所述协议归属参考值确定每个智能设备使用的协议组合,包括:
当所述协议归属参考值小于预设的第一参考阈值时,采用第三协议组合对智能设备运行的硬件参数数据进行数据采集;
当所述协议归属参考值不小于第一参考阈值,但,小于预设的第二参考阈值时,采用第二协议组合对智能设备运行的硬件参数数据进行数据采集;
当所述协议归属参考值不小于预设的第二参考阈值时,采用第一协议组合对智能设备运行的硬件参数数据进行数据采集;
其中,所述第一参考阈值和第二参考阈值需要满足如下条件:
[2.2-(λ1+λ2)]Y1<Y2≤(2.2+λ1+λ2)Y1
其中,Y1和Y2分别表示第一参考阈值和第二参考阈值。
2.根据权利要求1所述智能数据采集方法,其特征在于,根据智能设备的不同种类进行数据采集过程中不同协议的差异化设置,包括:
当具有多种类的智能设备同时运行时,提取所述智能设备中所包含的设备种类;
针对每个设备种类设置与所述设备种类对应的唯一标识码,并利用所述唯一标识码对智能设备进行标识,获得带有设备种类的唯一标识码的智能设备;
按照所述唯一标识码依次提取每种设备类型下的各智能设备内存空间和分区参数,并利用各智能设备内存空间和分区参数获取每个智能设备对应的协议归属参考值;
通过所述协议归属参考值确定每个智能设备使用的协议组合。
3.根据权利要求1所述智能数据采集方法,其特征在于,利用第一协议组合、第二协议组合或第三协议组合结合agent探针分别对智能设备运行的硬件参数数据和网络安全事件进行数据采集,获得智能设备运行参数数据,包括:
通过第一协议组合、第二协议组合或第三协议组合中的第一子协议对智能设备运行时的硬盘、CPU、内存、网卡和分区进行参数数据采集,获得第一运行参数数据;
通过第一协议组合、第二协议组合或第三协议组合中的第二子协议对智能设备运行时的功耗、风扇运行和设备温度进行参数数据采集,获得第二运行参数数据;
通过agent探针对智能设备运行的网络安全事件进行探测采集,并将采集到的网络安全事件发送至网络安全监测装置进行安全检测,同时生成日志文件记录网络安全事件探测情况。
4.根据权利要求1所述智能数据采集方法,其特征在于,利用MQTT协议将所述智能设备运行参数数据传输至数据库进行存储,包括:
利用MQTT协议将所述智能设备运行参数数据发送至分布式发布订阅消息系统;
所述分布式发布订阅消息系统将所述智能设备运行参数数据传输至数据库;
所述数据库将接收到的智能设备运行参数数据后,将其存储至nosql数据库elsticsearch。
5.根据权利要求1所述智能数据采集方法,其特征在于,定时采集智能设备对于网络故障时的处理方式,并将所述处理方式发送至数据中心站点,包括:
针对不同协议组合的智能设备设置不同的采集时段;
在所述采集时段对应时刻对对应设备种类的智能设备进行网络故障的处理方式的数据采集,获得网络故障处理数据;
将所述网络故障处理数据通过MQTT协议发送至数据中心站点。
6.一种基于多种协议的智能数据采集系统,其特征在于,所述智能数据采集系统包括:
差异化设置模块,用于根据智能设备的不同种类进行数据采集过程中不同协议的差异化设置;
运行参数获取模块,用于利用第一协议组合、第二协议组合或第三协议组合结合agent探针分别对智能设备运行的硬件参数数据和网络安全事件进行数据采集,获得智能设备运行参数数据;
存储模块,用于利用MQTT协议将所述智能设备运行参数数据传输至数据库进行存储;
定时采集模块,用于定时采集智能设备对于网络故障时的处理方式,并将所述处理方式发送至数据中心站点;
差异化设置模块根据智能设备的不同种类进行数据采集过程中不同协议的差异化设置,包括:
S101、当具有多种类的智能设备同时运行时,提取所述智能设备中所包含的设备种类;
S102、针对每个设备种类设置与所述设备种类对应的唯一标识码,并利用所述唯一标识码对智能设备进行标识,获得带有设备种类的唯一标识码的智能设备;
S103、按照所述唯一标识码依次提取每种设备类型下的各智能设备内存空间和分区参数,并利用各智能设备内存空间和分区参数获取每个智能设备对应的协议归属参考值;其中,所述协议归属参考值通过如下公式获取:
其中,I表示协议归属参考值;E0表示预先设置的内存参考标准值,E0的取值范围为4G-12G;E表示当前智能设备的实际内存;n表示当前智能设备的分区个数;Efmax和Efmin表示多个分区中对应的分区最大存储量和分区最小存储量;λ1和λ2分别表示第一比例参数和第二比例参数,并且,λ1的取值范围为0.26-0.37;λ2的取值范围为0.28-0.53;I0表示预先设置的基准参考值,所述基准参考值为任意常数;
所述第一比例参数和第二比例参数需要满足如下条件:
λ1<λ2,且,0.58≤λ1+λ2≤0.73
S104、通过所述协议归属参考值确定每个智能设备使用的协议组合;
具体的,通过所述协议归属参考值确定每个智能设备使用的协议组合,包括:
当所述协议归属参考值小于预设的第一参考阈值时,采用第三协议组合对智能设备运行的硬件参数数据进行数据采集;
当所述协议归属参考值不小于第一参考阈值,但,小于预设的第二参考阈值时,采用第二协议组合对智能设备运行的硬件参数数据进行数据采集;
当所述协议归属参考值不小于预设的第二参考阈值时,采用第一协议组合对智能设备运行的硬件参数数据进行数据采集;
其中,所述第一参考阈值和第二参考阈值需要满足如下条件:
[2.2-(λ1+λ2)]Y1<Y2≤(2.2+λ1+λ2)Y1
其中,Y1和Y2分别表示第一参考阈值和第二参考阈值。
7.根据权利要求6所述智能数据采集系统,其特征在于,所述差异化设置模块包括:
种类提取模块,用于当具有多种类的智能设备同时运行时,提取所述智能设备中所包含的设备种类;
标识码模块,用于针对每个设备种类设置与所述设备种类对应的唯一标识码,并利用所述唯一标识码对智能设备进行标识,获得带有设备种类的唯一标识码的智能设备;
参考值获取模块,用于按照所述唯一标识码依次提取每种设备类型下的各智能设备内存空间和分区参数,并利用各智能设备内存空间和分区参数获取每个智能设备对应的协议归属参考值;
协议组合确定模块,用于通过所述协议归属参考值确定每个智能设备使用的协议组合。
8.根据权利要求6所述智能数据采集系统,其特征在于,所述运行参数获取模块包括:
第一采集模块,用于通过第一协议组合、第二协议组合或第三协议组合中的第一子协议对智能设备运行时的硬盘、CPU、内存、网卡和分区进行参数数据采集,获得第一运行参数数据;
第二采集模块,用于通过第一协议组合、第二协议组合或第三协议组合中的第二子协议对智能设备运行时的功耗、风扇运行和设备温度进行参数数据采集,获得第二运行参数数据;
第三采集模块,用于通过agent探针对智能设备运行的网络安全事件进行探测采集,并将采集到的网络安全事件发送至网络安全监测装置进行安全检测,同时生成日志文件记录网络安全事件探测情况。
9.根据权利要求6所述智能数据采集系统,其特征在于,所述存储模块包括:
发送模块,用于利用MQTT协议将所述智能设备运行参数数据发送至分布式发布订阅消息系统;
传输模块,用于所述分布式发布订阅消息系统将所述智能设备运行参数数据传输至数据库;
数据存储模块,用于所述数据库将接收到的智能设备运行参数数据后,将其存储至nosql数据库elsticsearch。
10.根据权利要求6所述智能数据采集系统,其特征在于,所述定时采集模块包括:
时段设置模块,用于针对不同协议组合的智能设备设置不同的采集时段;
故障数据采集模块,用于在所述采集时段对应时刻对对应设备种类的智能设备进行网络故障的处理方式的数据采集,获得网络故障处理数据;
故障数据发送模块,用于将所述网络故障处理数据通过MQTT协议发送至数据中心站点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211177582.1A CN115277794B (zh) | 2022-09-27 | 2022-09-27 | 一种基于多种协议的智能数据采集方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211177582.1A CN115277794B (zh) | 2022-09-27 | 2022-09-27 | 一种基于多种协议的智能数据采集方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115277794A CN115277794A (zh) | 2022-11-01 |
CN115277794B true CN115277794B (zh) | 2023-01-17 |
Family
ID=83756557
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211177582.1A Active CN115277794B (zh) | 2022-09-27 | 2022-09-27 | 一种基于多种协议的智能数据采集方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115277794B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7543054B1 (en) * | 2005-05-20 | 2009-06-02 | Network General Technology | Minimalist data collection for high-speed network data monitoring based on protocol trees |
CN106877498A (zh) * | 2017-02-22 | 2017-06-20 | 国家电网公司 | 一种电网中调控自动化设备的故障诊断方法 |
WO2018176244A1 (zh) * | 2017-03-29 | 2018-10-04 | 深圳中兴力维技术有限公司 | 数据采集方法、装置和动环网管系统 |
CN114039900A (zh) * | 2021-11-03 | 2022-02-11 | 北京德塔精要信息技术有限公司 | 一种高效网络数据包协议分析方法和系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104345717B (zh) * | 2014-10-17 | 2017-01-25 | 武汉华大优能信息有限公司 | 一种基于物联网的智能远程数据采集系统 |
CN106685815A (zh) * | 2017-01-04 | 2017-05-17 | 上海建坤信息技术有限责任公司 | 一种多协议硬件采集网关系统 |
-
2022
- 2022-09-27 CN CN202211177582.1A patent/CN115277794B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7543054B1 (en) * | 2005-05-20 | 2009-06-02 | Network General Technology | Minimalist data collection for high-speed network data monitoring based on protocol trees |
CN106877498A (zh) * | 2017-02-22 | 2017-06-20 | 国家电网公司 | 一种电网中调控自动化设备的故障诊断方法 |
WO2018176244A1 (zh) * | 2017-03-29 | 2018-10-04 | 深圳中兴力维技术有限公司 | 数据采集方法、装置和动环网管系统 |
CN114039900A (zh) * | 2021-11-03 | 2022-02-11 | 北京德塔精要信息技术有限公司 | 一种高效网络数据包协议分析方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN115277794A (zh) | 2022-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103081407B (zh) | 故障分析装置、故障分析系统及故障分析方法 | |
CN103220161B (zh) | 一种服务器状态的探测方法和装置 | |
CN101227348B (zh) | 一种对网络设备的性能统计数据进行采集的方法和服务器 | |
CN110659109B (zh) | 一种openstack集群虚拟机监控系统及方法 | |
CN111970146B (zh) | 一种srdc整机柜节点的监控平台及监控方法 | |
CN114157554B (zh) | 故障排查方法、装置、存储介质及计算机设备 | |
CN109462490B (zh) | 视频监控系统及故障分析方法 | |
CN108632108B (zh) | 基于轮询协议的监控方法、装置与及可读存储介质 | |
CN101808007A (zh) | 网管实时性能数据采集的方法 | |
CN107181639A (zh) | 一种通信状态的监控方法及装置 | |
CN105187554A (zh) | 服务器性能监控方法及系统 | |
CN101645736A (zh) | 历史性能数据的有效性检测方法及装置 | |
CN115277794B (zh) | 一种基于多种协议的智能数据采集方法和系统 | |
CN112859115A (zh) | 用于卫星测试的报警方法、装置、系统及存储介质 | |
EP1330889A2 (en) | Server and network performance monitoring | |
CN112328463A (zh) | 一种日志监控方法及装置 | |
CN112204928B (zh) | 异常检测装置、异常检测方法及记录介质 | |
CN116192607A (zh) | 故障告警方法及装置 | |
CN111130948A (zh) | 一种网络质量探测方法及装置 | |
CN110601914B (zh) | 监测服务器存活状态的方法及系统 | |
CN102567470A (zh) | 系统级性能数据的处理方法及设备 | |
CN108540347B (zh) | 用于网络信号溯源的网线两端信号延时序列匹配生成方法 | |
CN112533246A (zh) | 一种智能设备设备频繁网络请求的监控系统及方法 | |
CN108512729B (zh) | 基于网络信息传输延时序列的平均延时提取方法 | |
CN107395460B (zh) | 终端的稳定性检测方法、终端心跳频率的统计方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |