CN117376108B - 一种物联网设备智能运维方法与系统 - Google Patents
一种物联网设备智能运维方法与系统 Download PDFInfo
- Publication number
- CN117376108B CN117376108B CN202311672039.3A CN202311672039A CN117376108B CN 117376108 B CN117376108 B CN 117376108B CN 202311672039 A CN202311672039 A CN 202311672039A CN 117376108 B CN117376108 B CN 117376108B
- Authority
- CN
- China
- Prior art keywords
- data
- equipment
- internet
- intelligent operation
- things
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012423 maintenance Methods 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 69
- 230000002159 abnormal effect Effects 0.000 claims abstract description 55
- 238000007781 pre-processing Methods 0.000 claims abstract description 26
- 238000003745 diagnosis Methods 0.000 claims abstract description 25
- 230000005856 abnormality Effects 0.000 claims abstract description 19
- 238000010801 machine learning Methods 0.000 claims abstract description 13
- 238000003066 decision tree Methods 0.000 claims description 34
- 238000013138 pruning Methods 0.000 claims description 27
- 238000004891 communication Methods 0.000 claims description 20
- 238000010276 construction Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 9
- 238000013501 data transformation Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000005065 mining Methods 0.000 claims description 4
- 230000001105 regulatory effect Effects 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000012886 linear function Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 abstract description 8
- 238000013473 artificial intelligence Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000004171 remote diagnosis Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Abstract
本发明公开了一种物联网设备智能运维方法与系统,涉及智能运维技术领域。该方法包括:采集设备数据生成预处理数据;采用机器学习算法构建智能运维模型;对物联网设备进行异常诊断生成诊断结果;利用智能运维模型生成包括有自动化处理策略和告警策略的异常决策;根据自动化处理策略对物联网设备进行自动化处理并生成处理日志;根据告警策略生成异常警报进行告警通知并生成告警记录;根据处理日志和告警记录生成更新数据集并根据其对智能运维模型进行模型更新。本发明通过建立智能运维模型减少了运维人员监控设备运行状态的时长及工程人员的现场操作,降低人力成本;通过主动监测的方式进行及时告警和主动修复,缩短了设备工作异常的时间。
Description
技术领域
本发明属于智能运维技术领域,尤其涉及一种物联网设备智能运维方法与系统。
背景技术
目前物联网设备的运维现状,主要依托设备上传的实时数据,通过收集设备运行时的温度、湿度、压力和高程等信息,将其呈现在实时监控平台,并由运维人员进行监测,当发生问题时,派遣工程人员到达现场进行诊断修复。但是目前的物联网设备的运维存在以下问题:
(1)运维人员要实时监控平台,当设备发生故障或出现异常时,进行远程诊断及维修,或者派遣工程人员到达现场进行诊断修复。这样的方式会增加运维人员监控设备运行状态的时长,增加工程人员的现场操作频率,提高了人力成本。
(2)通过制定维护保养计划,定期派遣维护人员到达设备安装现场,对设备进行零部件检查,确保它们正常工作。这样被动的监测方式无法实现异常设备的及时告警,进而无法保证设备可以主动修复,最终导致设备异常工作的时间被大幅度地延长。
发明内容
本发明的目的在于提供一种物联网设备智能运维方法与系统,通过构建智能运维模型来减少运维人员监控设备运行状态的时长,减少工程人员的现场操作,降低人力成本;通过主动监测的方式进行及时告警和主动修复,从而缩短设备工作异常的时间,最大程度降低人力输出的同时提高设备资源的利用率。
本发明的目的可以通过以下技术方案实现:
第一方面,本申请实施例提供了一种物联网设备智能运维方法,包括如下步骤:
采集物联网设备的设备数据并对所述设备数据进行预处理,生成预处理数据;还对所述设备数据进行分析、存储和上报传输;
采用机器学习算法并根据所述预处理数据构建智能运维模型;
所述物联网设备进行自检并上报异常;
所述智能运维模型对所述异常进行诊断并生成诊断结果;
依据所述诊断结果,利用所述智能运维模型生成异常决策;所述异常决策包括自动化处理策略和告警策略;
根据所述自动化处理策略对所述物联网设备进行自动化处理,并生成处理日志;
根据所述告警策略生成异常警报并进行告警通知,生成告警记录;
对所述处理日志和所述告警记录进行分析,生成更新数据集;
根据所述更新数据集对所述智能运维模型进行模型更新;
其中,所述设备数据与所述物联网设备的性能相关联;所述物联网设备由物联网云端进行调控;所述物联网云端引入时序性数据库并与其通信连接;
其中,对所述设备数据进行分析,包括以下步骤:
S11,通过设备传感器定时采集所述设备数据;
S12,将所述设备数据上报传输至所述物联网云端;
S13,所述物联网云端将所述设备数据存储在所述时序性数据库中;
S14,所述物联网云端配置可视化视图界面并通过其分析所述物联网设备的运行状态,生成时序可视化视图。
优选的,所述预处理包括数据清洗、数据变换、数据集成、数据归约、特征选择、特征抽取 和数据标注。
优选的,所述数据变换包括数据标准化和数据离散化;
所述数据标准化,用于消除所述设备数据中特征之间的量纲影响;其采用线性函数标准化,通过线性变换将所述设备数据中的原始值映射到区间[0.0,1.0],其映射函数表示为:;
其中,x为特征原始值;为特征最大值;/>为特征最小值;/>为映射新值;
所述数据离散化,用于简化所述设备数据的结构并缩减数据规模;其包括等宽算法、等频算法和聚类算法;
在所述等宽算法中,将所述设备数据中的连续值区间划分为k个相等的子区间,将第i个子区间内的原始数值映射到整数i,则每个子区间的宽度表示为:;
其中,为连续特征值的最大值;/>为连续特征值的最小值;w为子区间的宽度值。
优选的,所述机器学习算法采用决策树算法和关联规则算法;其中,所述决策树算法采用C4.5算法,所述关联规则算法采用Apriori算法。
优选的,所述构建智能运维模型,包括如下步骤:
S21,根据所述C4.5算法构建决策树模型;
S22,根据所述Apriori算法挖掘关联规则;
S23,将所述决策树模型与所述关联规则进行结合,构建所述智能运维模型。
优选的,关于所述步骤S21,还包括如下步骤:
S211,根据所述预处理数据生成样本数据集和验证数据集;
S212,在所述样本数据集中进行特征选择,获取样本特征;
S213,根据所述样本特征将所述样本数据集分裂为若干子集;
S214,基于每个所述子集,递归地重复所述步骤S212~S213直至满足终止条件,生成所述决策树模型;
S215,基于所述验证数据集对所述决策树模型进行剪枝处理。
优选的,关于所述步骤S22,还包括如下步骤:
S221,根据所述预处理数据生成事物数据集;
S222,设置最小支持度阈值和最小置信度阈值;
S223,通过迭代生成频繁项集;
S224,根据所述频繁项集和所述最小置信度阈值生成初始关联规则;
S225,对所述初始关联规则进行评估和优化,生成所述关联规则。
优选的,关于所述步骤S23,还包括如下步骤:
S231,在所述频繁项集和所述关联规则中筛选出后剪枝规则,并将其作为后剪枝条件;
S232,根据所述后剪枝条件对所述决策树模型进行后剪枝操作;
S233,重复所述步骤S232直至满足所述后剪枝条件,输出后剪枝决策树;
S234,对所述后剪枝决策树进行评估和测试,获取评估结果;
S235,根据所述评估结果选择最优模型,并将其作为所述智能运维模型。
第二方面,本申请实施例提供了一种物联网设备智能运维系统,包括依次通信连接的数据中心模块、模型构建模块、设备自检模块和异常决策模块,以及分别与所述异常决策模块通信连接的自动化处理模块和异常告警模块;
所述数据中心模块,用于对物联网设备的设备数据进行预处理,生成预处理数据;还对所述设备数据进行分析、存储和上报传输;
所述模型构建模块,采用机器学习算法,根据所述预处理数据构建智能运维模型;
所述设备自检模块,用于对所述物联网设备进行异常诊断,生成诊断结果;
所述异常决策模块,用于根据所述诊断结果,利用所述智能运维模型生成异常决策;
其中,所述异常决策包括自动化处理策略和告警策略;
所述自动化处理模块,用于根据所述自动化处理策略对所述物联网设备进行自动化处理;
所述异常告警模块,用于根据所述告警策略生成异常警报并进行告警通知。
优选的,还包括分别与所述自动化处理模块和所述异常告警模块通信连接的模型更新模块;所述模型更新模块还与所述模型构建模块通信连接;
所述自动化处理模块进行自动化处理后生成处理日志;
所述异常告警模块进行告警通知后生成告警记录;
所述模型更新模块,用于对所述处理日志和所述告警记录进行分析,生成更新数据集;
所述模型构建模块还用于根据所述更新数据集对所述智能运维模型进行模型更新。
本发明的有益效果为:
(1)本发明通过采用人工智能对物联网设备进行自主干预,在最大限度维持设备正常工作的前提下发送工作指令到设备,适当降低电流、电压等参数,减少运维人员对运行状态的监护以及工程人员的现场操作,降低人力成本。同时利用人工智能构建的智能运维模型,提供更精确的维护计划和优化建议,避免设备突发故障和停机,同时自动调整设备工作负载、优化设备之间的通信和协同,以提高整体效率和资源利用率。
(2)本发明采用C4.5算法构建决策树模型,采用Apriori算法挖掘关联规则,并将决策树模型与关联规则进行结合,构建智能运维模型;通过综合两种算法的优点,充分利用设备数据中的特征和关联规则,提供更全面、准确的决策结果,进而将其应用于物联网设备的故障诊断、异常预测及优化调度等场景中,实现智能化的决策和管理。
附图说明
为了更好地理解和实施,下面结合附图详细说明本申请的技术方案。
图1为本申请实施例提供的一种物联网设备智能运维方法的步骤流程图;
图2为本申请实施例提供的一种物联网设备智能运维系统的结构示意图。
具体实施方式
为更进一步阐述本发明为实现预定发明目的所采取的技术手段及功效,这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的方法和系统的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
以下结合附图及较佳实施例,对依据本发明的具体实施方式、特征及其功效做详细说明。
实施例1
请参阅图1,本申请实施例提供一种物联网设备智能运维方法,包括如下步骤:
采集物联网设备的设备数据并对所述设备数据进行预处理,生成预处理数据;还对所述设备数据进行分析、存储和上报传输;
采用机器学习算法并根据所述预处理数据构建智能运维模型;
所述物联网设备进行自检并上报异常;
所述智能运维模型对所述异常进行诊断并生成诊断结果;
依据所述诊断结果,利用所述智能运维模型生成异常决策;所述异常决策包括自动化处理策略和告警策略;
根据所述自动化处理策略对所述物联网设备进行自动化处理,并生成处理日志;
根据所述告警策略生成异常警报并进行告警通知,生成告警记录;
对所述处理日志和所述告警记录进行分析,生成更新数据集;
根据所述更新数据集对所述智能运维模型进行模型更新;
其中,所述设备数据与所述物联网设备的性能相关联;所述物联网设备由物联网云端进行调控;所述物联网云端引入时序性数据库并与其通信连接;
其中,对所述设备数据进行分析,包括以下步骤:
S11,通过设备传感器定时采集所述设备数据;
S12,将所述设备数据上报传输至所述物联网云端;
S13,所述物联网云端将所述设备数据存储在所述时序性数据库中;
S14,所述物联网云端配置可视化视图界面并通过其分析所述物联网设备的运行状态,生成时序可视化视图。
具体地,本申请首先通过物联网系统中的若干设备传感器等设备定时进行数据采集,再通过通信模块向物联网系统传输相关数据,并使用数据库进行存储,而在采集到数据后还会进行预处理操作从而生成预处理数据,使得数据更加完整和可靠;紧接着采用机器学习算法基于上述预处理数据进行模型构建,生成智能运维模型;紧接着开始对物联网系统进行自检,物联网设备通过自己的自检sdk进行检查,如果发现异常就将其上报,紧接着智能运维模型会对上报的异常进行诊断,生成诊断结果;紧接着根据诊断结果并利用上述智能运维模型生成异常决策,在该异常决策中包括自动化处理策略和告警策略;其中自动化处理策略用于自动化的处理设备异常并生成处理日志;而告警策略用于生成异常警报并进行告警和通知,同时生成告警记录;这样的方式相比于人工处理来说,可以大幅度提高异常处理的效率,并且通过生成对应的策略分别进行自动化处理和告警,为设备的异常处理增加了多层保障,同时也极大地提高了效率;最后,通过分析上述告警记录和处理日志生成更新数据集,并利用该更新数据集对上述智能运维模型进行模型更新,从而确保该模型始终具备较高的准确性和高效率。
在本实施例中,上述设备数据与物联网设备的性能相关联,设备数据可以体现出物联网设备的性能;所述物联网设备由物联网云端进行调控,而物联网云端引入时序性数据库对数据进行存储和分析, 通过接收到的事件及上报的数据信息,按照时序的方式进行保存并配置可视化视图界面,直观地观察设备的运行状况。
需要说明的是,通过上述时序可视化视图,可以直观查看到设备运行时的各种参数以及运行结果,了解设备的不同运行情况时的参数差异,分析出设备最佳运行参数,进行后续优化性能。
在得出设备最佳的运行参数后,每当接收到约定数量的异常参数或异常数据后,也能生成相关策略并进行设备的实时控制,通过发送指令来设置设备的工作参数。
对于相应的上报数据,将一天的数据按照8:2的比例进行划分,分别将其作为训练数据集(占总数据的80%)和测试数据集(占总数据的20%),将以上的数据打包处理,将训练数据集投放到训练数据池中,为后续的机器学习提供资源支持;测试数据集则用于后续构建的智能运维模型进行测试验证。而训练出的智能运维模型可以预测设备的故障风险且自主进行决策,并调整设备运行情况。
需要说明的是,在异常诊断过程中,主要包括:设备SDK设计与自检、配合设备的特定事件形成特定SDK、设备自检;
在设备SDK设计与自检中,提取物联网设备的共性事件,比如:心跳、传感器数据采集、设备状态如通信连接状态和开关状态、故障信息和告警信息、重启以及远程升级等,以上事件基本是大部分物联网设备都具备的,因此可以归纳为共性事件。
在配合设备的特定事件形成特定SDK中,由于物联网设备的多样性,各种设备的功能也是千差万别,所以会有不同的事件。比如:
充电桩事件:远程开启充电、远程结束充电、充电订单结算;
门禁事件:刷卡开门、人脸开门、APP开门;
正是因为设备多样性,每种设备除了已经实现SDK的共性事件以外,还需要拓展特定事件的功能,形成特定设备的标准SDK。
在设备自检中,物联网云端配置有各种设备及不同型号的自检事件清单,自检清单则包括SDK包的事件,指定运行周期,每一个周期执行清单,如发现异常,则进行告警上报,为下一步操作进行准备。
需要说明的是,本实施例在进行告警通知时,告警上报接入告警管理中心,其包含以下内容:
(1)通知渠道组:
指定多种通知的方式:比如企业微信、微信、邮件、手机号等;
指定方式下的通知人员:自定义添加特定人员;
(2)告警策略,包括以下内容:
通知模板:指定告警消息内容;
通知频率:指定特定的频率发送通知;
通知渠道:选择已配置好的通知渠道组;
(1)告警历史:保存一定时间内的告警历史信息,即:告警记录,方便回溯查看以及归纳总结,还可以用于进行模型更新。
需要说明的是,在本实施例的异常决策部分,当物联网设备出现异常事件告警时,自动化处理策略可以提供相应的决策操作,包括如下内容:
(1)为每种异常事件,配置一种自动处理方式 ,执行相应操作。
如:传感器采集数据上报,发生缺少上传,数值异常,即可收集统计,达到自定义次数,即可认为设备传感器发生故障,从而可优先进行设备重启,如果重启后设备依旧有问题,可派遣工程队进去维修更换。
(2)异常事件之间可以相互组合,指定特定的决策操作。
如:充电桩设备,如果心跳没有连续发送指定次数,即可认为其掉线,如果此前有充电订单,因设备掉线没有上报结算消息,此时可以进行主动结算订单,避免长时间的不结算,从而降低客户体验感。
在本申请提供的一种实施例中,所述预处理包括数据清洗、数据变换、数据集成、数据归约、特征选择、特征抽取 和数据标注。
具体地,关于数据清洗,主要对设备数据进行去除重复值、处理缺失值、处理异常值等操作,使得设备数据更加规整和准确;关于数据变换,主要是对设备数据进行统一的变换,包括数据标准化、归一化、离散化、对数变换等,以便于后续分析和建模;关于数据集成,主要是将多个不同数据源的设备数据进行合并和整合,消除冗余和矛盾,形成一个一致的数据集;关于数据归约,主要是对大规模的设备数据进行降维处理,包括属性选择、维度约简、样本选择等方法,以减少设备数据的复杂性和冗余性,并保留关键信息;关于特征选择,主要是从原始的设备数据中选择最具有代表性和预测能力的特征子集,用于构建模型或进行分析,可以基于统计学方法、信息论方法和机器学习方法进行特征选择;关于特征抽取 ,主要是通过对原始的设备数据进行变换和组合,从中提取出新的有意义的特征表示;关于数据标注,主要是给设备数据样本赋予类别标签或其他语义信息,用于监督学习和有监督任务,数据标注可以通过人工标注、自动标注和半监督学习等方式进行。本实施例所采用的上述数据预处理操作,可以提高设备数据的数据质量、降低噪音和冗余,为后续的分析和建模提供更可靠的数据基础。
在本申请提供的一种实施例中,所述数据变换包括数据标准化和数据离散化;
所述数据标准化,用于消除所述设备数据中特征之间的量纲影响;其采用线性函数标准化,通过线性变换将所述设备数据中的原始值映射到区间[0.0,1.0],其映射函数表示为:;
其中,x为特征原始值;为特征最大值;/>为特征最小值;/>为映射新值;
所述数据离散化,用于简化所述设备数据的结构并缩减数据规模;其包括等宽算法、等频算法和聚类算法;
在所述等宽算法中,将所述设备数据中的连续值区间划分为k个相等的子区间,将第i个子区间内的原始数值映射到整数i,则每个子区间的宽度表示为:;
其中,为连续特征值的最大值;/>为连续特征值的最小值;w为子区间的宽度值。
在本申请提供的一种实施例中,所述机器学习算法采用决策树算法和关联规则算法;其中,所述决策树算法采用C4.5算法,所述关联规则算法采用Apriori算法。
在本申请提供的一种实施例中,所述构建智能运维模型,包括如下步骤:
S21,根据所述C4.5算法构建决策树模型;
S22,根据所述Apriori算法挖掘关联规则;
S23,将所述决策树模型与所述关联规则进行结合,构建所述智能运维模型。
具体地,本实施例首先采用C4.5算法构建出决策树模型,该C4.5算法通过引入连续性特征处理、缺失值处理和信息增益比特征选择等改进,使得决策树模型更加灵活和准确;然后再采用Apriori算法挖掘相关的关联规则,Apriori算法可以从大规模的数据集中挖掘出频繁项集和关联规则,这些频繁项集和关联规则可以反映数据中的关联关系,从而为后续的智能运维模型提供更好的决策和推荐;最后将决策树模型与关联规则进行结合,构建智能运维模型,该智能运维模型结合了C4.5算法和Apriori算法的优点,可以充分利用设备数据中的特征和关联规则,提供更全面、准确的决策结果,进而将其应用于物联网设备的故障诊断、异常预测及优化调度等场景中,实现智能化的决策和管理。
在本申请提供的一种实施例中,关于所述步骤S21,还包括如下步骤:
S211,根据所述预处理数据生成样本数据集和验证数据集;
S212,在所述样本数据集中进行特征选择,获取样本特征;
S213,根据所述样本特征将所述样本数据集分裂为若干子集;
S214,基于每个所述子集,递归地重复所述步骤S212~S213直至满足终止条件,生成所述决策树模型;
S215,基于所述验证数据集对所述决策树模型进行剪枝处理。
在本申请提供的一种实施例中,关于所述步骤S22,还包括如下步骤:
S221,根据所述预处理数据生成事物数据集;
S222,设置最小支持度阈值和最小置信度阈值;
S223,通过迭代生成频繁项集;
S224,根据所述频繁项集和所述最小置信度阈值生成初始关联规则;
S225,对所述初始关联规则进行评估和优化,生成所述关联规则。
在本申请提供的一种实施例中,关于所述步骤S23,还包括如下步骤:
S231,在所述频繁项集和所述关联规则中筛选出后剪枝规则,并将其作为后剪枝条件;
S232,根据所述后剪枝条件对所述决策树模型进行后剪枝操作;
S233,重复所述步骤S232直至满足所述后剪枝条件,输出后剪枝决策树;
S234,对所述后剪枝决策树进行评估和测试,获取评估结果;
S235,根据所述评估结果选择最优模型,并将其作为所述智能运维模型。
具体地,本实施例在模型的建立过程中会进行评估和测试,其作用是防止过度剪枝导致过拟合问题,因此通过进行充分的评估和调整,从而找到平衡的剪枝策略,同时,还通过选择合适的评估指标来评估剪枝后模型的性能和泛化能力。
综上所述,本申请通过采用人工智能对物联网设备进行自主干预,在最大限度维持设备正常工作的前提下发送工作指令到设备,适当降低电流、电压等参数,减少运维人员对运行状态的监护以及工程人员的现场操作,降低人力成本。
同时利用人工智能构建的智能运维模型,提供更精确的维护计划和优化建议,避免设备突发故障和停机,同时自动调整设备工作负载、优化设备之间的通信和协同,以提高整体效率和资源利用率。
本申请采用C4.5算法构建决策树模型,采用Apriori算法挖掘关联规则,并将决策树模型与关联规则进行结合,构建智能运维模型;通过综合两种算法的优点,充分利用设备数据中的特征和关联规则,提供更全面、准确的决策结果,进而将其应用于物联网设备的故障诊断、异常预测及优化调度等场景中,实现智能化的决策和管理。
实施例2
请参阅图2,本申请实施例提供一种物联网设备智能运维系统,包括依次通信连接的数据中心模块、模型构建模块、设备自检模块和异常决策模块,以及分别与所述异常决策模块通信连接的自动化处理模块和异常告警模块;
所述数据中心模块,用于对物联网设备的设备数据进行预处理,生成预处理数据;还对所述设备数据进行分析、存储和上报传输;
所述模型构建模块,采用机器学习算法,根据所述预处理数据构建智能运维模型;
所述设备自检模块,用于对所述物联网设备进行异常诊断,生成诊断结果;
所述异常决策模块,用于根据所述诊断结果,利用所述智能运维模型生成异常决策;
其中,所述异常决策包括自动化处理策略和告警策略;
所述自动化处理模块,用于根据所述自动化处理策略对所述物联网设备进行自动化处理;
所述异常告警模块,用于根据所述告警策略生成异常警报并进行告警通知。
在本申请实施例中,上述物联网设备智能运维系统还包括分别与所述自动化处理模块和所述异常告警模块通信连接的模型更新模块;所述模型更新模块还与所述模型构建模块通信连接;
所述自动化处理模块进行自动化处理后生成处理日志;
所述异常告警模块进行告警通知后生成告警记录;
所述模型更新模块,用于对所述处理日志和所述告警记录进行分析,生成更新数据集;
所述模型构建模块还用于根据所述更新数据集对所述智能运维模型进行模型更新。
本申请通过采用人工智能对物联网设备进行自主干预,在最大限度维持设备正常工作的前提下发送工作指令到设备,适当降低电流、电压等参数,减少运维人员对运行状态的监护以及工程人员的现场操作,降低人力成本;同时利用人工智能构建的智能运维模型,提供更精确的维护计划和优化建议,避免设备突发故障和停机,同时自动调整设备工作负载、优化设备之间的通信和协同,以提高整体效率和资源利用率。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将系统的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件,或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,虽然本发明已以较佳实施例揭示如上,然而并非用以限定本发明,任何本领域技术人员,在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简介修改、等同变化与修饰,均仍属于本发明技术方案的范围内。
Claims (7)
1.一种物联网设备智能运维方法,其特征在于:包括如下步骤:
采集物联网设备的设备数据并对所述设备数据进行预处理,生成预处理数据;还对所述设备数据进行分析、存储和上报传输;
采用机器学习算法并根据所述预处理数据构建智能运维模型;
所述物联网设备进行自检并上报异常;
所述智能运维模型对所述异常进行诊断并生成诊断结果;
依据所述诊断结果,利用所述智能运维模型生成异常决策;所述异常决策包括自动化处理策略和告警策略;
根据所述自动化处理策略对所述物联网设备进行自动化处理,并生成处理日志;
根据所述告警策略生成异常警报并进行告警通知,生成告警记录;
对所述处理日志和所述告警记录进行分析,生成更新数据集;
根据所述更新数据集对所述智能运维模型进行模型更新;
其中,所述设备数据与所述物联网设备的性能相关联;所述物联网设备由物联网云端进行调控;所述物联网云端引入时序性数据库并与其通信连接;
其中,对所述设备数据进行分析,包括以下步骤:
S11,通过设备传感器定时采集所述设备数据;
S12,将所述设备数据上报传输至所述物联网云端;
S13,所述物联网云端将所述设备数据存储在所述时序性数据库中;
S14,所述物联网云端配置可视化视图界面并通过其分析所述物联网设备的运行状态,生成时序可视化视图;
关于异常决策,当物联网设备出现异常事件并告警时,自动化处理策略用于提供相应的决策操作;
所述机器学习算法采用决策树算法和关联规则算法;其中,所述决策树算法采用C4.5算法,所述关联规则算法采用Apriori算法;
所述构建智能运维模型,包括如下步骤:
S21,根据所述C4.5算法构建决策树模型;
S22,根据所述Apriori算法挖掘关联规则;
S23,将所述决策树模型与所述关联规则进行结合,构建所述智能运维模型;
关于所述步骤S23,还包括如下步骤:
S231,在频繁项集和关联规则中筛选出后剪枝规则,并将其作为后剪枝条件;
S232,根据所述后剪枝条件对所述决策树模型进行后剪枝操作;
S233,重复所述步骤S232直至满足所述后剪枝条件,输出后剪枝决策树;
S234,对所述后剪枝决策树进行评估和测试,获取评估结果;
S235,根据所述评估结果选择最优模型,并将其作为所述智能运维模型;
所述预处理包括数据变换,所述数据变换包括数据标准化;
所述数据标准化,用于消除所述设备数据中特征之间的量纲影响;其采用线性函数标准化,通过线性变换将所述设备数据中的原始值映射到区间[0.0,1.0],其映射函数表示为: ;
其中,x为特征原始值;为特征最大值;/>为特征最小值;/>为映射新值。
2.根据权利要求1所述的一种物联网设备智能运维方法,其特征在于:所述预处理还包括数据清洗、数据集成、数据归约、特征选择、特征抽取 和数据标注。
3.根据权利要求2所述的一种物联网设备智能运维方法,其特征在于:所述数据变换还包括数据离散化;
所述数据离散化,用于简化所述设备数据的结构并缩减数据规模;其包括等宽算法、等频算法和聚类算法;
在所述等宽算法中,将所述设备数据中的连续值区间划分为k个相等的子区间,将第i个子区间内的原始数值映射到整数i,则每个子区间的宽度表示为:;
其中,为连续特征值的最大值;/>为连续特征值的最小值;w为子区间的宽度值。
4.根据权利要求1所述的一种物联网设备智能运维方法,其特征在于:关于所述步骤S21,还包括如下步骤:
S211,根据所述预处理数据生成样本数据集和验证数据集;
S212,在所述样本数据集中进行特征选择,获取样本特征;
S213,根据所述样本特征将所述样本数据集分裂为若干子集;
S214,基于每个所述子集,递归地重复所述步骤S212~S213直至满足终止条件,生成所述决策树模型;
S215,基于所述验证数据集对所述决策树模型进行剪枝处理。
5.根据权利要求4所述的一种物联网设备智能运维方法,其特征在于:关于所述步骤S22,还包括如下步骤:
S221,根据所述预处理数据生成事物数据集;
S222,设置最小支持度阈值和最小置信度阈值;
S223,通过迭代生成频繁项集;
S224,根据所述频繁项集和所述最小置信度阈值生成初始关联规则;
S225,对所述初始关联规则进行评估和优化,生成所述关联规则。
6.一种物联网设备智能运维系统,应用于如权利要求1-5任一项所述的一种物联网设备智能运维方法,其特征在于:包括依次通信连接的数据中心模块、模型构建模块、设备自检模块和异常决策模块,以及分别与所述异常决策模块通信连接的自动化处理模块和异常告警模块;
所述数据中心模块,用于对物联网设备的设备数据进行预处理,生成预处理数据;还对所述设备数据进行分析、存储和上报传输;
所述模型构建模块,采用机器学习算法,根据所述预处理数据构建智能运维模型;
所述设备自检模块,用于对所述物联网设备进行异常诊断,生成诊断结果;
所述异常决策模块,用于根据所述诊断结果,利用所述智能运维模型生成异常决策;
其中,所述异常决策包括自动化处理策略和告警策略;
所述自动化处理模块,用于根据所述自动化处理策略对所述物联网设备进行自动化处理;
所述异常告警模块,用于根据所述告警策略生成异常警报并进行告警通知。
7.根据权利要求6所述的一种物联网设备智能运维系统,其特征在于:还包括分别与所述自动化处理模块和所述异常告警模块通信连接的模型更新模块;所述模型更新模块还与所述模型构建模块通信连接;
所述自动化处理模块进行自动化处理后生成处理日志;
所述异常告警模块进行告警通知后生成告警记录;
所述模型更新模块,用于对所述处理日志和所述告警记录进行分析,生成更新数据集;
所述模型构建模块还用于根据所述更新数据集对所述智能运维模型进行模型更新。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311672039.3A CN117376108B (zh) | 2023-12-07 | 2023-12-07 | 一种物联网设备智能运维方法与系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311672039.3A CN117376108B (zh) | 2023-12-07 | 2023-12-07 | 一种物联网设备智能运维方法与系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117376108A CN117376108A (zh) | 2024-01-09 |
CN117376108B true CN117376108B (zh) | 2024-03-01 |
Family
ID=89404504
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311672039.3A Active CN117376108B (zh) | 2023-12-07 | 2023-12-07 | 一种物联网设备智能运维方法与系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117376108B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107247970A (zh) * | 2017-06-23 | 2017-10-13 | 国家质量监督检验检疫总局信息中心 | 一种商品合格率关联规则的挖掘方法和装置 |
CN108681576A (zh) * | 2018-05-08 | 2018-10-19 | 亳州中药材商品交易中心有限公司 | 一种基于红花质量决策树的数据挖掘方法 |
CN109343995A (zh) * | 2018-10-25 | 2019-02-15 | 金税信息技术服务股份有限公司 | 基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统 |
CN110910991A (zh) * | 2019-11-21 | 2020-03-24 | 张军 | 一种医用自动图像处理系统 |
CN111209131A (zh) * | 2019-12-30 | 2020-05-29 | 航天信息股份有限公司广州航天软件分公司 | 一种基于机器学习确定异构系统的故障的方法和系统 |
CN117115937A (zh) * | 2023-10-20 | 2023-11-24 | 湖南半岛医疗科技有限公司 | 设备运行状态监测方法、装置、云端设备及存储介质 |
CN117176560A (zh) * | 2023-11-03 | 2023-12-05 | 山东智云信息科技有限公司 | 一种基于物联网的监测设备监管系统及其方法 |
CN117172751A (zh) * | 2023-09-08 | 2023-12-05 | 北京红山信息科技研究院有限公司 | 一种智慧运维信息分析模型的构建方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11475353B2 (en) * | 2017-12-01 | 2022-10-18 | Appranix, Inc. | Automated application reliability management using adaptable machine learning models |
-
2023
- 2023-12-07 CN CN202311672039.3A patent/CN117376108B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107247970A (zh) * | 2017-06-23 | 2017-10-13 | 国家质量监督检验检疫总局信息中心 | 一种商品合格率关联规则的挖掘方法和装置 |
CN108681576A (zh) * | 2018-05-08 | 2018-10-19 | 亳州中药材商品交易中心有限公司 | 一种基于红花质量决策树的数据挖掘方法 |
CN109343995A (zh) * | 2018-10-25 | 2019-02-15 | 金税信息技术服务股份有限公司 | 基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统 |
CN110910991A (zh) * | 2019-11-21 | 2020-03-24 | 张军 | 一种医用自动图像处理系统 |
CN111209131A (zh) * | 2019-12-30 | 2020-05-29 | 航天信息股份有限公司广州航天软件分公司 | 一种基于机器学习确定异构系统的故障的方法和系统 |
CN117172751A (zh) * | 2023-09-08 | 2023-12-05 | 北京红山信息科技研究院有限公司 | 一种智慧运维信息分析模型的构建方法 |
CN117115937A (zh) * | 2023-10-20 | 2023-11-24 | 湖南半岛医疗科技有限公司 | 设备运行状态监测方法、装置、云端设备及存储介质 |
CN117176560A (zh) * | 2023-11-03 | 2023-12-05 | 山东智云信息科技有限公司 | 一种基于物联网的监测设备监管系统及其方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117376108A (zh) | 2024-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111985561B (zh) | 一种智能电表的故障诊断方法、系统及电子装置 | |
CN108415789B (zh) | 面向大规模混合异构存储系统的节点故障预测系统及方法 | |
CN102130783B (zh) | 神经网络的智能化告警监控方法 | |
CN110674189B (zh) | 一种智能变电站二次状态监测与故障定位的方法 | |
CN111047082A (zh) | 设备的预警方法及装置、存储介质和电子装置 | |
CN102032115A (zh) | 用于分析报告数据的系统和方法 | |
CN108597057A (zh) | 一种基于噪音深度学习的无人机故障预测诊断系统及方法 | |
CN116308304B (zh) | 基于元学习概念漂移检测的新能源智慧运维方法及系统 | |
CN117176560B (zh) | 一种基于物联网的监测设备监管系统及其方法 | |
WO2024065988A1 (zh) | 设备监测方法和系统、电子设备、存储介质 | |
CN109840864A (zh) | 一种建筑能耗管理系统 | |
CN114169570A (zh) | 一种基于物联网与云计算技术的智慧能源管理平台 | |
CN116755964A (zh) | 一种加固服务器的故障预测与健康管理系统 | |
CN117234785B (zh) | 基于人工智能自查询的集控平台错误分析系统 | |
CN117592975A (zh) | 基于云计算的高速公路机电设备运维决策处理方法及系统 | |
CN117376108B (zh) | 一种物联网设备智能运维方法与系统 | |
CN117575169A (zh) | 一种基于数据处理的智慧农业管理系统 | |
CN117041312A (zh) | 基于物联网的企业级信息技术监控系统 | |
CN110794799A (zh) | 应用于工业生产的具有故障诊断功能的大数据系统 | |
Yang et al. | Design of equipment online monitoring and fault diagnosis platform based on IoT | |
CN115222069A (zh) | 一种设备预诊维护算法及集成该算法的智能工厂管控架构 | |
CN116976809B (zh) | 一种水务智慧大脑系统 | |
CN111832832B (zh) | 一种基于物联网的小区自巡检系统 | |
CN117113157B (zh) | 一种基于人工智能的台区用电故障检测系统 | |
CN117132099A (zh) | 基于智能工作流的油气田生产运营管理系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |