CN111738308A - 基于聚类及半监督学习的监控指标动态阈值检测方法 - Google Patents
基于聚类及半监督学习的监控指标动态阈值检测方法 Download PDFInfo
- Publication number
- CN111738308A CN111738308A CN202010495703.1A CN202010495703A CN111738308A CN 111738308 A CN111738308 A CN 111738308A CN 202010495703 A CN202010495703 A CN 202010495703A CN 111738308 A CN111738308 A CN 111738308A
- Authority
- CN
- China
- Prior art keywords
- curve
- cluster
- clustering
- new
- historical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 22
- 238000001514 detection method Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 36
- 230000002159 abnormal effect Effects 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 9
- 238000007667 floating Methods 0.000 claims abstract description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 22
- 238000005259 measurement Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000011524 similarity measure Methods 0.000 claims description 5
- 238000004519 manufacturing process Methods 0.000 description 10
- 235000019504 cigarettes Nutrition 0.000 description 6
- 238000000605 extraction Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
- B07C5/3412—Sorting according to other particular properties according to a code applied to the object which indicates a property of the object, e.g. quality class, contents or incorrect indication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明公开了一种基于聚类及半监督学习的监控指标动态阈值检测方法，该方法包括如下步骤：1)获取多个历史曲线，对各历史曲线的形状进行聚类得到多个不同的聚类簇，确定各聚类簇的中心曲线，根据所述中心曲线各时间点对应的幅值设定阈值，从而获得随时间变化的浮动阈值；2)在线获取新曲线，根据所述新曲线的形状确定其所属的聚类簇，结合所述新曲线的幅值数据及其所属聚类簇的幅值数据训练半监督模型，得到对应于所属聚类簇的新聚类簇，更新该新聚类簇的动态阈值；3)根据所述新聚类簇的动态阈值判断所述新曲线是否存在异常。该方法既能有效降低误报率，又可以避免漏报。
Description
技术领域
本发明涉及阈值检测技术领域，具体地说，是涉及基于聚类及半监督学习的分拣机电控PLC监控指标动态阈值检测方法。
背景技术
成品件烟扫码分拣回流故障是卷烟厂物流调度生产线上的一个常见故障，是生产PLC传输机制方面的原因导致，目前卷烟大部分的PLC工控设备的监控不足，无法获取足够的分析数据，且由于生产环境因素复杂，造成该故障的具体原因也不同，比如防火墙的性能瓶颈、数据库集群心跳超时、存储磁盘IO延时等等。该故障在产生时，都会出现成品件烟的扫码分拣回流现象，大量成品烟支跳出生产流水线，造成经济损失。
卷烟厂物流分拣机电控PLC的监控系统的报警原理是基于某个指标触发所设定的阈值后，向相关人员发送消息提醒。目前的做法是根据固定阈值进行监控，这个阈值是根据经验设定的，优点是简单、直接、操作性强；其缺点是经验值不够精准，当阈值设置过小时，会增加无效报警次数，导致误报率增加；当阈值设置过大时，又会导致漏报，影响生产。
由于该监控系统产生的大部分指标数据均为时序数据，数据指标的波动呈周期性变化，通过经验或者人工很难设定一个精准的、合适的阈值。在部分场景下，由于生产操作的关系新的KPI曲线会频繁并且大量的出现，如果不能及时的为新的曲线提供高精度的检测模型，运维人员就会“疲于奔命”，服务的稳定性也无法得到保证。由于电控PLC运行涵盖的生产环节非常多，并且相关的网络指标也非常多，任何一个指标出现故障或异常抖动都有可能影响到其可用性，人工设定阈值和规则难以有效应对复杂多样的异常。
基于此，如何精确设置报警阈值，在尽可能降低误报率的前提下又避免漏报，是当前本领域的技术难点。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于聚类及半监督学习的分拣机电控PLC监控指标动态阈值检测方法，该方法既能有效降低误报率，又可以避免漏报。
基于上述目的，本发明提供一种基于聚类及半监督学习的监控指标动态阈值检测方法，该方法包括如下步骤：
1)获取多个历史曲线，对各历史曲线的形状进行聚类得到多个不同的聚类簇，确定各聚类簇的中心曲线，根据所述中心曲线各时间点对应的幅值设定阈值，从而获得随时间变化的浮动阈值；
2)在线获取新曲线，根据所述新曲线的形状确定其所属的聚类簇，结合所述新曲线的幅值数据及其所属聚类簇的幅值数据训练半监督模型，得到对应于所属聚类簇的新聚类簇，更新该新聚类簇的动态阈值；
3)根据所述新聚类簇的动态阈值判断所述新曲线是否存在异常。
作为优选，步骤1)中，获取历史曲线的具体方法为：获取前一时间段内的时序数据，对所述时序数据进行标准化处理，获得相应时序数据的基线，将该基线作为历史曲线。
作为优选，对所述时序数据进行标准化处理包括：消除振幅差异、提取标识曲线形状的极限值，去除噪声及异常点。
作为优选，所述前一时间段为前一天、前一周或前一个月。
作为优选，步骤1)中，对历史曲线的形状进行聚类得到多个不同的聚类簇的具体方法为：对所述历史曲线进行相似性判断，根据相似性判断结果对历史曲线进行分类，获得不同的聚类簇。
作为优选，采用ROCKA算法对历史曲线进行相似性判断，具体地：根据基于形状的SBD距离作为相似性度量，当两条曲线之间的SBD距离在预设范围内时，判定这两条曲线属于同一形状类型的聚类簇。
作为优选，SBD距离的预设范围为[0，2]。
作为优选，采用基于密度的聚类算法DBSCAN对所有历史曲线进行聚类获得聚类簇，具体地，根据相似性度量在历史曲线的稠密区域中确定中心曲线，从而形成聚类簇。
作为优选，根据历史曲线形成聚类簇的具体方法为：
以所述中心曲线为中心，设定参数半径，根据K近邻算法确定在距离中心曲线参数半径范围内的曲线，将参数半径范围内的所有曲线连同中心曲线汇聚到一起形成聚类簇。
作为优选，采用CPLE算法对所述新曲线的幅值数据及其所属类型聚类簇的幅值数据进行半监督模型的训练。
与现有技术相比，本发明的有益效果为：
该方法可根据历史曲线生成动态阈值，并随着新曲线的采集，实时更新得到动态的浮动阈值(本发明称之为动态阈值)，这样，根据时序变化的动态阈值对分拣机PLC监控指标进行监控，既能有效降低误报率，又可以避免漏报。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的限定。
图1是本发明实施例中所述的基于聚类及半监督学习的分拣机电控PLC监控指标动态阈值检测方法的总体流程图；
图2是本发明实施例的聚类原理示意图；
图3是采用本发明实施例中所述的基于聚类及半监督学习的分拣机电控PLC监控指标动态阈值检测方法进行新曲线监控的方法流程图；
图4是本发明实施例中的ROCKA算法框架；
图5是本发明实施例中的CPLE算法架构；
图6是根据本发明所述方法所采集的分拣机电控PLC的比特率的数据；
图7是根据本发明所述方法所采集的分拣机电控PLC的每秒数据包数量的数据。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、部件和/或它们的组合。
分拣机电控PLC监控数据具有结构复杂、数据速度需求多样化、数据价值不均匀等特征。同时具有多源性获取、蕴含信息复杂、关联性强，持续采集，动态时空特性，采集、存储、处理实时性要求高、与具体生产过程密切相关等特点。
下面结合附图与实施例对本发明作进一步说明：
如图1-图3所示，本实施例提供一种基于聚类及半监督学习的监控指标动态阈值检测方法，该方法包括如下步骤：
1)获取多个历史曲线，对各历史曲线的形状进行聚类得到多个不同的聚类簇，确定各聚类簇的中心曲线，根据所述中心曲线各时间点对应的幅值设定阈值，从而获得随时间变化的浮动阈值；
2)在线获取新曲线，根据所述新曲线的形状确定其所属的聚类簇，结合所述新曲线的幅值数据及其所属聚类簇的幅值数据训练半监督模型，得到对应于所属聚类簇的新聚类簇，更新该新聚类簇的动态阈值；
3)根据所述新聚类簇的动态阈值判断所述新曲线是否存在异常。一般情况下，将浮动阈值设定在中心曲线各时间点对应幅值的±10％，当然，这个百分比可以根据业务进行调整。
需要说明：在实际操作中，一方面，异常指标在某些属性上总是偏离绝大多数正常行为的；另一方面，真实的网络故障是罕见的，只占很小的比例，在对正常行为建模时，历史数据中包含的极少量异常样本对模型的影响微乎其微。在实验中，运维人员根据对分拣机电控PLC影响选定客户端平均ACK时延这个指标用于动态阈值模型训练。
此外，通过对分拣机电控PLC的服务器比特率(如图6)、每秒数据包数(如图7)分析，尽管KPI曲线的数量众多，但是曲线的形状大体上只有少数的几类。这本质是由于，曲线的形状是由业务的工作负载(比如不同时间的生产量、设备运行的时间、系统产生的数据量等)以及曲线的类型(服务器响应平均传输时间，上行比特率、上行TCP数据包数)所决定的。除非是另外一个业务，否则新的曲线的形状大概率会和旧曲线的形状相似。因此可以对曲线做聚类，属于同一类别的曲线，其特征空间也大致相似。
作为一种较优的实施方式，步骤1)中，获取历史曲线的具体方法为：获取前一时间段内的时序数据，对所述时序数据进行标准化处理，获得相应时序数据的基线，将该基线作为历史曲线；优选地，一般选择之前一天、一周或一个月内的历史曲线作为参考，具体根据所采集新曲线的周期确定。这样，一方面可以保证参考数据的相似性和有效性，又可避免历史曲线数据过多，增加不必要的计算量。
作为一种较优的实施方式，对所述时序数据进行标准化处理包括：消除振幅差异、提取标识曲线形状的极限值，去除噪声及异常点。
作为一种较优的实施方式，所述前一时间段为前一天、前一周或前一个月。
优选地，上述时序数据可以基于特征工程对分拣机电控PLC监控指标进行提取，提取过程包括：异常数据的清洗和样本的选取、数据预处理、特征选择和降维。
其中，异常数据的清洗和样本的选取的目的是将物流分拣机运行数据中异常的数据清除。异常数据包含生产数据中包含的异常数据和缺失数据，根据实际生产经验筛选排除一些已知外在因素，如非正常工况的数据。缺失值的处理方式为剔除包含缺失值的整条数据；异常值采用基于统计的异常点检测：极差，这种方法适合于挖掘单变量的数值型数据。
作为一种较优的实施方式，步骤1)中，对历史曲线的形状进行聚类得到多个不同的聚类簇的具体方法为：对所述历史曲线进行相似性判断，根据相似性判断结果对历史曲线进行分类，获得不同的聚类簇。
作为一种较优的实施方式，本实施例采用ROCKA算法对历史曲线进行相似性判断，ROCKA算法如图4所示。具体地：根据基于形状的SBD距离作为相似性度量，当两条曲线之间的SBD距离在预设范围内时，判定这两条曲线属于同一形状类型的聚类簇。再具体地，ROCKA算法需要应用到离线和在线两个模块。其中离线是为了做模型训练或者聚类的，在线是为了使用离线处理好的模块来做曲线分类的。离线模块需要做以下几件事情：首先收集一批时间序列数据，通过预处理，具体指对时序数据的缺失值处理和标准化；然后实现实施基线提取，即把时间序列分成基线和剩余项两个部分；根据基线值再进行聚类的操作，对比两条时间序列曲线之间的相似度，相似的聚成一类，不相似的分成两类，获得相应的聚类结果和簇中心。在线模块同样也要做类似的事情：首先对于每一条新来的时间序列数据，通过预处理模块，实施基线提取，然后使用已经聚类好的离线模块来进行实时的分类。
为了有效的评估算法效果，进行模拟线上测试，随机选取70根历史曲线，聚类算法根据形状把它们分为了5类，每类选择了聚类中心(即中心曲线，由ROCKA算法自动给出，可以看做是一类的代表)进行浮动阈值的设定。具体实施步骤：首先消除原始曲线的振幅差异，进行标准化，具体变换步骤是特征值减去所有特征的均值再除以标准差，将结果平方；然后提取表示曲线形状的极限，去除曲线上的噪声和可能的异常点；采用基于形状的SBD距离(Shapebased Distance算法)作为相似性度量，在最优偏移s时，两条时序曲线x和y中的相似模式被对齐从而使内积最大，标准化互相关的值域为[-1,1]，因而距离度量SBD的值域为[0，2]，当SBD的值为0时表示两曲线具有完全相同的形状。SBD值越小表示两曲线的形状相似性越高。利用卷积理论和快速傅立叶变换，可将计算两条长度为m的曲线的时间复杂度降至O(m log(m))，从而快速计算曲线间的相似性。SBD距离计算如下：
公式(1-1)中，NCC(normalized cross correlation)为标准化互相关量，
为x和y的标准化互相关量；CC(cross correlation)为互相关量，
为x和y的互相关量；SBD为距离度量，x为时序曲线的时间，y为x时刻对应的幅值(一般情况下，y可以代表当前kPI曲线的实时数据，比如上行TCP数据包数等，)s是最优偏移量。
作为一种较优的实施方式，采用基于密度的聚类算法DBSCAN对所有历史曲线进行聚类获得聚类簇，具体地，根据相似性度量在历史曲线的稠密区域中确定中心曲线，从而形成聚类簇。DBSCAN是根据所用的相似性度量(SBD)在样本(历史曲线)的稠密区域中找到若干核心样本，之后通过样本(历史曲线)相似性的传递性来扩展各核心样本(中心曲线)所在的区域(即若a与b相似，b与c相似，则a、b、c均属于同一聚类簇)，形成聚类簇。聚类过程中，对于关键参数密度半径的确定，采用了根据K近邻(k-NearestNeighbor分类算法)距离，具体的，对于待聚类的样本曲线集，计算每个样本到与其第k近的样本间的距离，按降序排列形成k-距离曲线。曲线上的平坦部分为候选半径值。此外，越小的SBD值表明曲线越相似，而较大的SBD值则表明曲线间不相似，因此，实验采用经验值0.05作为上界，将不超过此值的最大候选半径作为最终的密度半径值，最终获得5个聚类簇，即5类曲线。选择每个类别中心进行异常标注，新曲线接入后，根据形状，分配到合适的类别中，再利用新曲线数据与已标注异常的类别中心数据训练模型，为新曲线做异常检测。该方法中，对于基线提取、SBD度量及基于密度的聚类技术的结合，与已有的技术对比，有效的提升了算法对于曲线各种形状变化的鲁棒性。
计算各聚类簇的聚类中心(中心曲线)，该类别的形状特征可表示为：
公式(2-1)中，centroid为聚类中心(中心曲线)的形状特征；cluster表示簇；新曲线计算其与各聚类中心的相似性距离，将其分派到距离最近的类别。
作为一种较优的实施方式，根据历史曲线形成聚类簇的具体方法为：
以所述中心曲线为中心，设定参数半径，根据K近邻算法确定在距离中心曲线参数半径范围内的曲线，将参数半径范围内的所有曲线连同中心曲线汇聚到一起形成聚类簇。
作为一种较优的实施方式，采用CPLE算法(如图5所示)对所述新曲线的幅值数据及其所属类型聚类簇的幅值数据进行半监督模型的训练。
本实施例中，新曲线共计有81根，详细的数据统计见表1：
表1
可以看到根据物理含义，曲线可以分为3类，分别是客户端每秒字节数、客户端平均ACK时延、客户端请求平均传输时间。曲线的长度共计是1个月，本次使用每根曲线的前18天进行半监督训练(和历史数据一起)，并使用后12天的曲线做评估。
此外，动态阈值检测是异常检测的前提，异常检测本身是个二分类问题，考虑到类别不平衡，可使用f-score(分类模型评价指标)来衡量算法的准确性。
该方法可根据历史曲线生成动态阈值，并随着新曲线的采集，实时更新得到动态的浮动阈值(本发明称之为动态阈值)，这样，根据时序变化的动态阈值对分拣机PLC监控指标进行监控，既能有效降低误报率，又可以避免漏报。
上述过程中，可对于已有标注的曲线，可以先训练一版模型，来为未标注的曲线做预测。之后使用新曲线以及预测的概率值，和原有的聚类簇一起，重新调整模型的优化方向。该迭代过程循环往复，直到未标注的曲线的预测值不再发生变化，或者到达指定的迭代次数。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (10)
1.一种基于聚类及半监督学习的监控指标动态阈值检测方法，其特征在于，包括如下步骤：
1)获取多个历史曲线，对各历史曲线的形状进行聚类得到多个不同的聚类簇，确定各聚类簇的中心曲线，根据所述中心曲线各时间点对应的幅值设定阈值，从而获得随时间变化的浮动阈值；
2)在线获取新曲线，根据所述新曲线的形状确定其所属的聚类簇，结合所述新曲线的幅值数据及其所属聚类簇的幅值数据训练半监督模型，得到对应于所属聚类簇的新聚类簇，更新该新聚类簇的动态阈值；
3)根据所述新聚类簇的动态阈值判断所述新曲线是否存在异常。
2.根据权利要求1所述的一种基于聚类及半监督学习的监控指标动态阈值检测方法，其特征在于，步骤1)中，获取历史曲线的具体方法为：获取前一时间段内的时序数据，对所述时序数据进行标准化处理，获得相应时序数据的基线，将该基线作为历史曲线。
3.根据权利要求2所述的一种基于聚类及半监督学习的监控指标动态阈值检测方法，其特征在于，对所述时序数据进行标准化处理包括：消除振幅差异、提取标识曲线形状的极限值，去除噪声及异常点。
4.根据权利要求2所述的一种基于聚类及半监督学习的监控指标动态阈值检测方法，其特征在于，所述前一时间段为前一天、前一周或前一个月。
5.根据权利要求1所述的一种基于聚类及半监督学习的监控指标动态阈值检测方法，其特征在于，步骤1)中，对历史曲线的形状进行聚类得到多个不同的聚类簇的具体方法为：对所述历史曲线进行相似性判断，根据相似性判断结果对历史曲线进行分类，获得不同的聚类簇。
6.根据权利要求5所述的一种基于聚类及半监督学习的监控指标动态阈值检测方法，其特征在于，采用ROCKA算法对历史曲线进行相似性判断，具体地：根据基于形状的SBD距离作为相似性度量，当两条曲线之间的SBD距离在预设范围内时，判定这两条曲线属于同一形状类型的聚类簇。
7.根据权利要求6所述的一种基于聚类及半监督学习的监控指标动态阈值检测方法，其特征在于，SBD距离的预设范围为[0，2]。
8.根据权利要求6所述的一种基于聚类及半监督学习的监控指标动态阈值检测方法，其特征在于，采用基于密度的聚类算法DBSCAN对所有历史曲线进行聚类获得聚类簇，具体地，根据相似性度量在历史曲线的稠密区域中确定中心曲线，从而形成聚类簇。
9.根据权利要求8所述的一种基于聚类及半监督学习的监控指标动态阈值检测方法，其特征在于，根据历史曲线形成聚类簇的具体方法为：
以所述中心曲线为中心，设定参数半径，根据K近邻算法确定在距离中心曲线参数半径范围内的曲线，将参数半径范围内的所有曲线连同中心曲线汇聚到一起形成聚类簇。
10.根据权利要求1所述的一种基于聚类及半监督学习的监控指标动态阈值检测方法，其特征在于，采用CPLE算法对所述新曲线的幅值数据及其所属类型聚类簇的幅值数据进行半监督模型的训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010495703.1A CN111738308A (zh) | 2020-06-03 | 2020-06-03 | 基于聚类及半监督学习的监控指标动态阈值检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010495703.1A CN111738308A (zh) | 2020-06-03 | 2020-06-03 | 基于聚类及半监督学习的监控指标动态阈值检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111738308A true CN111738308A (zh) | 2020-10-02 |
Family
ID=72648441
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010495703.1A Pending CN111738308A (zh) | 2020-06-03 | 2020-06-03 | 基于聚类及半监督学习的监控指标动态阈值检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111738308A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111881951A (zh) * | 2020-07-13 | 2020-11-03 | 广联达科技股份有限公司 | 工程图纸中的曲线分类方法和分类装置 |
| CN112285034A (zh) * | 2020-11-02 | 2021-01-29 | 国网上海市电力公司 | 一种基于油枕传感器的实时告警方法及计算机设备 |
| CN113568819A (zh) * | 2021-01-31 | 2021-10-29 | 腾讯科技（深圳）有限公司 | 异常数据检测方法、装置、计算机可读介质及电子设备 |
| CN113723452A (zh) * | 2021-07-19 | 2021-11-30 | 山西三友和智慧信息技术股份有限公司 | 一种基于kpi聚类的大规模异常检测系统 |
| CN114115719A (zh) * | 2021-08-24 | 2022-03-01 | 深圳市木浪云科技有限公司 | 基于io模式识别的io批量处理方法、装置及存储介质 |
| CN114398898A (zh) * | 2022-03-24 | 2022-04-26 | 三峡智控科技有限公司 | 基于日志事件关系生成kpi曲线并标记波段特征的方法 |
| CN115310516A (zh) * | 2022-07-06 | 2022-11-08 | 山东科技大学 | 自动化设备状态稳定判断方法、系统及可读存储介质 |
| CN116886453A (zh) * | 2023-09-08 | 2023-10-13 | 湖北华中电力科技开发有限责任公司 | 一种网络流量大数据分析方法 |
| CN118035774A (zh) * | 2024-04-15 | 2024-05-14 | 四川能投云电科技有限公司 | 一种水位和压力信号数据安全控制方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160342903A1 (en) * | 2015-05-21 | 2016-11-24 | Software Ag Usa, Inc. | Systems and/or methods for dynamic anomaly detection in machine sensor data |
| CN108805747A (zh) * | 2018-06-13 | 2018-11-13 | 山东科技大学 | 一种基于半监督学习的异常用电用户检测方法 |
| CN110309302A (zh) * | 2019-05-17 | 2019-10-08 | 江苏大学 | 一种结合svm和半监督聚类的不平衡文本分类方法及系统 |
| CN110995508A (zh) * | 2019-12-23 | 2020-04-10 | 中国人民解放军国防科技大学 | 基于kpi突变的自适应无监督在线网络异常检测方法 |
| CN111177505A (zh) * | 2019-12-31 | 2020-05-19 | 中国移动通信集团江苏有限公司 | 指标异常检测模型的训练方法、推荐的方法及装置 |
-
2020
- 2020-06-03 CN CN202010495703.1A patent/CN111738308A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160342903A1 (en) * | 2015-05-21 | 2016-11-24 | Software Ag Usa, Inc. | Systems and/or methods for dynamic anomaly detection in machine sensor data |
| CN108805747A (zh) * | 2018-06-13 | 2018-11-13 | 山东科技大学 | 一种基于半监督学习的异常用电用户检测方法 |
| CN110309302A (zh) * | 2019-05-17 | 2019-10-08 | 江苏大学 | 一种结合svm和半监督聚类的不平衡文本分类方法及系统 |
| CN110995508A (zh) * | 2019-12-23 | 2020-04-10 | 中国人民解放军国防科技大学 | 基于kpi突变的自适应无监督在线网络异常检测方法 |
| CN111177505A (zh) * | 2019-12-31 | 2020-05-19 | 中国移动通信集团江苏有限公司 | 指标异常检测模型的训练方法、推荐的方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| JIAHAOBU等: "Rapid Deployment of Anomaly Detection Models for Large Number of Emerging KPI Streams" * |
| 伍蔓;张建升;马传香;安格格;余啸;: "基于SSDBSCAN的跨项目缺陷预测数据筛选方法" * |
| 刘自豪;张斌;祝宁;唐慧林;: "基于改进AP聚类算法的自学习应用层DDoS检测方法" * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111881951A (zh) * | 2020-07-13 | 2020-11-03 | 广联达科技股份有限公司 | 工程图纸中的曲线分类方法和分类装置 |
| CN112285034A (zh) * | 2020-11-02 | 2021-01-29 | 国网上海市电力公司 | 一种基于油枕传感器的实时告警方法及计算机设备 |
| CN113568819A (zh) * | 2021-01-31 | 2021-10-29 | 腾讯科技（深圳）有限公司 | 异常数据检测方法、装置、计算机可读介质及电子设备 |
| CN113568819B (zh) * | 2021-01-31 | 2024-04-16 | 腾讯科技（深圳）有限公司 | 异常数据检测方法、装置、计算机可读介质及电子设备 |
| CN113723452A (zh) * | 2021-07-19 | 2021-11-30 | 山西三友和智慧信息技术股份有限公司 | 一种基于kpi聚类的大规模异常检测系统 |
| CN113723452B (zh) * | 2021-07-19 | 2024-05-28 | 山西三友和智慧信息技术股份有限公司 | 一种基于kpi聚类的大规模异常检测系统 |
| CN114115719B (zh) * | 2021-08-24 | 2022-10-18 | 深圳市木浪云科技有限公司 | 基于io模式识别的io批量处理方法、装置及存储介质 |
| CN114115719A (zh) * | 2021-08-24 | 2022-03-01 | 深圳市木浪云科技有限公司 | 基于io模式识别的io批量处理方法、装置及存储介质 |
| CN114398898A (zh) * | 2022-03-24 | 2022-04-26 | 三峡智控科技有限公司 | 基于日志事件关系生成kpi曲线并标记波段特征的方法 |
| CN115310516A (zh) * | 2022-07-06 | 2022-11-08 | 山东科技大学 | 自动化设备状态稳定判断方法、系统及可读存储介质 |
| CN116886453A (zh) * | 2023-09-08 | 2023-10-13 | 湖北华中电力科技开发有限责任公司 | 一种网络流量大数据分析方法 |
| CN116886453B (zh) * | 2023-09-08 | 2023-11-24 | 湖北华中电力科技开发有限责任公司 | 一种网络流量大数据分析方法 |
| CN118035774A (zh) * | 2024-04-15 | 2024-05-14 | 四川能投云电科技有限公司 | 一种水位和压力信号数据安全控制方法及系统 |
| CN118035774B (zh) * | 2024-04-15 | 2024-07-05 | 四川能投云电科技有限公司 | 一种水位和压力信号数据安全控制方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111738308A (zh) | 基于聚类及半监督学习的监控指标动态阈值检测方法 | |
| WO2021184630A1 (zh) | 基于知识图谱定位排污对象的方法及相关设备 | |
| CN111506478A (zh) | 基于人工智能实现告警管理控制的方法 | |
| CN111325410B (zh) | 基于样本分布的通用故障预警系统及其预警方法 | |
| CN113570200B (zh) | 一种基于多维信息的电网运行状态监测方法及系统 | |
| CN111259947A (zh) | 一种基于多模态学习的电力系统故障预警方法和系统 | |
| CN114201374B (zh) | 基于混合机器学习的运维时序数据异常检测方法及系统 | |
| CN111275136B (zh) | 基于小样本下的故障预测系统及其预警方法 | |
| CN107561997A (zh) | 一种基于大数据决策树的电力设备状态监测方法 | |
| CN113344133B (zh) | 一种时序行为异常波动检测方法及系统 | |
| CN105577440A (zh) | 一种网络故障时间定位方法和分析设备 | |
| CN116680113B (zh) | 一种设备检测实施控制系统 | |
| CN110851422A (zh) | 一种基于机器学习的数据异常监测模型构建方法 | |
| CN111913443A (zh) | 基于相似性的工业设备故障预警方法 | |
| CN113071966A (zh) | 电梯故障预测方法、装置、设备及存储介质 | |
| CN111666978B (zh) | 一种it系统运维大数据的智能故障预警系统 | |
| CN112905671A (zh) | 时间序列异常处理方法、装置、电子设备及存储介质 | |
| CN101738998A (zh) | 一种基于局部判别分析的工业过程监测系统及方法 | |
| CN115689320A (zh) | 基站运行的健康管理方法、装置及计算机可读存储介质 | |
| CN117113135A (zh) | 一种可对异常数据整理分类的碳排放异常监测分析系统 | |
| CN115858606A (zh) | 时序数据的异常检测方法、装置、设备及存储介质 | |
| CN114597886A (zh) | 基于区间二型模糊聚类分析的配电网运行状态评估方法 | |
| CN116662466B (zh) | 通过大数据进行土地全生命周期维护系统 | |
| CN116975670A (zh) | 一种短期调荷场景下线损特征分类处理方法 | |
| CN111934903A (zh) | 一种基于时序演化基因的Docker容器故障智能预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201002 |
|
| RJ01 | Rejection of invention patent application after publication |