CN110969556A - 机器学习多维度多模型融合河道水质异常检测方法及装置 - Google Patents
机器学习多维度多模型融合河道水质异常检测方法及装置 Download PDFInfo
- Publication number
- CN110969556A CN110969556A CN201910943586.8A CN201910943586A CN110969556A CN 110969556 A CN110969556 A CN 110969556A CN 201910943586 A CN201910943586 A CN 201910943586A CN 110969556 A CN110969556 A CN 110969556A
- Authority
- CN
- China
- Prior art keywords
- data
- abnormal
- point
- water quality
- dimension
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000010801 machine learning Methods 0.000 title claims abstract description 21
- 230000004927 fusion Effects 0.000 title claims description 26
- 230000002159 abnormal effect Effects 0.000 claims abstract description 71
- 238000001514 detection method Methods 0.000 claims abstract description 44
- 238000005070 sampling Methods 0.000 claims abstract description 6
- 230000005856 abnormality Effects 0.000 claims description 34
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims 1
- 238000009825 accumulation Methods 0.000 abstract description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 239000002352 surface water Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/152—Water filtration
Landscapes
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Development Economics (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Educational Administration (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Alarm Systems (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明公开了一种机器学习多维度多模型融合河道水质异常检测方法及装置，本发明能够根据数据的累积自动更新模型；能够根据不同河道单独建立模型，模型覆盖所有检测维度的联合分布，多变量之间有关联关系的情况下，可以发现关联关系的变化，能够发现相对历史关联规律之外的异常；能够自动识别河道多种常见指标关联分布模式，以及各指标随时间的变化序列模式，在多个正常模式之外的检测结果才被认为是异常点，单一变量随时间变化的规律异常距离；采用多次抽样，形成多模型叠加共同判定的算法，提高算法的稳定性，减少误判漏判。
Description
技术领域
本发明属于水质异常检测技术领域，具体涉及一种机器学习多维度多模型融合河道水质异常检测方法及装置。
背景技术
在我国地表水资源短缺等问题日益突出的今天，“河长制”成为促进水资源可持续利用和推动社会经济发展与水环境承载能力相协调的有力制度。在河道水质检测体系中，在不同流域、不同河段的检测数据则成为了河长制管理体系的重要信息来源和决策支撑，然而当前的河道水质检测原始数据具有项目多、专业度高、难关联等特点，需要对数据进行进一步的挖掘和关联分析，得到更加方便河长制管理和决策的分析结果。特别地，在河长制的河道水质检测与污染情况分析中，河道检测指标的异常变化跟踪与发现是一个非常重要的问题。在河道水质检测过程中，水质指标随季节、气温等具有相应的周期性变化，因此有些场景(如夜间偷排等)中水质的个别指标变化并不能引起告警阈值的触发，因此无论从系统的运维角度，还是从河长监管河道状况的角度，都有需求根据多维度检测指标的历史数据分布和规律，检测数据中的异常点。
发明内容
有鉴于此，本发明的目的是提供一种机器学习多维度多模型融合河道水质异常检测方法及装置，以解决现有技术中的不足。
为了达到上述目的，本发明的目的是通过下述技术方案实现的：
一方面，提供一种机器学习多维度多模型融合河道水质异常检测方法，其中，包括如下步骤：
S1.对数据进行维度拆分，进行缺失值检查和设备异常值检查；
S2.针对统计分布进行异常建模；
S3.针对各维度进行统计异常打分；
S4.针对各维度进行时序建模异常打分；
S5.针对每个维度统计与时序异常，形成融合判定；
S6.综合各维度融合判定，重复步骤S5直至形成数据点异常判定；
在上述步骤中，对于统计分布异常，首先假设正常的数据点会出现在随机模型发生概率高的区域，而如果一个数据点出现在了一个随机模型发生概率低的区域则认为是异常点。
上述机器学习多维度多模型融合河道水质异常检测方法，其中，在步骤S2和步骤S3中，使用IForest、PCA、HBOS、KNN四种异常检测技术对河道水质监测数据进行统计分布的异常建模：进行多次抽样，并对四种算法进行单独建模，完成不同的异常打分操作；对四种算法模型进行结果碰撞，对每个时间点所有的异常打分进行叠加，当超过阈值时，这个时间点判定为异常点；形成一个由多模型叠加共同进行统计分布的异常检测算法。
上述机器学习多维度多模型融合河道水质异常检测方法，其中，在步骤S2和步骤S3中：
IForest异常检测的步骤如下：
a.从训练数据中随机选择m个样本点作为subsample，放入树的根节点；
b.随机指定一个维度，在当前节点数据中随机产生一个切割点p，切割点产生于当前节点数据中指定维度的最大值和最小值之间；
c.以此切割点生成了一个超平面，将当前节点数据空间划分为2个子空间：把指定维度里小于p的数据放在当前节点的左孩子，把大于等于p 的数据放在当前节点的右孩子；
d.在孩子节点中递归步骤b和c，不断构造新的孩子节点，直到孩子节点中只有一个数据或孩子节点已到达限定高度；
e.获得t个子树之后，对于一个训练数据x，令其遍历每一棵子树，然后计算x最终落在每棵树第几层，得出x在每棵树的高度平均值，即为 APLt；
f.获得每个测试数据的APL后，设置一个阈值，APL低于此阈值的测试数据即为异常；
PCA异常检测的步骤如下：
a.对数据进行中心化和归一化处理；
b.进行PCA数据降维；
c.对于某一个特征向量ej，计算数据样本xi在该方向上的偏离程度dij，计算公式如下：
d.将样本在所有方向上的偏离程度加起来，得到一个综合的异常得分：
e.如果得分大于阈值则判断为异常；
HBOS异常检测的步骤如下：
a.对每个特征维度进行动态的区间划分，将所有的值进行排序，连续的N/k个值划分在一个组，其中N是总的样本个数，K是区间个数，每个区间段面积为1，宽度越高，则高度越低，高度代表密度；
b.高度标准化。每个区间的高度进行标准化，使得最大的高度为1；
c.计算各个样本点出现的概率，计算公式如下：
其中p表示数据点，histi(p)表示数据点p在第i个特征上其所在区间的高度，d表示特征的个数；
KNN异常检测的步骤如下：
a.对每一个数据点x，计算x与x的第K近的数据点的距离dk(x)；
b.将所有的数据点按照dk(x)进行排序；
c.异常是那些有着最大的dk(x)的数据点，这些数据点有着更加稀疏的近邻；
d.将dk(x)排在前n的数据点认为是异常点。
上述机器学习多维度多模型融合河道水质异常检测方法，其中，在步骤S4中，对时间序列数据进行模型建立：
y(t)＝g(t)+s(t)+εt
其中，g(t)是趋势项，s(t)是周期项，εt是误差项并且服从正态分布，在对这几项进行分解及拟合之后，得到一个对于不同时间点的连续的置信区间，对于超出置信区间的所有时间点，模型判定为时间序列分布的异常值，并根据距离进行异常打分。
上述机器学习多维度多模型融合河道水质异常检测方法，其中，在步骤S5中，对于水质数据的每个维度di，将统计异常的四种模型所得到的异常分数记为(pi1,pi2,pi3,pi4)，将时序异常的异常分数记为qi，先对 (pi1,pi2,pi3,pi4)进行归一化操作，之后将归一化结果与qi相加，并除以2；将分数阈值初步设置在总体分布的90％，当异常分数超过总体分布的 90％时，初步判定为该维度为当前时间点的系统异常值，形成融合判定；对于每一个时间点，将各维度的异常分数相叠加，得到总的异常分数f，综合考虑总的异常分数f与异常维度的个数，将总异常分数f超过总得分分布的90％，并满足单维度异常个数大于2的时间点作为最终的异常点，形成数据异常判定。
上述机器学习多维度多模型融合河道水质异常检测方法，其中，在步骤S6中，对于新产生的数据，利用之前系统所训练保存下来的模型进行异常打分，并重复进行步骤S5，完成数据异常判定；当新的时间点判定为异常时，自动发出警报，并根据单维度异常打分前5的排名情况，给出最有可能出现异常的原因。
另一方面，提供一种机器学习多维度多模型融合河道水质异常检测装置，其中，基于如上述任意一项所述方法实现。
本发明技术方案的有益效果是：
--能够根据数据的累积自动更新模型；
--能够根据不同河道单独建立模型，模型覆盖所有检测维度的联合分布，多变量之间有关联关系的情况下，可以发现关联关系的变化，能够发现相对历史关联规律之外的异常；
--能够自动识别河道多种常见指标关联分布模式，以及各指标随时间的变化序列模式，在多个正常模式之外的检测结果才被认为是异常点，单一变量随时间变化的规律异常距离；
--采用多次抽样，形成多模型叠加共同判定的算法，提高算法的稳定性，减少误判漏判。
附图说明
图1为本发明方法流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
参看图1所示，本发明机器学习多维度多模型融合河道水质异常检测方法包括如下步骤：
S1.对数据进行维度拆分，进行缺失值检查和设备异常值检查，上传数据中漏传、缺项等的发现，对于缺项数据使用差值补全。对于上传数据中明显超出设备检测范围的值，对进行数据标记、删除，以避免对接下来的数据建模产生较大影响；
S2.针对统计分布进行异常建模；
S3.针对各维度进行统计异常打分；
S4.针对各维度进行时序建模异常打分；
S5.针对每个维度统计与时序异常，形成融合判定；
S6.综合各维度融合判定，重复步骤S5直至形成数据点异常判定；
在上述步骤中，对于统计分布异常，首先假设正常的数据点会出现在随机模型发生概率高的区域，而如果一个数据点出现在了一个随机模型发生概率低的区域则认为是异常点。
在步骤S2和步骤S3中，基于上述理念，本案使用IForest、PCA、HBOS、 KNN四种异常检测技术对河道水质监测数据进行统计分布的异常建模：进行多次抽样，并对四种算法进行单独建模，完成不同的异常打分操作；为了进一步提高系统的稳定性，降低系统的误判错判概率，对四种算法模型进行结果碰撞，对每个时间点所有的异常打分进行叠加，当超过阈值时，这个时间点判定为异常点；形成一个由多模型叠加共同进行统计分布的异常检测算法。
IForest异常检测的步骤如下：
a.从训练数据中随机选择m个样本点作为subsample，放入树的根节点；
b.随机指定一个维度(attribute)，在当前节点数据中随机产生一个切割点p，切割点产生于当前节点数据中指定维度的最大值和最小值之间；
c.以此切割点生成了一个超平面，将当前节点数据空间划分为2个子空间：把指定维度里小于p的数据放在当前节点的左孩子，把大于等于p 的数据放在当前节点的右孩子；
d.在孩子节点中递归步骤b和c，不断构造新的孩子节点，直到孩子节点中只有一个数据(无法再继续切割)或孩子节点已到达限定高度；
e.获得t个子树之后，对于一个训练数据x，令其遍历每一棵子树，然后计算x最终落在每棵树第几层，得出x在每棵树的高度平均值，即为 APLt；
f.获得每个测试数据的APL后，设置一个阈值，APL低于此阈值的测试数据即为异常；
PCA异常检测的步骤如下：
a.对数据进行中心化和归一化处理；
b.进行PCA数据降维；
c.对于某一个特征向量ej，计算数据样本xi在该方向上的偏离程度dij，计算公式如下：
d.将样本在所有方向上的偏离程度加起来，得到一个综合的异常得分：
e.如果得分大于阈值则判断为异常；
HBOS异常检测的步骤如下：
a.对每个特征维度进行动态的区间划分，将所有的值进行排序，连续的N/k个值划分在一个组，其中N是总的样本个数，K是区间个数，每个区间段面积为1，宽度越高，则高度越低，高度代表密度；
b.高度标准化。每个区间的高度进行标准化，使得最大的高度为1；
c.计算各个样本点出现的概率，计算公式如下：
其中p表示数据点，histi(p)表示数据点p在第i个特征上其所在区间的高度，d表示特征的个数；
KNN异常检测的步骤如下：
a.对每一个数据点x，计算x与x的第K近的数据点的距离dk(x)；
b.将所有的数据点按照dk(x)进行排序；
c.异常是那些有着最大的dk(x)的数据点，这些数据点有着更加稀疏的近邻；
d.将dk(x)排在前n的数据点认为是异常点。
在步骤S4中，在将河道水质数据看作一个时间序列后，河道水质数据能够发现明显的周期性，如：白天和夜晚的周期变化，季节的周期变化等。针对这个特点，对时间序列数据进行模型建立：
y(t)＝g(t)+s(t)+εt (4)
其中，g(t)是趋势项，s(t)是周期项，εt是误差项并且服从正态分布，在对这几项进行分解及拟合之后，得到一个对于不同时间点的连续的置信区间，对于超出置信区间的所有时间点，模型判定为时间序列分布的异常值，并根据距离进行异常打分。需要进行说明的是，本模型是对所有维度进行单独的建模，并在有关联关系的情况下，发现关联关系的变化。
在步骤S5中，对于水质数据的每个维度di，将统计异常的四种模型所得到的异常分数记为(pi1,pi2,pi3,pi4)，将时序异常的异常分数记为qi，先对(pi1,pi2,pi3,pi4)进行归一化操作，之后将归一化结果与qi相加，并除以2，即，对于每一个维度来说，异常的最大分值为1。在经过调研之后，发现水质系统中的异常点大约在5％左右，因此将分数阈值初步设置在总体分布的90％，当异常分数超过总体分布的90％时，初步判定为该维度为当前时间点的系统异常值，形成融合判定；对于每一个时间点，将各维度的异常分数相叠加，得到总的异常分数f，根据调研，当某一个时间点出现水质问题时，往往会有超过2个的维度出现异常状况，这就是维度之间的关联性。所以，根据这个性质，综合考虑总的异常分数f与异常维度的个数，将总异常分数f超过总得分分布的90％，并满足单维度异常个数大于2的时间点作为最终的异常点，形成数据异常判定。
在步骤S6中，对于新产生的数据，利用之前系统所训练保存下来的模型进行异常打分，并重复进行步骤S5，完成数据异常判定；当新的时间点判定为异常时，自动发出警报，并根据单维度异常打分前5的排名情况，给出最有可能出现异常的原因。本案能够定期根据新的数据更新所使用的模型，以保证系统的稳定性与准确性。
本发明还提供一种机器学习多维度多模型融合河道水质异常检测装置，具体基于如上述所述方法实现。
本发明能够根据数据的累积自动更新模型，能够根据不同河道单独建立模型，模型覆盖所有检测维度的联合分布，多变量之间有关联关系的情况下，可以发现关联关系的变化，能够发现相对历史关联规律之外的异常；能够自动识别河道多种常见指标关联分布模式，以及各指标随时间的变化序列模式，在多个正常模式之外的检测结果才被认为是异常点，单一变量随时间变化的规律异常距离；采用多次抽样，形成多模型叠加共同判定的算法，提高算法的稳定性，减少误判漏判。
以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。
Claims (7)
1.一种机器学习多维度多模型融合河道水质异常检测方法，其特征在于，包括如下步骤：
S1.对数据进行维度拆分，进行缺失值检查和设备异常值检查；
S2.针对统计分布进行异常建模；
S3.针对各维度进行统计异常打分；
S4.针对各维度进行时序建模异常打分；
S5.针对每个维度统计与时序异常，形成融合判定；
S6.综合各维度融合判定，重复步骤S5直至形成数据点异常判定；
在上述步骤中，对于统计分布异常，首先假设正常的数据点会出现在随机模型发生概率高的区域，而如果一个数据点出现在了一个随机模型发生概率低的区域则认为是异常点。
2.如权利要求1所述机器学习多维度多模型融合河道水质异常检测方法，其特征在于，在步骤S2和步骤S3中，使用IForest、PCA、HBOS、KNN四种异常检测技术对河道水质监测数据进行统计分布的异常建模：进行多次抽样，并对四种算法进行单独建模，完成不同的异常打分操作；对四种算法模型进行结果碰撞，对每个时间点所有的异常打分进行叠加，当超过阈值时，这个时间点判定为异常点；形成一个由多模型叠加共同进行统计分布的异常检测算法。
3.如权利要求2所述机器学习多维度多模型融合河道水质异常检测方法，其特征在于，在步骤S2和步骤S3中：
IForest异常检测的步骤如下：
a.从训练数据中随机选择m个样本点作为subsample，放入树的根节点；
b.随机指定一个维度，在当前节点数据中随机产生一个切割点p，切割点产生于当前节点数据中指定维度的最大值和最小值之间；
c.以此切割点生成了一个超平面，将当前节点数据空间划分为2个子空间：把指定维度里小于p的数据放在当前节点的左孩子，把大于等于p的数据放在当前节点的右孩子；
d.在孩子节点中递归步骤b和c，不断构造新的孩子节点，直到孩子节点中只有一个数据或孩子节点已到达限定高度；
e.获得t个子树之后，对于一个训练数据x，令其遍历每一棵子树，然后计算x最终落在每棵树第几层，得出x在每棵树的高度平均值，即为APLt；
f.获得每个测试数据的APL后，设置一个阈值，APL低于此阈值的测试数据即为异常；
PCA异常检测的步骤如下：
a.对数据进行中心化和归一化处理；
b.进行PCA数据降维；
c.对于某一个特征向量ej，计算数据样本xi在该方向上的偏离程度dij，计算公式如下：
d.将样本在所有方向上的偏离程度加起来，得到一个综合的异常得分：
e.如果得分大于阈值则判断为异常；
HBOS异常检测的步骤如下：
a.对每个特征维度进行动态的区间划分，将所有的值进行排序，连续的N/k个值划分在一个组，其中N是总的样本个数，K是区间个数，每个区间段面积为1，宽度越高，则高度越低，高度代表密度；
b.高度标准化。每个区间的高度进行标准化，使得最大的高度为1；
c.计算各个样本点出现的概率，计算公式如下：
其中p表示数据点，histi(p)表示数据点p在第i个特征上其所在区间的高度，d表示特征的个数；
KNN异常检测的步骤如下：
a.对每一个数据点x，计算x与x的第K近的数据点的距离dk(x)；
b.将所有的数据点按照dk(x)进行排序；
c.异常是那些有着最大的dk(x)的数据点，这些数据点有着更加稀疏的近邻；
d.将dk(x)排在前n的数据点认为是异常点。
4.如权利要求1所述机器学习多维度多模型融合河道水质异常检测方法，其特征在于，在步骤S4中，对时间序列数据进行模型建立：
y(t)＝g(t)+s(t)+εt
其中，g(t)是趋势项，s(t)是周期项，εt是误差项并且服从正态分布，在对这几项进行分解及拟合之后，得到一个对于不同时间点的连续的置信区间，对于超出置信区间的所有时间点，模型判定为时间序列分布的异常值，并根据距离进行异常打分。
5.如权利要求1所述机器学习多维度多模型融合河道水质异常检测方法，其特征在于，在步骤S5中，对于水质数据的每个维度di，将统计异常的四种模型所得到的异常分数记为(pi1,pi2,pi3,pi4)，将时序异常的异常分数记为qi，先对(pi1,pi2,pi3,pi4)进行归一化操作，之后将归一化结果与qi相加，并除以2；将分数阈值初步设置在总体分布的90％，当异常分数超过总体分布的90％时，初步判定为该维度为当前时间点的系统异常值，形成融合判定；对于每一个时间点，将各维度的异常分数相叠加，得到总的异常分数f，综合考虑总的异常分数f与异常维度的个数，将总异常分数f超过总得分分布的90％，并满足单维度异常个数大于2的时间点作为最终的异常点，形成数据异常判定。
6.如权利要求1所述机器学习多维度多模型融合河道水质异常检测方法，其特征在于，在步骤S6中，对于新产生的数据，利用之前系统所训练保存下来的模型进行异常打分，并重复进行步骤S5，完成数据异常判定；当新的时间点判定为异常时，自动发出警报，并根据单维度异常打分前5的排名情况，给出最有可能出现异常的原因。
7.一种机器学习多维度多模型融合河道水质异常检测装置，其特征在于，基于如上述权利要求1至6中任意一项所述方法实现。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910943586.8A CN110969556B (zh) | 2019-09-30 | 2019-09-30 | 机器学习多维度多模型融合河道水质异常检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910943586.8A CN110969556B (zh) | 2019-09-30 | 2019-09-30 | 机器学习多维度多模型融合河道水质异常检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110969556A true CN110969556A (zh) | 2020-04-07 |
| CN110969556B CN110969556B (zh) | 2023-11-21 |
Family
ID=70029638
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910943586.8A Active CN110969556B (zh) | 2019-09-30 | 2019-09-30 | 机器学习多维度多模型融合河道水质异常检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110969556B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111858712A (zh) * | 2020-07-20 | 2020-10-30 | 上海仪电（集团）有限公司中央研究院 | 原位水质巡检数据时空分析与异常检测方法和系统 |
| CN111913859A (zh) * | 2020-07-13 | 2020-11-10 | 北京天空卫士网络安全技术有限公司 | 一种异常行为检测方法和装置 |
| CN112104503A (zh) * | 2020-09-17 | 2020-12-18 | 成都思维世纪科技有限责任公司 | 一种基于流转模型的数据异常流转的监测分析系统及方法 |
| CN112906738A (zh) * | 2021-01-15 | 2021-06-04 | 宁波可为数据技术有限公司 | 一种水质检测及处理方法 |
| CN112966604A (zh) * | 2021-03-05 | 2021-06-15 | 上海深硅信息科技有限公司 | 一种多维度行为识别方法 |
| CN113435547A (zh) * | 2021-08-27 | 2021-09-24 | 中国环境监测总站 | 一种水质指标融合数据异常检测方法及系统 |
| CN113642986A (zh) * | 2021-08-02 | 2021-11-12 | 上海示右智能科技有限公司 | 构建数字公证的方法 |
| CN113779766A (zh) * | 2021-08-12 | 2021-12-10 | 北京金水永利科技有限公司 | 一种基于多维数据分布密度的水质数据异常预警的方法 |
| CN114090413A (zh) * | 2022-01-21 | 2022-02-25 | 成都市以太节点科技有限公司 | 一种系统数据异常检测方法、系统、电子设备及存储介质 |
| CN117407444A (zh) * | 2023-12-14 | 2024-01-16 | 厦门她趣信息技术有限公司 | 一种基于维度推荐的异动归因系统和方法及其设备和介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040015458A1 (en) * | 2002-07-17 | 2004-01-22 | Nec Corporation | Autoregressive model learning device for time-series data and a device to detect outlier and change point using the same |
| CN103983304A (zh) * | 2014-05-06 | 2014-08-13 | 北京农业信息技术研究中心 | 一种河道水质监测系统及方法 |
| CN104809205A (zh) * | 2015-04-27 | 2015-07-29 | 河海大学 | 一种在线河网时空异常事件检测方法 |
| CN106872657A (zh) * | 2017-01-05 | 2017-06-20 | 河海大学 | 一种多变量水质参数时序数据异常事件检测方法 |
| CN107908891A (zh) * | 2017-11-28 | 2018-04-13 | 河海大学 | 一种基于arima‑svr的水文时间序列异常值检测方法 |
| CN108132340A (zh) * | 2017-12-14 | 2018-06-08 | 浙江大学 | 一种河道多传感器融合上下游污染预警系统及方法 |
| CN108510072A (zh) * | 2018-03-13 | 2018-09-07 | 浙江省水文局 | 一种基于混沌神经网络的河道流量监测数据质量控制方法 |
| CN108710777A (zh) * | 2018-05-21 | 2018-10-26 | 中国地质大学（武汉） | 基于多卷积自编码神经网络的多元化探异常识别方法 |
| CN109448124A (zh) * | 2018-11-06 | 2019-03-08 | 北京英视睿达科技有限公司 | 水质模拟方法和装置 |
| CN109934354A (zh) * | 2019-03-12 | 2019-06-25 | 北京信息科技大学 | 基于主动学习的异常数据检测方法 |
| CN110070144A (zh) * | 2019-04-30 | 2019-07-30 | 云南师范大学 | 一种湖泊水质预测方法及系统 |
| CN110231447A (zh) * | 2019-06-10 | 2019-09-13 | 精锐视觉智能科技（深圳）有限公司 | 水质异常检测的方法、装置及终端设备 |
-
2019
- 2019-09-30 CN CN201910943586.8A patent/CN110969556B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040015458A1 (en) * | 2002-07-17 | 2004-01-22 | Nec Corporation | Autoregressive model learning device for time-series data and a device to detect outlier and change point using the same |
| CN103983304A (zh) * | 2014-05-06 | 2014-08-13 | 北京农业信息技术研究中心 | 一种河道水质监测系统及方法 |
| CN104809205A (zh) * | 2015-04-27 | 2015-07-29 | 河海大学 | 一种在线河网时空异常事件检测方法 |
| CN106872657A (zh) * | 2017-01-05 | 2017-06-20 | 河海大学 | 一种多变量水质参数时序数据异常事件检测方法 |
| CN107908891A (zh) * | 2017-11-28 | 2018-04-13 | 河海大学 | 一种基于arima‑svr的水文时间序列异常值检测方法 |
| CN108132340A (zh) * | 2017-12-14 | 2018-06-08 | 浙江大学 | 一种河道多传感器融合上下游污染预警系统及方法 |
| CN108510072A (zh) * | 2018-03-13 | 2018-09-07 | 浙江省水文局 | 一种基于混沌神经网络的河道流量监测数据质量控制方法 |
| CN108710777A (zh) * | 2018-05-21 | 2018-10-26 | 中国地质大学（武汉） | 基于多卷积自编码神经网络的多元化探异常识别方法 |
| CN109448124A (zh) * | 2018-11-06 | 2019-03-08 | 北京英视睿达科技有限公司 | 水质模拟方法和装置 |
| CN109934354A (zh) * | 2019-03-12 | 2019-06-25 | 北京信息科技大学 | 基于主动学习的异常数据检测方法 |
| CN110070144A (zh) * | 2019-04-30 | 2019-07-30 | 云南师范大学 | 一种湖泊水质预测方法及系统 |
| CN110231447A (zh) * | 2019-06-10 | 2019-09-13 | 精锐视觉智能科技（深圳）有限公司 | 水质异常检测的方法、装置及终端设备 |
Non-Patent Citations (1)
| Title |
|---|
| 毛莺池;齐海;接青;王龙宝;: "M-TAEDA:多变量水质参数时序数据异常事件检测算法", no. 01 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111913859A (zh) * | 2020-07-13 | 2020-11-10 | 北京天空卫士网络安全技术有限公司 | 一种异常行为检测方法和装置 |
| CN111913859B (zh) * | 2020-07-13 | 2023-11-14 | 北京天空卫士网络安全技术有限公司 | 一种异常行为检测方法和装置 |
| CN111858712A (zh) * | 2020-07-20 | 2020-10-30 | 上海仪电（集团）有限公司中央研究院 | 原位水质巡检数据时空分析与异常检测方法和系统 |
| CN112104503B (zh) * | 2020-09-17 | 2022-08-16 | 成都思维世纪科技有限责任公司 | 一种基于流转模型的数据异常流转的监测分析系统及方法 |
| CN112104503A (zh) * | 2020-09-17 | 2020-12-18 | 成都思维世纪科技有限责任公司 | 一种基于流转模型的数据异常流转的监测分析系统及方法 |
| CN112906738A (zh) * | 2021-01-15 | 2021-06-04 | 宁波可为数据技术有限公司 | 一种水质检测及处理方法 |
| CN112906738B (zh) * | 2021-01-15 | 2023-01-31 | 宁波可为数据技术有限公司 | 一种水质检测及处理方法 |
| CN112966604A (zh) * | 2021-03-05 | 2021-06-15 | 上海深硅信息科技有限公司 | 一种多维度行为识别方法 |
| CN113642986A (zh) * | 2021-08-02 | 2021-11-12 | 上海示右智能科技有限公司 | 构建数字公证的方法 |
| CN113642986B (zh) * | 2021-08-02 | 2024-04-16 | 上海示右智能科技有限公司 | 构建数字公证的方法 |
| CN113779766A (zh) * | 2021-08-12 | 2021-12-10 | 北京金水永利科技有限公司 | 一种基于多维数据分布密度的水质数据异常预警的方法 |
| CN113435547B (zh) * | 2021-08-27 | 2021-11-16 | 中国环境监测总站 | 一种水质指标融合数据异常检测方法及系统 |
| CN113435547A (zh) * | 2021-08-27 | 2021-09-24 | 中国环境监测总站 | 一种水质指标融合数据异常检测方法及系统 |
| CN114090413A (zh) * | 2022-01-21 | 2022-02-25 | 成都市以太节点科技有限公司 | 一种系统数据异常检测方法、系统、电子设备及存储介质 |
| CN114090413B (zh) * | 2022-01-21 | 2022-04-19 | 成都市以太节点科技有限公司 | 一种系统数据异常检测方法、系统、电子设备及存储介质 |
| CN117407444A (zh) * | 2023-12-14 | 2024-01-16 | 厦门她趣信息技术有限公司 | 一种基于维度推荐的异动归因系统和方法及其设备和介质 |
| CN117407444B (zh) * | 2023-12-14 | 2024-03-12 | 厦门她趣信息技术有限公司 | 一种基于维度推荐的异动归因系统和方法及其设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110969556B (zh) | 2023-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110969556A (zh) | 机器学习多维度多模型融合河道水质异常检测方法及装置 | |
| CN110990461A (zh) | 大数据分析模型算法选型方法、装置、电子设备及介质 | |
| CN115578015A (zh) | 基于物联网的污水处理全过程监管方法、系统及存储介质 | |
| CN110457184B (zh) | 基于时序波动关联的化工异常因果分析与图形展示方法 | |
| CN111522804A (zh) | 一种变压器设备状态监测异常数据清洗方法 | |
| CN109753591A (zh) | 业务流程预测性监控方法 | |
| CN114385391A (zh) | 一种nfv虚拟化设备运行数据分析方法及装置 | |
| CN105607631B (zh) | 间歇过程弱故障模型控制限建立方法及弱故障监测方法 | |
| CN114386538B (zh) | 一种标记监测指标的kpi曲线的波段特征的方法 | |
| CN110942099A (zh) | 一种基于核心点保留的dbscan的异常数据识别检测方法 | |
| CN113032238A (zh) | 基于应用知识图谱的实时根因分析方法 | |
| CN105376193A (zh) | 安全事件的智能关联分析方法与装置 | |
| CN114861788A (zh) | 一种基于dbscan聚类的负荷异常检测方法及系统 | |
| CN116610938B (zh) | 曲线模式分段的半导体制造无监督异常检测方法及设备 | |
| CN111275136B (zh) | 基于小样本下的故障预测系统及其预警方法 | |
| CN117093944A (zh) | 一种时序数据模板自适应的异常模式识别方法与系统 | |
| CN116562746A (zh) | 一种被服物流站点的被服数据监控方法及相关装置 | |
| CN117014193A (zh) | 一种基于行为基线的未知Web攻击检测方法 | |
| CN113554079B (zh) | 一种基于二次检测法的电力负荷异常数据检测方法及系统 | |
| Melhem et al. | Product quality prediction using alarm data: Application to the semiconductor manufacturing process | |
| CN112070140B (zh) | 一种基于维度分解的密度聚类类标模式识别方法 | |
| CN117972580B (zh) | 一种航空障碍灯远程监控方法及系统 | |
| Cao et al. | Anomaly Detection Based on Isolation Mechanisms: A Survey | |
| CN112183664B (zh) | 一种新型密度聚类方法 | |
| Feng et al. | Detection of GPS Abnormal Data of Sanitation Vehicles Based on Isolation Forest Algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |