CN112949697A - 一种管道异常的确认方法、装置及计算机可读存储介质 - Google Patents

一种管道异常的确认方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN112949697A
CN112949697A CN202110169260.1A CN202110169260A CN112949697A CN 112949697 A CN112949697 A CN 112949697A CN 202110169260 A CN202110169260 A CN 202110169260A CN 112949697 A CN112949697 A CN 112949697A
Authority
CN
China
Prior art keywords
sample
detected
cluster
individual
pipeline
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110169260.1A
Other languages
English (en)
Other versions
CN112949697B (zh
Inventor
林凡
张秋镇
黄富铿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GCI Science and Technology Co Ltd
Original Assignee
GCI Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GCI Science and Technology Co Ltd filed Critical GCI Science and Technology Co Ltd
Priority to CN202110169260.1A priority Critical patent/CN112949697B/zh
Publication of CN112949697A publication Critical patent/CN112949697A/zh
Application granted granted Critical
Publication of CN112949697B publication Critical patent/CN112949697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Marketing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Probability & Statistics with Applications (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开管道异常的确认方法，通过获取若干组管道数据作为参考样本并进行聚类，从中选取若干簇中心作为正常参考样本；通过获取待监测管道的管道数据作为待测样本，并计算待测样本到每一正常参考样本个体的距离，选择一个参考样本个体作为待测样本的第一簇中心；增加若干个与待测样本相同的样本；计算每一样本个体相对于其他样本个体的密度，从中选出第二簇中心；计算第一簇中心和第二簇中心的距离，当该距离大于预设阈值时，判定待测样本为异常样本，待监测管道存在异常。本发明还公开一种管道异常的确认装置和存储介质。本发明实施例能够在无需更换或改造管网中的管道的阀门的情况下对管网进行管道漏损、管道水压异常的确认。

Description

一种管道异常的确认方法、装置及计算机可读存储介质
技术领域
本发明涉及城市供水管网领域，尤其涉及一种管道异常的确认方法、装置及计算机可读存储介质。
背景技术
现代城市的规模越来越大，城市的供水管网也越来越复杂，覆盖面越来越广阔，随之而来的是对监管的要求越来越高，需要对管道和水表进行监测，防止设备故障导致的供水能力不足或者管道破裂等情况出现。
目前检查管道漏损较为通用的方法为基于独立计量区域(district meteringareas，DMA)的监测方法，DMA计量管理区域建立的成本较大，甚至为满足封闭性需要更换或改造阀门。此外该方法只能监测管道漏损的情况，并不能监测确认其他的异常，对于管道压力过大或压力过小的情况不能进行监测确认。
发明内容
本发明实施例的目的是提供一种管道异常的确认方法、装置及存储介质，能够对管网进行管道漏损、管道水压异常进行监测确认，同时无需更换或改造阀门。
为实现上述目的，本发明实施例提供了一种管道异常的确认方法，包括：
获取采集得到的管网的若干组管道数据作为参考样本；
根据聚类算法对所述参考样本进行聚类，得到K个参考簇以及各簇对应的簇中心；
根据第一预设规则从所有簇中心中选取若干簇中心作为正常参考样本；
获取采集得到的管网的待监测管道的管道数据，作为待测样本；
计算所述待测样本到每一所述正常参考样本个体的距离；
根据所述待测样本到每一所述正常参考样本个体的距离，按照第二预设规则选择所述正常参考样本中的一个参考样本个体作为所述待测样本的第一簇中心；
增加若干个与所述待测样本相同的样本，作为权重样本；
计算每一样本个体相对于其他样本个体的密度；其中，所述样本个体包括参考样本个体、待测样本个体和权重样本个体；
根据所述每一样本个体相对于其他样本个体的密度，按照第三预设规则选择所有所述样本个体中的一个样本个体作为所述待测样本的第二簇中心；
计算所述第一簇中心和所述第二簇中心的距离，作为簇中心距离；
当所述簇中心距离大于预设阈值时，判定所述待测样本为异常样本，所述待监测管道存在异常。
作为上述方案的改进，所述管道数据包括主干管长度、用户管数、用户管长度和水表承受平均压力。
作为上述方案的改进，所述根据聚类算法对所述参考样本进行聚类，得到K个参考簇以及各簇对应的簇中心，具体包括：
步骤S2-1、从所述参考样本中随机选取K个参考样本个体作为簇中心；其中，每一个簇中心对应一个类别，K表示聚类总数；
步骤S2-2、计算其余的所述参考样本个体到每一所述簇中心的距离，并将其余的所述参考样本个体分配到各个类别中，得到K个参考簇，分配的结果为每一参考样本个体到该样本个体所属的参考簇的簇中心的距离比该样本个体到其他参考簇的簇中心的距离都小；
步骤S2-3、更新各个参考簇的簇中心，对于每一个参考簇，选取到其他参考簇内的参考样本个体的距离之和最小的参考样本个体作为新的簇中心；
步骤S2-4，重复步骤S2-2到步骤S2-3，直到所有的簇中心不再发生改变。
作为上述方案的改进，所述根据第一预设规则从所有簇中心中选取若干簇中心作为正常参考样本，具体包括：
计算每一所述参考簇中的参考样本个体数量；
将所有所述参考样本个体数量大于第一预设阈值的所述参考簇的簇中心作为正常参考样本。
作为上述方案的改进，所述根据所述待测样本到每一所述正常参考样本个体的距离，按照第二预设规则选择所述正常参考样本中的一个参考样本个体作为所述待测样本的第一簇中心，具体为：
根据所述待测样本到每一所述正常参考样本个体的距离，选取与所述待测样本距离最小的所述正常参考样本个体作为所述待测样本的第一簇中心。
作为上述方案的改进，所述计算每一样本个体相对于其他样本个体的密度，具体为：
计算每一样本个体相对于其他样本个体的密度，满足以下公式：
Figure BDA0002938416140000031
Figure BDA0002938416140000032
其中，Fi表示第i个样本个体相对于其他样本个体的密度，n表示所述参考样本的容量，λ表示所述权重样本的容量，i为不小于1且不大于n+λ的整数，j为不小于1且不大于n+λ的整数，ai表示第i个样本个体，aj表示第j个样本个体，δ表示领域有效半径,i不等于j。
作为上述方案的改进，所述根据所述每一样本个体相对于其他样本个体的密度，按照第三预设规则选择所有所述样本个体中的一个样本个体作为所述待测样本的第二簇中心，具体为：
根据所述每一样本个体相对于其他样本个体的密度，选取相对于其他样本个体的密度最大的所述样本个体作为所述待测样本的第二簇中心。
作为上述方案的改进，所述簇中心距离为所述第一簇中心和所述第二簇中心的曼哈顿距离。
为实现上述目的，本发明实施例还提供了一种管道异常的确认装置，包括：
参考样本获取模块，用于获取采集得到的管网的若干组管道数据作为参考样本；
聚类模块，用于根据聚类算法对所述参考样本进行聚类，得到K个参考簇以及各簇对应的簇中心；
样本选取模块，用于根据第一预设规则从所有簇中心中选取若干簇中心作为正常参考样本；
待测样本获取模块，用于获取采集得到的管网的待监测管道的管道数据，作为待测样本；
第一距离计算模块，用于计算所述待测样本到每一所述正常参考样本个体的距离；
第一簇中心确定模块，用于根据所述待测样本到每一所述正常参考样本个体的距离，按照第二预设规则选择所述正常参考样本中的一个参考样本个体作为所述待测样本的第一簇中心；
权重样本获取模块，用于增加若干个与所述待测样本相同的样本，作为权重样本；
密度计算模块，用于计算每一样本个体相对于其他样本个体的密度；其中，所述样本个体包括参考样本个体、待测样本个体和权重样本个体；
第二簇中心确定模块，用于根据所述每一样本个体相对于其他样本个体的密度，按照第三预设规则选择所有所述样本个体中的一个样本个体作为所述待测样本的第二簇中心；
第二距离计算模块，用于计算所述第一簇中心和所述第二簇中心的距离，作为簇中心距离；
管道异常确认模块，用于当所述簇中心距离大于预设阈值时，判定所述待测样本为异常样本，所述待监测管道存在异常。
为实现上述目的，本发明实施例还提供了一种计算机可读存储介质，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一实施例所述的管道异常的确认方法。
与现有技术相比，本发明实施例公开的管道异常的确认方法、装置、和计算机可读存储介质，通过获取采集得到的管网的若干组管道数据作为参考样本并进行聚类，得到K个参考簇以及各簇对应的簇中心，从中选取若干簇中心作为正常参考样本；通过获取采集得到的管网的待监测管道的管道数据作为待测样本，并计算所述待测样本到每一所述正常参考样本个体的距离，选择一个参考样本个体作为所述待测样本的第一簇中心；增加若干个与所述待测样本相同的样本作为权重样本；计算每一样本个体相对于其他样本个体的密度，从中选择一个样本个体作为所述待测样本的第二簇中心；计算所述第一簇中心和所述第二簇中心的距离，作为簇中心距离；当所述簇中心距离大于预设阈值时，判定所述待测样本为异常样本，所述待监测管道存在异常。在管道异常的确认过程中，采用了聚类算法进行正常管道的选择，将正常管道作为参考对象，通过聚类从参考对象中选择其中一个作为待测样本的第一簇中心，通过增加与待测样本相同的样本，计算每一样本个体相对于其他样本个体的密度，根据密度选择第二簇中心，通过计算第一簇中心和第二簇中心的距离，以该距离作为待监测管道的状态表征，以反映待监测管道是否存在泄漏或压力异常状况。
附图说明
图1是本发明实施例提供的一种管道异常的确认方法的流程图；
图2是本发明实施例提供的一种管道异常的确认装置的结构示意图；
图3是本发明实施例提供的另一种管道异常的确认装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，是本发明实施例提供的一种管道异常的确认方法的流程图，所述管道异常的确认方法包括：
S1、获取采集得到的管网的若干组管道数据作为参考样本；
S2、根据聚类算法对所述参考样本进行聚类，得到K个参考簇以及各簇对应的簇中心；
S3、根据第一预设规则从所有簇中心中选取若干簇中心作为正常参考样本；
S4、获取采集得到的管网的待监测管道的管道数据，作为待测样本；
S5、计算所述待测样本到每一所述正常参考样本个体的距离；
S6、根据所述待测样本到每一所述正常参考样本个体的距离，按照第二预设规则选择所述正常参考样本中的一个参考样本个体作为所述待测样本的第一簇中心；
S7、增加若干个与所述待测样本相同的样本，作为权重样本；
S8、计算每一样本个体相对于其他样本个体的密度；其中，所述样本个体包括参考样本个体、待测样本个体和权重样本个体；
S9、根据所述每一样本个体相对于其他样本个体的密度，按照第三预设规则选择所有所述样本个体中的一个样本个体作为所述待测样本的第二簇中心；
S10、计算所述第一簇中心和所述第二簇中心的距离，作为簇中心距离；
S11、当所述簇中心距离大于预设阈值时，判定所述待测样本为异常样本，所述待监测管道存在异常。
具体地，在步骤S1中，获取采集得到的管网的若干组管道数据作为参考样本；其中，所述管道数据包括主干管长度、用户管数、用户管长度和水表承受平均压力。
示例性的，收集不同Z＝(Lm,Nc,Lp,P)的数据，数据量为n组，即[Z1 Z2 … Zn]，将收集的数据作为参考样本；其中，Lm为主干管长度；Nc为用户管数；Lp为用户管长度；P为夜间水表承受平均压力；Z＝(Lm,Nc,Lp,P)为一次收集组成的数据；
值得说明的是，收集的数据量越大，管道异常判定的准确率越高，一般来说，收集的管道数据的组数大于10000，并且平均分布于全年；在实际应用中，采集的时间段和采集的组数可根据实际实际情况而定，并不局限于上述情况。
进一步地，在步骤S1之后，还包括步骤S101：
S101、对所述参考样本中的各组管道数据进行归一化处理。
进一步地，所述步骤S101具体包括：
根据所述参考样本中的所有所述管道数据中的主干管长度计算第一平均值，根据第一平均值和所有所述管道数据中的主干管长度计算第一平均差值；
根据所述参考样本中的所有所述管道数据中的用户管数计算第二平均值，根据第二平均值和所有所述管道数据中的用户管数计算第二平均差值；
根据所述参考样本中的所有所述管道数据中的用户管长度计算第三平均值，根据第三平均值和所有所述管道数据中的用户管长度计算第三平均差值；
根据所述参考样本中的所有所述管道数据中的水表承受平均压力计算第四平均值，根据第四平均值和所有所述管道数据中的水表承受平均压力计算第四平均差值；
分别将所述参考样本中的每一组所述管道数据的主干管长度减去第一平均值后，除以第一平均差值，分别得到每一组所述管道数据的归一化主干管长度；
分别将所述参考样本中的每一组所述管道数据的用户管数减去第二平均值后，除以第二平均差值，分别得到每一组所述管道数据的归一化用户管数；
分别将所述参考样本中的每一组所述管道数据的用户管长度减去第三平均值后，除以第三平均差值，分别得到每一组所述管道数据的归一化用户管长度；
分别将所述参考样本中的每一组所述管道数据的水表承受平均压力减去第四平均值后，除以第四平均差值，分别得到每一组所述管道数据的归一化水表承受平均压力。
示例性的，将所有[Z1 Z2 … Zn]中的Lm进行归一化处理，具体的计算过程如下：计算平均差值S，
Figure BDA0002938416140000081
其中
Figure BDA0002938416140000082
为Lm的均值；计算标准化后的数据L′m，
Figure BDA0002938416140000083
同理可计算得到归一化后的L′m、N′c、L′p、P′，则归一化后的数据表示为Z′＝(L′m,N′c,L′p,P′)，Z′的集合为[Z′1 Z′2 … Z′n]，作为参考样本。
值得说明的是，对数据的归一化处理并不局限于上述的处理方式，在实际应用中，可根据实际情况设置归一化处理的具体方式。
具体地，在步骤S2中，所述根据聚类算法对所述参考样本进行聚类，得到K个参考簇以及各簇对应的簇中心，具体包括步骤S2-1～S2-4：
S2-1、从所述参考样本中随机选取K个参考样本个体作为簇中心；其中，每一个簇中心对应一个类别，K表示聚类总数；
S2-2、计算其余的所述参考样本个体到每一所述簇中心的距离，并将其余的所述参考样本个体分配到各个类别中，得到K个参考簇，分配的结果为每一参考样本个体到该样本个体所属的参考簇的簇中心的距离比该样本个体到其他参考簇的簇中心的距离都小；
S2-3、更新各个参考簇的簇中心，对于每一个参考簇，选取到其他参考簇内的参考样本个体的距离之和最小的参考样本个体作为新的簇中心；
S2-4，重复步骤S2-2到步骤S2-3，直到所有的簇中心不再发生改变。
示例性的，对参考样本[Z′1 Z′2 … Z′n]进行聚类，具体的聚类方式如下：
S2-1、从参考样本[Z′1 Z′2 … Z′n]中随机选择K个数据作为数据聚类的簇中心ui，i∈(1,K)；值得说明的是，K的具体数值按照不同地区的实际情况预先设定；
S2-2、分别算出剩余n-K个参考样本个体与每一个簇中心{u1,u2，…uK}的距离，即|Z′-ui|2，i∈(1,K)，取输入数据到簇中心距离最小的簇作为该数据的标签，并将其打上标签i，表示该属于簇i，即选取距离参考样本个体距离最小的簇中心作为该参考样本个体的簇中心；
S2-3、更新簇中心。在每一个簇中，选取到本簇内其他点距离之和最小的点作为新的簇中心；其中，本簇内其他点距离之和满足公式
Figure BDA0002938416140000091
ia,b为本簇内a、b两点的欧氏距离，a为不小于1，且不大于本簇中参考样本个体数量的整数，b为不小于1，且不大于本簇中参考样本个体数量的整数；
S2-4、重复步骤S2-2～S2-3，直到所有的簇中心不再发生改变。
具体地，在步骤S3中，根据第一预设规则从所有簇中心中选取若干簇中心作为正常参考样本，具体包括步骤S3-1～S3-2：
S3-1、计算每一所述参考簇中的参考样本个体数量；
S3-2、将所有所述参考样本个体数量大于第一预设阈值的所述参考簇的簇中心作为正常参考样本。
示例性的，从簇中心{u1,u2，…uK}中筛选出正常数据的参考样本，作为正常参考样本，具体筛选方式如下：
S3-1、计算每个参考簇中的样本数量；
S3-2、第一预设阈值为参考样本总数的10％，包含参考样本总数10％以上的簇归为大簇,共l(l≤K)个，则小簇为K-l个；将大簇中的簇中心{u′1，u′2，…u′l}当做正常样本的参考样本，作为正常参考样本。
值得说明的是，第一预设阈值的具体数值并不局限于参考样本总数的10％，可根据实际情况预先设定。
示例性的，在步骤S4中，获取采集得到的管网的待监测管道的管道数据，待监测管道的管道数据为
Figure BDA0002938416140000093
进一步地，在步骤S4之后，还包括步骤S4-1：
S4-1、对待监测管道的管道数据进行归一化处理，并将归一化处理后的待监测管道的管道数据作为待测样本。
值得说明的是，对待监测管道的管道数据进行归一化处理的具体方式可参照实施例中的对参考样本中的管道数据的归一化处理方式。
具体地，在步骤S5中，计算所述待测样本到每一所述正常参考样本个体的曼哈顿距离。
示例性的，计算所述待测样本到每一所述正常参考样本个体的曼哈顿距离，满足以下公式：
Figure BDA0002938416140000101
在步骤S6中，根据所述待测样本到每一所述正常参考样本个体的距离，按照第二预设规则选择所述正常参考样本中的一个参考样本个体作为所述待测样本的第一簇中心。
具体地，所述第二预设规则为：选取曼哈顿距离最小的正常参考样本个体作为待测样本的第一簇中心。
示例性的，选取曼哈顿距离最小的正常参考样本个体
Figure BDA0002938416140000102
作为待测样本的第一簇中心。
值得说明的是，第二预设规则可根据实际情况进行设定，并不局限于上述具体定义。
在步骤S7中，增加若干个与所述待测样本相同的样本，作为权重样本。
示例性的，增加λ个与待测样本
Figure BDA0002938416140000105
相同的样本。
具体地，在步骤S8中，计算每一样本个体相对于其他样本个体的密度，满足以下公式：
Figure BDA0002938416140000103
Figure BDA0002938416140000104
其中，所述样本个体包括参考样本个体、待测样本个体和权重样本个体；Fi表示第i个样本个体相对于其他样本个体的密度，n表示所述参考样本的容量，λ表示所述权重样本的容量，i为不小于1，且不大于n+λ的整数，j为不小于1，且不大于n+λ的整数，ai表示第i个样本个体，aj表示第j个样本个体，δ表示领域有效半径，i不等于j。
在步骤S9中，根据所述每一样本个体相对于其他样本个体的密度，按照第三预设规则选择所有所述样本个体中的一个样本个体作为所述待测样本的第二簇中心。
具体地，所述第三预设规则为：选取相对于其他样本个体的密度最大的样本个体作为待测样本的第二簇中心。
示例性的，选取相对于其他样本个体的密度最大的样本个体作为待测样本的第二簇中心
Figure BDA0002938416140000111
其中，
Figure BDA0002938416140000112
值得说明的是，所述第三预设规则并不局限于上述具体设定，在实际应用中，可根据实际情况进行设定。
具体地，在步骤S10中，计算所述第一簇中心和所述第二簇中心曼哈顿距离，作为簇中心距离。
在步骤S11中，当所述簇中心距离大于预设阈值时，判定所述待测样本为异常样本，所述待监测管道存在异常。
示例性的，将
Figure BDA0002938416140000113
和
Figure BDA0002938416140000114
的曼哈顿距离
Figure BDA0002938416140000115
作为待测样本
Figure BDA0002938416140000116
的异常指数，即
Figure BDA0002938416140000117
预设阈值为θ，当异常指数大于θ时，判定所述待测样本为异常样本，所述待监测管道存在异常。当所述待测样本为异常样本时，应检查待监测管道的水表、主干管和用户管是否存在泄漏或者水压过大的异常，以便及时采取应急保障措施。
在步骤S11之后，所述方法还包括步骤S12：当所述簇中心距离不大于预设阈值时，判定所述待测样本不为异常样本，所述待监测管道正常。
与现有技术相比，本发明实施例公开的管道异常的确认方法，通过获取采集得到的管网的若干组管道数据作为参考样本并进行聚类，得到K个参考簇以及各簇对应的簇中心，从中选取若干簇中心作为正常参考样本；通过获取采集得到的管网的待监测管道的管道数据作为待测样本，并计算所述待测样本到每一所述正常参考样本个体的距离，选择一个参考样本个体作为所述待测样本的第一簇中心；增加若干个与所述待测样本相同的样本作为权重样本；计算每一样本个体相对于其他样本个体的密度，从中选择一个样本个体作为所述待测样本的第二簇中心；计算所述第一簇中心和所述第二簇中心的距离，作为簇中心距离；当所述簇中心距离大于预设阈值时，判定所述待测样本为异常样本，所述待监测管道存在异常。在管道异常的确认过程中，采用了聚类算法进行正常管道的选择，将正常管道作为参考对象，通过聚类从参考对象中选择其中一个作为待测样本的第一簇中心，通过增加与待测样本相同的样本，计算每一样本个体相对于其他样本个体的密度，根据密度选择第二簇中心，通过计算第一簇中心和第二簇中心的距离，以该距离作为待监测管道的状态表征，以反映待监测管道是否存在泄漏或压力异常状况。
参见图2，是本发明实施例提供的一种管道异常的确认装置的结构示意图，所述管道异常的确认装置20包括：
参考样本获取模块201，用于获取采集得到的管网的若干组管道数据作为参考样本；
聚类模块202，用于根据聚类算法对所述参考样本进行聚类，得到K个参考簇以及各簇对应的簇中心；
样本选取模块203，用于根据第一预设规则从所有簇中心中选取若干簇中心作为正常参考样本；
待测样本获取模块204，用于获取采集得到的管网的待监测管道的管道数据，作为待测样本；
第一距离计算模块205，用于计算所述待测样本到每一所述正常参考样本个体的距离；
第一簇中心确定模块206，用于根据所述待测样本到每一所述正常参考样本个体的距离，按照第二预设规则选择所述正常参考样本中的一个参考样本个体作为所述待测样本的第一簇中心；
权重样本获取模块207，用于增加若干个与所述待测样本相同的样本，作为权重样本；
密度计算模块208，用于计算每一样本个体相对于其他样本个体的密度；其中，所述样本个体包括参考样本个体、待测样本个体和权重样本个体；
第二簇中心确定模块209，用于根据所述每一样本个体相对于其他样本个体的密度，按照第三预设规则选择所有所述样本个体中的一个样本个体作为所述待测样本的第二簇中心；
第二距离计算模块210，用于计算所述第一簇中心和所述第二簇中心的距离，作为簇中心距离；
管道异常确认模块211，用于当所述簇中心距离大于预设阈值时，判定所述待测样本为异常样本，所述待监测管道存在异常。
值得说明的是，具体的所述管道异常的确认装置20的工作过程可参考上述实施例中所述管道异常的确认方法的工作过程，在此不再赘述。
与现有技术相比，本发明实施例公开的管道异常的确认装置，通过获取采集得到的管网的若干组管道数据作为参考样本并进行聚类，得到K个参考簇以及各簇对应的簇中心，从中选取若干簇中心作为正常参考样本；通过获取采集得到的管网的待监测管道的管道数据作为待测样本，并计算所述待测样本到每一所述正常参考样本个体的距离，选择一个参考样本个体作为所述待测样本的第一簇中心；增加若干个与所述待测样本相同的样本作为权重样本；计算每一样本个体相对于其他样本个体的密度，从中选择一个样本个体作为所述待测样本的第二簇中心；计算所述第一簇中心和所述第二簇中心的距离，作为簇中心距离；当所述簇中心距离大于预设阈值时，判定所述待测样本为异常样本，所述待监测管道存在异常。在管道异常的确认过程中，采用了聚类算法进行正常管道的选择，将正常管道作为参考对象，通过聚类从参考对象中选择其中一个作为待测样本的第一簇中心，通过增加与待测样本相同的样本，计算每一样本个体相对于其他样本个体的密度，根据密度选择第二簇中心，通过计算第一簇中心和第二簇中心的距离，以该距离作为待监测管道的状态表征，以反映待监测管道是否存在泄漏或压力异常状况。
参见图3，图3是本发明实施例提供的另一种管道异常的确认装置的结构示意图，所述管道异常的确认装置30包括处理器301、存储器302以及存储在所述存储器中且被配置为由所述处理器301执行的计算机程序。所述处理器301执行所述计算机程序时实现上述管道异常的确认方法实施例中的步骤，例如图1中所示的步骤S1～S11。或者，所述处理器301执行所述计算机程序时实现上述各装置实施例中各模块的功能，例如参考样本获取模块201。
示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器302中，并由所述处理器301执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述管道异常的确认装置30中的执行过程。例如，所述计算机程序可以被分割成参考样本获取模块201、聚类模块202、样本选取模块203、待测样本获取模块204、第一距离计算模块205、第一簇中心确定模块206、权重样本获取模块207、密度计算模块208、第二簇中心确定模块209、第二距离计算模块210和管道异常确认模块211，各模块具体功能如下：
参考样本获取模块201，用于获取采集得到的管网的若干组管道数据作为参考样本；
聚类模块202，用于根据聚类算法对所述参考样本进行聚类，得到K个参考簇以及各簇对应的簇中心；
样本选取模块203，用于根据第一预设规则从所有簇中心中选取若干簇中心作为正常参考样本；
待测样本获取模块204，用于获取采集得到的管网的待监测管道的管道数据，作为待测样本；
第一距离计算模块205，用于计算所述待测样本到每一所述正常参考样本个体的距离；
第一簇中心确定模块206，用于根据所述待测样本到每一所述正常参考样本个体的距离，按照第二预设规则选择所述正常参考样本中的一个参考样本个体作为所述待测样本的第一簇中心；
权重样本获取模块207，用于增加若干个与所述待测样本相同的样本，作为权重样本；
密度计算模块208，用于计算每一样本个体相对于其他样本个体的密度；其中，所述样本个体包括参考样本个体、待测样本个体和权重样本个体；
第二簇中心确定模块209，用于根据所述每一样本个体相对于其他样本个体的密度，按照第三预设规则选择所有所述样本个体中的一个样本个体作为所述待测样本的第二簇中心；
第二距离计算模块210，用于计算所述第一簇中心和所述第二簇中心的距离，作为簇中心距离；
管道异常确认模块211，用于当所述簇中心距离大于预设阈值时，判定所述待测样本为异常样本，所述待监测管道存在异常。
各个模块具体的工作过程可参考上述实施例所述的管道异常的确认装置20的工作过程，在此不再赘述。
所述管道异常的确认装置30可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述管道异常的确认装置30可包括，但不仅限于，处理器301、存储器302。本领域技术人员可以理解，所述示意图仅仅是图像增强设备的示例，并不构成对管道异常的确认装置30的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述管道异常的确认装置30还可以包括输入输出设备、网络接入设备、总线等。
所述处理器301可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器301是所述管道异常的确认装置设备30的控制中心，利用各种接口和线路连接整个管道异常的确认装置30的各个部分。
所述存储器302可用于存储所述计算机程序和/或模块，所述处理器301通过运行或执行存储在所述存储器302内的计算机程序和/或模块，以及调用存储在存储器302内的数据，实现所述管道异常的确认装置30的各种功能。所述存储器302可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器302可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述管道异常的确认装置30集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种管道异常的确认方法，其特征在于，包括：
获取采集得到的管网的若干组管道数据作为参考样本；
根据聚类算法对所述参考样本进行聚类，得到K个参考簇以及各簇对应的簇中心；
根据第一预设规则从所有簇中心中选取若干簇中心作为正常参考样本；
获取采集得到的管网的待监测管道的管道数据，作为待测样本；
计算所述待测样本到每一所述正常参考样本个体的距离；
根据所述待测样本到每一所述正常参考样本个体的距离，按照第二预设规则选择所述正常参考样本中的一个参考样本个体作为所述待测样本的第一簇中心；
增加若干个与所述待测样本相同的样本，作为权重样本；
计算每一样本个体相对于其他样本个体的密度；其中，所述样本个体包括参考样本个体、待测样本个体和权重样本个体；
根据所述每一样本个体相对于其他样本个体的密度，按照第三预设规则选择所有所述样本个体中的一个样本个体作为所述待测样本的第二簇中心；
计算所述第一簇中心和所述第二簇中心的距离，作为簇中心距离；
当所述簇中心距离大于预设阈值时，判定所述待测样本为异常样本，所述待监测管道存在异常。
2.如权利要求1所述的管道异常的确认方法，其特征在于，所述管道数据包括主干管长度、用户管数、用户管长度和水表承受平均压力。
3.如权利要求1所述的管道异常的确认方法，其特征在于，所述根据聚类算法对所述参考样本进行聚类，得到K个参考簇以及各簇对应的簇中心，具体包括：
步骤S2-1、从所述参考样本中随机选取K个参考样本个体作为簇中心；其中，每一个簇中心对应一个类别，K表示聚类总数；
步骤S2-2、计算其余的所述参考样本个体到每一所述簇中心的距离，并将其余的所述参考样本个体分配到各个类别中，得到K个参考簇，分配的结果为每一参考样本个体到该样本个体所属的参考簇的簇中心的距离比该样本个体到其他参考簇的簇中心的距离都小；
步骤S2-3、更新各个参考簇的簇中心，对于每一个参考簇，选取到其他参考簇内的参考样本个体的距离之和最小的参考样本个体作为新的簇中心；
步骤S2-4，重复步骤S2-2到步骤S2-3，直到所有的簇中心不再发生改变。
4.如权利要求1所述的管道异常的确认方法，其特征在于，所述根据第一预设规则从所有簇中心中选取若干簇中心作为正常参考样本，具体包括：
计算每一所述参考簇中的参考样本个体数量；
将所有所述参考样本个体数量大于第一预设阈值的所述参考簇的簇中心作为正常参考样本。
5.如权利要求1所述的管道异常的确认方法，其特征在于，所述根据所述待测样本到每一所述正常参考样本个体的距离，按照第二预设规则选择所述正常参考样本中的一个参考样本个体作为所述待测样本的第一簇中心，具体为：
根据所述待测样本到每一所述正常参考样本个体的距离，选取与所述待测样本距离最小的所述正常参考样本个体作为所述待测样本的第一簇中心。
6.如权利要求1所述的管道异常的确认方法，其特征在于，所述计算每一样本个体相对于其他样本个体的密度，具体为：
计算每一样本个体相对于其他样本个体的密度，满足以下公式：
Figure FDA0002938416130000031
Figure FDA0002938416130000032
其中，Fi表示第i个样本个体相对于其他样本个体的密度，n表示所述参考样本的容量，λ表示所述权重样本的容量，i为不小于1且不大于n+λ的整数，j为不小于1且不大于n+λ的整数，ai表示第i个样本个体，aj表示第j个样本个体，δ表示领域有效半径。
7.如权利要求1所述的管道异常的确认方法，其特征在于，所述根据所述每一样本个体相对于其他样本个体的密度，按照第三预设规则选择所有所述样本个体中的一个样本个体作为所述待测样本的第二簇中心，具体为：
根据所述每一样本个体相对于其他样本个体的密度，选取相对于其他样本个体的密度最大的所述样本个体作为所述待测样本的第二簇中心。
8.如权利要求1所述的管道异常的确认方法，其特征在于，所述簇中心距离为所述第一簇中心和所述第二簇中心的曼哈顿距离。
9.一种管道异常的确认装置，其特征在于，包括：
参考样本获取模块，用于获取采集得到的管网的若干组管道数据作为参考样本；
聚类模块，用于根据聚类算法对所述参考样本进行聚类，得到K个参考簇以及各簇对应的簇中心；
样本选取模块，用于根据第一预设规则从所有簇中心中选取若干簇中心作为正常参考样本；
待测样本获取模块，用于获取采集得到的管网的待监测管道的管道数据，作为待测样本；
第一距离计算模块，用于计算所述待测样本到每一所述正常参考样本个体的距离；
第一簇中心确定模块，用于根据所述待测样本到每一所述正常参考样本个体的距离，按照第二预设规则选择所述正常参考样本中的一个参考样本个体作为所述待测样本的第一簇中心；
权重样本获取模块，用于增加若干个与所述待测样本相同的样本，作为权重样本；
密度计算模块，用于计算每一样本个体相对于其他样本个体的密度；其中，所述样本个体包括参考样本个体、待测样本个体和权重样本个体；
第二簇中心确定模块，用于根据所述每一样本个体相对于其他样本个体的密度，按照第三预设规则选择所有所述样本个体中的一个样本个体作为所述待测样本的第二簇中心；
第二距离计算模块，用于计算所述第一簇中心和所述第二簇中心的距离，作为簇中心距离；
管道异常确认模块，用于当所述簇中心距离大于预设阈值时，判定所述待测样本为异常样本，所述待监测管道存在异常。
10.一种计算机可读存储介质，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8中任意一项所述的管道异常的确认方法。
CN202110169260.1A 2021-02-07 2021-02-07 一种管道异常的确认方法、装置及计算机可读存储介质 Active CN112949697B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110169260.1A CN112949697B (zh) 2021-02-07 2021-02-07 一种管道异常的确认方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110169260.1A CN112949697B (zh) 2021-02-07 2021-02-07 一种管道异常的确认方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112949697A true CN112949697A (zh) 2021-06-11
CN112949697B CN112949697B (zh) 2023-03-17

Family

ID=76243263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110169260.1A Active CN112949697B (zh) 2021-02-07 2021-02-07 一种管道异常的确认方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112949697B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706837A (zh) * 2021-07-09 2021-11-26 上海汽车集团股份有限公司 一种发动机异常状态检测方法和装置
CN115370973A (zh) * 2022-10-25 2022-11-22 山东辰智电子科技有限公司 供水漏损监测方法、装置、存储介质及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130054603A1 (en) * 2010-06-25 2013-02-28 U.S. Govt. As Repr. By The Secretary Of The Army Method and apparatus for classifying known specimens and media using spectral properties and identifying unknown specimens and media
WO2014169776A1 (en) * 2013-04-19 2014-10-23 Tencent Technology (Shenzhen) Company Limited Cluster method and apparatus based on user interest
CN105894023A (zh) * 2016-03-31 2016-08-24 华东理工大学 基于聚簇的支持向量数据描述改进算法
CN107563450A (zh) * 2017-09-14 2018-01-09 深圳大学 聚类簇的获取方法及装置
CN108805174A (zh) * 2018-05-18 2018-11-13 广东惠禾科技发展有限公司 聚类方法及装置
CN109684382A (zh) * 2018-12-20 2019-04-26 成都四方伟业软件股份有限公司 二维密度聚类方法及装置
CN110443300A (zh) * 2019-08-01 2019-11-12 北京知呱呱科技服务有限公司 一种聚类算法中簇数量确定方法、系统、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130054603A1 (en) * 2010-06-25 2013-02-28 U.S. Govt. As Repr. By The Secretary Of The Army Method and apparatus for classifying known specimens and media using spectral properties and identifying unknown specimens and media
WO2014169776A1 (en) * 2013-04-19 2014-10-23 Tencent Technology (Shenzhen) Company Limited Cluster method and apparatus based on user interest
CN105894023A (zh) * 2016-03-31 2016-08-24 华东理工大学 基于聚簇的支持向量数据描述改进算法
CN107563450A (zh) * 2017-09-14 2018-01-09 深圳大学 聚类簇的获取方法及装置
CN108805174A (zh) * 2018-05-18 2018-11-13 广东惠禾科技发展有限公司 聚类方法及装置
CN109684382A (zh) * 2018-12-20 2019-04-26 成都四方伟业软件股份有限公司 二维密度聚类方法及装置
CN110443300A (zh) * 2019-08-01 2019-11-12 北京知呱呱科技服务有限公司 一种聚类算法中簇数量确定方法、系统、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
尹娜等: "基于混合式聚类算法的离群点挖掘在异常检测中的应用研究", 《计算机科学》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706837A (zh) * 2021-07-09 2021-11-26 上海汽车集团股份有限公司 一种发动机异常状态检测方法和装置
CN113706837B (zh) * 2021-07-09 2022-12-06 上海汽车集团股份有限公司 一种发动机异常状态检测方法和装置
CN115370973A (zh) * 2022-10-25 2022-11-22 山东辰智电子科技有限公司 供水漏损监测方法、装置、存储介质及电子设备
CN115370973B (zh) * 2022-10-25 2023-02-28 山东辰智电子科技有限公司 供水漏损监测方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN112949697B (zh) 2023-03-17

Similar Documents

Publication Publication Date Title
WO2020119051A1 (zh) 云平台资源使用预测方法及终端设备
WO2021184727A1 (zh) 数据异常检测方法、装置、电子设备及存储介质
CN112949697B (zh) 一种管道异常的确认方法、装置及计算机可读存储介质
CN110083475B (zh) 一种异常数据的检测方法及装置
CN115879748B (zh) 一种基于大数据的企业信息化管理集成平台
CN112990330A (zh) 用户用能异常数据检测方法及设备
CN112395179B (zh) 一种模型训练方法、磁盘预测方法、装置及电子设备
WO2023115875A1 (zh) 硬件设备维护方法、装置及电子设备
CN111626360A (zh) 用于检测锅炉故障类型的方法、装置、设备和存储介质
CN112365070A (zh) 一种电力负荷预测方法、装置、设备及可读存储介质
CN113551156B (zh) 基于深度学习的管道状态监测方法、装置及存储介质
CN117150233B (zh) 一种电网异常数据治理方法、系统、设备及介质
CN108920601B (zh) 一种数据匹配方法及装置
CN117113247A (zh) 基于二分类和聚类算法的排水系统异常监测方法、设备及存储介质
CN111625720A (zh) 数据决策项目执行策略的确定方法、装置、设备和介质
CN111695829B (zh) 一种指标波动周期计算方法、装置、存储介质及电子设备
CN115759742A (zh) 企业风险评估方法、装置、计算机设备和存储介质
CN114579519A (zh) 文件系统的异常检测方法及装置、存储介质及电子设备
CN114331688A (zh) 一种银行柜面系统业务批量运行状态检测方法及装置
CN109344047B (zh) 系统回归测试方法、计算机可读存储介质和终端设备
CN113705626A (zh) 异常生活保障申请家庭的识别方法、装置及电子设备
CN113590608A (zh) 一种基于数据流处理的用户用电信息即采即校方法
CN112241767A (zh) 管网水压监测节点布置方法、装置、设备及存储介质
CN109059989B (zh) 一种仪表剩余寿命评估的方法、系统及设备
CN111581044A (zh) 集群优化方法、装置、服务器及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant