CN117591836B - 一种管道检测数据分析方法以及相关装置 - Google Patents

一种管道检测数据分析方法以及相关装置 Download PDF

Info

Publication number
CN117591836B
CN117591836B CN202410076693.6A CN202410076693A CN117591836B CN 117591836 B CN117591836 B CN 117591836B CN 202410076693 A CN202410076693 A CN 202410076693A CN 117591836 B CN117591836 B CN 117591836B
Authority
CN
China
Prior art keywords
data
target
initial
abnormal
layering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410076693.6A
Other languages
English (en)
Other versions
CN117591836A (zh
Inventor
蔡毅
游东东
杨文明
姜孝谟
向海民
丁子茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Lichuang Information Technology Co ltd
Original Assignee
Guangdong Lichuang Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Lichuang Information Technology Co ltd filed Critical Guangdong Lichuang Information Technology Co ltd
Priority to CN202410076693.6A priority Critical patent/CN117591836B/zh
Publication of CN117591836A publication Critical patent/CN117591836A/zh
Application granted granted Critical
Publication of CN117591836B publication Critical patent/CN117591836B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Complex Calculations (AREA)

Abstract

本发明实施例提供一种管道检测数据分析方法以及相关装置，属于管道监控技术领域。该方法包括：对初始检测数据进行异常识别获得初始异常数据；对初始异常数据在初始检测数据中进行频次分析获得第一表征值；获得管道的已知异常类型的已知异常数据并对已知异常数据进行聚类分析获得目标异常中心；对目标异常中心进行频次分析获得第二表征值；计算第一表征值属于第二表征值时的隶属参数，并根据隶属参数确定初始异常数据对应的目标隶属矩阵；根据目标隶属矩阵确定目标异常类型，并获得目标异常类型对应的目标已知数据；计算初始异常数据和目标已知数据之间的近邻密度，并根据近邻密度确定初始异常数据对应的异常因子；根据异常因子确定目标异常数据。

Description

一种管道检测数据分析方法以及相关装置
技术领域
本发明涉及管道监控技术领域，尤其涉及一种管道检测数据分析方法以及相关装置。
背景技术
管道检测安全是指对管道系统进行完整的检测和评估，以确保管道运行的安全，并识别潜在的风险和故障点，为安全运行提供保障。在管道运行过程中，由于管道内部环境的不断变化，可能会出现管道氧化、腐蚀、破损等问题，而这些问题可能会对管道系统造成安全隐患，甚至导致灾难性后果。因此，对管道进行定期检测和评估，及时发现和解决问题，是保障管道安全的重要措施。
传统的管道检测方法主要依赖设备检测。但是，设备检测的数据量庞大、数据复杂度高，人工无法对大量的检测数据进行准确的分析，亟需一种智能化的管道检测数据分析方法对管道检测数据进行准备有效的处理。
发明内容
本发明实施例的主要目的在于提供一种管道检测数据分析方法以及相关装置，旨在解决传统的管道检测方法主要依赖设备检测，但设备检测的数据量庞大、数据复杂度高，人工无法对大量的检测数据进行及时、准确的分析的问题。
第一方面，本发明实施例提供一种管道检测数据分析方法，包括：
获得所述管道对应的初始检测数据，并对所述初始检测数据进行分层处理，获得所述初始检测数据对应的目标分层区间；
对所述目标分层区间进行异常识别，获得所述目标分层区间对应的初始异常数据；
对所述初始异常数据在所述初始检测数据中进行频次分析，获得所述初始异常数据对应的第一表征值；
获得所述管道的已知异常类型对应的已知异常数据，并对所述已知异常数据进行聚类分析获得所述已知异常数据对应的目标异常中心；
对所述目标异常中心进行频次分析，获得所述目标异常中心对应的第二表征值；
计算所述第一表征值属于所述第二表征值时对应的隶属参数，并根据所述隶属参数确定所述初始异常数据对应的目标隶属矩阵；
根据所述目标隶属矩阵确定所述初始异常数据对应的目标异常类型，并获得所述目标异常类型对应的目标已知数据；
计算所述初始异常数据和所述目标已知数据之间的近邻密度，并根据所述近邻密度确定所述初始异常数据对应的异常因子；
根据所述异常因子确定所述初始异常数据对应的目标异常数据。
第二方面，本发明实施例提供一种管道检测数据分析装置，包括：
数据处理模块，用于获得所述管道对应的初始检测数据，并对所述初始检测数据进行分层处理，获得所述初始检测数据对应的目标分层区间；
异常识别模块，用于对所述目标分层区间进行异常识别，获得所述目标分层区间对应的初始异常数据；
第一表征模块，用于对所述初始异常数据在所述初始检测数据中进行频次分析，获得所述初始异常数据对应的第一表征值；
中心获取模块，用于获得所述管道的已知异常类型对应的已知异常数据，并对所述已知异常数据进行聚类分析获得所述已知异常数据对应的目标异常中心；
第二表征模块，用于对所述目标异常中心进行频次分析，获得所述目标异常中心对应的第二表征值；
隶属处理模块，用于计算所述第一表征值属于所述第二表征值时对应的隶属参数，并根据所述隶属参数确定所述初始异常数据对应的目标隶属矩阵；
数据获取模块，用于根据所述目标隶属矩阵确定所述初始异常数据对应的目标异常类型，并获得所述目标异常类型对应的目标已知数据；
因子确定模块，用于计算所述初始异常数据和所述目标已知数据之间的近邻密度，并根据所述近邻密度确定所述初始异常数据对应的异常因子；
异常确定模块，用于根据所述异常因子确定所述初始异常数据对应的目标异常数据。
第三方面，本发明实施例还提供一种终端设备，所述终端设备包括处理器、存储器、存储在所述存储器上并可被所述处理器执行的计算机程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，其中所述计算机程序被所述处理器执行时，实现如本发明说明书提供的任一项管道检测数据分析方法的步骤。
第四方面，本发明实施例还提供一种存储介质，用于计算机可读存储，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如本发明说明书提供的任一项管道检测数据分析方法的步骤。
本发明实施例提供一种管道检测数据分析方法以及相关装置，该方法包括：获得管道对应的初始检测数据，并对初始检测数据进行分层处理，获得初始检测数据对应的目标分层区间；对目标分层区间进行异常识别，获得目标分层区间对应的初始异常数据；对初始异常数据在初始检测数据中进行频次分析，获得初始异常数据对应的第一表征值；获得管道的已知异常类型对应的已知异常数据，并对已知异常数据进行聚类分析获得已知异常数据对应的目标异常中心；对目标异常中心进行频次分析，获得目标异常中心对应的第二表征值；计算第一表征值属于第二表征值时对应的隶属参数，并根据隶属参数确定初始异常数据对应的目标隶属矩阵；根据目标隶属矩阵确定初始异常数据对应的目标异常类型，并获得目标异常类型对应的目标已知数据；计算初始异常数据和目标已知数据之间的近邻密度，并根据近邻密度确定初始异常数据对应的异常因子；进而根据异常因子确定初始异常数据对应的目标异常数据。该方法可以对大量的检测数据快速进行分析，并且降低了管道检测的错误率和漏报率，提高管道检测的准确度和稳定性，保障管道运行的安全性和可靠性，降低管道维护的成本和时间，并提高管道管理的效率和智能化水平。
本申请通过对管道检测数据进行分层处理，可以将原始数据进行抽象和归纳，降低数据处理任务的复杂度和难度。同时，使用聚类分析等方法也可以将数据分组，进一步减少数据量，提高数据处理效率。进而通过计算第一表征值和第二表征值等指标，可以提取重要的特征信息，识别数据的潜在规律和异常特征。使用隶属参数等方法可以根据数据之间的关系进行推理和分类，从而提高数据处理的准确性和效率。最后通过使用近邻密度和异常因子等方法，可以更好地识别和区分异常数据点和正常数据点，减少误报和漏报的情况，提高数据处理的准确率和可信度。解决了传统的管道检测方法主要依赖设备检测，但设备检测的数据量庞大、数据复杂度高，人工无法对大量的检测数据进行及时、准确的分析的问题。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种管道检测数据分析方法的流程示意图；
图2为本发明实施例提供的一种管道检测数据分析装置的模块结构示意图；
图3为本发明实施例提供的一种终端设备的结构示意框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
本发明实施例提供一种管道检测数据分析方法以及相关装置。其中，该管道检测数据分析方法可应用于终端设备中，该终端设备可以平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备。该终端设备可以为服务器，也可以为服务器集群。
下面结合附图，对本发明的一些实施例作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参照图1，图1为本发明实施例提供的一种管道检测数据分析方法的流程示意图。
如图1所示，该管道检测数据分析方法包括步骤S101至步骤S109。
步骤S101、获得所述管道对应的初始检测数据，并对所述初始检测数据进行分层处理，获得所述初始检测数据对应的目标分层区间。
示例性地，通过传感器、监测设备或其他方式获取与管道相关的初始检测数据，其中，传感器可以是温度传感器、压力传感器、流量传感器等等，进而采用统计学方法、数据挖掘算法或机器学习技术，如聚类分析、K-means算法等根据所需的分层精度和目标，将初始检测数据按照不同的属性或特征进行分组或分层处理，从而获得初始检测数据对应的目标分层区间。
可选地，初始检测数据可以通过人工利用监测设备进行探测而获得的，也可以是根据传感器进行实时检测获得的，本申请不做具体限制，用户可根据实际需求自行选择。
在一些实施方式中，所述对所述初始检测数据进行分层处理，获得所述初始检测数据对应的目标分层区间，包括：对所述初始检测数据进行升序排列，获得所述初始检测数据对应的排列检测数据；对所述排列检测数据进行相邻数据间差值计算，获得所述排列检测数据对应的初始相邻差值；对所述初始相邻差值进行标准化处理，获得对应的目标相邻差值；从所述目标相邻差值中确定分层点，并根据所述分层点进行初步分层，得到初步分层区间；根据所述目标相邻差值对所述初步分层区间进行调整，当所述初步分层区间中对应的分层数据满足预设条件时，则将调整后的所述初步分层区间确定为目标分层区间。
示例性地，使用排序算法如快速排序、归并排序等将初始检测数据按照数值大小进行升序排列，获得初始检测数据对应的排列检测数据，排列检测数据即将初始检测数据按照升序排列的数据序列，进而对排列检测结果计算相邻数据之间的差值，形成相邻差值的数据序列，获得排列检测数据对应的初始相邻差值。
示例性地，假设排列检测数据包括n个数据，则可获得n-1个初始相邻差值，进而计算初始相邻差值之间的平均值和标准差，进而将初始相邻差值中每个差值减去平均值后除以标准差，从而实现对初始相邻差值中每个差值进行标准化处理，获得目标相邻差值，进而利用目标相邻差值表示初始相邻差值偏离平均值的程度，从而为后续识别初始相邻差值的异常值提供支撑。
示例性地，首先以首个非零的初始相邻差值作为比较基准，为防止初始相邻差值过大导致判决条件失效，在进行比较前需要对首个非零的初始相邻差值进行异常值判断，当首个非零的初始相邻差值对应的目标相邻差值的绝对值小于预设阈值时，则可将首个非零的初始相邻差值作为判断标准进而进入下一步处理，否则表明该差值为异常值，需顺次对下一个非零的初始相邻差值进行判断，直至非零的初始相邻差值可以作为比较基准。
示例性地，根据比较基准进行初步分层进而得到初步分层区间，进而对初步分层区间中进行异常检测，若初步分层区间中存在异常差值，则将其多处的位置作为一个分层点进行区间划分，然后与前文正常差值为基准与该分层点依次对比，直至出现下一个分层点，从而根据多个分层点对初步分层区间再次进行切割，从而获得目标分层区间。
通过该方法，将分布相近的数据划分在同一区间内，各区间则相距较远；与此同时，还可将异常数据与正常数据划分开，避免了将异常值与正常值划分在同一区间后，正常数据被压缩而无法发挥作用的可能。
具体地，对初始检测数据的排序、差值计算和标准化处理，使数据更容易理解和分析；将数据分层，使得异常识别更加精确和有效；调整分层区间，可以根据实际情况优化数据的分布和异常点的检测。通过这些步骤，可以为后续的异常识别和数据分析提供更好的数据基础，帮助发现和解决管道运行中的异常情况，提高安全性和可靠性。
步骤S102、对所述目标分层区间进行异常识别，获得所述目标分层区间对应的初始异常数据。
示例性地，统计方法（如均值偏差法、箱线图法）、机器学习方法（如聚类方法、支持向量机）、时间序列分析方法（如ARIMA模型、季节分解法）等对目标分层区间中的数据进行异常检测，获得异常识别结果，进而根据异常识别结果，将被识别为异常的数据提取出来，形成初始异常数据。
在一些实施方式中，所述对所述目标分层区间进行异常识别，获得所述目标分层区间对应的初始异常数据，包括：获得所述目标分层区间对应的第一数量和所述初始检测数据对应的第二数量，并计算所述第一数量和所述第二数量之间的比值，获得数量比值；计算所述目标分层区间中相邻分层区间之间的分层差值，根据所述数量比值和所述分层差值确定所述目标分层区间对应的分位数；根据所述分位数对所述目标分层区间进行量化处理，获得所述目标分层区间对应的初始量化结果；对所述初始量化结果进行异常识别，获得所述初始量化结果中的量化异常数据，并根据所述量化异常数据确定所述目标分层区间对应的初始异常数据；其中，根据下列公式获得所述初始量化结果：
；
表示第i个所述目标分层区间对应的所述分位数，表示第i个所述目标分层区间对应的第j个分层数据，表示所述第i个所述目标分层区间对应的第j个分层数据对应的所述初始量化结果，表示第i个所述目标分层区间对应的数量比值，表示第i+1个所述目标分层区间对应的数量比值，表示第i+1个所述目标分层区间对应的所述分位数。
示例性地，统计目标分层区间中各个子区间中包含的初始检测数据对应的数量，也即获得第一数量，并统计初始检测数据对应的数据数量，也即获得第二数量，进而计算第一数量和第二数量之间的比值获得数量比值。其中，目标分层区间包括多个子区间，则分别计算每个子区间对应的数量比值，从而获得多个子区间对应的多个数量比值。
示例性地，目标分层区间包括多个子区间，则计算目标分层区间中相邻分层区间之间的分层差值，也即计算相邻子区间中初始检测数据对应地数据差值，从而获得相邻分层区间之间的分层差值。
示例性地，获得目标分层区间中子区间对应地数量比值、该子区间对应地相邻分层区间对应地数值比值，以及该子区间与相邻分层区间之间地分层差值，从而根据子区间对应地数量比值、该子区间对应地相邻分层区间对应地数值比值和分层差值确定目标分层区间对应的分位数。
示例性地，根据分位数对目标分层区间进行量化处理，获得目标分层区间对应的初始量化结果；其中根据下列公式获得初始量化结果：
；
表示第i个目标分层区间对应的分位数，也即第i个子区间对应地分位数，表示第i个目标分层区间对应的第j个分层数据，表示第i个目标分层区间对应的第j个分层数据对应的初始量化结果，表示第i个目标分层区间对应的数量比值，表示第i+1个目标分层区间对应的数量比值，表示第i+1个目标分层区间对应的分位数，也即第i+1个子区间对应地分位数。
示例性地，在获得初始量化结果后，利用异常识别模型对初始量化结果进行异常识别，从而获得初始量化结果中的量化异常数据，并根据初始量化结果和初始检测数据之间地连接关系，结合量化异常数据确定目标分层区间对应的初始异常数据，其中，初始量化结果和初始检测数据之间地连接关系是指初始检测数据经过上述处理后得到初始检测数据对应的初始量化结果之间地连接关系。
本申请对目标分层区间根据分层无量纲化方法的原理进行处理，提高了初始量化结果分布的均衡性，提高识别初始异常数据提供了良好地支撑。
步骤S103、对所述初始异常数据在所述初始检测数据中进行频次分析，获得所述初始异常数据对应的第一表征值。
示例性地，对于每个初始异常数据，遍历初始检测数据，计算该异常数据在初始检测数据中出现的次数，从而确定初始异常数据在初始检测数据中出现的频次，获得频次分析结果，进而根据频次分析结果，选择频次最高的初始异常数据作为第一表征值。
在一些实施方式中，所述对所述初始异常数据在所述初始检测数据中进行频次分析，获得所述初始异常数据对应的第一表征值，包括：获得预设范围内所述初始异常数据对应的关联异常数据，并获得所述关联异常数据在所述初始检测数据中对应的第一频率；获得历史检测数据对应的第一检测数量与所述历史检测数据包含所述关联异常数据对应的第二检测数量之间的比值结果，并根据所述比值结果确定所述关联异常数据对应的第二频率；根据所述第一频率和所述第二频率确定所述初始异常数据对应的所述第一表征值。
示例性地，根据设定的阈值或其他规则，确定与初始异常数据关联的异常数据，进而获得预设范围内初始异常数据对应的关联异常数据，进而对于每个关联异常数据，遍历初始检测数据，计算该关联异常数据在初始检测数据中出现的第一频率。获得历史检测数据对应的第一检测数量与历史检测数据包含关联异常数据对应的第二检测数量之间的比值结果。从而计算第一检测数量与第二检测数量之间的比值结果，得到关联异常数据的第二频率。进而根据第一频率和第二频率的乘积结果确定为初始异常数据的第一表征值。
具体地，本申请基于关联异常数据的分析，得到更全面和准确的异常情况，并且利用历史检测数据来评估和验证异常数据的重要性和普遍性，进而实现对初始异常数据更精准地表达。
步骤S104、获得所述管道的已知异常类型对应的已知异常数据，并对所述已知异常数据进行聚类分析获得所述已知异常数据对应的目标异常中心。
示例性地，对管道的历史检测数据进行人工标注，获得历史检测数据中包含的异常类型，并将该包含的异常类型确定为已知异常类型，并从历史检测数据中的标注信息中获得已知异常数据对应的已知异常数据。
示例性地，选择合适的聚类算法，对已知异常类型对应地已知异常数据进行聚类分析。常用的聚类算法包括K-Means、DBSCAN、层次聚类等。进而对于每个已知异常类型进行聚类并计算聚类中心，从而得到已知异常数据对应的目标异常中心。
具体地，对已知异常数据进行分析找出共性，有助于快速识别管道中出现的异常情况。可以通过目标异常中心的计算，获得已知异常类型对应的典型范例，并作为判断管道异常类型的参照依据。
步骤S105、对所述目标异常中心进行频次分析，获得所述目标异常中心对应的第二表征值。
示例性地，获得预设范围内目标异常中心对应的关联数据，并获得关联数据在初始检测数据中对应的第三频率；获得历史检测数据对应的第三检测数量与历史检测数据包含关联数据对应的第四检测数量之间的比值结果，并根据比值结果确定关联数据对应的第四频率；根据第三频率和第四频率之间地乘积确定目标异常中心对应的第二表征值。
步骤S106、计算所述第一表征值属于所述第二表征值时对应的隶属参数，并根据所述隶属参数确定所述初始异常数据对应的目标隶属矩阵。
示例性地，使用模糊逻辑方法，例如模糊集合、模糊推理等技术，计算第一表征值与第二表征值之间的隶属关系。隶属参数表示了第一表征值对于第二表征值的归属程度，通常是一个介于0和1之间的值。对于每个初始异常数据，根据隶属参数，构建一个目标隶属矩阵。目标隶属矩阵可以表示每个初始异常数据对于不同表征值的隶属程度。
在一些实施方式中，所述计算所述第一表征值属于所述第二表征值时对应的隶属参数，包括：计算所述第一表征值和所述第二表征值之间的表征距离；根据所述表征距离获得所述初始异常数据与所述已知异常数据之间的数据相似度；根据所述数据相似度确定所述隶属参数；其中，根据下列公式确定所述隶属参数：
；
表示第i个所述初始异常数据与第j个所述已知异常数据之间的所述隶属参数，c表示所述已知异常类型对应的数量，表示第i个所述初始异常数据与所述第j个所述已知异常数据之间的数据相似度，表示第k个所述已知异常数据与所述第j个所述已知异常数据之间的数据相似度，m表示模糊系数，用来调节模糊程度的参数。
示例性地，使用适当的距离度量方法，例如欧氏距离、曼哈顿距离、余弦相似度等，计算第一表征值和第二表征值之间的距离。通过适当的转换方法，将表征距离转化为数据相似度。常用的方法包括将距离值归一化到[0,1]之间，或者采用其它合适的转换函数进行转换。从而根据下列公式在获得数据相似度后获得隶属参数：
；
表示第i个所述初始异常数据与第j个所述已知异常数据之间的所述隶属参数，c表示所述已知异常类型对应的数量，表示第i个所述初始异常数据与所述第j个所述已知异常数据之间的数据相似度，表示第k个所述已知异常数据与所述第j个所述已知异常数据之间的数据相似度，m表示模糊系数，用来调节模糊程度的参数。
具体地，通过计算表征距离，可以量化第一表征值和第二表征值之间的差异程度。这有助于识别和理解不同表征值之间的差异，从而提供关于数据的更全面和准确的认识。其次，通过将差异程度转化为数据相似度，可以将差异程度转化为更直接和可理解的指标，进而有助于评估初始异常数据与已知异常数据之间的相似程度，并提供一种相对量化的度量方法。最后，通过根据数据相似度确定隶属参数，可以将数据相似度转化为初始异常数据与已知异常数据之间的隶属程度。这有助于识别和量化初始异常数据的重要性和相关性，从而为异常数据识别提供依据。
步骤S107、根据所述目标隶属矩阵确定所述初始异常数据对应的目标异常类型，并获得所述目标异常类型对应的目标已知数据。
示例性地，将目标隶属矩阵中初始异常数据的隶属程度最高时对应的异常类型作为目标异常类型。进而通过对目标异常类型进行分析和匹配，获得目标异常类型对应的目标已知数据。
在一些实施方式中，所述根据所述目标隶属矩阵确定所述初始异常数据对应的目标异常类型，包括：获得所述目标隶属矩阵对应的变化值，当所述变化值大于或者等于预设阈值时，根据所述隶属参数更新所述已知异常数据对应的所述目标异常中心；根据更新后的所述目标异常中心重新计算与所述初始异常数据之间的所述隶属参数，并根据所述隶属参数更新所述目标隶属矩阵，获得更新后的所述目标隶属矩阵；根据更新后的所述目标隶属矩阵更新所述变化值，并将所述变化值与所述预设阈值进行比较，直至所述变化值小于所述预设阈值，进而获得所述初始异常数据对应的目标异常类型。
示例性地，重新获得目标异常中心，使得重新获得的目标异常中心与当前的目标异常中心不一致，从而通过比较当前的目标异常中心对应的当前目标隶属矩阵与重新获得的目标异常中心对应的之前目标隶属矩阵，计算出当前目标隶属矩阵与之前目标隶属矩阵之间的变化值。当变化值大于或等于预设阈值时，根据隶属参数更新已知异常数据对应的目标异常中心，其中，根据下列公式实现根据隶属参数更新已知异常数据对应的目标异常中心：
；
其中，表示第j个已知异常类型对应的已知异常数据更新后对应的目标异常中心，N表示已知异常类型对应的数量，m表示模糊系数，用来调节模糊程度的参数，表示第i个已知异常数据，表示第i个已知异常数据与第j个已知异常类型对应的目标异常中心之间的距离信息。
示例性地，根据更新后的目标异常中心重新计算与初始异常数据之间的隶属参数，并根据隶属参数更新目标隶属矩阵，获得更新后的目标隶属矩阵：使用重新计算的目标异常中心，计算初始异常数据与目标异常中心之间的隶属参数，进而根据得到的隶属参数，更新目标隶属矩阵的值，以获得更新后的目标隶属矩阵。
示例性地，根据更新后的目标隶属矩阵更新变化值，并将变化值与预设阈值进行比较，直至变化值小于预设阈值，进而获得初始异常数据对应的目标异常类型：循环执行上述步骤，直至变化值小于预设阈值，即目标异常中心和目标隶属矩阵稳定下来。当变化值小于阈值时，可以确定初始异常数据对应的目标异常类型。
具体地，根据目标隶属矩阵的变化值，可以判断目标异常分类的稳定性和收敛情况。当变化值超过预设阈值时，可以触发更新操作。通过根据隶属参数更新已知异常数据对应的目标异常中心，可以动态地调整异常中心以更好地代表异常类型。重新计算隶属参数和更新目标隶属矩阵，通过迭代过程，使目标异常中心和隶属矩阵逐渐稳定和收敛到最优解。通过比较变化值和预设阈值，可以确定目标异常类型与初始异常数据之间的关系，最终得到初始异常数据对应的目标异常类型。
步骤S108、计算所述初始异常数据和所述目标已知数据之间的近邻密度，并根据所述近邻密度确定所述初始异常数据对应的异常因子。
示例性地，基于距离的密度估计方法（如K近邻法），来评估初始异常数据与目标已知数据之间的近邻关系，进而将初始异常数据与目标已知数据进行比较，从而计算出初始异常数据在目标已知数据中的近邻密度。
示例性地，获得初始异常数据对应地近邻密度后，则将目标异常类型对应的目标已知数据之间的平均近邻密度与初始异常数据与目标已知数据之间近邻密度之比的平均值，确定为异常因子。如果初始异常数据的异常因子小于l，则证明该初始异常数据所处的位置比较稠密，附近的样本点数量较多，该点属于正常点。如果该点的异常因子大于1，则与目标异常类型对应的目标已知数据相比较，该点的局部密度较低，相对近邻节点结构异常，属于异常点。
在一些实施方式中，所述计算所述初始异常数据和所述目标已知数据之间的近邻密度，包括：计算所述初始异常数据和所述目标已知数据中每个已知数据之间的直接距离，并计算所述初始异常数据在所述目标已知数据中对应的近邻距离；获得所述目标已知数据中每个已知数据之间对应的所述直接距离与所述近邻距离之间对应的最大距离；对所述最大距离进行求和获得求和结果，进而对所述求和结果求取倒数获得所述近邻密度。
示例性地，利用距离计算公式计算初始异常数据和目标已知数据中每个已知数据之间的直接距离，并利用K近邻距离计算初始异常数据和目标已知数据中每个已知数据之间的近邻距离，进而计算所得地直接距离与近邻距离之间地最大值，并确定为最大距离。
示例性地，初始异常数据地近邻密度用于衡量初始异常数据在所属的目标异常类型内对应的目标已知数据对应的疏密程度。获得初始异常数据中各个异常数据对应的最大距离进行求和，获得求和结果，进而利用求和结果进行均值求解，从而对均值求解结果求取倒数，从而获得初始异常数据对应的近邻密度。
具体地，确定初始异常数据对应地近邻密度，则近邻密度较高的区域可能表示正常数据点的聚集，而近邻密度较低的区域可能表示异常数据点的存在，进而为后续帮助识别异常数据点提供支撑，也可以更好地理解异常数据点与整体数据分布的关系。
步骤S109、根据所述异常因子确定所述初始异常数据对应的目标异常数据。
示例性地，在计算异常因子时，需要预设一个阈值来判断哪些初始异常数据可以被判定为目标异常数据。阈值的选择需要根据具体问题和数据特征来调整，可以基于数据分布、聚类情况、统计分析等多方面考虑。进而将计算得到的异常因子与预设的异常阈值进行比较，可以确定哪些初始异常数据可以被判定为目标异常数据。
请参阅图2，图2为本申请实施例提供的一种管道检测数据分析装置200，该管道检测数据分析装置200包括数据处理模块201、异常识别模块202、第一表征模块203、中心获取模块204、第二表征模块205、隶属处理模块206、数据获取模块207、因子确定模块208、异常确定模块209，其中，数据处理模块201，用于获得所述管道对应的初始检测数据，并对所述初始检测数据进行分层处理，获得所述初始检测数据对应的目标分层区间；异常识别模块202，用于对所述目标分层区间进行异常识别，获得所述目标分层区间对应的初始异常数据；第一表征模块203，用于对所述初始异常数据在所述初始检测数据中进行频次分析，获得所述初始异常数据对应的第一表征值；中心获取模块204，用于获得所述管道的已知异常类型对应的已知异常数据，并对所述已知异常数据进行聚类分析获得所述已知异常数据对应的目标异常中心；第二表征模块205，用于对所述目标异常中心进行频次分析，获得所述目标异常中心对应的第二表征值；隶属处理模块206，用于计算所述第一表征值属于所述第二表征值时对应的隶属参数，并根据所述隶属参数确定所述初始异常数据对应的目标隶属矩阵；数据获取模块207，用于根据所述目标隶属矩阵确定所述初始异常数据对应的目标异常类型，并获得所述目标异常类型对应的目标已知数据；因子确定模块208，用于计算所述初始异常数据和所述目标已知数据之间的近邻密度，并根据所述近邻密度确定所述初始异常数据对应的异常因子；异常确定模块209，用于根据所述异常因子确定所述初始异常数据对应的目标异常数据。
在一些实施方式中，数据处理模块201在所述对所述初始检测数据进行分层处理，获得所述初始检测数据对应的目标分层区间过程中，执行：
对所述初始检测数据进行升序排列，获得所述初始检测数据对应的排列检测数据；
对所述排列检测数据进行相邻数据间差值计算，获得所述排列检测数据对应的初始相邻差值；
对所述初始相邻差值进行标准化处理，获得对应的目标相邻差值；
从所述目标相邻差值中确定分层点，并根据所述分层点进行初步分层，得到初步分层区间；
根据所述目标相邻差值对所述初步分层区间进行调整，当所述初步分层区间中对应的分层数据满足预设条件时，则将调整后的所述初步分层区间确定为目标分层区间。
在一些实施方式中，异常识别模块202在所述对所述目标分层区间进行异常识别，获得所述目标分层区间对应的初始异常数据过程中，执行：
获得所述目标分层区间对应的第一数量和所述初始检测数据对应的第二数量，并计算所述第一数量和所述第二数量之间的比值，获得数量比值；
计算所述目标分层区间中相邻分层区间之间的分层差值，
根据所述数量比值和所述分层差值确定所述目标分层区间对应的分位数；
根据所述分位数对所述目标分层区间进行量化处理，获得所述目标分层区间对应的初始量化结果；
对所述初始量化结果进行异常识别，获得所述初始量化结果中的量化异常数据，并根据所述量化异常数据确定所述目标分层区间对应的初始异常数据；
其中，根据下列公式获得所述初始量化结果：
；
表示第i个目标分层区间对应的分位数，也即第i个子区间对应地分位数，表示第i个目标分层区间对应的第j个分层数据，表示第i个目标分层区间对应的第j个分层数据对应的初始量化结果，表示第i个目标分层区间对应的数量比值，表示第i+1个目标分层区间对应的数量比值，表示第i+1个目标分层区间对应的分位数，也即第i+1个子区间对应地分位数。
在一些实施方式中，第一表征模块203在所述对所述初始异常数据在所述初始检测数据中进行频次分析，获得所述初始异常数据对应的第一表征值过程中，执行：
获得预设范围内所述初始异常数据对应的关联异常数据，并获得所述关联异常数据在所述初始检测数据中对应的第一频率；
获得历史检测数据对应的第一检测数量与所述历史检测数据包含所述关联异常数据对应的第二检测数量之间的比值结果，并根据所述比值结果确定所述关联异常数据对应的第二频率；
根据所述第一频率和所述第二频率确定所述初始异常数据对应的所述第一表征值。
在一些实施方式中，隶属处理模块206在所述计算所述第一表征值属于所述第二表征值时对应的隶属参数过程中，执行：
计算所述第一表征值和所述第二表征值之间的表征距离；
根据所述表征距离获得所述初始异常数据与所述已知异常数据之间的数据相似度；
根据所述数据相似度确定所述隶属参数；
其中，根据下列公式确定所述隶属参数：
；
表示第i个所述初始异常数据与第j个所述已知异常数据之间的所述隶属参数，c表示所述已知异常类型对应的数量，表示第i个所述初始异常数据与所述第j个所述已知异常数据之间的数据相似度，表示第k个所述已知异常数据与所述第j个所述已知异常数据之间的数据相似度，m表示模糊系数，用来调节模糊程度的参数。
在一些实施方式中，数据获取模块207在所述根据所述目标隶属矩阵确定所述初始异常数据对应的目标异常类型过程中，执行：
获得所述目标隶属矩阵对应的变化值，当所述变化值大于或者等于预设阈值时，根据所述隶属参数更新所述已知异常数据对应的所述目标异常中心；
根据更新后的所述目标异常中心重新计算与所述初始异常数据之间的所述隶属参数，并根据所述隶属参数更新所述目标隶属矩阵，获得更新后的所述目标隶属矩阵；
根据更新后的所述目标隶属矩阵更新所述变化值，并将所述变化值与所述预设阈值进行比较，直至所述变化值小于所述预设阈值，进而获得所述初始异常数据对应的目标异常类型。
在一些实施方式中，因子确定模块208在所述计算所述初始异常数据和所述目标已知数据之间的近邻密度过程中，执行：
计算所述初始异常数据和所述目标已知数据中每个已知数据之间的直接距离，并计算所述初始异常数据在所述目标已知数据中对应的近邻距离；
获得所述目标已知数据中每个已知数据之间对应的所述直接距离与所述近邻距离之间对应的最大距离；
对所述最大距离进行求和获得求和结果，进而对所述求和结果求取倒数获得所述近邻密度。
在一些实施方式中，管道检测数据分析装置200可应用于终端设备。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的管道检测数据分析装置200的具体工作过程，可以参考前述管道检测数据分析方法实施例中的对应过程，在此不再赘述。
请参阅图3，图3为本发明实施例提供的一种终端设备的结构示意性框图。
如图3所示，终端设备300包括处理器301和存储器302，处理器301和存储器302通过总线303连接，该总线比如为I2C（Inter-integrated Circuit）总线。
具体地，处理器301用于提供计算和控制能力，支撑整个终端设备的运行。处理器301可以是中央处理单元 (Central Processing Unit，CPU)，该处理器301还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
具体地，存储器302可以是Flash芯片、只读存储器 (ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本发明实施例方案相关的部分结构的框图，并不构成对本发明实施例方案所应用于其上的终端设备的限定，具体的服务器可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器用于运行存储在存储器中的计算机程序，并在执行所述计算机程序时实现本发明实施例提供的任意一种所述的管道检测数据分析方法。
在一实施例中，所述处理器用于运行存储在存储器中的计算机程序，并在执行所述计算机程序时实现如下步骤：
获得所述管道对应的初始检测数据，并对所述初始检测数据进行分层处理，获得所述初始检测数据对应的目标分层区间；
对所述目标分层区间进行异常识别，获得所述目标分层区间对应的初始异常数据；
对所述初始异常数据在所述初始检测数据中进行频次分析，获得所述初始异常数据对应的第一表征值；
获得所述管道的已知异常类型对应的已知异常数据，并对所述已知异常数据进行聚类分析获得所述已知异常数据对应的目标异常中心；
对所述目标异常中心进行频次分析，获得所述目标异常中心对应的第二表征值；
计算所述第一表征值属于所述第二表征值时对应的隶属参数，并根据所述隶属参数确定所述初始异常数据对应的目标隶属矩阵；
根据所述目标隶属矩阵确定所述初始异常数据对应的目标异常类型，并获得所述目标异常类型对应的目标已知数据；
计算所述初始异常数据和所述目标已知数据之间的近邻密度，并根据所述近邻密度确定所述初始异常数据对应的异常因子；
根据所述异常因子确定所述初始异常数据对应的目标异常数据。
在一些实施方式中，处理器301在所述对所述初始检测数据进行分层处理，获得所述初始检测数据对应的目标分层区间过程中，执行：
对所述初始检测数据进行升序排列，获得所述初始检测数据对应的排列检测数据；
对所述排列检测数据进行相邻数据间差值计算，获得所述排列检测数据对应的初始相邻差值；
对所述初始相邻差值进行标准化处理，获得对应的目标相邻差值；
从所述目标相邻差值中确定分层点，并根据所述分层点进行初步分层，得到初步分层区间；
根据所述目标相邻差值对所述初步分层区间进行调整，当所述初步分层区间中对应的分层数据满足预设条件时，则将调整后的所述初步分层区间确定为目标分层区间。
在一些实施方式中，处理器301在所述对所述目标分层区间进行异常识别，获得所述目标分层区间对应的初始异常数据过程中，执行：
获得所述目标分层区间对应的第一数量和所述初始检测数据对应的第二数量，并计算所述第一数量和所述第二数量之间的比值，获得数量比值；
计算所述目标分层区间中相邻分层区间之间的分层差值，
根据所述数量比值和所述分层差值确定所述目标分层区间对应的分位数；
根据所述分位数对所述目标分层区间进行量化处理，获得所述目标分层区间对应的初始量化结果；
对所述初始量化结果进行异常识别，获得所述初始量化结果中的量化异常数据，并根据所述量化异常数据确定所述目标分层区间对应的初始异常数据；
其中，根据下列公式获得所述初始量化结果：
；
表示第i个目标分层区间对应的分位数，也即第i个子区间对应地分位数，表示第i个目标分层区间对应的第j个分层数据，表示第i个目标分层区间对应的第j个分层数据对应的初始量化结果，表示第i个目标分层区间对应的数量比值，表示第i+1个目标分层区间对应的数量比值，表示第i+1个目标分层区间对应的分位数，也即第i+1个子区间对应地分位数。
在一些实施方式中，处理器301在所述对所述初始异常数据在所述初始检测数据中进行频次分析，获得所述初始异常数据对应的第一表征值过程中，执行：
获得预设范围内所述初始异常数据对应的关联异常数据，并获得所述关联异常数据在所述初始检测数据中对应的第一频率；
获得历史检测数据对应的第一检测数量与所述历史检测数据包含所述关联异常数据对应的第二检测数量之间的比值结果，并根据所述比值结果确定所述关联异常数据对应的第二频率；
根据所述第一频率和所述第二频率确定所述初始异常数据对应的所述第一表征值。
在一些实施方式中，处理器301在所述计算所述第一表征值属于所述第二表征值时对应的隶属参数过程中，执行：
计算所述第一表征值和所述第二表征值之间的表征距离；
根据所述表征距离获得所述初始异常数据与所述已知异常数据之间的数据相似度；
根据所述数据相似度确定所述隶属参数；
其中，根据下列公式确定所述隶属参数：
；
表示第i个所述初始异常数据与第j个所述已知异常数据之间的所述隶属参数，c表示所述已知异常类型对应的数量，表示第i个所述初始异常数据与所述第j个所述已知异常数据之间的数据相似度，表示第k个所述已知异常数据与所述第j个所述已知异常数据之间的数据相似度，m表示模糊系数，用来调节模糊程度的参数。
在一些实施方式中，处理器301在所述根据所述目标隶属矩阵确定所述初始异常数据对应的目标异常类型过程中，执行：
获得所述目标隶属矩阵对应的变化值，当所述变化值大于或者等于预设阈值时，根据所述隶属参数更新所述已知异常数据对应的所述目标异常中心；
根据更新后的所述目标异常中心重新计算与所述初始异常数据之间的所述隶属参数，并根据所述隶属参数更新所述目标隶属矩阵，获得更新后的所述目标隶属矩阵；
根据更新后的所述目标隶属矩阵更新所述变化值，并将所述变化值与所述预设阈值进行比较，直至所述变化值小于所述预设阈值，进而获得所述初始异常数据对应的目标异常类型。
在一些实施方式中，处理器301在所述计算所述初始异常数据和所述目标已知数据之间的近邻密度过程中，执行：
计算所述初始异常数据和所述目标已知数据中每个已知数据之间的直接距离，并计算所述初始异常数据在所述目标已知数据中对应的近邻距离；
获得所述目标已知数据中每个已知数据之间对应的所述直接距离与所述近邻距离之间对应的最大距离；
对所述最大距离进行求和获得求和结果，进而对所述求和结果求取倒数获得所述近邻密度。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的终端设备的具体工作过程，可以参考前述管道检测数据分析方法实施例中的对应过程，在此不再赘述。
本发明实施例还提供一种存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如本发明实施例说明书提供的任一项管道检测数据分析方法的步骤。
其中，所述存储介质可以是前述实施例所述的终端设备的内部存储单元，例如所述终端设备的硬盘或内存。所述存储介质也可以是所述终端设备的外部存储设备，例如所述终端设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施例中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质（或非暂时性介质）和通信介质（或暂时性介质）。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息（诸如计算机可读指令、数据结构、程序模块或其他数据）的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
应当理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。以上所述，仅为本发明的具体实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种管道检测数据分析方法，其特征在于，所述方法包括：
获得所述管道对应的初始检测数据，并对所述初始检测数据进行分层处理，获得所述初始检测数据对应的目标分层区间；
对所述目标分层区间进行异常识别，获得所述目标分层区间对应的初始异常数据；
对所述初始异常数据在所述初始检测数据中进行频次分析，获得所述初始异常数据对应的第一表征值；
获得所述管道的已知异常类型对应的已知异常数据，并对所述已知异常数据进行聚类分析获得所述已知异常数据对应的目标异常中心；
对所述目标异常中心进行频次分析，获得所述目标异常中心对应的第二表征值；
计算所述第一表征值属于所述第二表征值时对应的隶属参数，并根据所述隶属参数确定所述初始异常数据对应的目标隶属矩阵；
根据所述目标隶属矩阵确定所述初始异常数据对应的目标异常类型，并获得所述目标异常类型对应的目标已知数据；
计算所述初始异常数据和所述目标已知数据之间的近邻密度，并根据所述近邻密度确定所述初始异常数据对应的异常因子；
根据所述异常因子确定所述初始异常数据对应的目标异常数据；
所述对所述目标分层区间进行异常识别，获得所述目标分层区间对应的初始异常数据，包括：
获得所述目标分层区间对应的第一数量和所述初始检测数据对应的第二数量，并计算所述第一数量和所述第二数量之间的比值，获得数量比值；
计算所述目标分层区间中相邻分层区间之间的分层差值，
根据所述数量比值和所述分层差值确定所述目标分层区间对应的分位数；
根据所述分位数对所述目标分层区间进行量化处理，获得所述目标分层区间对应的初始量化结果；
对所述初始量化结果进行异常识别，获得所述初始量化结果中的量化异常数据，并根据所述量化异常数据确定所述目标分层区间对应的初始异常数据；
其中，根据下列公式获得所述初始量化结果：
fi表示第i个所述目标分层区间对应的所述分位数，xij表示第i个所述目标分层区间对应的第j个分层数据，表示所述第i个所述目标分层区间对应的第j个分层数据对应的所述初始量化结果，ai表示第i个所述目标分层区间对应的数量比值，ai+1表示第i+1个所述目标分层区间对应的数量比值，fi+1表示第i+1个所述目标分层区间对应的所述分位数；
所述对所述初始异常数据在所述初始检测数据中进行频次分析，获得所述初始异常数据对应的第一表征值，包括：
获得预设范围内所述初始异常数据对应的关联异常数据，并获得所述关联异常数据在所述初始检测数据中对应的第一频率；
获得历史检测数据对应的第一检测数量与所述历史检测数据包含所述关联异常数据对应的第二检测数量之间的比值结果，并根据所述比值结果确定所述关联异常数据对应的第二频率；
根据所述第一频率和所述第二频率确定所述初始异常数据对应的所述第一表征值；
所述计算所述第一表征值属于所述第二表征值时对应的隶属参数，包括：
计算所述第一表征值和所述第二表征值之间的表征距离；
根据所述表征距离获得所述初始异常数据与所述已知异常数据之间的数据相似度；
根据所述数据相似度确定所述隶属参数；
其中，根据下列公式确定所述隶属参数：
sij表示第i个所述初始异常数据与第j个所述已知异常数据之间的所述隶属参数，c表示所述已知异常类型对应的数量，simij表示第i个所述初始异常数据与所述第j个所述已知异常数据之间的数据相似度，simkj表示第k个所述已知异常数据与所述第j个所述已知异常数据之间的数据相似度，m表示模糊系数，用来调节模糊程度的参数。
2.根据权利要求1所述的方法，其特征在于，所述对所述初始检测数据进行分层处理，获得所述初始检测数据对应的目标分层区间，包括：
对所述初始检测数据进行升序排列，获得所述初始检测数据对应的排列检测数据；
对所述排列检测数据进行相邻数据间差值计算，获得所述排列检测数据对应的初始相邻差值；
对所述初始相邻差值进行标准化处理，获得对应的目标相邻差值；
从所述目标相邻差值中确定分层点，并根据所述分层点进行初步分层，得到初步分层区间；
根据所述目标相邻差值对所述初步分层区间进行调整，当所述初步分层区间中对应的分层数据满足预设条件时，则将调整后的所述初步分层区间确定为目标分层区间。
3.根据权利要求1所述的方法，其特征在于，所述根据所述目标隶属矩阵确定所述初始异常数据对应的目标异常类型，包括：
获得所述目标隶属矩阵对应的变化值，当所述变化值大于或者等于预设阈值时，根据所述隶属参数更新所述已知异常数据对应的所述目标异常中心；
根据更新后的所述目标异常中心重新计算与所述初始异常数据之间的所述隶属参数，并根据所述隶属参数更新所述目标隶属矩阵，获得更新后的所述目标隶属矩阵；
根据更新后的所述目标隶属矩阵更新所述变化值，并将所述变化值与所述预设阈值进行比较，直至所述变化值小于所述预设阈值，进而获得所述初始异常数据对应的目标异常类型。
4.根据权利要求1中所述的方法，其特征在于，所述计算所述初始异常数据和所述目标已知数据之间的近邻密度，包括：
计算所述初始异常数据和所述目标已知数据中每个已知数据之间的直接距离，并计算所述初始异常数据在所述目标已知数据中对应的近邻距离；
获得所述目标已知数据中每个已知数据之间对应的所述直接距离与所述近邻距离之间对应的最大距离；
对所述最大距离进行求和获得求和结果，进而对所述求和结果求取倒数获得所述近邻密度。
5.一种管道检测数据分析装置，其特征在于，包括：
数据处理模块，用于获得所述管道对应的初始检测数据，并对所述初始检测数据进行分层处理，获得所述初始检测数据对应的目标分层区间；
异常识别模块，用于对所述目标分层区间进行异常识别，获得所述目标分层区间对应的初始异常数据；
第一表征模块，用于对所述初始异常数据在所述初始检测数据中进行频次分析，获得所述初始异常数据对应的第一表征值；
中心获取模块，用于获得所述管道的已知异常类型对应的已知异常数据，并对所述已知异常数据进行聚类分析获得所述已知异常数据对应的目标异常中心；
第二表征模块，用于对所述目标异常中心进行频次分析，获得所述目标异常中心对应的第二表征值；
隶属处理模块，用于计算所述第一表征值属于所述第二表征值时对应的隶属参数，并根据所述隶属参数确定所述初始异常数据对应的目标隶属矩阵；
数据获取模块，用于根据所述目标隶属矩阵确定所述初始异常数据对应的目标异常类型，并获得所述目标异常类型对应的目标已知数据；
因子确定模块，用于计算所述初始异常数据和所述目标已知数据之间的近邻密度，并根据所述近邻密度确定所述初始异常数据对应的异常因子；
异常确定模块，用于根据所述异常因子确定所述初始异常数据对应的目标异常数据；
所述异常识别模块在对所述目标分层区间进行异常识别，获得所述目标分层区间对应的初始异常数据的过程中，执行：
计算所述目标分层区间中相邻分层区间之间的分层差值，
根据数量比值和所述分层差值确定所述目标分层区间对应的分位数；
根据所述分位数对所述目标分层区间进行量化处理，获得所述目标分层区间对应的初始量化结果；
对所述初始量化结果进行异常识别，获得所述初始量化结果中的量化异常数据，并根据所述量化异常数据确定所述目标分层区间对应的初始异常数据；
其中，根据下列公式获得所述初始量化结果：
fi表示第i个所述目标分层区间对应的所述分位数，xij表示第i个所述目标分层区间对应的第j个分层数据，表示所述第i个所述目标分层区间对应的第j个分层数据对应的所述初始量化结果，ai表示第i个所述目标分层区间对应的数量比值，ai+1表示第i+1个所述目标分层区间对应的数量比值，fi+1表示第i+1个所述目标分层区间对应的所述分位数；
所述第一表征模块在对所述初始异常数据在所述初始检测数据中进行频次分析，获得所述初始异常数据对应的第一表征值过程中，执行：
获得预设范围内所述初始异常数据对应的关联异常数据，并获得所述关联异常数据在所述初始检测数据中对应的第一频率；
获得历史检测数据对应的第一检测数量与所述历史检测数据包含所述关联异常数据对应的第二检测数量之间的比值结果，并根据所述比值结果确定所述关联异常数据对应的第二频率；
根据所述第一频率和所述第二频率确定所述初始异常数据对应的所述第一表征值；
所述隶属处理模块在计算所述第一表征值属于所述第二表征值时对应的隶属参数过程过程中，执行：
计算所述第一表征值和所述第二表征值之间的表征距离；
根据所述表征距离获得所述初始异常数据与所述已知异常数据之间的数据相似度；
根据所述数据相似度确定所述隶属参数；
其中，根据下列公式确定所述隶属参数：
sij表示第i个所述初始异常数据与第j个所述已知异常数据之间的所述隶属参数，c表示所述已知异常类型对应的数量，simij表示第i个所述初始异常数据与所述第j个所述已知异常数据之间的数据相似度，simkj表示第k个所述已知异常数据与所述第j个所述已知异常数据之间的数据相似度，m表示模糊系数，用来调节模糊程度的参数。
6.一种终端设备，其特征在于，所述终端设备包括处理器、存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至4中任一项所述的管道检测数据分析方法。
7.一种计算机存储介质，用于计算机存储，其特征在于，所述计算机存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1至4中任一项所述的管道检测数据分析方法的步骤。
CN202410076693.6A 2024-01-19 2024-01-19 一种管道检测数据分析方法以及相关装置 Active CN117591836B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410076693.6A CN117591836B (zh) 2024-01-19 2024-01-19 一种管道检测数据分析方法以及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410076693.6A CN117591836B (zh) 2024-01-19 2024-01-19 一种管道检测数据分析方法以及相关装置

Publications (2)

Publication Number Publication Date
CN117591836A CN117591836A (zh) 2024-02-23
CN117591836B true CN117591836B (zh) 2024-04-16

Family

ID=89922371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410076693.6A Active CN117591836B (zh) 2024-01-19 2024-01-19 一种管道检测数据分析方法以及相关装置

Country Status (1)

Country Link
CN (1) CN117591836B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118248169B (zh) * 2024-05-20 2024-08-16 广东力创信息技术有限公司 一种基于音频数据的燃气泄漏识别方法以及相关装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488242A (zh) * 2020-12-18 2021-03-12 深圳供电局有限公司 电力计量终端异常检测方法、装置、计算机设备和介质
CN117056864A (zh) * 2023-10-11 2023-11-14 广东力创信息技术有限公司 一种管道漏损预警方法及系统
CN117193088A (zh) * 2023-09-22 2023-12-08 珠海臻图信息技术有限公司 一种工业设备监控方法、装置以及服务器

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664990B (zh) * 2018-03-29 2020-09-18 清华大学 综合熵方法和密度聚类方法的窃电检测方法及装置
US11194691B2 (en) * 2019-05-31 2021-12-07 Gurucul Solutions, Llc Anomaly detection using deep learning models

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488242A (zh) * 2020-12-18 2021-03-12 深圳供电局有限公司 电力计量终端异常检测方法、装置、计算机设备和介质
CN117193088A (zh) * 2023-09-22 2023-12-08 珠海臻图信息技术有限公司 一种工业设备监控方法、装置以及服务器
CN117056864A (zh) * 2023-10-11 2023-11-14 广东力创信息技术有限公司 一种管道漏损预警方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
异常值检测在成品油零售客户消费行为分析中的应用;隋毅;冯伟荣;;石油规划设计;20200720(04);第42-45页 *

Also Published As

Publication number Publication date
CN117591836A (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
CN109542740B (zh) 异常检测方法及装置
CN117591836B (zh) 一种管道检测数据分析方法以及相关装置
CN112488242B (zh) 电力计量终端异常检测方法、装置、计算机设备和介质
EP2963552B1 (en) System analysis device and system analysis method
CN107679734A (zh) 一种用于无标签数据分类预测的方法和系统
CN110858072B (zh) 设备运行状态的确定方法及装置
CN114997256A (zh) 一种风电场异常功率的检测方法、设备及存储介质
CN116167010B (zh) 具有智能迁移学习能力的电力系统异常事件快速识别方法
CN116066343A (zh) 一种输油泵机组故障模型的智能预警方法及系统
CN111709668A (zh) 基于数据挖掘技术的电网设备参数风险识别方法及装置
CN112949735A (zh) 一种基于离群数据挖掘的液态危化品挥发浓度异常发现方法
CN118211882B (zh) 一种基于大数据的产品质量管理系统及方法
CN113723861A (zh) 异常用电行为检测方法、装置、计算机设备和存储介质
CN115659411A (zh) 数据分析的方法和装置
CN111027841A (zh) 一种基于梯度提升决策树的低压台区线损计算方法
CN112882898B (zh) 基于大数据日志分析的异常检测方法、系统、设备及介质
CN114610572A (zh) 服务异常检测方法、装置、计算机设备和存储介质
CN112950405B (zh) 基于电力数据的企业用电情况的监测方法及装置
CN117154716B (zh) 一种分布式电源接入配电网的规划方法及系统
CN117591860A (zh) 一种数据异常检测方法及装置
CN115204323B (zh) 基于种子多特征的聚类及综合的方法、系统、设备及介质
CN113987240B (zh) 一种基于知识图谱的海关检样溯源方法及系统
CN116126807A (zh) 一种日志分析方法及相关装置
CN111695829B (zh) 一种指标波动周期计算方法、装置、存储介质及电子设备
CN116956089A (zh) 电器设备温度异常检测模型训练方法以及检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant