CN110486630B - 天然气管道腐蚀缺陷典型特征提取方法 - Google Patents
天然气管道腐蚀缺陷典型特征提取方法 Download PDFInfo
- Publication number
- CN110486630B CN110486630B CN201910769250.4A CN201910769250A CN110486630B CN 110486630 B CN110486630 B CN 110486630B CN 201910769250 A CN201910769250 A CN 201910769250A CN 110486630 B CN110486630 B CN 110486630B
- Authority
- CN
- China
- Prior art keywords
- data
- defects
- distribution
- defect
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F17—STORING OR DISTRIBUTING GASES OR LIQUIDS
- F17D—PIPE-LINE SYSTEMS; PIPE-LINES
- F17D5/00—Protection or supervision of installations
- F17D5/02—Preventing, monitoring, or locating loss
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N27/00—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means
- G01N27/72—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating magnetic variables
- G01N27/82—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating magnetic variables for investigating the presence of flaws
- G01N27/83—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating magnetic variables for investigating the presence of flaws by investigating stray magnetic fields
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
Abstract
本发明公开了一种天然气管道腐蚀缺陷典型特征提取方法,属于油气管道技术领域。其包括以下步骤:采集含缺陷管道的设计参数和输送介质信息;采用漏磁检测器对管道缺陷进行检测;对腐蚀性缺陷数据作预分类处理;基于最小二乘法和分布假设对预分类数据进行曲线拟合,得到缺陷尺寸变量服从的最优分布类型以及概率密度函数;采用一种基于统计的离群值检测方法和轮盘赌算法思想改进的聚类算法对缺陷数据进行聚类分析,获取缺陷典型尺寸、环向分布方位特征值。本发明改善了初始聚类中心选取方式,降低了离群值对聚类分析的不利影响,为从大量检测数据中提取腐蚀缺陷分布规律、典型尺寸以及环向分布方位特征提供了一套科学、系统的方法。
Description
技术领域
本发明属于油气管道技术领域,尤其涉及一种天然气管道腐蚀缺陷典型特征提取方法。
背景技术
在油气管道行业,腐蚀是威胁天然气输送管道本体安全的主要因素之一,可导致管道表面形成大量的减薄、裂纹等腐蚀缺陷,为油气管道的安全运行埋下隐患。定期对油气管道金属表面进行检测、评估,并制定合理的修复措施,已成为油气管道行业应对管道腐蚀威胁、降低腐蚀失效风险的重要技术手段。
金属管道的缺陷检测通常会产生大量的检测数据,包括各种缺陷的类型、尺寸等信息。腐蚀缺陷的尺寸、分布特征是开展管道完整性评价、剩余寿命预测的重要依据。行业内针对缺陷特征的提取技术多集中在检测器的信号特征处理,缺陷的尺寸、位置信息提取等领域,而缺陷检测数据的后处理方式却未引起足够的重视,导致一些蕴含在检测数据中的有价值的信息未能有效、全面地识别,这在一定程度上造成了检测数据资源的浪费,影响了检测技术的应用效果。由于不同牌号的金属管道在不同的腐蚀环境作用下形成的缺陷大小、分布特点存在差异,如何将不同管道、不同腐蚀环境下产生的腐蚀数据资源进行整合,并从庞大的检测数据中高效、合理地挖掘出缺陷典型的尺寸和分布特征,对于提升检测技术的应用价值和管道安全评价质量尤为重要。但目前公开的文献中尚缺乏天然气管道腐蚀缺陷典型尺寸和分布特征的提取方法。
k-means聚类分析方法是一种基于划分的方法,其思想是按照某个特定标准把数据集分割成k类,并使同类中的数据体现的特征尽可能相似,不同类中的数据体现的特征差异性更为明显,聚类的结果由k个中心值表示。由于其在处理大量数据时伸缩性强、效率较高,在工业数据处理中应用广泛,但其对于腐蚀缺陷特征提取而言仍然存在以下缺点:一是该聚类算法采用随机方式选取初始聚类中心,易导致算法陷入局部最优解,进而影响聚类结果的稳定性和准确性;二是该聚类算法的结果易受腐蚀数据离群值干扰,导致聚类特征值偏离真实的聚类中心,难以反映缺陷特征的典型性。因此,需要对聚类法的初值选取方式进行改进,并降低离群值对聚类结果的不利影响。
发明内容
本发明是为了解决聚类分析易受离群值、初始聚类中心干扰,现有检测数据处理方法无法高效、合理地提取管道腐蚀缺陷典型特征等问题,而提出一种考虑天然气管道设计压力、牌号以及天然气组成信息,并基于统计的离群值检测方法和轮盘赌算法思想改进的聚类算法,从大量的检测数据中提取腐蚀缺陷典型特征的方法。
本发明是通过以下技术方案实现的:
上述的一种天然气管道腐蚀缺陷典型特征提取方法,包括以下步骤:
步骤1,采集含缺陷管道的设计参数和输送介质信息;
步骤2,采用漏磁检测器对管道缺陷进行检测,从检测数据中筛选腐蚀性缺陷数据;
步骤3,考虑腐蚀缺陷形成的天然气管道设计压力、牌号以及天然气组成信息,对步骤2筛选的腐蚀性缺陷数据作预分类处理;
步骤4,基于最小二乘法和分布假设对步骤3中的预分类数据进行曲线拟合,得到缺陷尺寸变量服从的最优分布类型以及概率密度函数;
步骤5,采用一种基于统计的离群值检测方法和轮盘赌算法思想改进的聚类算法对缺陷样本数据进行聚类分析,获得缺陷的尺寸大小特征、环向分布方位特征值。
所述的一种天然气管道腐蚀缺陷典型特征提取方法,其中,腐蚀缺陷典型特征包括:1)缺陷尺寸变量的分布规律;2)缺陷的典型尺寸特征、环向分布方位特征值。
步骤1中,所述的采集缺陷管道的设计参数和输送介质信息,包括天然气管道的规格、设计压力、牌号、天然气组成信息。
步骤2中,所述的筛选腐蚀性缺陷数据,应除去漏磁检测技术可识别的焊缝、机械加工缺陷、施工缺陷、管道安装和连接件等非腐蚀性特征数据信息,筛选的腐蚀性缺陷数据应包括腐蚀缺陷的长度、宽度、深度尺寸以及环向分布方位数据。
步骤3中,所述的对腐蚀性缺陷数据作预分类处理方法包括如下步骤:
S31,根据步骤1采集的管道设计参数,将相同设计压力的管道产生的检测数据归为同一类;
S32,在S31分类结果的基础上,根据国家标准《钢铁产品牌号表示方法》(GB/T221-2008)中规定的金属钢号将同类钢号管道产生的检测数据归为同一类;
S33,在S32分类结果的基础上,根据管道输送气是否含H2S、CO2将上述数据进一步分为酸性气体和非酸性气体管道检测数据;
S34,在S33分类结果的基础上,根据输送介质是否含有液态烃、游离水和压缩蒸汽将上述数据进一步划分为湿性天然气和干性天然气管道检测数据。
步骤4中,所述的基于最小二乘法和分布假设对步骤3中的预分类数据进行曲线拟合,其中腐蚀缺陷尺寸变量的分布类型假定为正态分布、对数正态分布、威布尔分布,采用相关性系数R2为拟合优度的评价指标,相关性系数越接近1的拟合函数为缺陷尺寸的最优分布类型,并确定其概率密度函数。
步骤5中,所述的采用一种基于统计的离群值检测方法和轮盘赌算法思想改进的聚类算法对样本进行聚类分析,获得缺陷的典型尺寸、环向分布方位特征值,其流程如图2所示,包括以下步骤:
S51,基于统计的离群值检测方法剔除步骤3预分类数据中的离群值,获得m个缺陷的长度、宽度、深度、环向分布方位数据集,作为初始聚类样本,所述的离群值检测、剔除方法如下:
S511,采用步骤4中获得的最优概率密度函数,确定其均值μ和标准差σ;
S512,对于正态分布采用3σ准则,剔除分布在(0,μ+3σ)范围外的样本数据;对于对数正态分布、威布尔分布,均剔除分布在(0,μ+3σ)范围外的样本数据;获得m个缺陷的长度、宽度、深度、环向分布方位数据;
S52,根据特征提取的数量需求确定预期的分类数目K,并从S51获得的初始聚类样本中选择中位数作为第1个初始聚类中心C1;
S53,基于轮盘赌算法思想确定剩余K-1个初始聚类中心C2,…,CK,其步骤如下:
S531,计算每个样本与当前聚类中心之间的最短距离D(xi),其计算公式见(1)式:
式中,xi为步骤S51中获得的数据集中的第i个样本数据,Cre为当前距离样本xi最近的聚类中心;
S532,计算每个样本被选为下一个聚类中心的概率P(xi),其计算式见(2)式:
S533,根据P(xi)计算各个缺陷样本被选为聚类中心的累积概率Q(xi),计算式见(3)式:
S534,模拟轮盘在[0,1]区间上产生一个随机数a,将各个样本的累积概率Q(xi)与a逐一比较,若a<Q1,则选择第1个样本为下一初始聚类中心;否则,当且仅当Q(xi-1)<a≤Q(xi)时选择第i个样本作为下一初始聚类中心;
S535,重复步骤S531~S534,直到完成K-1个聚类中心的选择;
S54,计算当前类别中各个样本xi与K个聚类中心(C1,C2,…,CK)的距离,将该样本归入到与之最近的那一类中;
S55,重新计算各个类别的中心Ck和误差平方和函数E,其中E为判断聚类中心位置是否发生变化的目标函数,Ck和E采用式(4)和式(5)计算:
S56,重复执行S54~S56,直到误差平方和函数E收敛,即新的聚类中心与上一次聚类中心的位置不再发生变化,最终获得的K个聚类中心值。
本发明由于采取以上技术方案,可以达到以下有益效果:
(1)本发明方法提供的一种天然气管道腐蚀缺陷典型特征提取方法,能够结合管道材料特性、输气介质特点,整合不同管道、不同腐蚀环境产生的腐蚀数据资源,为腐蚀缺陷尺寸特征、环向分布方位特征的提取以及其他研究提供了数据基础;
(2)本发明方法提供的一种天然气管道腐蚀缺陷典型特征提取方法,基于最小二乘法获取大量腐蚀缺陷尺寸、方位变量的概率分布特征,避免了传统假设缺乏大数据支撑的问题,为管道完整性评价提供了准确、可靠的依据;
(3)本发明方法提供的一种天然气管道腐蚀缺陷典型特征提取方法,采用统计方法剔除离群值,弥补了传统k-means聚类方法受离群值干扰大的劣势;基于轮盘赌算法思想改进了聚类分析方法初始聚类中心的选取方式,可减少聚类分析陷入局部最优解的风险,使提取的腐蚀缺陷特征更具有典型性;
(4)本发明方法提供的腐蚀缺陷特征提取流程简便、数据处理效率高,为金属管道的缺陷检测技术应用、管道完整性评价提供了新的技术方法。
附图说明
图1是本发明一种天然气管道腐蚀缺陷典型特征提取方法步骤图。
图2是本发明实施例中基于3种分布类型的管道腐蚀缺陷长度尺寸拟合曲线图。
图3是本发明一种基于统计的离群值检测方法和轮盘赌算法思想改进的聚类分析流程图。
图4是本发明实施例中管道腐蚀缺陷长度尺寸离群值剔除效果对比图。
图5是本发明实施例中管道腐蚀缺陷长度尺寸不同类别中的缺陷数量占比图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合本实施例中的附图,对本发明作进一步说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如图1所示,一种天然气管道腐蚀缺陷典型特征提取方法,包括以下步骤:
步骤1,采集含缺陷管道的设计参数和输送介质信息;
步骤2,采用漏磁检测器对管道缺陷进行检测,从检测数据中筛选腐蚀性缺陷数据;
步骤3,考虑腐蚀缺陷形成的天然气管道设计压力、牌号以及天然气组成信息,对步骤2筛选的腐蚀性缺陷数据作预分类处理;
步骤4,基于最小二乘法和分布假设对步骤3中的预分类数据进行曲线拟合,得到缺陷尺寸变量服从的最优分布类型以及概率密度函数;
步骤5,采用一种基于统计的离群值检测方法和轮盘赌算法思想改进的聚类算法对缺陷样本数据进行聚类分析,获得缺陷的尺寸大小特征、环向分布方位特征值。
具体实施例
某地区的4条天然气管道进行了缺陷检测,其中P1~P2管道牌号为X52,管径规格630×8.0mm,630×9.0mm,设计压力均为4MPa,管道输送介质为干性天然气,不含H2S和CO2;其中P3管道牌号为16Mn,管径规格559×8.0mm,设计压力为6.6MPa,管道输送介质为含H2S的干性天然气;其中P4管道牌号为20#,管径规格为325×8.0mm,设计压力为6.4MPa,管道输送介质为含H2S的湿性天然气。现根据本发明方法从上述管道的检测数据中提取管道内部的腐蚀缺陷典型尺寸和环向分布方位特征,要求尺寸和环向分布方位特征数量为3类,实施步骤如下:
步骤1,采集含缺陷管道的设计参数和输送介质信息,包括天然气管道的规格、设计压力、牌号、天然气组成信息,结果如表1所示:
表1含缺陷管道的设计参数和输送介质信息采集结果
步骤2,采用漏磁检测器对管道缺陷进行检测,从检测数据中筛选腐蚀性缺陷数据,包括腐蚀缺陷的长度、宽度、深度尺寸以及环向分布方位信息;所述的腐蚀缺陷数据的筛选除去漏磁检测技术可识别的焊缝、机械加工缺陷、施工缺陷、管道安装和连接件等非腐蚀性特征数据信息,结果如表2所示:
表2管道检测数据筛选结果
*注:每个腐蚀性金属缺陷均含有缺陷的长度、宽度、深度尺寸以及环向分布方位信息
步骤3,考虑腐蚀缺陷形成的天然气管道设计压力、牌号以及天然气组成信息,对步骤2筛选的腐蚀性缺陷数据作预分类处理,包括如下步骤:S31,根据步骤1采集的管道设计参数,将相同设计压力的管道产生的检测数据归为同一类;S32,在S31分类结果的基础上,根据国家标准《钢铁产品牌号表示方法》(GB/T221-2008)中规定的金属钢号将同类钢号管道产生的检测数据归为同一类;S33,在S32分类结果的基础上,根据管道输送气是否含H2S、CO2将上述数据进一步分为酸性气体和非酸性气体管道检测数据;S34,在S33分类结果的基础上,根据输送介质是否含有液态烃、游离水和压缩蒸汽将上述数据进一步划分为湿性天然气和干性天然气管道检测数据;本实施例中天然气管道检测数据的预分类结果如表3所示:
表3管道检测数据的预分类结果
由于本实施例中不同类别管道腐蚀缺陷典型尺寸和环向分布方位特征的提取方法、技术方案相同,为避免赘述,下面仅以A类管道腐的蚀缺陷长度典型尺寸和环向分布方位特征提取为例进行说明:
步骤4中,基于最小二乘法和正态分布、对数正态分布、威布尔分布3种假设对A类管道腐蚀缺陷长度尺寸进行曲线拟合,结果如图2所示;经拟合得到的三种分布的相关性系数R2分别为0.996,0.986,0.014,确定A类管道腐蚀缺陷长度尺寸变量服从的最优分布类型为对数正态分布,确定其最优概率密度函数为:式中x为腐蚀缺陷长度尺寸变量,mm;
步骤5,采用一种基于统计的离群值检测方法和轮盘赌算法思想改进的聚类算法对样本进行聚类分析,获得缺陷的典型尺寸、环向分布方位特征值,其流程如图3所示,包括以下步骤:
S51,基于统计的离群值检测方法剔除步骤3预分类数据中的离群值,步骤如下:S511)采用步骤4中获得的最优概率密度函数,确定其均值μ为18.94mm,标准差σ为98.75mm;S512)缺陷长度尺寸变量满足的最优分布类型为对数正态分布,剔除分布在(0,315)范围外的长度尺寸数据753个,共获得126712个腐蚀缺陷长度尺寸作为初始聚类分析样本;剔除前后效果对比如图4所示,该样本数据中的离群值分布在315mm~1656mm之间,占总量不足1‰,剔除后的数据出保留了原始样本数据的99%以上;
S52,从S51中获得的缺陷长度尺寸初始聚类分析样本中选择中位数19mm作为第一初始聚类中心C1,由于缺陷长度尺寸特征提取的数量在3类左右,因此预期的聚类数目K值取3;
S53,基于轮盘赌算法思想确定剩余2个初始聚类中心C2,C3,其步骤如下:
S531,计算每个样本与当前聚类中心之间的最短距离D(xi);
S532,计算每个样本数据被选为下一个聚类中心的概率P(xi);
S533,根据P(xi)计算各个腐蚀缺陷尺寸样本数据被选为聚类中心的累积概率Q(xi);
由于本实施例样本数据多达12余万组数据,无法一一列举说明,为便于说明本技术方案的原理,下面仅选择“2,145,46,19,15,283,96,315”8个样本数据为例说明基于轮盘赌算法思想确定初始聚类中心的过程,S531~S533的计算结果如表4所示:
表4基于轮盘赌算法思想确定第二个初始聚类中心的计算结果
S534,模拟轮盘在[0,1]区间上产生一个随机数0.473,经比较,Q(15)<0.473<Q(283),故选择283mm作为上述样本的第二个聚类中心C2;应注意283mm仅为列举样本的第2个初始聚类中心,并非实施例中的126712个腐蚀缺陷长度尺寸的第2个初始聚类中心;
由表4可知,距离第一初始聚类中心19mm越远的样本被选为下一聚类中心的概率更大,在上述8个样本数据中,315mm被选为下一聚类中心的概率最大;该方法有效改善了初始聚类中心的选取方式,距离当前聚类中心越远的样本在[0,1]概率区间内占有的概率更大,选为下一聚类中心的概率更大,因此被划分到聚类迭代中的样本数据范围更广,有效减少了传统k-means聚类方法陷入局部最优解的风险。
S535,重复步骤S531~S534,直到完成剩余2个聚类中心的选择:
基于轮盘赌算法思想对S501中获得的126712个腐蚀缺陷长度尺寸进行初始聚类中心的选择,最终确定C2为173mm、C3为296mm;
S54,计算当前数据集中各个样本xi与3个聚类中心(19mm,173mm,296mm)的距离,将该样本归入到与之最近的那一类中;
S55,重新计算各个类别的中心Ck和误差平方和函数E,其中E为判断聚类中心位置是否发生变化的目标函数;
S56,重复执行S54~S56,直到误差平方和函数E收敛,即新的聚类中心与上一次聚类中心的位置不再发生变化,迭代过程误差平方和函数E的计算结果如表5所示:
表5聚类分析迭代过程
经过15次迭代,误差平方和函数E为0,聚类中心的位置不再发生改变,最终获得A类管道腐蚀缺陷长度尺寸数据的3个聚类中心值为:19.36mm,79.18mm,191.04mm,它们即为A类管道腐蚀缺陷长度尺寸3个典型尺寸;基于同样的原理,本发明方法可获得A类管道腐蚀缺陷的宽度、深度、环向分布方位的典型特征如表6所示:
表6A类管道腐蚀缺陷的典型尺寸特征、环向分布方位特征
B、C类管道腐蚀缺陷典型尺寸和分布特征提取的技术方案与上述过程相同,不再赘述。本发明方法实现了从输送非酸性-干性天然气的设计压力为4.0MPa的X52钢中提取腐蚀缺陷的典型尺寸和分布特征,管道腐蚀缺陷长度尺寸不同类别中的缺陷数量分布如图5所示,结合表6可知,有83.1%腐蚀缺陷长度尺寸集中在19.36mm两侧,有13.63%和3.27%的腐蚀缺陷长度尺寸分布在79.18mm和191.04mm附近;通过本发明方法获得的三个特征值既体现出3个类别数据之间的差异,又反映了同一类别中的缺陷长度尺寸的普遍水平,具有较好的代表性和典型性;此外,缺陷宽度、深度以及环向分布方位特征值均体现出了上述特点。为分析改进后的算法的聚类分析质量,采用未作改进前的基础算法——k-means聚类算法对腐蚀缺陷长度尺寸进行聚类分析,两者聚类分析差异对比见表7所示:
表7采用改进后的聚类算法与改进前k-means聚类算法的聚类分析对比
由表7可知,改进前的k-means聚类算法因采用随机方式选取初始聚类中心,初始聚类中心、最终聚类中心均受到离群值干扰,导致最终获取的特征值总体偏大于改进后的聚类算法,特别地,第3类腐蚀缺陷长度尺寸的初始聚类中心和最终聚类中心均处于离群值分布区间(315mm~1656mm)内;从数量分布上看,改进前的k-means聚类算法获得的第3类特腐蚀缺陷长度尺寸样本量与总样本量的占比不足1%,且该类中大部分样本为离群值,显然难以体现特征值的典型性,而改进后的聚类分析方法则有效改善了这一问题,降低了离群值对聚类质量的不利影响。
本发明提供了一种考虑天然气管道设计压力、牌号以及天然气组成信息,并基于统计的离群值检测方法和轮盘赌算法思想改进的聚类算法,从大量的检测数据中提取腐蚀缺陷尺寸分布规律、典型尺寸以及环向分布方位特征的方法。该方法降低了离群值对聚类结果的不利影响,改进了初始聚类中心选取方式,减小了传统k-means聚类方法陷入局部最优解的风险;能够整合不同管道、不同腐蚀环境产生的腐蚀数据资源,实现了高效、合理地提取管道腐蚀缺陷典型尺寸和分布特征。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (2)
1.一种天然气管道腐蚀缺陷典型特征提取方法,其特征是,包括以下步骤:
步骤1,采集含缺陷管道的设计参数和输送介质信息,包括天然气管道的规格、设计压力、牌号、天然气组成信息;
步骤2,采用漏磁检测器对管道缺陷进行检测,从检测数据中筛选腐蚀性缺陷数据,筛选的腐蚀性缺陷数据应包括腐蚀缺陷的长度、宽度、深度尺寸以及环向分布方位数据;
步骤3,考虑腐蚀缺陷形成的天然气管道设计压力、牌号以及天然气组成信息,对步骤2筛选的腐蚀性缺陷数据作预分类处理;
步骤4,基于最小二乘法和分布假设对步骤3中的预分类数据进行曲线拟合,得到缺陷尺寸变量服从的最优分布类型以及概率密度函数;
步骤5,采用一种基于统计的离群值检测方法和轮盘赌算法思想改进的聚类算法对缺陷样本数据进行聚类分析,获得缺陷的尺寸大小特征、环向分布方位特征值。
2.如权利要求1所述的一种天然气管道腐蚀缺陷典型特征提取方法,其特征是,所述步骤5中一种基于统计的离群值检测方法和轮盘赌算法思想改进的聚类算法包括如下步骤:
S51,基于统计的离群值检测方法剔除步骤3预分类数据中的离群值,获得m个缺陷的长度、宽度、深度、环向分布方位数据集,以此作为缺陷尺寸初始聚类分析样本,离群值检测、剔除方法如下:
S511,采用步骤4中获得的最优概率密度函数,确定其均值μ和标准差σ;
S512,对于正态分布采用3σ准则,剔除分布在(0,μ+3σ)范围外的样本数据;对于对数正态分布、威布尔分布,均剔除分布在(0,μ+3σ)范围外的样本数据;获得m个缺陷的长度、宽度、深度、环向分布方位数据;
S52,根据特征提取的数量需求确定预期的分类数目K,并从S51获得的初始聚类样本中选择中位数作为第1个初始聚类中心C1;
S53,基于轮盘赌算法思想确定剩余K-1个初始聚类中心C2,…,CK,其步骤如下:
S531,计算每个样本与当前聚类中心之间的最短距离D(xi),其计算公式见(1)式:
式中,xi为步骤S51获得的初始聚类分析样本中的第i个样本数据,Cre为当前距离数据样本xi最近的聚类中心值;
S532,计算每个样本数据被选为下一个聚类中心的概率P(xi),其计算式见(2)式:
S533,根据P(xi)计算各个腐蚀缺陷尺寸样本数据被选为聚类中心的累积概率Q(xi),其计算式见(3)式:
S534,模拟轮盘在[0,1]区间上产生一个随机数a,将各个样本的累积概率Q(xi)与a逐一比较,若a<Q1,则选择第1个样本为下一初始聚类中心;否则,当且仅当Q(xi-1)<a≤Q(xi)时选择第i个样本作为下一初始聚类中心;
S535,重复步骤S531~S534,直到完成K-1个聚类中心的选择;
S54,计算当前类别中各个样本xi与K个聚类中心(C1,C2,…,CK)的距离,将该样本归入到与之最近的那一类中;
S55,重新计算各个类别的中心Ck和误差平方和函数E,其中E为判断聚类中心位置是否发生变化的目标函数,Ck和E采用式(4)和式(5)计算:
S56,重复执行S54~S56,直到误差平方和函数E收敛,即新的聚类中心与上一次聚类中心的位置不再发生变化,最终获得的K个聚类中心值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910769250.4A CN110486630B (zh) | 2019-08-20 | 2019-08-20 | 天然气管道腐蚀缺陷典型特征提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910769250.4A CN110486630B (zh) | 2019-08-20 | 2019-08-20 | 天然气管道腐蚀缺陷典型特征提取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110486630A CN110486630A (zh) | 2019-11-22 |
CN110486630B true CN110486630B (zh) | 2020-10-30 |
Family
ID=68552243
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910769250.4A Active CN110486630B (zh) | 2019-08-20 | 2019-08-20 | 天然气管道腐蚀缺陷典型特征提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110486630B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113393412A (zh) * | 2020-02-27 | 2021-09-14 | 中国石油天然气股份有限公司 | 确定输气管道内腐蚀缺陷的特征值的方法及装置 |
CN113640077A (zh) * | 2020-05-11 | 2021-11-12 | 中国石油天然气股份有限公司 | 确定检测样本的方法和装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107590516A (zh) * | 2017-09-16 | 2018-01-16 | 电子科技大学 | 基于光纤传感数据挖掘的输气管道泄漏检测识别方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102930291B (zh) * | 2012-10-15 | 2015-04-08 | 西安电子科技大学 | 用于图形图像的k近邻局部搜索遗传自动聚类方法 |
CN103033567B (zh) * | 2012-12-31 | 2015-03-04 | 江苏大学 | 一种基于导波的管道缺陷信号识别方法 |
CN103439247A (zh) * | 2013-09-04 | 2013-12-11 | 南京佳业检测工程有限公司 | 天然气管道在线腐蚀监测装置 |
WO2015160927A1 (en) * | 2014-04-15 | 2015-10-22 | The University Of Akron | Methods for evaluation and estimation of external corrosion damage on buried pipelines |
CN104102726A (zh) * | 2014-07-22 | 2014-10-15 | 南昌航空大学 | 基于层次聚类的改进k均值聚类算法 |
CN108492046A (zh) * | 2018-03-30 | 2018-09-04 | 南宁学院 | 一种基于模糊聚类分析的压力管道风险评价方法 |
CN109886433A (zh) * | 2019-02-01 | 2019-06-14 | 常州大学 | 智能识别城市燃气管道缺陷的方法 |
CN110046651B (zh) * | 2019-03-15 | 2021-01-19 | 西安交通大学 | 一种基于监测数据多属性特征融合的管道状态识别方法 |
-
2019
- 2019-08-20 CN CN201910769250.4A patent/CN110486630B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107590516A (zh) * | 2017-09-16 | 2018-01-16 | 电子科技大学 | 基于光纤传感数据挖掘的输气管道泄漏检测识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110486630A (zh) | 2019-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2750516C1 (ru) | Способ многопозиционного определения положения утечек в трубопроводе на основе улучшенной вмд | |
CN110486630B (zh) | 天然气管道腐蚀缺陷典型特征提取方法 | |
Sharifzadeh et al. | Detection of steel defect using the image processing algorithms | |
CN106870957B (zh) | 一种管道缺陷漏磁信号的特征提取方法 | |
CN108711145B (zh) | 一种基于三维图像分析的腐蚀形貌描述解释方法 | |
CA2777939C (en) | Method of modeling steam generator and processing steam generator tube data of nuclear power plant | |
CN103343885B (zh) | 管道漏磁检测在线数据压缩方法 | |
CN107941900B (zh) | 一种钢质弯管缺陷非接触式检测方法 | |
CN113343402B (zh) | 基于多层卷积稀疏编码的管道腐蚀等级评估方法 | |
CN108562639B (zh) | 一种埋地钢质管道全生命周期缺陷外检测方法 | |
Saranya et al. | Comparison of segmentation techniques for detection of defects in non-destructive testing images | |
CN106778515B (zh) | 一种法兰轴向漏磁阵列信号自动识别方法 | |
CN115841491A (zh) | 一种多孔金属材料的质量检测方法 | |
CN114972353A (zh) | 一种金属高压特种管件质量评估方法及系统 | |
Dia et al. | Unsupervised Neural Network for Data-Driven Corrosion Detection of a Mining Pipeline | |
CN114186644A (zh) | 一种基于优化随机森林的缺陷报告严重程度预测方法 | |
CN113484417A (zh) | 基于小波变换的管道腐蚀检测方法 | |
CN109597961B (zh) | 基于污区判别准确度的不同伞型绝缘子积污比优化算法 | |
Godoi et al. | Pattern recognition in the automatic inspection of flaws in polymeric insulators | |
Lu et al. | Extracting defect signal from the MFL signal of seamless pipeline | |
Skow et al. | In-line inspection tool performance evaluation using field excavation data | |
CN113034502B (zh) | 一种排水管道缺陷去冗余方法 | |
CN117474910B (zh) | 一种用于电机质量的视觉检测方法 | |
CN109839334B (zh) | 面向单线圈磁感应式磨粒探测传感器的信号识别方法 | |
Dotson et al. | Judge Me by My Size, Do You? How Reliable Are Dent Assessments Based on ILI Data? |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |