CN115130048A - 一种管道腐蚀检测数据的降维采集方法 - Google Patents
一种管道腐蚀检测数据的降维采集方法 Download PDFInfo
- Publication number
- CN115130048A CN115130048A CN202211046510.3A CN202211046510A CN115130048A CN 115130048 A CN115130048 A CN 115130048A CN 202211046510 A CN202211046510 A CN 202211046510A CN 115130048 A CN115130048 A CN 115130048A
- Authority
- CN
- China
- Prior art keywords
- data
- dimension
- correlation
- pipeline
- pipeline corrosion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N27/00—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means
Abstract
本发明涉及一种管道腐蚀检测数据的降维采集方法,包括步骤:确定管道腐蚀检测的初始因子集合,收集管道腐蚀检测的历史数据,所述历史数据包括管道腐蚀检测相关的各维度数据,以及各维度数据对应的管道腐蚀状态数据;计算各维度数据与其对应的管道腐蚀状态数据之间的相关性,将不满足相关性要求的维度删除,剩余的维度构成相关因子集合;对相关因子集合中的每一个维度进行方差膨胀系数计算,并按照方差膨胀系数进行排序,若排在第一位的维度的方差膨胀系数大于100,则删除该维度,循环本步骤,直到所有维度的方差膨胀系数都小于100,剩余的维度构成最终的因子集合。本发明保证管道腐蚀状况预测准确度的同时,降低管道检测数据的采集量。
Description
技术领域
本发明涉及燃气管道腐蚀检测技术领域,特别涉及一种管道腐蚀检测数据的降维采集方法。
背景技术
天然气管道作为天然气介质运输的主要方式,是燃气企业生产运营的主要资产,保障其安全性对于管道事故防控具备不可代替的作用。管道腐蚀作为妨碍管道安全的主要因素,历来都是管道安全管理的重点。因此,定期收集管道腐蚀相关数据,对管道的腐蚀状况进行预测称为一项管网管理的日常工作。但由于管道腐蚀的影响因素众多,给管道检测带来了较大的数据采集工作量。随着城镇燃气管道的建设进程,管道检测数据采集工作量更加凸显,为管道检测带来了巨大挑战。
为了更加有效的实现基于数据的管道腐蚀预测,促进管道检测数据的过程优化,日常采集工作中需要关注对腐蚀影响较强的非相关因素,以较低的采集工作量获取对腐蚀影响最为明显的因素。因此需要对现有检测采集数据进行分析,减少相关性高的数据采集,缩减采集维度,以降低采集工作量和采集成本。
发明内容
本发明的目的在于保证管道腐蚀状况预测准确度的同时,降低管道检测数据的采集量,提供一种管道腐蚀检测数据的降维采集方法。
为了实现上述发明目的,本发明实施例提供了以下技术方案:
一种管道腐蚀检测数据的降维采集方法,包括以下步骤:
步骤S1,确定管道腐蚀检测的初始因子集合,根据初始因子集合中的维度收集管道腐蚀检测的历史数据,所述历史数据包括管道腐蚀检测相关的各维度数据,以及各维度数据对应的管道腐蚀状态数据;
步骤S2,计算各维度数据与其对应的管道腐蚀状态数据之间的相关性,将不满足相关性要求的维度删除,剩余的维度构成相关因子集合;
步骤S3,对相关因子集合中的每一个维度进行方差膨胀系数计算,并按照方差膨胀系数进行排序,若排在第一位的维度的方差膨胀系数大于100,则删除该维度,循环步骤S3,直到所有维度的方差膨胀系数都小于100,剩余的维度构成最终的因子集合。
所述初始因子集合中管道腐蚀检测相关的维度包括土壤电阻率、管道自然腐蚀电位、氧化还原电位、ph值、含水率、氯离子、硫酸根、含盐量、防腐层电阻、管地电位。
所述计算各维度数据与其对应的管道腐蚀状态数据之间的相关性,将不满足相关性要求的维度删除,剩余的维度构成相关因子集合的步骤,包括:
t统计量服从自由度为n-2的t分布,n为样本容量大小,即对应维度的管道腐蚀状态数据的数据量。
所述对相关因子集合中的每一个维度进行方差膨胀系数计算,并按照方差膨胀系数进行排序的步骤,包括:
其中,VIF表示方差膨胀系数;R为中间变量,TSS表示整体平方和,RSS表示残差平方和;Y表示管道腐蚀状态数据;Yi表示Y对应的第i条样本值,,n为样本容量大小,即对应维度的管道腐蚀状态数据的数据量;Yfit表示Yi对应的样本拟合值;Ymean表示样本均值。
与现有技术相比,本发明的有益效果:
本发明通过对管道腐蚀检测的历史数据收集进行相关性分析及方差膨胀系数分析,对管道腐蚀检测的维度进行两阶段筛选,得到对管道腐蚀状况影响最大,且较为独立的维度作为最终的因子集合。一方面可以有效减少管道腐蚀的数据采集维度,降级数据采集的工作复杂度和工作量,同时能避免在管道腐蚀状态预测过程中由于多重共线性导致的数据偏差。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明方法流程图;
图2为本发明实施例维度故障树示意图。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性,或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
实施例:
本发明通过下述技术方案实现,如图1所示,一种管道腐蚀检测数据的降维采集方法,包括以下步骤:
步骤S1,确定管道腐蚀检测的初始因子集合,根据初始因子集合中的维度收集管道腐蚀检测的历史数据,所述历史数据包括管道腐蚀检测相关的各维度数据,以及各维度数据对应的管道腐蚀状态数据。
请参见图2,根据故障树方法初步确定管道腐蚀检测的初始因子集合,在本实施例中,初始因子集合中管道腐蚀检测相关的维度可以包括土壤电阻率、管道自然腐蚀电位、氧化还原电位、ph值、含水率、氯离子、硫酸根、含盐量、防腐层电阻、管地电位。
按照各维度,收集各维度数据及其对应的管道腐蚀状态数据:
表1 各维度数据对应的管道腐蚀状态数据
管段 | 土壤电阻率 | 管道自然腐蚀电位 | 氧化还原电位 | Ph值 | 含水率 | 氯离子 | 硫酸根 | 含盐量 | 防腐层电阻 | 管地电位 | 管道腐蚀状态数据 |
1 | 5.02 | -618 | 322 | 8.78 | 14.16 | 0.36 | 0.29 | 1.73 | 4.27 | -0.995 | 3.1 |
2 | 7.4 | -642 | 314 | 7.96 | 10.69 | 0.35 | 0.2 | 1.65 | 7.45 | -1.174 | 2.8 |
3 | 2.64 | -635 | 316 | 8.24 | 14.72 | 0.22 | 0.09 | 0.93 | 5.77 | -1.298 | 5.1 |
4 | 8.04 | -616 | 317 | 8.71 | 11.64 | 0.41 | 0.22 | 1.86 | 7.32 | -0.945 | 4.2 |
5 | 2.89 | -637 | 315 | 8.84 | 13.65 | 0.32 | 0.2 | 1.55 | 6.00 | -0.622 | 3.9 |
6 | 5.65 | -618 | 315 | 8.82 | 15.31 | 0.35 | 0.12 | 0.14 | 4.74 | -1.019 | 3.4 |
7 | 6.36 | -625 | 324 | 8.67 | 11.79 | 0.32 | 0.11 | 1.26 | 2.5 | -0.895 | 2 |
8 | 7.37 | -627 | 316 | 8.84 | 13.25 | 0.32 | 0.14 | 1.35 | 2.58 | -0.849 | 1.9 |
9 | 5.90 | -631 | 326 | 8.38 | 13.25 | 0.26 | 0.15 | 1.22 | 2.41 | -1.045 | 3.3 |
10 | 8.92 | -603 | 319 | 8.68 | 16.75 | 0.45 | 0.21 | 1.98 | 1.74 | -1.336 | 2.1 |
表1中管道腐蚀状态数据相当于受这些维度影响后的管道腐蚀结果。
步骤S2,计算各维度数据与其对应的管道腐蚀状态数据之间的相关性,将不满足相关性要求的维度删除,剩余的维度构成相关因子集合。
其中,X表示任意一个维度数据,Y表示管道腐蚀状态数据,比如在表1的第1个管段对应的历史数据中,共有10个维度数据,和1个管道腐蚀状态数据,则X表示10个维度数据中的任一个,Y则表示那一个管道腐蚀状态数据,旨在计算这些维度与管道腐蚀状态之间的相关性。Xi、Yi为X、Y对应的第i条样本值,比如表1中共有10个管段,则每个管段对应行的历史数据就是样本值。、分别为X、Y的样本方差。
t统计量服从自由度为n-2的t分布,n为样本容量大小,即对应维度的管道腐蚀状态数据的数据量,比如表1中共有10个管段,每个管段对应的历史数据表示一个样本,则n=10。
将相关系数的绝对值小于0.1的维度,或相关置信度P大于0.05的维度删除,剩余的维度构成相关因子集合,完成对初始因子集合的第一轮筛选。计算后各维度的相关系数和相关置信度P如表2-1所示,按照本步骤选择将相关系数的绝对值小于0.1的维度删除后,得到的相关因子集合如表2-2所示。
表2-1 各维度的相关系数和相关置信度P
相关系数 | 相关置信度P | |
土壤电阻率 | -0.645766935 | 0.043707545 |
管道自然腐蚀电位 | -0.303399545 | 0.394106418 |
氧化还原电位 | -0.284333853 | 0.425911936 |
Ph值 | -0.226349221 | 0.529458704 |
含水率 | 0.04476198 | 0.902279122 |
氯离子 | -0.414508517 | 0.233652047 |
硫酸根 | -0.086203521 | 0.812824835 |
含盐量 | -0.228302027 | 0.525815564 |
防腐层电阻 | 0.653601864 | 0.040399386 |
管地电位 | -0.071314327 | 0.844790867 |
表2-2 相关因子集合
相关系数 | 相关置信度P | |
土壤电阻率 | -0.645766935 | 0.043707545 |
管道自然腐蚀电位 | -0.303399545 | 0.394106418 |
氧化还原电位 | -0.284333853 | 0.425911936 |
Ph值 | -0.226349221 | 0.529458704 |
氯离子 | -0.414508517 | 0.233652047 |
含盐量 | -0.228302027 | 0.525815564 |
防腐层电阻 | 0.653601864 | 0.040399386 |
步骤S3,对相关因子集合中的每一个维度进行方差膨胀系数计算,并按照方差膨胀系数进行排序,若排在第一位的维度的方差膨胀系数大于100,则删除该维度,循环步骤S3,直到所有维度的方差膨胀系数都小于100,剩余的维度构成最终的因子集合。
其中,VIF表示方差膨胀系数;R为中间变量,TSS表示整体平方和,RSS表示残差平方和,TSS、RSS也可以理解为中间变量;Y表示管道腐蚀状态数据,Yi表示Y对应的第i条的样本值,Yfit表示Yi对应的样本拟合值,Ymean表示样本均值。
对相关因子集合进行方差膨胀系数VIF计算后,通过共线性分析进一步过滤维度,最后得到的维度如表3所示。
表3 最终的因子集合
相关系数 | 相关置信度P | 差膨胀系数VIF | |
土壤电阻率 | -0.645766935 | 0.043707545 | 14.8858176914334 |
Ph值 | -0.226349221 | 0.529458704 | 35.83913270875028 |
含盐量 | -0.228302027 | 0.525815564 | 19.380817521304 |
防腐层电阻 | 0.653601864 | 0.040399386 | 6.607094874330338 |
可见,本方案可以将原有的10项维度采集降低到4项维度采集作为日常管道腐蚀检测的数据,根据变量共线性质,被过滤掉的维度可以通过剩下的维度线性表示,因此,再应用时并不会由于减少了维度而限制检测数据的可用性。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (6)
1.一种管道腐蚀检测数据的降维采集方法,其特征在于:包括以下步骤:
步骤S1,确定管道腐蚀检测的初始因子集合,根据初始因子集合中的维度收集管道腐蚀检测的历史数据,所述历史数据包括管道腐蚀检测相关的各维度数据,以及各维度数据对应的管道腐蚀状态数据;
步骤S2,计算各维度数据与其对应的管道腐蚀状态数据之间的相关性,将不满足相关性要求的维度删除,剩余的维度构成相关因子集合;
步骤S3,对相关因子集合中的每一个维度进行方差膨胀系数计算,并按照方差膨胀系数进行排序,若排在第一位的维度的方差膨胀系数大于100,则删除该维度,循环步骤S3,直到所有维度的方差膨胀系数都小于100,剩余的维度构成最终的因子集合。
2.根据权利要求1所述的一种管道腐蚀检测数据的降维采集方法,其特征在于:所述初始因子集合中管道腐蚀检测相关的维度包括土壤电阻率、管道自然腐蚀电位、氧化还原电位、ph值、含水率、氯离子、硫酸根、含盐量、防腐层电阻、管地电位。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211046510.3A CN115130048A (zh) | 2022-08-30 | 2022-08-30 | 一种管道腐蚀检测数据的降维采集方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211046510.3A CN115130048A (zh) | 2022-08-30 | 2022-08-30 | 一种管道腐蚀检测数据的降维采集方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115130048A true CN115130048A (zh) | 2022-09-30 |
Family
ID=83387571
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211046510.3A Pending CN115130048A (zh) | 2022-08-30 | 2022-08-30 | 一种管道腐蚀检测数据的降维采集方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115130048A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105719006A (zh) * | 2016-01-18 | 2016-06-29 | 合肥工业大学 | 基于流特征的因果结构学习方法 |
CN111066003A (zh) * | 2017-10-10 | 2020-04-24 | 西门子股份公司 | 对流程行业中的设备进行状态监测的方法、装置及介质 |
CN111739641A (zh) * | 2020-06-23 | 2020-10-02 | 杭州和壹医学检验所有限公司 | 一种胃癌风险预测方法、系统、计算机设备及可读存储介质 |
CN114511037A (zh) * | 2022-02-18 | 2022-05-17 | 创新奇智(青岛)科技有限公司 | 一种自动化特征筛选方法、装置、电子设备及存储介质 |
CN114863661A (zh) * | 2022-07-05 | 2022-08-05 | 苏州翔楼新材料股份有限公司 | 一种特钢生产车间的监测预警方法及系统 |
-
2022
- 2022-08-30 CN CN202211046510.3A patent/CN115130048A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105719006A (zh) * | 2016-01-18 | 2016-06-29 | 合肥工业大学 | 基于流特征的因果结构学习方法 |
CN111066003A (zh) * | 2017-10-10 | 2020-04-24 | 西门子股份公司 | 对流程行业中的设备进行状态监测的方法、装置及介质 |
CN111739641A (zh) * | 2020-06-23 | 2020-10-02 | 杭州和壹医学检验所有限公司 | 一种胃癌风险预测方法、系统、计算机设备及可读存储介质 |
CN114511037A (zh) * | 2022-02-18 | 2022-05-17 | 创新奇智(青岛)科技有限公司 | 一种自动化特征筛选方法、装置、电子设备及存储介质 |
CN114863661A (zh) * | 2022-07-05 | 2022-08-05 | 苏州翔楼新材料股份有限公司 | 一种特钢生产车间的监测预警方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ho et al. | Towards a time and cost effective approach to water quality index class prediction | |
Hill et al. | Real-time Bayesian anomaly detection for environmental sensor data | |
Vojinovic et al. | Multi-objective rehabilitation of urban drainage systems under uncertainties | |
McCuen et al. | Problems with logarithmic transformations in regression | |
US20050096758A1 (en) | Prediction apparatus, prediction method, and computer product | |
Dann et al. | The effect of inspection sizing uncertainty on the maximum corrosion growth in pipelines | |
Simpson et al. | Modelling business cycle movements in the UK economy | |
Catik et al. | A comparative analysis of alternative univariate time series models in forecasting Turkish inflation | |
Cassalho et al. | Artificial intelligence for identifying hydrologically homogeneous regions: A state‐of‐the‐art regional flood frequency analysis | |
CN114004137A (zh) | 一种多源气象数据融合与预处理方法 | |
CN116579768B (zh) | 一种发电厂在线仪表运维管理方法及系统 | |
CN111415192A (zh) | 基于大数据的用户用水性质预测方法 | |
Fakher et al. | New insights into development of an environmental–economic model based on a composite environmental quality index: a comparative analysis of economic growth and environmental quality trend | |
Borzooei et al. | Assessment of weather-based influent scenarios for a WWTP: application of a pattern recognition technique | |
Shepherd et al. | Cloud-based artificial intelligence analytics to assess combined sewer overflow performance | |
CN115130048A (zh) | 一种管道腐蚀检测数据的降维采集方法 | |
Ofori et al. | Forecasting Value Added Tax Revenue in Ghana | |
CN114090959B (zh) | 一种河网结构约束下流域径流的随机时空插值方法 | |
Su | A discretized approach to flexibly fit generalized lambda distributions to data | |
Yin et al. | A risk decision-making model based on Kalman filter for intellectual property pledge financing | |
CN113065234B (zh) | 一种智能电表的批次可靠性风险等级评估方法及系统 | |
CN115345414A (zh) | 一种输油气管道工控网络信息安全性评价方法及系统 | |
Liu et al. | The optimization design of EWMA charts for monitoring environmental performance | |
CN112445856A (zh) | 一种海面高度影响关联分析方法和装置 | |
Okhrin et al. | Stochastic inequalities for the run length of the EWMA chart for long-memory processes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220930 |