CN115577005A - 一种山地管道数据的数字化管理方法、系统和存储介质 - Google Patents
一种山地管道数据的数字化管理方法、系统和存储介质 Download PDFInfo
- Publication number
- CN115577005A CN115577005A CN202211209337.4A CN202211209337A CN115577005A CN 115577005 A CN115577005 A CN 115577005A CN 202211209337 A CN202211209337 A CN 202211209337A CN 115577005 A CN115577005 A CN 115577005A
- Authority
- CN
- China
- Prior art keywords
- data
- pipeline
- mountain
- dimension
- basic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 31
- 238000007726 management method Methods 0.000 title claims description 40
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 42
- 238000010276 construction Methods 0.000 claims abstract description 33
- 230000008569 process Effects 0.000 claims abstract description 21
- 238000004140 cleaning Methods 0.000 claims abstract description 18
- 238000013499 data model Methods 0.000 claims description 19
- 230000010354 integration Effects 0.000 abstract description 5
- 238000013461 design Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 8
- 235000019580 granularity Nutrition 0.000 description 8
- 238000012423 maintenance Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004210 cathodic protection Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000010438 heat treatment Methods 0.000 description 3
- 238000005065 mining Methods 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 238000013515 script Methods 0.000 description 3
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005536 corrosion prevention Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Business, Economics & Management (AREA)
- Remote Sensing (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种山地管道数据的数字化管理方法、系统和存储介质，所述方法包括：S1、采集目标区域在山地管道建设和运行过程中的多个原始山地管道数据；S2、对所有的原始山地管道数据进行清洗处理，得到多个目标山地管道数据；S3、基于预设数据处理模型，对所有的目标山地管道数据进行分类处理，得到每个维度下的不同层次的多个管道基础数据和多个站场基础数据。运用本发明的技术方案，能够解决山地管道数据资源分散且孤立的问题，且能够对大规模数据进行储存，提高数据整合利用效率和数据质量的同时，打通数据孤岛，避免重复建设，加强数据共享性，有利于全面掌握管道完整性数据。
Description
技术领域
本发明涉及数字化管道建设技术领域，尤其涉及一种山地管道数据的数字化管理方法、系统和存储介质。
背景技术
我国的山地管道建设主要分布在西南地区，该地区地形复杂，地质灾害频发，施工面临各方面挑战，监测与安全管控难度大。山地管道建设不仅要掌握管道、站场本体信息，还要监控输送介质、压力、阴保、腐蚀等动态信息，管道沿线人口、建设、环境等外部信息。由于这些数据的数量巨大，且格式多样，而现有的山地管道数据在管理上仅仅是简单的存储在各个分散的业务系统中，或者并未信息化，数据分散孤立，不能发挥山地管道数据的价值。
目前，对于采集的管道数据，大部分没有进行加工处理，只是对管道数据按标准进行规范化处理，并建立传统关系型数据库进行数据保存，使得不同地域不同类型的管道数据孤立地散落在多个业务系统中。而且由于传统数据库的数据加工处理能力不足，数据标准无法统一，数据孤岛普遍存在导致业务系统之间的数据无法共享，资源利用率降低，降低了数据的可得性。标准缺失、数据录入不规范导致数据质量差，垃圾数据增多，数据不可用。
因此，亟需提供一种技术方案，通过有效地加工利用数据，释放数据价值，实现山地管道的数字化转型。
发明内容
为解决上述技术问题，本发明提供了一种山地管道数据的数字化管理方法、系统和存储介质。
本发明的一种山地管道数据的数字化管理方法的技术方案如下：
S1、采集目标区域在山地管道建设和运行过程中的多个原始山地管道数据；
S2、对所有的原始山地管道数据进行清洗处理，得到多个目标山地管道数据；
S3、基于预设数据处理模型，对所有的目标山地管道数据进行分类处理，得到每个维度下的不同层次的多个管道基础数据和多个站场基础数据。
本发明的一种山地管道数据的数字化管理方法的有益效果如下：
本发明的方法解决了山地管道数据资源分散且孤立的问题，且能够进行大规模数据的储存，提高数据整合利用效率和数据质量的同时，打通数据孤岛，避免重复建设，加强数据共享性，有利于全面掌握管道完整性数据。
在上述方案的基础上，本发明的一种山地管道数据的数字化管理方法还可以做如下改进。
进一步，所述预设数据处理模型的构建过程为：根据用户的业务需求构建所述预设数据处理模型；其中，每种业务需求对应一种划分维度和划分层次。
进一步，所述S3包括：
S31、根据所述预设数据处理模型所设定的主题域，对所有的目标山地管道数据进行划分，得到每个主题域中的多个目标管道数据；
S32、基于所述预设数据处理模型中所设定的划分维度，分别将每个主题域中的每个目标管道数据确定为对应维度下的管道基础数据或站场基础数据，直至得到每个维度下的管道基础数据和站场基础数据；
S33、基于所述预设数据处理模型中所设定的划分层次，分别将每个维度下的管道基础数据确定为对应层次中的管道基础数据，并分别将每个维度下的站场基础数据确定为对应层次中的站场基础数据，直至得到每个维度下的不同层次的管道基础数据和站场基础数据。
进一步，在步骤S33之后，还包括：
S34、以表格的形式输出每个维度下的不同层次的管道基础数据和站场基础数据。
进一步，每个主题域均对应至少一个核心对象，每个管道基础数据和每个站场基础数据均对应一个管道属性；所述方法还包括：
S4、构建油气长输管道行业数据模型，并根据所述油气长输管道行业数据模型对应的核心对象和管道属性，将每个管道基础数据存储至管道数据库中进行数字化管理；或/和，构建油气管道站场完整性管理数据模型，并根据所述油气管道站场完整性管理数据模型对应的核心对象和管道属性，将每个站场基础数据存储至站场数据库中进行数字化管理。
进一步，任一原始山地管道数据的类型为：结构化数据类型或非结构化数据类型；
在所述S1之前，还包括：
S01、将每个用于采集结构化数据类型的原始山地管道数据的任务节点进行串联组合，得到结构化数据类型采集任务组；
S02、根据每个非结构化数据类型的原始山地管道数据的存储位置，生成所有的非结构化数据任务节点；
S03、将所述结构化数据类型采集任务组与所有的非结构化数据任务节点进行串联，生成预设数据采集方式；
所述S1包括：
基于所述预设数据采集方式，采集目标区域在山地管道建设和运行过程中的多个原始山地管道数据。
进一步，所述划分维度包括：时间维度、地域维度、管道自身维度、管道生命周期划分维度、业务领域维度中的至少一种。
本发明的一种山地管道数据的数字化管理系统的技术方案如下：
包括：采集模块、处理模块和运行模块；
所述采集模块用于：采集目标区域在山地管道建设和运行过程中的多个原始山地管道数据；
所述处理模块用于：对所有的原始山地管道数据进行清洗处理，得到多个目标山地管道数据；
所述运行模块用于：基于预设数据处理模型，对所有的目标山地管道数据进行分类处理，得到每个维度下的不同层次的多个管道基础数据和多个站场基础数据。
本发明的一种山地管道数据的数字化管理系统的有益效果如下：
本发明的系统解决了山地管道数据资源分散且孤立的问题，且能够进行大规模数据的储存，提高数据整合利用效率和数据质量的同时，打通数据孤岛，避免重复建设，加强数据共享性，有利于全面掌握管道完整性数据。
在上述方案的基础上，本发明的一种山地管道数据的数字化管理系统还可以做如下改进。
进一步，所述预设数据处理模型的构建过程为：根据用户的业务需求构建所述预设数据处理模型；其中，每种业务需求对应一种划分维度和划分层次。
本发明的一种存储介质的技术方案如下：
存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如本发明的一种山地管道数据的数字化管理方法的步骤。
附图说明
图1为本发明实施例的一种山地管道数据的数字化管理方法的流程示意图；
图2为本发明实施例的一种山地管道数据的数字化管理系统的结构示意图。
具体实施方式
如图1所示，本发明实施例的一种山地管道数据的数字化管理方法，包括如下步骤：
S1、采集目标区域在山地管道建设和运行过程中的多个原始山地管道数据。
其中，目标区域为：一个城市、地区、国家等。
其中，原始山地管道数据为：山地管道建设和运行过程中的数据，包括但不限于：山地管道的各个业务系统数据，以及一些设计图纸，手工录入的excel设备信息，历年记录的事故和风险数据等。
S2、对所有的原始山地管道数据进行清洗处理，得到多个目标山地管道数据。
其中，目标山地管道数据为：对所有的原始山地管道数据进行清洗处理后，所保留的原始山地管道数据。
其中，数据清洗处理为数据预处理中的一种方式，用于清洗不完整、不标准、存在噪音的错误数据，保留后续对山地管道数据进行数字化管理的标准数据。例如，数据清洗处理包括但不限于：剔除夏季温度0度以下的数据、null值的数据，不满足完整性校验的数据等。又例如，保证管道数据的核心要素(项目编号，管道编号，管段编号，水平连续里程)不能缺失，若任一山地管道数据缺失核心要素，则将该山地管道数据从所有的原始山地管道数据中剔除。
其中，数据清洗处理的具体过程为：采用大数据技术，通过建立工作流的方式实现清洗，每个工作流由多个shell脚本并行或者串行执行，每个sql脚本特定的数据清洗工作完整性校验，异常值处理，默认值设定等。在数据清洗处理过程中可以设置参数来控制清洗颗粒度，如设置上下阈值参数，排除大于或者小于该阈值的山地管道数据。在本实施例中，所编写的sql脚本使用到以下sql调优技巧：(1)避免使用select*；(2)用union all代替union；(3)小表驱动大表；(4)批量操作；(5)多用limit；(6)in中值太多；(7)增量查询；(8)高效的分页；(9)用链接查询代替子查询；(10)join数量不宜过多。
需要说明的是，假设原始山地管道数据有100个，经过数据清洗处理后，原始山地管道数据还剩余80个，则这80个原始山地管道数据均为目标山地管道数据。
S3、基于预设数据处理模型，对所有的目标山地管道数据进行分类处理，得到每个维度下的不同层次的多个管道基础数据和多个站场基础数据。
其中，预设数据处理模型根据用户需求进行构建，用户需求包括：阴保业务需求、内检数据需求、外检业务需求和高后果区管理业务需求等。
其中，管道基础数据包括：山地管道相关的业务数据，可细分为施工、设计、运行、采办各个阶段的数据；山地管道的地理相关数据，可细分为位置信息，桩号，相对桩号里程，水平连续里程等。
其中，站场基础数据包括：工艺、自控仪表、机械、防腐、电力、通信各专业管理监管数据。
具体地，所述预设数据处理模型的构建过程为：根据用户的业务需求构建所述预设数据处理模型；其中，每种业务需求对应一种划分维度和划分层次。
需要说明的是，划分维度包括但不限于：时间维度、地域维度、管道自身维度、管道生命周期划分维度、业务领域维度。不同维度的划分层次为：时间维度包括有年、半年、季、月份、周、日等多个层次，可形成日表、周表、月表、季度表、年表来统计汇总，根据用户对数据粒度的要求提供对应的数据。地域维度包括有国家、省份、地级市、区县、乡镇等多个层次，可由此来分析各区域的管道智能化建设水平，施工质量等问题。管道自身维度可包括管道材质，管径，坡度，高程，压力，水平里程，尺寸，规格，焊工，焊口，所属管段，所属厂家，项目编码，阴保状态，腐蚀程度，水工保护等多个层次。管道生命周期划分维度可包括设计、采办、施工、运行等多个层次。业务领域维度可包括勘察、施工、设备设施、阴保等多个层次。
较优地，所述S3包括：
S31、根据所述预设数据处理模型所设定的主题域，对所有的目标山地管道数据进行划分，得到每个主题域中的多个目标管道数据。
其中，主题域是指联系较为紧密的数据主题的集合。主题域包括但不限于：勘察设计域、施工进度管理域、外界影响域、内外检测要素域、阴极保护要素域、基础地图要素域、设备要素域和运营要素域等。
需要说明的是，每个主题域均对应有核心对象，核心对象为主题域中必须包含的对象，如设备要素域中的管道本体为核心对象。核心要素为核心对象所包含的必须的要素，如管道本体要有焊口和管材等；核心要素是根据预设数据处理模型来规范的，根据预设数据模型来建立数据库表，并确定所有对象(核心对象和非核心对象)所包含的核心字段(核心字段为一个对象必须包含的字段，如焊口对象需要包含：焊口编号、焊口类型、桩号、里程等)。
S32、基于所述预设数据处理模型中所设定的划分维度，分别将每个主题域中的每个目标管道数据确定为对应维度下的管道基础数据或站场基础数据，直至得到每个维度下的管道基础数据和站场基础数据。
具体地，根据用户需求所对应的预设数据处理模型，确定山地管道数据的划分维度，通过逐级添加划分维度的方式，分别从各个主题域中的每个目标管道数据确定为对应维度下的管道基础数据或站场基础数据，最终得到不同维度下的管道基础数据和站场基础数据。
S33、基于所述预设数据处理模型中所设定的划分层次，分别将每个维度下的管道基础数据确定为对应层次中的管道基础数据，并分别将每个维度下的站场基础数据确定为对应层次中的站场基础数据，直至得到每个维度下的不同层次的管道基础数据和站场基础数据。
其中，每个划分维度又可按粒度的不同分为多个划分层次，划分层次与粒度相关，粒度是指数据的详细程度。例如在管道的地域维度中，国家粒度属于中国，省份粒度就是四川，城市粒度属于就是成都。维度中的描述属性以层次方式相互关联，层次的最底层代表维度中最低级别的详细信息，最高层代表最高级别概要信息，划分维度常有嵌入式的层次结构。
较优地，在S33之后，还包括：
S34、以表格的形式输出每个维度下的不同层次的管道基础数据和站场基础数据。
其中，表格包括但不限于：维度表、大宽表和事实表。例如按管段统计阴保状态(过保、保护、失效)，按站场统计分析设备故障率，制作出基于数据驱动的专题地图和报表。
较优地，每个主题域均对应至少一个核心对象，每个管道基础数据和每个站场基础数据均对应一个管道属性；所述方法还包括：
S4、构建油气长输管道行业数据模型，并根据所述油气长输管道行业数据模型对应的核心对象和管道属性，将每个管道基础数据存储至管道数据库中进行数字化管理；或/和，构建油气管道站场完整性管理数据模型，并根据所述油气管道站场完整性管理数据模型对应的核心对象和管道属性，将每个站场基础数据存储至站场数据库中进行数字化管理。
其中，油气长输管道行业数据模型根据管道基础数据进行构建的，具体地，将管道基础数据分项目，分标段，分管道建设不同时间进行数据库构建，从而得到油气长输管道行业数据模型。
需要说明的是，油气长输管道行业数据模型用于提供一系列的核心对象和管道属性，油气长输管道行业数据模型具体包含：核心元素、勘察设计域、施工进度管理域、外界影响域、内外检测要素域、阴极保护要素域、基础地图要素域、设备要素域、运营要素域。核心对象和属性都是用于规范的组织、存储数据。
其中，核心元素包括：线路、标段、管段、里程段、中线桩、中线点、控制点。线路处于核心要素的最高级别。标段是线路根据行政区域的划分，每个标段是一个连续的里程段，每个连续的里程路径就构成一个里程段。中线桩是控制线路走向的结点，每个中线桩都是具有X、Y坐标的点，在每个里程段内中线还有一个唯一里程值。中线点是沿着线路中心线测量的点，具体包括：地形点、管线与线状地物交叉点、面状地物边界点以及用于定位中线两侧地物位置的点。下面列举各个主题域的划分：勘察设计域包含：资料目录、变更、材料清单、计算书、设备清单、说明书、技术规格书等外部文档；线路设计、穿跨越、阴极保护、勘察、土建/结构、给排水/消防等设计图地形图。施工进度域包含：线路工程、隧道、道路工程，穿跨越、安全健康、施工质量等。阴极保护要素域包含：整流器、阳极地床、牺牲阳极、测试站、电缆、接地。
同理，油气管道站场完整性管理数据模型也用于提供一系列的核心对象和属性。通过将数据划分为离线要素和在线要素，建立油气管道站场完整性管理数据模型。其中，在线要素是指与站场的线路存在连接关系的要素，离线要素是指与所述站场的线路不存在连接关系的要素；将在线要素划分为简单节点要素、复杂节点要素、简单边要素和复杂边要素；将离线要素划分为点要素、线要素、多边形要素，进而将站场元素划分为多个要素。
其中，油气管道站场完整性管理数据模型分为核心要素、设备、风险、检测、运行、维护。核心要素包括管道、管道系统、管道等级、网络、网络节点、网络弧段、路径。设备设施数据包括：加热炉、储罐、压缩机、三通、输油泵。风险评价数据包括：设施评级、储罐风险、工艺管道风险、地下储气库风险。检测评价数据包括：储罐检测、工艺管道检测、加热炉检测、卸料臂检测和评价。维修维护数据包括：储罐缺陷及修复、工艺管道缺陷及修复、阀门维修及改造、加热炉维修及改造、输油泵维修及改造、压缩机维修。
较优地，任一原始山地管道数据的类型为：结构化数据类型或非结构化数据类型。
在所述S1之前，还包括：
S01、将每个用于采集结构化数据类型的原始山地管道数据的任务节点进行串联组合，得到结构化数据类型采集任务组。
S02、根据每个非结构化数据类型的原始山地管道数据的存储位置，生成所有的非结构化数据任务节点。
S03、将所述结构化数据类型采集任务组与所有的非结构化数据任务节点进行串联，生成预设数据采集方式。
其中，预设数据采集方式为一种数据采集数据工具，该数据采集工具通过java语开发，采用mpp架构，具有分布式的可伸缩性、高可用、高性能优势，集成了结构化与非结构化数据采集功能，前端采集配置界面采用vue开发，填写sql，目标端，源端地址，并发数等参数，即可实现数据采集。
所述S1包括：
基于所述预设数据采集方式，采集目标区域在山地管道建设和运行过程中的多个原始山地管道数据。
需要说明的是，预设数据采集方式通过数据采集服务器，采用工作流节点串联的方式组织数据采集过程，并通过自定义可配置用户界面即可实现sql语句输入、任务流程配置等工作，一条sql语句或者多条sql语句可以组装成一个任务节点，多条任务节点可以组装成一个任务链，同时多条任务链可以组合成一个任务组支持复杂场景下对复杂的结构化数据进行采集。与传统数据采集方式不同，预设数据采集方式可以对非结构化数据进行采集，通过前端输入的非结构化数据的存储位置，即可采集到目标源数据。
为更好地说明本实施例的技术方案，通过以下实例进行阐述说明：
S10、采集目标区域在山地管道建设和运行过程中的多个原始山地管道数据；其中，原始山地管道数据包括：线路设计、穿跨越、阴极保护点位、焊口、标志桩等。
S20、对所有的原始山地管道数据进行清洗处理，得到多个目标山地管道数据；其中，数据清洗处理过程包括：格式检查、范围检查、缺失记录检查、相似重复记录检查、精度检查、逻辑表达式检查、符合规则检查等。
S30、基于预设数据处理模型，对所有的目标山地管道数据按管道生命周期进行划分，包括设计、采办、施工、运行四类进行分类处理，得到每个维度下的不同层次的多个管道基础数据和多个站场基础数据。
本实施例的技术方案解决了山地管道数据资源分散且孤立的问题，且能够进行大规模数据的储存，提高数据整合利用效率和数据质量的同时，打通数据孤岛，避免重复建设，加强数据共享性，有利于全面掌握管道完整性数据。
如图2所示，本发明实施例的一种山地管道数据的数字化管理系统200，包括：采集模块210、处理模块220和运行模块230；
所述采集模块210用于：采集目标区域在山地管道建设和运行过程中的多个原始山地管道数据；
所述处理模块220用于：对所有的原始山地管道数据进行清洗处理，得到多个目标山地管道数据；
所述运行模块230用于：基于预设数据处理模型，对所有的目标山地管道数据进行分类处理，得到每个维度下的不同层次的多个管道基础数据和多个站场基础数据。
较优地，所述预设数据处理模型的构建过程为：根据用户的业务需求构建所述预设数据处理模型；其中，每种业务需求对应一种划分维度和划分层次。
本实施例的技术方案解决了山地管道数据资源分散且孤立的问题，且能够进行大规模数据的储存，提高数据整合利用效率和数据质量的同时，打通数据孤岛，避免重复建设，加强数据共享性，有利于全面掌握管道完整性数据。
上述关于本实施例的一种山地管道数据的数字化管理系统200中的各参数和各个模块实现相应功能的步骤，可参考上文中关于一种山地管道数据的数字化管理方法的实施例中的各参数和步骤，在此不做赘述。
本发明实施例提供的一种存储介质，包括：存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如一种山地管道数据的数字化管理方法的步骤，具体可参考上文中一种山地管道数据的数字化管理方法的实施例中的各参数和步骤，在此不做赘述。
计算机存储介质例如：优盘、移动硬盘等。
所属技术领域的技术人员知道，本发明可以实现为方法、系统和存储介质。
因此，本发明可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)，只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种山地管道数据的数字化管理方法，其特征在于，包括：
S1、采集目标区域在山地管道建设和运行过程中的多个原始山地管道数据；
S2、对所有的原始山地管道数据进行清洗处理，得到多个目标山地管道数据；
S3、基于预设数据处理模型，对所有的目标山地管道数据进行分类处理，得到每个维度下的不同层次的多个管道基础数据和多个站场基础数据。
2.根据权利要求1所述的一种山地管道数据的数字化管理方法，其特征在于，所述预设数据处理模型的构建过程为：根据用户的业务需求构建所述预设数据处理模型；其中，每种业务需求对应一种划分维度和划分层次。
3.根据权利要求2所述的一种山地管道数据的数字化管理方法，其特征在于，所述S3包括：
S31、根据所述预设数据处理模型所设定的主题域，对所有的目标山地管道数据进行划分，得到每个主题域中的多个目标管道数据；
S32、基于所述预设数据处理模型中所设定的划分维度，分别将每个主题域中的每个目标管道数据确定为对应维度下的管道基础数据或站场基础数据，直至得到每个维度下的管道基础数据和站场基础数据；
S33、基于所述预设数据处理模型中所设定的划分层次，分别将每个维度下的管道基础数据确定为对应层次中的管道基础数据，并分别将每个维度下的站场基础数据确定为对应层次中的站场基础数据，直至得到每个维度下的不同层次的管道基础数据和站场基础数据。
4.根据权利要求3所述的一种山地管道数据的数字化管理方法，其特征在于，在步骤S33之后，还包括：
S34、以表格的形式输出每个维度下的不同层次的管道基础数据和站场基础数据。
5.根据权利要求3或4所述的一种山地管道数据的数字化管理方法，其特征在于，每个主题域均对应至少一个核心对象，每个管道基础数据和每个站场基础数据均对应一个管道属性；所述方法还包括：
S4、构建油气长输管道行业数据模型，并根据所述油气长输管道行业数据模型对应的核心对象和管道属性，将每个管道基础数据存储至管道数据库中进行数字化管理；或/和，构建油气管道站场完整性管理数据模型，并根据所述油气管道站场完整性管理数据模型对应的核心对象和管道属性，将每个站场基础数据存储至站场数据库中进行数字化管理。
6.根据权利要求1所述的一种山地管道数据的数字化管理方法，其特征在于，任一原始山地管道数据的类型为：结构化数据类型或非结构化数据类型；
在所述S1之前，还包括：
S01、将每个用于采集结构化数据类型的原始山地管道数据的任务节点进行串联组合，得到结构化数据类型采集任务组；
S02、根据每个非结构化数据类型的原始山地管道数据的存储位置，生成所有的非结构化数据任务节点；
S03、将所述结构化数据类型采集任务组与所有的非结构化数据任务节点进行串联，生成预设数据采集方式；
所述S1包括：
基于所述预设数据采集方式，采集目标区域在山地管道建设和运行过程中的多个原始山地管道数据。
7.根据权利要求2所述的一种山地管道数据的数字化管理方法，其特征在于，所述划分维度包括：时间维度、地域维度、管道自身维度、管道生命周期划分维度、业务领域维度中的至少一种。
8.一种山地管道数据的数字化管理系统，其特征在于，包括：采集模块、处理模块和运行模块；
所述采集模块用于：采集目标区域在山地管道建设和运行过程中的多个原始山地管道数据；
所述处理模块用于：对所有的原始山地管道数据进行清洗处理，得到多个目标山地管道数据；
所述运行模块用于：基于预设数据处理模型，对所有的目标山地管道数据进行分类处理，得到每个维度下的不同层次的多个管道基础数据和多个站场基础数据。
9.根据权利要求8所述的一种山地管道数据的数字化管理系统，其特征在于，所述预设数据处理模型的构建过程为：根据用户的业务需求构建所述预设数据处理模型；其中，每种业务需求对应一种划分维度和划分层次。
10.一种存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如权利要求1至7中任一项所述的一种山地管道数据的数字化管理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211209337.4A CN115577005A (zh) | 2022-09-30 | 2022-09-30 | 一种山地管道数据的数字化管理方法、系统和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211209337.4A CN115577005A (zh) | 2022-09-30 | 2022-09-30 | 一种山地管道数据的数字化管理方法、系统和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115577005A true CN115577005A (zh) | 2023-01-06 |
Family
ID=84582124
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211209337.4A Pending CN115577005A (zh) | 2022-09-30 | 2022-09-30 | 一种山地管道数据的数字化管理方法、系统和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115577005A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116842223A (zh) * | 2023-08-29 | 2023-10-03 | 天津鑫宝龙电梯集团有限公司 | 一种工况数据管理方法、装置、设备和介质 |
-
2022
- 2022-09-30 CN CN202211209337.4A patent/CN115577005A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116842223A (zh) * | 2023-08-29 | 2023-10-03 | 天津鑫宝龙电梯集团有限公司 | 一种工况数据管理方法、装置、设备和介质 |
| CN116842223B (zh) * | 2023-08-29 | 2023-11-10 | 天津鑫宝龙电梯集团有限公司 | 一种工况数据管理方法、装置、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190301963A1 (en) | Processing data for predicting pipe failure | |
| Fenner et al. | A decision support model for the rehablitation of “non-critical” sewers | |
| CN111612301A (zh) | 基于权重自调节的燃气埋地管道泄漏风险评估方法及装置 | |
| CN114238543A (zh) | 一种排水管网地理信息系统 | |
| CN115577005A (zh) | 一种山地管道数据的数字化管理方法、系统和存储介质 | |
| CN109190174B (zh) | 一种建立管网数据模型的方法及系统 | |
| CN103927604A (zh) | 一种油气管道完整性数据技术实施方法 | |
| CN111966746A (zh) | 一种气象防灾减灾流程监控系统及其监控方法 | |
| CN111368018A (zh) | 地下空间资源管理系统 | |
| CN113449120B (zh) | 一种结合空间信息的管线安全综合监管方法 | |
| CN112380298A (zh) | 一种油气管道缺陷修复的知识图谱构建方法及系统 | |
| Bakalov et al. | A network model for the utility domain | |
| CN104318501A (zh) | 管线网络拓扑关系构建方法、装置及系统 | |
| CN110782149A (zh) | 一种评估老旧城区给水管道改造次序的方法 | |
| CN115577006A (zh) | 山地管道数据资产管理方法、系统、存储介质和电子设备 | |
| CN111369102B (zh) | 内涝风险点的提取方法及装置 | |
| Boria et al. | A protocol to convert infrastructure data from computer-aided design (CAD) to geographic information systems (GIS) | |
| Jung et al. | Application of classification models and spatial clustering analysis to a sewage collection system of a mid-sized city | |
| CN110619134A (zh) | 解决路网数据飞点、点密度问题一体化检测及修复方法 | |
| CN117453782A (zh) | 一种水务设施排查成果实时在线共享应用机制的实现方法 | |
| Lee et al. | Building technical and institutional capacities towards new river maintenance | |
| Sampedro et al. | Underground Infrastructure and EQ events: how an advanced condition assessment and data collection process will assist in the planning for and recovery from an EQ event | |
| Diettrich et al. | SciGRID_gas: The final IGGIELGNC-3 gas transmission network data set | |
| Epuh et al. | Application of GIS to Oil and Gas Pipeline Management (A Case Study of South-South Nigeria) | |
| Waicelunas et al. | Using GIS for Pipeline Data Management at the Palo Verde Nuclear Facility |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |