CN115062099B - 一种对多层次天然气管网gis数据标准化处理方法与系统 - Google Patents
一种对多层次天然气管网gis数据标准化处理方法与系统 Download PDFInfo
- Publication number
- CN115062099B CN115062099B CN202210874125.1A CN202210874125A CN115062099B CN 115062099 B CN115062099 B CN 115062099B CN 202210874125 A CN202210874125 A CN 202210874125A CN 115062099 B CN115062099 B CN 115062099B
- Authority
- CN
- China
- Prior art keywords
- point table
- data
- dictionary
- mapping
- standardized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Remote Sensing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种对多层次天然气管网GIS数据标准化处理方法与系统,方法包含以下步骤:步骤1:获取GIS数据并进行数据格式转化成CSV格式文件;步骤2:在点表数据类型映射字典与线表数据类型映射字典中进行查询获取所述CSV格式文件属于点表或线表;步骤3:若为点表,则根据点表标准化字段配置字典对所述点表进行标准化映射得到点表数据;若为线表,则根据线表标准化字段配置字典对所述线表进行标准化映射得到线表数据;步骤4:对所述点表数据进行整合,得到点表整合文件;系统包含系统数据处理模块、查询模块、映射模块、整合模块。
Description
技术领域
本发明涉及GIS数据处理领域,具体涉及一种对多层次天然气管网GIS数据标准化处理方法与系统。
背景技术
GIS即地理信息系统,是能源行业必备的信息处理系统,以城市燃气行业为例,庞大复杂的城市天然气管网系统,连接着数以万计的用户和调压设施,如果管网的拓扑数据(即GIS数据)存在偏差,则无法进行准确有效的天然气管网仿真,那么燃气调度的数字化将会步履维艰,为此,进行城燃管网数据的检查和修复操作,是目前构建天然气管网仿真的基础;
管网拓扑数据,一般以点表和线表构成,前者代表拓扑中各种类型的节点,点表中包含节点的ID、位置名称、类型、坐标等属性信息;后者代表连接节点的管道,线表中包含管道的ID、位置名称、管长、管径、壁厚、起点ID、终点ID、坐标等属性信息,实际情况中,点表可能仅有一个图层,该图层包含了所有的节点信息;也可能包含多个图层,每个图层代表不同类型的节点,如:气源、用户、调压站、阀门等;
由于实际获取的GIS在格式、文件数量、字段名等方面存在差异,只有消除这种差异,才能进行GIS的检查与修复,为此需要进行GIS数据的标准化处理;
现有GIS数据往往只进行了字段名的标准化,即将GIS的各个图层数据原始字段,映射为标准字段;往往只针对一种数据格式,即shapefile格式;缺少对不定量GIS图层的处理,即针对的GIS图层数量比较固定。
现有技术存在以下缺点:
1.不能支持不定量数据的批处理。在技术背景中提到了点表的线表的概念,其中点表可能只有一个图层,即所有类型节点的集合,也可能是多个分开的图层,即用户、门站、调压站等。如果限制系统处理的图层数量,用户在进行GIS标准化操作前,还需要手动将多个图层合并或者分开,以符合标准化系统的输入要求。这样的手动操作较为繁琐,且易伴生错误;
2.适用的GIS输入格式单一。GIS数据治理过程,目前是一个自动化工具与人工操作交替进行的过程,因此可能会产生各种类型的数据,如csv,xlsx,shapefile。目前进行gis标准化主要针对原始的shapefile格式,不利于这种交互操作。
发明内容
本发明要解决的技术问题是现有GIS数据往往只进行了字段名的标准化,即将GIS的各个图层数据原始字段,不支持不定量数据的批处理,例如:当用户第一次用点表和线表标准化,而第二次用气源表、用户表、调压站表和线表标准化,仅有字段映射无法保证对于不定量输入文件的处理,本发明提供一种对多层次天然气管网GIS数据标准化处理方法,本发明还提供一种对多层次天然气管网GIS数据标准化处理系统,能够在GIS自动化检查与修复的基础上对不同文件类型、不同文件数量的GIS数据比如:csv、xlsx、shapefile类型的文件进行标准化处理,在标准化执行时,针对不同格式的数据,将统一转成csv格式后备用操作,以解决格式不统一问题;针对所有类型节点在一张表的综合点表、所有类型节点在多个单独点表的情况,以及线表,完成数据类型的映射。最后,在每个表内完成标准字段的映射,完成以上步骤,即可保证对用户提供的各类数据,都能执行GIS数据的标准化操作,用以解决现有技术导致的缺陷。
为解决上述技术问题本发明提供以下的技术方案:
第一方面,一种对多层次天然气管网GIS数据标准化处理方法,其中,包含以下步骤:
步骤1:获取GIS数据并进行数据格式转化成CSV格式文件;
步骤2:在点表数据类型映射字典与线表数据类型映射字典中进行查询获取所述CSV格式文件属于点表或线表;
步骤3:若为点表,则根据点表标准化字段配置字典对所述点表进行标准化映射得到点表数据;
若为线表,则根据线表标准化字段配置字典对所述线表进行标准化映射得到线表数据;
步骤4:对所述点表数据进行整合,得到点表整合文件。
如图5所示,无论是点表或是线表,都需要进行字段名的标准化映射,对于点表,系统将提供管网仿真计算需要的最低的标准化字段列表,线表同理,但点线表需要的标准化字段列表有所区别;对于点表,最低的标准化字段包括:节点坐标、节点ID、节点压力等级;对于线表,最低的标准化字段包括:管道ID、管道坐标、管道起点ID、管道终点ID、管长、管道外径、管道壁厚、管道材质、管道压力等级。
上述的一种对多层次天然气管网GIS数据标准化处理方法,其中,步骤1中需先判断所述GIS数据是否为CSV格式,若是则不进行数据格式转化,若不是则进行数据格式转化成CSV格式文件,并进行命名;
步骤2中通过在所述点表数据类型映射字典与所述线表数据类型映射字典中进行文件名为key的value的查询获取所述CSV格式文件属于所述点表或所述线表;
所述点表数据类型映射字典与所述点表数据类型字典,不仅用于获取文件是点表还是线表,同时还要映射到具体的数据类型,或者叫GIS图层类型(如:用户、门站等),当然这是对于单一点表或线表,如果上传的文件是综合点表,那么数据类型映射字典就只是通过文件名获取综合点表类型,但同时还要包括综合点表用于区分具体图层的字段名,及该字段中的值的集合。
上述的一种对多层次天然气管网GIS数据标准化处理方法,其中,步骤1中所述GIS数据若为shapefile格式则转化后以.dbf文件名作为CSV格式文件的名称,所述GIS数据若为excel格式则转换后以sheet_name作为CSV格式文件的名称,所述GIS数据若为CSV格式则转换后以.csv作为CSV格式文件的名称;
其中csv格式的数据可以是两份文件(一个综合点表、一个线表),也可以是多份文件(一个线表、若干不同类型的点表);xlsx格式的数据可以是一份包含多个工作表的工作薄,也可以是多份包含多个工作表的工作薄(excel里面不能存在冗余工作表);shapefile格式数据可以是两份文件(一个综合点表、一个线表),也可以是多份文件(一个线表、若干不同类型的点表),若为多张工作表则需要将每份工作表转换为一个独立CSV文件。
上述的一种对多层次天然气管网GIS数据标准化处理方法,其中,步骤2中所述点表包含单一点表与综合点表,在所述点表数据类型映射字典中进行文件名为key的value的查询获取所述CSV格式文件属于所述点表中的所述单一点表或所述综合点表;
所述单一点表即仅包含一个图层的节点集合,如一张均为用户类型节点的表或均为气源类型节点的表,反之,为所述综合点表,该表会把涉及的所有类型节点都涵盖进来,对于所述单一点表,其映射过程与线表一致,而对于所述综合点表,需要明确该表中可区分不同类型节点的字段,并完成该字段值的集合中,每种值向标准值名称的映射;
步骤3中若为所述单一点表则根据所述点表标准化字段配置字典对所述单一点表进行标准化映射得到单一点表数据;
若为所述综合点表则根据所述点表标准化字段配置字典对所述综合点表进行标准化映射得到综合点表数据;
步骤4中,GIS数据标准化是GIS检查、修复操作的基础,因此将所述单一点表数据拼接成综合点表,得到点表整合文件,若为综合点表则不需要进行整合。
上述的一种对多层次天然气管网GIS数据标准化处理方法,其中,步骤2中所述点表数据类型映射字典、所述线表数据类型映射字典的创建方法如下:
获取GIS总数据并进行数据格式转化成CSV标准格式文件;
提取所述CSV格式标准文件中的点表文件并进行映射得到所述点表数据类型映射字典;
提取所述CSV格式文件中的线表文件并进行管道数据类型映射得到所述线表数据类型映射字典;
步骤3中所述点表标准化字段配置字典、所述线表标准化字段配置字典的创建方法如下:
获取所述CSV格式标准文件中的点表文件进行标准化映射得到所述点表标准化字段配置字典;
获取所述CSV格式标准文件中的线表文件进行标准化映射得到所述线表标准化字段配置字典。
上述的一种对多层次天然气管网GIS数据标准化处理方法,其中,所述点表数据类型映射字典包含单一点表数据类型映射字典与综合点表数据类型映射字典,所述综合点表数据类型映射字典包含可区分不同类型节点的各字段的中值集合及每种值映射为标准节点类型的名称;
步骤2中通过在所述单一点表数据类型映射字典与所述综合点表数据类型映射字典中进行查询获取所述CSV格式文件属于单一点表或综合点表。
上述的一种对多层次天然气管网GIS数据标准化处理方法,其中,所述点表标准化字段配置字典包含单一点表标准化字段配置字典与综合点表标准化字段配置字典,所述综合点表标准化字段配置字典包含可区分不同类型节点类型的字段的值的集合;
步骤3中若为所述单一点表则根据所述单一点表标准化字段配置字典对所述单一点表进行标准化映射得到单一点表数据;
若为所述综合点表则根据所述综合点表标准化字段配置字典对所述综合点表进行标准化映射得到综合点表数据。
第二方面,一种对多层次天然气管网GIS数据标准化处理系统,其中,包含数据处理模块、查询模块、映射模块、整合模块;
所述数据处理模块用于获取GIS数据并进行数据格式转化成CSV格式文件;
所述查询模块用于在点表数据类型映射字典与线表数据类型映射字典中进行查询获取所述CSV格式文件属于点表或线表;
所述映射模块用于根据点表标准化字段配置字典对所述点表进行标准化映射得到点表数据,还用于根据线表标准化字段配置字典对所述线表进行标准化映射得到线表数据;
所述整合模块用于对所述点表数据进行整合,得到点表整合文件。
通过将本发明所述内容进行服务化,可使得非编程人员实施GIS自动数据治理的数据准备时,直接在前端按提示,逐个进行各GIS图层文件的标准化映射,极大提升了便利性,且用户在使用过程中,还可以增加新的标准化字段,也提升了数据治理的灵活性;
本发明内容可以针对任意数量的GIS图层文件,通过用户自定义映射配置文件,实现数据标准化,其他替代方案可能不通过配置文件,而直接要求用户在上传文件时,使用标准模板,这增加了用户的操作难度,尤其是针对非表格类的文件格式(shapefile等格式),且数据量较大时,用户是难以向模板中粘贴数据的;
利用点表标准化字段配置字典与线表标准化字段配置字典两份配置文件,可以对不定数量的多图层GIS文件,映射为具有标准化字段的点表和线表,这里图层的概念主要针对不同类型的节点,当然管道也是一个图层,如点表中的用户、气源、调压站、阀门、普通节点和管道等。
本发明提供的技术方案能够针对三种格式的GIS文件,即csv格式、excel格式和shapefile格式,通过统一转换为csv格式,进行后续统一处理;
通过文件名——文件数据类型的映射字典,收集用户对点、线表数据类型的配置信息;
通过原始字段名——标准字段名的映射字典,收集用户对点、线表字段的配置信息;
通过节点类型字段原始值——节点类型标准名称的映射字典,收集用户对综合类型点表中节点类型的配置信息;
从系统前端收集完成映射字典,在后端执行映射;
如果映射后的点表是多份单一节点类型的点表,执行点表合并操作。
依据上述本发明一种对多层次天然气管网GIS数据标准化处理方法与系统提供的技术方案具有以下技术效果:
在GIS自动化检查与修复的基础上对不同文件类型、不同文件数量的GIS数据比如:csv、xlsx、shapefile类型的文件进行标准化处理,在标准化执行时,针对不同格式的数据,将统一转成csv格式后备用操作,以解决格式不统一问题;针对所有类型节点在一张表的综合点表、所有类型节点在多个单独点表的情况,以及线表,完成数据类型的映射。最后,在每个表内完成标准字段的映射,完成以上步骤,即可保证对用户提供的各类数据,都能执行GIS数据的标准化操作。
附图说明
图1为本发明一种对多层次天然气管网GIS数据标准化处理方法的流程图;
图2为本发明一种对多层次天然气管网GIS数据标准化处理方法中点表线表判断的具体流程图;
图3为本发明一种对多层次天然气管网GIS数据标准化处理方法的整体流程图;
图4为本发明一种对多层次天然气管网GIS数据标准化处理方法的流程图中单一点表与综合点表的数据类型映射字典创建的具体流程图;
图5为本发明一种对多层次天然气管网GIS数据标准化处理方法的流程图中点表整合的具体流程图;
图6为本发明一种对多层次天然气管网GIS数据标准化处理系统的结构示意图。
其中,附图标记如下:
数据处理模块100、查询模块200、映射模块300、整合模块400。
具体实施方式
为了使发明实现的技术手段、创造特征、达成目的和功效易于明白了解,下结合具体图示,进一步阐述本发明。
本发明提供一种对多层次天然气管网GIS数据标准化处理方法与系统,目的是在GIS自动化检查与修复的基础上对不同文件类型、不同文件数量的GIS数据比如:csv、xlsx、shapefile类型的文件进行标准化处理,在标准化执行时,针对不同格式的数据,将统一转成csv格式后备用操作,以解决格式不统一问题;针对所有类型节点在一张表的综合点表、所有类型节点在多个单独点表的情况,以及线表,完成数据类型的映射。最后,在每个表内完成标准字段的映射,完成以上步骤,即可保证对用户提供的各类数据,都能执行GIS数据的标准化操作。
如图1所示,第一方面,第一实施例,一种对多层次天然气管网GIS数据标准化处理方法,其中,包含以下步骤:
步骤1:获取GIS数据并进行数据格式转化成CSV格式文件;
步骤2:在点表数据类型映射字典与线表数据类型映射字典中进行查询获取CSV格式文件属于点表或线表;
步骤3:若为点表,则根据点表标准化字段配置字典对点表进行标准化映射得到点表数据;
若为线表,则根据线表标准化字段配置字典对线表进行标准化映射得到线表数据;
步骤4:对点表数据进行整合,得到点表整合文件。
如图2所示,无论是点表或是线表,都需要进行字段名的标准化映射,对于点表,系统将提供管网仿真计算需要的最低的标准化字段列表,线表同理,但点线表需要的标准化字段列表有所区别;对于点表,最低的标准化字段包括:节点坐标、节点ID、节点压力等级;对于线表,最低的标准化字段包括:管道ID、管道坐标、管道起点ID、管道终点ID、管长、管道外径、管道壁厚、管道材质、管道压力等级。
如图3所示,上述的一种对多层次天然气管网GIS数据标准化处理方法,其中,步骤1中需先判断GIS数据是否为CSV格式,若是则不进行数据格式转化,若不是则进行数据格式转化成CSV格式文件,并进行命名;
步骤2中通过在点表数据类型映射字典与线表数据类型映射字典中进行文件名为key的value的查询获取CSV格式文件属于点表或线表;
点表数据类型映射字典与点表数据类型字典,不仅用于获取文件是点表还是线表,同时还要映射到具体的数据类型,或者叫GIS图层类型(如:用户、门站等),当然这是对于单一点表或线表,如果上传的文件是综合点表,那么数据类型映射字典就只是通过文件名获取综合点表类型,但同时还要包括综合点表用于区分具体图层的字段名,及该字段中的值的集合。
上述的一种对多层次天然气管网GIS数据标准化处理方法,其中,步骤1中GIS数据若为shapefile格式则转化后以.dbf文件名作为CSV格式文件的名称,GIS数据若为excel格式则转换后以sheet_name作为CSV格式文件的名称,GIS数据若为CSV格式则转换后以.csv作为CSV格式文件的名称;
其中csv格式的数据可以是两份文件(一个综合点表、一个线表),也可以是多份文件(一个线表、若干不同类型的点表);xlsx格式的数据可以是一份包含多个工作表的工作薄,也可以是多份包含多个工作表的工作薄(excel里面不能存在冗余工作表);shapefile格式数据可以是两份文件(一个综合点表、一个线表),也可以是多份文件(一个线表、若干不同类型的点表),若为多张工作表则需要将每份工作表转换为一个独立CSV文件。
如图4所示,上述的一种对多层次天然气管网GIS数据标准化处理方法,其中,步骤2中点表包含单一点表与综合点表,在点表数据类型映射字典中进行文件名为key的value的查询获取CSV格式文件属于点表中的单一点表或综合点表;
单一点表即仅包含一个图层的节点集合,如一张均为用户类型节点的表或均为气源类型节点的表,反之,为综合点表,该表会把涉及的所有类型节点都涵盖进来,对于单一点表,其映射过程与线表一致,而对于综合点表,需要明确该表中可区分不同类型节点的字段,并完成该字段值的集合中,每种值向标准值名称的映射;
步骤3中若为单一点表则根据点表标准化字段配置字典对单一点表进行标准化映射得到单一点表数据;
若为综合点表则根据点表标准化字段配置字典对综合点表进行标准化映射得到综合点表数据;
如图5所示,步骤4中,GIS数据标准化是GIS检查、修复操作的基础,因此将单一点表数据拼接成综合点表,得到点表整合文件,若为综合点表则不需要进行整合。
上述的一种对多层次天然气管网GIS数据标准化处理方法,其中,步骤2中点表数据类型映射字典、线表数据类型映射字典的创建方法如下:
获取GIS总数据并进行数据格式转化成CSV标准格式文件;
提取CSV格式标准文件中的点表文件并进行映射得到点表数据类型映射字典;
提取CSV格式文件中的线表文件并进行管道数据类型映射得到线表数据类型映射字典;
步骤3中点表标准化字段配置字典、线表标准化字段配置字典的创建方法如下:
获取CSV格式标准文件中的点表文件进行标准化映射得到点表标准化字段配置字典;
获取CSV格式标准文件中的线表文件进行标准化映射得到线表标准化字段配置字典。
上述的一种对多层次天然气管网GIS数据标准化处理方法,其中,点表数据类型映射字典包含单一点表数据类型映射字典与综合点表数据类型映射字典,综合点表数据类型映射字典包含可区分不同类型节点的各字段的中值集合及每种值映射为标准节点类型的名称;
步骤2中通过在单一点表数据类型映射字典与综合点表数据类型映射字典中进行查询获取CSV格式文件属于单一点表或综合点表。
上述的一种对多层次天然气管网GIS数据标准化处理方法,其中,点表标准化字段配置字典包含单一点表标准化字段配置字典与综合点表标准化字段配置字典,综合点表标准化字段配置字典包含可区分不同类型节点类型的字段的值的集合;
步骤3中若为单一点表则根据单一点表标准化字段配置字典对单一点表进行标准化映射得到单一点表数据;
若为综合点表则根据综合点表标准化字段配置字典对综合点表进行标准化映射得到综合点表数据。
如图6所示,第二方面,第二实施例,一种对多层次天然气管网GIS数据标准化处理系统,其中,包含数据处理模块100、查询模块200、映射模块300、整合模块400;
数据处理模块100用于获取GIS数据并进行数据格式转化成CSV格式文件;
查询模块200用于在点表数据类型映射字典与线表数据类型映射字典中进行查询获取CSV格式文件属于点表或线表;
映射模块300用于根据点表标准化字段配置字典对点表进行标准化映射得到点表数据,还用于根据线表标准化字段配置字典对线表进行标准化映射得到线表数据;
整合模块400用于对点表数据进行整合,得到点表整合文件。
通过将本发明内容进行服务化,可使得非编程人员实施GIS自动数据治理的数据准备时,直接在前端按提示,逐个进行各GIS图层文件的标准化映射,极大提升了便利性,且用户在使用过程中,还可以增加新的标准化字段,也提升了数据治理的灵活性;
本发明内容可以针对任意数量的GIS图层文件,通过用户自定义映射配置文件,实现数据标准化,其他替代方案可能不通过配置文件,而直接要求用户在上传文件时,使用标准模板,这增加了用户的操作难度,尤其是针对非表格类的文件格式(shapefile等格式),且数据量较大时,用户是难以向模板中粘贴数据的;
利用点表标准化字段配置字典与线表标准化字段配置字典两份配置文件,可以对不定数量的多图层GIS文件,映射为具有标准化字段的点表和线表,这里图层的概念主要针对不同类型的节点,当然管道也是一个图层,如点表中的用户、气源、调压站、阀门、普通节点和管道等。
综上,本发明的一种对多层次天然气管网GIS数据标准化处理方法与系统,能够在GIS自动化检查与修复的基础上对不同文件类型、不同文件数量的GIS数据比如:csv、xlsx、shapefile类型的文件进行标准化处理,在标准化执行时,针对不同格式的数据,将统一转成csv格式后备用操作,以解决格式不统一问题;针对所有类型节点在一张表的综合点表、所有类型节点在多个单独点表的情况,以及线表,完成数据类型的映射。最后,在每个表内完成标准字段的映射,完成以上步骤,即可保证对用户提供的各类数据,都能执行GIS数据的标准化操作。
以上对发明的具体实施例进行了描述。需要理解的是,发明并不局限于上述特定实施方式,其中未尽详细描述的设备和结构应该理解为用本领域中的普通方式予以实施;本领域技术人员可以在权利要求的范围内做出各种变形或修改做出若干简单推演、变形或替换,这并不影响发明的实质内容。
Claims (5)
1.一种对多层次天然气管网GIS数据标准化处理方法,其特征在于,包含以下步骤:
步骤1:获取GIS数据并进行数据格式转化成CSV格式文件;
步骤2:在点表数据类型映射字典与线表数据类型映射字典中进行查询获取所述CSV格式文件属于点表或线表;
步骤3:若为点表,所述点表包含单一点表与综合点表,所述点表数据类型映射字典包含单一点表数据类型映射字典与综合点表数据类型映射字典,所述综合点表数据类型映射字典包含可区分不同类型节点的字段的值的集合及每种值映射为标准节点类型的映射关系;
在所述单一点表数据类型映射字典与所述综合点表数据类型映射字典中进行文件名为key的value的查询获取所述CSV格式文件属于所述点表中的所述单一点表或所述综合点表;
若为所述单一点表则根据所述点表标准化字段配置字典对所述单一点表进行标准化映射得到单一点表数据;
若为所述综合点表则根据所述综合点表数据类型映射字典,将所述综合点表中可区分不同类型节点的字段的值,映射为标准节点类型,再根据所述点表标准化字段配置字典对所述综合点表进行标准化映射得到综合点表数据;
若为线表,则根据线表标准化字段配置字典对所述线表进行标准化映射得到线表数据;
步骤4:将所述单一点表数据拼接成综合点表,得到点表整合文件,若为综合点表则不需要进行整合。
2.如权利要求1所述的一种对多层次天然气管网GIS数据标准化处理方法,其特征在于,步骤1中需先判断所述GIS数据是否为CSV格式,若是则不进行数据格式转化,若不是则进行数据格式转化成CSV格式文件,并进行命名;
步骤2中通过在所述点表数据类型映射字典与所述线表数据类型映射字典中进行文件名为key的value的查询获取所述CSV格式文件属于所述点表或所述线表。
3.如权利要求2所述的一种对多层次天然气管网GIS数据标准化处理方法,其特征在于,步骤1中所述GIS数据若为shapefile格式则转化后以.dbf文件名作为CSV格式文件的名称,所述GIS数据若为excel格式则转换后以sheet_name作为CSV格式文件的名称,所述GIS数据若为CSV格式则转换后以.csv作为CSV格式文件的名称。
4.如权利要求3所述的一种对多层次天然气管网GIS数据标准化处理方法,其特征在于,步骤2中所述点表数据类型映射字典、所述线表数据类型映射字典的创建方法如下:
获取GIS总数据并进行数据格式转化成CSV标准格式文件;
提取所述CSV格式标准文件中的点表文件并进行映射得到所述点表数据类型映射字典;
提取所述CSV格式文件中的线表文件并进行管道数据类型映射得到所述线表数据类型映射字典;
步骤3中所述点表标准化字段配置字典、所述线表标准化字段配置字典的创建方法如下:
获取所述CSV格式标准文件中的点表文件进行标准化映射得到所述点表标准化字段配置字典;
获取所述CSV格式标准文件中的线表文件进行标准化映射得到所述线表标准化字段配置字典。
5.一种对多层次天然气管网GIS数据标准化处理系统,其特征在于,包含数据处理模块、查询模块、映射模块、整合模块;
所述数据处理模块用于获取GIS数据并进行数据格式转化成CSV格式文件;
所述查询模块用于在点表数据类型映射字典与线表数据类型映射字典中进行查询获取所述CSV格式文件属于点表或线表;
所述映射模块用于判断属于点表或线表,若为点表,所述点表包含单一点表与综合点表,所述点表数据类型映射字典包含单一点表数据类型映射字典与综合点表数据类型映射字典,所述综合点表数据类型映射字典包含可区分不同类型节点的字段的值的集合及每种值映射为标准节点类型的映射关系;
在所述单一点表数据类型映射字典与所述综合点表数据类型映射字典中进行文件名为key的value的查询获取所述CSV格式文件属于所述点表中的所述单一点表或所述综合点表;
若为所述单一点表则根据所述点表标准化字段配置字典对所述单一点表进行标准化映射得到单一点表数据;
若为所述综合点表则根据所述综合点表数据类型映射字典,将所述综合点表中可区分不同类型节点的字段的值,映射为标准节点类型,再根据所述点表标准化字段配置字典对所述综合点表进行标准化映射得到综合点表数据;
若为线表,则根据线表标准化字段配置字典对所述线表进行标准化映射得到线表数据;
所述整合模块用于将所述单一点表数据拼接成综合点表,得到点表整合文件,若为综合点表则不需要进行整合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210874125.1A CN115062099B (zh) | 2022-07-25 | 2022-07-25 | 一种对多层次天然气管网gis数据标准化处理方法与系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210874125.1A CN115062099B (zh) | 2022-07-25 | 2022-07-25 | 一种对多层次天然气管网gis数据标准化处理方法与系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115062099A CN115062099A (zh) | 2022-09-16 |
CN115062099B true CN115062099B (zh) | 2022-11-25 |
Family
ID=83207099
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210874125.1A Active CN115062099B (zh) | 2022-07-25 | 2022-07-25 | 一种对多层次天然气管网gis数据标准化处理方法与系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115062099B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117290798B (zh) * | 2023-11-24 | 2024-02-06 | 上海叁零肆零科技有限公司 | 燃气管网拓扑数据中异常数据的检修方法、系统和芯片 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105427041A (zh) * | 2015-11-18 | 2016-03-23 | 国网山西省电力公司 | 一种在运变电站改扩建信息点表的标准化维护方法 |
CN108776660A (zh) * | 2018-03-28 | 2018-11-09 | 长安大学 | 一种基于ArcGIS的批量匹配道路属性的方法 |
CN109388680A (zh) * | 2017-08-07 | 2019-02-26 | 北京超图软件股份有限公司 | 一种提高浏览器端gis点数据渲染效率的方法和装置 |
CN110532530A (zh) * | 2019-09-05 | 2019-12-03 | 李永革 | 一种点位设置导航文件的制作方法 |
CN112101916A (zh) * | 2020-09-27 | 2020-12-18 | 广东电网有限责任公司中山供电局 | 一种监控信息点表快速标准化方法、装置及计算机可读存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140324630A1 (en) * | 2013-04-29 | 2014-10-30 | Wolfgis, Llc | System and method for delivering relevant, location-specific gis information to a mobile device |
CN111858796B (zh) * | 2020-06-22 | 2023-08-18 | 北京百度网讯科技有限公司 | 地理信息系统引擎系统及实现方法、装置及存储介质 |
-
2022
- 2022-07-25 CN CN202210874125.1A patent/CN115062099B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105427041A (zh) * | 2015-11-18 | 2016-03-23 | 国网山西省电力公司 | 一种在运变电站改扩建信息点表的标准化维护方法 |
CN109388680A (zh) * | 2017-08-07 | 2019-02-26 | 北京超图软件股份有限公司 | 一种提高浏览器端gis点数据渲染效率的方法和装置 |
CN108776660A (zh) * | 2018-03-28 | 2018-11-09 | 长安大学 | 一种基于ArcGIS的批量匹配道路属性的方法 |
CN110532530A (zh) * | 2019-09-05 | 2019-12-03 | 李永革 | 一种点位设置导航文件的制作方法 |
CN112101916A (zh) * | 2020-09-27 | 2020-12-18 | 广东电网有限责任公司中山供电局 | 一种监控信息点表快速标准化方法、装置及计算机可读存储介质 |
Non-Patent Citations (2)
Title |
---|
Speculative Distributed CSV Data Parsing for Big Data Analytics;Chang Ge.et.l;《SIGMOD "19: Proceedings of the 2019 International Conference on Management of Data》;20190731;第883-899页 * |
石化企业地下管线检测与总图管理软件;叶宏跃;《建设部科学技术委员会地下管线管理技术专业委员会2004年年会论文集》;20041231;第158-161页 * |
Also Published As
Publication number | Publication date |
---|---|
CN115062099A (zh) | 2022-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102622463B (zh) | 基于图模一致性的设计图自动检查校验的方法 | |
CN105117573B (zh) | 基于cad排水管网图纸信息的自动水力模型构建方法 | |
CN115062099B (zh) | 一种对多层次天然气管网gis数据标准化处理方法与系统 | |
CN103440312A (zh) | 一种通信地址查询邮政编码的系统及终端 | |
CN112100992B (zh) | 一种变电站点表生成及校核方法 | |
WO2023077891A1 (zh) | 城市区域路网批量提取道路起终点属性的方法 | |
CN115080681B (zh) | 一种gis数据检查方法及系统 | |
CN102609520A (zh) | 变电站模型数据过滤处理的导出方法 | |
CN104361105A (zh) | 基于本体推理的配电网模型及拓扑校验方法 | |
CN112948572A (zh) | 通过知识图谱可视化展示电力系统设备信息与关系的方法 | |
CN103577550A (zh) | 电网设备数据校验方法 | |
WO2014040488A1 (zh) | 一种规划数据一致性保证的方法和装置 | |
CN110806977A (zh) | 基于产品需求的测试用例集生成方法、装置及电子设备 | |
CN107256315A (zh) | 一种管道应力分析电算图的智能绘制方法 | |
CN113762724A (zh) | 一种基于bim技术协同设计和管理输变电工程的方法 | |
CN113255310A (zh) | 一种医学检验lims系统中检验报告可视化配置方法 | |
CN115034027B (zh) | 一种gis数据点线映射方法与系统 | |
CN116826709A (zh) | 可调节负荷资源与调度主站模型的自动匹配方法、装置、存储介质 | |
CN111708827A (zh) | 一种不动产单元编码系统 | |
CN110674623A (zh) | 模型化埋件定位信息的读取系统及其方法 | |
CN114971590A (zh) | 一种水务工程施工图审查系统 | |
CN113886999A (zh) | 通过cad数据快速建立排水模型与数据gis化的方法 | |
CN112560581A (zh) | 工程图纸管理系统、管理方法、计算机设备、介质及终端 | |
CN113496054A (zh) | 一种基于bim技术的垃圾焚烧发电厂施工设计方法 | |
CN109492209A (zh) | 一种表格签名栏自动生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |