CN114048189A - 一种基于动态分段的长距离输气管线时空数据融合系统及方法 - Google Patents

Abstract

本发明公开了一种基于动态分段的长距离输气管线时空数据融合系统及方法，涉及地下管线数据融合、数据组织模型和时空索引领域，其步骤包括：获取输气管线数据；对输气管线数据进行提取，得到输气管线的样本数据；对输气管线的样本数据进行标准化处理，得到标准化处理后的样本数据；对标准化处理后的样本数据进行数据转换，得到转换完成后的样本数据。对转换完成后的样本数据进行数据融合，建立输气管线时空数据库。本发明可以进行长距离输气管线时空数据融合，并建立时空数据索引模型高效管理数据，实现长距离输气管线本体、运维与环境数据的一体化组织与管理，为长距离输气管线安全时空分析并准确获得管线运营的潜在安全隐患提供坚实的数据支撑。

Description

一种基于动态分段的长距离输气管线时空数据融合系统及 方法

技术领域

本发明涉及地下管线数据融合、数据组织模型和时空索引领域，具体是一种基于动态分段的输气管线时空数据融合系统及方法。

背景技术

长距离输气管线时空数据包括长距离输气管线本体、运维与环境数据，三类数据是长距离输气管线的时空安全分析的基础数据。但是现阶段三类数据由不同部门分别管理，数据结构差异性大，阻碍了长距离输气管线时空数据的有效统一管理，限制了长距离输气管线的时空安全分析的综合性和准确性。为此研究一种将长距离输气管线时空数据融合技术方法是长距离输气管线的时空安全分析亟待解决的难题。

长距离输气管线数据融合、组织模型和时空索引研究针对目前仅依靠长距离输气管线管线本体数据开展长距离输气管线时空安全分析不全面、不准确、不实用的技术现状，充分利用多部门保管的长距离输气管线本体、运维与环境数据，研究长距离输气管线及其相关数据的分类和组织结构特征，建立以空间维度标识的长距离输气管线数据转换数学模型，设计长距离输气管线数据融合组织模型和时空索引机制，实现长距离输气管线本体、运维与环境数据的一体化组织与管理，为长距离输气管线安全时空分析并准确获得管线运营的潜在安全隐患提供坚实的基础数据支撑。

发明内容

鉴于上述技术缺点，本发明提供了一种基于动态分段的输气管线时空数据融合系统及方法。

为实现上述发明目的，本发明的技术方案如下：

一种基于动态分段的输气管线时空数据融合系统，包括：

信息提取模块，用于从所收集的多源、异构输气管线数据(包括本体数据、环境数据和运维数据等) 中提取输气管线的样本数据，样本数据包括环境数据、运维数据和巡检数据；

数据标准化处理模块，用于输气管线样本数据的标准化处理与转换，建立格式统一、数据标准一致和空间基准、时间基准相同的输气管线样本数据；

数据融合模块，用于输气管线样本数据的坐标转换、空间维度转换、语义关联、表格转换、线性匹配，进行输气管线拓扑关系构建和检查入库，建立输气管线时空数据库。

所述信息提取模块，用于从输气管线的本体数据中提取输气管线的样本数据,样本数据。

作为优选的，所述数据标准化处理模块包括数据清洗子模块、格式转换子模块和字段映射子模块；

所述数据清洗子模块，用于对输气管线样本数据的缺失项和错误项进行清洗；

所述格式转换子模块，用于将清洗后的输气管线样本数据按照数据规定进行格式转换，转换成存储格式统一的样本数据；

所述字段映射子模块，用于对对上述处理过的不同字段长度、不同字段名称等的输气管线样本数据，按照数据规定将字段映射为标准字段。

6.作为优选的，所述数据融合模块包括所述数据转换与融合模块包括坐标转换子模块、空间维度转换子模块、语义匹配子模块、表格转换子模块、线性匹配子模块、检查入库子模块。

所述坐标转换子模块，用于对以经纬度形式记录空间位置的样本数据进行坐标转换，建立以统一空间基准的属性信息数据；

所述空间维度转换子模块，用于对以平面坐标形式记录空间位置的输气管线数据库进行空间维度转换、分段计算以及属性赋予，建立以里程形式为空间基准的输气管线数据库；

所述语义匹配子模块，用于对以文字形式记录空间位置的样本数据进行智能语义空间关联定位，建立以统一空间基准的属性信息数据；

所述表格转换子模块，用于对以表格形式记录空间位置的样本数据进行空间化处理，建立以统一空间基准的属性信息数据；

所述线性匹配子模块，用于经上述处理后的输气管线运维数据、环境数据与本体数据进行定位，构建输气管线数据库；

所述检查入库子模块，用于经上述处理后输气管线数据库进行拓扑关系构建、检查入库，按照时空数据组织模型和索引机制构建输气管线时空数据库。

一种基于动态分段的输气管线时空数据融合方法，应用于上述任意一项所述的一种基于动态分段的输气管线时空数据融合系统，包括如下步骤：

S1，收集的输气管线数据，包括本体数据、环境数据和运维数据等多源、异构数据；

S2，从所收集的多源、异构输气管线数据(包括本体数据、环境数据和运维数据等)中提取输气管线的样本数据，样本数据包括环境数据、运维数据和巡检数据；

S3，通过数据清洗、格式转换、字段映射对输气管线样本数据的标准化处理与转换，建立格式统一、数据标准一致和空间基准、时间基准相同的输气管线样本数据；

S4，通过坐标转换、语义关联、表格转换、线性匹配、空间维度转换对不同形式记录空间位置的样本数据进行空间化处理，转换成统一空间基准、时间基准的输气管线属性信息，同时进行输气管线拓扑关系构建和检查入库；

S5，按照一定的组织模型和时空索引机制构建输气管线时空数据库。

本发明的有益效果是：本发明提出了一种基于动态分段的输气管线时空数据融合系统及方法，可以进行长距离输气管线时空数据融合，并建立时空数据索引模型高效管理数据，实现长距离输气管线本体、运维与环境数据的一体化组织与管理，为长距离输气管线安全时空分析并准确获得管线运营的潜在安全隐患提供坚实的基础数据支撑。

附图说明

图1为本发明提供的：基于动态分段的长距离输气管线时空数据融合流程示意图；

图2为本发明提供的：长距离输气管线数据线性匹配示意图；

图3为本发明提供的：长距离输气管线数据空间维度转换流程示意图；

图4为本发明提供的：长距离输气管线本体时空数据组织逻辑示意图；

图5为本发明提供的：长距离输气管线动态分段时空数据组织逻辑示意图。

具体实施方式

下面结合本发明的附图1-5，对本发明实施例中的技术方案进行清楚、完整地描述，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

如图1所示，一种基于动态分段的输气管线时空数据融合系统，包括：

信息提取模块，用于从所收集的多源、异构输气管线数据(包括本体数据、环境数据和运维数据等) 中提取输气管线的样本数据，样本数据包括环境数据、运维数据和巡检数据；

数据标准化处理模块，用于输气管线样本数据的标准化处理与转换，建立格式统一、数据标准一致和空间基准、时间基准相同的输气管线样本数据；

数据融合模块，用于输气管线样本数据的坐标转换、空间维度转换、语义关联、表格转换、线性匹配，进行输气管线拓扑关系构建和检查入库，建立输气管线时空数据库。

所述信息提取模块，用于从输气管线的本体数据中提取输气管线的样本数据。

优选的，所述数据标准化处理模块包括数据清洗子模块、格式转换子模块、字段映射子模块；

所述数据清洗子模块，用于对上述处理的输气管线样本数据，进行数据缺失项和错误项检查与处理；

所述格式转换子模块，用于对上述处理的输气管线样本数据，按照数据规定进行格式转换，转换成存储格式统一的样本数据；

所述字段映射子模块，用于对对上述处理不同字段长度、不同字段名称等的输气管线样本数据，按照数据规定将字段映射为标准字段。

优选的，所述数据融合模块包括坐标转换子模块、空间维度转换子模块、语义匹配子模块、表格转换子模块、线性匹配子模块、检查入库子模块。

所述坐标转换子模块，用于对以经纬度形式记录空间位置的样本数据进行坐标转换，建立以统一空间表示形式的属性信息数据；

所述语义匹配子模块，用于对以文字形式记录空间位置的样本数据进行智能语义空间关联，建立以统一空间表示形式的属性信息数据；

所述表格转换子模块，用于对以表格形式记录空间位置的样本数据进行空间化处理，建立以统一空间表示形式的属性信息数据；

所述线性匹配子模块，用于经上述处理后的输气管线样本数据进行线性定位，构建输气管线数据库；

所述空间维度转换子模块，用于对以平面坐标形式记录空间位置的样本数据进行空间维度转换、分段计算与属性赋予，建立以里程形式表示空间位置的输气管线数据库；

所述检查入库子模块，用于经上述处理后输气管线数据库进行拓扑关系构建、检查入库，按照时空数据组织模型和索引机制构建输气管线时空数据库。

一种基于动态分段的输气管线时空数据融合方法，应用于上述任意一项所述的一种基于动态分段的输气管线时空数据融合系统，包括如下步骤：

S1，收集的输气管线数据，包括本体数据、环境数据和运维数据等多源、异构数据；

S2，从所收集的多源、异构输气管线数据(包括本体数据、环境数据和运维数据等)中提取输气管线的样本数据，样本数据包括环境数据、运维数据和巡检数据；

S3，通过数据清洗、格式转换、字段映射对输气管线样本数据的标准化处理与转换，建立格式统一、数据标准一致和空间基准、时间基准相同的输气管线样本数据；

S4，通过坐标转换、空间维度转换、语义关联、表格转换、线性匹配对不同形式记录空间位置的样本数据进行空间化处理，转换成统一空间基准、时间基准的输气管线属性信息，同时进行输气管线拓扑关系构建和检查入库；

S5，按照一定的组织模型和时空索引机制构建输气管线时空数据库。

本发明实施依托基于动态分段的长距离输气管线时空数据融合系统及方法，将长距离输气管线本体类数据，以坐标匹配为基础，利用数据融合组织模型，将长距离输气管线运维类和环境类数据融合到长距离输气管线本体类数据，包括以下步骤：

长距离输气管线数据融合流程以空间位置为基础，通过坐标转换、语义匹配、表格转换、线性匹配、空间维度转换进行空间维度转换、分段计算与属性赋予，利用数据融合、组织模型将各类数据进行融合。其中，以横纵坐标或经纬度形式记录空间位置的运维数据(如巡检数据、内检测数据、防腐数据、牺牲阳极保护数据等)、环境数据(若地质灾害、施工区域等)通过坐标转换、线性匹配、空间维度转换将二维坐标空间数据转换为一维里程的空间数据，同时进行线性匹配定位、分段计算与属性赋予，实现与长距离输气管线本体数据的融合；以文字形式记录空间位置的运维数据(事故事件等)、环境数据通过地理空间关联定位的语义匹配、线性匹配、空间维度转换将二维坐标空间数据转换为一维里程的空间数据，同时进行线性定位、分段计算与属性赋予，实现与长距离输气管线本体数据的融合；以里程形式记录空间位置的运维数据(事故事件等)、环境数据等通过线性匹配、空间维度转换进行线性定位、分段计算与属性赋予，实现与长距离输气管线本体数据的融合；以表格形式记录空间位置的运维数据(事故事件等)、环境数据等通过坐标转换、线性匹配、空间维度转换将二维坐标空间数据转换为一维里程的空间数据，同时进行线性定位、分段计算与属性赋予，实现与长距离输气管线本体数据的融合。

通过上述数据融合，实现长距离输气管线本体数据、运维数据和环境数据的融合，建立长距离输气管线时空数据库，实现长距离输气管线安全隐患数据的一体化管理，为长距离输气管线时空安全分析提供基础数据支撑。

信息提取

通过对收集到的长距离输气管线本体数据、运维数据和环境数据的分析，数据来源渠道很多，有设计单位的设计数据、管线探测单位的探测数据、施工单位的竣工数据、管线单位的巡检数据、管网检测单位的内外检测数据、城建施工单位的施工信息等，数据格式有表格、图形和数据库形式，存储形式有纸质、电子等，但其数据信息内容较多，将所有数据的全部信息进行融合不但增加数据冗余度，且影响数据质量。因此在数据融合之前，从海量、数据格式不同、存储形式多样、表示形式多样、模糊的、随机的长距离输气本体数据、运维数据和环境数据中提取出蕴涵长距离输气管线安全运行有关的空间位置信息、安全属性信息等数据，为建立长距离输气管线时空数据建库奠定基础。

标准化处理

针对通过信息提取的不同数据格式、内容多样，表达不全、字段名称不同的空间位置信息进行数据清洗、格式转换、字段映射，将其转换为格式统一、标准一致、结构相同、字段长度与名称相同的长距离输气管线数据(包括本体数据、运维数据和环境数据等)，将其形成结构化数据放入输气管线数据库。

数据融合

针对不同空间位置形式的长距离输气管线，先通过坐标转换、空间维度转换、语义匹配和表格转换进行空间位置转换，统一转化为以里程形式表达空间位置的属性数据，然后再通过线性匹配进行线性定位、分段计算和属性赋予，将长距离输气管线运维数据、环境数据与本体数据进行融合，再通过检查入库进行输气管线拓扑关系构建和检查入库，形成长距离输气管线时空数据库。

坐标转换，针对不同坐标系统的输气管线本体数据、运维数据和环境数据，例如以不同基准的平面横纵坐标形式、大地经纬度形式记录空间位置统的输气管线本体数据、运维数据和环境数据。通报坐标转换将其转换成统一基准的平面坐标形式表示空间位置信息的输气管线本体数据、运维数据和环境数据。

语义匹配，针对以文字形式记录空间位置的数据，根据地理空间关联的语义定位，将其转换为以里程形式表示的空间位置信息的输气管线本体数据、运维数据和环境数据。

表格转换，针对以表格形式记录空间位置的数据，进行表格空间化处理，将其转换为以里程形式表示的空间位置信息的输气管线本体数据、运维数据和环境数据。

线性匹配，通过上述处理，仅将输气管线本体数据、运维数据和环境数据进行了标准化处理和线性定位，转换成以里程形式表示空间位置信息的各属性信息数据，并不能确保这些属性信息数据均落在输气管线本体上，也就未能与输气管线本体数据进行融合。因此，针对经过上述处理的输气管线运维数据和环境数据，还需要通过线性匹配，将运维数据、环境数据与输气管线本体数据进行线性定位，从而与管线本体进行融合。线性匹配的数学模型具体如下：

如图2所示，将点p(x_i,y_i)匹配到直线段l(所在直线方程为ax+by+c＝0)上的方法时，过点p作直线l 的垂线，垂脚为点p₀(x₀,y₀)，则p₀就是p在直线段l上的匹配点。

由点到直线距离的定义可知，点p(x_i,y_i)到直线段l的垂线段|pp₀|的长度就是点p(x_i,y_i)到直线段l的距离。直线l的斜率为-a/b，则pp0所在直线的斜率为b/a，其直线方程为：

y-y_i＝b/a(x-x_i) (1)

此方程与公式(1)的方程联立，可得：

空间维度转换，针对上述转换成统一基准的平面坐标形式表示空间位置的输气管线本体数据、运维数据和环境数据，通过空间维度转换成以里程形式表示空间位置信息的输气管线本体数据、运维数据和环境数据，即二维坐标数据换为一维里程数据，其数学模型和实现流程具体如下：

如图3所示，已知有二维空间数据表达的线性目标，其坐标为{P_i}，(p_i＝(x_i,y_i)，i＝0,1,…,n-1)，在该线性目标上有一点P_i(x_i,y_i)。计算点P_i离起点P₀(x₀,y₀)的距离L_i(线性参考坐标)。计算模型如下：

首先寻找点p_i所在的直线段P_i-1P_i，然后依次从起点p₀计算各直线段的距离并累加，直到计算并累加 |P₀A|的长度。计算模型如下：

L_i＝L_i-1+ΔS_i-1,i (4)

数据组织模型

如图4所示，按照地理空间要素的实际体现，长距离输气管线本体数据由管段及其附属设施组成，抽象成空间要素，分别为线要素与点要素，即描述管段走向的管线线段要素与管段节点的管线点要素，管线线段要素长度及管段节点的位置可根据需求进行设置。管段关联的各项信息均作为属性数据进行存储，除包含传统管段本身的属性描述信息如材质、埋深、权属单位等数据外，重点涵盖管段关联的各项其他地上要素数据，如地质灾害、地表覆盖和政府规划、各类红线等点状、线状和面状信息数据。

如图5所示，在长距离输气管线数据组织模型的基础上，将经过数据清洗、坐标转换、维度转换操作后的各项管线的关联数据按照其空间位置分布关联到管段和管点对应的属性项中并作为一般属性信息存储，其中，管线相互关联的地上要素数据按照其空间属性分为点状和面状，如地质灾害数据的点要素属性，地表覆盖分类和政府规划区域等带有显著范围信息的均为面状属性。点状要素数据按照其空间点位坐落的管段，直接存储在对应的管段属性中，面状要素数据按照其影响的管段区域，作为其影响的管段属性数据进行存储，不同的地上要素在管段属性中分表存储，且在各自的属性表中保留其时间、事件等特殊属性。

在长距离输气管线安全研究领域，长距离输气管线本体数据、管线内腐蚀数据、管线外腐蚀数据以及管线外部数据以及运维数据(包括日常巡检)是以整条线路总长、公里桩为目标进行空间管理，因此长距离输气管线的研究单元也就以管线本体数据、内腐蚀数据、外腐蚀数据、管线外部环境数据、管线外部数据以及运维数据(包括日常巡检)的动态分界设置管点，以管点之间的管段为基本研究单位，开展管点、管段的空间匹配与属性关联，管段内管径、管材、内腐蚀、外腐蚀、地质灾害、行政区域等内外影响因素都一致，这样既满足安全分析研究的尺度需求，也便于分析结果在管线本体数据上直观、清晰展示。

时空数据索引模型

为了提高长距离输气管线时空数据的索引效率，对长距离输气管线数据建立时空索引表。其中时空索引是应用于TGIS(Temporal GIS)的一种时空索引结构，通过在传统空间索引的基础上拓展时间维度，从而实现时空数据编码的方法，考虑其存储方便，采用64位整形数据对其进行存储，组织方法如下表所示。

唯一标识码	时间编码	空间编码
			36位	8位	48位

考虑长距离输气管线时空数据最终将与“天地图”集成加载与检索，因此借鉴天地图中地理空间数据四叉树编码规则进行计算空间编码。

唯一标识码与该条属性信息的唯一ID统一，可将唯一ID值直接赋值给唯一标识码。

时间编码采用的编码数值，为获取当前属性记录值的时间值，其尺度有年、月、日、时等不同的尺度，因此在编码过程中将其统一到日，分别赋予年份4位值码、月与日2位值码。

如2018年6月5日即可表示为时间编码：20180605，已知任何一时间编码均可反解为其时间数据。

空间编码采用四叉树编码，在本项目中完全采用“天地图”的空间编码规则，每条属性记录其空间位置选择当前所在管段的中心点坐标进行编码，选择“天地图”公开数据的最高层级作为编码计算层级，即层级K＝XXXXX。任意坐标纬度B，经度L，其编码计算方法如下：

行编码：Row＝[2k(B+90)/90]Mod(2k)；

列编码：Col＝[2k(L+180)/180]Mod(2k)；

[]为向下取整运算符，Mod为取模运算符。

其任意坐标值的空间编码即为Row与Col的组合值，中间用分号隔开，即空间编码为：Row；Col。

尽管已知任意空间编码不足以反解其空间位置坐标(但可结算出其所在的空间范围)，但通过检索到的空间编码、属性记录表能够快速查询到相同空间编码的所有属性信息记录数据，已能够满足海量长距离输气数据的快速检索与删选需求。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (5)

1.一种基于动态分段的输气管线时空数据融合系统，其特征在于，包括：

信息提取模块，用于从所收集的多源、异构输气管线数据中提取输气管线的样本数据，样本数据包括环境数据、运维数据和巡检数据；

数据标准化处理模块，用于输气管线样本数据的标准化处理与转换，建立格式统一、数据标准一致和空间基准、时间基准相同的输气管线样本数据；

数据融合模块，用于输气管线样本数据的坐标转换、空间维度转换、语义关联、表格转换、线性匹配，进行输气管线拓扑关系构建和检查入库，建立输气管线时空数据库。

2.根据权利要求1所述的一种基于动态分段的输气管线时空数据融合系统，其特征在于，所述信息提取模块，用于从输气管线的本体数据中提取输气管线的样本数据。

3.根据权利要求1所述的一种基于动态分段的输气管线时空数据融合系统，其特征在于，所述数据标准化处理模块包括数据清洗子模块、格式转换子模块和字段映射子模块；

数据清洗子模块，用于对输气管线样本数据的缺失项和错误项进行清洗；

格式转换子模块，用于将清洗后的输气管线样本数据按照数据规定进行格式转换，转换成存储格式统一的样本数据；

字段映射子模块，用于对上述处理过的不同字段长度、不同字段名称的输气管线样本数据，按照数据规定将字段映射为标准字段。

4.根据权利要求3所述的一种基于动态分段的输气管线时空数据融合系统，其特征在于，所述数据融合模块包括坐标转换子模块、空间维度转换子模块、语义匹配子模块、表格转换子模块、线性匹配子模块、检查入库子模块。

坐标转换子模块，用于对以经纬度形式记录空间位置的样本数据进行坐标转换，建立以统一空间基准的属性信息数据；

语义匹配子模块，用于对以文字形式记录空间位置的样本数据进行智能语义空间关联定位，建立以统一空间基准的属性信息数据；

表格转换子模块，用于对以表格形式记录空间位置的样本数据进行空间化处理，建立以统一空间基准的属性信息数据；

线性匹配子模块，用于经上述处理后的输气管线运维数据、环境数据与本体数据进行定位，构建输气管线数据库；

空间维度转换子模块，用于对以平面坐标形式记录空间位置的输气管线数据库进行空间维度转换、分段计算以及属性赋予，建立以里程形式为空间基准的输气管线数据库；

检查入库子模块，用于经上述处理后输气管线数据库进行拓扑关系构建、检查入库，按照时空数据组织模型和索引机制构建输气管线时空数据库。

5.一种基于动态分段的输气管线时空数据融合方法，其特征在于，应用于权利要求1-4任意一项所述的一种基于动态分段的输气管线时空数据融合系统，包括如下步骤：

S1，收集的输气管线数据，包括本体数据、环境数据和运维数据的多源、异构数据；

S2，从所收集的多源、异构输气管线数据中提取输气管线的样本数据，样本数据包括环境数据、运维数据和巡检数据；

S3，通过数据清洗、格式转换、字段映射对输气管线样本数据的标准化处理与转换，建立格式统一、数据标准一致和空间基准、时间基准相同的输气管线样本数据；

S4，通过坐标转换、空间维度转换、语义关联、表格转换、线性匹配对不同形式记录空间位置的样本数据进行空间化处理，转换成统一空间基准、时间基准的输气管线属性信息，同时进行输气管线拓扑关系构建和检查入库；

S5，按照一定的组织模型和时空索引机制构建输气管线时空数据库。

Images