CN113239107A - 基于etl的道路矢量数据要素匹配与联动方法 - Google Patents
基于etl的道路矢量数据要素匹配与联动方法 Download PDFInfo
- Publication number
- CN113239107A CN113239107A CN202110787091.8A CN202110787091A CN113239107A CN 113239107 A CN113239107 A CN 113239107A CN 202110787091 A CN202110787091 A CN 202110787091A CN 113239107 A CN113239107 A CN 113239107A
- Authority
- CN
- China
- Prior art keywords
- road
- data
- vector data
- road vector
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了基于ETL的道路矢量数据要素匹配与联动方法,包括以下步骤:S1,比较分析道路矢量数据的差异性,参考道路矢量数据差异及道路矢量数据标准规范,选用数据仓库模式对道路矢量数据进行抽取转换,基于ETL技术建立道路矢量数据抽取转换的模板;S2,对比分析不同数据来源或不同时间版本的道路矢量数据差异,依据道路矢量数据类型采用多种要素匹配算法提取几何差异数据;S3,在几何匹配的基础上,对相互匹配的道路矢量要素进行属性传递,完善道路矢量数据的相关属性;S4,在道路矢量数据要素匹配的基础上得出道路矢量差异数据,作为增量道路数据对道路矢量数据进行联动更新。
Description
技术领域
本发明属于交通矢量数据存储管理技术领域,尤其涉及基于ETL的道路矢量数据要素匹配与联动方法。
背景技术
维护空间数据的准确性和现势性是基础地理信息数据库建设的重要任务,作为国家基础地理信息数据库的重要组成部分,道路矢量数据具有来源广泛、类型繁多、结构复杂、精度不一等特点,其多源异构性对数据匹配提出了挑战,如何解决道路矢量数据存储管理混乱与更新滞后问题具有较强的现实意义。然而,在现有国家基础地理信息数据库更新模式上,通常采用新时间版本数据进行逐年更新,即以新版本空间数据直接更替老版本空间数据。在实现空间数据要素匹配与增量更新方面,仍处于人工批量更新阶段。主要缺陷在于:
在基于目标要素匹配的增量数据提取与原有数据更新方面,存在过度注重理想状态下要素匹配与判别规则的建立,忽视了空间实体间存在的差异性,且要素匹配算法设计过于严密,对于多源异构环境下的空间数据的同步更新以及在相关应用系统的设计开发上缺少可行性。在实际应用上还存在较大问题。进行逐年替换更新成本较高,且人工批量使得空间数据周期性的定期更新已经无法满足地理数据的现势性要求。部分方案由于变更规则的不完备导致后续要素匹配操作缺少必要的空间关系,难以实现增量提取。
发明内容
本发明目的在于提供基于ETL的道路矢量数据要素匹配与联动方法。
本发明为提供基于ETL的道路矢量数据要素匹配与联动方法,包括以下步骤:
S1,比较分析道路矢量数据的差异性,参考道路矢量数据差异及道路矢量数据标准规范,选用数据仓库模式对道路矢量数据进行抽取转换,基于ETL技术建立道路矢量数据抽取转换的模板;
S2,对比分析不同数据来源或不同时间版本的道路矢量数据差异,依据道路矢量数据类型采用多种要素匹配算法提取几何差异数据;
S3,在几何匹配的基础上,对相互匹配的道路矢量要素进行属性传递,完善道路矢量数据的相关属性;
S4,在道路矢量数据要素匹配的基础上得出道路矢量差异数据,作为增量道路数据对道路矢量数据进行联动更新;
所述S1-S4基本流程如下所述:
步骤(1)参考道路矢量数据规范,使用ETL抽取转换技术建立道路矢量数据抽取转换模板;
步骤(2)依据数据实际情况制定道路矢量数据几何匹配的相似性度量指标,实现道路矢量数据要素匹配;
步骤(3)提取增量道路数据;
步骤(4)进行数据的属性传递,实现多源或不同时间版本的道路矢量数据的对比与完善;
步骤(5)以增量道路数据对原数据进行更新,依据要素类型与匹配程度提出多种增量更新方案;
步骤(6)将道路矢量数据进行联动更新。
特别的,S2中,根据匹配度划分高、中、低多种匹配类型,道路矢量数据匹配包括几何特征匹配和属性特征传递。
特别的,S4中,任一道路库中的道路要素发生数据变化,其他道路库中与之相关联的道路要素也随之更新,且只有当变化区域要素精度优于原始数据时才可进行更新,即用高精度数据更新低精度数据;若不满足精度则标记该差异数据返还给数据生产部门进行补测后于下一年度再进行更新。
特别的,在步骤(1)之前,应对数据进行格式转换、坐标转换、图幅接边等数据预处理操作,以达到道路矢量数据抽取转换的标准;
在格式转换上,完成MDB、GDB、SHP、CSV等格式间的相互转换;
在坐标转换上,主要考虑WGS-84坐标系向2000国家大地坐标系的转换,作为测绘数据的主流坐标系;
在图幅接边中,因基础测绘数据是按标准分幅进行存储,地理国情数据是按行政区划进行存储;
要实现基础测绘数据与地理国情数据的匹配对比,则须先合并图幅裁剪至所属行政区范围内,其次再对合并裁剪后的基础测绘数据进行图幅接边处理。
特别的,所述步骤(1)中,对道路原始库数据进行规范梳理与分析,利用ETL技术对道路原始库数据进行抽取、转换、加载等操作,并对道路矢量要素图层进行标准化分层处理,及属性规整处理后形成道路母库;对于道路矢量数据存在分层存储不一致的部分,按照模板标准对数据进行抽取与转换;对于道路矢量数据的属性字段,按照数据标准在抽取转换过程中增加或删除字段或补录相关属性,实现道路矢量数据的规整。
特别的,所述步骤(2)中,将道路矢量数据抽象为道路点、道路线、道路面,并通过“几何匹配”的方式量化计算道路矢量要素间的几何匹配度,根据几何匹配度划分匹配类型,几何对象间的相似性特征是对象几何匹配的根本依据。
特别的,所述步骤(5)中,根据在道路矢量数据要素更新上,将要素匹配得到的变化数据或差异数据视为增量数据,以增量数据作为道路矢量数据更新对象,采用不同的更新模式对道路矢量数据进行更新。
特别的,所述步骤(6)中,基于空间数据仓库的模式对道路矢量数据进行存储,采用道路原始库、道路母库、道路临时库等道路库存储道路矢量数据,道路矢量数据联动更新就是指道路矢量数据间实行联动,任一道路库中的道路要素发生数据变化,其他道路库中与之相关联的道路要素也随之更新的更新机制。
本发明具有的优点和积极效果如下:本发明组合了空间可用版本的ETL组件,依据道路矢量数据标准设计了一个道路矢量数据抽取转换模板,根据道路矢量要素类型与匹配类型,提出道路矢量数据的增量数据联动更新方案,采用ETL技术对道路矢量数据进行匹配与更新,且增量更新与联动更新的方式减少了道路数据更新的工作量,相比其它手段减少了人工匹配与更新时间,降低人工干预影响,提高了数据更新的效率,具有一定的生产与应用价值。
附图说明
图1示出了道路矢量数据要素匹配与更新的流程图;
图2示出了利用ETL技术道路点要素匹配的过程图;
图3示出了利用ETL技术道路点要素属性传递的过程图;
图4示出了利用ETL技术道路点要素增量更新的流程图;
图5示出了利用ETL技术道路线要素匹配的流程图;
图6示出了利用ETL技术道路线要素属性传递的流程图;
图7示出了利用ETL技术道路线要素增量更新的流程图;
图8示出了利用ETL技术道路面要素匹配的流程图;
图9示出了利用ETL技术道路面要素属性传递的流程图;
图10示出了利用ETL技术道路面要素增量更新的流程图;
图11示出了道路矢量数据联动更新机制图。
具体实施方式
为能进一步了解本发明的发明内容、特点及功效,兹列举以下实施例,并配合附图详细说明如下。
如图1-11所示:
实施例1:
本实施例中,提供基于ETL的道路矢量数据要素匹配与联动方法,包括以下步骤:
S1,比较分析道路矢量数据的差异性,参考道路矢量数据差异及道路矢量数据标准规范,选用数据仓库模式对道路矢量数据进行抽取转换,基于ETL技术建立道路矢量数据抽取转换的模板;
S2,对比分析不同数据来源或不同时间版本的道路矢量数据差异,依据道路矢量数据类型采用多种要素匹配算法提取几何差异数据;
S3,在几何匹配的基础上,对相互匹配的道路矢量要素进行属性传递,完善道路矢量数据的相关属性;
S4,在道路矢量数据要素匹配的基础上得出道路矢量差异数据,作为增量道路数据对道路矢量数据进行联动更新;
所述S1-S4基本流程如下所述:
步骤(1)参考道路矢量数据规范,使用ETL抽取转换技术建立道路矢量数据抽取转换模板;
步骤(2)依据数据实际情况制定道路矢量数据几何匹配的相似性度量指标,实现道路矢量数据要素匹配;
步骤(3)提取增量道路数据;
步骤(4)进行数据的属性传递,实现多源或不同时间版本的道路矢量数据的对比与完善;
步骤(5)以增量道路数据对原数据进行更新,依据要素类型与匹配程度提出多种增量更新方案;
步骤(6)将道路矢量数据进行联动更新。
具体的,在步骤1之前,应对数据进行格式转换、坐标转换、图幅接边等数据预处理操作,以达到道路矢量数据抽取转换的标准。在格式转换上,完成MDB、GDB、SHP、CSV等格式间的相互转换。在坐标转换上,主要考虑WGS-84坐标系向2000国家大地坐标系的转换,作为测绘数据的主流坐标系。在图幅接边中,因基础测绘数据是按标准分幅进行存储,地理国情数据是按行政区划进行存储。要实现基础测绘数据与地理国情数据的匹配对比,则须先合并图幅裁剪至所属行政区范围内,其次再对合并裁剪后的基础测绘数据进行图幅接边处理。
在步骤(1)中,对道路原始库数据进行规范梳理与分析,利用ETL技术对道路原始库数据进行抽取、转换、加载等操作,并对道路矢量要素图层进行标准化分层处理,及属性规整处理后形成道路母库。对于道路矢量数据存在分层存储不一致的部分,按照模板标准对数据进行抽取与转换。对于道路矢量数据的属性字段,按照数据标准在抽取转换过程中增加或删除字段或补录相关属性,实现道路矢量数据的规整。
在步骤(2)中,将道路矢量数据抽象为道路点、道路线、道路面,并通过“几何匹配”的方式量化计算道路矢量要素间的几何匹配度,根据几何匹配度划分匹配类型。几何对象间的相似性特征是对象几何匹配的根本依据。
道路矢量要素几何匹配上,将待匹配图层与原图层进行叠加比对,使用缓冲区叠加分析或长度/面积重叠度来衡量道路要素间的几何匹配程度,缓冲区是地理空间对象的影响范围或服务范围。
对于道路点要素的几何匹配上,利用点缓冲区分析来实现道路点要素的几何匹配。首先,设置合理的缓冲区半径,该半径是道路点要素几何匹配的邻域距离阈值。其次,根据缓冲区半径,对原道路矢量要素点进行缓冲区分析,搜索邻域范围内的目标道路矢量要素点。随后,针对落入目标区域内的道路矢量要素点的个数将原数据点划分为不匹配、单匹配、多匹配等类型。
几何匹配度又称重叠度,使用道路要素几何匹配度来评估道路要素间的几何相似性,即评估原道路要素与待匹配道路要素间的匹配程度。通过计算道路线要素或道路面要素的几何重叠度,量化得到道路线要素或道路面要素的几何匹配度。公式2-1为道路线要素几何匹配度计算公式,公式2-2为道路面要素几何匹配度计算公式:
Match Ratio_line表示道路线要素的几何匹配度,Length(I)表示待匹配道路线与原道路线的相交长度,Length(P)表示待匹配道路线的长度。Match Ratio_polygon表示道路面要素的几何匹配度,Area(I)表示待匹配道路面与原道路面的相交面积,Area(P)表示待匹配道路面的面积。
根据道路要素间的几何匹配度值划分匹配类型,进而做出相应操作。0≤MatchRatio≤1; 若0≤Match Ratio<α(α是表示匹配度的阈值),α取0.1则意味着在原道路要素层中没有对应的几何要素,或待匹配道路要素与原道路要素的匹配程度极低,未达到道路矢量要素的匹配阈值,应将其标记为“不匹配”;若α≤Match Radio<γ(γ是表示匹配度的阈值),γ取0.5则意味着待匹配道路要素与原道路要素的匹配程度较低,应将其标记为“低匹配”;若γ≤Match Radio<θ(θ是表示匹配度的阈值),θ取0.9则意味着待匹配道路要素与原道路要素匹配程度一般,将其标记为“中匹配”;若θ≤Match Radio≤1,则说明待匹配道路要素与原道路要素基本吻合,故将其标记为“高匹配”。
要素几何匹配仅在几何上度量了道路矢量要素间的相似性,判定了道路矢量要素是否发生了新增、删除、变道等几何变化。由于几何匹配无法判定道路要素间是否存在不同命名、不同属性字段、不同版本标识等属性信息变化及属性是否完善或缺失等属性信息差异,所以在步骤3中,根据步骤2要素匹配对比的结果提取了道路矢量要素的差异数据,在步骤4中进行属性传递操作,对多源道路矢量数据的属性字段进行整合。针对不同的几何匹配类型进行属性的传递。表2-3为属性传递逻辑关联表。
表2-3
步骤5,根据在道路矢量数据要素更新上,将要素匹配得到的变化数据或差异数据视为增量数据。以增量数据作为道路矢量数据更新对象,采用不同的更新模式对道路矢量数据进行更新。对于点要素增量更新,由于点是0维要素,道路点要素间只存在相离或重合的空间位置关系,因此对道路点要素的增量更新仅需采取直接增加记录的方法。直接增加记录方案是将新增的道路矢量数据直接增加进原数据中。对于线要素与面要素增量更新,由于线是1维要素,道路线要素间存在相交、包含、相离、部分重合的空间位置关系,面是2维要素,道路面要素间存在相交、包含、相离、重合等多种空间位置关系,因此对道路线要素与面要素的增量更新均可采取多种要素更新的方法。
步骤(6),基于空间数据仓库的模式对道路矢量数据进行存储,采用道路原始库、道路母库、道路临时库等道路库存储道路矢量数据。道路矢量数据联动更新就是指道路矢量数据间实行联动,任一道路库中的道路要素发生数据变化,其他道路库中与之相关联的道路要素也随之更新的更新机制。
实施例2:
本实施例中,提供基于ETL的道路矢量数据要素匹配与联动方法,包括以下步骤:
S1,比较分析道路矢量数据的差异性,参考道路矢量数据差异及道路矢量数据标准规范,选用数据仓库模式对道路矢量数据进行抽取转换,基于ETL技术建立道路矢量数据抽取转换的模板;
S2,对比分析不同数据来源或不同时间版本的道路矢量数据差异,依据道路矢量数据类型采用多种要素匹配算法提取几何差异数据;
S3,在几何匹配的基础上,对相互匹配的道路矢量要素进行属性传递,完善道路矢量数据的相关属性;
S4,在道路矢量数据要素匹配的基础上得出道路矢量差异数据,作为增量道路数据对道路矢量数据进行联动更新;
所述S1-S4基本流程如下所述:
步骤(1)参考道路矢量数据规范,使用ETL抽取转换技术建立道路矢量数据抽取转换模板;
步骤(2)依据数据实际情况制定道路矢量数据几何匹配的相似性度量指标,实现道路矢量数据要素匹配;
步骤(3)提取增量道路数据;
步骤(4)进行数据的属性传递,实现多源或不同时间版本的道路矢量数据的对比与完善;
步骤(5)以增量道路数据对原数据进行更新,依据要素类型与匹配程度提出多种增量更新方案;
步骤(6)将道路矢量数据进行联动更新。
在步骤(1)中,使用基础测绘数据《基础地理信息要素分类与代码》的标准规范制定道路矢量数据抽取转换标准。
首先对道路矢量要素分为点、线、面进行数据处理与分析,其次,道路矢量要素分为公路、铁路及其附属设施三大类型,将其类型以属性字段进行标注识别。根据相关文件要求及道路矢量要素属性规范,整理得到要素属性标准表。属性标准表中对属性项名称、名称描述、数据类型、必填\可选、长度设置等方面进行了规定说明。
然后利用ETL建立道路矢量母库,主要是通过输入、增加常量、字段选择、输出等四个步骤。其中增加常量步骤的目的是为了增加道路原始库中缺失的属性字段,字段选择步骤则可以对道路原始库中已有的相关属性字段进行选择和修改或移除等操作。
在步骤(2)中,对于道路点的匹配(图2):
(1)以原道路点的缓冲区图层为参考图层,以待匹配道路点图层为目标图层,进行相交运算或者差异运算。
(2)交换图层顺序再次进行相交运算,在过滤记录后对两次相交结果进行笛卡尔积运算,以实现相交点的属性传递。
(3)以“相交运算或差异运算后的结果为点要素”作为过滤记录条件,通过过滤记录与字段选择得到属性传递的相交匹配道路点与不匹配道路点。
(4)通过条件过滤工具对相交匹配的道路点进行区分,即以“相交匹配点所匹配到的原道路点的属性标识是否重复”作为过滤条件。当记录行的属性标识存在重复时,输出至多匹配道路点;当记录行的属性标识不重复时,输出至单匹配道路点。
对于道路线的匹配(图5):
(1)输入原道路线与待匹配道路线图层。运用空间分析工具生成原道路线图层的道路缓冲区,同时使用计算器工具计算待匹配道路线图层的道路长度。
(2)对上述输入的图层进行相交操作,可得到待匹配道路线图层与原道路线缓冲区图层相交的道路线结果,并再次通过计算器工具计算相交道路线长度,将相交长度除以对应道路的原长度,得到道路线相交匹配的几何长度比。
(3)相交线是道路线要素的相交匹配的输出结果,以待匹配道路线图层进行输出,若调换图层顺序也可输出原道路线图层中的道路线。运用过滤记录工具进行过滤,根据相交的长度比字段将道路线划分为低匹配、中匹配、高匹配三类。同时,计算待匹配道路线与相交道路线的差异,得到不匹配道路线。
(4)将相交输出结果与待匹配图层进行合并连接操作,连接字段使用共同的ID号。该操作的目的是将相交输出中属性字段“相交长度比”传递给待匹配图层。并再次运用过滤记录工具对得到的具有相交长度比的待匹配图层进行过滤,过滤得到低匹配原始数据、中匹配原始数据、高匹配原始数据。
(5)上述步骤分别得到了不同匹配程度的相交匹配图层以及其待匹配图层中对应的原要素。运用空间分析工具对匹配相交数据与匹配原始数据进行求差异操作,分别得到高、中、低匹配差异数据。
对于道路面的匹配(图8):
(1)以原道路面图层为参考图层,以待匹配道路面图层为目标图层,进行相交运算。并计算相交道路面要素的面积与待匹配道路面对应原要素面积的面积比。
(2)以面积比作为过滤记录条件,通过过滤记录与字段选择得到高匹配道路面、中匹配道路面与低匹配道路面图层。同时,通过差异运算求出待匹配道路面与相交道路面之间的要素差异,即为不匹配道路面。
(3) 将相交输出结果与待匹配图层进行合并连接操作,将相交输出中属性字段“相交面积比”传递给待匹配图层。通过过滤记录工具得到低匹配原始数据、中匹配原始数据与高匹配原始数据。
(4)通过求差异操作得到不同匹配程度的匹配道路面与待匹配道路面中对应的原道路面之间的差异,分别得到高、中、低匹配差异数据。
在步骤4中,对于道路点的属性传递(图3):根据匹配结果,对对应的新老点进行属性传递,将新点要素的属性传递给对应的原点要素。没有匹配对象的不做更新,增量的新点保持自身属性在增量更新后加入。
对于道路线的属性传递(图6):将高匹配的线视作同一要素,直接将新线的属性传递给对应的原线,中匹配的部分,提取其中不匹配的部分,用新线中的这一部分替换原有线的部分,剩余匹配部分的属性传递与高匹配一样。不匹配的这一部分与低匹配线和不匹配线的更新策略一致,新线保留自身属性替代原有线。
对于道路面的属性传递(图9):不匹配和低匹配的面作为新要素保留自身属性并入原有面要素。中匹配的面要素,将新面与原面融合为新的面,同时保留两个面的属性。高匹配的面视为同一要素,直接将新面的属性传递给原面。
在步骤(5)中,对于道路点的更新(图4):
(1)运用空间分析工具所具有的联合叠加功能对原道路点要素图层与目标增量图层进行联合叠加操作。联合叠加实现了原点图层与增量点图层的合并,即将增量目标点道路要素加入到原道路点要素图层中。
(2)联合叠加后的道路点要素虽然位于同一个点要素图层中,但该点要素图层中的点并非独立。因此,需要对联合叠加后的道路点要素图层进行多点转单点的操作,可运用空间分析工具中的拆分多部件功能进行转换。
(3)运用字段选择工具对转换后的道路点按照原道路点要素图层的属性进行输出,经过过滤记录与去重后输出得到道路点增量更新图层,且该图层中各道路点要素是相互独立的,即为单点。
对于道路线的更新(图7):
(1)导入待更新道路线要素图层与增量道路线图层,对输入的道路线要素进行联合叠加。经过联合叠加后,增量道路线要素与原道路线要素在记录上进行了合并,该结果是以原道路线为基础,以增量道路线为追加记录组成的多部件要素。
(2)为了保持原道路线的独立性,需要运用拆分多部件要素工具对联合叠加后的道路线图层进行多部件拆分,得到输入道路线图层的几何并集。但该几何并集对原要素也进行了拆分,打断了原输入图层的几何形态。
(3)接合打断的道路线要素并过滤冗余记录,即在道路线接合过程中将所需的记录进行接合,不需要的冗余记录予以剔除。可以使用过滤记录工具,通过过滤记录来删除在联合过程中存在的冗余记录,筛选得到所需要的单线段。
(4)由于该过滤条件虽然过滤掉了原道路线图层发生变化的路段,但也删去了待更新的增量道路线图层。因此,需要再次运用联合叠加工具对过滤后的道路线图层与增量道路线图层进行叠加,通过过滤记录与去除重复记录得到融合更新方案下的道路线要素增量更新结果。
对于道路面的更新(图10):
导入待更新道路面图层与增量道路面图层,进行联合叠加,得到多部件道路面。
运用拆分多部件要素工具对多部件道路面进行拆分,得到输入道路面图层的几何并集。
接合打断的道路面要素并过滤冗余记录。
再次运用联合叠加工具对过滤后的道路面与增量道路面进行叠加,通过过滤记录与去除重复记录得到道路面要素的增量更新结果。
步骤(6),对于道路矢量数据联动更新分为以下四个阶段:
(1)第一阶段在道路临时库中存入新版本道路矢量数据。道路临时库的特点是接收新版本数据,以保证道路矢量数据的实时性;但道路临时库数据的数据精度、尺度等指标可能与道路母库存在一定差异。
(2)第二阶段对比分析道路临时库的新版本道路数据与道路母库中相关专题的老版本道路数据,得到不同版本道路数据间的差异,该差异反映了不同时间段的道路要素差异,且该差异数据可视为增量道路数据。
(3)第三阶段依据质量标准检查增量道路数据质量及精度,当新版本道路数据质量较高时则用增量道路数据更新道路母库中相匹配的道路要素图层;而当新版本道路数据质量较低时,则不对数据质量较高的道路母库进行更新,并返回差异数据给道路临时库数据提交部门进行数据再生产。
以上所述仅是对本发明的较佳实施例而已,并非对本发明作任何形式上的限制,凡是依据本发明的方法实质对以上实施例所做的任何简单修改,等同变化与修饰,均属于本发明方法方案的范围内。
Claims (8)
1.基于ETL的道路矢量数据要素匹配与联动方法,其特征在于,包括以下步骤:
S1,比较分析道路矢量数据的差异性,参考道路矢量数据差异及道路矢量数据标准规范,选用数据仓库模式对道路矢量数据进行抽取转换,基于ETL技术建立道路矢量数据抽取转换的模板;
S2,对比分析不同数据来源或不同时间版本的道路矢量数据差异,依据道路矢量数据类型采用多种要素匹配算法提取几何差异数据;
S3,在几何匹配的基础上,对相互匹配的道路矢量要素进行属性传递,完善道路矢量数据的相关属性;
S4,在道路矢量数据要素匹配的基础上得出道路矢量差异数据,作为增量道路数据对道路矢量数据进行联动更新;
所述S1-S4基本流程如下所述:
步骤(1)参考道路矢量数据规范,使用ETL抽取转换技术建立道路矢量数据抽取转换模板;
步骤(2)依据数据实际情况制定道路矢量数据几何匹配的相似性度量指标,实现道路矢量数据要素匹配;
步骤(3)提取增量道路数据;
步骤(4)进行数据的属性传递,实现多源或不同时间版本的道路矢量数据的对比与完善;
步骤(5)以增量道路数据对原数据进行更新,依据要素类型与匹配程度提出多种增量更新方案;
步骤(6)将道路矢量数据进行联动更新。
2.根据权利要求1所述的基于ETL的道路矢量数据要素匹配与联动方法,其特征在于:S2中,根据匹配度划分高、中、低多种匹配类型,道路矢量数据匹配包括几何特征匹配和属性特征传递。
3.根据权利要求1所述的基于ETL的道路矢量数据要素匹配与联动方法,其特征在于:S4中,任一道路库中的道路要素发生数据变化,其他道路库中与之相关联的道路要素也随之更新,且只有当变化区域要素精度优于原始数据时才可进行更新,即用高精度数据更新低精度数据;若不满足精度则标记该差异数据返还给数据生产部门进行补测后于下一年度再进行更新。
4.根据权利要求1所述的基于ETL的道路矢量数据要素匹配与联动方法,其特征在于:
在步骤(1)之前,应对数据进行格式转换、坐标转换、图幅接边数据预处理操作,以达到道路矢量数据抽取转换的标准;
在格式转换上,完成MDB、GDB、SHP、CSV格式间的相互转换;
在坐标转换上, WGS-84坐标系向2000国家大地坐标系的转换,作为测绘数据的主流坐标系;
在图幅接边中,基础测绘数据是按标准分幅进行存储,地理国情数据按行政区划进行存储;
实现基础测绘数据与地理国情数据的匹配对比,先合并图幅裁剪至所属行政区范围内,其次再对合并裁剪后的基础测绘数据进行图幅接边处理。
5.根据权利要求1所述的基于ETL的道路矢量数据要素匹配与联动方法,其特征在于:
所述步骤(1)中,对道路原始库数据进行规范梳理与分析,利用ETL技术对道路原始库数据进行抽取、转换、加载操作,并对道路矢量要素图层进行标准化分层处理,属性规整处理后形成道路母库;对于道路矢量数据存在分层存储不一致的部分,按照模板标准对数据进行抽取与转换;对于道路矢量数据的属性字段,按照数据标准在抽取转换过程中增加或删除字段或补录相关属性,实现道路矢量数据的规整。
6.根据权利要求1所述的基于ETL的道路矢量数据要素匹配与联动方法,其特征在于:
所述步骤(2)中,将道路矢量数据抽象为道路点、道路线、道路面,并通过几何匹配的方式量化计算道路矢量要素间的几何匹配度,根据几何匹配度划分匹配类型,几何对象间的相似性特征是对象几何匹配的根本依据。
7.根据权利要求1所述的基于ETL的道路矢量数据要素匹配与联动方法,其特征在于:
所述步骤(5)中,根据在道路矢量数据要素更新上,将要素匹配得到的变化数据或差异数据视为增量数据,以增量数据作为道路矢量数据更新对象,采用不同的更新模式对道路矢量数据进行更新。
8.根据权利要求1所述的基于ETL的道路矢量数据要素匹配与联动方法,其特征在于:
所述步骤(6)中,基于空间数据仓库的模式对道路矢量数据进行存储,采用道路原始库、道路母库、道路临时库道路库存储道路矢量数据,道路矢量数据联动更新是指道路矢量数据间实行联动,任一道路库中的道路要素发生数据变化,其他道路库中与之相关联的道路要素也随之更新的更新机制。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110787091.8A CN113239107B (zh) | 2021-07-13 | 2021-07-13 | 基于etl的道路矢量数据要素匹配与联动方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110787091.8A CN113239107B (zh) | 2021-07-13 | 2021-07-13 | 基于etl的道路矢量数据要素匹配与联动方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113239107A true CN113239107A (zh) | 2021-08-10 |
CN113239107B CN113239107B (zh) | 2021-09-17 |
Family
ID=77135312
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110787091.8A Active CN113239107B (zh) | 2021-07-13 | 2021-07-13 | 基于etl的道路矢量数据要素匹配与联动方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113239107B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114510761A (zh) * | 2022-01-24 | 2022-05-17 | 湖南省第一测绘院 | 一种消除dsm中道路面高程异常的方法 |
CN115223358A (zh) * | 2022-06-01 | 2022-10-21 | 北京四维图新科技股份有限公司 | 一种交通信息动态更新方法、装置及车路协同系统 |
CN116796762A (zh) * | 2023-06-15 | 2023-09-22 | 国家基础地理信息中心 | 一种多源路网数据的处理方法、电子设备及存储介质 |
CN118247533A (zh) * | 2024-05-28 | 2024-06-25 | 湖南省第一测绘院 | 一种实景三维线状实体多模态匹配的方法、装置及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080313183A1 (en) * | 2007-06-14 | 2008-12-18 | Charles Edward Cunningham | Apparatus and method for mapping feature catalogs |
CN110032570A (zh) * | 2019-04-01 | 2019-07-19 | 江西世恒信息产业有限公司 | 一种基于b/s架构的空间数据动态更新系统 |
CN111459953A (zh) * | 2020-03-03 | 2020-07-28 | 成都大成均图科技有限公司 | 多源数据融合的地图匹配更新方法和系统 |
-
2021
- 2021-07-13 CN CN202110787091.8A patent/CN113239107B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080313183A1 (en) * | 2007-06-14 | 2008-12-18 | Charles Edward Cunningham | Apparatus and method for mapping feature catalogs |
CN110032570A (zh) * | 2019-04-01 | 2019-07-19 | 江西世恒信息产业有限公司 | 一种基于b/s架构的空间数据动态更新系统 |
CN111459953A (zh) * | 2020-03-03 | 2020-07-28 | 成都大成均图科技有限公司 | 多源数据融合的地图匹配更新方法和系统 |
Non-Patent Citations (4)
Title |
---|
NIMAZARRINPANJEH: "A new ant based distributed framework for urban road map updating from high resolution satellite imagery", 《COMPUTERS & GEOSCIENCES》 * |
寇媛,姚炎林,王军军: "基于图形分割的面状符号自动填充算法", 《测绘地理信息》 * |
方川,白光平: "多尺度地图数据库更新机制研究及应用", 《测绘与空间地理信息》 * |
林良彬,钟远军,杨文杰: "面向电子地图应用的地理信息快速更新方法研究", 《地理信息世界》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114510761A (zh) * | 2022-01-24 | 2022-05-17 | 湖南省第一测绘院 | 一种消除dsm中道路面高程异常的方法 |
CN114510761B (zh) * | 2022-01-24 | 2024-05-17 | 湖南省第一测绘院 | 一种消除dsm中道路面高程异常的方法 |
CN115223358A (zh) * | 2022-06-01 | 2022-10-21 | 北京四维图新科技股份有限公司 | 一种交通信息动态更新方法、装置及车路协同系统 |
CN115223358B (zh) * | 2022-06-01 | 2024-04-02 | 北京四维图新科技股份有限公司 | 一种交通信息动态更新方法、装置及车路协同系统 |
CN116796762A (zh) * | 2023-06-15 | 2023-09-22 | 国家基础地理信息中心 | 一种多源路网数据的处理方法、电子设备及存储介质 |
CN116796762B (zh) * | 2023-06-15 | 2024-03-19 | 国家基础地理信息中心 | 一种多源路网数据的处理方法、电子设备及存储介质 |
CN118247533A (zh) * | 2024-05-28 | 2024-06-25 | 湖南省第一测绘院 | 一种实景三维线状实体多模态匹配的方法、装置及存储介质 |
CN118247533B (zh) * | 2024-05-28 | 2024-08-23 | 湖南省第一测绘院 | 一种实景三维线状实体多模态匹配的方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113239107B (zh) | 2021-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113239107B (zh) | 基于etl的道路矢量数据要素匹配与联动方法 | |
CN110990585B (zh) | 构建行业知识图谱的多源数据和时间序列处理方法及装置 | |
Devogele et al. | On spatial database integration | |
TWI509435B (zh) | 用於自動地執行聯結操作之方法、器件及電腦程式產品 | |
CN111488421B (zh) | 传统地图与高精度地图的数据融合方法 | |
CN106323301B (zh) | 一种道路情报的获取方法及装置 | |
KR20050094780A (ko) | 항공사진을 이용한 약식현황도 제작방법 | |
CN101436211B (zh) | 基于缓冲区分析的城市道路网络数据增量识别方法及增量更新方法 | |
CN114379608A (zh) | 一种城市轨道交通工程的多源异构数据集成处理方法 | |
CN104252507A (zh) | 一种企业数据匹配方法和装置 | |
CN114238542A (zh) | 多源交通gis路网多层级实时融合更新方法 | |
CN113312369A (zh) | 一种基于唯一标识码的多尺度地图数据库级联更新方法 | |
KR20160019344A (ko) | 지적전산자료의 오류확인 및 이중선 보정 방법 | |
CN114238336A (zh) | 一种arinc424航空数据的快速处理系统及其方法 | |
CN116701771B (zh) | 一种基于云计算的数字图书馆检索与资源共享系统 | |
CN116680445B (zh) | 基于知识图谱的电力光通信系统多源异构数据融合方法及系统 | |
CN116795938A (zh) | 存量基础地理信息数据转换生产二维地理实体的方法 | |
CN116881512A (zh) | 一种跨系统元数据血缘自动解析方法 | |
CN111090630A (zh) | 基于多源空间点数据的数据融合处理方法 | |
KR20100117987A (ko) | 한국토지정보시스템 연속지적도와 수치지형도의 기하학적 지도 변환을 위한 반자동화된 공액점 쌍 추출방법 | |
Styliadis et al. | A spatio-temporal geometry-based model for digital documentation of historical living systems | |
CN112612840A (zh) | 异构数据的处理方法、装置、设备及存储介质 | |
Hajiheidari et al. | Challenges of integrating cadastral map and urban data infrastructure in Iran | |
CN118069701B (zh) | 反向查询链路的构建方法、装置、计算机设备及存储介质 | |
CN112612778B (zh) | 一种企业数据架构方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |