CN111680025B - 面向自然资源多源异构数据时空信息智能同化的方法及系统 - Google Patents
面向自然资源多源异构数据时空信息智能同化的方法及系统 Download PDFInfo
- Publication number
- CN111680025B CN111680025B CN202010556735.8A CN202010556735A CN111680025B CN 111680025 B CN111680025 B CN 111680025B CN 202010556735 A CN202010556735 A CN 202010556735A CN 111680025 B CN111680025 B CN 111680025B
- Authority
- CN
- China
- Prior art keywords
- data
- information
- attribute
- model
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了面向自然资源多源异构数据时空信息的智能同化方法及系统,方法包括:S1,数据格式检查及解析;S2,空间数据识别;S3,关键信息抽取;S4,结果展示;S5,建立索引。本发明将现有技术中自然资源涉及面广,数据信息分散且复杂,数据标准不一,内容表达深度各异,数据之间缺乏联系及测绘业务规则不统一且多变,跨平台、复杂多源异构数据处理自动化程度低的问题得以解决,还改善了测绘生产技术形态落后,测绘服务规格不统一,数据产品与需求脱节、存在重复测绘、大数据挖掘难,协同服务困难和自然资源体系下业务化测绘地理信息服务类型多、信息流复杂等问题,进而为高效能按需测绘地理信息技术提供了支撑与服务。
Description
技术领域
本申请涉及测绘地理信息技术领域,尤其涉及面向自然资源多源异构数据时空信息智能同化的方法及系统。
背景技术
测绘地理信息可支撑自然资源统一管理的科学高效开展。然而,自然资源涉及面广,数据信息分散且复杂,数据标准不一,内容表达深度各异,数据之间缺乏联系;同时,测绘业务规则不统一且多变,跨平台、复杂多源异构数据处理自动化程度低,测绘生产技术形态落后;测绘服务规格不统一,数据产品与需求脱节、存在重复测绘、大数据挖掘难,协同服务困难;自然资源体系下业务化测绘地理信息服务类型多、信息流复杂。当前地理信息生产和服务模式难以满足精准、高效、多样化的自然资源统一管理服务发展需求。
发明内容
本发明提供了一种面向自然资源多源异构数据时空信息智能同化系统及方法,用以满足科学高效的自然资源统一管理需求,解决现有技术中自然资源涉及面广,数据信息分散且复杂,数据标准不一,内容表达深度各异,数据之间缺乏联系及测绘业务规则不统一且多变,跨平台、复杂多源异构数据处理自动化程度低的问题,还用于解决测绘生产技术形态落后,测绘服务规格不统一,数据产品与需求脱节、存在重复测绘、大数据挖掘难,协同服务困难和自然资源体系下业务化测绘地理信息服务类型多、信息流复杂等问题,进而为高效能按需测绘地理信息技术提供支撑与服务。
其具体的技术方案如下:
面向自然资源多源异构数据时空信息的智能同化方法,其特征在于,包括:
S1,数据格式检查及解析,通过定制数据格式解析服务程序,并通过调用对应的数据格式解析服务程序识别不同的录入数据文件的格式,对自然资源多源异构数据进行结构解析;
S2,空间数据识别,对解析后的数据,通过对比标准属性库模板判断其属性信息的含义,并检验空间图形数据的坐标参考以及图形拓扑关系,并将不同坐标参考下的数据信息统一归算到指定坐标参考下;
S3,关键信息抽取,根据空间数据识别单元的识别结果,对其中的几何图形信息和属性信息进行匹配和筛选;
S4,结果展示,根据信息提取单元提取的包含时间、空间在内的多个维度的信息流建立数据模型库进行数据结构层次的展示;
S5,建立索引,把目标检索模型和检索结果的相关对象及其抽象的语义关系转换成具体的数据和图形,显示在二维或者三维可视化空间中,实现对结果的快速索引和信息表达。
面向自然资源多源异构数据时空信息的智能同化方法,还包括对模型库中的信息流的动态更新,对模型库中的信息流的动态更新方法包括:首先以新旧要素的匹配特征为切入点,通过采用GEO.AI技术中的神经决策树的方法实现更新信息的识别及快速发现,然后再通过基于格网划分的变化信息快速定位方法,对新旧数据中的空间信息和属性信息变化进行快速而准确的定位,最后对数据模板与数据库同步更新。
进一步地,所述以新旧要素的匹配特征为切入点,通过采用GEO.AI技术中的神经决策树实现更新信息的识别及快速发现的方法具体包括步骤:
(a1)选取已实现更新信息检测的对象组合作为训练样本;
(a2)计算训练样本的变化特征;
(a3)把变化特征参数作为输入层,变化分类信息作为输出层,进行神经网络训练,并验证神经网络模型的准确性与可靠性,以获得神经网络模型的阈值与权重矩阵;
(a4)对更新数据与原数据进行空间叠加操作,获取候选的测试更新对象组合,并计算其变化特征参数;
(a5)把变化特征参数作为输入量,使用步骤(a3)中建立的神经网络模型进行更新信息的模式判别,以获取更新信息的分类结果。
进一步地,通过基于格网划分的变化信息快速定位的具体方法包括步骤:
(b1)通过检测确保新旧数据是同一比例尺及采用同一坐标系,分别对新旧数据增加特征点坐标属性字段及存储要素属性汇总信息的属性字段;
(b2)分别对新旧数据进行全局查询,计算要素特征点坐标、要素属性汇总信息、并确定新旧数据对比的范围,特征点坐标代表要素所处的位置,点要素直接取其坐标,线要素取其中点,面要素取其质心,要素属性汇总信息是将要素属性字段的字段值按字段名的字符串匹配排序进行拼接,每个字段值之间用特殊符号分隔;
(b3)将变化检测范围按统一的宽度和高度划分为m×n个规则的格网,格网的宽度根据检测范围和要素总数自动确定,格网的宽度记为Gwidth,高度记为Ghight,根据格网的总数定义数组变量来存储格网中要素的汇总信息;
(b4)分别对新旧数据按特征点坐标进行排序查询,并按特征点坐标将要素匹配到相应的格网,线要素和面要素的几何值信息为要素的弧段长度,点要素不需要累加几何值信息;
(b5)对新旧数据中编号相同网格中的特征点X坐标、特征点Y坐标、弧段长度、属性值拼接字符串进行对比。
进一步地,面向自然资源多源异构数据时空信息的智能同化方法,还包括对数据模板与数据库同步更新的方法,具体包括根据空间地理信息数据自身的数据库格式特点,通过分析其数据模板中的数据字典,与+Oracle数据库数据字典进行匹配,分析关键数据内容的结构变化,通过仲裁将模板中变化的数据格式写入oracle数据库,使成果模板和数据库同步更新。
进一步地,所述的面向自然资源多源异构数据时空信息的同化方法,还包括对数据时空信息的全流程服务协同与共享,具体的协同与共享方法包括:基于平台体系化标准数据,按时间、区域、业务类型、管理阶段四个维度建立自然资源测绘全过程服务协同管理的信息流概念模型,通过该信息流概念模型将数据、信息及服务实现一整套的协同管理,通过建立数据共享仓库与服务共享仓库,对非结构化数据、结构化数据以及标准化服务进行信息整合,建立数据与服务的索引信息数据库以及权限管理数据库,用于协同和共享;信息流概念模型对结构化数据与非结构化数据进行了分类定义,套用模型定义可以自动识别数据本身的结构化程度与组成形式;对于结构化数据,信息流概念模型将自动识别数据结构进行数据仓库模板定制;对于非结构化数据,信息流概念模型将数据进行压缩、关键信息抽取、建立索引几个环节,完成非结构化数据的数据仓库模板建立;对于标准化数据服务,信息流概念模型将分配不同的标准化空间数据服务管理模板,完成数据服务共享仓库的自动化建立,通过服务的动态更新对数据服务仓库实现灵活更新,最终形成动态的数据共享平台。
面向自然资源多源异构数据时空信息的智能同化系统,其特征在于,所述系统包括:
数据结构解析单元,用于定制数据格式解析服务程序,并通过调用对应的数据格式解析服务程序识别不同的录入数据文件的格式并进行实时解析;
空间数据识别单元,对解析后的数据,通过对比标准属性库模板判断其属性信息的含义,并检验空间图形数据的坐标参考以及图形拓扑关系,并将不同坐标参考下的数据信息统一归算到指定坐标参考下;
信息提取单元,用于根据空间数据识别单元的识别结果,对其中的几何图形信息和属性信息进行匹配和筛选;
时空数据多层次模型库,将信息提取单元提取的包含时间、空间在内的多个维度的信息流在模型库中进行数据结构层次展示;
信息表达和转换单元,用于把目标检索模型和检索结果的相关对象及其抽象的语义关系转换成具体的数据和图形,显示在二维或者三维可视化空间中,实现对结果的快速索引和信息表达。
进一步地,不同的录入数据文件包括ARCGIS格式、MapGIS格式、.edb格式、Excel格式、.txt格式的数据文件。
有益效果:本发明将现有技术中自然资源涉及面广,数据信息分散且复杂,数据标准不一,内容表达深度各异,数据之间缺乏联系及测绘业务规则不统一且多变,跨平台、复杂多源异构数据处理自动化程度低的问题得以解决,还改善了测绘生产技术形态落后,测绘服务规格不统一,数据产品与需求脱节、存在重复测绘、大数据挖掘难,协同服务困难和自然资源体系下业务化测绘地理信息服务类型多、信息流复杂等问题,进而为高效能按需测绘地理信息技术提供了支撑与服务。
附图说明
图1为本发明的方法流程结构示意图;
图2为本发明的空间地理数据信息的匹配原理图;
图3为本发明的多层次时空数据模型建立的基本原理;
图4为本发明空间地理信息结构化的基本原理;
图5为本发明具体应用的自然资源数据转换流程。
具体实施方式
下面通过附图以及具体实施例对本发明技术方案做详细的说明,应当理解,本发明实施例以及实施例中的具体技术特征只是对本发明技术方案的说明,而不是限定,在不冲突的情况下,本发明实施例以及实施例中的具体技术特征可以相互组合。
如图1所示,面向自然资源多源异构数据时空信息的智能同化方法,包括:
S1,数据格式检查及解析,通过定制数据格式解析服务程序,并通过调用对应的数据格式解析服务程序识别不同的录入数据文件的格式,对自然资源多源异构数据进行结构解析;
自然资源多源空间数据是指面向自然资源领域多数据来源、多数据格式、多时空数据、多比例尺、多语义的数据,从狭义上说主要是指数据格式的多样性,包括不同数据源的不同格式及不同数据结构导致的数据存储格式的差异。异构性一般体现在系统异构、结构异构、语法异构和语义异构上,可以从系统异构、结构异构、语法异构和语义异构上进行分析。目前自然资源相关业务数据包含ARCGIS格式(Mxd、shp、mdb、GDB等)、MapGIS格式、.edb格式、Excel格式、.txt格式等多种格式类型,其各自数据结构、所示含义、业务用途以及数据标准均有不同,因而这些数据的标准化同化和整合,将成为其未来统一管理以及提供共享服务的基础。
自然资源空间数据识别主要是针对解析后的数据。
S2,空间数据识别,对解析后的数据,通过对比标准属性库模板判断其属性信息的含义,并检验空间图形数据的坐标参考以及图形拓扑关系,并将不同坐标参考下的数据信息统一归算到指定坐标参考下;
S3,关键信息抽取,根据空间数据识别单元的识别结果,对其中的几何图形信息和属性信息进行匹配和筛选;
自然资源多源异构空间数据信息筛选策略主要是提升对信息的提取的优化程度,其结果将直接影响数据同化的最终速度和效果。针对原数据与目标数据的多种对应关系,信息提取策略将用来对地理要素的相关属性、几何对象(表达要素的几何图形)及要素间的拓扑关系进行识别、匹配并转化,通过将要素属性、几何对象以要素为单位统一组织,最终转化为可统一表达的关键自然资源地理信息,匹配原理如图2所示。
信息提取策略中要素的存储是通过将要素对应的几何对象分解为最基本的点、线、面,即基本几何对象,并配合其坐标位置来实现。拓扑关系的构建是利用同一几何对象可能被多个复合几何对象(由多个基本几何对象构成)所共用的特征,通过搜寻复合几何对象是否共享某个相同的几何对象来实现。拓扑关系用于保证转换之后的要素间仍保持正确的关系。
建立自然资源多源异构空间数据信息提取策略,主要包含地理要素与要素属性的信息提取两个重要内容。
<1>地理要素:自然资源多源异构空间数据中,地理要素作为数据同化的主要对象,它主要包含了属性、一般关系和空间关系等信息,是表达自然资源空间地理概念以及地理概念之间关系的有效手段,也是实现数据同化与信息抽取的一个技术重点。根据自然资源地理要素内容、性质及使用要求,可以将其进行分类,分别为控制点类要素、水系类要素、居民地及附属设施类要素、交通类要素、管线类要素、地貌类要素、植被与土质类要素等,以及注记类要素。同一地理要素类中的某一地理要素,可能因为依比例尺表达与否,又分为不同的几何类型,通过点、线、面等几何要素进行分别表达。在建立地理要素对应关系时,应根据不同规定考虑几何对象匹配。
<2>要素属性:自然资源多源异构数据的属性信息描述了数据的质量、数量以及附加信息特征,根据数据标准规定,可以将要素的属性进行自定义,包括属性项名称、属性字段类型、属性值字段宽度、属性字段值保留小数位数、属性项的取值是否为空及属性字段的取值方式。属性项名称表达该属性项为要素的哪一属性;属性字段类型表达属性项对应属性值的类型;属性值字段宽度表达属性项对应属性值的字符长度;属性字段值保留小数位数表示当属性项的字段类型为浮点型时,保留的小数位数;属性字段的取值方式表示属性项对应的属性值通过何种方式取得。数据转换的过程中,可能会存在单凭地理要素编码不能实现转换的情况,这就需要通过属性来加以限定,达到转换目的。
建立自然资源多源异构空间数据信息提取策略,需要纳入数据同化结果分析原则,从要素类别、属性方面分析同化要素之间的差异,从而确定信息抽取策略。由于地理要素及其属性是转换的最主要内容,因此针对原始数据与目标数据的要素类别及属性间关系进行分析。
原始数据信息与最终信息之间的对应转换可分为以下2种情况:
<1>原数据信息中包含最终不必要的信息,可不需要建立对应关系,或通过扩充最终要素信息的原则进行同化。
<2>原数据信息包含目标必要抽取信息,则根据其不同的对应关系,进行以下3类转换:
①一对一关系。
直接通过对目标信息与原数据信息的编码建立关系,实现对应。
②一对多关系。
通过几何类型关系和一般关系条件进行对应筛选,几何类型关系对应是指当指定要素在原数据信息与目标数据信息中存在要素同义但几何类型表达不同的情况,可通过要素的几何类型,将原数据信息的几何类型要素对应到正确类型的几何要素上。一般关系条件筛选指当要素编码不能单凭几何类型来区分时,通过增加限定条件,辅助实现原数据与目标数据的对应。限制条件就是语义所描述的地理现象在语法层面的差异。
③多对一关系。
指的是原数据中的多个要素对应目标数据中的一个要素,可在目标数据中通过属性项(要素等级、编码等)来区分。
原数据信息与目标信息的属性对应分析
<1>要素在2种数据中属性值的取值类型一致时,可直接通过属性一对一建立对应关系。
<2>要素在2种数据中属性值取值类型不一致时,该情况可通过设计外属性值对应功能建立正确对应关系。
<3>特殊情况下,当要素关系为多对一时,转换之后需要给目标数据赋予正确的属性,通过外属性值中添加特殊限制条件来实现。
在对目标抽取信息与原数据信息分析的基础上,结合预处理结果,需要对地理要素和要素属性设计映射关系对象表,用来存储目标数据与原数据中要素的对应关系。
S4,结果展示,根据信息提取单元提取的包含时间、空间在内的多个维度的信息流建立数据模型库进行数据结构层次的展示;
自然资源多源异构数据经过信息提取之后,将形成包含时间、空间在内的多个维度的信息流,将该信息流在数据结构层次展示出来,需要建立自然资源时空数据多层次模型。这其中主要包括2个基本层次:信息的表达性可视化任务(taskV)、分析性可视化任务(taskA)。
信息流的表达性可视化任务主要以多模态时空数据、信息和知识的高效表达与传递为基本目标,重点包括信息的离散-连续、动-静、真实感-抽象化的自适应表达,将不同特征下的信息流模型化、可读化、可视化。
其形式化定义为:
taskV=〈data,render〉。
自然资源数据信息流的表达性可视化任务主要是以数据为驱动,形成数据的可存储和可绘制机制。数据存储管理调度为处理层任务,以高效的数据I/O为目标;数据的可表达性为展示层任务,以高性能的数据表现与转化为目标。表达性可视化任务从数据处理层跃迁到数据展示层的过程是从数据到信息流再到可视化模型的过程。
分析性可视化任务旨在表达通过复杂计算分析所获取的多模态时空数据中所隐含的信息,突出数据中所包含的特征与关联关系,保持数据重构的完整性和可分析性特征。典型的应用包括实时计算与近实时模拟结果的动态可视化、空间格局与分布模式可视化、符号化与拓扑关系可视化等。其形式化定义为:
taskA=〈data,model,render〉。
分析性可视化任务由数据和模型协同驱动,动态生成任务为处理层任务,以分析模拟计算为主,以在数据模型中叠加分析计算信息,从而实现信息完整转化以及可分析模型的动态构建为目标。分析性可视化任务从数据处理层跃迁到数据展示层的过程是数据到信息的过程,依赖的核心技术为分析模型计算。模型库建立原理流程如图3所示。
S5,建立索引,把目标检索模型和检索结果的相关对象及其抽象的语义关系转换成具体的数据和图形,显示在二维或者三维可视化空间中,实现对结果的快速索引和信息表达。
自然资源数据信息流模型库主要是实现自然资源地理信息抽取与转化的主要任务,是基于地理命名实体识别(Geo-NER)、地理命名实体消歧(Geo-Disambiguation)和地理空间求焦(Geo-Focusing),建立信息流模型中的关键数据索引,从而实现关键信息的抽取和转换。
自然资源数据信息流模型库索引的建立,通过对抽象的数据信息流模型库进行交互式的可视化表达以增强感知,最小化认知负担,是提高信息流模型库索引性能与效果的主流方法。信息的可读性结合信息索引的需求,它可以把目标检索模型和检索结果等相关对象及其抽象的语义关系转换成具体的数据和图形,显示在二维或者三维可视化空间中,实现对结果的快速索引和信息表达。数据转换将原始信息流模型库中的信息进行分类构造,通过结构化、对象化、语义化,表达出自然资源数据信息流中的语义和目标数据间的关系;定义符合任务的可视化空间结构,结构化的数据对象映射到可视化空间;视图变换通过调整位置、比例尺、过滤等图形参数创建可视化空间下的实际视图。对于具体的地理信息同化任务,地理信息抽取就是数据结构化过程,空间地理信息结构化的基本原理图如图4所示。
面向自然资源多源异构数据时空信息的智能同化方法,还包括对模型库中的信息流的动态更新,对模型库中的信息流的动态更新方法包括:首先以新旧要素的匹配特征为切入点,通过采用GEO.AI技术中的神经决策树的方法实现更新信息的识别及快速发现,然后再通过基于格网划分的变化信息快速定位方法,对新旧数据中的空间信息和属性信息变化进行快速而准确的定位,最后对数据模板与数据库同步更新。
进一步地,所述以新旧要素的匹配特征为切入点,通过采用GEO.AI技术中的神经决策树实现更新信息的识别及快速发现的方法具体包括步骤:
(a1)选取已实现更新信息检测的对象组合作为训练样本;
(a2)计算训练样本的变化特征;
(a3)把变化特征参数作为输入层,变化分类信息作为输出层,进行神经网络训练,并验证神经网络模型的准确性与可靠性,以获得神经网络模型的阈值与权重矩阵;
(a4)对更新数据与原数据进行空间叠加操作,获取候选的测试更新对象组合,并计算其变化特征参数;
(a5)把变化特征参数作为输入量,使用步骤(a3)中建立的神经网络模型进行更新信息的模式判别,以获取更新信息的分类结果。
进一步地,通过基于格网划分的变化信息快速定位的具体方法包括步骤:
(b1)通过检测确保新旧数据是同一比例尺及采用同一坐标系,分别对新旧数据增加特征点坐标属性字段及存储要素属性汇总信息的属性字段;
(b2)分别对新旧数据进行全局查询,计算要素特征点坐标、要素属性汇总信息、并确定新旧数据对比的范围,特征点坐标代表要素所处的位置,点要素直接取其坐标,线要素取其中点,面要素取其质心,要素属性汇总信息是将要素属性字段的字段值按字段名的字符串匹配排序进行拼接,每个字段值之间用特殊符号分隔;
(b3)将变化检测范围按统一的宽度和高度划分为m×n个规则的格网,格网的宽度根据检测范围和要素总数自动确定,格网的宽度记为Gwidth,高度记为Ghight,根据格网的总数定义数组变量来存储格网中要素的汇总信息;
(b4)分别对新旧数据按特征点坐标进行排序查询,并按特征点坐标将要素匹配到相应的格网,线要素和面要素的几何值信息为要素的弧段长度,点要素不需要累加几何值信息;
(b5)对新旧数据中编号相同网格中的特征点X坐标、特征点Y坐标、弧段长度、属性值拼接字符串进行对比。
变化要素的发现方法是在目标数据中搜索出与源数据的面积,弧段长度、方向、重心等空间特征与语义特征相同(差异小于阈值)的对象,当搜索结果为空时说明要素发生了变化。在做新旧要素逐一变化对比时,需要通过大量的空间查询,当数据范围较大时,花费时间较多。由于本方法已对查询空间进行了格网划分,且要素属性中记录了该要素的重心坐标,进行要素空间查询时通过属性过滤,只对要素所在格网内的要素进行,大大缩小了查询的范围,提高了查询的效率。
对于自然资源多源异构数据更新模板是根据以入库管理的数据字典建立的,数据格式与业务规则发生变化,随之会出现成果模板发生细微改变,因此,本实施例采用了数据模板与数据库同步更新技术。对数据模板与数据库同步更新的方法,具体包括根据空间地理信息数据自身的数据库格式特点,通过分析其数据模板中的数据字典,与+Oracle数据库数据字典进行匹配,分析关键数据内容的结构变化,通过仲裁将模板中变化的数据格式写入oracle数据库,使成果模板和数据库同步更新。这样新旧成果数据格式兼容,快速响应业务的变化,避免因为数据格式的变化导致的系统性升级和修改,极大的降低了运维成本,提高数据管理的效率。
所述的面向自然资源多源异构数据时空信息的同化方法,还包括对数据时空信息的全流程服务协同与共享,具体的协同与共享方法包括:基于平台体系化标准数据,按时间、区域、业务类型、管理阶段四个维度建立自然资源测绘全过程服务协同管理的信息流概念模型:
{Process:(规划设计管理,自然资源审批管理…规划审批管理,规划监督管理,不动产确权登记管理);
Service type:(建设用地,建筑工程…市政工程,耕地保护);
Region:(区域1,区域2,…,区域8);
Time:(年,月,季,日)}。
融合采用商业智能(Geo.BI)技术,将测绘地理信息与生产、管理、服务、监督信息高效整合为专题数据仓库,组建了以基准→生产→管理→服务为主线的工作流,打通了业务服务上下游,形成以管理节点为标识的服务数据链,实现了时间、空间、业务类型、管理阶段多维度的信息流和工作流整合。融合采用联机分析处理(OLAP)、人工智能(Geo.AI)等技术,对专题数据仓库数据进行收集与整理,形成训练数据,以规划监督测绘成果中的空间、特征值、指标信息、建设单位信息、管理阶段信息、监督信息等属性为结点,通过机器学习构造并持续优化决策树算法模型,进一步进行知识挖掘,预判高发违建行为并进行重点监管。解决了全业务信息共享与全过程动态监督难题,实现了不需人工干预的全流程服务协同。
通过信息流概念模型将数据、信息及服务实现一整套的协同管理,通过建立数据共享仓库与服务共享仓库,对非结构化数据、结构化数据以及标准化服务进行信息整合,建立数据与服务的索引信息数据库以及权限管理数据库,用于协同和共享。信息流概念模型对结构化数据与非结构化数据进行了分类定义,套用模型定义可以自动识别数据本身的结构化程度与组成形式。对于结构化数据,信息流概念模型将自动识别数据结构进行数据仓库模板定制;对于非结构化数据,信息流概念模型将数据进行压缩、关键信息抽取、建立索引几个环节,完成非结构化数据的数据仓库模板建立;对于标准化数据服务,信息流概念模型将分配不同的标准化空间数据服务管理模板,完成数据服务共享仓库的自动化建立,通过服务的动态更新对数据服务仓库实现灵活更新,最终形成动态的数据共享平台。
面向自然资源多源异构数据时空信息的智能同化系统,包括:
数据结构解析单元,用于定制数据格式解析服务程序,并通过调用对应的数据格式解析服务程序识别不同的录入数据文件的格式并进行实时解析;
空间数据识别单元,对解析后的数据,通过对比标准属性库模板判断其属性信息的含义,并检验空间图形数据的坐标参考以及图形拓扑关系,并将不同坐标参考下的数据信息统一归算到指定坐标参考下;
信息提取单元,用于根据空间数据识别单元的识别结果,对其中的几何图形信息和属性信息进行匹配和筛选;
时空数据多层次模型库,将信息提取单元提取的包含时间、空间在内的多个维度的信息流在模型库中进行数据结构层次展示;
信息表达和转换单元,用于把目标检索模型和检索结果的相关对象及其抽象的语义关系转换成具体的数据和图形,显示在二维或者三维可视化空间中,实现对结果的快速索引和信息表达。
不同的录入数据文件包括ARCGIS格式、MapGIS格式、.edb格式、Excel格式、.txt格式的数据文件等。
面对信息分散、协同困难等信息化难题,本发明创新设计了面向自然资源统一管理的“纵向贯通、横向协同、集成测绘”的高效能按需测绘地理信息技术支撑及服务模式。纵向能够支撑国家、省、市、县四级自然资源管理部门实施自然资源分布集成、统一管理;横向实现了从建设项目信息协同、技术标准协同、工作流程协同、管理信息协同、平台服务协同等五方面对市县级自然资源管理职能的网络化、信息化、智能化协同服务;同时,实现了对传统测绘服务模式的升级重构,将原来按行业规范定制的测绘地理信息标准数据生产与服务,升级到精细化的专题数据产品和信息供给,并扩展到分布式协同共享相关管理属性信息及其所需的服务;将测绘生产工艺流程从传统标准化的专业测绘升级到专题要素信息的信息化采集、发现、挖掘、转换、整理以及标准化、模块化融合衍生;将服务方式从传统的离线数据提供升级为分布式存贮和计算、网络化共享与协同服务;通过超融合服务器集群,依托超融合架构的分布式技术和虚拟化技术,将分布在每个节点服务器上的本地存储、计算和网络资源虚拟化聚合为可横向扩展的逻辑资源池,对外提供统一的测绘地理信息服务。
下面为应用上述方法和系统的两个应用实例:
(1)自然资源多源异构数据智能化信息抽取与展示
基于WEBGIS的土地审批测绘信息服务平台项目中,Web制图系统主要用来测绘业务人员在线出图,在制图之前需要导入加载用地红线,绘制范围线所在区域底图。用地红线数据根据实际业务需求,通常包含.edb、.txt、.shp等多种数据格式与类型。系统应用智能同化手段,集中读取并解析各类数据内容,从中抽取了几何信息进行图形的重构,同时对应抽取了属性信息作为制图信息补充,从而快速有效的实现了自然资源多源异构数据的在线解析和加载,并实现了关键信息的抽取以及在地图上自动叠加显示与分析,通过空间分析结果自动找到对应图幅信息,为web端自动化制图提供了良好的辅助。
(2)自然资源多源异构数据格式与坐标智能转换
鉴于在最新的自然资源数据生产和业务环节,某市自然资源局发文要求使用政务版国土基础数据进行用地报批审核并明确过渡期的具体要求,因而在平台应用建设当中政务版坐标转换成为了必不可少的内容。由于涉及到的业务数据种类复杂格式多样,想要将数据进行精确转换需要对数据进行解析、抽取、转换、重构,最终得到目标坐标系下数据。在本应用中基于自然资源多源异构数据智能同化方法,实现了各类数据的集中快速解析和关键信息抽取,将抽取出的信息流结果根据转换要求进行了储存与实时转换,最终将转换结构按照几何数据类型进行重构,得到目标坐标系下的数据结果。数据转换应用原理如图5所示。
尽管已描述了本申请的优选实施例,但本领域内的普通技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改,包括采用特定符号、标记确定顶点等变更方式。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (4)
1.面向自然资源多源异构数据时空信息的智能同化方法,其特征在于,包括:
S1,数据格式检查及解析,通过调用对应的数据格式解析服务程序识别不 同的录入数据文件的格式,对自然资源多源异构数据进行结构解析;
S2,空间数据识别,对解析后的数据,通过对比标准属性库模板判断其属性信息的含义,并检验空间图形数据的坐标参考以及图形拓扑关系,并将不同坐标参考下的数据信息统一归算到指定坐标参考下;
S3,关键信息抽取,根据空间数据识别单元的识别结果,对其中的几何图形信息和属性信息进行匹配和筛选,具体包括地理要素与要素属性的信息提取,其中,地理要素包括地理要素的属性、一般关系和空间关系,要素属性包括属性项名称、属性字段类型、属性值字段宽度、属性字段值保留小数位数、属性项的取值是否为空及属性字段的取值方式;关键信息提取还需要纳入数据同化结果分析,从要素类别、属性方面分析同化要素之间的差异,从而确定信息抽取策略,另外,在针对原始数据与目标数据的要素类别及属性间关系进行分析时,还需要将原始数据信息与最终信息之间的对应关系进行转换,其中,转换 时,当原数据信息中包含最终不必要的信息,不需要建立对应关系,或通过扩充最终要素信息的原则进行同化;当原数据信息包含目标必要抽取信息,则根据其不同的对应关系进行转换,转换的方法包括一对一关系转换、一对多关系转换和多对一关系转换;
S4,结果展示,根据信息提取单元提取的包含时间、空间在内的多个维度 的信息流建立数据模型库进行数据结构层次的展示,其中,将该信息流在数据 结构层次展示出来的方法包括需要建立自然资源时空数据多层次模型,模型包 括 2 个基本层次:信息的表达性可视化任务、分析性可视化任务;其中,信息 的表达性可视化任务包括将信息从离散转为连续、从动转为静、从真实感转换为抽象化的自适应表达,将不同特征下的信息流模型化、可读化、可视化;分析性可视化任务包括在数据模型中叠加分析计算信息,从而实现信息完整转化以及可分析模型的动态构建;
S5,建立索引,把目标检索模型和检索结果的相关对象及其抽象的语义关系转换成具体的数据和图形,显示在二维或者三维可视化空间中,实现对结果的快速索引和信息表达,其中转换时,将原始信息流模型库中的信息进行分类构造,通过结构化、对象化、语义化,表达出自然资源数据信息流中的语义和目标数据间的关系,再定义符合任务的可视化空间结构,结构化的数据对象映射到可视化空间,通过视图变换调整位置、比例尺、过滤图形参数创建可视化 空间下的实际视图。
2.如权利要求 1 所述的面向自然资源多源异构数据时空信息的智能同化方法,其特征在于,还包括对模型库中的信息流的动态更新,对模型库中的信息流的动态更新方法包括:首先以新旧要素的匹配特征为切入点,通过采用 GEO.AI 技术中的神经决策树的方法实现更新信息的识别及快速发现,然后再 通过基于格网划分的变化信息快速定位方法,对新旧数据中的空间信息和属性 信息变化进行快速而准确的定位,最后对数据模板与数据库同步更新;所述以新旧要素的匹配特征为切入点,通过采用 GEO.AI 技术中的神经决策树实现更新信息的识别及快速发现的方法具体包括步骤:(a1)选取已实现更新信息检测的对象组合作为训练样本;(a2)计算训练样本的变化特征;(a3)把变化特征参数作为输入层,变化分类信息作为输出层,进行神经网络训练,并验证神经网络模型的准确性与可靠性,以获得神经网络模型的阈值与权重矩阵; (a4)对更新数据与原数据进行空间叠加操作,获取候选的测试更新对象组合,并计算其变化特征参数;(a5)把变化特征参数作为输入量,使用步骤(a3)中建立的神经网络模型进行更新信息的模式判别,以获取更新信息的分类结果;通过基于格网划分的变化信息快速定位的具体方法包括步骤:(b1)通过检测确保新旧数据是同一比例尺及采用同一坐标系,分别对新旧数据增加特征点坐标属性字段及存储要素属性汇总信息的属性字段;(b2)分别对新旧数据进行全局查询,计算要素特征点坐标、要素属性汇总信息、并确定新旧数据对比的范围,特征点坐标代表要素所处的位置,点要素直接取其坐标,线要素取其中点,面要素取其质心,要素属性汇总信息是将要素属性字段的字段值按字段名的字符串匹配排序进行拼接,每个字段值之间用特殊符号分隔;(b3)将变化检测范围按统一的宽度和高度划分为m×n个规则的格网,格网的宽度根据检测范围和要素总数自动确定,格网的宽度记为Gwidth,高度记为 Ghight,根据格网的总数定义数组变量来存储格网中要素的汇总信息;(b4)分别对新旧数据按特征点坐标进行排序查询,并按特征点坐标将要素匹配到相应的格网,线要素和面要素的几何值信息为要素的弧段长度,点要 素不需要累加几何值信息; (b5)对新旧数据中编号相同网格中的特征点X坐标、特征点Y坐标、弧段长度、属性值拼接字符串进行对比;对数据模板与数据库同步更新的方法,具体包括根据空间地理信息数据自身的数据库格式特点,通过分析其数据模板中的数据字典,与+Oracle 数据库数据字典进行匹配,分析关键数据内容的结构变化,通过仲裁将模板中变化的数据格式写入 oracle 数据库,使成果模板和数据库同步更新。
3.如权利要求 2 所述的面向自然资源多源异构数据时空信息的同化方法, 其特征在于,还包括对数据时空信息的全流程服务协同与共享,具体的协同与 共享方法包括:基于平台体系化标准数据,按时间、区域、业务类型、管理阶段四个维度建立自然资源测绘全过程服务协同管理的信息流概念模型,通过该信息流概念模型将数据、信息及服务实现一整套的协同管理,通过建立数据共享仓库与服务共享仓库,对非结构化数据、结构化数据以及标准化服务进行信息整合,建立数据与服务的索引信息数据库以及权限管理数据库,用于协同和共享,信息流概念模型对结构化数据与非结构化数据进行了分类定义,套用模型定义可以自动识别数据本身的结构化程度与组成形式,对于结构化数据,信息流概念模型将自动识别数据结构进行数据仓库模板定制;对于非结构化数据,信息流概念模型将数据进行压缩、关键信息抽取、建立索引几个环节,完成非结构化数据的数据仓库模板建立;对于标准化数据服务,信息流概念模型将分配不同的标准化空间数据服务管理模板,完成数据服务共享仓库的自动化建立,通过服务的动态更新对数据服务仓库实现灵活更新,最终形成动态的数 据共享平台。
4.如权利要求 1-3 任一项所述的面向自然资源多源异构数据时空信息的同化方法,其特征在于,还包括面向自然资源多源异构数据时空信息的智能同化系统,所述系统包括:数据结构解析单元,用于定制数据格式解析服务程序,并通过调用对应的数据格式解析服务程序识别不同的录入数据文件的格式并进行实时解析;空间数据识别单元,对解析后的数据,通过对比标准属性库模板判断其属性信息的含义,并检验空间图形数据的坐标参考以及图形拓扑关系,并将不同坐标参考下的数据信息统一归算到指定坐标参考下; 信息提取单元,用于根据空间数据识别单元的识别结果,对其中的几何图形信息和属性信息进行匹配和筛选; 时空数据多层次模型库建立单元,将信息提取单元提取的包含时间、空间在内的多个维度的信息流在模型库中进行数据结构层次展示; 数据转换单元,用于把目标检索模型和检索结果的相关对象及其抽象的语义关系转换成具体的数据和图形,显示在二维或者三维可视化空间中,实现对结果的快速索引和信息表达;不同的录入数据文件包括ARCGIS 格式、MapGIS 5 格式、.edb 格式、Excel 格式、.txt 格式的数据文件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010556735.8A CN111680025B (zh) | 2020-06-17 | 2020-06-17 | 面向自然资源多源异构数据时空信息智能同化的方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010556735.8A CN111680025B (zh) | 2020-06-17 | 2020-06-17 | 面向自然资源多源异构数据时空信息智能同化的方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111680025A CN111680025A (zh) | 2020-09-18 |
CN111680025B true CN111680025B (zh) | 2022-03-22 |
Family
ID=72455548
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010556735.8A Active CN111680025B (zh) | 2020-06-17 | 2020-06-17 | 面向自然资源多源异构数据时空信息智能同化的方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111680025B (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112182134B (zh) * | 2020-09-30 | 2024-04-30 | 北京超图软件股份有限公司 | 一种业务系统时空数据库的构建方法及装置 |
CN112860689B (zh) * | 2021-01-11 | 2024-02-20 | 北斗伏羲信息技术有限公司 | 一种基于时空网格数据的平台系统 |
CN112800296A (zh) * | 2021-02-17 | 2021-05-14 | 重庆首亨软件股份有限公司 | 一种基于社会治理数据的可视化分析方法、装置及介质 |
CN112860835A (zh) * | 2021-02-22 | 2021-05-28 | 张一龙 | 一种自然资源数据管理方法及系统 |
CN112988731B (zh) * | 2021-03-30 | 2021-11-05 | 重庆市规划和自然资源信息中心 | 基于多元异构地理信息的数据融合治理方法 |
CN113744106B (zh) * | 2021-09-17 | 2023-11-28 | 速度科技股份有限公司 | 一种自动划分自然资源确权登记单元的方法 |
CN113901179B (zh) * | 2021-12-10 | 2022-03-22 | 中国测绘科学研究院 | 一种基于自然语言的人员流动应急管理信息结构化方法 |
CN114398374B (zh) * | 2022-01-17 | 2023-02-07 | 中国地质调查局发展研究中心(全国地质资料馆、自然资源部矿产勘查技术指导中心) | 一种地质调查智能空间的数据资源治理方法 |
CN114782027B (zh) * | 2022-06-17 | 2022-09-20 | 广州力控元海信息科技有限公司 | 一种柔性产线的多源异构视频数据交互处理方法及系统 |
CN115081875A (zh) * | 2022-06-22 | 2022-09-20 | 宁夏回族自治区自然资源信息中心 | 一种基于人工智能的自然资源数据的管理方法及系统 |
CN115168396A (zh) * | 2022-07-15 | 2022-10-11 | 全图通位置网络有限公司 | 一种基于时空体系的综合智能平台数据管理方法及系统 |
CN115424511A (zh) * | 2022-11-04 | 2022-12-02 | 广州市城市规划勘测设计研究院 | 一种国土空间规划制图方法、装置、设备及存储介质 |
CN115774861B (zh) * | 2022-12-22 | 2023-07-21 | 广东五度空间科技有限公司 | 一种自然资源多源异构数据汇聚融合服务系统 |
CN116303856B (zh) * | 2023-03-07 | 2024-01-09 | 北京龙软科技股份有限公司 | 一种工业地理信息系统 |
CN116303475B (zh) * | 2023-05-17 | 2023-08-08 | 吉奥时空信息技术股份有限公司 | 一种多源指标数据智能存储的管理方法及装置 |
CN116737863B (zh) * | 2023-08-10 | 2023-11-21 | 深圳市易图资讯股份有限公司 | 一种基于政务数据空间化的方法和系统 |
CN116860760B (zh) * | 2023-08-31 | 2023-11-17 | 中国标准化研究院 | 一种基于元数据的空间地理数据存储方法及装置 |
CN117742674B (zh) * | 2024-02-18 | 2024-04-26 | 江苏省地质测绘院 | 基于特性宏和要素特征的地理信息要素选择方法 |
CN117951152A (zh) * | 2024-03-26 | 2024-04-30 | 山东光庭信息技术有限公司 | 一种基于人工智能的自然资源数据的管理方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106709067A (zh) * | 2017-01-19 | 2017-05-24 | 中国测绘科学研究院 | 一种基于Oracle数据库的多源异构空间数据流转方法 |
CN108388620A (zh) * | 2018-02-11 | 2018-08-10 | 珠海市测绘院 | 一种土地审批测绘数据处理信息系统 |
CN109144966A (zh) * | 2018-07-06 | 2019-01-04 | 航天星图科技(北京)有限公司 | 一种海量时空数据的高效组织与管理方法 |
CN109947737A (zh) * | 2017-12-01 | 2019-06-28 | 广州明领基因科技有限公司 | 针对多源异构数据的多维决策分析及可视化系统 |
CN111104449A (zh) * | 2019-12-18 | 2020-05-05 | 福州市勘测院 | 基于地理空间画像挖掘的多源城市时空标准地址融合方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2782183B1 (fr) * | 1998-08-05 | 2000-10-13 | Geofermat Sarl | Procede et systeme de traitement d'informations a reference spatiale, notamment d'informations cartographiques, applications et appareils implementant ce procede |
-
2020
- 2020-06-17 CN CN202010556735.8A patent/CN111680025B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106709067A (zh) * | 2017-01-19 | 2017-05-24 | 中国测绘科学研究院 | 一种基于Oracle数据库的多源异构空间数据流转方法 |
CN109947737A (zh) * | 2017-12-01 | 2019-06-28 | 广州明领基因科技有限公司 | 针对多源异构数据的多维决策分析及可视化系统 |
CN108388620A (zh) * | 2018-02-11 | 2018-08-10 | 珠海市测绘院 | 一种土地审批测绘数据处理信息系统 |
CN109144966A (zh) * | 2018-07-06 | 2019-01-04 | 航天星图科技(北京)有限公司 | 一种海量时空数据的高效组织与管理方法 |
CN111104449A (zh) * | 2019-12-18 | 2020-05-05 | 福州市勘测院 | 基于地理空间画像挖掘的多源城市时空标准地址融合方法 |
Non-Patent Citations (1)
Title |
---|
江苏海洋多源异构数据的整理与入库方法;顾云娟等;《海洋开发与管理》;20121130(第11期);51-55 * |
Also Published As
Publication number | Publication date |
---|---|
CN111680025A (zh) | 2020-09-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111680025B (zh) | 面向自然资源多源异构数据时空信息智能同化的方法及系统 | |
CN108710625B (zh) | 一种专题知识自动挖掘系统及方法 | |
CN112270027B (zh) | 基于实体模型的城市设计无纸化智能交互审查方法 | |
CN106547853B (zh) | 基于一张图的林业大数据建设方法 | |
CN108681798B (zh) | 基于gis的区域农业规划辅助决策系统及规划方法 | |
CN113778967B (zh) | 长江流域数据采集处理与资源共享系统 | |
CN107679221B (zh) | 面向减灾任务的时空数据获取与服务组合方案生成方法 | |
CN113434623B (zh) | 一种基于多源异构空间规划数据的融合方法 | |
CN115713161B (zh) | 一种基于bim技术的建筑信息管理系统 | |
CN112182077B (zh) | 一种基于数据中台技术的智能运维系统 | |
CN114379608A (zh) | 一种城市轨道交通工程的多源异构数据集成处理方法 | |
CN115099722B (zh) | 基于知识化谱系的国土空间规划指标模型管理与应用方法 | |
CN114968984A (zh) | 数字孪生全生命周期管理平台 | |
CN106203787A (zh) | 基于一张图加的产业信息分析方法及系统 | |
CN112948595A (zh) | 城市群运行状态知识图谱构建方法、系统及设备 | |
Bai et al. | Querying fuzzy spatiotemporal data using XQuery | |
Çelik | 4D and 5D BIM: A system for automation of planning and integrated cost management | |
CN108875087B (zh) | 一种描述事物空间属性并基于所述描述进行查找的方法 | |
CN115983385B (zh) | 空间环境实体构建方法及装置 | |
Kovalyov | Design and development of a power system digital twin: A model-based approach | |
CN115099315A (zh) | 基于CityGML的多源异构地理信息数据语义融合转换方法 | |
Gordienko et al. | Geoinformation project as complex object forecasting and decision making tool in intelligent information and management systems | |
Martella et al. | State of the art of urban digital twin platforms | |
CN112231301A (zh) | 黄河水沙变化数据仓库 | |
CN116821386B (zh) | 一种基于多源异构数据结构化的单一特征评估控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |