CN114379608A - 一种城市轨道交通工程的多源异构数据集成处理方法 - Google Patents
一种城市轨道交通工程的多源异构数据集成处理方法 Download PDFInfo
- Publication number
- CN114379608A CN114379608A CN202111518729.4A CN202111518729A CN114379608A CN 114379608 A CN114379608 A CN 114379608A CN 202111518729 A CN202111518729 A CN 202111518729A CN 114379608 A CN114379608 A CN 114379608A
- Authority
- CN
- China
- Prior art keywords
- data
- database
- source
- conversion
- rail transit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010354 integration Effects 0.000 title claims abstract description 37
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000006243 chemical reaction Methods 0.000 claims abstract description 42
- 238000013507 mapping Methods 0.000 claims abstract description 21
- 238000013499 data model Methods 0.000 claims abstract description 18
- 238000003860 storage Methods 0.000 claims abstract description 16
- 238000009877 rendering Methods 0.000 claims abstract description 9
- 230000007704 transition Effects 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 29
- 230000004927 fusion Effects 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 13
- 238000013075 data extraction Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000010276 construction Methods 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 8
- 238000013461 design Methods 0.000 description 6
- 238000005096 rolling process Methods 0.000 description 6
- 238000004140 cleaning Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000005553 drilling Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L15/00—Indicators provided on the vehicle or train for signalling purposes
- B61L15/0072—On-board train data handling
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种城市轨道交通工程的多源异构数据集成处理方法，创建数据源并将数据进行分类并存储至各源端数据库；根据各源端数据库创建元数据库；将异构数据源的数据抽取到过渡性数据库；在规则和元数据库的约束下对过渡性数据库进行数据转换；对转换后的数据进行数据集成和融合，实现数据模型和数据格式的统一；基于元数据库，其内部的元数据管理器定义目标数据模型结构，得到定义数据关联规则和目标映射关系；根据定义数据关联规则和目标映射关系，将已经集成和融合成功的数据从数据过渡区加载到数据仓库物理存储区域；将数据仓库物理存储区域的数据进行渲染并发布到相应的WebGIS服务器上，在指定系统中进行系统配置和服务的多源异构数据集成显示。
Description
技术领域
本发明涉及建筑信息化领域，更具体地，涉及一种城市轨道交通工程的多源异构数据集成处理方法。
背景技术
多源异构数据集成是整合来自多个数据源的数据，减少数据之间类型和结构上的差异，解决多源异构数据的来源复杂、结构异构问题，从而实现对数据的统一存储、管理和分析，实现用户无差别访问，充分发挥数据的价值。随着地铁建设项目复杂程度的提升，大规模的数据信息不断积累，城市轨道交通建造过程中产生的海量多源异构数据，包括结构化、半结构化和非结构化，特别是GIS数据、BIM数据、倾斜摄影数据、地质数据以及激光点云等数据，由于数据的分布式采集和数据来源形式多种，导致不同系统之间无法进行有效的数据互操作和集成应用，这不仅加大数据生产成本，造成人力、物力的极大浪费，也给数据共享带来极大困难。因此，为实现不同数据源的互连互通和数据的共享，构建多源异构数据集成系统显得尤为迫切。
现有的技术中，中国实用新型公开了一种多源异构数据快速采集系统，它包括数据采集单元、数据清洗单元、数据处理单元、通信层、云端服务器和云端存储单元，数据采集单元的采集数据输出端与数据清洗单元的采集数据输入端连接，数据清洗单元的清洗数据输出端与数据处理单元的输入端连接，数据处理单元与通信层通讯连接，通信层与云端服务器通讯连接，云端服务器的数据存储控制端与云端存储单元的控制端连接，云端服务器包括监听模块，监听模块显示数据处理单元与云端服务器的连接状态。该专利通过数据采集单元进行数据采集，采集的数据通过数据清洗单元进行数据清洗，数据处理单元进行数据规格化，将整理后的数据传输到云端服务器，以供用户访问使用；但是对于多源异构数据的处理中，并没有实现不同数据源的互连互通和数据的共享。
发明内容
本发明为解决现有的异构的信息生产环境，其不同系统之间无法进行有效的互操作的技术缺陷，提供了一种城市轨道交通工程的多源异构数据集成处理方法。
为实现以上发明目的，采用的技术方案是：
一种城市轨道交通工程的多源异构数据集成处理方法，包括以下步骤：
S1：创建数据源并将数据进行分类并存储至各源端数据库；
S2：根据各源端数据库创建元数据库；
S3：将异构数据源中的数据抽取到过渡性数据库；
S4：在规则和元数据库的约束下对过渡性数据库进行数据转换；
S5：对转换后的数据进行数据集成和融合，实现实体的分类分级、数据模型和数据格式的统一；
S6：基于元数据库，其内部的元数据管理器定义多维的、有冗余的目标数据模型结构，得到定义数据关联规则和目标映射关系；
S7：根据定义数据关联规则和目标映射关系，将已经集成和融合成功的数据从数据过渡区加载到数据仓库物理存储区域；
S8：将数据仓库物理存储区域的数据进行渲染并发布到相应的WebGIS服务器上，在指定系统中进行系统配置和服务的多源异构数据集成显示。
上述方案中，采用抽取、转换和映射技术整合，基于元数据库自定义规则的数据集成处理方法，解决多源异构数据规则自动匹配的数据集成处理问题以及不同数据库系统之间无法进行有效互操作，从而减少人工干预，提高数据处理的效率。
优选的，在步骤S1中，选择不同类型的数据库，将获取的GIS、BIM、倾斜摄影、地质、点云等数据，以属性数据、空间数据、文档数据形式进行分类、存储各源端数据库。
优选的，在步骤S2中，通过标准接口自动定义和读取各种有关数据库的数据字典创建元数据类，包括数据库类描述、实体类描述、事务类描述、界面类定义，存储到元数据库，建立元数据库。
优选的，在步骤S3中，通过面向异构的数据源接口界面，利用用户定义的抽取规则的数据抽取器从MySQL数据库、Oracle、SQL Server、Excel、Access等异构数据源中进行数据抽取；将源数据系统获取的数据全量或增量传输到过渡性数据库中。
优选的，在步骤S4中，在元数据库中根据用户定义匹配语义转换、结构转换、属性转换规则；在规则和元数据库的约束下对过渡性数据库的数据进行数据转换处理过程。
优选的，在步骤S5中，对数据格式差异、坐标体系差异、数据精度差异、时空尺度差异和属性定义差异等进行集成和融合，其方式包括数据格式转换、结构转换、属性语义转换的统一与融合，按照一定的数据标准、空间与属性实现实体分类分级、几何位置、数据模型和数据格式统一。
优选的，所述数据格式转换是将多源异构数据转换成统一的目标数据格式，并完成对不同数据指标进行转换的计算。
优选的，所述几何位置的统一是以地球椭球面为空间信息定位的载体，基于统一坐标系和投影方式对BIM、倾斜摄影、地质模型、激光点云等各种来源、各种投影的空间地理数据转换成全局地理坐标的几何位置融合。
上述方案中，以地球椭球面为空间信息定位的载体，基于统一坐标系(如WGS84大地坐标系)和投影方式(如高斯投影)BIM、倾斜摄影、地质模型、激光点云等各种来源、各种投影的空间地理数据转换成全局地理坐标的几何位置融合。
优选的，所述属性语义转换的融合是基于自定义的要素编码规则进行实体属性统一表示实现语义融合。
上述方案中，基于自定义的要素编码规则(如本体表达)进行实体属性统一表示实现语义融合。
优选的，在步骤S7中，根据自定义数据关联规则和目标映射关系，将已经转换成功的数据从数据过渡区加载到具有多维数据模型结构的数据仓库物理存储区域。
上述方案中，由于信息技术的标准化工作，特别是服务的标准化工作相对滞后，导致了异构的信息生产环境，不同系统之间如BIM、GIS等无法进行有效的互操作，这不仅加大了数据生产成本，造成人力、物力的极大浪费，也给数据共享带来了极大困难。解决大量多源异构数据的集成与共享问题，实现信息资源的高效存储、处理和无缝流转是城市轨道交通工程数字建造的基础工作，进而提高数据的利用价值。
本发明的目的是提供面向城市轨道交通工程多源异构数据的数据集成与可视化实现方法，针对各数据来源方式的不同以及工程建造数据的特点，结合主要数据存储和处理流程，提出并设计了一种多源异构数据的集成处理的数据标准化、规范化的方案与技术流程。
采用自定义规则和数据仓库整合机制，针对城市轨道佳通工程建造多源异构数据，包括BIM、GIS、倾斜摄影、地质模型和激光点云等数据，采用抽取、转换和映射技术整合，解决异构的地理信息生产环境导致不同数据库系统之间无法进行有效互操作等问题，从而使得理，减少人工干预，提高多源异构数据融合处理的效率。
多源异构数据能够实现自动化融合的特点在于：
(1)建立多维数据模型结构允许在多维数集合的任一维的同一层次链上使用不同的聚集函数执行上卷、下钻和切片等多层次多角度分析；
(2)采用元数据库自定义数据抽取规则、转换规则和关联规则，提升数据访问时效性、互操作性，实现异构数据快速集成与融合；
(3)从多个数据源到目标系统的自定义规则的快速映射，实现GIS、BIM、倾斜摄影、地质、点云数据在Web环境下的实时调用与轻量化集成展示。
与现有技术相比，本发明的有益效果是：
本发明提供的一种城市轨道交通工程的多源异构数据集成处理方法，采用抽取、转换和映射技术整合，基于元数据库自定义规则的数据集成处理方法，解决多源异构数据规则自动匹配的数据集成处理问题以及不同数据库系统之间无法进行有效互操作，从而减少人工干预，提高数据处理的效率。
附图说明
图1为本发明的方法流程图；
图2是本申请实施例提供的多源异构数据处理整体实现流程示意图；
图3是基于多种规则定义的数据抽取实现流程示意图；
图4是本申请实施例提供的一种Web集成处理服务实现流程示意图；
图5是基于模型集成展示界面示意图；
图6是基于外剖切展示界面示意图；
图7是基于内剖切展示界面示意图；
图8是基于卷帘分析展示界面示意图；
图9是基于测距分析示界面示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
以下结合附图和实施例对本发明做进一步的阐述。
实施例1
如图1和图2所示，一种城市轨道交通工程的多源异构数据集成处理方法，包括以下步骤：
S1：创建数据源并将数据进行分类并存储至各源端数据库；
S2：根据各源端数据库创建元数据库；
S3：将异构数据源中的数据抽取到过渡性数据库；
S4：在规则和元数据库的约束下对过渡性数据库进行数据转换；
S5：对转换后的数据进行数据集成和融合，实现实体的分类分级、数据模型和数据格式的统一；
S6：基于元数据库，其内部的元数据管理器定义多维的、有冗余的目标数据模型结构，得到定义数据关联规则和目标映射关系；
S7：根据定义数据关联规则和目标映射关系，将已经集成和融合成功的数据从数据过渡区加载到数据仓库物理存储区域；
S8：将数据仓库物理存储区域的数据进行渲染并发布到相应的WebGIS服务器上，在指定系统中进行系统配置和服务的多源异构数据集成显示。
上述方案中，采用抽取、转换和映射技术整合，基于元数据库自定义规则的数据集成处理方法，解决多源异构数据规则自动匹配的数据集成处理问题以及不同数据库系统之间无法进行有效互操作，从而减少人工干预，提高数据处理的效率。
优选的，在步骤S1中，选择不同类型的数据库，将获取的GIS、BIM、倾斜摄影、地质、点云等数据，以属性数据、空间数据、文档数据形式进行分类、存储各源端数据库。
优选的，在步骤S2中，通过标准接口自动定义和读取各种有关数据库的数据字典创建元数据类，包括数据库类描述、实体类描述、事务类描述、界面类定义，存储到元数据库，建立元数据库。
优选的，在步骤S3中，通过面向异构的数据源接口界面，利用用户定义的抽取规则的数据抽取器从MySQL数据库、Oracle、SQL Server、Excel、Access等异构数据源中进行数据抽取；将源数据系统获取的数据全量或增量传输到过渡性数据库中。
优选的，在步骤S4中，在元数据库中根据用户定义匹配语义转换、结构转换、属性转换规则；在规则和元数据库的约束下对过渡性数据库的数据进行数据转换处理过程。
优选的，在步骤S5中，对数据格式差异、坐标体系差异、数据精度差异、时空尺度差异和属性定义差异等进行集成和融合，其方式包括数据格式转换、结构转换、属性语义转换的统一与融合，按照一定的数据标准、空间与属性实现实体分类分级、几何位置、数据模型和数据格式统一。
优选的，所述数据格式转换是将多源异构数据转换成统一的目标数据格式，并完成对不同数据指标进行转换的计算。
优选的，所述几何位置的统一是以地球椭球面为空间信息定位的载体，基于统一坐标系和投影方式对BIM、倾斜摄影、地质模型、激光点云等各种来源、各种投影的空间地理数据转换成全局地理坐标的几何位置融合。
上述方案中，以地球椭球面为空间信息定位的载体，基于统一坐标系(如WGS84大地坐标系)和投影方式(如高斯投影)BIM、倾斜摄影、地质模型、激光点云等各种来源、各种投影的空间地理数据转换成全局地理坐标的几何位置融合。
优选的，所述属性语义转换的融合是基于自定义的要素编码规则进行实体属性统一表示实现语义融合。
上述方案中，基于自定义的要素编码规则(如本体表达)进行实体属性统一表示实现语义融合。
优选的，在步骤S7中，根据自定义数据关联规则和目标映射关系，将已经转换成功的数据从数据过渡区加载到具有多维数据模型结构的数据仓库物理存储区域。
上述方案中，以地球椭球面为空间信息定位的载体，基于统一坐标系(如WGS84大地坐标系)和投影方式(如高斯投影)BIM、倾斜摄影、地质模型、激光点云等各种来源、各种投影的空间地理数据转换成全局地理坐标的几何位置融合。
优选的，所述属性语义转换的融合是基于自定义的要素编码规则进行实体属性统一表示实现语义融合。
上述方案中，基于自定义的要素编码规则(如本体表达)进行实体属性统一表示实现语义融合。
优选的，在步骤S7中，根据自定义数据关联规则和目标映射关系，将已经转换成功的数据从数据过渡区加载到具有多维数据模型结构的数据仓库物理存储区域。
上述方案中，由于信息技术的标准化工作，特别是服务的标准化工作相对滞后，导致了异构的信息生产环境，不同系统之间如BIM、GIS等无法进行有效的互操作，这不仅加大了数据生产成本，造成人力、物力的极大浪费，也给数据共享带来了极大困难。解决大量多源异构数据的集成与共享问题，实现信息资源的高效存储、处理和无缝流转是城市轨道交通工程数字建造的基础工作，进而提高数据的利用价值。
本发明的目的是提供面向城市轨道交通工程多源异构数据的数据集成与可视化实现方法，针对各数据来源方式的不同以及工程建造数据的特点，结合主要数据存储和处理流程，提出并设计了一种多源异构数据的集成处理的数据标准化、规范化的方案与技术流程。
采用自定义规则和数据仓库整合机制，针对城市轨道佳通工程建造多源异构数据，包括BIM、GIS、倾斜摄影、地质模型和激光点云等数据，采用抽取、转换和映射技术整合，解决异构的地理信息生产环境导致不同数据库系统之间无法进行有效互操作等问题，从而使得理，减少人工干预，提高多源异构数据融合处理的效率。
多源异构数据能够实现自动化融合的特点在于：
(1)建立多维数据模型结构允许在多维数集合的任一维的同一层次链上使用不同的聚集函数执行上卷、下钻和切片等多层次多角度分析；
(2)采用元数据库自定义数据抽取规则、转换规则和关联规则，提升数据访问时效性、互操作性，实现异构数据快速集成与融合；
(3)从多个数据源到目标系统的自定义规则的快速映射，实现GIS、BIM、倾斜摄影、地质、点云数据在Web环境下的实时调用与轻量化集成展示。
实施例2
在图3中，数据抽取任务分为4步：
(1)连接到数据源，获取包括数据库连接信息、源表信息等；
(2)用户定义映射规则(提取数据结构)和抽取规则(提取数据)，规则映射和抽取源文件为元数据项；
(3)抽取器根据多规则匹配从来源数据库中的数据表中查询结果数据并提取满足映射规则的数据记录；
(4)结果数据加载到目标(临时)数据库；
(5)抽取任务有用户根据需要创建后存储在元数据规则库的任务表中进行调用执行。
实施例3
在图4中，基于Web服务的集成处理服务模式提供了将对数据仓库进行多维数据访问包装成结构化的数据服务模块的功能，支持在广域分布的网络环境中实现异构数据仓库的集成：
(1)面向WebGIS界面需求的接口定义与预处理；
(2)接收用户在操作界面请求；
(3)根据用户操作请求调用数据仓库平台端的服务；
(4)多维数据模型集成配置；
(5)通过数据访问接口和数据传输协议完成Web服务。
实施例4
在本发明的步骤S5中，使用了一种基于ETL的多源异构空间数据融合的思路。即对数据进行抽取、转换、装载等一系列操作使得数据集成和融合。
在数据抽取阶段的关键工作是设计好各类数据源到操作型数据存储库的数据结构规则。在数据接口设计中，要着重考虑的是源数据系统中的数据类型，根据数据类型及分布来建立规则，提高读取效率。
利用提供的JAR包，并通过JDBC与Mysql相联。利用angular做用户界面并嵌入图形矢量数据，将属性信息与空间信息完令结合在一起，构成一个统一的系统。开发过程中对于图形数据的处理，SuperMap Objects采用分层的方式来组织与管理地理空间数据。每一个图层都是一定空间范围内具有相同属性信息的同类地理空间实体的集合，并且集合相互之间也有着密切的联系，将这种具有相同属性信息的地理空间实体所组成的集合称为专题，因而每个图层都具有专题和范围两个基本要素。
数据转换是多源数据融合的关键。BIM技术与GIS技术所采用的数据标准在语义表达、几何构造方式和属性类型等方面存在较大差别，为了实现BIM与GIS高效融合，主要应用SuperMap GIS的微服务架构、分布式、跨平台、导出插件和转换工具等技术体系，并充分发挥云平台计算能力。SuperMap GIS 10i已分别为Revit、Bentley、AutodeskCivil 3D、Tekla等模型数据提供了无缝衔接的数据接口，当BIM模型数据导入到GIS系统后，依赖于坐标转换和数据精确匹准功能，能将BIM数据、倾斜摄影数据、地质数据以及激光点云等数据统一到一个坐标系。最后再对数据进行操作和处理，包括镶嵌、压平、裁剪等操作，以实现数据的平滑衔接和纹理的拼接自然。
数据装载，即将抽取转换后的数据进行装载写入目标数据库进行存储，用户根据需要设置查询条件进行共享利用。
实施例5
如图5所示，在本发明的步骤S8中，基于超图的自动处理匹配技术将前期采集地质模型数据、倾斜摄影数据等不同格式的数据转换成超图GIS平台支持的数据格式，通过基于超图的模型自动处理程序，将BIM、地质模型、点云数据等在平台进行多模型信息融合，并发布服务。接着，将发布的服务与工程管理一体化平台进行融合对接，完成自动发布超图GIS服务与平台的系统集成显示，以获得3D展示效果。系统平台支持模型整体与具体细节查看，具备建筑与地质构造关系可视化分析功能，实现不同图层信息的同步浏览。同样该平台不仅可以编辑BIM对象的几何信息和属性信息，还可以编辑BIM对象的某个子对象，比如：子对象的纹理替换、纹理的色调调整等，还支持导出为OSGB、S3M、GLTIF、STL、OFF、DAE等多种数据格式。此外，为了方便用户更便捷地编辑BIM模型位置，集团信息化管理系统提供了模型数据集的批量编辑功能，可对整个数据集图层进行平移、旋转等操作。
①模型集成展示
如图5所示，本项目通过对系统中上传的模型文件进行轻量化处理后，利用webGL三维展示引擎在平台web页面上进行展示与控制操作。
②渲染和加载模式
a.服务端渲染：模型数据在服务端渲染，然后将渲染后的图片发送到浏览器以供显示和操作。
b.客户端渲染：模型数据会被下载到浏览器，在浏览器中渲染。
c.流媒体渲染：模型数据会被逐步下载到浏览器，下载一部分，在浏览器中就渲染下载的那部分内容。
平台实现支持采用多种加载模式，支持服务端和客户端渲染，是可以在云端进行部署和无缝集成的新技术平台。此外，平台具有定制化UI和UX功能，可自定义精美的品牌和用户界面。利用先进的查看器技术，即使在配置不高，陈旧、低端的设备上也能快速打开大型模型。
实施例5
如图6～图9所示，模型分析技术包括剖切分析技术、卷帘分析技术、测距分析技术。
①剖切分析技术
剖切分析支持模型整体与具体细节查看，具备建筑与地质构造关系可视化分析功能。在设计阶段，通过剖切功能，可以掌握建筑周围的地质情况、建筑和地质的相对位置关系，并能预判施工风险。该平台已完成外剖切分析与内剖切分析两种功能模块，操作界面如图6和图7所示。
②卷帘分析技术
卷帘分析是指存在多个图层时，通过让卷帘门一侧显示某特定图层信息，而卷帘门另一侧显示另一个图层信息，来实现不同图层信息的同步浏览，操作界面如图8所示。
③测距分析技术
通过测距功能，可以掌握建筑周围的地质情况、建筑和地质的距离关系，并能根据位置距离进行方案设计，操作界面如图9所示。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种城市轨道交通工程的多源异构数据集成处理方法，其特征在于，包括以下步骤：
S1：创建数据源并将数据进行分类并存储至各源端数据库；
S2：根据各源端数据库创建元数据库；
S3：将异构数据源中的数据抽取到过渡性数据库；
S4：在规则和元数据库的约束下对过渡性数据库进行数据转换；
S5：对转换后的数据进行数据集成和融合，实现实体的分类分级、数据模型和数据格式的统一；
S6：基于元数据库，其内部的元数据管理器定义多维的、有冗余的目标数据模型结构，得到定义数据关联规则和目标映射关系；
S7：根据定义数据关联规则和目标映射关系，将已经集成和融合成功的数据从数据过渡区加载到数据仓库物理存储区域；
S8：将数据仓库物理存储区域的数据进行渲染并发布到相应的WebGIS服务器上，在指定系统中进行系统配置和服务的多源异构数据集成显示。
2.根据权利要求1所述的一种城市轨道交通工程的多源异构数据集成处理方法，其特征在于，在步骤S1中，选择不同类型的数据库，将获取的GIS、BIM、倾斜摄影、地质、点云等数据，以属性数据、空间数据、文档数据形式进行分类、存储各源端数据库。
3.根据权利要求2所述的一种城市轨道交通工程的多源异构数据集成处理方法，其特征在于，在步骤S2中，通过标准接口自动定义和读取各种有关数据库的数据字典创建元数据类，包括数据库类描述、实体类描述、事务类描述、界面类定义，存储到元数据库，建立元数据库。
4.根据权利要求3所述的一种城市轨道交通工程的多源异构数据集成处理方法，其特征在于，在步骤S3中，通过面向异构的数据源接口界面，利用用户定义的抽取规则的数据抽取器从MySQL数据库、Oracle、SQL Server、Excel、Access等异构数据源中进行数据抽取；将源数据系统获取的数据全量或增量传输到过渡性数据库中。
5.根据权利要求4所述的一种城市轨道交通工程的多源异构数据集成处理方法，其特征在于，在步骤S4中，在元数据库中根据用户定义匹配语义转换、结构转换、属性转换规则；在规则和元数据库的约束下对过渡性数据库的数据进行数据转换处理过程。
6.根据权利要求5所述的一种城市轨道交通工程的多源异构数据集成处理方法，其特征在于，在步骤S5中，对数据格式差异、坐标体系差异、数据精度差异、时空尺度差异和属性定义差异等进行集成和融合，其方式包括数据格式转换、结构转换、属性语义转换的统一与融合，按照一定的数据标准、空间与属性实现实体分类分级、几何位置、数据模型和数据格式统一。
7.根据权利要求6所述的一种城市轨道交通工程的多源异构数据集成处理方法，其特征在于，所述数据格式转换是将多源异构数据转换成统一的目标数据格式，并完成对不同数据指标进行转换的计算。
8.根据权利要求6所述的一种城市轨道交通工程的多源异构数据集成处理方法，其特征在于，所述几何位置的统一是以地球椭球面为空间信息定位的载体，基于统一坐标系和投影方式对BIM、倾斜摄影、地质模型、激光点云等各种来源、各种投影的空间地理数据转换成全局地理坐标的几何位置融合。
9.根据权利要求6所述的一种城市轨道交通工程的多源异构数据集成处理方法，其特征在于，所述属性语义转换的融合是基于自定义的要素编码规则进行实体属性统一表示实现语义融合。
10.根据权利要求6所述的一种城市轨道交通工程的多源异构数据集成处理方法，其特征在于，在步骤S7中，根据自定义数据关联规则和目标映射关系，将已经转换成功的数据从数据过渡区加载到具有多维数据模型结构的数据仓库物理存储区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111518729.4A CN114379608A (zh) | 2021-12-13 | 2021-12-13 | 一种城市轨道交通工程的多源异构数据集成处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111518729.4A CN114379608A (zh) | 2021-12-13 | 2021-12-13 | 一种城市轨道交通工程的多源异构数据集成处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114379608A true CN114379608A (zh) | 2022-04-22 |
Family
ID=81195207
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111518729.4A Pending CN114379608A (zh) | 2021-12-13 | 2021-12-13 | 一种城市轨道交通工程的多源异构数据集成处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114379608A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115293751A (zh) * | 2022-10-08 | 2022-11-04 | 深圳市地铁集团有限公司 | 一种轨道交通bim模型数据的处理方法、系统及设备 |
| CN115952243A (zh) * | 2023-03-10 | 2023-04-11 | 北京全路通信信号研究设计院集团有限公司 | 一种轨道交通数据的处理方法、装置、设备及介质 |
| CN116092682A (zh) * | 2023-04-11 | 2023-05-09 | 中大体育产业集团股份有限公司 | 一种体测数据的档案管理方法及系统 |
| CN116340885A (zh) * | 2023-04-11 | 2023-06-27 | 太原理工大学 | 一种基于煤矿信息物理系统的多源异构数据融合方法 |
| CN116541414A (zh) * | 2023-07-05 | 2023-08-04 | 广州信安数据有限公司 | 基于多源异构数据的统一本体连接查询方法、介质及系统 |
| CN116680423A (zh) * | 2023-08-03 | 2023-09-01 | 国网浙江浙电招标咨询有限公司 | 电力供应链多源异构数据的管理方法、装置、设备及介质 |
| WO2024011829A1 (zh) * | 2022-07-15 | 2024-01-18 | 全图通位置网络有限公司 | 一种基于时空体系的综合智能平台数据管理方法及系统 |
| CN117573759A (zh) * | 2023-12-11 | 2024-02-20 | 中国电子投资控股有限公司 | 一种多源异构数据管理系统、管理装置和管理方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103838826A (zh) * | 2014-01-23 | 2014-06-04 | 北京东方泰坦科技股份有限公司 | 动态异构空间信息标绘数据整合方法 |
| CN108846076A (zh) * | 2018-06-08 | 2018-11-20 | 山大地纬软件股份有限公司 | 支持接口适配的海量多源异构数据etl方法及系统 |
| CN110019089A (zh) * | 2017-12-01 | 2019-07-16 | 广州明领基因科技有限公司 | 基于大数据存储架构的空间数据存储管理系统 |
| CN111897875A (zh) * | 2020-07-31 | 2020-11-06 | 平安科技（深圳）有限公司 | 城市多源异构数据的融合处理方法、装置和计算机设备 |
| CN111930835A (zh) * | 2020-07-16 | 2020-11-13 | 广州运达智能科技有限公司 | 一种城市轨道交通用智能运维大数据管理系统和方法 |
| US20200364953A1 (en) * | 2018-11-08 | 2020-11-19 | Evangelos Simoudis | Systems and methods for managing vehicle data |
| CN112581614A (zh) * | 2020-12-15 | 2021-03-30 | 中铁第四勘察设计院集团有限公司 | 一种基于bim的地铁监测数据展示方法及系统 |
-
2021
- 2021-12-13 CN CN202111518729.4A patent/CN114379608A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103838826A (zh) * | 2014-01-23 | 2014-06-04 | 北京东方泰坦科技股份有限公司 | 动态异构空间信息标绘数据整合方法 |
| CN110019089A (zh) * | 2017-12-01 | 2019-07-16 | 广州明领基因科技有限公司 | 基于大数据存储架构的空间数据存储管理系统 |
| CN108846076A (zh) * | 2018-06-08 | 2018-11-20 | 山大地纬软件股份有限公司 | 支持接口适配的海量多源异构数据etl方法及系统 |
| US20200364953A1 (en) * | 2018-11-08 | 2020-11-19 | Evangelos Simoudis | Systems and methods for managing vehicle data |
| CN111930835A (zh) * | 2020-07-16 | 2020-11-13 | 广州运达智能科技有限公司 | 一种城市轨道交通用智能运维大数据管理系统和方法 |
| CN111897875A (zh) * | 2020-07-31 | 2020-11-06 | 平安科技（深圳）有限公司 | 城市多源异构数据的融合处理方法、装置和计算机设备 |
| CN112581614A (zh) * | 2020-12-15 | 2021-03-30 | 中铁第四勘察设计院集团有限公司 | 一种基于bim的地铁监测数据展示方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| 刘佳俊等: "面向城市基础设施智慧管养的大数据智能融合方法", 《计算机应用》 * |
| 孙婷婷: "面向城市基础设施智慧运管的大数据智能融合方法", 《电子技术与软件工程》 * |
| 张宏波 等: "多网融合技术在南浔区地下管线数据管理中的应用", 《测绘与空间地理信息》 * |
| 张育雨 等: "基于BIM+GIS的城市轨道交通项目智慧管控云平台系统设计与建设实践", 《中国建设信息化》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024011829A1 (zh) * | 2022-07-15 | 2024-01-18 | 全图通位置网络有限公司 | 一种基于时空体系的综合智能平台数据管理方法及系统 |
| CN115293751A (zh) * | 2022-10-08 | 2022-11-04 | 深圳市地铁集团有限公司 | 一种轨道交通bim模型数据的处理方法、系统及设备 |
| CN115952243A (zh) * | 2023-03-10 | 2023-04-11 | 北京全路通信信号研究设计院集团有限公司 | 一种轨道交通数据的处理方法、装置、设备及介质 |
| CN116092682A (zh) * | 2023-04-11 | 2023-05-09 | 中大体育产业集团股份有限公司 | 一种体测数据的档案管理方法及系统 |
| CN116340885A (zh) * | 2023-04-11 | 2023-06-27 | 太原理工大学 | 一种基于煤矿信息物理系统的多源异构数据融合方法 |
| CN116340885B (zh) * | 2023-04-11 | 2023-10-03 | 太原理工大学 | 一种基于煤矿信息物理系统的多源异构数据融合方法 |
| CN116541414A (zh) * | 2023-07-05 | 2023-08-04 | 广州信安数据有限公司 | 基于多源异构数据的统一本体连接查询方法、介质及系统 |
| CN116541414B (zh) * | 2023-07-05 | 2023-09-26 | 广州信安数据有限公司 | 基于多源异构数据的统一本体连接查询方法、介质及系统 |
| CN116680423A (zh) * | 2023-08-03 | 2023-09-01 | 国网浙江浙电招标咨询有限公司 | 电力供应链多源异构数据的管理方法、装置、设备及介质 |
| CN116680423B (zh) * | 2023-08-03 | 2023-10-20 | 国网浙江浙电招标咨询有限公司 | 电力供应链多源异构数据的管理方法、装置、设备及介质 |
| CN117573759A (zh) * | 2023-12-11 | 2024-02-20 | 中国电子投资控股有限公司 | 一种多源异构数据管理系统、管理装置和管理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114379608A (zh) | 一种城市轨道交通工程的多源异构数据集成处理方法 | |
| CN111680025B (zh) | 面向自然资源多源异构数据时空信息智能同化的方法及系统 | |
| CN112860689B (zh) | 一种基于时空网格数据的平台系统 | |
| CN116089555B (zh) | 基于cim平台三维空间数据的采集与轻量化系统和方法 | |
| US8484255B2 (en) | Automatic conversion of multidimentional schema entities | |
| CN110704928B (zh) | 一种从bim模型到gis模型的转换方法 | |
| CN103744846A (zh) | 一种多维度动态局部知识地图及其构建方法 | |
| CN109614671B (zh) | 一种基于视图的三维mbd工序模型组织及表达方法 | |
| CN108170855B (zh) | 一种CityGML与IFC数据统一查询及数据抽取方法 | |
| CN112527944A (zh) | 基于bim和gis数据集成构建空间语义数据库的方法 | |
| Costamagna et al. | CityGML for architectural heritage | |
| CN112017287A (zh) | 一种地下电缆设施三维参数化建模及高效渲染方法 | |
| CN115099315A (zh) | 基于CityGML的多源异构地理信息数据语义融合转换方法 | |
| CN105740385A (zh) | 一种非物质文化遗产资源库的整合方法 | |
| CN116523328A (zh) | 一种航空装备协同制造产业链协作智能决策方法 | |
| Halfawy et al. | Developing enterprise GIS-based data repositories for municipal infrastructure asset management | |
| CN113721823A (zh) | 一种基于拖拽式的人机互动数据可视化方法 | |
| Le Goff et al. | Interoperability of the ArSol (Archives du Sol) Database based on the CIDOC-CRM Ontology | |
| Wang | RETRACTED: Research on Big Data Integration Method for Investment Statistics Based on Artificial Intelligence Technology | |
| Lyu et al. | Design and implementation of railway green performance basic data collection system | |
| Ma et al. | Development of CAD model annotation system based on design intent | |
| Qiao et al. | Research and Implementation of Multi Fusion Data Model Construction Technology for Distribution Network Digital Twins | |
| Zhang et al. | Construction and Application of the Geotechnical and Geological Spatiotemporal Big Data Platform in Xiongan New Area | |
| LIU et al. | Linking multi-scale representations in a navigable database | |
| Cheng et al. | Rapid Development of Multi-Source Heterogeneous Drilling Data Service System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |