CN114676179A - 一种面向盾构场景的多源异构数据交互与融合方法及系统 - Google Patents

一种面向盾构场景的多源异构数据交互与融合方法及系统 Download PDF

Info

Publication number
CN114676179A
CN114676179A CN202210332756.0A CN202210332756A CN114676179A CN 114676179 A CN114676179 A CN 114676179A CN 202210332756 A CN202210332756 A CN 202210332756A CN 114676179 A CN114676179 A CN 114676179A
Authority
CN
China
Prior art keywords
data
service
source
micro
query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210332756.0A
Other languages
English (en)
Inventor
宁焕生
杨培臣
毛凌锋
李莎
李荣洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202210332756.0A priority Critical patent/CN114676179A/zh
Publication of CN114676179A publication Critical patent/CN114676179A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种面向盾构场景的多源异构数据交互与融合方法及系统，涉及数据融合技术领域。包括：通过网络服务Webservice技术对来自不同系统的多源异构数据源利用进行集成，建立不同施工场景下的数据库，形成多源数据库；预设微服务粒度，通过多个微服务组件对所述多源数据库的数据进行数据中转；通过统一的数据交互服务网关，对中转后输出的数据进行统一的语义查询调用，完成多源异构数据交互与融合。本发明将整个系统划分为多个微服务，同时各个微服务之间通过统一的RestAPI接口进行通信，提高了系统的扩展性，降低了运行维护难度；核心的数据集成微服务利用Webservice和本体技术实现多源异构数据源的集成，有效提高了数据的语义集成度和数据交互性。

Description

一种面向盾构场景的多源异构数据交互与融合方法及系统
技术领域
本发明涉及数据融合技术领域，特别是指一种面向盾构场景的多源异构数据交互与融合方法及系统。
背景技术
盾构机作为一种高端智能装备，相比于传统工程机械装备，盾构机的部件种类和系统组成繁多，为了确保运行状态的稳定，需要对各个部件、系统进行实时监测，随着时间的推移，这些数据还会以几何级数增长。然后由于多场景下的数据具有来源广泛、语义异构的问题，这样就会造成数据孤岛问题，无法有效利用这些宝贵的数据资源，同时无法为用户提供高效的数据交互应用，因此这就需要对多源异构数据进行有效的数据融合。目前数据融合包括数据级融合、特征级融合和决策级融合，特别是数据级融合，也被称为数据集成，它能够对多源异构数据进行最底层的融合集成，进而为上层应用提供统一的数据交互接口。
当前，数据集成主要有联邦数据库系统、中间件、数据仓库三种模式。联邦数据库系统是由多个半自治数据库通过邦联组成，联邦中的所有数据库都添加彼此访问的接口以实现互操作，随着数据库数量的增加，维护大量接口的任务将变的十分巨大；数据仓库将异构数据源的数据模式合成为一个统一的全局模式，并将异构数据源中的数据抽取、转换、加载到数据仓库中，形成各数据源整合后的数据副本，完成数据集成，然而数据仓库法由于将数据又进行了一次新的存储，其内部数据多为历史数据，因此不仅存在数据冗余，而且数据实时性不强；中间件通过提供一个全局模式将各数据源在逻辑上进行融合，各自的数据仍保存在相互独立的数据源中，对各数据源的各类数据请求操作均在全局模式进行，而中间件可以根据预定义的映射规则将针对全局模式的操作请求分解为针对各个数据源局部模式的子请求，并将其分派到对应的数据源适配器，适配器再把各子请求转换为各数据源能够识别并处理的请求，并将执行结果封装后返回，进而为用户提供统一的数据交互接口，中间件不仅无需维护大量的接口，而且数据实时性强、冗余性低。因此，基于中间件的数据集成是当前的主流方式。
现如今的实现技术多采用SOA(Service-Oriented Architecture,面向服务架构)的概念架构，采用Web service技术完成多源异构数据的融合和交互，并通过ESB(Enterprise Service Bus，企业服务总线)为用户提供数据服务，抽象了底层的复杂性，然后用户可以访问独立的服务，而不需要去了解服务底层平台实现。SOA是一种软件系统的设计方法，Web service技术是实现该架构的技术，它通过SOAP(Simple Object AccessProtocol,简单对象访问协议)、WSDL(Web Services Description Language,Web服务描述语言)、UDDI(Universal Description Discovery and Integration，统一描述、发现和集成协议)三大元素实现了多源异构数据源的高效集成。
然而随着大数据时代的到来，现有技术主要存在以下缺陷：企业服务总线较为复杂，缺乏有效的服务治理；系统扩展性差，运行维护复杂；语义集成度不高。
发明内容
针对现有技术中企业服务总线较为复杂，缺乏有效的服务治理；系统扩展性差，运行维护复杂；语义集成度不高的问题，本发明提出了一种面向盾构场景的多源异构数据交互与融合方法及系统。
为解决上述技术问题，本发明提供如下技术方案：
一方面，提供了一种面向盾构场景的多源异构数据交互与融合方法，该方法应用于电子设备，包括：
S1：通过网络服务Web service技术对来自不同系统的多源异构数据源利用进行集成，建立不同施工场景下的数据库，形成多源数据库；
S2：预设微服务粒度，通过多个微服务组件对所述多源数据库的数据进行数据中转；
S3：通过统一的数据交互服务网关，对中转后输出的数据进行统一的语义查询调用，完成多源异构数据交互与融合。
可选地，步骤S1中，通过网络服务Web service技术对来自不同系统的多源异构数据源利用进行集成，建立不同施工场景下的数据库，形成多源数据库，包括：
S11：通过网络服务Web service技术跨平台进行多源异构数据源的统一调用和集成；
S12：引入混合本体思想，对不同的数据源自动构建局部本体；
S13：利用领域专家知识构建全局本体，进行局部本体和全局本体的映射，进行数据结构集成；在数据结构集成的基础上，建立不同施工场景下的数据库，形成多源数据库。
可选地，多源数据库类型包括：关系型数据库管理系统MySQL、甲骨文数据库Oracle、DB2、SQL Server；数据类型格式包括：逗号分隔值文件格式CSV、文件传输协议FTP、电子表格EXCEL、文档、关系型数据。
可选地，步骤S2中，预设微服务粒度，通过多个微服务组件对所述多源数据库的数据进行数据中转，包括：
S21：预设微服务粒度，划分多个微服务组件；所述微服务组件在服务注册中心进行注册；
S22：根据用户数据请求的应用，在服务注册中心为用户调用相应的微服务组件；
S23：所述多个微服务组件通过Rest API接口与核心微服务模块进行通信，以获取用户的请求数据；
S24：通过所述微服务核心模块对获取到的所述请求数据进行融合；
S25：根据融合后的数据，通过所述微服务核心模块进行数据再分配。
可选地，多个微服务组件包括：数据可视化微服务组件、数据分析微服务组件和故障预测微服务组件。
可选地，每一个微服务组件均预设有固定的作用，且能够单独运行。
可选地，步骤S24中，通过所述微服务核心模块对获取到的所述请求数据进行融合，包括：
S241：通过Java数据库连接JDBC获取数据源的关系模式信息，制定映射规则；通过jena技术，利用所述关系模式信息为数据源自动构建局部本体；所述数据源为每个用户的请求数据；所述数据源的关系模式信息包括：表名元数据、数据类型元数据、约束关系元数据；
S242：利用七步法，结合盾构机领域知识，构造全局本体；利用本体映射算法，进行局部本体和全局本体的映射融合；
S243：采用CXF技术构建Web Service框架，为每个数据源分别创建一个WebService，通过Web服务描述语言WSDL向服务注册中心进行注册；向服务注册中心发送查找请求，选择合适的数据源，通过简单对象访问协议SOAP协议从数据源获取对应数据；
S244：将CXF技术与轻量级开源框架Spring框架进行融合，形成数据集成微服务组。
可选地，步骤S25中，根据融合后的数据，通过所述微服务核心模块进行数据再分配，包括：
S251：通过查询生成器接收用户发出的查询请求；将接收到的用户信息提取出传输至本体管理器；
S252：通过查询分解器将查询到的符合要求的全局本体的查询数据，分解为对各局部本体的查询数据；
S253：在服务注册中心查找对应局部本体的位置，向不同的数据源发出查询请求；
S254：根据查询请求，通过查询分解器针对各局部本体的数据源进行查询转换为，获得查询数据；
S255：将不同数据源的所述查询数据集中到结果处理器，经过所述结果处理器的处理得到适配于应用的数据结构，将所述适配于应用的数据结构进行数据再分配。
可选地，步骤S2还包括：
在所述适配于应用的数据结构再分配至应用之前，对用户操作合法性进行验证；所述验证包括：对用户的查询进行有效性验证，以及对用户权限进行验证。
一方面，提供了面向盾构场景的多源异构数据交互与融合系统，该系统应用于电子设备，该系统包括：
数据集成子系统，通过Web service技术对来自不同系统的多源异构数据源利用进行集成，建立不同施工场景下的数据库，形成多源数据库；
数据中转子系统，用于预设微服务粒度，通过多个微服务组件对所述多源数据库的数据进行数据中转；
数据交互子系统，用于通过统一的数据交互服务网关，对中转后输出的数据进行统一的语义查询调用，完成多源异构数据交互与融合。
一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述面向盾构场景的多源异构数据交互与融合方法。
一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述面向盾构场景的多源异构数据交互与融合方法。
本发明实施例的上述技术方案至少具有如下有益效果：
上述方案中，本发明提出一种数据交互和融合方法，基于微服务架构思想，将整个系统划分为多个微服务，微服务内部可以采用合适的编程语言和技术来实现，同时各个微服务之间通过统一的Rest API接口进行通信，提高了系统的扩展性，降低了运行维护难度；其中核心的数据集成微服务利用Web service和本体技术实现多源异构数据源的集成，有效提高了数据的语义集成度和数据交互性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种面向盾构场景的多源异构数据交互与融合方法的流程图；
图2是本发明实施例提供的一种面向盾构场景的多源异构数据交互与融合方法的流程图；
图3是本发明实施例提供的一种面向盾构场景的多源异构数据交互与融合系统的系统框图；
图4是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明实施例提供了一种面向盾构场景的多源异构数据交互与融合方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器。如图1所示的面向盾构场景的多源异构数据交互与融合方法的流程图，该方法包括：
S101：通过网络服务Web service技术对来自不同系统的多源异构数据源利用进行集成，建立不同施工场景下的数据库，形成多源数据库；
S102：预设微服务粒度，通过多个微服务组件对所述多源数据库的数据进行数据中转；
S103：通过统一的数据交互服务网关，对中转后输出的数据进行统一的语义查询调用，完成多源异构数据交互与融合。
可选地，步骤S101中，通过网络服务Web service技术对来自不同系统的多源异构数据源利用进行集成，建立不同施工场景下的数据库，形成多源数据库，包括：
S111：通过网络服务Web service技术跨平台进行多源异构数据源的统一调用和集成；
S112：引入混合本体思想，对不同的数据源自动构建局部本体；
S113：利用领域专家知识构建全局本体，进行局部本体和全局本体的映射，进行数据结构集成；在数据结构集成的基础上，建立不同施工场景下的数据库，形成多源数据库。
可选地，多源数据库类型包括：关系型数据库管理系统MySQL、甲骨文数据库Oracle、DB2数据库(IBM DB2关系型数据库管理系统)、SQL Server；数据类型格式包括：逗号分隔值文件格式(Comma-Separated Values，CSV)、文件传输协议(FileTransferProtocol，FTP)、电子表格EXCEL、文档、关系型数据。
可选地，步骤S102中，预设微服务粒度，通过多个微服务组件对所述多源数据库的数据进行数据中转，包括：
S121：预设微服务粒度，划分多个微服务组件；所述微服务组件在服务注册中心进行注册；
S122：根据用户数据请求的应用，在服务注册中心为用户调用相应的微服务组件；
S123：所述多个微服务组件通过Rest API(REpresentational State TransferApplication Programming Interface)接口与核心微服务模块进行通信，以获取用户的请求数据；
S124：通过所述微服务核心模块对获取到的所述请求数据进行融合；
S125：根据融合后的数据，通过所述微服务核心模块进行数据再分配。
可选地，多个微服务组件包括：数据可视化微服务组件、数据分析微服务组件和故障预测微服务组件。
可选地，每一个微服务组件均预设有固定的作用，且能够单独运行。
可选地，步骤S124中，通过所述微服务核心模块对获取到的所述请求数据进行融合，包括：
S1241：通过JDBC(Java Database Connectivity，Java数据库连接)获取数据源的关系模式信息，制定映射规则；通过jena技术，利用所述关系模式信息为数据源自动构建局部本体；所述数据源为每个用户的请求数据；所述数据源的关系模式信息包括：表名元数据、数据类型元数据、约束关系元数据；
S1242：利用七步法，结合盾构机领域知识，构造全局本体；利用本体映射算法，进行局部本体和全局本体的映射融合；
S1243：采用CXF(Apache CXF)技术构建Web Service框架，为每个数据源分别创建一个Web Service，通过WSDL(Web Services Description Language,Web服务描述语言)向服务注册中心进行注册；向服务注册中心发送查找请求，选择合适的数据源，通过简单对象访问协议SOAP协议(Simple Object Access Protocol,简单对象访问协议)从数据源获取对应数据；
S1244：将CXF技术与轻量级开源框架Spring框架进行融合，形成数据集成微服务组。
可选地，步骤S125中，根据融合后的数据，通过所述微服务核心模块进行数据再分配，包括：
S1251：通过查询生成器接收用户发出的查询请求；将接收到的用户信息提取出传输至本体管理器；
S1252：通过查询分解器将查询到的符合要求的全局本体的查询数据，分解为对各局部本体的查询数据；
S1253：在服务注册中心查找对应局部本体的位置，向不同的数据源发出查询请求；
S1254：根据查询请求，通过查询分解器针对各局部本体的数据源进行查询转换为，获得查询数据；
S1255：将不同数据源的所述查询数据集中到结果处理器，经过所述结果处理器的处理得到适配于应用的数据结构，将所述适配于应用的数据结构进行数据再分配。
可选地，步骤S102还包括：
在所述适配于应用的数据结构再分配至应用之前，对用户操作合法性进行验证；所述验证包括：对用户的查询进行有效性验证，以及对用户权限进行验证。
本发明实施例中，提出一种数据交互和融合方法，基于微服务架构思想，将整个系统划分为多个微服务，微服务内部可以采用合适的编程语言和技术来实现，同时各个微服务之间通过统一的RestAPI接口进行通信，提高了系统的扩展性，降低了运行维护难度；其中核心的数据集成微服务利用Web service和本体技术实现多源异构数据源的集成，有效提高了数据的语义集成度和数据交互性。
本发明实施例提供了一种面向盾构场景的多源异构数据交互与融合方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器。如图2所示的面向盾构场景的多源异构数据交互与融合方法的流程图，该方法包括：
S201：通过网络服务Web service技术跨平台进行多源异构数据源的统一调用和集成。
一种可行的实施方式中，对来自不同系统的多源异构数据源利用Web service技术进行集成。首先利用Web service技术跨平台的优势，消除不同系统之间通信协议、接口不一致的问题，实现多源异构数据源的统一调用和集成。
S202：引入混合本体思想，对不同的数据源自动构建局部本体；
S203：利用领域专家知识构建全局本体，进行局部本体和全局本体的映射，进行数据结构集成；在数据结构集成的基础上，建立不同施工场景下的数据库，形成多源数据库。
一种可行的实施方式中，引入混合本体思想，对不同的数据源自动构建局部本体，同时利用领域专家知识构建全局本体，实现局部本体和全局本体的映射，在实现数据结构集成的基础上，进一步提高了数据的语义集成度。
一种可行的实施方式中，多源数据库类型包括：关系型数据库管理系统MySQL、甲骨文数据库Oracle、DB2数据库、SQL Server；数据类型格式包括：逗号分隔值文件格式(Comma-Separated Values，CSV)、文件传输协议(File TransferProtocol，FTP)、电子表格EXCEL、文档、关系型数据。
S204：预设微服务粒度，划分多个微服务组件；所述微服务组件在服务注册中心进行注册。
一种可行的实施方式中，以微服务架构思想为核心，数据中转部分由多个不同的微服务组件构成，这些微服务组件首先会在服务注册中心进行注册。
一种可行的实施方式中，多个微服务组件包括：数据可视化微服务组件、数据分析微服务组件和故障预测微服务组件。
S205：根据用户数据请求的应用，在服务注册中心为用户调用相应的微服务组件；
S206：所述多个微服务组件通过RestAPI接口与核心微服务模块进行通信，以获取用户的请求数据。
一种可行的实施方式中，每一个微服务组件均预设有固定的作用，且能够单独运行。
S207：通过所述微服务核心模块对获取到的所述请求数据进行融合。
一种可行的实施方式中，核心微服务组件的整体是可以实现数据的融合以及再分配。具体步骤包括：
S271：通过JDBC获取数据源的关系模式信息，制定映射规则；通过jena技术，利用所述关系模式信息为数据源自动构建局部本体；所述数据源为每个用户的请求数据；所述数据源的关系模式信息包括：表名元数据、数据类型元数据、约束关系元数据；
S272：利用七步法，结合盾构机领域知识，构造全局本体；利用本体映射算法，进行局部本体和全局本体的映射融合；
S273：采用CXF技术构建Web Service框架，为每个数据源分别创建一个WebService，通过WSDL向服务注册中心进行注册；向服务注册中心发送查找请求，选择合适的数据源，通过简单对象访问协议SOAP协议从数据源获取对应数据；
S274：将CXF技术与轻量级开源框架Spring框架进行融合，形成数据集成微服务组。
在对数据进行融合后，还包括以下步骤：
S208：根据融合后的数据，通过所述微服务核心模块进行数据再分配。
可选地，步骤S208中，根据融合后的数据，通过所述微服务核心模块进行数据再分配，包括：
S281：通过查询生成器接收用户发出的查询请求；将接收到的用户信息提取出传输至本体管理器；
S282：通过查询分解器将查询到的符合要求的全局本体的查询数据，分解为对各局部本体的查询数据；
S283：在服务注册中心查找对应局部本体的位置，向不同的数据源发出查询请求；
S284：根据查询请求，通过查询分解器针对各局部本体的数据源进行查询转换为，获得查询数据；
S285：将不同数据源的所述查询数据集中到结果处理器，经过所述结果处理器的处理得到适配于应用的数据结构，将所述适配于应用的数据结构进行数据再分配。
本发明实施例中，针对核心微服务模块对数据的融合再分配过程，引入了本体技术，提高了系统的语义集成性；对各个数据源的局部本体构建利用自动化构建的方法，无需人工操作，大大降低了工作量；利用本体映射算法，实现局部本体和全局本体的融合。
一种可行的实施方式中，在适配于应用的数据结构再分配至应用之前，对用户操作合法性进行验证；验证包括：对用户的查询进行有效性验证，以及对用户权限进行验证。
本发明实施例中，用户操作合法性的验证提高了系统的安全性。一方面，它会对用户的查询进行有效性验证，以确保用户能够查询到有效数据；另一方面，它将会对用户权限进行验证，用户包括管理员、工作人员，管理员的权限高于工作人员，它可以对数据源进行增删改查等功能；而工作人员只能对数据进行查询操作。同时还要屏蔽其它非法用户的操作。
S209：通过统一的数据交互服务网关，对中转后输出的数据进行统一的语义查询调用，完成多源异构数据交互与融合。
一种可行的实施方式中，为用户提供了统一的语义查询接口，当用户输入相应的语义查询后。首先验证语义查询的合法性；然后，系统进一步的通过数据交互安全模块验证用户操作权限；最后，一旦两者的验证都通过，此次数据请求操作就具有合法性，进而继续进行核心步骤。
本发明实施例中，提出一种数据交互和融合方法，基于Webservice技术基础上引入了本体技术，提高了数据的语义集成度；以微服务的思想，微服务内部可以采用合适的编程语言和技术来实现，将系统划分为微服务组件，每个组件都是一个独立的应用服务，虽然每个应用服务可采用不同的技术实现，但每个组件都有统一的通信接口相互访问，提高了系统的扩展性，降低了运行维护难度；也可与上层的服务网关通信为用户提供数据交互。简化了服务调用流程；用户通过服务网关即可从各个系统数据库中获取实体的集成信息，有效提高了数据的语义集成度和数据交互性。
图3是根据一示例性实施例示出的一种面向盾构场景的多源异构数据交互与融合系统300，该系统包括：
数据集成子系统310，用于通过Web service技术对来自不同系统的多源异构数据源利用进行集成，建立不同施工场景下的数据库，形成多源数据库；
数据中转子系统320，用于预设微服务粒度，通过多个微服务组件对所述多源数据库的数据进行数据中转；
数据交互子系统330，用于通过统一的数据交互服务网关，对中转后输出的数据进行统一的语义查询调用，完成多源异构数据交互与融合。
可选地，数据集成子系统310还用于：
通过网络服务Web service技术跨平台进行多源异构数据源的统一调用和集成；
引入混合本体思想，对不同的数据源自动构建局部本体；
利用领域专家知识构建全局本体，进行局部本体和全局本体的映射，进行数据结构集成；在数据结构集成的基础上，建立不同施工场景下的数据库，形成多源数据库。
可选地，多源数据库类型包括：关系型数据库管理系统MySQL、甲骨文数据库Oracle、DB2、SQL Server；数据类型格式包括：逗号分隔值文件格式CSV、文件传输协议FTP、电子表格EXCEL、文档、关系型数据。
可选地，数据中转子系统320，还用于预设微服务粒度，划分多个微服务组件321；所述微服务组件321在服务注册中心进行注册；
根据用户数据请求的应用，在服务注册中心为用户调用相应的微服务组件321；
所述多个微服务组件321通过RestAPI接口与核心微服务模块322进行通信，以获取用户的请求数据；
通过所述微服务核心模块322对获取到的所述请求数据进行融合；
根据融合后的数据，通过所述微服务核心模块322进行数据再分配。
可选地，多个微服务组件包括：数据可视化微服务组件3211、数据分析微服务组件3212和故障预测微服务组件3213。
可选地，每一个微服务组件均预设有固定的作用，且能够单独运行。
可选地，数据中转子系统320，还用于通过Java数据库连接JDBC获取数据源的关系模式信息，制定映射规则；通过jena技术，利用所述关系模式信息为数据源自动构建局部本体；所述数据源为每个用户的请求数据；所述数据源的关系模式信息包括：表名元数据、数据类型元数据、约束关系元数据；
利用七步法，结合相关的领域知识，构造全局本体；利用本体映射算法，进行局部本体和全局本体的映射融合；
采用CXF技术构建Web Service框架，为每个数据源分别创建一个Web Service，通过Web服务描述语言WSDL向服务注册中心进行注册；向服务注册中心发送查找请求，选择合适的数据源，通过简单对象访问协议SOAP协议从数据源获取对应数据；
将CXF技术与轻量级开源框架Spring框架进行融合，形成数据集成微服务组。
可选地，数据中转子系统320，还用于通过查询生成器接收用户发出的查询请求；将接收到的用户信息提取出传输至本体管理器；
通过查询分解器将查询到的符合要求的全局本体的查询数据，分解为对各局部本体的查询数据；
在服务注册中心查找对应局部本体的位置，向不同的数据源发出查询请求；
根据查询请求，通过查询分解器针对各局部本体的数据源进行查询转换为，获得查询数据；
将不同数据源的所述查询数据集中到结果处理器，经过所述结果处理器的处理得到适配于应用的数据结构，将所述适配于应用的数据结构进行数据再分配。
可选地，数据中转子系统320，还包括：数据交互安全模块323，用于在所述适配于应用的数据结构再分配至应用之前，对用户操作合法性进行验证；所述验证包括：对用户的查询进行有效性验证，以及对用户权限进行验证。
本发明实施例中，基于Webservice技术基础上引入了本体技术，提高了数据的语义集成度；以微服务的思想，微服务内部可以采用合适的编程语言和技术来实现，将系统划分为微服务组件，每个组件都是一个独立的应用服务，虽然每个应用服务可采用不同的技术实现，但每个组件都有统一的通信接口相互访问，提高了系统的扩展性，降低了运行维护难度；也可与上层的服务网关通信为用户提供数据交互。简化了服务调用流程；用户通过服务网关即可从各个系统数据库中获取实体的集成信息，有效提高了数据的语义集成度和数据交互性。
图4是本发明实施例提供的一种电子设备400的结构示意图，该电子设备400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)401和一个或一个以上的存储器402，其中，所述存储器402中存储有至少一条指令，所述至少一条指令由所述处理器401加载并执行以实现下述面向盾构场景的多源异构数据交互与融合方法的步骤：
S1：通过网络服务Web service技术对来自不同系统的多源异构数据源利用进行集成，建立不同施工场景下的数据库，形成多源数据库；
S2：预设微服务粒度，通过多个微服务组件对所述多源数据库的数据进行数据中转；
S3：通过统一的数据交互服务网关，对中转后输出的数据进行统一的语义查询调用，完成多源异构数据交互与融合。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述向盾构场景的多源异构数据交互与融合方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种面向盾构场景的多源异构数据交互与融合方法，其特征在于，所述方法应用于多源异构数据交互与融合系统，包括以下步骤：
S1：通过网络服务Web service技术对来自不同系统的多源异构数据源利用进行集成，建立不同施工场景下的数据库，形成多源数据库；
S2：预设微服务粒度，通过多个微服务组件对所述多源数据库的数据进行数据中转；
S3：建立统一的数据交互服务网关，对中转后输出的数据进行统一的语义查询调用，完成多源异构数据交互与融合。
2.根据权利要求1所述的面向盾构场景的多源异构数据交互与融合方法，其特征在于，所述步骤S1中，通过网络服务Web service技术对来自不同系统的多源异构数据源利用进行集成，建立不同施工场景下的数据库，形成多源数据库，包括：
S11：通过网络服务Web service技术跨平台进行多源异构数据源的统一调用和集成；
S12：引入混合本体思想，对不同的数据源自动构建局部本体；
S13：利用领域专家知识构建全局本体，进行局部本体和全局本体的映射，进行数据结构集成；在数据结构集成的基础上，建立不同施工场景下的数据库，形成多源数据库。
3.根据权利要求2所述的面向盾构场景的多源异构数据交互与融合方法，其特征在于，所述多源数据库类型包括：关系型数据库管理系统MySQL、甲骨文数据库Oracle、DB2数据库、SQL Server数据库；数据类型格式包括：逗号分隔值文件格式CSV、文件传输协议FTP、电子表格EXCEL、文档、关系型数据。
4.根据权利要求1所述的面向盾构场景的多源异构数据交互与融合方法，其特征在于，所述步骤S2中，预设微服务粒度，通过多个微服务组件对所述多源数据库的数据进行数据中转，包括：
S21：预设微服务粒度，划分多个微服务组件；所述微服务组件在服务注册中心进行注册；
S22：根据用户数据请求的应用，在服务注册中心为用户调用相应的微服务组件；
S23：所述多个微服务组件通过Rest API接口与核心微服务模块进行通信，以获取用户的请求数据；
S24：通过所述微服务核心模块对获取到的所述请求数据进行融合；
S25：根据融合后的数据，通过所述微服务核心模块进行数据再分配。
5.根据权利要求4所述的面向盾构场景的多源异构数据交互与融合方法，其特征在于，所述多个微服务组件包括：数据可视化微服务组件、数据分析微服务组件和故障预测微服务组件。
6.根据权利要求5所述的面向盾构场景的多源异构数据交互与融合方法，其特征在于，每一个微服务组件均预设有固定的作用，且能够单独运行。
7.根据权利要求5所述的面向盾构场景的多源异构数据交互与融合方法，其特征在于，所述步骤S24中，通过所述微服务核心模块对获取到的所述请求数据进行融合，包括：
S241：通过Java数据库连接JDBC获取数据源的关系模式信息，制定映射规则；通过jena技术，利用所述关系模式信息为数据源自动构建局部本体；所述数据源为每个用户的请求数据；所述数据源的关系模式信息包括：表名元数据、数据类型元数据、约束关系元数据；
S242：利用七步法，结合盾构机领域知识，构造全局本体；利用本体映射算法，进行局部本体和全局本体的映射融合；
S243：采用CXF技术构建Web Service框架，为每个数据源分别创建一个Web Service，通过Web服务描述语言WSDL向服务注册中心进行注册；向服务注册中心发送查找请求，选择合适的数据源，通过简单对象访问协议SOAP协议从数据源获取对应数据；
S244：将CXF技术构建的Web Service框架与轻量级开源框架Spring框架进行融合，形成数据集成微服务组。
8.根据权利要求5所述的面向盾构场景的多源异构数据交互与融合方法，其特征在于，所述步骤S25中，根据融合后的数据，通过所述微服务核心模块进行数据再分配，包括：
S251：通过查询生成器接收用户发出的查询请求；将接收到的用户信息提取出传输至本体管理器；
S252：通过查询分解器将查询到的符合要求的全局本体的查询数据，分解为对各局部本体的查询数据；
S253：在服务注册中心查找对应局部本体的位置，向不同的数据源发出查询请求；
S254：根据查询请求，通过查询分解器针对各局部本体的数据源进行查询转换为，获得查询数据；
S255：将不同数据源的所述查询数据集中到结果处理器，经过所述结果处理器的处理得到适配于应用的数据结构，将所述适配于应用的数据结构进行数据再分配。
9.根据权利要求1所述的面向盾构场景的多源异构数据交互与融合方法，其特征在于，所述步骤S2还包括：
在所述适配于应用的数据结构再分配至应用之前，对用户操作合法性进行验证；所述验证包括：对用户的查询进行有效性验证，以及对用户权限进行验证。
10.一种面向盾构场景的多源异构数据交互与融合系统，其特征在于，所述包括：
数据集成子系统，通过Web service技术对来自不同系统的多源异构数据源利用进行集成，建立不同施工场景下的数据库，形成多源数据库；
数据中转子系统，用于预设微服务粒度，通过多个微服务组件对所述多源数据库的数据进行数据中转；
数据交互子系统，用于通过统一的数据交互服务网关，对中转后输出的数据进行统一的语义查询调用，完成多源异构数据交互与融合。
CN202210332756.0A 2022-03-31 2022-03-31 一种面向盾构场景的多源异构数据交互与融合方法及系统 Pending CN114676179A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210332756.0A CN114676179A (zh) 2022-03-31 2022-03-31 一种面向盾构场景的多源异构数据交互与融合方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210332756.0A CN114676179A (zh) 2022-03-31 2022-03-31 一种面向盾构场景的多源异构数据交互与融合方法及系统

Publications (1)

Publication Number Publication Date
CN114676179A true CN114676179A (zh) 2022-06-28

Family

ID=82077054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210332756.0A Pending CN114676179A (zh) 2022-03-31 2022-03-31 一种面向盾构场景的多源异构数据交互与融合方法及系统

Country Status (1)

Country Link
CN (1) CN114676179A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115580648A (zh) * 2022-09-30 2023-01-06 北京大数据先进技术研究院 数据融合系统设计方法、系统、电子设备及储存介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115580648A (zh) * 2022-09-30 2023-01-06 北京大数据先进技术研究院 数据融合系统设计方法、系统、电子设备及储存介质

Similar Documents

Publication Publication Date Title
CN109240821B (zh) 一种基于边缘计算的分布式跨域协同计算与服务系统及方法
EP3798833B1 (en) Methods, system, articles of manufacture, and apparatus to manage telemetry data in an edge environment
EP3564829B1 (en) A modified representational state transfer (rest) application programming interface (api) including a customized graphql framework
CN110191063B (zh) 服务请求的处理方法、装置、设备及存储介质
RU2595540C9 (ru) Базовые контроллеры для преобразования универсальных потоков
CN111338812B (zh) 数据处理方法及装置
CN111813570A (zh) 一种电力物联网的事件驱动型消息交互方法
CN101587639B (zh) 一种基于网格的城市公交信息管理与调度决策支持系统
US20080183850A1 (en) Web services and telecom network management unification
CN110162559B (zh) 一种基于通用json同步和异步数据api接口调用的区块链处理方法
WO2019057055A1 (zh) 一种任务处理方法、装置、电子设备及存储介质
US20230367749A1 (en) Data migration method and apparatus, device, medium, and computer product
US20220179711A1 (en) Method For Platform-Based Scheduling Of Job Flow
CN112579319B (zh) 一种基于LRU Cache优化的服务调用方法及装置
CN112565336A (zh) 智能物联网集中化控制方法、系统、介质、设备及应用
redha BOUAKOUK et al. Survey on the Cloud-IoT paradigms: Taxonomy and architectures
CN114676179A (zh) 一种面向盾构场景的多源异构数据交互与融合方法及系统
US11704327B2 (en) Querying distributed databases
US20200034765A1 (en) Systems and methods for contextual actions using a map interface
CN112256386A (zh) 一种仿真运行支撑系统
CN116755799A (zh) 一种服务编排系统和方法
US20230093868A1 (en) Mechanism for real-time identity resolution in a distributed system
CN113312242B (zh) 接口信息管理方法、装置、设备及存储介质
US11727022B2 (en) Generating a global delta in distributed databases
US20220101962A1 (en) Enabling distributed semantic mashup

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination