CN108052673A - 一种物联网数据集成与融合中间件系统 - Google Patents

Abstract

本发明涉及一种物联网数据集成与融合中间件系统，包括：基础框架子系统，用于提供各子系统的公共框架的支持、实现和配置存储及共享资源库；适配器子系统，用于实现所述数据集成与融合中间件系统与外部数据源的交互；数据源子系统，用于通过所述适配器子系统获取真实数据；服务器子系统，用于为视图数据的处理提供解析、验证、转换、发布及共享服务；集成融合引擎子系统，用于完成多个数据视图间数据集成和融合，从原始数据生成新的数据视图；数据视图子系统，用于为应用提供一致的、全局的虚拟数据库；连接器子系统，用于提供多种协议的连接服务。本发明为行业间物联网信息系统的数据集成和融合提供了统一的解决方案。

Description

一种物联网数据集成与融合中间件系统

技术领域

本发明涉及一种物联网数据集成与融合中间件系统，属于计算机技术领域。

背景技术

随着各行各业信息化工作的快速发展，各行业逐步建设了行业内部的信息系统，积累了大量行业数据。为了把各行业间的“信息孤岛”的异构数据源有机的集成和融合，满足行业间信息共享与异构系统间互联的现实需求，中间件方法被广泛采用。而物联网的发展使得传感感知层的设备不断增加，数据源也成倍的增加。同时，由于“云”服务等新一代网络技术的引用，人们希望将共同完成一个项目的传感器和计算机设备组织连成网络，形成智能的自我协同、自动运作的系统，从而进一步满足人们在制造、物流、能源、环境和生活等产业的需求。迄今，比较成熟的数据库集成中间件包括：ODBC(Open DatabaseConnectivity，开放式数据库连接)，它首次用统一的方式存取数据库。OLEDB(ObjectLinking and Embedding Database，对象链接和嵌入数据库)，它定义了一个数据访问服务的集合，通过这些服务器可以方便的连接到任意的数据源。JDBC(Java DatabaseConnectivity，Java数据库连接)，它第一次支持Java语言的数据库应用程序接口。

目前数据库的中间件虽然很多，但这些中间件都是和具体领域的业务有关，只对该领域的业务进行了高层次的抽象，使用范围有限。如今，用户面临的一个巨大挑战是实现跨平台、跨行业、跨互联网、并尽可能快的将大量可用的物联网数据集成和融合为信息资产，然后利用这些信息资产开辟新的商机。因此，解决物联网行业间信息系统的数据集成和共享的问题，将异构数据源有机的进行集成和融合迫在眉睫。

发明内容

为解决上述问题，本发明提出一种物联网数据集成与融合中间件系统，为行业应用集成提供跨平台、跨应用程序，具有通用性、扩充性和互操作性的全面数据集成融合系统。

本发明提出一种物联网数据集成与融合中间件系统，包括：

基础框架子系统，用于提供各子系统的公共框架的支持、实现和配置存储及共享资源库；

适配器子系统，由一个适配管理器和多个适配器组成，用于实现所述数据集成与融合中间件系统与外部数据源的交互，其中，所述适配器子系统直接访问所述外部数据源，所述适配器管理器统一管理所有的适配器；

数据源子系统，用于通过所述适配器子系统获取真实数据；

服务器子系统，用于为视图数据的处理提供解析、验证、转换、发布及共享服务；

集成融合引擎子系统，用于完成多个数据视图间数据集成和融合，从原始数据生成新的数据视图；

数据视图子系统，用于为应用提供一致的、全局的虚拟数据库，所述虚拟数据库用于与各应用进行数据交互；

连接器子系统，用于提供多种协议的连接服务，并连接提供数据源的外部应用，使得应用可以在所述服务器子系统中通过不同的协议进行通讯。

进一步的，所述外部数据源经过适配器子系统将数据打包之后返回标准的接口，所述数据源子系统对打包后数据进行抽取，通过所述集成融合引擎子系统配置的融合规则生成虚拟数据库，然后由所述数据视图子系统提供虚拟数据库的统一视图，获取视图数据，当外部应用需连接和处理视图数据时，所述连接器子系统通过不同的协议使得外部应用可以调用连接接口和连接服务，并与所述服务器子系统进行通讯，所述服务器子系统收到指令后开始对视图数据进行处理。

具体的，所述外部数据源包括以下的一种或几种：主流的数据库中的结构化数据、半结构化数据、非结构化数据，第三方中间件，自我数据源即一个所述的中间件体系结构可以集成另一个所述的中间件体系结构作为它的数据源。

进一步的，所述基础框架子系统中的共享资源库主要包括开发环境创建的元数据，连接接口和连接服务的注册信息，适配器的配置信息，版本维护信息，处理管道的注册信息，转换规则，映射关系。

本发明提供的一种数据集成与融合中间件系统，利用基于组件的中间件技术来提供强大和统一的信息集成与融合解决方案，为电子政务、金融、企业等行业级别应用的数据集成与融合提供完整的开发和运行系统。

附图说明

图1为数据集成与融合系统示意图。

具体实施方式

本发明提供的一种物联网数据集成与融合中间件系统，利用基于组件的中间件技术来提供强大和统一的信息集成与融合解决方案，为电子政务、金融、企业等行业级别应用的数据集成与融合提供完整的开发和运行系统。

本发明的实施例提出一种物联网数据集成与融合中间件系统，包括：

基础框架子系统10，用于提供各子系统的公共框架的支持、实现和配置存储及共享资源库；

所述基础框架子系统10中的共享资源库主要包括开发环境创建的所述元数据，连接接口和连接服务的注册信息，适配器的配置信息，版本维护信息，处理管道的注册信息，转换规则，映射关系。

共享资源库是数据集成与融合中间件平台的信息中心，开发平台、管理平台和服务器都要从共享资源库中获取信息和对信息进行维护

具体的，基础框架子系统10采用EIF(corporatE Information Factory)进行搭建，即企业信息工厂。

适配器子系统20，由一个适配管理器和多个适配器组成，用于实现所述数据集成与融合中间件系统与外部数据源的交互，从而完成对数据的抽取，其中，所述适配器子系统直接访问所述外部数据源，所述适配器管理器统一管理所有的适配器；

所述适配器子系统20中的适配器在使用时通过所述适配器管理器将其注册到所述共享资源库中，并提供各类数据源相应的标准和接口；

进一步的，适配器是Plug-in的组件，可以通过适配管理器进行动态加载，包括适配服务和数据格式化服务；

具体的，所述适配器子系统20中为不同类型的原数据提供相应的适配器，包括数据库、面向对象数据库、文件、第三方中间件、自我数据源，即一个所述中间件系统可以将另一个中间件系统作为它的数据源，以及应用系统等，其中，所述面向对象数据库为面向对象系统和数据库能力。

数据源子系统30，用于通过所述适配器子系统获取真实数据；

具体的，所述数据源子系统30的数据获取包括数据实时获取和非实时获取两种方式中的一种或两种；

其中，所述数据源子系统30提供数据的本地缓存，用于支持非实时的数据获取，同时对非实时的数据获取策略和规则进行定义，包括抽取时间、数据内容等。

服务器子系统40，用于为视图数据的处理提供解析、验证、转换、发布、共享服务的模块；

所述服务器子系统40创建视图文档实例，由所述协议交互引擎双向处理模块执行并将返回的结果交给所述工作流引擎模块，然后将返回的结果进行格式验证和规则配置，由所述转换与映射模块进行进一步处理。转换处理的流程也可以由用户在可视化开发工具中定义，并由所述服务器子系统动态执行，生成和处理复杂的结构化的文档。

进一步的，所述服务器子系统40包括安全和权限管理模块，解析与验证模块，消息路由模块，商务规则处理模块，转换与映射模块，协议交互引擎双向处理模块，工作流引擎模块和服务注册与发布模块。

具体的，所述服务器子系统40通过所述服务注册与发布模块，对视图数据的访问、查询接口以web服务的形式注册到所述基础框架子系统中的共享资源库中，并在服务器上提供连接服务，当连接的外部应用访问视图数据时，安全和权限管理模块负责对调用服务的用户进行身份验证，转换与映射模块对视图数据的查询语句转换映射为对真实数据源的查询，其中，真实数据源由所述数据源子系统通过所述适配器子系统获取，协议交互引擎双向处理模块对所述查询语句进行解析并确定执行计划，协调所述适配管理器与适配器进行数据交互，提供数据库查询支持，并将所述适配器子系统返回的数据交给工作流引擎模块进行业务规则处理，在上述整个过程中，解析与验证模块负责对进出所述服务器子系统的数据进行解析和格式验证服务，消息路由模块负责多协议消息交换转发，并动态适配各种应用消息，统一进行交换转发，全面支持同步和异步交互的资源访问模式。

具体的，所述事务支持中的事务是指一系列作为一个逻辑单元来执行的操作的集合。事务支持是为这些操作的集合提供支持。本实施例的事务支持指的是数据库查询支持。

进一步的，所述业务规则是为从真实数据源到数据视图，即虚拟数据库，提供转换规则，所述业务规则包含运算和函数。

集成融合引擎子系统50，用于完成多个数据视图间数据集成和融合，从原始数据生成新的数据视图；

具体的，所述集成融合引擎子系统50采用自底向上和自顶向下两种方法中的一种或两种；所述自底向上方法是指数据提供方根据数据的开放程度，配置数据共享的规则策略，集成融合引擎子系统通过规则策略配置完成多个数据视图间数据的集成和融合，从原始数据生成新的数据视图；所述自顶向下的方法是应用方根据自己的需求，配置规则，完成多个数据视图间数据的集成和融合，从原始数据生成应用层直接可用的数据视图。

数据视图子系统60，用于为应用提供一致的、全局的虚拟数据库，所述虚拟数据库用于与各应用进行数据交互；

进一步的，所述数据视图子系统60中的数据视图由元数据组成，是元数据的虚拟，所述元数据包括统一模式文档、文档部件及处理流程描述；通过所述数据视图子系统将所述外部数据源数据整合成虚拟的、逻辑上单一的数据视图，其中所述数据视图包含结构化信息，数据来源，数据转换描述信息，业务规则和处理流程描述信息。

具体的，统一模式文档由一系列可部署的元数据在运行时动态创建，包含一组层次结构的业务数据视图，它描述了数据的结构，组成，来源，转换，用于对文档部件的引用进行初始化，每个统一模式文档包括多个文档部件的引用，这样每个文档部件可以按它在统一模式文档中的顺序进行处理，统一模式文档的层次化结构允许统一模式文档访问多种数据源在典型的数据集成与融合系统中。

具体的，所述统一模式文档应用方法为：在可视化开发环境中创建统一模式文档，定义一系列客户程序使用的数据。客户程序可以利用统一模式文档的名称和用来定制数据的参数通过连接API和连接服务进行使用，服务器接到请求后进行处理并把包含结果数据的文档返回给客户程序。

所述文档部件是视图的处理部件，文档部件能接受静态数据、插入新的数据或插入客户端更新的数据，文档部件能向请求的统一模式文档返回数据源接收到的任何数据。文档部件的设计可以让集成融合应用定义这些商业部件，然后在整个系统中进行重用，每个文档部件，可以被多个统一文档使用，可以从多个数据源获取数据。

所述文档部件可以嵌套生成新的部件，例如，可以生成嵌套的部件来查询多个数据库，第一个查询客户信息，第二个查询客户订单信息，这样可以生成数据集的视图，在这个例子中嵌套的部件可以利用参数来向请求文档提供包含客户基本信息和客户订单信息的数据集。

所述处理流程描述的内容为所述业务规则的操作集合的流程。

所述数据视图中的结构化信息是信息经过分析后分解成的多个互相关联的信息，各信息间具有明确的层次结构，即为结构化信息；所述结构化信息的使用和维护通过数据库进行管理，并有一定的操作规范。

所述数据视图中的数据转换描述信息是对数据的合并、清理和整合的描述信息。数据转换的原始数据从数据源子系统30中获取。

连接器子系统70，用于提供多种协议的连接服务，并连接提供数据源的外部应用，使得应用可以在所述服务器子系统中通过不同的协议进行通讯。

在所述连接器子系统70中，连接应用程序编程接口，即API，为应用提供灵活的集成和融合特性，包括：

提供同步和异步连接API，例如同步连接API可以时EJB，Servlet，SOAP，COM，ISAPI，HTTP连接API；异步连接API可以是JMS连接API；

提供不同语言的连接API，如C，C++，Java和PHP等语言的连接API；

提供不同平台的连接API，如.net，j2ee，corba连接API；

提供面向服务集成融合应用的连接服务；

提供开发定制连接API/连接服务的工具；

通过提供灵活，易用的连接API/连接服务，可以在现有应用的基础上快速的集成和融合不同平台，不同语言，不同结构的集成融合应用。

进一步的，所述外部数据源经过适配器子系统将数据打包之后返回标准的接口，所述数据源子系统对打包后数据进行抽取，通过所述集成融合引擎子系统配置的融合规则生成虚拟数据库，然后由所述数据视图子系统提供虚拟数据库的统一视图，获取视图数据，当外部应用需连接和处理视图数据时，所述连接器子系统通过不同的协议使得外部应用可以调用连接接口和连接服务，并与所述服务器子系统进行通讯，所述服务器子系统收到指令后开始对视图数据进行处理。

具体的，所述外部数据源包括以下的一种或几种：主流的数据库中的结构化数据、半结构化数据、非结构化数据，第三方中间件，自我数据源即一个所述的中间件体系结构可以集成另一个所述的中间件体系结构作为它的数据源。

应该理解由本领域技术人员通过本发明能够实现的效果并不局限于在上文已特别描述的内容，并且本发明的其它优点从上面的详细描述中将更清楚地理解。

对于本领域技术人员，显然可以在不脱离本发明的精神或范围的情况下在本发明中做出各种修改和变型。因此，本发明旨在如果本发明的修改和变型落入附随权利要求和它们的等同形式的范围内，那么本发明覆盖这些修改和变型。

Claims (11)

1.一种物联网数据集成与融合中间件系统，包括：

基础框架子系统，用于提供各子系统的公共框架的支持、实现和配置存储及共享资源库；

适配器子系统，由一个适配管理器和多个适配器组成，用于实现所述数据集成与融合中间件系统与外部数据源的交互，其中，所述适配器子系统直接访问所述外部数据源，所述适配器管理器统一管理所有的适配器；

数据源子系统，用于通过所述适配器子系统获取真实数据；

服务器子系统，用于为视图数据的处理提供解析、验证、转换、发布及共享服务；

集成融合引擎子系统，用于完成多个数据视图间数据集成和融合，从原始数据生成新的数据视图；

数据视图子系统，用于为应用提供一致的、全局的虚拟数据库，所述虚拟数据库用于与各应用进行数据交互；

连接器子系统，用于提供多种协议的连接服务，并连接提供数据源的外部应用，使得应用可以在所述服务器子系统中通过不同的协议进行通讯。

2.如权利要求1所述的物联网数据集成与融合中间件系统，所述外部数据源经过适配器子系统将数据打包之后返回标准的接口，所述数据源子系统对打包后数据进行抽取，通过所述集成融合引擎子系统配置的融合规则生成虚拟数据库，然后由所述数据视图子系统提供虚拟数据库的统一视图，获取视图数据。当外部应用需连接和处理视图数据时，所述连接器子系统通过不同的协议使得外部应用可以调用连接接口和连接服务，并与所述服务器子系统进行通讯，所述服务器子系统收到指令后开始对视图数据进行处理。

3.如权利要求1所述的物联网数据集成与融合中间件系统，所述外部数据源包括以下的一种或几种：主流的数据库中的结构化数据、半结构化数据、非结构化数据，第三方中间件，自我数据源即一个所述的中间件体系结构可以集成另一个所述的中间件体系结构作为它的数据源。

4.如权利要求1所述的物联网数据集成与融合中间件系统，所述适配器子系统中的适配器由适配器管理器统一管理，包括适配服务、数据格式化服务。

5.如权利要求1所述的物联网数据集成与融合中间件系统，所述数据源子系统的数据获取包括数据实时获取和非实时获取两种方式中的一种或两种。

6.如权利要求1所述的物联网数据集成与融合中间件系统，所述服务器子系统包括安全和权限管理模块，解析与验证模块，消息路由模块，商务规则处理模块，转换与映射模块，协议交互引擎双向处理模块，工作流引擎模块和服务注册与发布模块。

7.如权利要求6所述的物联网数据集成与融合中间件系统，所述服务器子系统在创建视图文档实例后，由所述协议交互引擎双向处理模块执行并将返回的结果交给所述工作流引擎模块，然后将返回的结果进行格式验证和规则配置，由所述转换与映射模块进行进一步处理。

8.如权利要求6所述的物联网数据集成与融合中间件系统，所述服务器子系统通过所述服务注册与发布模块，对视图数据的访问、查询接口以web服务的形式注册到所述基础框架子系统中的共享资源库，并在服务器上提供连接服务，当连接的外部应用访问视图数据时，安全和权限管理模块负责对调用服务的用户进行身份验证，转换与映射模块对视图数据的查询语句转换映射为对真实数据源的查询，其中，真实数据源由所述数据源子系统通过所述适配器子系统获取，协议交互引擎双向处理模块对所述查询语句进行解析并确定执行计划，协调所述适配管理器与适配器进行数据交互，提供事务支持，并将所述适配器子系统返回的数据交给工作流引擎模块进行业务规则处理，在上述整个过程中，解析与验证模块负责对进出所述服务器子系统的数据进行解析和格式验证服务，消息路由模块负责多协议消息交换转发，并动态适配各种应用消息，统一进行交换转发，全面支持同步和异步交互的资源访问模式。

9.如权利要求1所述的物联网数据集成与融合中间件系统，所述集成融合引擎子系统采用自底向上和自顶向下两种方法中的一种或两种；所述自底向上方法是指数据提供方根据数据的开放程度，配置数据共享的规则策略，集成融合引擎子系统通过规则策略配置完成多个数据视图间数据的集成和融合，从原始数据生成新的数据视图；所述自顶向下的方法是应用方根据自己的需求，配置规则，完成多个数据视图间数据的集成和融合，从原始数据生成应用层直接可用的数据视图。

10.如权利要求1所述的物联网数据集成与融合中间件系统，所述数据视图子系统中的数据视图由元数据组成，是元数据的虚拟，所述元数据包括统一模式文档、文档部件及处理流程描述；通过所述数据视图子系统将所述外部数据源数据整合成虚拟的、逻辑上单一的数据视图，其中所述数据视图包含结构化信息，数据来源，数据转换描述信息，业务规则及处理流程描述信息。

11.如权利要求1所述的物联网数据集成与融合中间件系统，所述基础框架子系统中的共享资源库主要包括开发环境创建的所述元数据，连接接口和连接服务的注册信息，适配器的配置信息，版本维护信息，处理管道的注册信息，转换规则，映射关系。