CN103281368B - 一种基于云计算的数据共享交换系统 - Google Patents

Abstract

本发明公开一种基于云计算的数据共享交换模型及方法，模型包：数据共享服务模块，用以实现分布异构数据资源共享；数据交换服务模块，实现异构数据的交换功能；管理服务模块，用以实现共享交换和系统的管理；企业服务总线，实现服务注册与管理；前置交换库，实现信息交换而建立的中间存储逻辑信息库；前置交换机，实现交换节点的统一交换出入口的功能。方法通过构建基于SaaS的数据共享交换服务系统对分散存储于业务数据库的数据进行共享并提供交换请求提交和审批服务；利用企业服务总线对服务进行统一管理，借助管理服务对交换服务业务流程建模实现跨业务服务的动态组合；利用前置交换库进行交换存储转发，并通过前置机推送到目标节点。

Description

一种基于云计算的数据共享交换系统

技术领域

本发明涉及一种基于云计算的数据共享交换模型及方法，属于数据共享交换技术领域。

背景技术

“数据资源化”是大数据发展的首要趋势，数据将不断成为机构的资产，成为提升机构和公司竞争力的有力武器。各领域长期业务实践积累了大规模的领域数据，并随着信息化进程的不断推进，数据生成频率日益增高形成动态大数据集；因获取与处理过程中大多采用多点获取、分散处理的方式，这些数据以多种数据类型分散地存储在各个数据中心，最终呈现出数据来源广、类型杂、规模大等特性。由于技术、设备和管理等原因，目前各数据中心的数据共享程度不高，业务系统相互独立，缺乏统一的数据访问途径，用户无法方便快捷地查询到所需要的数据资源，限制对数据资源深度利用，制约了“数据资源化”的进程。

如何对其业务系统相互的数据间进行高效共享交换，实现数据的互联互通提高领域数据的利用率，是推动“数据资源化”进程的关键。现有的数据共享与交换系统（例如电子政务交换系统、防汛抗旱指挥系统交换子系统）主要是面向特定交换需求的专用数据交换系统，在应对新增异构数据资源时扩展能力显得捉襟见肘；不同交换系统间的交换功能难以互通共享，难以形成支持跨交换系统的数据交换平台；数据共享交换功能复用困难，面对新生数据交换需求不能快速形成解决方案，系统伸缩性不足。

发明内容

发明目的：针对现有技术中存在的问题，本发明公开一种基于云计算的数据共享交换模型及方法。充分利用云计算的SaaS思想在中央节点构建数据共享交换服务系统，以支持统一途径的数据共享交换。利用企业服务总线对交换节点的服务进行统一管理，通过交换服务业务流程建模实现跨业务服务的动态组合，以支持跨专用交换系统的数据交换需求，形成完整的交换平台。

技术方案：一种基于云计算的数据共享交换模型，包括如下模块：数据共享服务模块，用以实现分布异构数据资源共享；数据交换服务模块，实现异构数据的交换功能；管理服务模块，用以实现共享交换和系统的管理；企业服务总线，作为交换模型的服务池，支持服务服务检索与调用，各个服务模块通过其进行通信；前置交换库，实现信息交换而建立的中间存储逻辑信息库；前置交换机，实现交换节点的统一交换出入口的功能；

所述数据共享服务模块，包括资源编目单元、目录审核单元、目录发布单元和资源发现单元；其中资源编目单元实现分布异构数据资源元数据的注册；目录审核单元提供数据资源元数据的语法和语义检查功能，通过XML Schema校验进行元数据格式检查；目录发布单元用以为通过审核的元数据建立数据索引并发布到Web网站形成目录信息；资源发现单元提供目录检索功能用以定位相应数据资源；

所述数据交换服务模块，包括交换请求提交单元、交换请求审批单元、交换请求处理单元和数据推送单元；其中交换请求提交单元提交用户的数据交换请求，交换请求包括用户标识以及所需的数据资源（请求数据，通过资源发现单元定位）；交换请求审批单元用以供管理员审批用户提交的数据交换请求，判断用户是否具备获取该数据的权限；交换请求处理单元根据审批通过的交换请求从业务数据库中获取相应的数据资源形成交换数据包（数据资源和路由信息）并转存至前置交换库，交换请求处理单元的功能具体由注册到企业服务总线上的服务或服务组合集实现；数据推送单元利用前置交换机将交换数据包发送给目标用户；

所述管理服务模块，包括服务注册单元、服务组合单元、用户管理单元、访问控制单元和平台管理单元；其中服务注册单元用以实现服务的注册，并将服务发布于企业服务总线之上，所述服务包括数据访问服务、异构映射服务、数据封装等数据提供者自定义服务；服务组合单元通过BPEL对交换业务流程进行建模，实现对自定义服务的组合，形成满足交换需求的交换业务服务；用户管理单元用以实现数据提供者和数据获取者的注册、编辑和删除以及逻辑地址和网络地址的管理；访问控制单元用以用户身份安全认证和权限检查；平台管理单元实现对基于SaaS的数据共享系统，以多租赁的方式为各个交换节点分配数据共享交换服务门户和相应服务功能；

所述交换模型在功能部署上分为中央节点和普通节点，中央节点具备数据提供者、目录审核者、模型管理者和数据获取者等交换模型用户角色，普通节点具备数据提供者、目录审核者和数据获取者等交换模型用户角色；中央节点部署有交换模型的完整功能模块；普通节点部署交换服务模块的交换请求处理单元、数据推送单元、服务注册单元、服务组合单元、访问控制单元、企业服务总线、前置交换机和前置交换库；将数据共享服务模块、交换请求提交服务单元和交换审批单元构建成为数据共享交换服务系统部署于中央节点，以SaaS思想向普通节点提供服务，以支持统一途径的数据共享交换；用户管理模块仅中央节点具备，实现全局的用户管理。

一种基于云计算的数据共享交换方法，包含如下步骤：

S-1 数据提供者进行数据资源共享，并发布成为目录信息，具体包括如下步骤；

S-1-1 数据提供者对需要共享交换的数据资源进行特征提取，形成数据资源元数据；

S-1-2 数据提供者利用资源编目单元将数据资源元数据注册到中央节点数据共享服务系统；

S-1-3 数据提供者检索企业服务总线上的服务，判断所共享数据资源的访问服务和数据映射服务是否已经注册，若已经注册转向步骤S-1-5，否则转向步骤S-1-4；

S-1-4 数据提供者利用服务注册单元将其共享数据资源的访问服务和数据映射服务注册到企业服务总线；

S-1-5 目录信息审核者利用目录审核单元对数据提供者注册的元数据进行审核，利用XML Schema进行格式校验，若审核通过，转向步骤S-1-6，否则，转向步骤S-1-7；

S-1-6 目录信息审核者判断数据提供者所共享数据资源的访问服务和数据映射服务是否已经注册，若已注册，转向步骤S-1-7，否则，转向步骤S-1-4；

S-1-7 目录信息审核者利用目录发布单元对元数据建立倒排索引，并发布成为目录信息，并转向步骤S-2；

S-1-9 数据提供者对数据资源元数据进行修改，并转向步骤S-1-5；

S-2 数据获取者通过资源发现单元检索目录信息定位所需数据资源；

S-3 数据获取者提交数据交换请求；

S-4 数据提供者审核数据获取者的交换请求，判断用户是否具备获取该数据的权限，若审核通过（具备权限）转向步骤S-5，否则转向步骤S-7；

S-5 交换请求处理单元根据交换请求进行，具体包括如下步骤；

S-5-1 交换请求处理模块解析数据获取者的数据交换请求，得到请求数据所需要的交换业务服务；

S-5-2 判断企业服务总线是否有满足交换需求的数据交换业务服务，若有转入步骤S-5-3，否则，转入步骤S-5-6；

S-5-3 交换请求模块调用请求数据的对应数据访问服务从业务数据库读取请求数据；

S-5-4 根据数据交换请求，判断是否需要进行数据映射，若需要则调用数据映射服务对数据进行映射，转入步骤S-5-5，否则，直接转入步骤S-5-5；

S-5-5 交换请求模块调用请求数据的对应数据封装服务将交换数据封装交换数据包，并调用数据推送服务将交换数据包推送至前置交换库，并转向步骤 S-6；

S-5-6 根据交换请求利用BPEL描述相应的交换业务流程，并进行服务组合形成交换业务服务，转向步骤 S-5-3；

S-6 数据推送单元利用前置交换机将交换数据包发送给数据获取者；

S-7 结束。

本发明采用上述技术方案，具有以下有益效果：采用基于SaaS的数据共享服务系统为交换节点提供统一途径的数据共享交换门户；利用企业服务总线对交换节点的服务进行统一管理，通过交换服务业务流程建模实现跨业务服务的动态组合；能够在尽可能少新增交换服务的基础上，通过业务流程建模快速形成对新增交换需求的支持；解决了传统共享交换系统动态性和伸缩性不足的问题。

附图说明

图1为本发明的基于云计算的数据共享交换方法的流程图；

图2为本发明实施例的基于云计算的数据共享交换模型的部署图；

图3为本发明实施例的基于云计算的数据共享交换模型的技术交互架构图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，基于云计算的数据共享交换方法，包含如下步骤：

S-1 数据提供者进行数据资源共享，并发布成为目录信息，具体包括如下步骤；

S-1-1 数据提供者对需要共享交换的数据资源进行特征提取，形成数据资源元数据；

S-1-2 数据提供者利用资源编目单元将数据资源元数据注册到中央节点数据共享服务系统；

S-1-3 数据提供者检索企业服务总线上的服务，判断所共享数据资源的访问服务和数据映射服务是否已经注册，若已经注册转向步骤S-1-5，否则转向步骤S-1-4；

S-1-4 数据提供者利用服务注册单元将其共享数据资源的访问服务和数据映射服务注册到企业服务总线；

S-1-5 目录信息审核者利用目录审核单元对数据提供者注册的元数据进行审核，利用XML Schema进行格式校验，若审核通过，转向步骤S-1-6，否则，转向步骤S-1-7；

S-1-6 目录信息审核者判断数据提供者所共享数据资源的访问服务和数据映射服务是否已经注册，若已注册，转向步骤S-1-7，否则，转向步骤S-1-4；

S-1-7 目录信息审核者利用目录发布单元对元数据建立倒排索引，并发布成为目录信息，并转向步骤S-2；

S-1-9 数据提供者对数据资源元数据进行修改，并转向步骤S-1-5；

S-2 数据获取者通过资源发现单元检索目录信息定位所需数据资源；

S-3 数据获取者提交数据交换请求；

S-4 数据提供者审核数据获取者的交换请求，判断用户是否具备获取该数据的权限，若审核通过（具备权限）转向步骤S-5，否则转向步骤S-7；

S-5 交换请求处理单元根据交换请求进行，具体包括如下步骤；

S-5-1 交换请求处理模块解析数据获取者的数据交换请求，得到请求数据所需要的交换业务服务；

S-5-2 判断企业服务总线是否有满足交换需求的数据交换业务服务，若有转入步骤S-5-3，否则，转入步骤S-5-6；

S-5-3 交换请求模块调用请求数据的对应数据访问服务从业务数据库读取请求数据；

S-5-4 根据数据交换请求，判断是否需要进行数据映射，若需要则调用数据映射服务对数据进行映射，转入步骤S-5-5，否则，直接转入步骤S-5-5；

S-5-5 交换请求模块调用请求数据的对应数据封装服务将交换数据封装交换数据包，并调用数据推送服务将交换数据包推送至前置交换库，并转向步骤 S-6；

S-5-6 根据交换请求利用BPEL描述相应的交换业务流程，并进行服务组合形成交换业务服务，转向步骤 S-5-3；

S-6 数据推送单元利用前置交换机将交换数据包发送给数据获取者；

S-7 结束。

如图2所示，为本发明实施例的基于云计算的数据共享交换模型的部署图，整个交换模型采用星形模型，作为本发明实施例的水利数据交换平台以中央节点（水利部）为中心，普通节点（流域和省级交换节点）通过中央节点的企业服务总线以服务的方式接入中央节点。中央交换节点部署数据共享服务模块、中央节点交换服务模块、交换管理服务模块、企业数据服务总线、前置交换机和交换前置库等；业务系统将数据访问功能封装成为服务，通过注册到企业服务总线的形式接入交换平台实现数据交换。流域和省级交换节点主要由交换服务、管理服务、企业服务总线、前置交换机和前置交换库组成。特别的，中央节点的共享服务和交换服务中的交换请求提交和交换请求审批等形成数据共享交换服务系统，采用SaaS（Software as a Service -- 软件即服务）的模式统一部署中央节点，为交换平台的所有交换节点提供交换支撑。

（ 1 ）基于 SaaS 的数据共享服务系统

为了实现统一的数据交换平台，向不同的交换系统提供逻辑上可配置的交换业务流程，本设计方案以数据资源的共享服务以及交换服务中的交换请求提交和交换请求审批为基础构建数据共享交换服务系统，统一部署在中央节点，并提供数据共享交换的访问门户。通过SaaS的方式，为每个流域和省级交换节点提供基于统一的技术框架的目录服务系统，支持数据资源目录的注册、编目、审核和发布功能，实现各个交换节点交换数据资源的共享；为各类数据获取者提供统一数据资源发现途径、交换需求提交途径和交换请求审批。数据共享交换服务系统所提供的服务均注册到中央节点的企业服务总线，为各级交换节点服务。

数据交换平台将数据共享服务交换系统统一部署于中央节点，基于SaaS的多租户思想为各级交换节点和交换系统（本实施例的交换系统为：水资源数据集成汇总系统、水利普查数据共享交换系统和水利卫星遥感大数据共享交换系统等）提供数据共享交换服务，能够通过统一途径实现跨交换节点与交换系统资源发现和交换请求提交。

（ 2 ）交换服务模块

为构成整体数据交换平台，本实施例将数据映射、请求处理、异构数据访问和数据封装以及交换请求提交、交换请求审批等功能定义为交换服务，借助企业服务总线进行管理；其中交换请求提交和交换请求审批，通过数据共享交换服务系统以门户的方式提供服务。基于软件复用的思想，通过业务流程建模和服务组合的方式形成为同一交换节点的不同交换系统提供数据交换支撑。

水利数据种类繁多，数据量巨大是典型的大数据，数据的多样性是大数据发展的趋势，对数据进行规范化处理的传统思路往往是具有特殊的应用目的，不具备良好的扩展性，水利数据交换平台需要具备对数据多样性的支持，本发明通过定义异构数据访问服务规范和数据映射服务以不变应万变的方式应对上述需求。

异构数据访问服务是一组用以实现对数据库（关系型数据库或文件数据库）数据资源的数据访问接口，这些数据库的分布可以是集中的，也可以是分散的，可以是业务系统的数据库也可以是主题数据库。数据库访问接口基于SOA（Service-oriented architecture -- 面向服务的体系结构）技术封装成为Web服务，利用企业服务总线进行管理，提供服务的注册、组合和调用等功能。异构数据访问服务支持Oracle、DB2、MS SQL Server、Sybase、MySQL等多种主流数据库类型并具备扩展能力；文件系统支持文档文件、遥感影像数据、图片以及多媒体文件等并具备扩展能力。在本实施例中，水资源数据集成汇总系统的异构数据访问服务包括监测数据访问接口和业务数据访问接口等；水利卫星遥感大数据共享交换系统的异构数据访问服务包括遥感数据订阅接口和遥感数据发布接口等；水利普查数据共享交换系统的异构数据访问服务包括空间数据访问接口和基础数据访问接口等；并支持通过服务注册的方式进行扩展。

数据映射服务实现不同数据元间映射关系的转换，支持数据字段之间的转换、合并、映射等关系的定义；支持数据字段之间加、减、字符串拼接等数据转换计算；支持采用XSLT（Extensible Stylesheet Language Transformations -- 可扩展样式表转换语言）实现数据的映射及转换定义；数据映射关系应可以组织和管理；对已经定义的映射关系应进行存储与复用，并根据应用需要随时可以进行修改。

数据封装服务用以实现交换数据的打包，支持根据交换请求将数据组装成为数据交换包（例如关系数据封装成为XML），支持实体数据中加入路由信息、时间戳等功能。

交换请求处理服务用以提供交换请求处理功能，解析中央节点数据共享交换服务系统转发来的数据交换请求，并调用其余交换服务从业务系统获取相应交换数据。

（ 3 ）管理服务模块

作为本发明的实施例，水利数据交换平台采用星形模型，所有交换节点以中央节点为中心，交换管理平台包括用户管理、服务注册、交换平台管理、日志管理等功能；其中用户管理、交换平台管理仅部署于中央节点。用户管理用以实现用户的注册、审核和发布；为了保证水利政务内网数据交换的安全性、跨内外网的统一交换以及交换主体动态变化的支持，实施例借助逻辑地址以屏蔽具体的网络通信与业务应用系统的物理位置，用户目录支持逻辑地址与网络地址的转换。服务注册实现企业服务总线服务注册管理功能；服务组合管理基于BPEL（Business Process Execution Language -- 业务过程执行语言）技术对企业服务总线上的服务进行组合，以满足不同数据类型的交换需求，形成跨交换系统的数据交换；平台管理用以管理共享交换平台，基于SaaS的模式为各级节点分配数据目录服务和交换服务；日志管理实现对交换流程的记录和审计功能。

（ 4 ）企业服务总线

作为本发明实施例的水利数据交换平台的企业服务总线提供服务注册与管理，它接收各个业务系统的服务发布，对其进行分类并提供搜索。企业服务总线提供服务路由连接功能，它接收交换使用者的服务请求，根据业务流程和服务组合规则（BPEL）获取相应的Web服务地址，在通过地址调用相应服务，并将服务响应通过企业服务总线返回给使用者。企业服务总线提供事件管理功能，对服务的请求、执行全过程进行记录，支持对服务进行监控。企业服务总线提供服务的安全认证，对服务使用者和提供者之间的Web服务访问提供安全保证，通过用户认证及权限检查（访问控制服务），将具备权限的服务请求路由转发到相应的Web服务进行处理。

作为本发明实施例水利数据交换平台的企业服务总线对实施例中水资源数据集成汇总系统、水利普查数据共享交换系统和水利卫星遥感大数据共享交换系统等三套交换系统的共享服务和交换服务进行统一管理，三者间服务能够互通互信和共享思想，形成了跨交换系统的数据交换，构建了完整的数据交换平台。

（ 5 ）交换前置库

作为本发明实施例的水利数据交换平台的交换前置库是交换节点为实现信息交换而建立的中间存储逻辑信息库；存储需要向外交换和从外接收的数据信息。交换节点采用统一数据交换出入口的方式进行交换，本节点内所有需要向其它节点交换的数据均需要通过交换前置库；提供“推”和“拉”两种方式将交换数据从业务系统转移到交换前置库；由前置机主动推送至目的交换节点的交换信息库。由其他节点交换过来的所有数据均直接存入交换信息库，交换服务根据交换周期/频次的需求查询交换前置库将接收到数据发送给目的业务系统数据库（或者由业务系统定时来拉取），形成对不同周期/频次数据交换需求的支持。

（ 6 ）前置交换机

作为本发明实施例的水利数据交换平台的前置交换机实现交换节点的统一交换出入口的功能，将交换前置库中的交换数据推送到目的交换节点的交换前置库。水利数据交换平台的前置交换机支持发送路由（点对点、发布/订阅、基于内容的路由），能根据数据包的路由信息发送到相应的目的交换节点；支持结构化文件、非结构化文件；支持JMS、Web Services、HTTP/HTTPS、FTP、RMI等多种可靠的数据传送机制。

如图3为本发明实施例的基于云计算的数据共享交换模型的技术交互流程图，以中央节点示例（服务门户、管理平台、流程监控和流程管理仅部署中央节点），展示了数据交换资源共享、数据交换和交换管理的技术交换流程。

数据提供者通过数据共享交换门户进行信息共享、交换请求审批、交换流程建模；目录信息审核者通过数据共享交换门户进行数据目录信息审核；数据获取者通过数据共享交换门户进行资源发现、交换需求提交；交换服务根据交换请求获取请求数据并进行封装；前置交换机提供JMS、Web Services、HTTP/HTTPS、FTP、RMI等多种可靠的数据传送机制，以支持根据数据交换需求进行数据推送。

作为本发明实施例的水利数据交换平台的Web服务网关为跨节点的Web服务交换提供安全保证，包括：过滤、数字签名、Web服务安全性、XML访问控制、加密、日志等。本实施例中跨节点的Web服务访问包括数据共享交换平台为流域和省级节点提供Web服务，通过Web服务方式的数据交换服务。

作为本发明实施例的水利数据交换平台的访问控制实现对访问门户和Web服务的用户身份安全认证与管理，应支持如下功能：用户身份管理（管理使用企业服务总线的用户信息），用户身份认证（通过用户名/密码、CA证书等方式验证用户身份），用户权限检查（检查用户是否具备使用某一服务的权限）。

作为本发明实施例的水利数据交换平台，采用流程建模与企业服务总线相结合的方式实现按需交换业务服务的动态组合。

Claims (1)

1.一种基于云计算的数据共享交换系统，其特征在于，包括如下模块：数据共享服务模块，用以实现分布异构数据资源共享；数据交换服务模块，实现异构数据的交换功能；管理服务模块，用以实现共享交换和系统的管理；企业服务总线，作为交换模型的服务池，支持服务检索与调用，各个服务模块通过其进行通信；前置交换库，实现信息交换而建立的中间存储逻辑信息库；前置交换机，实现交换节点的统一交换出入口的功能；

所述数据共享服务模块，包括资源编目单元、目录审核单元、目录发布单元和资源发现单元；其中资源编目单元实现分布异构数据资源元数据的注册；目录审核单元提供数据资源元数据的校验功能，通过XML Schema校验进行元数据格式检查；目录发布单元用以为通过审核的元数据建立数据索引并发布到Web网站形成目录信息；资源发现单元提供目录检索功能用以定位相应数据资源；

所述数据交换服务模块，包括交换请求提交单元、交换请求审批单元、交换请求处理单元和数据推送单元；其中交换请求提交单元提交用户的数据交换请求，交换请求包括用户标识以及所需的数据资源；交换请求审批单元用以供管理员审批用户提交的数据交换请求，判断用户是否具备获取该数据的权限；交换请求处理单元根据审批通过的交换请求从业务数据库中获取相应的数据资源形成交换数据包并转存至前置交换库，交换请求处理单元的功能具体由注册到企业服务总线上的服务或服务组合集实现；数据推送单元利用前置交换机将交换数据包发送给目标用户；

所述管理服务模块，包括服务注册单元、服务组合单元、用户管理单元、访问控制单元和平台管理单元；其中服务注册单元用以实现服务的注册，并将注册后的服务发布于企业服务总线之上，所述服务包括数据访问服务、异构映射服务、数据封装数据提供者自定义服务；服务组合单元通过BPEL对交换业务流程进行建模，实现对自定义服务的组合，形成满足交换需求的交换业务服务；用户管理单元用以实现数据提供者和数据获取者的注册、编辑和删除以及逻辑地址和网络地址的管理；访问控制单元用以用户身份安全认证和权限检查；平台管理单元实现对基于SaaS的数据共享系统，以多租赁的方式为各个交换节点分配数据共享交换服务门户和相应服务功能；

所述交换模型在功能部署上分为中央节点和普通节点，中央节点具备数据提供者、目录审核者、模型管理者和数据获取者交换模型用户角色，普通节点具备数据提供者、目录审核者和数据获取者交换模型用户角色；中央节点部署有交换模型的完整功能模块；普通节点部署交换服务模块的交换请求处理单元、数据推送单元、服务注册单元、服务组合单元、访问控制单元、企业服务总线、前置交换机和前置交换库；将数据共享服务模块、交换请求提交服务单元和交换审批单元构建成为数据共享交换服务系统部署于中央节点，以SaaS思想向普通节点提供服务，以支持统一途径的数据共享交换；用户管理模块仅中央节点具备，实现全局的用户管理。