CN103391321A - 一种数据共享交换计量系统及方法 - Google Patents

Abstract

本发明公开了一种数据共享交换计量系统及方法，用于统计不同部门提供交换共享的数据的贡献值，系统包括数据共享交换中心和前置系统，数据共享交换中心与前置系统、各前置系统之间通过Internet以web服务的方式相互通信。该方法首先建立数据资源中心，数据资源中心记录发布数据的最初来源，其次用户可以通过两种方式获取数据，包括从数据资源中心获取数据以及从数据发布者的前置系统获取数据，再次对转换的数据量进行计量，建立计量数据库，最后管理者及各部门可以查看计量统计结果。本发明提出的计量机制实现部门数据共享交换贡献值的量化，有利于督促各部门积极发布更新共享交换数据，同时可以实现对政府决策的导向作用。

Description

一种数据共享交换计量系统及方法

技术领域

本发明涉及数据交换及计量技术，尤其涉及一种数据共享交换计量系统及方法。

背景技术

近几年，国家信息化建设不断完善和发张，很多单位部门都建立起自己的业务应用系统， 跨部门的重点业务系统被设计成了部门内的系统，政务信息资源共建、共享模式无法达成共识，自建、自用和自成体系的电子政务建设模式在蔓延，潜在的“信息孤岛”风险突出，政务协同能力受到极大牵制。造成信息孤岛的原因有很多，主要可归结为三方面：一是各个部门都有一套独立异构的信息管理系统，难以互通互联；二是各个部门数据的编码标准、接口规范等都不一样，难以共享交换；三是各部门之间的数据共享没有形成统一有效的交换机制及激励政策。

信息资源只有交流、共享才能被充分开发和利用，而只有打破信息封闭，消除信息“荒岛”和“孤岛”，也才能创造价值。如何建立政府信息资源采集、处理、交换、共享、运营和服务的机制和规程，实现分布在各类政府部门和各级政府机关的信息资源的有效采集、交换、共享和应用，是电子政务建设的更高级的阶段和核心任务。目前存在很多数据共享交换系统，大部分在技术层面解决数据的编码标准及接口规范等问题，各部门出于利益格局或者安全性的考虑，主动的数据共享意识比较薄弱，而对数据的需求却有增无减，这在一定程度上限制了各部门的信息化平台的建设和完善。所以需要一种数据共享机制改变传统被动的、消极的交换方式为主动的、激励式的交换方式，在促进各部门信息共享的同时，提高政府的决策导向力。

发明内容

本发明的目的在于针对目前信息化建设过程中各部门自成一家，主动的数据共享意识薄弱，政府不能在全局上把握各部门信息共享情况从而进行相应决策等缺陷，建立一种数据共享交换计量机制，通过对各部门数据共享量进行统计计量，达到部门间贡献值的量化，通过无偿的贡献度评价，激励各部门的共享意识，使各部门达到互惠共赢。

本发明是通过以下技术方案实现的：一种数据共享交换计量方法，该方法在数据共享交换系统上实现，数据共享交换系统包括数据共享交换中心和前置系统，数据共享交换中心与前置系统、各前置系统之间通过Internet以web服务的方式相互通信。

一、数据共享交换中心：包括数据共享交换控制系统、数据资源中心和客户端

数据共享交换控制系统：负责对整个数据共享交换系统进行控制，包括：共享交换控制模块、反馈处理模块、计量统计模块和计量数据库。共享交换控制模块负责控制共享交换过程及提供目录服务；反馈处理模块将前置系统与数据资源中心的反馈数据进行处理，存储到计量数据库；计量统计模块将计量数据进行分析统计；计量数据库存储前置系统或者数据资源中心反馈的记录，为计量统计模块提供数据。

数据资源中心：负责采集各共享交换节点数据并进行清洗、转换和融合，为各共享交换节点提供数据，包括：数据共享交换模块、数据源记录模块、反馈模块和元数据库。数据共享交换模块，负责从各前置系统中获取数据及数据的发布共享；数据源记录模块，负责记录数据资源中心各数据的最初来源，存储到元数据库中；反馈模块将数据资源中心的共享结果反馈至数据共享交换中心的数据共享交换控制系统；元数据库用来存储元数据，即数据的内容、质量、状况和其他特征的信息，对数据共享交换中的数据来源部门、来源业务系统等信息进行记录。

客户端：负责将计量结果以图形化的方式展现给客户。

二、前置系统：负责数据共享交换，提供跨部门业务系统的连接、共享信息的采集、转换、传输服务，包括：数据共享交换模块和反馈模块。数据共享交换模块负责与各前置系统之间或数据资源中心的数据交换，从业务系统中提取数据，同步数据到业务系统；反馈模块负责将数据共享交换的结果反馈至数据共享交换中心的数据共享交换控制系统。

本发明数据共享交换计量方法，数据共享交换有两种方式：1、集中式，前置系统从数据资源中心获取数据，数据资源中心的数据来自于各数据发布者，是已经经过提炼、转换、融合过的数据；2、分布式，前置系统之间的共享交换，数据获取者从数据发布者的前置系统提取数据。具体步骤如下：

步骤1：建立数据资源中心。数据资源中心的搭建是为了满足跨部门、跨业务的数据共享与数据综合应用的需求，能够同时支持关系型数据、空间数据、实时数据的共享。

1.1关系型数据。关系型数据以行列为计量单位。

1.2空间数据。空间数据主要包括影像数据，影像数据以字节作为计量单位。

1.3实时数据。实时数据以条为计量单位。

步骤2：数据共享交换监测。数据共享交换有两种方式：集中式和分布式，数据获取者根据数据共享交换控制系统提供的目录确定数据来源，所需数据来自于数据资源中心即为集中式，来自于其它业务部门的前置系统即为分布式。

2.1集中式数据共享交换。数据获取者的前置系统监控成功转换后的数据量，发送至数据资源中心反馈模块。数据资源中心的反馈模块，根据数据资源中心元数据库中的数据来源进行追溯，计算本次共享交换过程中每个数据发布者的贡献量，发送至数据共享交换控制系统的反馈处理模块，解析数据并保存至计量数据库中。

2.1.1数据获取者向数据共享交换控制系统请求数据共享交换认证，数据资源中心确认证书合法性后允许交换。

2.1.2数据获取者的前置系统记录成功获取并转换的数据量，关系型数据记录条数及每列大小，空间数据记录影像大小，实时数据记录条数。

2.1.3根据转换规则，获取数据获取者前置系统所得数据在数据资源中心的位置。

转换规则指数据资源中心数据到最后用户获取数据之间的映射关系，前置系统根据转换规则便可知道数据在数据资源中心的位置，如表名列名即可定位关系型数据。

2.1.4根据数据获取者前置系统记录的成功获取并转换的数据量，结合每类数据在数据资源中心的位置，计算共享交换计量结果，包括：时间戳、数据在资源中心的位置、交换量、计量单位，将数据共享交换计量结果发送至数据资源中心反馈模块。

2.1.5数据资源中心反馈模块，根据数据获取者前置系统反馈结果与数据资源中心元数据库的数据源记录，计算出本次交换过程中各数据发布者的共享量，发送至数据共享交换控制系统反馈处理模块。

2.2分布式数据共享交换。分布式共享交换是各部门前置系统之间的交换行为，交换获得的数据只来源于单一用户。

2.2.1数据获取者向数据共享交换控制系统请求数据共享交换认证，数据发布者的前置系统确认证书合法性后允许交换。

2.2.2数据获取者前置系统记录成功获取并转换的数据量。

2.2.3根据转换规则，获取交换数据在数据发布者前置系统中的信息交换库中的位置。

2.2.4根据数据获取者前置系统记录的成功获取并转换的数据量，计算共享交换计量结果，包括：时间戳、数据在资源中心的位置、交换量、计量单位，将数据共享交换计量结果发送至数据共享交换控制系统反馈处理模块。

步骤3：数据共享交换控制系统统计各数据发布者的共享交换的统计量。数据共享交换控制系统将前置系统或者数据资源中心反馈的记录保存至计量数据库中。

步骤4：计量结果统计查看。通过数据共享交换中心的客户端可以进行计量结果的查询。客户端的用户可分为两类，如下：

4.1具有管理员权限的用户。可以通过客户端查看所有数据发布者在指定时间段里的数据共享统计量，并按不同的统计方式进行排行。并且能够以数据流图的形式查看不同用户提供者直接的数据共享关系。

4.2普通用户。可查看自己的数据共享统计量和数据共享情况，如：数据使用者，哪些人对哪些用户感兴趣。

本发明的有益效果是：本发明一种数据共享交换计量系统及方法通过对数据和服务的计量，可有效的统计不同部门提供交换共享的数据的贡献值，从而达到部门间贡献值的量化，有利于督促各部门完善自有的数据中心，激励各部门的共享意识，使各部门达到互惠共赢，在促进各部门信息共享的同时，提高政府的决策导向力。

附图说明

图1是本发明的数据共享交换计量系统结构图； 

图2是本发明的数据共享交换计量方法的实现流程图；

图3是数据资源中心最终发布的表结构示例；

图4是数据资源中心发布的库表记录的XML元数据树状结构；

图5是计量数据库设计示例。

具体实施方式

下面结合附图详细描述本发明，本发明的目的和效果将变得更加明显。

本发明数据共享交换计量发法在图1所示的数据共享交换系统上实现，数据共享交换系统包括数据共享交换中心和前置系统。数据共享交换中心与前置系统，各前置系统之间通过Internet以web服务的方式相互通信。

一、数据共享交换中心：包括数据共享交换控制系统、数据资源中心和客户端

数据共享交换控制系统：负责对整个数据共享交换系统进行控制，包括：共享交换控制模块、反馈处理模块、计量统计模块和计量数据库。共享交换控制模块负责控制共享交换过程及提供目录服务；反馈处理模块将前置系统与数据资源中心的反馈数据进行处理，存储到计量数据库；计量统计模块将计量数据进行分析统计；计量数据库存储前置系统或者数据资源中心反馈的记录，为计量统计模块提供数据。

数据资源中心：是集中式共享交换的基础，负责采集各共享交换节点数据并进行清洗、转换和融合，为各共享交换节点提供数据，包括：数据共享交换模块、数据源记录模块、反馈模块和元数据库。数据共享交换模块，负责从各前置系统中获取数据及数据的发布共享；数据源记录模块，负责记录数据资源中心各数据的最初来源，存储到元数据库中；反馈模块将数据资源中心的共享结果反馈至数据共享交换中心的数据共享交换控制系统；元数据库用来存储元数据，即数据的内容、质量、状况和其他特征的信息，对数据共享交换中的数据来源部门、来源业务系统等信息进行记录。

客户端：负责将计量结果以图形化的方式展现给客户。

二、前置系统：负责数据共享交换，提供跨部门业务系统的连接、共享信息的采集、转换、传输服务，包括：数据共享交换模块和反馈模块。数据共享交换模块负责与各前置系统之间或数据资源中心的数据交换，从业务系统中提取数据，同步数据到业务系统；反馈模块负责将数据共享交换的结果反馈至数据共享交换中心的数据共享交换控制系统。

本发明数据共享交换计量方法，数据共享交换有两种方式：1、集中式，前置系统从数据资源中心获取数据，数据资源中心的数据来自于各数据发布者，是已经经过提炼、转换、融合过的数据；2、分布式，前置系统之间的共享交换，数据获取者从数据发布者的前置系统提取数据。如图2所示，具体步骤如下：

步骤1：建立数据资源中心。数据资源中心的搭建是为了满足跨部门、跨业务的数据共享与数据综合应用的需求，能够同时支持关系型数据、空间数据、实时数据的共享。

1.1关系型数据。关系型数据以行列为计量单位，数据资源中心发布的关系数据库中的同一张表可能来自多个部门多个用户。

如图3所示，数据资源中心最终发布的release表中的4个字段，来自于3个用户的3张表中。数据资源中心从各个用户前置系统中提取数据建立发布数据库表的同时，也记录了数据的最初来源。每一张发布的库表均会建立一个XML的元数据集，用来记录数据来源。库表记录的XML元数据树状结构如图4所示，其中 (1)表示在数据资源中心的表节点；属性(3)为表名；每个根节点下有1-n个列节点(2)，列节点下属性(4)表示列名，属性(5) 表示列节点(2)的来源节点，有(6)、(7)、(8)三个节点，分别代表数据资源中心的某列来源用户名、表名、列名。

1.2空间数据。空间数据主要包括影像数据，影像数据以字节作为计量单位。

1.3实时数据。实时数据以条为计量单位。

步骤2：数据共享交换监测。数据共享交换有两种方式：集中式和分布式，数据获取者根据数据共享交换控制系统提供的目录确定数据来源，所需数据来自于数据资源中心即为集中式，来自于其它业务部门的前置系统即为分布式。

2.1集中式数据共享交换。数据获取者的前置系统监控成功转换后的数据量，发送至数据资源中心反馈模块。数据资源中心的反馈模块，根据数据资源中心元数据库中的数据来源进行追溯，计算本次共享交换过程中每个数据发布者的贡献量，发送至数据共享交换控制系统的反馈处理模块，解析数据并保存至计量数据库中。

2.1.1数据获取者向数据共享交换控制系统请求数据共享交换认证，数据资源中心确认证书合法性后允许交换。

2.1.2数据获取者的前置系统记录成功获取并转换的数据量，关系型数据记录条数及每列大小，空间数据记录影像大小，实时数据记录条数。

2.1.3根据转换规则，获取数据获取者前置系统所得数据在数据资源中心的位置。

转换规则指数据资源中心数据到最后用户获取数据之间的映射关系，前置系统根据转换规则便可知道数据在数据资源中心的位置，如表名列名即可定位关系型数据。

2.1.4根据数据获取者前置系统记录的成功获取并转换的数据量，结合每类数据在数据资源中心的位置，计算共享交换计量结果，包括：时间戳、数据在资源中心的位置、交换量、计量单位，将数据共享交换计量结果发送至数据资源中心反馈模块。

2.1.5数据资源中心反馈模块，根据数据获取者前置系统反馈结果与数据资源中心元数据库的数据源记录，计算出本次交换过程中各数据发布者的共享量，发送至数据共享交换控制系统反馈处理模块。

2.2分布式数据共享交换。分布式共享交换是各部门前置系统之间的交换行为，交换获得的数据只来源于单一用户。

2.2.1数据获取者向数据共享交换控制系统请求数据共享交换认证，数据发布者的前置系统确认证书合法性后允许交换。

2.2.2数据获取者前置系统记录成功获取并转换的数据量。

2.2.3根据转换规则，获取交换数据在数据发布者前置系统中的信息交换库中的位置。

2.2.4根据数据获取者前置系统记录的成功获取并转换的数据量，计算共享交换计量结果，包括：时间戳、数据在资源中心的位置、交换量、计量单位，将数据共享交换计量结果发送至数据共享交换控制系统反馈处理模块。

步骤3：数据共享交换控制系统统计各数据发布者的共享交换的统计量。数据共享交换控制系统将前置系统或者数据资源中心反馈的记录保存至计量数据库中，计量数据库设计如图5所示。

步骤4：计量结果统计查看。通过数据共享交换中心的客户端可以进行计量结果的查询。客户端可以是web形式，或者本地客户端的形式。客户端实现如下功能：按不同的排行方式查询指定时间段里共享量排行（如：按数据大小、行列乘积或共享广度排行）；查询指定用户的数据获取情况；查询指定用户的数据贡献情况；查询指定用户注册发布数据的分享情况。使用JFreeChart生成图表。客户端的用户可分为两类，如下：

4.1具有管理员权限的用户。可以通过客户端查看所有数据发布者在指定时间段里的数据共享统计量，并按不同的统计方式进行排行。并且能够以数据流图的形式查看不同用户提供者直接的数据共享关系。

4.2普通用户。可查看自己的数据共享统计量和数据共享情况，如：数据使用者，哪些人对哪些用户感兴趣。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (8)

1.一种数据共享交换计量系统，其特征在于，包括数据共享交换中心和前置系统，数据共享交换中心与前置系统等，各前置系统之间通过Internet以web服务的方式相互通信；其中，数据共享交换中心包括数据共享交换控制系统、数据资源中心和客户端，客户端以web服务的方式从数据共享交换控制系统和数据资源中心获取数据。

2.根据权利要求1所述数据共享交换计量系统，其特征在于，所述数据共享交换控制系统包括：共享交换控制模块、反馈处理模块、计量统计模块和计量数据库等；共享交换控制模块负责控制共享交换过程及提供目录服务；反馈处理模块将前置系统与数据资源中心的反馈数据进行处理，存储到计量数据库；计量统计模块将计量数据进行分析统计；计量数据库存储前置系统或者数据资源中心反馈的记录，为计量统计模块提供数据。

3.根据权利要求1所述数据共享交换计量系统，其特征在于，所述数据资源中心包括：数据共享交换模块、数据源记录模块、反馈模块和元数据库等；数据共享交换模块负责从各前置系统中获取数据及数据的发布共享；数据源记录模块负责记录数据资源中心各数据的最初来源，存储到元数据库中；反馈模块将数据资源中心的共享结果反馈至数据共享交换中心的数据共享交换控制系统；元数据库用来存储元数据，即数据的内容、质量、状况和其他特征的信息，对数据共享交换中的数据来源部门、来源业务系统等信息进行记录。

4.根据权利要求1所述数据共享交换计量系统，其特征在于，所述前置系统包括：数据共享交换模块和反馈模块等；数据共享交换模块负责与各前置系统之间或数据资源中心的数据交换，从业务系统中提取数据，同步数据到业务系统；反馈模块负责将数据共享交换的结果反馈至数据共享交换中心的数据共享交换控制系统。

5.一种数据共享交换计量方法，其特征在于，包括以下步骤：

步骤（1）：建立数据资源中心；数据资源中心支持关系型数据、空间数据、实时数据的共享；

步骤（2）：数据共享交换监测；数据共享交换有两种方式：集中式和分布式，数据获取者根据数据共享交换控制系统提供的目录确定数据来源，所需数据来自于数据资源中心为集中式，来自于其它业务部门的前置系统为分布式；

步骤（3）：数据共享交换控制系统统计各数据发布者的共享交换的统计量；数据共享交换控制系统将前置系统或者数据资源中心反馈的记录保存至计量数据库中；

步骤（4）：计量结果统计查看；通过数据共享交换中心的客户端可以进行计量结果的查询。

6.根据权利要求5所述数据共享交换计量方法，其特征在于，所述步骤1中，所述关系型数据、空间数据、实时数据，具体为：关系型数据以行列为计量单位；空间数据以字节作为计量单位；实时数据以条为计量单位。

7.根据权利要求5所述数据共享交换计量方法，其特征在于，所述步骤2中，所述集中式具体包括以下步骤：

（2.1.1）数据获取者向数据共享交换控制系统请求数据共享交换认证，数据资源中心确认证书合法性后允许交换；

（2.1.2）数据获取者的前置系统记录成功获取并转换的数据量，关系型数据记录条数及每列大小，空间数据记录影像大小，实时数据记录条数；

（2.1.3）根据转换规则，获取数据获取者前置系统所得数据在数据资源中心的位置；转换规则指数据资源中心数据到最后用户获取数据之间的映射关系，前置系统根据转换规则便可知道数据在数据资源中心的位置；

（2.1.4）根据数据获取者前置系统记录的成功获取并转换的数据量，结合每类数据在数据资源中心的位置，计算共享交换计量结果，包括：时间戳、数据在资源中心的位置、交换量、计量单位，将数据共享交换计量结果发送至数据资源中心反馈模块；

（2.1.5）数据资源中心反馈模块，根据数据获取者前置系统反馈结果与数据资源中心元数据库的数据源记录，计算出本次交换过程中各数据发布者的共享量，发送至数据共享交换控制系统反馈处理模块。

8.根据权利要求5所述数据共享交换计量方法，其特征在于，所述步骤2中，所述分布式具体包括以下步骤：

（2.2.1）数据获取者向数据共享交换控制系统请求数据共享交换认证，数据发布者的前置系统确认证书合法性后允许交换；

（2.2.2）数据获取者前置系统记录成功获取并转换的数据量；

（2.2.3）根据转换规则，获取交换数据在数据发布者前置系统中的信息交换库中的位置；

（2.2.4）根据数据获取者前置系统记录的成功获取并转换的数据量，计算共享交换计量结果，包括：时间戳、数据在资源中心的位置、交换量、计量单位，将数据共享交换计量结果发送至数据共享交换控制系统反馈处理模块。

Images