CN112732811A - 一种数据开放平台 - Google Patents

一种数据开放平台 Download PDF

Info

Publication number
CN112732811A
CN112732811A CN202011640992.6A CN202011640992A CN112732811A CN 112732811 A CN112732811 A CN 112732811A CN 202011640992 A CN202011640992 A CN 202011640992A CN 112732811 A CN112732811 A CN 112732811A
Authority
CN
China
Prior art keywords
data
service
api
open
opening
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011640992.6A
Other languages
English (en)
Inventor
刘志徽
杨秀锡
严俊杰
周东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Zhongke Shuguang Cloud Computing Co ltd
Original Assignee
Guangxi Zhongke Shuguang Cloud Computing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Zhongke Shuguang Cloud Computing Co ltd filed Critical Guangxi Zhongke Shuguang Cloud Computing Co ltd
Priority to CN202011640992.6A priority Critical patent/CN112732811A/zh
Publication of CN112732811A publication Critical patent/CN112732811A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/254Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开的一种数据开放平台,包括数据开放门户、数据开放管理平台、开放数据库、数据资源开放目录体系;数据开放管理平台通过数据开放门户向全市各职能部门和公众提供大数据中心的数据共享目录,职能部门和公众根据自己的需要,在数据开放门户上浏览和查询共享数据目录,找到需要的数据后,对其发起申请,由数据管理人员对申请信息进行审核,审批通过后,各职能部门和公众可根据自身需求,同步数据到自己数据库或者生成数据调用接口,以供职能部门和公众进行数据的调用,完成辅助其系统或者查看的功能。本发明依托信息技术建立政府数据开放平台,加强政务信息资源的开发利用,加强政务信息共享,规范政务信息资源社会化增值开发利用工作。

Description

一种数据开放平台
技术领域
本发明涉及政务信息资源的开发利用领域,特别涉及一种数据开放平台。
背景技术
随着各行各业飞速迅猛的发展,信息资源也呈爆发式增长,根据摩尔定律, 每18个月,信息资源量将比现在全部的信息量翻一翻。另外,数据已被定义为 五大新能源之一,信息掌握数据的多寡成为行业竞争力的重要因素之一,将影 响本单位在行业中的地位,甚至是企业的生死存亡。
2011年以来,美国、英国等国家在全球掀起了政府开放数据热潮,至今全 球已有超过65个国家已加入公共信息资源开放的行列中,普遍建立了依托互 联网面向社会提供开放数据的统一网站。
虽然我国数据共享开放工作晚于欧美等国家,但继北京、上海建立数据开放平 台之后,浙江、青岛、贵州等省市也纷纷加入数据共享开放行列。虽然国内各 省会、地市的数据开放平台在逐步建立,但都是各自为营、相对独立,缺少统 一标准、统一格式、统一目录等,使得数据在使用中造成很大的障碍,严重降 低数据利用价值。
因此,有必要设计一种公共数据开放平台来解决上述问题。
发明内容
本发明的目的在于克服现有技术的缺点与不足,提供一种数据开放平台。
本发明的目的通过以下的技术方案实现:
一种数据开放平台,包括数据开放门户、数据开放管理平台、开放数据库、 数据资源开放目录体系;其中,
数据开放门户,用于实现公共数据集开放中,针对公众提供数据申请、审 批、利用、分析的系列功能集,建立统一大数据利用平台;
数据开放管理平台,通过数据开放门户向全市各职能部门和公众提供大数 据中心的数据共享目录,职能部门和公众根据自己的需要,在数据开放门户上 浏览和查询共享数据目录,找到需要的数据后,对其发起申请,由数据管理人 员对申请信息进行审核,审批通过后,各职能部门和公众可根据自身需求,同 步数据到自己数据库或者生成数据调用接口,以供职能部门和公众进行数据的 调用,完成辅助其系统或者查看的功能;
开放数据库,通过服务总线进行集中管理,加上直接提供数据开放接口的 数据,由服务目录进行统一编目,实现数据服务开放;
数据资源开放目录体系,对数据资源采取目录管理模式。
所述数据开放管理平台是政府通过集中式数据开放和分布式数据开放最终 推送到数据开放门户网站的技术支撑;
所述集中式数据开放用于实现对集中在开放数据库的数据进行集中对外开 放:
(1)对存放在数据共享库的数据基于开放和脱敏规则进行数据集中脱敏;
(2)开放数据库的数据资源基于ETL工具进行数据集文件的封装,文件封 装支持多种可机读数据格式;
(3)共享数据库数据更新检查、开放数据库数据更新检查,以及更新数据 的自动同步;
所述分布式数据开放是分布在政府各部门的各种技术规范的数据服务,通 过云服务总线进行统一的注册和管理:
(1)基于服务代理机制,将原生服务隐藏,保障原生服务安全;
(2)通过云服务总线丰富的功能对代理的服务进行统一的管控和安全加 固;
(3)通过开放管理服务API Manager将总线上的代理进行标准化封装,发 布成标准的符合调用规范的可用API服务;
(4)标准化API服务:API管理工具使用的Web终端用户界面,用于生成、 发布、管理、监控API;API管理工具将不同规则、不同架构提供的API实现 统一描述、统一管理等功能提供通用功能集整合和复用;API同时也是一种中间 件,为各种不同平台提供数据共享;API提供API密钥及应用安全政策、令牌身 份验证、速率限制和配额保护;API提供版本管理、生命周期管理;API提供收 集API文档、API的性能、质量、使用情况的评估、评价API,并分享评论。
所述数据开放管理平台是基于开放数据库,依托数据共享服务总线,基于 服务封装和数据封装技术,将数据封装成服务接口,依托数据ETL服务将数据 集生成可机读数据文件;开放管理层控制资源开放的最终形式和流程;用于完 成资源数据集可机读处理和服务API封装以及发布流程管理;资源数据集封装 要解决资源在线可机读性的问题;API封装实现资源可规范调用的问题;数据开 放管理层还保障数据开放的所有质量和安全问题。
所述数据开放管理平台包含一套完整的对外开放数据服务体系,包括数据 申请处理模块、数据开放核准和需求反馈管理、数据脱敏处理、数据质量控制、 开放粒度管理、数据服务生成、数据服务管理、服务API管理、服务质量评价 统计等功能模块。
所述数据开放的形式包括数据文件类型和数据API服务类型;所述数据文 件类型包括xls、xml、csv和json;所述API服务类型包括API接口描述、错 误参照码、请求限制、示例代码。
所述数据开放管理平台,其数据开放环节如下:
(1)数据需求处理;
数据的开放结果分一次性开放和逐步开放;
数据开放管理平台能够处理用户从数据开放门户网站提交的数据申请需 求,数据申请内容包含用户的身份、申请的数据类型、申请的数据用途、申请 时间;管理员将申请信息提交给相关的部门单位,等待需求审核和答复;
(2)数据开放审批
受理信息公开申请的有关部门或者数据提供单位,对数据申请的需求进行 审核,将审核结果返回给用户;
(3)数据脱敏处理
将数据通过一定的算法变成另一种样式,而这种样式是可读的,并且与元 数据是同一类的;
(4)数据质量控制
通过异构云桥进行数据清洗、数据比对来完成对数据的质量控制;
(5)数据服务生成
服务生成工具基于SOA/WOA架构思想设计,提供用于发布生成并运行基础 源Sercice服务的中间件产品;它既是服务生成工具,也是服务容器;作为服 务生成工具,云服务生成工具能根据用户业务的不同,灵活、快速地生成和发 布标准遵循JAX-WS和JAX-RS等规范的REST和SOAP服务,真正意义上的零编 码开发工具;作为服务容器,云服务生成工具能稳定和高效地运行Sercice服 务,提供高并发访问和请求;
云服务生成流程主要经过四个阶段分别是:资源加载——资源对象化—— 服务定义——服务发布;云服务生成工具同时为生成的服务提供安全模块、可 靠消息模块、服务事件模块和服务云端寻址模块;云服务生成主要采用了AXIOM 对象模型和DSDL文档规范来定义资源的属性和操作方法;
(6)数据服务管理
数据开放管理平台依托云服务总线对开放服务进行管理,云服务总线设备 提供服务注册、服务响应、缓存、服务访问流量控制、服务会话监控与跟踪功 能;
云服务总线设备提供对服务访问的权限控制、可靠消息传输、提供负载的 后端真实服务访问端点;
云服务总线设备支持WS-Security,WS-Reliable Messaging,WS-Policy 等标准Web Service安全规范,提供服务层与方法层的细粒度控制、可靠消息 传输,以及支持故障转移的端点访问策略;
云服务总线设备支持对代理服务实施WS-*标准,支持故障转移、负载均衡; 通过外部负载均衡器及云服务总线设备的集群特性,实现服务访问的伸缩性,服 务的消息费者使用云服务总线设备上的服务,服务总线完成一系列任务,最后 将消息转换成真实服务可处理的格式;
由云服务总线设备提供Load Balancing服务访问点,可轻松实现故障转移。
(7)服务API管理
按主题和单位提供服务API,为开发者提供风格统一、可层级式扩展的 RESTful能力接口,支持API的增、删、改、查;提供API调试功能,支持开发 者自行测试调用能力开放管理平台所提供的API接口,并查看相应的返回结果;
(8)服务质量评价统计
通过统计用户对系统开放服务价。
所述数据开放的开放API包括:
(1)创建以及发布数据开放API
创建数据开放API,是将已有的开放数据服务,添加到数据开放API发布 门户的过程;在发布门户中,管理API的生命周期,编辑API的说明文档,配 置API的安全选项,查看API的订阅统计;
(2)订阅数据开放API
想要调用一个数据开放API,用户必须先在数据开放API集市对这个API进 行订阅操作;
API集市中有应用的管理,用户在应用下生成令牌;用户通过应用订阅API, 订阅完成后,使用该应用专属的令牌,就能对这个API进行调用了;
(3)使用集成的数据开放API控制台调用数据开放API
数据开放管理平台集成了Swagger UI,Swagger UI是Swagger项目的一部 分;
Swagger是一个完全开源的,标准的,与语言无关的规范,它是一个不需要 代理或者第三方服务的完整框架,用于描述、制作、调用和查看RESTful风格 的数据开放API。Swagger让消费者无需访问远程服务的源码,与服务的实现逻 辑进行最少的交互,就能理解服务的能力。跟接口描述较低别程序代码的方式 一样,Swagger有助于描述服务。
Swagger UI纯粹是基于HTML、JavaScript、CSS(且三者互不依赖)实现 的,用于从兼容Swagger的数据开放API动态生成文档。兼容Swagger的数据 开放API提供交互式文档、生成客户端SDK和更好的可发现性。Swagger UI采 用JSON代码格式,它的UI有易于缩进、高亮显示关键字、以及即时显示语法 错误的特点。
设计API时,可以使用Swagger UI给数据开放API添加资源参数、摘要以 及描述。测试调用API时,可以使用Swagger UI,输入查询参数,调用数据开 放API。
(4)使用可视化界面编辑数据开放API
创建API时,需要填写API定义。定义内容包含API的方法名、参数等。 这既可以在发布平台页面上,交互式地填写方法名、方法描述、参数名、参数 类型、是否必填等属性;也可以直接编辑Swagger代码,快速编写这些属性。
(5)添加数据开放API文档;
(6)管理数据开放API生命周期。
创建一个新的所述数据开放API可分为3步:
A、设计:确定API名称、版本、访问地址等基本信息,并添加API方法及 其参数的定义;
B、实现:配置API对应的数据服务的Endpoint地址,并配置安全选项;
C、管理:设置API的调用层级、调用协议、可调用范围;
除了手动填写创建新的API,还可以导入包含API定义的swagger文件来创 建API;此外,还可以使用数据服务的wsdl地址直接创建API。
所述添加数据开放API文档,具体为:
A、添加文档方法
使用数据开放API发布者,从不同的来源添加不同类型的文档;数据开放 API发布者中创建的所有数据开放API的文档都有唯一的URLs,有助于提升对 SEO的支持;
数据开放API发布者支持的文档类型如下:
a、In-line:托管在数据开放API发布者中的文档,允许在UI中直接编辑;
b、URL:链接到引用的外部配置管理系统的文件;
c、File:允许直接上传文档到服务器;
B、添加全文索引
通过数据开放API文档搜索,能查找文档和相关数据开放API;搜索语法是: “doc:关键字”;搜索规则是在文档内容的词、短语中查找关键字,并返回匹配 的文档和对应的数据开放API;除了默认的索引器,还可以编写并注册自定义的 索引器实现。
所述管理数据开放API生命周期,具体为:
A、创建一个新版本数据开放API;
当希望改变已发布数据开放API的定义、认证机制、调用等级限制时,创 建数据开放API的新版本;不推荐修改有订阅者订阅的已发布的数据开放API;
创建一个新版本后,为了早期的推广通常将它部署为原型;原型不需要订 阅就可以测试,可与数据开放API已发布的版本并存;待新旧版本并存使用一 段时间之后,再将原型数据开放API发布,弃用旧版本;
B、部署并测试原型;
创建一个数据开放API原型是为了早期的推广和测试;新的数据开放API 或已有数据开放API的新版本可以发布为原型;它给了订阅者此数据开放API 的一个早期实现,且不需要订阅和付费就可以试用,并可以提供反馈信息用于 改进数据开放API;一段时间后,发布者可以做一些调整并发布数据开放API;
C、发布新版本、弃用旧版本;
发布数据开放API使其在数据开放API服务目录中可被订阅;如果创建了 多个租户,一个租户的数据开放API服务目录对其他租户是可见的;因此, 其他租户域的用户可以看见你所在租户域默认数据开放API服务目录中发布的 数据开放API;这有助于推广数据开放API,扩大受众范围;尽管未登录用户 可以浏览所有公开的数据开放API,但如果想订阅、调用它们,用户就必须登 录到有调用权限的租户域;
D、发布数据开放API到多个外部数据开放API服务目录;
可以将数据开放API发布到本租户域以外的其他租户域的数据开放API服 务目录,让其他租户域中的应用开发者看见;这有助于集成数据开放API到一 个更高级别的平台上;其他租户域的订阅者可以浏览你的数据开放API,但是如 果想要订阅那些数据开放API,就需要访问原始发布者的数据开放API服务目录; 这个功能默认是停用的;
E、通过多个数据开放API网关发布数据开放API;
可以配置多个数据开放API网关环境发布到一个数据开放API服务目录; 这有助于分散数据开放API网关的负载到多个节点,并提供了与数据开放API 服务目录中的数据开放API的逻辑分离;一旦通过多个网关环境发布数据开放 API,该数据开放API服务目录中的数据开放API将有不同的服务器主机和端口。
本发明与现有技术相比,具有如下优点和有益效果:
本发明依托信息技术建立政府数据开放平台,顺应国家以及省市加强政务 信息资源的开发利用,加强政务信息共享,规范政务信息资源社会化增值开发 利用工作,合理规划政务信息的采集工作,加强政务信息资源管理的思路和要 求。以前期倒逼、后期需求为导向,形成政府数据资源开放的顺向机制。本发 明能够实现:
一、促进部门理清数据家底,明确数据分类分级
通过政府数据开放契机,建立健全统一的数据梳理规则,面对各家单位的 信息化建设特点,有针对性的制定数据梳理方案,定义和指导数据整理工作, 将各单位数据资源理清摸透,掌握数据家底,最终明确数据分类分级规则要求。
二、促进部门数据目录编制,形成统一开放数据资源目录
统一目录编制方法,有利于实现数据的开放与共享。
三、建立统一数据标准,提升数据使用质量
参照我区地方标准,实现数据的统一分类分级、格式表示、描述规范。通 过建立统一的数据标准,打通数据壁垒,建立数据采集、共享校核机制和比对、 清洗的数据质量管控机制,为实现政府数据开放提供保障。
四、建成数据开放门户,实现开放数据统一存储及管理
利用大数据思维和技术建立统一的政府数据开放门户,将整合后的各部门 的政府数据和业务专题数据,以多样化数据格式面向公众开放,一方面统一集 中的实现开放数据的存储和管理。一方实现为社会提供开放共享、安全可控的 政府数据资源,促进政府数据资源科学配置和有效利用。满足社会需求,促进 社会参与,推进大数据应用发展,充分发挥出大数据的经济效益和社会效益, 实现对各类政府数据的共享整合和开发应用。
五、形成政府数据开放长效机制,促进数据增值利用
政府信息公开已经在全国深入推开,“政务”走向透明化,“公开”渐成常 态化。以前期倒逼、后期需求为导向,形成政府数据资源开放的顺向长效机制。 通过数据开放服务,为社会公众提供政府公开数据资源,深入挖掘和有效分析 开放数据,实现数据的创新增值。
六、丰富服务形态提升数据供给
学习和总结国内外数据开放先进经验,实现全国首次以四大方式(xls、csv、 xml、json)开放数据,以丰富的服务形式拓展数据可用性,以深入梳理提升数 据供给。将政府数据资源开放的同时,大力引导和鼓励其他社会数据资源和应 用汇聚,整合形成区域内的“块数据”,促进数据商用、政用及民用。为“大众 创业、万众创新”提供新的资源宝库,提供孵化大数据产业资源支持。以大数 据综合创新试验区建设为契机,打造具有生命力大数据生态环境,形成示范效 应。
附图说明
图1为本发明所述一种数据开放平台的结构示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方 式不限于此。
一种数据开放平台,包括数据开放门户、数据开放管理平台、开放数据库、 数据资源开放目录体系;其中,
数据开放门户,用于实现公共数据集开放中,针对公众提供数据申请、审 批、利用、分析的系列功能集,建立统一大数据利用平台;
数据开放管理平台,通过数据开放门户向全市各职能部门和公众提供大数 据中心的数据共享目录,职能部门和公众根据自己的需要,在数据开放门户上 浏览和查询共享数据目录,找到需要的数据后,对其发起申请,由数据管理人 员对申请信息进行审核,审批通过后,各职能部门和公众可根据自身需求,同 步数据到自己数据库或者生成数据调用接口,以供职能部门和公众进行数据的 调用,完成辅助其系统或者查看的功能;
开放数据库,通过服务总线进行集中管理,加上直接提供数据开放接口的 数据,由服务目录进行统一编目,实现数据服务开放;
数据资源开放目录体系,对数据资源采取目录管理模式。
所述数据开放管理平台是政府通过集中式数据开放和分布式数据开放最终 推送到数据开放门户网站的技术支撑。
所述集中式数据开放用于实现对集中在开放数据库的数据进行集中对外开 放:
(1)对存放在数据共享库的数据基于开放和脱敏规则进行数据集中脱敏;
(2)开放数据库的数据资源基于ETL工具进行数据集文件的封装,文件封 装支持多种可机读数据格式;
(3)共享数据库数据更新检查、开放数据库数据更新检查,以及更新数据 的自动同步。
所述分布式数据开放是分布在政府各部门的各种技术规范的数据服务,通 过云服务总线进行统一的注册和管理:
(1)基于服务代理机制,将原生服务隐藏,保障原生服务安全;
(2)通过云服务总线丰富的功能对代理的服务进行统一的管控和安全加 固;
(3)通过开放管理服务API Manager将总线上的代理进行标准化封装,发 布成标准的符合调用规范的可用API服务;
(4)标准化API服务:API管理工具使用的Web终端用户界面,用于生成、 发布、管理、监控API;API管理工具将不同规则、不同架构提供的API实现 统一描述、统一管理等功能提供通用功能集(支持SOAP和REST服务)整合和 复用;API同时也是一种中间件,为各种不同平台提供数据共享;API提供API 密钥及应用安全政策(认证、授权)、令牌身份验证、速率限制和配额保护;API 提供版本管理、生命周期管理;API提供收集API文档、API的性能、质量、使 用情况的评估、评价API,并分享评论。
所述数据开放管理平台是基于开放数据库,依托数据共享服务总线,基于 服务封装和数据封装技术,将数据封装成服务接口,依托数据ETL服务将数据 集生成可机读数据文件;开放管理层控制资源开放的最终形式和流程;用于完 成资源数据集可机读处理和服务API封装以及发布流程管理;资源数据集封装 要解决资源在线可机读性的问题;API封装实现资源可规范调用的问题;数据开 放管理层还保障数据开放的所有质量和安全问题。
所述数据开放管理平台包含一套完整的对外开放数据服务体系,包括数据 申请处理模块、数据开放核准和需求反馈管理、数据脱敏处理、数据质量控制、 开放粒度管理、数据服务生成、数据服务管理、服务API管理、服务质量评价 统计等功能模块。
所述数据开放的形式包括数据文件类型和数据API服务类型;所述数据文 件类型包括xls、xml、csv和json;所述API服务类型包括API接口描述、错 误参照码、请求限制、示例代码。
所述数据开放管理平台,其数据开放环节如下:
(1)数据需求处理
由于政府数据带有保密性和封闭的文化背景,所以在数据开放过程中有一 部分数据是政府自己主动开放,还有另外一部分数据需要用户先申请后开放。 数据的开放结果分一次性开放和逐步开放;
数据开放管理平台能够处理用户从数据开放门户网站提交的数据申请需 求,数据申请内容包含用户的身份、申请的数据类型、申请的数据用途、申请 时间;管理员将申请信息提交给相关的部门单位,等待需求审核和答复;
(2)数据开放审批
受理信息公开申请的有关部门或者数据提供单位,对数据申请的需求进行 审核,将审核结果返回给用户;
(3)数据脱敏处理
数据脱敏是为了确保在非生产环境下使用生产数据更加安全,但是其又与 纯粹的数据加密不同,数据加密是将数据库中有意义的字符通过加密后转变成 无意义的字符,而脱敏是将数据通过一定的算法变成另一种样式,而这种样式 是可读的,并且与元数据是同一类的;
例如:“IBM5100”数据加密会得到“w%(Jt#v!”而数据脱敏后会得到 “IBN7300”
一个好的数据脱敏过程必须具备以下特点:可用性、数据关联关系、业务 规则关系、数据分布、易用性和可定制。从而在针对不同系统进行数据脱敏时, 制定良好的脱敏方法,是整个数据脱敏关键所在,而常用的实施脱敏方法有如 下几种方式:
1.替换:如统一将女性用户名替换为F,这种方法更像“障眼法”,对内部 人员可以完全保持信息完整性,但易破解。
2.重排:序号12345重排为54321,按照一定的顺序进行打乱,很像“替 换”,可以在需要时方便还原信息,但同样易破解。
3.加密:编号12345加密为23456,安全程度取决于采用哪种加密算法, 一般根据实际情况而定。
4.截断:13811001111截断为138,舍弃必要信息来保证数据的模糊性, 是比较常用的脱敏方法,但往往对生产不够友好。
5.掩码:123456->1xxxx6,保留了部分信息,并且保证了信息的长度不 变性,对信息持有者更易辨别,如火车票上得身份信息。
6.日期偏移取整:20130520 12:30:45->20130520 12:00:00,舍弃精度 来保证原始数据的安全性,一般此种方法可以保护数据的时间分布密度。
但是不管哪种手段都要基于不同的应用场景,遵循下面两个原则:
1.尽可能的为脱敏后的应用保留脱敏前的有意义信息
2.最大程度上防止黑客进行破解
(4)数据质量控制
各个政府部门之间存在职能交叉,收集的数据也不免有所交叉,所以在生 成数据服务之前,要对开放的数据进行质量控制,做到避免重复数据,排除错 误数据、空数据,在此基础之上还要保证数据的准确性和完整性。数据开放管 理平台通过异构云桥进行数据清洗、数据比对来完成对数据的质量控制;
(5)数据服务生成
服务生成工具基于SOA/WOA架构思想设计,提供用于发布生成并运行基础 源Sercice服务的中间件产品;它既是服务生成工具,也是服务容器;作为服 务生成工具,云服务生成工具能根据用户业务的不同,灵活、快速地生成和发 布标准遵循JAX-WS和JAX-RS等规范的REST和SOAP服务,真正意义上的零编 码开发工具;作为服务容器,云服务生成工具能稳定和高效地运行Sercice服 务,提供高并发访问和请求;
云服务生成流程主要经过四个阶段分别是:资源加载——资源对象化—— 服务定义——服务发布;云服务生成工具同时为生成的服务提供安全模块、可 靠消息模块、服务事件模块和服务云端寻址模块;云服务生成主要采用了AXIOM 对象模型和DSDL文档规范来定义资源的属性和操作方法;
(6)数据服务管理
数据开放管理平台依托云服务总线对开放服务进行管理,云服务总线设备 提供服务注册、服务响应、缓存、服务访问流量控制、服务会话监控与跟踪功 能;
云服务总线设备提供对服务访问的权限控制、可靠消息传输、提供负载的 后端真实服务访问端点;
云服务总线设备支持WS-Security,WS-Reliable Messaging,WS-Policy 等标准Web Service安全规范,提供服务层与方法层的细粒度控制、可靠消息 传输,以及支持故障转移的端点访问策略;
云服务总线设备支持对代理服务实施WS-*标准,支持故障转移、负载均衡; 通过外部负载均衡器及云服务总线设备的集群特性,实现服务访问的伸缩性,服 务的消息费者使用云服务总线设备上的服务,服务总线完成一系列任务(如: 用户身份认证、服务访问授权、消息内容校验/过滤等),最后将消息转换成真 实服务可处理的格式;
由云服务总线设备提供Load Balancing服务访问点,可轻松实现故障转移。
(7)服务API管理
按主题和单位提供服务API,为开发者提供风格统一、可层级式扩展的 RESTful能力接口,支持API的增、删、改、查;提供API调试功能,支持开发 者自行测试调用能力开放管理平台所提供的API接口,并查看相应的返回结果;
A、简要描述:提供API功能的简要描述,让用户明确API具体功能;
B、输入参数列表:提供清晰的输入参数列表,包括变量名称,变量类型, 描述,示例值;
C、返回结果列表:提供清晰的返回结果列表,包含名称,类型,描述;
D、输入示例:提供简单输入示例;
E、返回示例:提供简单返回示例;
F、异常编码:提供返回的异常编码对应表。
(8)服务质量评价统计
对外开放服务的质量直接影响数据的使用率及服务的价值,高质量的服务 不仅可以推进更多应用的产出还能带来更多的商业价值。如何评判服务的质量 呢?最好的答案就是用户在使用开放服务后对服务的评价和信息反馈。
通过统计用户对系统开放服务的质量评价,评选出服务质量高,数据质量 高的部门和单位,达到树立标杆和模范带头的作用。促进其他部门单位共同学 习和进步。
能力服务平台基于政务主题库发布权威、准确的信息共享资源,并针对各 级职能部门提供安全可靠,可灵活扩展的系统级能力服务,并提供全生命周期 目录注册管理能力。
所述数据开放的开放API包括:
(1)创建以及发布数据开放API
创建数据开放API,是将已有的开放数据服务,添加到数据开放API发布 门户的过程;在发布门户中,管理API的生命周期,编辑API的说明文档,配 置API的安全选项,查看API的订阅统计;
(2)订阅数据开放API
想要调用一个数据开放API,用户必须先在数据开放API集市对这个API进 行订阅操作;
API集市中有应用的管理,用户在应用下生成令牌;用户通过应用订阅API, 订阅完成后,使用该应用专属的令牌,就能对这个API进行调用了;
(3)使用集成的数据开放API控制台调用数据开放API
数据开放管理平台集成了Swagger UI,Swagger UI是Swagger项目的一部 分;
Swagger是一个完全开源的,标准的,与语言无关的规范,它是一个不需要 代理或者第三方服务的完整框架,用于描述、制作、调用和查看RESTful风格 的数据开放API。Swagger让消费者无需访问远程服务的源码,与服务的实现逻 辑进行最少的交互,就能理解服务的能力。跟接口描述较低别程序代码的方式 一样,Swagger有助于描述服务。
Swagger UI纯粹是基于HTML、JavaScript、CSS(且三者互不依赖)实现 的,用于从兼容Swagger的数据开放API动态生成文档。兼容Swagger的数据 开放API提供交互式文档、生成客户端SDK和更好的可发现性。Swagger UI采 用JSON代码格式,它的UI有易于缩进、高亮显示关键字、以及即时显示语法 错误的特点。
设计API时,可以使用Swagger UI给数据开放API添加资源参数、摘要以 及描述。测试调用API时,可以使用Swagger UI,输入查询参数,调用数据开 放API。
(4)使用可视化界面编辑数据开放API
创建API时,需要填写API定义。定义内容包含API的方法名、参数等。 这既可以在发布平台页面上,交互式地填写方法名、方法描述、参数名、参数 类型、是否必填等属性;也可以直接编辑Swagger代码,快速编写这些属性。
(5)添加数据开放API文档;
(6)管理数据开放API生命周期。
创建一个新的所述数据开放API可分为3步:
A、设计:确定API名称、版本、访问地址等基本信息,并添加API方法及 其参数的定义;
B、实现:配置API对应的数据服务的Endpoint地址,并配置安全选项;
C、管理:设置API的调用层级、调用协议、可调用范围;
除了手动填写创建新的API,还可以导入包含API定义的swagger文件来创 建API;此外,还可以使用数据服务的wsdl地址直接创建API。
所述添加数据开放API文档,具体为:
A、添加文档方法
数据开放API文档有助于数据开放API订阅者理解数据开放API的功能, 也让数据开放API发布者更好地推广数据开放API,从而保持竞争优势。使用数 据开放API发布者,可以从不同的来源添加不同类型的文档;数据开放API发 布者中创建的所有数据开放API的文档都有唯一的URLs,有助于提升对SEO的 支持;
数据开放API发布者支持的文档类型如下:
a、In-line(内嵌):托管在数据开放API发布者中的文档(使用说明,示 例,SDK,论坛等),允许在UI中直接编辑;
b、URL:链接到引用(URLs)的外部配置管理系统的文件;
c、File:允许直接上传文档到服务器;
B、添加全文索引
数据开放管理平台为它的数据开放API文档内容提供基于索引支持。它提 供了数据开放API发布者和服务目录的全文搜索功能,通过数据开放API文档 搜索,能查找文档和相关数据开放API;搜索语法是:“doc:关键字”;搜索规则 是在文档内容的词、短语中查找关键字,并返回匹配的文档和对应的数据开放 API;除了默认的索引器,还可以编写并注册自定义的索引器实现。
所述管理数据开放API生命周期,具体为:
A、创建一个新版本数据开放API
当希望改变已发布数据开放API的定义、认证机制、调用等级限制时,创 建数据开放API的新版本;不推荐修改有订阅者订阅的已发布的数据开放API;
创建一个新版本后,为了早期的推广通常将它部署为原型;原型不需要订 阅就可以测试,可与数据开放API已发布的版本并存;待新旧版本并存使用一 段时间之后,再将原型数据开放API发布,弃用旧版本;
B、部署并测试原型
创建一个数据开放API原型是为了早期的推广和测试;新的数据开放API 或已有数据开放API的新版本可以发布为原型。它给了订阅者此数据开放API 的一个早期实现,且不需要订阅和付费就可以试用,并可以提供反馈信息用于 改进数据开放API。一段时间后,发布者可以做一些调整并发布数据开放API。
C、发布新版本、弃用旧版本
发布数据开放API使其在数据开放API服务目录中可被订阅。如果创建了 多个租户,一个租户的数据开放API服务目录对其他租户是可见的。因此, 其他租户域的用户可以看见你所在租户域默认数据开放API服务目录中发布的 数据开放API。这有助于推广数据开放API,扩大受众范围。尽管未登录用户 可以浏览所有公开的数据开放API,但如果想订阅、调用它们,用户就必须登 录到有调用权限的租户域。
D、发布数据开放API到多个外部数据开放API服务目录
可以将数据开放API发布到本租户域以外的其他租户域的数据开放API服 务目录,让其他租户域中的应用开发者看见。这有助于集成数据开放API到一 个更高级别的平台上(比如省级开放平台、国家数据开放管理平台)。其他租户 域的订阅者可以浏览你的数据开放API,但是如果想要订阅那些数据开放API, 就需要访问原始发布者的数据开放API服务目录。这个功能默认是停用的。
E、通过多个数据开放API网关发布数据开放API
可以配置多个数据开放API网关环境发布到一个数据开放API服务目录。 这有助于分散数据开放API网关的负载到多个节点,并提供了与数据开放API 服务目录中的数据开放API的逻辑分离(例如production与sandbox)。一旦 通过多个网关环境发布数据开放API,该数据开放API服务目录中的数据开放 API将有不同的服务器主机和端口。
数据开放流程设计:
数据开放流程管理主要分为三种:第一种流程是数据主动开放流程,第二 种是以数据需求为导向的被动开放流程,第三种是开放问题数据(服务)处理 流程。
(1)数据主动开放流程:主要基于数据资源开放目录平台的可开放数据目 录和服务目录进行直接开放,是供给侧的数据供应单位基于自身的数据属性和 开放义务进行主动的数据开放。数据开放审核管理基于目录平台实现,主要是 开放目录的不开放、开放、条件开放的开放审核管理。
(2)以数据需求为导向的被动开放流程:从门户网站上公众提供的数据需 求反馈信息开始,然后是开放管理平台的需求评估和需求梳理,最后将需求下 发到数据参与的各职能部门,由部门最终确定是否开放或者回复开放时间和不 开放原因。
(3)开放问题数据(服务)处理流程:问题数据开放处理,需要对数据集 文件的完整性和原始性检测进行检查,发现数据问题后及时反馈到问题的相关 方,进行数据的重新处理、重新封装、重新发布。问题服务处理,需要分析数 据服务的可用性和稳定,及时反馈到数据服务生成和服务提供方,修改服务实 现,改善数据服务质量。
数据追溯流程设计
数据追溯流程中数据文件的数据更新方向是:数据采集、数据加工、数据 脱敏、数据封装、数据发布、数据下载;数据API服务则是:服务生成、服务 代理、资源编目、服务封装、服务发布、服务调用。
数据文件和API服务更新的数据都集中汇总到资源追溯监控库。
本实施例所述一种数据开放平台用到的关键技术如下:
一、节流策略技术
流量控制的级别有:
数据开放API级别的流量控制;
应用程序级别的流量控制;
资源级别的流量控制;
IP级别的流量控制;
1、数据开放API级别的流量控制
在创建数据开放API时,可以管理API的调用等级权限。根据订阅者选择 的等级,订阅者被授予相应的在一定时间段调用此数据开放API的最大请求数。
默认的等级如下所示:
Bronze(青铜):每分钟1个请求;
Silver(白银):每分钟5个请求;
Gold(黄金):每分钟20个请求;
Unlimited(无限制):允许无限次访问;
订阅者登录到数据开放API服务目录,只有订阅者属于允许访问的角色, 才可以使用指定的等级消费数据开放API。在数据开放API服务目录中,订阅者 看到一个基于订阅者的角色过滤后的等级列表,只有允许的该角色访问的等级 才会在页面展示出来。默认情况下,允许任何人访问所有等级。
2、应用程序级别的流量控制
应用程序是订阅数据开放API需要的,一个逻辑上的一个或多个数据开放 API的集合。应用程序允许你使用单一的访问令牌调用一个数据开放API集合, 以及使用不同的SLA级别多次订阅单个数据开放API。
应用程序可以以不同等级的服务提供给消费者。默认的流量控制等级如上 一节所述。例如,假如由于基础设施的限制,在一段时间内对一个应用程序的 请求数量不能超过一个确定的值,可以在节流层进行相应的设置,以便应用程 序可以在规定的时间内有最大请求数。
3、资源级别的流量控制
数据开放API由一个或多个资源组成。每个资源处理一个特定类型的请求, 类似于一个方法(函数)在一个更大的数据开放API中。资源级别的节流层是 在使用数据开放API发布者门户管理数据开放API时,设置到数据开放API的 资源的HTTP方法上的。
默认的流量控制等级是Gold,bronze,silver以及unlimited,如上一 节所述。当订阅者使用数据开放API服务目录查看数据开放API时,订阅者可 以查看资源级别的流量限制。
4、IP地址级别的流量控制
在基于IP的流量控制中,可以根据客户端IP限制请求数量(例如,限制 单个客户端在一段时间内最多调用10次)。
二、阻塞数据开放设计
数据开放API创建者阻塞一个数据开放API的订阅,是一种用来禁止访问 此数据开放API,管理数据开放API的使用和计费的方法。阻塞可以是暂时或永 久的。数据开放API被阻塞之后还可以取消阻塞。
阻塞数据开放API的订阅,也就是订阅者使用某个应用访问该数据开放API 被阻塞。如果订阅者使用一个应用订阅了两个数据开放API(数据开放API 1和 数据开放API2),其中数据开放API 1已经被阻塞。此时,订阅者可以使用该 应用调用数据开放API 2,但是却无法使用该应用调用数据开放API 1。另外, 订阅者可以继续使用其它应用访问数据开放API 1。
阻塞有两种级别:
阻止使用正式密钥和测试密钥访问数据开放API;
阻止使用正式密钥,只允许使用测试密钥访问。当需要修复和测试有问题 的数据开放API时有用。不阻塞所有访问,只是阻塞对生产环境的访问,以允 许开发者修复和测试数据开放API。
当数据开放API网关缓存被启用时(默认是启用的),即使阻塞了订阅, 调用者或许仍然可以访问数据开放API,直到缓存过期,缓存大约每15分钟就 会更新一次。
三、执行节流和资源访问策略
节流策略可以限制数据开放API在给定的时间段内可以被成功调用的次数, 通常是为了保护数据开放API免受安全攻击、避免后端服务过度使用,根据基 础设施的限制来调节流量以及为计费制定合理的规则。关于节流的详细信息请 查看“使用新的节流策略”一节中的内容。
四、中介流技术
数据开放API网关接收到数据开放API调用请求之后会使用一个默认的中 介流。可以扩展这个中介流,为该数据开放API网关中的此类消息做额外的自 定义处理。扩展是以Synapse中介序列的方式提供的。使用工具设计中介序列, 然后将它们存储到数据开放API网关的注册列表下。
然后,就可以在数据开放API中部署使用它们。
五、SOAP与JSON消息转换
数据开放API网关接收到数据开放API调用请求之后会使用一个默认的 中介流。可以扩展这个中介流,为该数据开放API网关中的此类消息做额外的 自定义处理。扩展以Synapse中介序列的方式提供。可以使用XX市信息资源 Developer Studio或其他工具设计中介序列,然后将它们存储到数据开放API 网关的注册列表下。
然后,就可以在数据开放API中部署使用它们。在自定义的序列中我们可 以根据需要转换消息类型。
六、脚本创建原型数据开放API
可以在数据开放API发布者中使用脚本创建数据开放API,并将其部署为 原型,在数据开放API服务目录中使用数据开放API Console调用该数据开放 API。使用内嵌脚本创建数据开放API通常是为了进行测试。
数据开放管理平台提供数据指数服务,可分为开放指数、访问指数两个模 块。开放指数用来表示政府数据开放程度(1-100%),指数越高开放程度越高, 开放指数以饼状图的形式展示数据开放指数。访问指数用来标识数据资源被访 问热度,访问指数通过数据列表展示月访问量前十名、下载量前十名等数据指 数信息。
一、数据开放API运行时指数统计
收集和分析数据开放管理平台的数据开放API运行时数据。从数据开放管 理平台发布数据使用的是Thrift协议。在BAM处理的信息存储在一个数据库, 数据开放API发布者从此数据库查询信息,然后显示到对应的UI界面。
如果使用不同于的平台来收集和分析运行时统计数据,可以继承数据开放 发布者写一个新的数据发布代理。可以在数据开放API_templates中找到数据 开放API模板。当编写新的数据发布代理时,请保证数据发布逻辑对数据开放 API调用的影响最小。
二、指数统计信息集成资源门户
数据开放管理平台支持与统计分析平台集成,跟踪数据开放API调用的运 行时指数信息,跟踪网站的访问和生成详细统计数据。
三、查看数据开放API指数
在数据开放API发布者和数据开放API服务目录中都提供了数据开放API 统计信息。除了每个数据开放API的订阅数量,所有其他的统计仪表盘都需要 一个已安装的实例。可以通过数据开放API发布者查看统计数据。
一种数据开放平台开放API服务安全,具体如下:
一、安全配置
1、配置传输层安全
支持多种传协议,使他们能够通过多种传输协议和应用层协议来接收和发 送消息。默认情况下都有HTTP传输协议。实现HTTP传输协议的传输接收程序 在Carbon中是可用的。传输发送程序的实现来源于中间件的HTTP连接器,配 置在<数据开放APIM_HOME>/repository/conf/tomcat/catalina-server.xml 文件中。
密钥库是一个存储构件的仓库,例如加密密钥和证书。这些构件用于加密 敏感信息,在服务器和连接到服务器的外部各方之间建立信任关系。
产品有一个默认的密钥库在生产环境中,推荐使用一个或更多的密钥库替 换它。
2、敏感密码安全
安全库的实现都是可用的,可以使用Cipher工具加密敏感信息,例如配置 文件中的密码。
3、启用JAVA安全管理
启用JAVA安全管理以防止不受信任的代码操纵系统。
二、使用JWT传输终端用户属性到后端
JSON Web Token(JWT)用来表示在两方之间传输的断言,例如终端用户和 后端。数据开放管理平台支持使用JWT传输信息,以及自定义JWT生成逻辑。
断言是用户的一个属性,映射到下层用户仓库中。它被编码为一个JSON(JavaScript Object Notation)对象,作为JWS(JSON Web Signature)的有 效负载结构,或作为JWE(JSON Web Encryption)的纯文本结构。这使得断言 能被数字签名。
一组断言被叫做方言(例,http://XX市信息资源.org/claims),JWT的 一般格式是:{token infor}.{claims list}.{signature}。数据开放API的实 现程序使用的信息(例如日志记录、内容筛选和认证、授权信息)存储在令牌 中。令牌是Base64编码的,在发送到数据开放API的实现程序的HTTP头部的 一个变量中。JWT是独立的,包含3个部分:头部、负载和签名,关于JWT的 更多信息请查看:
http://openid.net/specs/draft-jones-json-web-token-07.html#ancho r3。
为了认证终端用户,数据开放管理平台使用JWT传输数据开放API调用者 的属性到后端数据开放API的实现程序。在大多数生产环境中,都是通过数据 开放管理平台或代理服务进行服务调用的。如果在数据开放管理平台中启用JWT 生成,每个数据开放API请求都会携带JWT到后端服务。当请求通过数据开放 管理平台时,JWT作为传输协议头被附加到输出消息中。后端服务获取到JWT, 查询需要的关于用户、应用或令牌的信息。
三、加密安全的端点密码
当使用数据开放API发布者创建数据开放API时,在设置数据开放API后 端实现端点的Implement标签页下。如果选择了安全的端点,系统会提示在文 本框中输入访问端点的凭证。支持对输入的访问端点的凭证进行安全处理。
四、维护登录密码
支持以下功能:
修改超级管理员密码;
找回密码;
使用用户的多个属性登录;
配置一级和二级登录;
配置Email登录
配置社交媒体账户登录。
五、保存访问令牌
支持配置数据开放管理平台实例,根据它们的用户仓库域存储访问令牌到 不同的表中,这被称为用户令牌分区(user token partitioning),当在系统 中配置了多个用户仓库时,它可以确保更好的安全性。
六、配置IS作为令牌管理
令牌管理处理所有客户端的安全以及访问令牌相关的操作。支持配置 IdentityServer作为数据开放管理平台中的令牌管理。
七、配置第三方令牌管理
令牌管理,处理所有客户端的安全以及访问令牌相关的操作。数据开放管 理平台在典型的生产环境中部署,不同的组件连接到令牌管理组件执行不同的 任务。数据开放API网关连接到令牌管理检查订阅和调用数据开放API的 OAuth令牌的有效性。当订阅者使用数据开放API服务目录为应用生成一个访 问令牌时,服务目录发送消息到数据开放API网关,网关再连接到令牌管理创 建一个OAuth应用并获得一个访问令牌。验证令牌流程类似,数据开放API网 关调用令牌管理,令牌管理从数据库中读取并验证该令牌的详细信息。
令牌管理,解耦了OAuth客户端和访问令牌管理之间的业务操作,所以可 以插入第三方OAuth提供程序来管理OAuth客户端和访问令牌。需要编写一个 令牌管理实现,来连接第三方OAuth提供程序和数据开放管理平台。
一种数据开放平台的云服务总线,具体如下:
一、技术概述
云服务总线工程技术的研究解决了云资源共享、云服务整合、异构系统之 间互联互通、消息格式繁多难以统一等问题。同时开发了一款基于软硬件结合 的、适用于私有云、公共云、区域云的云技术中间件产品,它是基于高档的、 工业级、嵌入式设备之上的一款服务容器,利用云服务总线可方便、高效地搭 建智慧城市的中枢神经系统,可广泛应用于智慧城市、智慧政府、大部制应用 整合于资源共享、局域SOA\WOA、广域SOA\WOA领域。
二、技术架构
云服务总线主要要面向SOA以及WOA应用领域。提供快速响应,高吞吐量, 高可靠性消息中介引擎、和服务中介引擎。同时云服务总线还支持事件发布与 订阅,支持DB2、Oracle、MSSQL、MySQL、H2等主流关系数据库访问,支持将 数据库存储过程暴露成服务,提供服务动态发现(WS-Dicovery规范)等。云服务 总线提供强大的服务整合和服务综合治理功能。云服务总线的安全策略设计依 据当前国家关于信息安全方面的法律、法规和标准,当然也参考并遵从了主流 的信息技术安全标准。并使用差异化云云安全国际标准作基本框架,实现安全 管理准则的整合。
云服务总线支持的web服务标准主要包括:SOAP 1.1、SOAP 1.2、 WS-Addressing、MTOM(Attachments)、WS-Eventing、WS-Transfer、WS-Security、 WS-ReliableMessaging、WS-Coordination、WSDL 2.0、WS-Policy、 WS-MTOMPolicy、WS-Discovery;JAX-RS。
云服务总线支持的主流消息传输协议包括:HTTP/HTTPS、HTTP-NIO /HTTPS-NIO、MAIL、JMS、VFS、TCP/UDP、FIX。
云服务总线能处理的消息格式包括:SOAP1.1/SOAP1.2,POX/REST,Text, Binary。
云服务总线的中介引擎由代理服务、端点、时序组成。由任务调度来启动 和管理云服务总线的任务作业。云服务总线同时提供被中介引擎使用的注册和 存储库的接口。云服务总线部署在实际的客户端和后端服务实现之间来协调两 者之间的消息流。云服务总线提供身份验证、消息转换、日志记录、基于内容 的路由等功能,云服务总线支持消息传输失败时引入消息节流和消息缓存机制, 当高并发访问时云服务总线支持集群部署和负载均衡。针对故障场景,如身份验 证失败,或模式验证失败,云服务总线支持配置自定义消息返回给服务调用客户 端。而不需要转发给实际的服务。
云服务总线是解决政府业务应用集成、异构系统之间互联互通、消息格式 繁多难于统一等问题时所开发的产品。它是高档的一款服务容器,利用cBus可 方便、高效地搭建政府SOA应用体系。
云服务总线所支持的web服务标准主要包括:SOAP 1.1、SOAP 1.2、 WS-Addressing、MTOM(Attachments)、WS-Eventing、WS-Transfer、WS-Security、 WS-ReliableMessaging、WS-Coordination、WSDL 2.0、WS-Policy、 WS-MTOMPolicy、WS-Discovery;JAX-RS。
云服务总线支持的主流消息传输协议包括:HTTP/HTTPS、HTTP-NIO /HTTPS-NIO、MAIL、JMS、VFS、TCP/UDP、FIX。
云服务总线能处理的消息格式包括:SOAP1.1/SOAP1.2,POX/REST,Text, Binary。
三、服务中介与代理
云服务总线能为后端真实服务提供虚拟服务——代理服务以供前端服务消 费者享受服务,同时隐藏了真实服务的具体发布位置;cBus提供服务编排功能, 能将几个服务的编排逻辑定制为时序(sequence)以供内部处理。
其中Message builder负责将服务请求构建为消息模型,Message formatter 负责将消息模型转换为真实服务协议能识别的消息格式。
四、存储过程服务化
云服务总线的强大的功能,使得它不仅支持传统的“服务请求——服务调 度”模式,同时也能出色地支持也支持“事件感知——服务调度”模式。整个 存储过程都是以服务的方式进行存储。
五、消息处理;
六、服务消息进行分割、聚合和格式转换
云服务总线提供基于Rule的消息路由和Content的消息路由功能以及提供 组件对消息进行分割、聚合和格式转换功能。
七、事件中介
云服务总线提供事件的发布与订阅功能支持基于EDA架构的应用集成特别 适合对实时性要求较高的应用。TYKY cBus云服务总线提供对事件的感知功能, 并通知事件的订阅者完成服务调度。TYKY cBus云服务总线还可对事件消息进行 格式转换、分割等功能。
云服务总线的强大消息中介功能,使得它不仅支持传统的“服务请求—— 服务调度”模式,同时也能出色地支持也支持“事件感知——服务调度”模式。
在云服务总线中,事件发布者发布事件(请求)到事件源,由事件代理服 务流程中的分派事件组件负责通知事件订阅者。为事件代理服务与与订阅者之 间建立可靠消息传输通道。
八、任务调度
云服务总线采用调度框架执行一些内部comand或外部comand的功能。例 如云服务总线允许将一些繁重的任务作为批处理任务放在特定时段完成。以提 高服务器的吞吐量。
九、服务代理
云服务总线提供服务注册、服务响应缓存、服务访问流量控制、服务会话 监控与跟踪等功能。
十、服务Qos
云服务总线提供对服务访问的权限控制、可靠消息传输、提供负载衡的后 端真实服务访问端点。
云服务总线支持WS-Security,WS-ReliableMessaging,WS-Policy等标准 WebService安全规范,并提供服务层与方法层的细粒度控制。提供可靠消息传 输与以及支持故障转移的端点访问策略。
云服务总线支持对代理服务实施WS-*标准,支持故障转移服务端点,支持 负载均衡服务端点。
十一、负载均衡服务集群
通过外部负载均衡器及云服务总线的集群特性轻易实现服务访问的伸缩 性。
一种数据开放平台的云服务生成器,具体描述如下:
一、云服务生成设计
云服务生成器是一款符合SOA架构思想,用于发布生成并运行基础源 Service服务的中间件产品。它既是开发工具,也是容器。作为开发工具,服务 生成器能根据用户业务的不同,灵活、快速地生成和发布标准遵循JAX-WS和 JAX-RS等规范的Service服务,真正意义意义上的零编码开发工具。作为容器 服务生成器能稳定和高效地运行Service服务,提供高并发访问和请求。
二、服务生成
(1)webservice服务:
本模块是cGen Server的核心,,其支持多种方式生成服务,比较灵活。此 外,其能适应多种复杂场合,为用户简便快速地发布服务,大大提高效率。
(2)添加数据源:
数据源,虽然一个服务可以配置多个数据源,但是推荐不要那样做,这会 让服务很臃肿,还是把规范放在第一位。
在localhostMysql详细配置页面,我们这里选择的是系统全局的数据源(参 看3:数据源),其实也可以选择其他方式,如以下第二个图,之所以生产环境 中选择系统全局数据源,是为了减少系统开销,实现资源共享。
(3)SOAP和REST两种生成方式方式:
SOAP和REST是两种不同形式的webservice,配置了SOAP就不要配置REST, 配置REST就不要配置SOAP。Resource资源,配置和声明REST形式webservice, 暴露资源。
三、统计监控
提供方便的可视化监控功能,方便用户了解当前系统运行状况,增强健壮 性。
(1)统计监控
从总体上显示系统当前运行状态,主要有以下几个方面:webservice的响 应时间、系统jvm内存分配及使用、系统运行时间和服务调用统计等。
(2)服务统计监控
服务调用次数统计(包括失败次数)和响应时间显示(实时图表)。点击页 面上的“operations”,更是可以精确到服务方法调用和时间的统计。
四、数据恢复
目标数据被损坏或被误删,可以通过暂存在交换系统中的数据进行恢复。
由断电或网络中断等原因导致的数据传输中断,在通电恢复或网络状况恢 复后,能自动完成数据续传。
交换系统能根据配置的规则判断异常数据,并对这些异常值做移除或映射 处理。
一次数据交换完成后,接收端前置节点会对交换数据的完整性进行校验, 并向发送端前置节点反馈校验结果。
五、服务治理
云服务生成器提供服务注册、服务响应缓存、服务访问流量控制、服务会 话监控与跟踪等功能。
六、开放服务生成配置
作为开发工具,服务生成器能根据用户业务的不同,灵活、快速地生成和 发布标准遵循JAX-WS和JAX-RS等规范的Service服务,提供一下服务生成配 置
安全配置
安全性,支持HTTPS、IP过滤、用户验证和证书密钥等。
(2)响应输出缓存配置。
(3)调用协议配置。
发布标准遵循JAX-WS和JAX-RS等规范的Service服务
(4)功能增强模块配置,如寻址和安全策略等。
(5)访问控制配置,如限制IP和限制调用次数等。
(6)服务在线测试。
所述数据资源开放目录体系,介绍如下:
一、概述
梳理流程概述
对数据资源采取目录管理模式,有利于市政府领导和各委办局全面了解和 利用全市数据资源和数据开放服务。目录主要用来管理两类资源:数据资源和 服务资源。数据资源是指从各个委办局的采集的元数据。服务资源是指可以重 用的能完成数据开放应用数据,包括用服务生成器生成的服务和委办局提供的 接口服务。
数据资源目录的内容包括:产生该数据资源的部门、业务系统、相关业务 (参照权责清单),该数据资源的名称(中文说明,英文名称)、包含的各指标 项(中文说明,英文名称,数据类型和大小,公开方式等)、分类、编码、更新 周期等。
对目录分级管理,分级包括无条件公开、有条件公开、不公开;并对数据 内容进行分类管理,包括主题分类、行业分类、服务分类、标签维度。
系统管理用户可以管理系统内的数据资源目录和数据服务目录,包括查询、 批准并发布、拒绝等操作,指定各部门要求报送的资源目录,更新市数据资源 目录并管理其订阅、发布状态,对数据资源目录的统计分析(发布、订阅、审 批、拒绝等情况)。
1、数据资源目录架构
数据资源目录是指对政府数据资源分类后,按照一定的次序编排而成的数 据资源列表,便于数据资源共享开放的检索、定位与发现。
根据对数据资源使用的方向,进一步细分数据资源目录的层次:
委办局数据资源目录:指政府部门内部的数据目录,是对业务部门所经办 的业务过程中,产生的数据或者收集的数据的目录。其中有些是涉及国家机密 或涉及个人隐私,有些是可在内部共享的数据,还有些是可对公众开放的数据。
交换数据资源目录:指政府内部各部门之间用来做共享交换的目录,通过 订阅、审批、服务提供等流程,实现政府内部数据资源之间的共享,使政府内 部各部门之间的数据不再成为壁垒。该目录可通过预先定义的数据等级,决定 是否对公众提供服务。
开放数据资源目录:指可对公众提供数据服务的数据目录。包括政务信息 公开的数据、委办局的公开明细数据等。
共享数据资源目录:指通过订阅、汇聚数据交换共享平台中的数据目录(数 据),对这些数据进行抽象、整理、加工,形成的数据模型,例如国家基础数据 库的人口基础信息库、法人单位基础信息、自然资源和空间地理基础信息库、 宏观经济信息数据库,以及为专业领域设计的模型库,例如信用库、交通库、 环境库等各类主题库的资源目录。数据资产库形成后,它的数据资产目录也可 通过数据交换共享平台对其它部门提供数据服务。
本项目在数据资源目录的工作范围是协助委办局梳理形成各委办局的数据 资源目录并形成数据开放资源目录。具体服务内容是:
提供数据资源目录梳理工作流程指南以及一系列模板、表单,便于各委办 局完成梳理工作,统一的产出物有助于项目组统一整理合并,形成全市数据家 底;
提供梳理过程的疑难解答,并向信息产业中心汇报整体梳理工作进度;
对各委办局的梳理产出物做质量评估,协助委办局进一步完善数据资源目 录;
形成数据开放所需要的数据资源目录;
2、数据服务目录架构
数据服务目录是指可以重用的能完成数据开放应用数据,包括用服务生成 器生成的服务和委办局提供的接口服务。
数据服务目录在用户端体现为整体统一的数据服务列表,但是根据底层物 理的分布类型,区分为集中式数据服务目录和分布式数据服务。
集中式数据服务目录是数据通过数据交换共享平台,数据物理存储在本系 统的中心数据库中,通过数据服务组件封装而成的数据服务清单。
分布式数据服务目录是数据未通过数据交换共享平台,而是直接通过部署 于各委办局业务系统中的数据服务组件,而产生的数据服务清单。
开放数据服务目录是两类数据服务目录的并集,为用户提供统一完整的开 放数据服务清单。
二、数据目录梳理与编制
数据目录的编制是一项长期持续的工作,具备一定的规范性与技术专业性, 需要业务人员与技术人员一同根据实际发生业务产生的信息,定义实际信息化 系统或者手工台账中存储的信息,按照统一的规范语言对这个信息进行描述, 最后按一定的规则对描述进行编排。其中规范的语言是指元数据标准,本项目 遵循DB52-T_1124元数据描述规范;规则是数据编目标准,本项目遵循 DB52-T_1125编制工作指南。
三、数据编目
完成调研工作后,需要对调研的成果进行整理,将一些杂乱的材料整理成 可用的资源目录。
在整理资源目录的过程中,可能需要被调研方提供技术性的数据字典或数 据库环境的访问方式,然后调研组人员与被调研方的资源目录维护人员一起对 原始数据字典进行比对,整理,形成最终标准的数据资源目录。
调研整理阶段是一个比较繁琐的过程,因为它需要把一些描述性的材料, 整理成标准的,结构化的资源目录。这些过程需要调研小组人员耐心带领被调 研方的相关人员一起合作完成,并且能把过程中使用的技术或思路教给被调研 方的相关人员,以便他们能对自身的数据资源目录进行动态维护。
数据资源目录梳理从两个维度进行梳理:
a)纵向整理是把分散在下级处室的数据资源汇总成总体数据资源目录,这 个过程是从下到上、逐级进行的;
b)横向整理是从内容上整理,先整理业务,再整理数据。对业务信息进行 分类汇总融合等处理,对数据进行合并同类项、确定责任方等处理。
1、数据目录的形成
将业务和资源调查表中业务事项名称和资源名称先从各处室业务和资源调 查情况进行汇总,再梳理成数据目录列表。
2、数据子目录的形成
将业务和资源调查表中业务子项和资源子项先从各处室业务和资源调查情 况进行汇总,再梳理成数据子目录列表。
3、元数据目录的形成
将业务和资源调查表中中文名称、共享类型、数据类名称、字段名称、定 义、值域、备注等调查的资源先从各处室业务和资源调查情况进行汇总,再梳 理成数据元目录列表。
4、数据脱敏规则制定
(1)敏感数据的发现
为了有效开展数据脱敏工作,必须对组织所拥有的数据进行梳理和分类, 建议将数据分为高度敏感数据、中度敏感数据和非敏感数据;同时,组织机构 需首先分析建立完整的敏感数据位置和关系库,确保数据脱敏工作能够充分考 虑到必须的业务范围、脱敏后数据对原数据业务特性的继承(如保持原数据间 的依赖关系)。
基于敏感数据分类分级制度,一方面建立有效的数据发现手段,在组织机 构完整的数据范围内查找并发现敏感数据;另一方面明确敏感数据结构化或非 结构化的数据表现形态,如敏感数据固定的字段格式。
在敏感数据发现过程中,可关注以下事项:
a)定义数据脱敏工作执行的范围,在该范围内执行敏感数据的发现工作。
b)通过数据表名称、字段名称、数据记录内容、数据表备注、数据文件内 容等直接匹配或正则表达式匹配的方式发现敏感数据;
c)考虑数据引用的完整性,如保证数据库的引用完整性约束;
d)数据发现手段应支持主流的数据库系统、数据仓库系统、文件系统,同 时应支持云计算环境下的主流新型存储系统;
e)尽量利用自动化工具执行数据发现工作,并降低该过程对生产系统的影 响;
f)数据发现工具具有扩展机制,可根据业务需要自定义敏感数据的发现逻 辑;
g)固化常用的敏感数据发现规则,例如身份证号、手机号等敏感数据的发 现规则,避免重复定义数据发现规则。
(2)标识敏感数据
组织在通过业务梳理发现了敏感数据之后,需要对敏感数据进行标识,包 括标识敏感数据的位置、敏感数据的格式等信息,以便后续对敏感数据的访问、 传输和处理进行跟踪和监督。
敏感数据的标识方法应该确保敏感数据标识信息能够随敏感数据一起流 动,并不易于删除和篡改,从而可以对敏感数据进行有效跟踪,以确保敏感数 据的安全合规性。
在标识敏感数据时,可关注以下事项:
a)应该尽早在数据的收集阶段就对敏感数据进行识别和标识,这样便于在 数据的整个生命周期阶段对敏感数据进行有效管理;
b)敏感数据的标识方法必须考虑到便捷性和安全性,使得标识后的数据很 容易被识别,同时,要确保敏感数据标识信息不容易被恶意攻击者删除和篡改;
c)敏感数据的标识方法应支持静态数据的敏感标识以及动态流数据的敏 感标识。
(3)脱敏规则的定义
在对标识后的敏感数据进行脱敏前,应首先确定脱敏方法,可选的数据脱 敏方案包括静态数据脱敏和动态数据脱敏。不同的数据脱敏方案对数据源的影 响不同,脱敏的时效性也不一样。脱敏方案确定后,就可以选择对应的数据脱 敏工具。
针对组织机构内已识别和标识出的敏感数据,组织机构需建立敏感数据在 相关业务场景下的脱敏规则。在敏感数据生命周期识别的基础上,明确存在数 据脱敏需求的业务场景,并结合行业法规的要求和业务场景的需求,制定相应 业务场景下有效的数据脱敏规则。
在该过程中,可关注以下事项:
a)识别组织机构业务开展过程中应遵循的个人隐私保护、数据安全保护等 关键领域国内外法规、行业监管规范或标准,以此作为数据脱敏规则必须遵循 的原则;
b)对已识别出的敏感数据执行生命周期(产生、采集、使用、交换、销毁) 流程的梳理,明确在生命周期各阶段,用户对数据的访问需求和当前的权限设 置情况,分析整理出存在数据脱敏需求的业务场景。例如,在梳理过程中,会 发现存在对敏感数据的访问需求和访问权限不匹配的情况(用户仅需获取敏感 数据中部分内容即可,但却拥有对敏感数据内容全部的访权限),因此该业务场 景存在敏感数据的脱敏需求;
c)进一步分析存在数据脱敏需求的业务场景,在“小够用”的原则下明确 待脱敏的数据内容、符合业务需求的脱敏方式,以及该业务的服务水平方面的 要求,以便于脱敏规则的制定;
d)数据脱敏工具应提供扩展机制,从而让用户可根据需求自定义脱敏的方 法;
e)通过数据脱敏工具选择数据脱敏方法时,脱敏工具中应对各类方法的使 用进行详细的说明,说明应包括但不限于规则的实现原理、数据引用完整性影 响、数据语义完整性影响、数据分布频率影响、约束和限制等,以支撑脱敏工 具的使用者在选择脱敏方式时做出正确的选择;
f)应固化常用的敏感数据脱敏规则,例如身份证号、手机号等的常用脱敏 规则,避免数据脱敏项目实施过程中重复定义数据脱敏规则。
5、对数据进行分级
政府数据分级应充分考虑政府数据对国家安全、社会稳定和公民安全的重 要程度,以及数据是否涉及国家秘密、用户隐私等敏感信息。应考虑不同敏感 级别的政府数据在遭到破坏后对国家安全、社会秩序、公共利益以及公民、法 人和其他组织的合法权益(受侵害客体)的危害程度来确定政府数据的级别。
政府数据的分级由数据的敏感程度划分,分为公开数据、内部数据、涉密 数据。
政府数据的分级结果是数据开放和共享的依据。分级结果将确定该类型政 府数据是否适合开放和共享、数据开放和共享的范围,以及在对该级别政府数 据进行开放和共享前是否需要脱密和脱敏(包括逻辑数据运算等处理方式)处 理等。质量评估
数据目录编制的质量决定了后续共享交换过程中的数据加工质量,并会影 响所有的后续应用,包括数据开放,数据共享。因此数据质量应从数据编目的 源头抓起。
6、编目工作整体评估
数据编目工作本身是一项系统工程,包括组织协调、工作执行过程、内容 质量等方面。
7、编目质量检测方法
数据目录质量检测的方式为分基础编目检测与样本数据检测。
基础检测是根据所有提交的结构化文档,进行文档内容检测。常规的检测 内容包括文档格式的变化,单元格内容的规范。
样本数据检测是在提供样本数据的基础上,通过数据探查的方式,分析样 本数据的格式和内容,与所提供数据编目的一致性检测。
8、编目质量评估方法
编目质量的评估目的是给各委办局建立编目质量标准,方便各委办局比较 各自编目工作进展与效率。
质量评估的结果以一个最终分值体现,这个分值的计算由三方面内容构成: 数据编目的覆盖度、数据编目表格的填写规范度、样本数据检测情况。
数据编目的覆盖度是根据行业数据开放现状、以及权力清单初步筛选出来 的数据项目内容为分母,委办局实际编目数据项目内容为分子,两者的比较得 出的覆盖度;
数据编目表格填写规范度是通过项目组定义的数据调研模板,其模板中定 义了各数据单元格填写的规范,通过计算各单元格的不规范列数与模板列数的 占比,不规范记录数与总记录数的占比,计算得出的填写规范度;
样本数据检测情况是样本数据不符合编目内容规范的数量,以数据项目数 为分母,不符合的数量为分子,两者之间的比值。
三个质量评估的指标,通过一定的权重,从而计算出单个委办局在一次数 据编目中完成的质量评分。
9、编目质量的改进
委办局可以根据评估评分的内容,发现失分的项目,列出失分清单,然后 针对失分项逐一进行完善。同时对争议内容与项目组进行沟通协商。
10、开放数据目录的编制
在各委办局梳理完成的数据资源目录结果之上,筛选出分级结果为公开数 据和内部数据的数据目录,编制成为数据开放目录。政府数据开放目录是描述 政府数据资源各种属性和特征数据的基本集合,包括政府数据资源的内容信息 (例如摘要、分类等)、管理信息(例如负责单位等)、获取方式信息(例如在线获 取方式、离线获取方式等)。通过政府数据资源核心元数据的描述,政府数据资 源目录使用者(以下简称“使用者”)能够准确地了解和掌握信息资源的基本概 况,发现和定位所需要的政府数据资源。
基于数据开放资源目录,汇编开放资源的服务访问地址、访问形式、接口 标准等,按照数据资源目录编制的分类方法,形成数据开放服务目录结构,并 形成数据开放服务目录。
在查找信息资源的过程中,从不同的角度来看,使用者对政府数据资源的 分类方式也会不同。因此,相同的政府数据资源核心元数据按照不同的分类标 准或者分类方式排列,在表现上形成了不同的目录树结构。利用政府数据资源 开放目录体系相关的工具软件、中间件、应用系统等技术平台,建立面向特定 主题领域的信息资源目录,并按照具体政府数据资源对象的不同以及粒度上的 区别,采用不同的应用模式进行建设。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替 代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (10)

1.一种数据开放平台,其特征在于:包括数据开放门户、数据开放管理平台、开放数据库、数据资源开放目录体系;其中,
数据开放门户,用于实现公共数据集开放中,针对公众提供数据申请、审批、利用、分析的系列功能集,建立统一大数据利用平台;
数据开放管理平台,通过数据开放门户向全市各职能部门和公众提供大数据中心的数据共享目录,职能部门和公众根据自己的需要,在数据开放门户上浏览和查询共享数据目录,找到需要的数据后,对其发起申请,由数据管理人员对申请信息进行审核,审批通过后,各职能部门和公众可根据自身需求,同步数据到自己数据库或者生成数据调用接口,以供职能部门和公众进行数据的调用,完成辅助其系统或者查看的功能;
开放数据库,通过服务总线进行集中管理,加上直接提供数据开放接口的数据,由服务目录进行统一编目,实现数据服务开放;
数据资源开放目录体系,对数据资源采取目录管理模式。
2.根据权利要求1所述数据开放平台,其特征在于:所述数据开放管理平台是政府通过集中式数据开放和分布式数据开放最终推送到数据开放门户网站的技术支撑;
所述集中式数据开放用于实现对集中在开放数据库的数据进行集中对外开放:
(1)对存放在数据共享库的数据基于开放和脱敏规则进行数据集中脱敏;
(2)开放数据库的数据资源基于ETL工具进行数据集文件的封装,文件封装支持多种可机读数据格式;
(3)共享数据库数据更新检查、开放数据库数据更新检查,以及更新数据的自动同步;
所述分布式数据开放是分布在政府各部门的各种技术规范的数据服务,通过云服务总线进行统一的注册和管理:
(1)基于服务代理机制,将原生服务隐藏,保障原生服务安全;
(2)通过云服务总线丰富的功能对代理的服务进行统一的管控和安全加固;
(3)通过开放管理服务API Manager将总线上的代理进行标准化封装,发布成标准的符合调用规范的可用API服务;
(4)标准化API服务:API管理工具使用的Web终端用户界面,用于生成、发布、管理、监控API;API管理工具将不同规则、不同架构提供的API实现统一描述、统一管理等功能提供通用功能集整合和复用;API同时也是一种中间件,为各种不同平台提供数据共享;API提供API密钥及应用安全政策、令牌身份验证、速率限制和配额保护;API提供版本管理、生命周期管理;API提供收集API文档、API的性能、质量、使用情况的评估、评价API,并分享评论。
3.根据权利要求1所述数据开放平台,其特征在于:所述数据开放管理平台是基于开放数据库,依托数据共享服务总线,基于服务封装和数据封装技术,将数据封装成服务接口,依托数据ETL服务将数据集生成可机读数据文件;开放管理层控制资源开放的最终形式和流程;用于完成资源数据集可机读处理和服务API封装以及发布流程管理;资源数据集封装要解决资源在线可机读性的问题;API封装实现资源可规范调用的问题;数据开放管理层还保障数据开放的所有质量和安全问题。
4.根据权利要求1所述数据开放平台,其特征在于:所述数据开放管理平台包含一套完整的对外开放数据服务体系,包括数据申请处理模块、数据开放核准和需求反馈管理、数据脱敏处理、数据质量控制、开放粒度管理、数据服务生成、数据服务管理、服务API管理、服务质量评价统计等功能模块。
5.根据权利要求1所述数据开放平台,其特征在于:所述数据开放的形式包括数据文件类型和数据API服务类型;所述数据文件类型包括xls、xml、csv和json;所述API服务类型包括API接口描述、错误参照码、请求限制、示例代码。
6.根据权利要求1所述数据开放平台,其特征在于:所述数据开放管理平台,其数据开放环节如下:
(1)数据需求处理;
数据的开放结果分一次性开放和逐步开放;
数据开放管理平台能够处理用户从数据开放门户网站提交的数据申请需求,数据申请内容包含用户的身份、申请的数据类型、申请的数据用途、申请时间;管理员将申请信息提交给相关的部门单位,等待需求审核和答复;
(2)数据开放审批
受理信息公开申请的有关部门或者数据提供单位,对数据申请的需求进行审核,将审核结果返回给用户;
(3)数据脱敏处理
将数据通过一定的算法变成另一种样式,而这种样式是可读的,并且与元数据是同一类的;
(4)数据质量控制
通过异构云桥进行数据清洗、数据比对来完成对数据的质量控制;
(5)数据服务生成
服务生成工具基于SOA/WOA架构思想设计,提供用于发布生成并运行基础源Sercice服务的中间件产品;它既是服务生成工具,也是服务容器;作为服务生成工具,云服务生成工具能根据用户业务的不同,灵活、快速地生成和发布标准遵循JAX-WS和JAX-RS等规范的REST和SOAP服务,真正意义上的零编码开发工具;作为服务容器,云服务生成工具能稳定和高效地运行Sercice服务,提供高并发访问和请求;
云服务生成流程主要经过四个阶段分别是:资源加载——资源对象化——服务定义——服务发布;云服务生成工具同时为生成的服务提供安全模块、可靠消息模块、服务事件模块和服务云端寻址模块;云服务生成主要采用了AXIOM对象模型和DSDL文档规范来定义资源的属性和操作方法;
(6)数据服务管理
数据开放管理平台依托云服务总线对开放服务进行管理,云服务总线设备提供服务注册、服务响应、缓存、服务访问流量控制、服务会话监控与跟踪功能;
云服务总线设备提供对服务访问的权限控制、可靠消息传输、提供负载的后端真实服务访问端点;
云服务总线设备支持WS-Security,WS-Reliable Messaging,WS-Policy等标准WebService安全规范,提供服务层与方法层的细粒度控制、可靠消息传输,以及支持故障转移的端点访问策略;
云服务总线设备支持对代理服务实施WS-*标准,支持故障转移、负载均衡;通过外部负载均衡器及云服务总线设备的集群特性,实现服务访问的伸缩性,服务的消息费者使用云服务总线设备上的服务,服务总线完成一系列任务,最后将消息转换成真实服务可处理的格式;
由云服务总线设备提供Load Balancing服务访问点,可轻松实现故障转移;
(7)服务API管理
按主题和单位提供服务API,为开发者提供风格统一、可层级式扩展的RESTful能力接口,支持API的增、删、改、查;提供API调试功能,支持开发者自行测试调用能力开放管理平台所提供的API接口,并查看相应的返回结果;
(8)服务质量评价统计
通过统计用户对系统开放服务价。
7.根据权利要求1所述数据开放平台,其特征在于:所述数据开放的开放API包括:
(1)创建以及发布数据开放API
创建数据开放API,是将已有的开放数据服务,添加到数据开放API发布门户的过程;在发布门户中,管理API的生命周期,编辑API的说明文档,配置API的安全选项,查看API的订阅统计;
(2)订阅数据开放API
想要调用一个数据开放API,用户必须先在数据开放API集市对这个API进行订阅操作;
API集市中有应用的管理,用户在应用下生成令牌;用户通过应用订阅API,订阅完成后,使用该应用专属的令牌,就能对这个API进行调用了;
(3)使用集成的数据开放API控制台调用数据开放API
数据开放管理平台集成了Swagger UI,Swagger UI是Swagger项目的一部分;
Swagger是一个完全开源的,标准的,与语言无关的规范,它是一个不需要代理或者第三方服务的完整框架,用于描述、制作、调用和查看RESTful风格的数据开放API;Swagger让消费者无需访问远程服务的源码,与服务的实现逻辑进行最少的交互,就能理解服务的能力;跟接口描述较低别程序代码的方式一样,Swagger有助于描述服务;
Swagger UI纯粹是基于HTML、JavaScript、CSS(且三者互不依赖)实现的,用于从兼容Swagger的数据开放API动态生成文档;兼容Swagger的数据开放API提供交互式文档、生成客户端SDK和更好的可发现性;Swagger UI采用JSON代码格式,它的UI有易于缩进、高亮显示关键字、以及即时显示语法错误的特点;
设计API时,可以使用Swagger UI给数据开放API添加资源参数、摘要以及描述;测试调用API时,可以使用Swagger UI,输入查询参数,调用数据开放API;
(4)使用可视化界面编辑数据开放API
创建API时,需要填写API定义;定义内容包含API的方法名、参数;这既可以在发布平台页面上,交互式地填写方法名、方法描述、参数名、参数类型、是否必填等属性;也可以直接编辑Swagger代码,快速编写这些属性;
(5)添加数据开放API文档;
(6)管理数据开放API生命周期。
8.根据权利要求7所述数据开放平台,其特征在于:创建一个新的所述数据开放API可分为3步:
A、设计:确定API名称、版本、访问地址等基本信息,并添加API方法及其参数的定义;
B、实现:配置API对应的数据服务的Endpoint地址,并配置安全选项;
C、管理:设置API的调用层级、调用协议、可调用范围;
除了手动填写创建新的API,还可以导入包含API定义的swagger文件来创建API;此外,还可以使用数据服务的wsdl地址直接创建API。
9.根据权利要求7所述数据开放平台,其特征在于:所述添加数据开放API文档,具体为:
A、添加文档方法
使用数据开放API发布者,从不同的来源添加不同类型的文档;数据开放API发布者中创建的所有数据开放API的文档都有唯一的URLs,有助于提升对SEO的支持;
数据开放API发布者支持的文档类型如下:
a、In-line:托管在数据开放API发布者中的文档,允许在UI中直接编辑;
b、URL:链接到引用的外部配置管理系统的文件;
c、File:允许直接上传文档到服务器;
B、添加全文索引
通过数据开放API文档搜索,能查找文档和相关数据开放API;搜索语法是:“doc:关键字”;搜索规则是在文档内容的词、短语中查找关键字,并返回匹配的文档和对应的数据开放API;除了默认的索引器,还可以编写并注册自定义的索引器实现。
10.根据权利要求7所述数据开放平台,其特征在于:所述管理数据开放API生命周期,具体为:
A、创建一个新版本数据开放API;
当希望改变已发布数据开放API的定义、认证机制、调用等级限制时,创建数据开放API的新版本;不推荐修改有订阅者订阅的已发布的数据开放API;
创建一个新版本后,为了早期的推广通常将它部署为原型;原型不需要订阅就可以测试,可与数据开放API已发布的版本并存;待新旧版本并存使用一段时间之后,再将原型数据开放API发布,弃用旧版本;
B、部署并测试原型;
创建一个数据开放API原型是为了早期的推广和测试;新的数据开放API或已有数据开放API的新版本可以发布为原型;它给了订阅者此数据开放API的一个早期实现,且不需要订阅和付费就可以试用,并可以提供反馈信息用于改进数据开放API;一段时间后,发布者可以做一些调整并发布数据开放API;
C、发布新版本、弃用旧版本;
发布数据开放API使其在数据开放API服务目录中可被订阅;如果创建了多个租户,一个租户的数据开放API服务目录对其他租户是可见的;因此,其他租户域的用户可以看见你所在租户域默认数据开放API服务目录中发布的数据开放API;这有助于推广数据开放API,扩大受众范围;尽管未登录用户可以浏览所有公开的数据开放API,但如果想订阅、调用它们,用户就必须登录到有调用权限的租户域;
D、发布数据开放API到多个外部数据开放API服务目录;
可以将数据开放API发布到本租户域以外的其他租户域的数据开放API服务目录,让其他租户域中的应用开发者看见;这有助于集成数据开放API到一个更高级别的平台上;其他租户域的订阅者可以浏览你的数据开放API,但是如果想要订阅那些数据开放API,就需要访问原始发布者的数据开放API服务目录;这个功能默认是停用的;
E、通过多个数据开放API网关发布数据开放API;
可以配置多个数据开放API网关环境发布到一个数据开放API服务目录;这有助于分散数据开放API网关的负载到多个节点,并提供了与数据开放API服务目录中的数据开放API的逻辑分离;一旦通过多个网关环境发布数据开放API,该数据开放API服务目录中的数据开放API将有不同的服务器主机和端口。
CN202011640992.6A 2020-12-31 2020-12-31 一种数据开放平台 Withdrawn CN112732811A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011640992.6A CN112732811A (zh) 2020-12-31 2020-12-31 一种数据开放平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011640992.6A CN112732811A (zh) 2020-12-31 2020-12-31 一种数据开放平台

Publications (1)

Publication Number Publication Date
CN112732811A true CN112732811A (zh) 2021-04-30

Family

ID=75609088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011640992.6A Withdrawn CN112732811A (zh) 2020-12-31 2020-12-31 一种数据开放平台

Country Status (1)

Country Link
CN (1) CN112732811A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112667718A (zh) * 2020-12-24 2021-04-16 广西中科曙光云计算有限公司 一种不动产信息的共享查询方法及系统
CN113139018A (zh) * 2021-05-10 2021-07-20 刘熙明 一种村级五库基础数据库系统及数据自动调用方法
CN113420328A (zh) * 2021-06-23 2021-09-21 鹤壁国立光电科技股份有限公司 一种大数据批量共享交换系统
CN113468149A (zh) * 2021-09-02 2021-10-01 北京宇信科技集团股份有限公司 一种数据模型开发平台
CN114679446A (zh) * 2022-03-28 2022-06-28 阿里云计算有限公司 数据处理方法、系统和数据处理设备
CN114679366A (zh) * 2022-05-25 2022-06-28 广州嘉为科技有限公司 多云环境下面向租户开放运维工具的方法、系统及介质
CN114676094A (zh) * 2022-05-27 2022-06-28 云上(江西)大数据发展有限公司 数字化政府项目的全周期管理方法、系统及可读存储介质
CN114722434A (zh) * 2022-06-09 2022-07-08 江苏荣泽信息科技股份有限公司 基于区块链的台账数据管控方法及装置
CN115641096A (zh) * 2022-11-21 2023-01-24 山东光庭信息技术有限公司 一种智慧乡村的数字化管理方法及系统
CN115688151A (zh) * 2023-01-05 2023-02-03 恒丰银行股份有限公司 一种针对敏感信息的脱敏复敏方法、系统及终端机
CN115795400A (zh) * 2023-02-07 2023-03-14 云启智慧科技有限公司 面向大数据分析的应用融合架构
CN115935421A (zh) * 2022-12-23 2023-04-07 星环信息科技(上海)股份有限公司 一种数据产品发布方法、系统及存储介质
CN116186601A (zh) * 2022-12-15 2023-05-30 广州光点信息科技股份有限公司 一种数据分级分类的方法和装置
CN116596490A (zh) * 2023-07-19 2023-08-15 数字浙江技术运营有限公司 公共数据开放利用的系统及方法
CN117112499A (zh) * 2023-10-25 2023-11-24 数研院(福建)信息产业发展有限公司 一种数据目录分级的方法、介质及设备
CN117390105A (zh) * 2023-12-11 2024-01-12 中核武汉核电运行技术股份有限公司 一种工业服务开放平台的服务录入方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933070A (zh) * 2014-03-19 2015-09-23 北京航天长峰科技工业集团有限公司 一种用于政务信息平台的目录管理系统
CN105022820A (zh) * 2015-07-17 2015-11-04 成都汉康信息产业有限公司 智慧城市公共信息平台
CN107862086A (zh) * 2017-11-30 2018-03-30 华迪计算机集团有限公司 一种共享目录资源信息的系统和方法
CN109710667A (zh) * 2018-11-27 2019-05-03 中科曙光国际信息产业有限公司 一种基于大数据平台的多源数据融合共享实现方法及系统
CN109902118A (zh) * 2019-02-26 2019-06-18 上海浪潮云计算服务有限公司 一种用于政府数据开放的数据资源跨网交换系统及方法
US10628244B1 (en) * 2019-10-29 2020-04-21 Snowflake Inc. Calling external functions from a data warehouse
CN111984717A (zh) * 2020-08-26 2020-11-24 江西微博科技有限公司 一种大数据智慧政务平台信息管理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933070A (zh) * 2014-03-19 2015-09-23 北京航天长峰科技工业集团有限公司 一种用于政务信息平台的目录管理系统
CN105022820A (zh) * 2015-07-17 2015-11-04 成都汉康信息产业有限公司 智慧城市公共信息平台
CN107862086A (zh) * 2017-11-30 2018-03-30 华迪计算机集团有限公司 一种共享目录资源信息的系统和方法
CN109710667A (zh) * 2018-11-27 2019-05-03 中科曙光国际信息产业有限公司 一种基于大数据平台的多源数据融合共享实现方法及系统
CN109902118A (zh) * 2019-02-26 2019-06-18 上海浪潮云计算服务有限公司 一种用于政府数据开放的数据资源跨网交换系统及方法
US10628244B1 (en) * 2019-10-29 2020-04-21 Snowflake Inc. Calling external functions from a data warehouse
CN111984717A (zh) * 2020-08-26 2020-11-24 江西微博科技有限公司 一种大数据智慧政务平台信息管理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李勋: "基于SOA的电子政务资源共享交换平台的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑(月刊)》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112667718A (zh) * 2020-12-24 2021-04-16 广西中科曙光云计算有限公司 一种不动产信息的共享查询方法及系统
CN112667718B (zh) * 2020-12-24 2021-07-16 广西中科曙光云计算有限公司 一种不动产信息的共享查询方法及系统
CN113139018A (zh) * 2021-05-10 2021-07-20 刘熙明 一种村级五库基础数据库系统及数据自动调用方法
CN113420328A (zh) * 2021-06-23 2021-09-21 鹤壁国立光电科技股份有限公司 一种大数据批量共享交换系统
CN113420328B (zh) * 2021-06-23 2023-04-28 鹤壁国立光电科技股份有限公司 一种大数据批量共享交换系统
CN113468149A (zh) * 2021-09-02 2021-10-01 北京宇信科技集团股份有限公司 一种数据模型开发平台
CN113468149B (zh) * 2021-09-02 2021-11-12 北京宇信科技集团股份有限公司 一种数据模型开发平台
CN114679446A (zh) * 2022-03-28 2022-06-28 阿里云计算有限公司 数据处理方法、系统和数据处理设备
CN114679366A (zh) * 2022-05-25 2022-06-28 广州嘉为科技有限公司 多云环境下面向租户开放运维工具的方法、系统及介质
CN114676094A (zh) * 2022-05-27 2022-06-28 云上(江西)大数据发展有限公司 数字化政府项目的全周期管理方法、系统及可读存储介质
CN114722434A (zh) * 2022-06-09 2022-07-08 江苏荣泽信息科技股份有限公司 基于区块链的台账数据管控方法及装置
CN114722434B (zh) * 2022-06-09 2022-08-16 江苏荣泽信息科技股份有限公司 基于区块链的台账数据管控方法及装置
CN115641096A (zh) * 2022-11-21 2023-01-24 山东光庭信息技术有限公司 一种智慧乡村的数字化管理方法及系统
CN116186601A (zh) * 2022-12-15 2023-05-30 广州光点信息科技股份有限公司 一种数据分级分类的方法和装置
CN115935421B (zh) * 2022-12-23 2024-01-30 星环信息科技(上海)股份有限公司 一种数据产品发布方法、系统及存储介质
CN115935421A (zh) * 2022-12-23 2023-04-07 星环信息科技(上海)股份有限公司 一种数据产品发布方法、系统及存储介质
CN115688151A (zh) * 2023-01-05 2023-02-03 恒丰银行股份有限公司 一种针对敏感信息的脱敏复敏方法、系统及终端机
CN115795400B (zh) * 2023-02-07 2023-05-09 云启智慧科技有限公司 面向大数据分析的应用融合系统
CN115795400A (zh) * 2023-02-07 2023-03-14 云启智慧科技有限公司 面向大数据分析的应用融合架构
CN116596490A (zh) * 2023-07-19 2023-08-15 数字浙江技术运营有限公司 公共数据开放利用的系统及方法
CN117112499A (zh) * 2023-10-25 2023-11-24 数研院(福建)信息产业发展有限公司 一种数据目录分级的方法、介质及设备
CN117112499B (zh) * 2023-10-25 2024-01-02 数研院(福建)信息产业发展有限公司 一种数据目录分级的方法、介质及设备
CN117390105A (zh) * 2023-12-11 2024-01-12 中核武汉核电运行技术股份有限公司 一种工业服务开放平台的服务录入方法及系统
CN117390105B (zh) * 2023-12-11 2024-03-01 中核武汉核电运行技术股份有限公司 一种工业服务开放平台的服务录入方法及系统

Similar Documents

Publication Publication Date Title
CN112732811A (zh) 一种数据开放平台
US11108828B1 (en) Permission analysis across enterprise services
US8316005B2 (en) Network-accessible database of remote services
US20220021711A1 (en) Security Platform and Method for Efficient Access and Discovery
Huang et al. Software-defined infrastructure for decentralized data lifecycle governance: principled design and open challenges
CN112765245A (zh) 一种电子政务大数据处理平台
US20080052162A1 (en) Calendar-Based Advertising
Colombo et al. Access control technologies for Big Data management systems: literature review and future trends
CN101398771B (zh) 一种基于构件的分布式系统访问控制方法及访问控制系统
US9123006B2 (en) Techniques for parallel business intelligence evaluation and management
Javed et al. BIoTope: building an IoT open innovation ecosystem for smart cities
US20120030120A1 (en) Enforcement of security requirements for a business model
Mathijssen et al. Identification of practices and capabilities in API management: a systematic literature review
CN112527873B (zh) 一种基于链数立方体的大数据管理应用系统
US11989632B2 (en) Apparatuses, methods, and computer program products for programmatically parsing, classifying, and labeling data objects
Colombo et al. Access control in the era of big data: State of the art and research directions
Han et al. Copyright certificate storage and trading system based on blockchain
CA2615523A1 (en) Managing network-accessible services
Dang et al. An effective and elastic blockchain-based provenance preserving solution for the open data
CN102255969A (zh) 一种基于表述性状态转移的网络服务安全模型
CN111737215A (zh) 数据共享系统、方法和计算机可读存储介质
Leida et al. Dynamic access control to semantics-aware streamed process logs
Scaglioso et al. Modern standard-based access control in network services: XACML in action
Das et al. Behavioural analysis of multi-source social network data using object-centric behavioural constraints and data mining technique
Hu et al. Implementation and Application of National Science and Technology Information System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210430

WW01 Invention patent application withdrawn after publication