CN112148689A - 一种用于城市级数据中台的数据共享交换系统 - Google Patents
一种用于城市级数据中台的数据共享交换系统 Download PDFInfo
- Publication number
- CN112148689A CN112148689A CN202011176829.9A CN202011176829A CN112148689A CN 112148689 A CN112148689 A CN 112148689A CN 202011176829 A CN202011176829 A CN 202011176829A CN 112148689 A CN112148689 A CN 112148689A
- Authority
- CN
- China
- Prior art keywords
- data
- sharing
- resource
- module
- access
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000007726 management method Methods 0.000 claims description 44
- 230000008859 change Effects 0.000 claims description 17
- 238000011161 development Methods 0.000 claims description 11
- 238000013070 change management Methods 0.000 claims description 7
- 238000013508 migration Methods 0.000 claims description 6
- 230000005012 migration Effects 0.000 claims description 6
- 238000012550 audit Methods 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 4
- 238000009411 base construction Methods 0.000 abstract description 2
- 238000013475 authorization Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000013523 data management Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/176—Support for shared access to files; File sharing support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种用于城市级数据中台的数据共享系统，涉及数据处理技术领域，应用于城市级数据中台的一数据资源中心，包括：数据交换模块，用于接入外部的至少一数据提供方，由数据提供方获取数据资源并存入数据资源中心的一区级数据湖进行治理和建设主题库，以实现数据资源的数据交换；数据共享模块，连接数据交换模块，用于供至少一资源需求方订阅区级数据湖和主题库中的数据资源，以实现数据资源的数据共享；数据共享管理模块，连接数据共享模块，用于对数据共享过程进行统一管理。本技术方案提供了灵活部署、按需使用、弹性扩展的数据共享交换服务，同时通过数据共享管理模块对数据共享的过程进行统一管理，能更好地为城市级数据中台服务。
Description
技术领域
本发明涉及数据处理领域，尤其涉及一种用于城市级数据中台的数据共享交换系统。
背景技术
数据中台是数据应用开发门户，具有闭环涵盖数据应用开发全流程，完整覆盖离线计算、实时计算应用等功能。能够满足开发人员从数据采集、数据分析、数据挖掘、数据质量、数据地图、数据模型、数据API的各层次应用。可以理解，使用数据中台可以解放开发人员的生产力，极大的缩短数据价值的萃取过程，提高企业提炼数据价值的能力。但是现有的数据中台中，数据共享服务不够完善，同时对数据共享过程的管理不够完备，导致数据进行共享交换的过程不能满足数据中台的需求。
发明内容
针对现有技术中存在的问题，本发明提供一种用于城市级数据中台的数据共享系统，应用于城市级数据中台的一数据资源中心，包括：
数据交换模块，用于接入外部的至少一数据提供方，由所述数据提供方获取数据资源并存入所述数据资源中心的一区级数据湖进行治理和建设主题库，以实现所述数据资源的数据交换；
数据共享模块，连接所述数据交换模块，用于供至少一资源需求方订阅所述区级数据湖和所述主题库中的所述数据资源，以实现所述所述数据资源的数据共享；
数据共享管理模块，连接所述数据共享模块，用于对所述数据共享过程进行统一管理。
优选的，所述数据资源的数据类型包括：政务数据，和/或物联数据，和/或视频数据。
优选的，还包括一工具提供模块，分别连接所述数据交换模块和所述数据共享模块，用于向所述数据交换模块和所述数据共享模块提供数据交换共享工具。
优选的，所述数据交换共享工具包括：
数据开发工具，和/或数据迁移工具，和/或任务调度工具，和/或数据源管理工具，和/或数据共享工具。
优选的，所述数据交换模块包括：
第一交换单元，用于根据一第一数据接入方式接入所述数据提供方，所述第一数据接入方式包括库表接入，和/或文件接入，和/或服务接口接入，和/或数据库直连接入；或
第二交换单元，用于根据一第二数据接入方式接入所述数据提供方，所述第二数据接入方式为全量接入或增量接入；
第三交换单元，用于根据一第三数据接入方式接入所述数据提供方，所述第三数据接入方式为准实时接入或实时接入。
优选的，所述数据共享模块包括一数据共享单元，用于将存入所述区级数据湖和所述主题库中的所述数据资源挂载到所述城市级数据中台的一目录，以供各所述资源需求方进行订阅；
优选的，各所述资源需求方进行订阅采用的订阅方式包括：
库表资源订阅方式，和/或文件资源订阅方式，和/或服务资源订阅方式。
优选的，所述数据共享模块还包括一共享申请单元，用于对所述数据提供方提出的数据空间归集申请以及对所述资源需求方提出的共享需求申请进行管理以供审核。
优选的，所述数据共享管理模块包括：
需求管理单元，用于在所述资源需求方提出所述共享需求申请审核通过后发布一数据共享需求，以及在所述资源需求方向所述数据提供方发出所述数据共享需求后，控制所述数据提供方在预设的规定时间内做出响应；
变更管理单元，用于提供一变更管理平台，以供所述资源需求方提出的所述数据共享需求发生变更时与所述数据提供方进行商定，以及供所述数据提供方变更或下架进行所述数据共享的所述数据资源前提交工单，并填写进行所述数据共享的所述数据资源的变更及下架原因。
优选的，还包括一数据共享管理模块，所述数据共享管理模块还包括一任务管理单元，连接所述需求管理单元，用于根据所述数据共享需求生成一共享任务，并根据所述共享任务的数据需求复杂程度对所述共享任务进行管理。
上述技术方案具有如下优点或有益效果：
本技术方案提供了灵活部署、按需使用、弹性扩展的数据共享交换服务，同时通过数据共享管理模块对数据共享的过程进行统一管理，能更好地为城市级数据中台服务。
附图说明
图1为本发明的较佳的实施例中，数据共享交换系统的结构原理图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本发明并不限定于该实施方式，只要符合本发明的主旨，则其他实施方式也可以属于本发明的范畴。
本发明的较佳的实施例中，基于现有技术中存在的上述问题，现提供一种用于城市级数据中台的数据共享交换系统，应用于城市级数据中台的一数据资源中心，如图1所示，包括：
数据交换模块1，用于接入外部的至少一数据提供方1A，由数据提供方1A获取数据资源并存入数据资源中心的一区级数据湖进行治理和建设主题库，以实现数据资源的数据交换；
数据共享模块2，连接数据交换模块1，用于供至少一资源需求方1B订阅区级数据湖和主题库中的数据资源，以实现数据资源的数据共享；
数据共享管理模块3，连接数据共享模块2，用于对数据共享过程进行统一管理。
具体地，本实施例中，数据共享系统主要承担区内数据与平台的交换、区平台与市平台的数据交换、平台内部数据治理的交换、区平台与上层应用间的数据交换四部分功能。数据共享系统将基于大数据支撑系统提供成熟的产品进行开发，利用政务云基础设施，提供灵活部署、按需使用、弹性扩展的数据交换服务。
数据共享交换系统包括相应的组织角色、平台工具、标准规范和管理制度。其中，区级数据湖、基础库、主题库、数据共享交换系统、数据资源管理门户由城市级数据中台统筹规划、建设与运维，各交换前置节点由各业务部门自行建设与运维。
数据交换模块1接入外部的数据提供方1A，并从数据提供方1A获取数据资源并存入数据资源中心的区级数据湖，在区级数据湖中对数据资源进行治理并建设主题库，实现数据资源的数据交换。
数据共享模块2是数据共享系统中的数据出口，主要涉及数据交换和共享申请门户两部分。其中，数据交换的方式与数据进入区级数据湖方式相同，支持库表、文件或服务接口等方式进行资源共享；共享申请门户则作为部门内部、跨部门间数据申请的界面，与数据资源管理门户挂接，有如下功能要求：
数据提供方1A进行数据归集空间申请，平台管理员审核权限、分配资源。
资源需求方1B查询数据目录，提交数据需求申请，平台管理员审核并开发数据权限。
数据资源统一管理监控，满足对外部系统的统一对接归口，实现共享服务体系的整体监控与统计分析。
城市级数据中台将已归集的数据资源挂载到目录并发布，供各部门进行共享订阅，并通过数据共享管理模块3对数据共享过程进行统一管理。
本发明的较佳的实施例中，数据资源的数据类型包括：政务数据，和/或物联数据，和/或视频数据。
具体地，本实施例中，政务数据包括库表数据和文件数据，区委办局的库表数据和文件数据由委办局侧业务库推送至部门前置机，再通过数据共享交换系统进入数据资源中心，逐步根据需求，将数据接入区级数据湖进行治理和建设主题库。
物联数据包括实时物联数据。实时物联数据经过物联平台以API接口方式接入分布式消息队列系统，再通过实时计算平台进行实时研判、展示，或直接归集入数据资源中心数据湖。
视频数据主要包括部门影像、非公安影像、公安视频半结构化数据、视频大图小图数据，视频数据以接口方式接入分布式消息队列系统，再通过实时计算平台进行实时研判、展示，或直接以归集入数据资源中心的区级数据湖进行大对象存储。
本发明的较佳的实施例中，还包括一工具提供模块4，分别连接数据交换模块1和数据共享模块2，用于向数据交换模块1和数据共享模块2提供数据交换共享工具。
本发明的较佳的实施例中，数据交换共享工具包括：
数据开发工具，和/或数据迁移工具，和/或任务调度工具，和/或数据源管理工具，和/或数据共享工具。
具体地，本实施例中，数据开发工具是为数据开发人员和数据库管理人员提供的数据库管理工具，它能够进行跨平台管理，可作为大数据计算服务客户端，也支持兼容其余多种数据库。数据开发工具是辅助进行数据集成开发的图形化工具。
数据迁移工具通过可视化界面来设计和创建ETL任务，用于数据在RDBMS和Hadoop平台之间的迁移，或实现Hadoop平台内部数据的流转。
任务调度工具是通过可视化界面来设计数据迁移和开发过程中的作业流DAG，并进行作业调度和管理。作业管理工具本身不做数据流的计算，而是将工作任务提交到平台的分布式计算引擎来完成。
数据源管理工具包括多源接入、跨源管理和数据源操作三部分功
能，其中多源接入支持对多数据源的采集与管理：HDFS、Mysql、Oracle、DB2、Hive、TD、Hbase、Teradata以及第三方报表工具。
跨源管理支持跨租户下的数据源接入。数据源操作支持数据源的管理功能，如数据源添加、修改、删除、查看等。
数据共享工具提供基于容器化和多租户隔离技术的数据共享和流转功能，支持配置数据权限和审批流程，在保障数据安全的前提下完成数据共享、申请、流转的使用过程。
本发明的较佳的实施例中，数据交换模块1包括：
第一交换单元11，用于根据一第一数据接入方式接入数据提供方1A，第一数据接入方式包括库表接入，和/或文件接入，和/或服务接口接入，和/或数据库直连接入；或
第二交换单元12，用于根据一第二数据接入方式接入数据提供方1A，第二数据接入方式为全量接入或增量接入；
第三交换单元13，用于根据一第三数据接入方式接入数据提供方1A，第三数据接入方式为准实时接入或实时接入。
具体地，本实施例中，库表接入是指数据在提供方以数据库表结构化方式存储，并以库表方式进行全量或增量数据的接入。通过前置数据库表进行数据交换，各接入单位通过桥接方式获取前置数据库表内容，向前置数据库表目录推送数据。
文件接入适用于非结构化资源或更新频率较缓慢的结构化资源的接入。通过前置机文件目录进行数据接入和交换，各接入单位通过桥接方式获取前置机的文件，向前置机文件目录推送数据
服务接口接入是指以Web服务作为平台与各接入单位之间数据获取和推送的接口，在平台中代理业务系统提供的Web服务，对外隐藏该Web服务的真实URL，使用代理的URL即可访问业务系统真实的Web服务，以达到数据接入和交换的目的
数据库直连接入支持使用DBlink方式进行实时连接将关系型数据库中的数据抽取到离线数据库，同时支持过滤条件下推，在关系型数据库上进行过滤以后再进行抽取，加速抽取和计算的效率。对于原来存储在关系型数据库中的维度表/码表，可以使用DBlink的方式进行实时连接计算。
全量接入是指一次性将数据库表中的所有数据交换到目标节点的接入方式。全量接入的优点是交换效率较高，缺点是不能很好的处理增量数据。全量接入要求业务库表应具有主键标识。
全量接入适用于低频率(天、周、月)的，对数据变更时效性不敏感的接入场景，用于在平台建设完成初期进行历史数据的迁移，将大量的基础数据和历史数据导入平台集群。
增量接入是指周期性从数据库表中获取最新数据并交换到目标节点的接入方式。增量接入适用于高频率(秒、分)的、对数据变更时效性敏感的接入场景，用于系统上线后将指定周期时间间隔内的数据导入平台。增量接入的优点是即时接入、增量处理，但需要根据业务场景配置相应的接入策略。
增量接入主要有下列三种策略：
时间戳交换：根据业务数据的时间戳变化获取增量数据，并将增量数据交换到目标节点。交换效率高，对前置库性能影响小，但要求业务表必须存在一个时间戳字段，且每次操作数据要对该字段时间戳进行更新。
标识位交换：根据业务表中的标识字段值的变化获取增量数据并将增量数据交换到目标节点。交换效率高，对前置库性能影响小，但要求业务表必须存在标识位字段，业务系统和平台都要维护此字段值的变化。
触发器交换：利用数据库触发器获取增量数据并将增量数据交换到目标节点。数据获取实时性高，能够交换删除操作的数据，但需要在源表上建立触发器，对前置库性能有一定影响。
准实时接入针对于T+1模式无法满足业务系统的需求，需要进行准实时同步。准实时同步是指将数据从传统的关系型数据库准实时同步到城市级数据中台，并对数据进行实时或者准实时分析。借助Oralce GoldenGate(OGG)、IBM Datastage Data Replication(CDC)等软件可以实时地读取关系数据库的日志记录，将这些日志记录写成文件记录到本地，再头通过数据迁移工具进行秒级同步和解析。
实时接入针对如物联数据、视频数据等具有数据量大、文件数量多、实时产生等特性的数据，有高吞吐、低时延的要求，可通过分布式日志实时采集工具Flume或分布式消息队列工具Kafka实时接入到城市级数据中台。
本发明的较佳的实施例中，数据共享模块2包括一数据共享单元21，用于将存入区级数据湖和主题库中的数据资源挂载到城市级数据中台的一目录，以供各资源需求方1B进行订阅。
本发明的较佳的实施例中，各资源需求方1B进行订阅采用的订阅方式包括：
库表资源订阅方式，和/或文件资源订阅方式，和/或服务资源订阅方式。
具体地，本实施例中，在采用库表资源订阅方式进行交换时，资源需求方1B需对库表资源进行订阅，库表资源订阅包括：
资源申请：资源需求方1B节点操作员通过目录查找所需资源，向资源提供方提出使用申请；
接收表建立：业务系统技术人员进行数据接送准备，在前置库中建立接收表，用于接收共享数据；
数据源配置：针对用于接收共享数据的数据库表，节点操作员在交换系统中创建对应的数据源，作为交换数据的目的地；
资源订阅：节点操作员查找到所需资源后进行订阅，将上一步创建的数据源设定为订阅接收并设置接收到的数据字段与接收表字段的映射关系。订阅成功后默认自动启动。业务系统技术人员采用技术手段(如：系统数据同步、手工数据导出等)，将接收到的数据库表内容获取到业务系统中使用。
在采用文件资源订阅方式进行交换时，资源需求方1B需对文件、文件夹资源进行订阅，文件资源订阅包括：
资源申请：资源需求方1B节点操作员通过目录查找所需资源，向资源提供方提出使用申请；
资源订阅：节点操作员查找到所需文件资源后进行订阅，并设置订阅的文件接收目录。订阅成功后默认自动启动。业务系统技术人员采用技术手段(如：FTP下载、手工拷贝等)，将前置机接收到的文件获取到业务系统中使用。
服务资源订阅：资源需求方1B通过目录查找所需资源，申请使用资源提供方发布的服务，服务资源订阅包括：
服务资源查询：节点操作员通过目录提供的接口列表、分类检索和接口搜索功能进行资源信息的查找，从而获得相关的服务接口信息；
服务资源申请：节点操作员查询到服务资源后，在线填写服务使用申请，根据页面指示填写申请信息，如申请使用时间等。提交申请，等待授权；
服务资源授权：对无条件共享的服务资源，由平台审核员进行服务授权并向资源提供方备案；对有条件共享的服务资源，由资源提供方节点审核员进行服务授权；
服务资源使用：资源需求方1B在获得授权后按服务协议要求进行使用。资源需求方1B部门根据服务接口描述信息进行服务调用开发，封装申请授权等相关信息，进行服务接口调用，获取所需信息。
在采用服务资源订阅方式进行交换时，资源需求方1B需通过目录查找所需资源，申请使用资源提供方发布的服务。服务资源订阅包括：
服务资源查询：节点操作员通过目录提供的接口列表、分类
检索和接口搜索功能进行资源信息的查找，从而获得相关的服务接口信息；
服务资源申请：节点操作员查询到服务资源后，在线填写服务使
用申请，根据页面指示填写申请信息，如申请使用时间等。提交申请，等待授权；
服务资源授权：对无条件共享的服务资源，由平台审核员进行服
务授权并向资源提供方备案；对有条件共享的服务资源，由资源提供方节点审核员进行服务授权；
服务资源使用：资源需求方1B在获得授权后按服务协议要求进行使用。资源需求方1B部门根据服务接口描述信息进行服务调用开发，封装申请授权等相关信息，进行服务接口调用，获取所需信息。
本发明的较佳的实施例中，数据共享模块2还包括一共享申请单元22，用于对数据提供方1A提出的数据空间归集申请以及对资源需求方1B提出的共享需求申请进行管理以供审核。
具体地，本实施例中，共享申请单元22对数据提供方1A提出的数据归集空间申请进行管理，供数据共享管理模块3中的平台管理员审核权限、分配资源；同时还对资源需求方1B的提交数据需求申请进行管理，供平台管理员审核并开发数据权限；共享申请单元22还实现对数据资源统一管理监控，满足对外部系统的统一对接归口，实现对数据共享交换系统的整体监控与统计分析。
本发明的较佳的实施例中，数据共享管理模块3包括：
需求管理单元31，用于在资源需求方1B提出共享需求申请审核通过后发布一数据共享需求，以及在资源需求方1B向数据提供方1A发出数据共享需求后，控制数据提供方1A在预设的规定时间内做出响应；
变更管理单元32，用于提供一变更管理平台，以供资源需求方1B提出的数据共享需求发生变更时与数据提供方1A进行商定，以及供数据提供方1A变更或下架进行数据共享的数据资源前提交工单，并填写进行数据共享的数据资源的变更及下架原因。
具体地，本实施例中，资源需求方1B在提出共享需求前，先查看目录，将所需求的数据资源与目录中已有的数据进行对照，确定所需求的数据资源是否已在目录中，以及是否符合相应的共享条件；在确保所需求的数据资源已在目录中，并且自身符合相应的共享条件后提出共享需求申请，并通过平台管理员进行审核。
审核通过后发布数据共享需求，需求须包含共享类型、数据用途(如作为行政依据、工作参考，用于数据校核、业务协同等)、字段类型、字段长度、交换时间等主要信息。
资源需求方1B向数据提供方1A发出共享需求申请后，数据提供方1A须在规定时间内做出响应。若数据提供方1A同意共享需求申请，则应在规定时间内向资源需求方1B提供所需数据资源。如果提供方不同意提供数据资源，应依规向资源需求方1B和城市级数据中台的主管单位说明原因。
变更管理单元32包括需求变更子单元和/或数据变更子单元。需求变更子单元用于：在资源需求方1B对原有数据资源需求有变更时，必和数据提供方1A商定。各方商定同意数据资源变更的，由数据提供方1A完成数据目录和数据的更新、共享，并告知资源需求方1B。意见存在较大分歧的，由平台主管单位组织数据提供方1A和资源需求方1B进行协商。如各方达成一致意见，则由提出变更的资源需求方1B再次整理数据需求，提交给数据提供方1A确认。数据提供方1A确认同意时应抄送大数据主管部门备案，同时完成共享目录和数据的更新、共享，并告知资源需求方1B。
数据变更子单元用于：在数据提供方1A变更或下架数据前，须提交工单给平台管理员，并填写数据变更及下架原因。非因法定事由，数据提供方1A不得对共享中的数据资源提出变更。具体数据变更流程如下图所示。以文件方式共享的数据变更时，城市级数据平台需要保留数据原始版本，并将变更后的新版本命名为最新版本编号发布至城市级数据平台。以接口、数据服务API、交换库、数据推送这几种方式共享的数据一旦数据结构发生变更，需要和资源需求方1B协商沟通。数据提供方1A应确保共享的数据真实、可靠、完整和及时更新。共享数据的元数据变更前，须提交工单给平台管理员，填写元数据变更原因。元数据变更时，城市级数据平台需要保留元数据原始版本。经过平台管理员审核通过后，变更后的元数据将作为最新版本发布至平台。
本发明的较佳的实施例中，数据共享管理模块3还包括一任务管理单元33，连接需求管理单元31，用于根据数据共享需求生成一共享任务，并根据共享任务的数据需求复杂程度对共享任务进行管理。
具体地，本实施例中，任务管理单元33根据数据共享需求生成共享任务，同时根据共享任务的数据需求复杂程度对共享任务进行管理：如果数据需求复杂，则先要进行数据治理，进行集成方案编制、生成集成作业，驱动数据处理形成需求部门要求的数据，然后进行数据交换作业的配置和管理，将数据交换作业发送数据交换系统，如果数据需求不复杂，则直接进行数据交换作业的配置和管理，将数据交换作业发送数据共享交换系统。
以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。
Claims (10)
1.一种用于城市级数据中台的数据共享交换系统，其特征在于，应用于城市级数据中台的一数据资源中心，包括：
数据交换模块，用于接入外部的至少一数据提供方，由所述数据提供方获取数据资源并存入所述数据资源中心的一区级数据湖进行治理和建设主题库，以实现所述数据资源的数据交换；
数据共享模块，连接所述数据交换模块，用于供至少一资源需求方订阅所述区级数据湖和所述主题库中的所述数据资源，以实现所述所述数据资源的数据共享；
数据共享管理模块，连接所述数据共享模块，用于对所述数据共享过程进行统一管理。
2.根据权利要求1所述的数据共享交换系统，其特征在于，所述数据资源的数据类型包括：政务数据，和/或物联数据，和/或视频数据。
3.根据权利要求1所述的数据共享系统，其特征在于，还包括一工具提供模块，分别连接所述数据交换模块和所述数据共享模块，用于向所述数据交换模块和所述数据共享模块提供数据交换共享工具。
4.根据权利要求3所述的数据共享交换系统，其特征在于，所述数据交换共享工具包括：
数据开发工具，和/或数据迁移工具，和/或任务调度工具，和/或数据源管理工具，和/或数据共享工具。
5.根据权利要求1所述的数据共享交换系统，其特征在于，所述数据交换模块包括：
第一交换单元，用于根据一第一数据接入方式接入所述数据提供方，所述第一数据接入方式包括库表接入，和/或文件接入，和/或服务接口接入，和/或数据库直连接入；或
第二交换单元，用于根据一第二数据接入方式接入所述数据提供方，所述第二数据接入方式为全量接入或增量接入；
第三交换单元，用于根据一第三数据接入方式接入所述数据提供方，所述第三数据接入方式为准实时接入或实时接入。
6.根据权利要求1所述的数据共享交换系统，其特征在于，所述数据共享模块包括一数据共享单元，用于将存入所述区级数据湖和所述主题库中的所述数据资源挂载到所述城市级数据中台的一目录，以供各所述资源需求方进行订阅。
7.根据权利要求6所述的数据共享交换系统，其特征在于，各所述资源需求方进行订阅采用的订阅方式包括：
库表资源订阅方式，和/或文件资源订阅方式，和/或服务资源订阅方式。
8.根据权利要求1所述的数据共享交换系统，其特征在于，所述数据共享模块还包括一共享申请单元，用于对所述数据提供方提出的数据空间归集申请以及对所述资源需求方提出的共享需求申请进行管理以供审核。
9.根据权利要求8述的数据共享交换系统，其特征在于，所述数据共享管理模块包括：
需求管理单元，用于在所述资源需求方提出所述共享需求申请审核通过后发布一数据共享需求，以及在所述资源需求方向所述数据提供方发出所述数据共享需求后，控制所述数据提供方在预设的规定时间内做出响应；
变更管理单元，用于提供一变更管理平台，以供所述资源需求方提出的所述数据共享需求发生变更时与所述数据提供方进行商定，以及供所述数据提供方变更或下架进行所述数据共享的所述数据资源前提交工单，并填写进行所述数据共享的所述数据资源的变更及下架原因。
10.根据权利要求9所述的数据共享交换系统，其特征在于，所述数据共享管理模块还包括一任务管理单元，连接所述需求管理单元，用于根据所述数据共享需求生成一共享任务，并根据所述共享任务的数据需求复杂程度对所述共享任务进行管理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011176829.9A CN112148689A (zh) | 2020-10-28 | 2020-10-28 | 一种用于城市级数据中台的数据共享交换系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011176829.9A CN112148689A (zh) | 2020-10-28 | 2020-10-28 | 一种用于城市级数据中台的数据共享交换系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112148689A true CN112148689A (zh) | 2020-12-29 |
Family
ID=73953600
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011176829.9A Pending CN112148689A (zh) | 2020-10-28 | 2020-10-28 | 一种用于城市级数据中台的数据共享交换系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112148689A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112862445A (zh) * | 2021-02-22 | 2021-05-28 | 浪潮云信息技术股份公司 | 高并发数据交换处理方法及存储介质 |
| CN112965948A (zh) * | 2020-12-30 | 2021-06-15 | 中科环森智慧科技(苏州)有限公司 | 一种基于数据的管理服务中台系统 |
| CN113641336A (zh) * | 2021-06-30 | 2021-11-12 | 广东省国土资源测绘院 | 一种自然资源外业调查平台及其构建方法、电子设备、存储介质、程序产品 |
| CN115391453A (zh) * | 2022-07-22 | 2022-11-25 | 吉林省吉林祥云信息技术有限公司 | 基于分布式数据库视图模式建设的数据共享交换平台及其共享交换方法 |
| CN116860859A (zh) * | 2023-09-01 | 2023-10-10 | 江西省信息中心(江西省电子政务网络管理中心 江西省信用中心 江西省大数据中心) | 一种多源异构数据的接口创建方法、装置及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109800262A (zh) * | 2018-12-18 | 2019-05-24 | 北京市天元网络技术股份有限公司 | 数据共享交换方法及系统 |
| CN110766310A (zh) * | 2019-10-18 | 2020-02-07 | 北京思特奇信息技术股份有限公司 | 一种智慧运营中台 |
| CN110990664A (zh) * | 2019-12-16 | 2020-04-10 | 云赛智联股份有限公司 | 一种大数据运营管理系统 |
| CN111143391A (zh) * | 2020-01-16 | 2020-05-12 | 创意信息技术股份有限公司 | 一种数据共享交换方法及系统 |
| CN111209269A (zh) * | 2019-12-16 | 2020-05-29 | 云赛智联股份有限公司 | 一种智慧城市大数据管理系统 |
| US20200334605A1 (en) * | 2018-11-21 | 2020-10-22 | Beijing Yutian Technology Co. Ltd | Emergency resource sharing and exchange system |
-
2020
- 2020-10-28 CN CN202011176829.9A patent/CN112148689A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200334605A1 (en) * | 2018-11-21 | 2020-10-22 | Beijing Yutian Technology Co. Ltd | Emergency resource sharing and exchange system |
| CN109800262A (zh) * | 2018-12-18 | 2019-05-24 | 北京市天元网络技术股份有限公司 | 数据共享交换方法及系统 |
| CN110766310A (zh) * | 2019-10-18 | 2020-02-07 | 北京思特奇信息技术股份有限公司 | 一种智慧运营中台 |
| CN110990664A (zh) * | 2019-12-16 | 2020-04-10 | 云赛智联股份有限公司 | 一种大数据运营管理系统 |
| CN111209269A (zh) * | 2019-12-16 | 2020-05-29 | 云赛智联股份有限公司 | 一种智慧城市大数据管理系统 |
| CN111143391A (zh) * | 2020-01-16 | 2020-05-12 | 创意信息技术股份有限公司 | 一种数据共享交换方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| 许苗峰 等: "智慧城市数据中台设计与应用", 《邮电设计技术》, no. 02, pages 84 - 86 * |
| 邢诒海 等: "城市海量数据中心信息资源交换共享体系架构研究", 《信息技术与信息化》, no. 04, pages 150 - 152 * |
| 陆伟良 主编: "《数据中心建设BIM应用导论》", vol. 1, 东南大学出版社, pages: 241 - 242 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112965948A (zh) * | 2020-12-30 | 2021-06-15 | 中科环森智慧科技(苏州)有限公司 | 一种基于数据的管理服务中台系统 |
| CN112862445A (zh) * | 2021-02-22 | 2021-05-28 | 浪潮云信息技术股份公司 | 高并发数据交换处理方法及存储介质 |
| CN113641336A (zh) * | 2021-06-30 | 2021-11-12 | 广东省国土资源测绘院 | 一种自然资源外业调查平台及其构建方法、电子设备、存储介质、程序产品 |
| CN115391453A (zh) * | 2022-07-22 | 2022-11-25 | 吉林省吉林祥云信息技术有限公司 | 基于分布式数据库视图模式建设的数据共享交换平台及其共享交换方法 |
| CN116860859A (zh) * | 2023-09-01 | 2023-10-10 | 江西省信息中心(江西省电子政务网络管理中心 江西省信用中心 江西省大数据中心) | 一种多源异构数据的接口创建方法、装置及电子设备 |
| CN116860859B (zh) * | 2023-09-01 | 2023-12-22 | 江西省信息中心(江西省电子政务网络管理中心 江西省信用中心 江西省大数据中心) | 一种多源异构数据的接口创建方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112148689A (zh) | 一种用于城市级数据中台的数据共享交换系统 | |
| US7693851B2 (en) | Systems and methods for implementing a shared space in a provider-tenant environment | |
| US7689593B2 (en) | Systems and methods for accessing a shared space in a provider-tenant environment | |
| US7680825B2 (en) | Systems and methods for generating tenant-specific properties for use in a provider-tenant environment | |
| US7698284B2 (en) | Systems and methods for deploying a tenant in a provider-tenant environment | |
| US8069184B2 (en) | Systems and methods to implement extensibility of tenant content in a provider-tenant environment | |
| US7739348B2 (en) | Systems and methods for accessing a shared space in a provider-tenant environment by using middleware | |
| US9218408B2 (en) | Method for automatically creating a data mart by aggregated data extracted from a business intelligence server | |
| US20070162969A1 (en) | Provider-tenant systems, and methods for using the same | |
| US20070156902A1 (en) | Systems and methods for implementing a tenant space in a provider-tenant environment | |
| US20080162509A1 (en) | Methods for updating a tenant space in a mega-tenancy environment | |
| US20070156849A1 (en) | Systems and methods for delivering software upgrades in a provider-tenant environment | |
| US20070156699A1 (en) | Systems and methods for generating tenant templates for use in a provider-tenant environment | |
| US20070156901A1 (en) | Generation and use of table links in a provider-tenant environment | |
| US20070156714A1 (en) | Systems and methods for analyzing tenant-specific properties for use in a provider-tenant environment | |
| CN111625510A (zh) | 一种基于云映射的多源数据共享系统及方法 | |
| US20080162490A1 (en) | Methods and systems for automatic registration during deployment of a tenant | |
| CN114756577A (zh) | 多源异构数据的处理方法、计算机设备及存储介质 | |
| CN109150964B (zh) | 一种可迁移的数据管理方法及服务迁移方法 | |
| CN107169862B (zh) | 一种银行不良客户存款自动追踪系统 | |
| CN112801607A (zh) | 一种管理服务平台及构建方法 | |
| CN115934680A (zh) | 一站式大数据分析处理系统 | |
| CN112685499A (zh) | 一种工作业务流的流程数据同步方法、装置及设备 | |
| CN112328708A (zh) | 一种多数据源实时聚合的混合数据仓库技术 | |
| CN115481110A (zh) | 一种基于元数据的资源共享交换设计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |