CN109800262A - 数据共享交换方法及系统 - Google Patents
数据共享交换方法及系统 Download PDFInfo
- Publication number
- CN109800262A CN109800262A CN201811550447.0A CN201811550447A CN109800262A CN 109800262 A CN109800262 A CN 109800262A CN 201811550447 A CN201811550447 A CN 201811550447A CN 109800262 A CN109800262 A CN 109800262A
- Authority
- CN
- China
- Prior art keywords
- data
- shared
- exchange
- user
- shared exchange
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000006243 chemical reaction Methods 0.000 claims abstract description 10
- 238000004140 cleaning Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 238000012550 audit Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 14
- 230000005540 biological transmission Effects 0.000 abstract description 8
- 238000007726 management method Methods 0.000 description 7
- 238000010276 construction Methods 0.000 description 5
- 230000010354 integration Effects 0.000 description 5
- 238000013075 data extraction Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例提供一种数据共享交换方法及系统，所述方法包括：根据用户发起的共享交换请求，将所述用户所请求的共享交换数据从源端数据库中抽取出来；根据用户预先配置的参数信息对传输的所述共享交换数据进行清洗和转换处理；将处理后的所述共享交换数据梳理成资源目录体系，根据所述共享交换数据的资源目录将所述共享交换数据进行共享。本发明实施例灵活实现不同系统间的数据交换、数据共享与业务协同，提高各系统信息资源的利用率，保障数据资源高效、稳定的进行共享交换。
Description
技术领域
本发明实施例属于大数据技术领域，更具体地，涉及一种数据共享交换方法及系统。
背景技术
随着信息时代的飞速发展，大数据、人工智能的兴起，数据已经成为国家的核心战略资源。如何利用大数据进一步改善人民的生活水平，提升政府的管理与公共服务能力，最终实现国家的大数据战略，已经成为政府部门的共识。实现国家大数据战略的基础与关键之一，是要实现各类数据的融合共享。
当前政府、企业的信息化的状况是，各政府和企业一般都设计和建设了属于机构、业务本身的应用、流程以及数据的信息处理系统，独立、异构、涵盖各自业务内容的信息处理系统，系统设计建设的时期不同、业务模式不同，信息化建设缺乏有效的总体规划，重复建设；缺乏统一的设计标准，大多数系统都是由不同的厂商在不同的平台上，使用不同的语言进行开发的，信息交互共享困难，存在大量的信息孤岛和流程孤岛。
在没有数据共享交换产品前，不同部门进行数据资源整合需要相关负责人先在线下多部门协调沟通，没有统一流程规范，沟通协调好后，数据接入也需要技术人员在后端手工操作数据库进行数据导入，出错率高，效率低下。
发明内容
为克服上述现有的数据共享交换方法容易出错，效率低的问题或者至少部分地解决上述问题，本发明实施例提供一种数据共享交换方法及系统。
根据本发明实施例的第一方面，提供一种数据共享交换方法，包括：
根据用户发起的共享交换请求，将所述用户所请求的共享交换数据从源端数据库中抽取出来，基于CMSP云消息服务中间件对抽取出的所述共享交换数据进行传输；
根据用户预先配置的参数信息对传输的所述共享交换数据进行清洗和转换处理；
将处理后的所述共享交换数据梳理成资源目录体系，根据所述共享交换数据的资源目录将所述共享交换数据进行共享交换。
根据本发明实施例第二方面提供一种数据共享交换系统，包括：
采集子系统，用于根据用户发起的共享交换请求，将所述用户所请求的共享交换数据从源端数据库中抽取出来，基于CMSP云消息服务中间件对抽取出的所述共享交换数据进行传输；
处理子系统，用于根据用户预先配置的参数信息对传输的所述共享交换数据进行清洗和转换处理；
共享子系统，用于将处理后的所述共享交换数据梳理成资源目录体系，根据所述共享交换数据的资源目录将所述共享交换数据进行共享；
其中，在共享过程中所述共享交换数据基于CMSP云消息服务中间件进行传输。
根据本发明实施例的第三个方面，还提供一种电子设备，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的数据共享交换方法。
根据本发明实施例的第四个方面，还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的数据共享交换方法。
本发明实施例提供一种数据共享交换方法及系统，该方法通过根据用户的配置参数可实现对各种类型数据的共享交换，使用CMSP云消息服务中间件实现异构应用系统之间数据的高效可靠传输，灵活实现不同系统间的数据交换、数据共享与业务协同，加强信息资源管理，开展数据和应用整合，提高各系统信息资源的利用率，避免重复建设系统造成资源浪费，可以完全规范化、可视化、监控化的在线上进行操作，保障数据资源高效、稳定的进行共享交换。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的数据共享交换方法整体流程示意图；
图2为本发明实施例提供的数据共享交换装置整体结构示意图；
图3为本发明实施例提供的电子设备整体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的一个实施例中提供一种数据共享交换方法，图1为本发明实施例提供的数据共享交换方法整体流程示意图，该方法包括：S101，根据用户发起的共享交换请求，将所述用户所请求的共享交换数据从源端数据库中抽取出来，基于CMSP云消息服务中间件对抽取出的所述共享交换数据进行传输；
其中，用户为业务系统中的消费者。当用户需要与外部其他系统进行数据共享交换时，在数据集市中对共享交换数据进行申请。后端由业务管理员和系统管理员审核通过后即可发放相应权限给消费者，消费者通过相应权限在集市中获取共享交换数据。将共享交换数据从源端数据库抽取出来，转换为系统设定的通用数据格式，再根据目的端数据库的类型转换为对应的数据格式进行数据交换入库，以此支撑异构数据库间的交换，整个过程由抽取、转换和入库三部分构成。可以支持基于资源目录、数据库、文件等三种方式作为数据源端，适配多种类型的关系型数据库以及Hadoop体系的数据库和文件进行交换。数据交换过程支持全量数据交换和增量数据交换，增量数据抽取过程基于数据库日志，抽取过程中对源库性能影响非常小，对源数据可实时增量同步交换。
S102，根据用户预先配置的参数信息对传输的所述共享交换数据进行清洗和转换处理；
对抽取出的共享交换数据进行清洗和转换，用户配置完交换任务后可以进行高级配置。在数据转换方面，内置多种数据转换函数，可对源数据进行加工；在数据清洗方面，系统支持条件组过滤设置以及正则表达式匹配过滤两种方式设置，可对源数据过滤。在数据抽取后，读取用户配置信息，根据参数信息进行数据清洗和转换，实现数据质量、数据交换一站式处理。通过构建数据处理规范，建立统一完善的数据质量体系，从数据质量管理和数据服务体系两方面保障数据质量。
S103，将处理后的所述共享交换数据梳理成资源目录体系，根据所述共享交换数据的资源目录将所述共享交换数据进行共享；。
通过资源目录的方式，充分利用业务系统已有的资源目录体系进行共享交换。通过文件的方式，解决了传统方法非结构化数据无法进行共享交换的难题。共享交换的需求由消费者在数据集市发起。在底层可以通过数据交换将数据集中化、统一化，上层可以通过数据共享将资源开放化，整个过程可以可视化监控管理。基于CMSP云消息中间件对共享交换数据进行传输。CMSP是云和大数据时代的一种高性能消息中间件，以云服务和集群方式对外提供高性能和高可靠的消息队列服务。数据共享交换基于这种高效、可靠、安全、便捷、可弹性扩展的分布式消息服务系统，可自动对共享交换数据压缩、加密传输，保障数据可靠、高效、安全，支持随业务量、交换需求任务量动态增加或减少计算资源节点。同时，在数据交换过程中，能够动态查看数据交换任务的数据传输数据总量、实时传输速率等关键指标信息。
本实施例通过根据用户的配置参数可实现对各种类型数据的共享交换，使用CMSP云消息服务中间件实现异构应用系统之间数据的高效可靠传输，灵活实现不同系统间的数据交换、数据共享与业务协同，加强信息资源管理，开展数据和应用整合，提高各系统信息资源的利用率，避免重复建设系统造成资源浪费，可以完全规范化、可视化、监控化的在线上进行操作，保障数据资源高效、稳定的进行共享交换。
在上述实施例的基础上，本实施例中将所述用户所请求的共享交换数据从源端数据库中抽取出来的步骤之前还包括：获取用户在数据集市上发起的共享交换请求，并对所述共享交换请求进行审核；若审核通过，则获知所述用户具有访问所述共享交换数据的权限；相应地，根据所述共享交换数据的资源目录将所述共享交换数据进行共享的步骤具体包括：根据所述共享交换数据的资源目录和所述用户的访问权限将所述共享交换数据进行共享。
在上述实施例的基础上，本实施例中根据用户预先配置的参数信息对传输的所述共享交换数据进行清洗和转换处理的步骤之后还包括：将处理后的所述共享交换数据存储到中心库中；在所述中心库上层构建数据集市；相应地，将处理后的所述共享交换数据梳理成资源目录体系的步骤具体包括：将所述中心库中处理后的共享交换数据梳理成资源目录体系。
在上述实施例的基础上，本实施例中根据所述共享交换数据的资源目录将所述共享交换数据进行共享的步骤具体包括：根据所述共享交换数据的资源目录将所述共享交换数据以API、数据集、数据交换、数据报告和数据应用中的一种或多种方式进行共享。
具体地，通过资源目录体系将统一、集中的共享交换数据采用API(ApplicationProgramming Interface，应用程序编程接口)、数据集、数据交换、数据报告、数据应用等多种形式结合申请审批流程共享给外部其它系统使用。消费形式多样化，消费过程规范化。在数据交换的任务发起中，可由数据集市中的资源目录发起，也可以在后端的管理系统中，以创建交换任务的形式发起，方式多样。资源目录体系对数据共享具有管控能力，实现数据共享的可控、可管理。
在上述实施例的基础上，本实施例中将所述共享交换数据以API方式进行共享的步骤具体包括：根据用户配置的API参数信息进行API申请；审核通过后，将所述共享交换数据以RESTFUL接口或WEBSERVICE接口的形式提供给所述用户；将所述共享交换数据以数据集方式进行共享的步骤具体包括：根据用户配置的数据集参数信息进行数据集申请；审核通过后，将所述共享交换数据以CSV文件方式提供给所述用户。
具体地，在API形式的共享中，业务系统消费者通过订阅API接口，配置相应的输入参数、数据逻辑、排序逻辑和返回数据字段等信息进行API申请。审核通过后，系统以RESTFUL接口或WEBSERVICE接口的形式给消费者提供共享交换数据。在数据集形式的共享中，业务系统消费者订阅数据集，订阅时配置数据逻辑、排序逻辑和数据集字段信息进行数据集申请。审核通过后，系统以CSV(Comma-Separated Values，字符分隔值)文件方式给消费者提供共享交换数据。
在上述实施例的基础上，本实施例中将所述共享交换数据以数据交换方式进行共享的步骤具体包括：根据用户配置的数据交换参数信息进行数据交换申请；其中，数据交换参数信息包括目的数据库和前置机；审核通过后，在底层根据所述数据交换申请构建数据交换任务；执行所述数据交换任务调度，将所述共享交换数据交换到所述目的数据库。
具体地，在数据交换形式的共享中，业务系统消费者订阅资源目录中的数据资源，订阅时配置交换目的库、前置机等信息进行数据交换申请。审核通过后，系统在底层自动构建交换任务，执行数据交换任务调度，将共享交换数据交换到目的数据库。
在上述实施例的基础上，本实施例中将所述共享交换数据以数据报告方式进行共享的步骤具体包括：对用户在数据集市中的数据报告申请进行审查；审查通过后，获知所述用户具有访问所述共享交换数据的数据报告文件的权限；将所述共享交换数据以数据应用方式进行共享的步骤具体包括：对用户的数据应用申请进行审查；审查通过后，将所述共享交换数据以URL页面方式提供给所述用户。
具体地，在数据报告形式的共享中，系统以文件报告的形式提供数据资源，业务消费者在数据集市中申请订阅。审核通过后，消费者可直接下载或在线查看相关数据报告文件。在数据应用形式的共享中，系统以成熟的页面应用为共享交换数据，业务系统消费者申请订阅。审核通过后，系统以URL(Uniform Resource Locator，统一资源定位符)页面形式提供给消费者集成应用。
在本发明的另一个实施例中提供一种数据共享交换系统，该系统用于实现前述各实施例中的方法。因此，在前述数据共享交换方法的各实施例中的描述和定义，可以用于本发明实施例中各个执行模块的理解。图2为本发明实施例提供的数据共享交换系统整体结构示意图，该系统包括采集子系统201、处理子系统202和共享子系统203；其中：
采集子系统201用于根据用户发起的共享交换请求，将所述用户所请求的共享交换数据从源端数据库中抽取出来，基于CMSP云消息服务中间件对抽取出的所述共享交换数据进行传输；
其中，用户为业务系统中的消费者。当用户需要与外部其他系统进行数据共享交换时，在数据集市中对共享交换数据进行申请。后端由业务管理员和系统管理员审核通过后即可发放相应权限给消费者，消费者通过相应权限在集市中获取共享交换数据。采集子系统201将共享交换数据从源端数据库抽取出来，转换为系统设定的通用数据格式，再根据目的端数据库的类型转换为对应的数据格式进行数据交换入库，以此支撑异构数据库间的交换，整个过程由抽取、转换和入库三部分构成。可以支持基于资源目录、数据库、文件等三种方式作为数据源端，适配多种类型的关系型数据库以及Hadoop体系的数据库和文件进行交换。数据交换过程支持全量数据交换和增量数据交换，增量数据抽取过程基于数据库日志，抽取过程中对源库性能影响非常小，对源数据可实时增量同步交换。
处理子系统202用于根据用户预先配置的参数信息对传输的所述共享交换数据进行清洗和转换处理；
处理子系统202对抽取出的共享交换数据进行清洗和转换，用户配置完交换任务后可以进行高级配置。在数据转换方面，内置多种数据转换函数，可对源数据进行加工；在数据清洗方面，系统支持条件组过滤设置以及正则表达式匹配过滤两种方式设置，可对源数据过滤。在数据抽取后，读取用户配置信息，根据参数信息进行数据清洗和转换，实现数据质量、数据交换一站式处理。通过构建数据处理规范，建立统一完善的数据质量体系，从数据质量管理和数据服务体系两方面保障数据质量。
共享子系统203用于将处理后的所述共享交换数据梳理成资源目录体系，根据所述共享交换数据的资源目录将所述共享交换数据进行共享。
共享子系统203通过资源目录的方式，充分利用业务系统已有的资源目录体系进行共享交换。通过文件的方式，解决了传统方法非结构化数据无法进行共享交换的难题。共享交换的需求由消费者在数据集市发起。在底层可以通过数据交换将数据集中化、统一化，上层可以通过数据共享将资源开放化，整个过程可以可视化监控管理。基于CMSP云消息中间件对共享交换数据进行传输。CMSP是云和大数据时代的一种高性能消息中间件，以云服务和集群方式对外提供高性能和高可靠的消息队列服务。数据共享交换基于这种高效、可靠、安全、便捷、可弹性扩展的分布式消息服务系统，可自动对共享交换数据压缩、加密传输，保障数据可靠、高效、安全，支持随业务量、交换需求任务量动态增加或减少计算资源节点。同时，在数据交换过程中，能够动态查看数据交换任务的数据传输数据总量、实时传输速率等关键指标信息。
本实施例通过根据用户的配置参数可实现对各种类型数据的共享交换，使用CMSP云消息服务中间件实现异构应用系统之间数据的高效可靠传输，灵活实现不同系统间的数据交换、数据共享与业务协同，加强信息资源管理，开展数据和应用整合，提高各系统信息资源的利用率，避免重复建设系统造成资源浪费，可以完全规范化、可视化、监控化的在线上进行操作，保障数据资源高效、稳定的进行共享交换。
在上述实施例的基础上，本实施例中还包括审核子系统，用于获取用户在数据集市上发起的共享交换请求，并对所述共享交换请求进行审核；若审核通过，则获知所述用户具有访问所述共享交换数据的权限；相应地，共享子系统具体用于：根据所述共享交换数据的资源目录和所述用户的访问权限将所述共享交换数据进行共享。
在上述实施例的基础上，本实施例中还包括存储子系统，用于将处理后的所述共享交换数据存储到中心库中；在所述中心库上层构建数据集市；相应地，共享子系统进一步用于：将所述中心库中处理后的共享交换数据梳理成资源目录体系。
在上述实施例的基础上，本实施例中共享子系统具体用于：根据所述共享交换数据的资源目录将所述共享交换数据以API、数据集、数据交换、数据报告和数据应用中的一种或多种方式进行共享。
在上述实施例的基础上，本实施例中共享子系统进一步用于：根据用户配置的API参数信息进行API申请；审核通过后，将所述共享交换数据以RESTFUL接口或WEBSERVICE接口的形式提供给所述用户；根据用户配置的数据集参数信息进行数据集申请；审核通过后，将所述共享交换数据以CSV文件方式提供给所述用户。
在上述实施例的基础上，本实施例中本实施例中共享子系统进一步用于：根据用户配置的数据交换参数信息进行数据交换申请；其中，数据交换参数信息包括目的数据库和前置机；审核通过后，在底层根据所述数据交换申请构建数据交换任务；执行所述数据交换任务调度，将所述共享交换数据交换到所述目的数据库。
在上述实施例的基础上，本实施例中共享子系统进一步用于：对用户在数据集市中的数据报告申请进行审查；审查通过后，获知所述用户具有访问所述共享交换数据的数据报告文件的权限；对用户的数据应用申请进行审查；审查通过后，将所述共享交换数据以URL页面方式提供给所述用户。
本实施例提供一种电子设备，图3为本发明实施例提供的电子设备整体结构示意图，该设备包括：至少一个处理器301、至少一个存储器302和总线303；其中，
处理器301和存储器302通过总线303完成相互间的通信；
存储器302存储有可被处理器301执行的程序指令，处理器调用程序指令能够执行上述各方法实施例所提供的方法，例如包括：根据用户发起的共享交换请求，将所述用户所请求的共享交换数据从源端数据库中抽取出来，基于CMSP云消息服务中间件对抽取出的所述共享交换数据进行传输；根据用户预先配置的参数信息对传输的所述共享交换数据进行清洗和转换处理；将处理后的所述共享交换数据梳理成资源目录体系，根据所述共享交换数据的资源目录将所述共享交换数据进行共享。
本实施例提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行上述各方法实施例所提供的方法，例如包括：根据用户发起的共享交换请求，将所述用户所请求的共享交换数据从源端数据库中抽取出来，基于CMSP云消息服务中间件对抽取出的所述共享交换数据进行传输；根据用户预先配置的参数信息对传输的所述共享交换数据进行清洗和转换处理；将处理后的所述共享交换数据梳理成资源目录体系，根据所述共享交换数据的资源目录将所述共享交换数据进行共享。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种数据共享交换方法，其特征在于，包括：
根据用户发起的共享交换请求，将所述用户所请求的共享交换数据从源端数据库中抽取出来，基于CMSP云消息服务中间件对抽取出的所述共享交换数据进行传输；
根据用户预先配置的参数信息对传输的所述共享交换数据进行清洗和转换处理；
将处理后的所述共享交换数据梳理成资源目录体系，根据所述共享交换数据的资源目录将所述共享交换数据进行共享交换。
2.根据权利要求1所述的方法，其特征在于，根据用户发起的共享交换请求，将所述用户所请求的共享交换数据从源端数据库中抽取出来的步骤之前还包括：
获取用户在数据集市上发起的共享交换请求，并对所述共享交换请求进行审核；
若审核通过，则获知所述用户具有访问所述共享交换数据的权限；
相应地，根据所述共享交换数据的资源目录将所述共享交换数据进行共享的步骤具体包括：
根据所述共享交换数据的资源目录和所述用户的访问权限将所述共享交换数据进行共享。
3.根据权利要求1所述的方法，其特征在于，根据用户预先配置的参数信息对传输的所述共享交换数据进行清洗和转换处理的步骤之后还包括：
将处理后的所述共享交换数据存储到中心库中；
在所述中心库上层构建数据集市；
相应地，将处理后的所述共享交换数据梳理成资源目录体系的步骤具体包括：
将所述中心库中处理后的共享交换数据梳理成资源目录体系。
4.根据权利要求1所述的方法，其特征在于，根据所述共享交换数据的资源目录将所述共享交换数据进行共享的步骤具体包括：
根据所述共享交换数据的资源目录将所述共享交换数据以API、数据集、数据交换、数据报告和数据应用中的一种或多种方式进行共享。
5.根据权利要求4所述的方法，其特征在于，将所述共享交换数据以API方式进行共享的步骤具体包括：
根据用户配置的API参数信息进行API申请；
审核通过后，将所述共享交换数据以RESTFUL接口或WEBSERVICE接口的形式提供给所述用户；
将所述共享交换数据以数据集方式进行共享的步骤具体包括：
根据用户配置的数据集参数信息进行数据集申请；
审核通过后，将所述共享交换数据以CSV文件方式提供给所述用户。
6.根据权利要求4所述的方法，其特征在于，将所述共享交换数据以数据交换方式进行共享的步骤具体包括：
根据用户配置的数据交换参数信息进行数据交换申请；其中，数据交换参数信息包括目的数据库和前置机；
审核通过后，在底层根据所述数据交换申请构建数据交换任务；
执行所述数据交换任务调度，将所述共享交换数据交换到所述目的数据库。
7.根据权利要求4所述的方法，其特征在于，将所述共享交换数据以数据报告方式进行共享的步骤具体包括：
对用户在数据集市中的数据报告申请进行审查；
审查通过后，获知所述用户具有访问所述共享交换数据的数据报告文件的权限；
将所述共享交换数据以数据应用方式进行共享的步骤具体包括：
对用户的数据应用申请进行审查；
审查通过后，将所述共享交换数据以URL页面方式提供给所述用户。
8.一种数据共享交换系统，其特征在于，包括：
采集子系统，用于根据用户发起的共享交换请求，将所述用户所请求的共享交换数据从源端数据库中抽取出来，基于CMSP云消息服务中间件对抽取出的所述共享交换数据进行传输；
处理子系统，用于根据用户预先配置的参数信息对传输的所述共享交换数据进行清洗和转换处理；
共享子系统，用于将处理后的所述共享交换数据梳理成资源目录体系，根据所述共享交换数据的资源目录将所述共享交换数据进行共享。
9.一种电子设备，其特征在于，包括：
至少一个处理器、至少一个存储器和总线；其中，
所述处理器和存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至7任一所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811550447.0A CN109800262A (zh) | 2018-12-18 | 2018-12-18 | 数据共享交换方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811550447.0A CN109800262A (zh) | 2018-12-18 | 2018-12-18 | 数据共享交换方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109800262A true CN109800262A (zh) | 2019-05-24 |
Family
ID=66557188
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811550447.0A Pending CN109800262A (zh) | 2018-12-18 | 2018-12-18 | 数据共享交换方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109800262A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110445877A (zh) * | 2019-08-21 | 2019-11-12 | 中国联合网络通信集团有限公司 | 一种数据共享的方法和系统 |
| CN110490007A (zh) * | 2019-08-26 | 2019-11-22 | 顺德职业技术学院 | 一种基于互联网的计算机数据安全共享平台 |
| CN110519185A (zh) * | 2019-08-28 | 2019-11-29 | 福建威盾科技集团有限公司 | 一种新型跨网络数据交换的方法 |
| CN110602226A (zh) * | 2019-09-19 | 2019-12-20 | 浪潮软件集团有限公司 | 一种基于cmsp的消息转发及缓存的方法 |
| CN110750596A (zh) * | 2019-10-28 | 2020-02-04 | 山东健康医疗大数据有限公司 | 一种医疗机构实现信息共享的流程设计方法 |
| CN111355785A (zh) * | 2020-02-20 | 2020-06-30 | 浪潮软件集团有限公司 | 一种基于cmsp的ftp安全传输系统及方法 |
| CN111522803A (zh) * | 2020-04-14 | 2020-08-11 | 北京仁科互动网络技术有限公司 | 软件服务化平台的租户交互方法、装置及电子设备 |
| CN112148689A (zh) * | 2020-10-28 | 2020-12-29 | 云赛智联股份有限公司 | 一种用于城市级数据中台的数据共享交换系统 |
| CN113051323A (zh) * | 2021-03-11 | 2021-06-29 | 江苏省生态环境监控中心(江苏省环境信息中心) | 一种水环境大数据交换方法 |
| CN114500563A (zh) * | 2021-12-27 | 2022-05-13 | 四川华西集采电子商务有限公司 | 一种高效数据共享的方法及系统 |
| CN115086347A (zh) * | 2022-05-20 | 2022-09-20 | 北京中科江南信息技术股份有限公司 | 数据同步方法、装置、电子设备及存储介质 |
| CN116932498A (zh) * | 2023-07-10 | 2023-10-24 | 武汉珞珈德毅科技股份有限公司 | 一种基于小区改造的数据共享交换方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7660782B2 (en) * | 2007-10-05 | 2010-02-09 | Wipro Limited | Architecture for master data management in an enterprise |
| US7761406B2 (en) * | 2004-03-16 | 2010-07-20 | International Business Machines Corporation | Regenerating data integration functions for transfer from a data integration platform |
| CN103607469A (zh) * | 2013-11-28 | 2014-02-26 | 东莞中国科学院云计算产业技术创新与育成中心 | 一种实现分布式异构数据共享的云平台及其数据共享方法 |
| CN105472042A (zh) * | 2016-01-15 | 2016-04-06 | 中煤电气有限公司 | Web端控制的消息中间件系统及其数据传送方法 |
| CN107395739A (zh) * | 2017-08-11 | 2017-11-24 | 安徽晶奇网络科技股份有限公司 | 一种数据交换共享平台 |
| CN108388615A (zh) * | 2018-02-09 | 2018-08-10 | 杭州数梦工场科技有限公司 | 一种数据交换方法、系统以及电子设备 |
| CN108446335A (zh) * | 2018-02-27 | 2018-08-24 | 广州港数据科技有限公司 | 基于数据库的异构系统数据抽取及统一对外数据交换方法 |
-
2018
- 2018-12-18 CN CN201811550447.0A patent/CN109800262A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7761406B2 (en) * | 2004-03-16 | 2010-07-20 | International Business Machines Corporation | Regenerating data integration functions for transfer from a data integration platform |
| US7660782B2 (en) * | 2007-10-05 | 2010-02-09 | Wipro Limited | Architecture for master data management in an enterprise |
| CN103607469A (zh) * | 2013-11-28 | 2014-02-26 | 东莞中国科学院云计算产业技术创新与育成中心 | 一种实现分布式异构数据共享的云平台及其数据共享方法 |
| CN105472042A (zh) * | 2016-01-15 | 2016-04-06 | 中煤电气有限公司 | Web端控制的消息中间件系统及其数据传送方法 |
| CN107395739A (zh) * | 2017-08-11 | 2017-11-24 | 安徽晶奇网络科技股份有限公司 | 一种数据交换共享平台 |
| CN108388615A (zh) * | 2018-02-09 | 2018-08-10 | 杭州数梦工场科技有限公司 | 一种数据交换方法、系统以及电子设备 |
| CN108446335A (zh) * | 2018-02-27 | 2018-08-24 | 广州港数据科技有限公司 | 基于数据库的异构系统数据抽取及统一对外数据交换方法 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110445877A (zh) * | 2019-08-21 | 2019-11-12 | 中国联合网络通信集团有限公司 | 一种数据共享的方法和系统 |
| CN110490007A (zh) * | 2019-08-26 | 2019-11-22 | 顺德职业技术学院 | 一种基于互联网的计算机数据安全共享平台 |
| CN110519185A (zh) * | 2019-08-28 | 2019-11-29 | 福建威盾科技集团有限公司 | 一种新型跨网络数据交换的方法 |
| CN110602226A (zh) * | 2019-09-19 | 2019-12-20 | 浪潮软件集团有限公司 | 一种基于cmsp的消息转发及缓存的方法 |
| CN110750596A (zh) * | 2019-10-28 | 2020-02-04 | 山东健康医疗大数据有限公司 | 一种医疗机构实现信息共享的流程设计方法 |
| CN111355785A (zh) * | 2020-02-20 | 2020-06-30 | 浪潮软件集团有限公司 | 一种基于cmsp的ftp安全传输系统及方法 |
| CN111522803A (zh) * | 2020-04-14 | 2020-08-11 | 北京仁科互动网络技术有限公司 | 软件服务化平台的租户交互方法、装置及电子设备 |
| CN111522803B (zh) * | 2020-04-14 | 2023-05-19 | 北京仁科互动网络技术有限公司 | 软件服务化平台的租户交互方法、装置及电子设备 |
| CN112148689A (zh) * | 2020-10-28 | 2020-12-29 | 云赛智联股份有限公司 | 一种用于城市级数据中台的数据共享交换系统 |
| CN113051323A (zh) * | 2021-03-11 | 2021-06-29 | 江苏省生态环境监控中心(江苏省环境信息中心) | 一种水环境大数据交换方法 |
| CN113051323B (zh) * | 2021-03-11 | 2023-09-01 | 江苏省生态环境监控中心(江苏省环境信息中心) | 一种水环境大数据交换方法 |
| CN114500563A (zh) * | 2021-12-27 | 2022-05-13 | 四川华西集采电子商务有限公司 | 一种高效数据共享的方法及系统 |
| CN115086347A (zh) * | 2022-05-20 | 2022-09-20 | 北京中科江南信息技术股份有限公司 | 数据同步方法、装置、电子设备及存储介质 |
| CN115086347B (zh) * | 2022-05-20 | 2024-03-08 | 北京中科江南信息技术股份有限公司 | 数据同步方法、装置、电子设备及存储介质 |
| CN116932498A (zh) * | 2023-07-10 | 2023-10-24 | 武汉珞珈德毅科技股份有限公司 | 一种基于小区改造的数据共享交换方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109800262A (zh) | 数据共享交换方法及系统 | |
| US10901791B2 (en) | Providing configurable workflow capabilities | |
| CN108536761B (zh) | 报表数据查询方法及服务器 | |
| US20190362004A1 (en) | Data platform fabric | |
| US11392878B2 (en) | Method, apparatus, and computer program product for low latency serving of interactive enterprise analytics within an enterprise group-based communication system | |
| CN104899274B (zh) | 一种内存数据库高效远程访问方法 | |
| CN115374102A (zh) | 数据处理方法及系统 | |
| CN113779609B (zh) | 数据管理方法、装置、电子设备及存储介质 | |
| CN112867989A (zh) | 基于流的组成以及监视服务器系统和方法 | |
| CN109710413A (zh) | 一种半结构化文本数据的规则引擎系统的整体计算方法 | |
| CN112685499A (zh) | 一种工作业务流的流程数据同步方法、装置及设备 | |
| CN112860653A (zh) | 一种政务信息资源目录管理方法和系统 | |
| CN107609172A (zh) | 一种跨系统多维度数据检索处理方法及装置 | |
| US20100010979A1 (en) | Reduced Volume Precision Data Quality Information Cleansing Feedback Process | |
| CN109829003A (zh) | 数据库备份方法及装置 | |
| CN110929130B (zh) | 一种基于分布式调度的公安部级审计数据查询方法 | |
| CN117950850A (zh) | 一种数据传输方法、装置、电子设备及计算机可读介质 | |
| CN113888139A (zh) | 一种变电站数据资产统一调管系统的构建方法及系统 | |
| CN112417838A (zh) | 可配置的自动化报表系统 | |
| Okoh et al. | Development of IoT Cloud-based Platform for Smart Farming in the Sub saharan Africa with Implementation of Smart-irrigation as Test-Case | |
| CN113077227B (zh) | 企业信息门户群聊数量处理方法、装置和电子设备 | |
| CN117009327B (zh) | 一种数据处理方法、装置及计算机设备、介质 | |
| CN117354325A (zh) | 一种重载铁路电务专业大数据共享系统 | |
| Wang et al. | The Design of Satellite Telemetry Data Storage and Analysis Software based on HBase Database | |
| Culler et al. | Resilience Application: MIRACL Advisory Board Meeting 2022 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190524 |
|
| RJ01 | Rejection of invention patent application after publication |