CN109325068B - 一种数据交换方法和装置 - Google Patents
一种数据交换方法和装置 Download PDFInfo
- Publication number
- CN109325068B CN109325068B CN201810907754.3A CN201810907754A CN109325068B CN 109325068 B CN109325068 B CN 109325068B CN 201810907754 A CN201810907754 A CN 201810907754A CN 109325068 B CN109325068 B CN 109325068B
- Authority
- CN
- China
- Prior art keywords
- data
- target
- information
- demander
- resource information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种数据交换方法和装置。其中数据提供方与数据需求方采用相同的领域模型,基于相同的领域模型,数据提供方对数据需求方欲获取的目标数据进行编目,并将编目信息向数据需求方予以发布。方法包括:数据提供方接收数据需求方发送的获取目标数据的交换请求;在依据数据需求方的用户信息验证数据需求方合法时,确定目标kettle server;在目标kettle server上,依据目标数据的数据资源信息、目标数据库资源信息和数据转换信息创建任务;依据任务调度信息执行所述任务,从而获得目标数据;将获得的目标数据发送至数据需求方。本发明解决了现有跨领域数据交换方法存在的数据异构和平台异构问题。
Description
技术领域
本发明涉及数据交换技术领域,尤其涉及一种基于Kettle和编目技术实现的跨领域的数据交换方法和装置。
背景技术
在跨领域数据交换的业务场景中(一般是异构系统之间),不同的业务单元常常需要通过一个数据平台进行数据交换和共享。
由于各业务领域的系统由不同单位采用各自的数据标准进行开发,数据标准之间并未考虑协同,因此不可避免地造成数据异构,特别表现在数据的语义、格式、编码方式的不同,导致两个异构系统之间很难直接进行数据交换。同时,各业务单元采用不同的基础环境,比如不同的数据库、操作系统、网络环境等,因此数据交换难免遭遇平台异构带来的问题。
因此,目前的跨领域数据交换方法存在数据异构和平台异构的问题。
发明内容
有鉴于此,本发明提供一种数据交换方法和装置,以解决现有跨领域数据交换方法存在的数据异构和平台异构问题。技术方案如下:
基于本发明的一方面,本发明提供一种数据交换方法,应用于数据提供方,所述数据提供方与数据需求方采用相同的领域模型;基于所述相同的领域模型,所述数据提供方对所述数据需求方欲获取的目标数据进行编目,并将编目信息向所述数据需求方予以发布;方法包括:
接收所述数据需求方发送的获取目标数据的交换请求,所述交换请求包括所述目标数据的数据资源信息、目标数据库资源信息、数据转换信息、任务调度信息、所述数据需求方的用户信息;
在依据所述数据需求方的用户信息验证所述数据需求方合法时,确定目标kettleserver;
在所述目标kettle server上,依据所述目标数据的数据资源信息、所述目标数据库资源信息和所述数据转换信息创建任务;
依据所述任务调度信息执行所述任务,从而获得所述目标数据;
将获得的所述目标数据发送至所述数据需求方。
可选地,所述领域模型由参与数据交换的业务单元进行定制。
可选地,所述数据提供方包括kettle server集群;所述确定目标kettle server包括:
依据所述kettle server集群中各节点的负载能力,从所述kettle server集群中确定出所述目标kettle server。
基于本发明的另一方面,本发明提供一种数据交换方法,应用于数据需求方,所述数据需求方与数据提供方采用相同的领域模型;基于所述相同的领域模型,所述数据提供方对所述数据需求方欲获取的目标数据进行编目,并将编目信息向所述数据需求方予以发布;方法包括:
在检测到基于所述编目信息确定获取所述目标数据的触发请求后,封装所述目标数据的数据资源信息以及目标数据库资源信息;
在验证所述目标数据的数据资源信息以及所述目标数据库资源信息合法后,封装数据转换信息以及任务调度信息;
在验证所述数据转换信息以及所述任务调度信息合法后,封装所述数据需求方的用户信息;
在依据所述数据需求方的用户信息验证所述数据需求方合法后,向所述数据提供方发送获取所述目标数据的交换请求,所述交换请求包括所述目标数据的数据资源信息、目标数据库资源信息、数据转换信息、任务调度信息、所述数据需求方的用户信息;
接收所述数据提供方返回的所述目标数据。
可选地,所述交换请求为http请求。
基于本发明的再一方面,本发明提供一种数据交换装置,应用于数据提供方,所述数据提供方与数据需求方采用相同的领域模型;基于所述相同的领域模型,所述数据提供方对所述数据需求方欲获取的目标数据进行编目,并将编目信息向所述数据需求方予以发布;装置包括:
交换请求接收单元,用于接收所述数据需求方发送的获取目标数据的交换请求,所述交换请求包括所述目标数据的数据资源信息、目标数据库资源信息、数据转换信息、任务调度信息、所述数据需求方的用户信息;
用户合法性验证单元,用于依据所述数据需求方的用户信息验证所述数据需求方是否合法;
目标节点确定单元,用于在所述用户合法性验证单元依据所述数据需求方的用户信息验证所述数据需求方合法时,确定目标kettle server;
任务创建单元,用于在所述目标kettle server上,依据所述目标数据的数据资源信息、所述目标数据库资源信息和所述数据转换信息创建任务;
任务执行单元,用于依据所述任务调度信息执行所述任务,从而获得所述目标数据;
数据发送单元,用于将获得的所述目标数据发送至所述数据需求方。
可选地,所述领域模型由参与数据交换的业务单元进行定制。
可选地,所述数据提供方包括kettle server集群;所述目标节点确定单元具体用于:依据所述kettle server集群中各节点的负载能力,从所述kettle server集群中确定出所述目标kettle server。
基于本发明的再一方面,本发明提供一种数据交换装置,应用于数据需求方,所述数据需求方与数据提供方采用相同的领域模型;基于所述相同的领域模型,所述数据提供方对所述数据需求方欲获取的目标数据进行编目,并将编目信息向所述数据需求方予以发布;装置包括:
检测单元,用于检测基于所述编目信息确定获取所述目标数据的触发请求;
第一封装单元,用于在所述检测单元检测到基于所述编目信息确定获取所述目标数据的触发请求后,封装所述目标数据的数据资源信息以及目标数据库资源信息;
第一合法性验证单元,用于验证所述目标数据的数据资源信息以及所述目标数据库资源信息是否合法;
第二封装单元,用于在所述第一合法性验证单元验证所述目标数据的数据资源信息以及所述目标数据库资源信息合法后,封装数据转换信息以及任务调度信息;
第二合法性验证单元,用于验证所述数据转换信息以及所述任务调度信息是否合法;
第三封装单元,用于在所述第二合法性验证单元验证所述数据转换信息以及所述任务调度信息合法后,封装所述数据需求方的用户信息;
第三合法性验证单元,用于依据所述数据需求方的用户信息验证所述数据需求方是否合法;
请求发送单元,用于在所述第三合法性验证单元依据所述数据需求方的用户信息验证所述数据需求方合法后,向所述数据提供方发送获取所述目标数据的交换请求,所述交换请求包括所述目标数据的数据资源信息、目标数据库资源信息、数据转换信息、任务调度信息、所述数据需求方的用户信息;
数据接收单元,用于接收所述数据提供方返回的所述目标数据。
可选地,所述交换请求为http请求。
本发明提供的数据交换方法和装置中,数据提供方与数据需求方采用相同的领域模型,基于该相同的领域模型,数据提供方对数据需求方欲获取的目标数据进行编目,并将编目信息向数据需求方予以发布,使得编目信息对数据需求方可见。本发明在数据进行交换之前,数据提供方与数据需求方采用相同的领域模型来描述和读取数据资源,使得数据资源统一,解决了数据异构问题。在数据进行交换时,数据提供方依据数据需求方发送的获取目标数据的交换请求,基于kettle调用目标kettle server来创建、执行任务,从而获得目标数据,并将获得的目标数据发送至数据需求方。本发明提供的数据传输方式能够应用于不同平台的不同基础环境中,在跨平台中被不同的基础环境所接受,解决了平台异构问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明提供的一种数据交换方法的流程图;
图2为本发明提供的另一种数据交换方法的流程图;
图3为本发明提供的一种数据交换装置的结构示意图;
图4为本发明提供的另一种数据交换装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在具体介绍本发明提供的数据交换方法前,申请人首选对本发明涉及的相关技术术语进行解释。
Kettle:一种开源的ETL工具,可以管理来自不同数据库的数据,实现不同数据库之间的数据抽取。
编目:根据统一的领域模型,对数据资源进行多维描述,并将描述部分予以发布的过程。
在跨领域的数据交换业务场景中,有效的数据交换需要保证两个方面:1.可见性,即如何告知对方,本方有哪些可以共享的数据;2.可得性,即如何实现数据交互。本发明提供一种基于Kettle和编目技术实现的跨领域的数据交换方法和装置,能够保证业务场景中的可见性和可得性。
在业务场景中,数据交换的过程包括数据提供方和数据需求方,数据需求方在获取数据资源之前,需要先了解数据提供方的数据资源的基本情况(即可见性)。针对此,本发明通过编目技术实现可见性。具体地,本发明中的数据提供方与数据需求方采用相同的领域模型,编目的基础便是双方统一的领域模型。本发明中,数据提供方与数据需求方采用相同的领域模型来描述和读取数据资源,其中领域模型包括但不限于,格式统一的资源标识符、资源分类分级字典、组织机构字典等。
本发明中,数据资源的领域模型可以由参与交换的业务单元协调定制,可以被各业务单元接受并实现,实现领域模型的灵活定制化需求。通常,领域模型要涵盖以下几个维度:
(1)格式统一的资源标识符,该资源标识符是一项数据资源的唯一标识;
(2)资源名称;
(3)资源关键词;
(4)资源简述;
(5)资源状态信息;
(6)资源权限信息;
(7)资源所属组织,用于描述资源的拥有者;
(8)资源分级分类体系,比如资源主题、资源类型、资源分级等,可同时支持独立分类体系和层级分类体系。
其中,组织机构和分级分类体系需要由对应的维表支持,维表的维护交由中间角色负责。
基于相同的领域模型,本发明中的数据提供方对数据需求方欲获取的目标数据进行编目,并将编目信息向数据需求方予以发布,使编目信息对数据需求方可见,由此数据需求方通过查看编目信息,能够从中选中欲获取的目标数据。具体地本发明中,当用户基于编目信息选中某个数据后,便确定该选中的某个数据为数据需求方确定的欲获取的目标数据。进而,数据需求方通过调用目标接口,提供规范的目标数据库资源信息、后台自动封装接口信息、目标数据的数据资源信息等,通过http请求调用kettle server来得到目标数据。
对于可见性,本发明在数据需求方确定欲获取的目标数据后,向数据提供方发送获取目标数据的交换请求。数据提供方基于kettle,采用远程调用kettle server的方法,在确定的目标kettle server上,依据目标数据的数据资源信息、目标数据库资源信息和数据转换信息创建任务,并依据任务调度信息执行所述任务,从而获得所述目标数据,将目标数据按要求抽取到目标数据库中,实现一次数据交换。本发明提供的数据传输方式能够应用于不同平台的不同基础环境中,在跨平台中被不同的基础环境所接受,解决了平台异构问题。
本发明提供的数据交换方法用以实现的跨领域的数据交换的应用场景具体以下几个特点:
(1)存在异构系统,且系统之间有数据交换的需求;
(2)参与交换的数据属于关系型数据;
(3)系统支持http协议;
(4)系统支持kettle服务;
(5)系统存在类似数据中心的中间角色,可以提供协调和管理服务。
如图1所示,本发明提供的数据交换方法应用于数据提供方,所述数据提供方与数据需求方采用相同的领域模型。基于所述相同的领域模型,所述数据提供方对所述数据需求方欲获取的目标数据进行编目,并将编目信息向所述数据需求方予以发布。方法可以包括:
步骤101,接收所述数据需求方发送的获取目标数据的交换请求,所述交换请求包括所述目标数据的数据资源信息、目标数据库资源信息、数据转换信息、任务调度信息、所述数据需求方的用户信息。
其中目标数据的数据资源信息例如包括所需字段信息;目标数据库资源信息例如包括完整的数据库连接串、表名等;数据转换信息例如包括过滤、字段合并等各种处理方式,本发明根据数据转换信息能够生成符合kettle规范的数据包;任务调度信息包括任务的调度时间、调度频次等基本信息;用户信息包括用户权限等。
具体地,本发明中数据需求方向数据提供方发送的获取目标数据的交换请求为http请求。
步骤102,在依据所述数据需求方的用户信息验证所述数据需求方合法时,确定目标kettle server。
具体地,本发明可以根据数据需求方的用户信息中的用户权限验证该数据需求方获取目标数据的合法性。如果用户权限表明该数据需求方允许获取目标数据,则验证该数据需求方合法,如果用户权限表明该数据需求方不允许获取目标数据,则验证该数据需求方不合法。当然本发明还可以采用其他合法性验证方式,本发明对此不作限定。
本发明在依据所述数据需求方的用户信息验证所述数据需求方合法时,进一步确定数据提供方侧的目标kettle server。
本发明中,为了提高作业性能,优选地数据提供方根据各kettle server(kettle服务器)的条件,尽可能部署成集群,得到一kettle server集群。
对于kettle server集群,本发明步骤102可以具体为:依据所述kettle server集群中各节点的负载能力,从所述kettle server集群中确定出所述目标kettle server。
本发明在虚拟机部署开始前,通过物理服务器动态性能数据,使虚拟机在部署时最大程度趋向合理,避免在运行时的热迁移,尽量保证虚拟机上运行的服务的稳定性。同时,调度过程也受用户选择的调度策略的影响(如计算密集型、内存密集型、IO密集型、网络密集型),从而使得虚拟机运行的服务器环境尽量能满足实际需求。再次,本发明在候选服务器集合中选取最优服务器时,通过一次性建立最小堆,后续不断更新堆的方式减小遍历候选服务器的次数,提高调度的时间效率。
步骤103,在所述目标kettle server上,依据所述目标数据的数据资源信息、所述目标数据库资源信息和所述数据转换信息创建任务。
步骤104,依据所述任务调度信息执行所述任务,从而获得所述目标数据。
本发明中,在确定的目标kettle server上,本发明依据目标数据的数据资源信息、目标数据库资源信息和数据转换信息创建任务,并进一步依据任务调度信息执行所述任务,从而获得目标数据。
步骤105,将获得的所述目标数据发送至所述数据需求方。
本发明在获得目标数据后,将目标数据按要求抽取到数据需求方对应的目标数据库中,实现一次数据交换。
本发明提供的数据交换方法中,在数据进行交换之前,因为数据提供方与数据需求方采用相同的领域模型,基于该相同的领域模型,数据提供方对数据需求方欲获取的目标数据进行编目,并将编目信息向数据需求方予以发布,使得编目信息对数据需求方可见。本发明在数据交换之前,数据提供方与数据需求方采用相同的领域模型来描述和读取数据资源,使得数据资源统一,解决了数据异构问题。
在数据需求方选择目标数据,向数据提供方发送获取目标数据的交换请求的触发行为中,其本质是通过http请求向kettle server提交符合规范的数据包,从而使得kettleserver创建并执行kettle job。该过程中,数据提供方依据数据需求方发送的获取目标数据的交换请求,基于kettle调用目标kettle server来创建、执行任务,从而获得目标数据,并将获得的目标数据发送至数据需求方的数据传输方式能够应用于不同平台的不同基础环境中,在跨平台中被不同的基础环境所接受,解决了平台异构问题。
同时,考虑到本发明的业务环境是组织内不同业务领域的数据交换,数据资源具备一定的共性,因此本发明只需要数据资源的统一模型,而无需开发粒度更细的模型,这样可以降低成本。且在数据传输方面,本发明依赖http协议调用kettle server,真实的数据交换是通过kettle来实现,考虑到大多数作业环境都能支持http协议,kettle可以部署成集群提升作业性能,因此实际性能得到保证。
如图2所示,本发明提供的数据交换方法应用于数据需求方,所述数据需求方与数据提供方采用相同的领域模型。基于所述相同的领域模型,所述数据提供方对所述数据需求方欲获取的目标数据进行编目,并将编目信息向所述数据需求方予以发布,所述数据提供方包括kettle server集群;方法可以包括:
步骤201,在检测到基于所述编目信息确定获取所述目标数据的触发请求后,封装所述目标数据的数据资源信息以及目标数据库资源信息。
本发明中,当用户基于编目信息选中某个数据后,便触发了确定该选中的某个数据为数据需求方确定的欲获取的目标数据的触发请求,进而获取目标数据的数据资源信息以及目标数据库资源信息,依次封装所述目标数据的数据资源信息以及目标数据库资源信息。
步骤202,验证所述目标数据的数据资源信息以及所述目标数据库资源信息是否合法。如果合法,执行步骤203,如果不合法,执行步骤209。
具体地,本发明可以根据目标数据的数据库资源信息,向目标数据库发送请求,模拟连接目标数据的数据库,如果模拟连接成功,则确定目标数据库资源信息合法,如果模拟连接不成功,则确定目标数据库资源信息不合法。进一步,在确定目标数据库资源信息合法的前提下,基于该相同的领域模型匹配目标数据的数据资源信息,如果匹配一致,则确定数据资源信息合法,如果匹配不一致,则确定数据资源信息不合法。
步骤203,封装数据转换信息以及任务调度信息。
步骤204,验证所述数据转换信息以及所述任务调度信息是否合法。如果合法,执行步骤205,如果不合法,执行步骤209。
具体地,本发明可以根据数据转换步骤与目标数据库进行验证,包括验证目标数据字段名,验证目标数据字段数据类型,验证正则表达式匹配等,本发明不限定于以上验证方法。其中例如,如果错误数据行数占总数据量没有超过预先设定的百分比阈值,则确定数据转换信息合法,如果错误数据行数占总数据量超过预先设定的百分比阈值,则确定数据转换信息不合法。
具体地,本发明可以通过验证任务调度生效开始时间是否存在、任务调度开始时间小于结束时间等方法来判断任务调度信息是否合法。例如,如果以上条件均满足,则可以确定任务调度信息合法,如果有异常情况发生,则确定任务调度信息不合法。
步骤205,封装所述数据需求方的用户信息。
步骤206,依据所述数据需求方的用户信息验证所述数据需求方是否合法。如果合法,执行步骤207,如果不合法,执行步骤209。
具体地,本发明可以根据数据需求方的用户信息中的用户权限验证数据需求方获取目标数据的合法性。如果用户权限表明该数据需求方允许获取目标数据,则验证该数据需求方合法,如果用户权限表明该数据需求方不允许获取目标数据,则验证该数据需求方不合法。当然本发明还可以采用其他合法性验证方式,本发明对此不作限定。
需要说明的是,对于本发明步骤201至步骤206所涉及的封装过程(也称之为封装阶段)应尽量减少不必要数据的封装,以减轻生成并检测触发请求(也称之为请求阶段)的网络负载。
步骤207,向所述数据提供方发送获取所述目标数据的交换请求,所述交换请求包括所述目标数据的数据资源信息、目标数据库资源信息、数据转换信息、任务调度信息、所述数据需求方的用户信息。
步骤208,接收所述数据提供方返回的所述目标数据。
步骤209,结束。
基于前文本发明提供的一种数据交换方法,本发明还提供一种数据交换装置。该装置应用于数据提供方,所述数据提供方与数据需求方采用相同的领域模型;基于所述相同的领域模型,所述数据提供方对所述数据需求方欲获取的目标数据进行编目,并将编目信息向所述数据需求方予以发布。如图3所示,装置可以包括:
交换请求接收单元10,用于接收所述数据需求方发送的获取目标数据的交换请求,所述交换请求包括所述目标数据的数据资源信息、目标数据库资源信息、数据转换信息、任务调度信息、所述数据需求方的用户信息;
用户合法性验证单元20,用于依据所述数据需求方的用户信息验证所述数据需求方是否合法;
目标节点确定单元30,用于在所述用户合法性验证单元20依据所述数据需求方的用户信息验证所述数据需求方合法时,确定目标kettle server;
任务创建单元40,用于在所述目标kettle server上,依据所述目标数据的数据资源信息、所述目标数据库资源信息和所述数据转换信息创建任务;
任务执行单元50,用于依据所述任务调度信息执行所述任务,从而获得所述目标数据;
数据发送单元60,用于将获得的所述目标数据发送至所述数据需求方。
本发明中,领域模型由参与数据交换的业务单元进行定制。
本发明中,数据提供方包括kettle server集群;所述目标节点确定单元30具体用于:依据所述kettle server集群中各节点的负载能力,从所述kettle server集群中确定出所述目标kettle server。
基于前文本发明提供的一种数据交换方法,本发明还提供一种数据交换装置。该装置应用于数据需求方,所述数据需求方与数据提供方采用相同的领域模型;基于所述相同的领域模型,所述数据提供方对所述数据需求方欲获取的目标数据进行编目,并将编目信息向所述数据需求方予以发布。如图4所示,装置可以包括:
检测单元100,用于检测基于所述编目信息确定获取所述目标数据的触发请求;
第一封装单元200,用于在所述检测单元100检测到基于所述编目信息确定获取所述目标数据的触发请求后,封装所述目标数据的数据资源信息以及目标数据库资源信息;
第一合法性验证单元300,用于验证所述目标数据的数据资源信息以及所述目标数据库资源信息是否合法;
第二封装单元400,用于在所述第一合法性验证单元300验证所述目标数据的数据资源信息以及所述目标数据库资源信息合法后,封装数据转换信息以及任务调度信息;
第二合法性验证单元500,用于验证所述数据转换信息以及所述任务调度信息是否合法;
第三封装单元600,用于在所述第二合法性验证单元500验证所述数据转换信息以及所述任务调度信息合法后,封装所述数据需求方的用户信息;
第三合法性验证单元700,用于依据所述数据需求方的用户信息验证所述数据需求方是否合法;
请求发送单元800,用于在所述第三合法性验证单元700依据所述数据需求方的用户信息验证所述数据需求方合法后,向所述数据提供方发送获取所述目标数据的交换请求,所述交换请求包括所述目标数据的数据资源信息、目标数据库资源信息、数据转换信息、任务调度信息、所述数据需求方的用户信息;
数据接收单元900,用于接收所述数据提供方返回的所述目标数据。
本发明中,所述交换请求可以具体为http请求。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种数据交换方法和装置进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种数据交换方法,应用于数据提供方,其特征在于,所述数据提供方与数据需求方采用相同的领域模型;基于所述相同的领域模型,所述数据提供方对所述数据需求方欲获取的目标数据进行编目,并将编目信息向所述数据需求方予以发布;方法包括:
接收所述数据需求方发送的获取目标数据的交换请求,所述交换请求包括所述目标数据的数据资源信息、目标数据库资源信息、数据转换信息、任务调度信息、所述数据需求方的用户信息;
在依据所述数据需求方的用户信息验证所述数据需求方合法时,确定目标kettleserver;
在所述目标kettle server上,依据所述目标数据的数据资源信息、所述目标数据库资源信息和所述数据转换信息创建任务;
依据所述任务调度信息执行所述任务,从而获得所述目标数据;
将获得的所述目标数据发送至所述数据需求方。
2.根据权利要求1所述的方法,其特征在于,所述领域模型由参与数据交换的业务单元进行定制。
3.根据权利要求1或2所述的方法,其特征在于,所述数据提供方包括kettle server集群;所述确定目标kettle server包括:
依据所述kettle server集群中各节点的负载能力,从所述kettle server集群中确定出所述目标kettle server。
4.一种数据交换方法,应用于数据需求方,其特征在于,所述数据需求方与数据提供方采用相同的领域模型;基于所述相同的领域模型,所述数据提供方对所述数据需求方欲获取的目标数据进行编目,并将编目信息向所述数据需求方予以发布;方法包括:
在检测到基于所述编目信息确定获取所述目标数据的触发请求后,封装所述目标数据的数据资源信息以及目标数据库资源信息;
在验证所述目标数据的数据资源信息以及所述目标数据库资源信息合法后,封装数据转换信息以及任务调度信息;
在验证所述数据转换信息以及所述任务调度信息合法后,封装所述数据需求方的用户信息;
在依据所述数据需求方的用户信息验证所述数据需求方合法后,向所述数据提供方发送获取所述目标数据的交换请求,所述交换请求包括所述目标数据的数据资源信息、目标数据库资源信息、数据转换信息、任务调度信息、所述数据需求方的用户信息;
接收所述数据提供方返回的所述目标数据。
5.根据权利要求4所述的方法,其特征在于,所述交换请求为http请求。
6.一种数据交换装置,应用于数据提供方,其特征在于,所述数据提供方与数据需求方采用相同的领域模型;基于所述相同的领域模型,所述数据提供方对所述数据需求方欲获取的目标数据进行编目,并将编目信息向所述数据需求方予以发布;装置包括:
交换请求接收单元,用于接收所述数据需求方发送的获取目标数据的交换请求,所述交换请求包括所述目标数据的数据资源信息、目标数据库资源信息、数据转换信息、任务调度信息、所述数据需求方的用户信息;
用户合法性验证单元,用于依据所述数据需求方的用户信息验证所述数据需求方是否合法;
目标节点确定单元,用于在所述用户合法性验证单元依据所述数据需求方的用户信息验证所述数据需求方合法时,确定目标kettle server;
任务创建单元,用于在所述目标kettle server上,依据所述目标数据的数据资源信息、所述目标数据库资源信息和所述数据转换信息创建任务;
任务执行单元,用于依据所述任务调度信息执行所述任务,从而获得所述目标数据;
数据发送单元,用于将获得的所述目标数据发送至所述数据需求方。
7.根据权利要求6所述的装置,其特征在于,所述领域模型由参与数据交换的业务单元进行定制。
8.根据权利要求6或7所述的装置,其特征在于,所述数据提供方包括kettle server集群;所述目标节点确定单元具体用于:依据所述kettle server集群中各节点的负载能力,从所述kettle server集群中确定出所述目标kettle server。
9.一种数据交换装置,应用于数据需求方,其特征在于,所述数据需求方与数据提供方采用相同的领域模型;基于所述相同的领域模型,所述数据提供方对所述数据需求方欲获取的目标数据进行编目,并将编目信息向所述数据需求方予以发布;装置包括:
检测单元,用于检测基于所述编目信息确定获取所述目标数据的触发请求;
第一封装单元,用于在所述检测单元检测到基于所述编目信息确定获取所述目标数据的触发请求后,封装所述目标数据的数据资源信息以及目标数据库资源信息;
第一合法性验证单元,用于验证所述目标数据的数据资源信息以及所述目标数据库资源信息是否合法;
第二封装单元,用于在所述第一合法性验证单元验证所述目标数据的数据资源信息以及所述目标数据库资源信息合法后,封装数据转换信息以及任务调度信息;
第二合法性验证单元,用于验证所述数据转换信息以及所述任务调度信息是否合法;
第三封装单元,用于在所述第二合法性验证单元验证所述数据转换信息以及所述任务调度信息合法后,封装所述数据需求方的用户信息;
第三合法性验证单元,用于依据所述数据需求方的用户信息验证所述数据需求方是否合法;
请求发送单元,用于在所述第三合法性验证单元依据所述数据需求方的用户信息验证所述数据需求方合法后,向所述数据提供方发送获取所述目标数据的交换请求,所述交换请求包括所述目标数据的数据资源信息、目标数据库资源信息、数据转换信息、任务调度信息、所述数据需求方的用户信息;
数据接收单元,用于接收所述数据提供方返回的所述目标数据。
10.根据权利要求9所述的装置,其特征在于,所述交换请求为http请求。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810907754.3A CN109325068B (zh) | 2018-08-10 | 2018-08-10 | 一种数据交换方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810907754.3A CN109325068B (zh) | 2018-08-10 | 2018-08-10 | 一种数据交换方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109325068A CN109325068A (zh) | 2019-02-12 |
CN109325068B true CN109325068B (zh) | 2021-03-23 |
Family
ID=65263589
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810907754.3A Active CN109325068B (zh) | 2018-08-10 | 2018-08-10 | 一种数据交换方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109325068B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110175179B (zh) * | 2019-04-15 | 2021-09-10 | 浙江大华技术股份有限公司 | 数据传输方法及系统、服务节点、存储装置 |
CN110109764A (zh) * | 2019-05-15 | 2019-08-09 | 重庆天蓬网络有限公司 | 延时任务创建方法、装置、介质和电子设备 |
CN110851458B (zh) * | 2019-11-15 | 2024-02-09 | 江苏国泰新点软件有限公司 | 资源的获取方法、装置、系统和存储介质 |
CN111176867B (zh) * | 2020-01-16 | 2020-12-11 | 创意信息技术股份有限公司 | 数据共享交换及开放应用平台 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101582073A (zh) * | 2008-12-31 | 2009-11-18 | 北京中机科海科技发展有限公司 | 一种基于领域本体的智能检索系统及方法 |
CN101873335A (zh) * | 2009-04-24 | 2010-10-27 | 同济大学 | 一种跨域语义Web服务的分布式搜索方法 |
CN106446263A (zh) * | 2016-10-18 | 2017-02-22 | 北京航空航天大学 | 一种多媒体文件云存储平台及使用该云存储平台去冗的方法 |
CN107395739A (zh) * | 2017-08-11 | 2017-11-24 | 安徽晶奇网络科技股份有限公司 | 一种数据交换共享平台 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
NO326743B1 (no) * | 2007-10-18 | 2009-02-09 | Fast Search & Transfer As | Fremgangsmate for a begrense aksess til sokeresultater og sokemotor som stotter fremgangsmaten |
CN102262654A (zh) * | 2011-06-05 | 2011-11-30 | 田小平 | 用于执行异构信息共享的装置和方法 |
CN103281368B (zh) * | 2013-05-22 | 2016-08-10 | 河海大学 | 一种基于云计算的数据共享交换系统 |
US9817977B2 (en) * | 2014-04-04 | 2017-11-14 | Palo Alto Research Center Incorporated | Methods for selection of collaborators for online threat mitigation |
CN105160593A (zh) * | 2015-08-18 | 2015-12-16 | 国家电网公司 | 面向大数据的输变电设备多维异构数据融合方法及系统 |
CN106789965A (zh) * | 2016-12-05 | 2017-05-31 | 华北计算技术研究所(中国电子科技集团公司第十五研究所) | 一种物联网数据交换方法及系统 |
CN108052673A (zh) * | 2017-12-29 | 2018-05-18 | 中国电子科技集团公司信息科学研究院 | 一种物联网数据集成与融合中间件系统 |
-
2018
- 2018-08-10 CN CN201810907754.3A patent/CN109325068B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101582073A (zh) * | 2008-12-31 | 2009-11-18 | 北京中机科海科技发展有限公司 | 一种基于领域本体的智能检索系统及方法 |
CN101873335A (zh) * | 2009-04-24 | 2010-10-27 | 同济大学 | 一种跨域语义Web服务的分布式搜索方法 |
CN106446263A (zh) * | 2016-10-18 | 2017-02-22 | 北京航空航天大学 | 一种多媒体文件云存储平台及使用该云存储平台去冗的方法 |
CN107395739A (zh) * | 2017-08-11 | 2017-11-24 | 安徽晶奇网络科技股份有限公司 | 一种数据交换共享平台 |
Non-Patent Citations (1)
Title |
---|
关于广电监测领域媒资编目与收视行为分析技术的应用;钱卫 等;《广播与电视技术》;20141115;第41卷(第11期);116-121 * |
Also Published As
Publication number | Publication date |
---|---|
CN109325068A (zh) | 2019-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109325068B (zh) | 一种数据交换方法和装置 | |
CN104170323B (zh) | 基于网络功能虚拟化的故障处理方法及装置、系统 | |
CN107431651B (zh) | 一种网络服务的生命周期管理方法及设备 | |
JP6190949B2 (ja) | 仮想ネットワーク機能マネージャによる仮想インフラストラクチャマネージャへのアクセスの自動化構成 | |
CN107704252A (zh) | 一种向用户提供人工智能平台的方法及系统 | |
CN108319463A (zh) | 一种应用升级方法、装置 | |
CN111245634B (zh) | 一种虚拟化管理方法及装置 | |
WO2016127436A1 (zh) | 数据上载的方法、装置及系统 | |
EP3652892A1 (en) | Method, system and options for multi-operator service life cycle management | |
CN110071965B (zh) | 一种基于云平台的数据中心管理系统 | |
CN103716356B (zh) | 基于web的存储过程操作方法、装置和系统 | |
CN103677983B (zh) | 应用的调度方法及装置 | |
US11863419B2 (en) | Network service management system and network service management method | |
CN101894059A (zh) | 一种运行状态的检测方法及系统 | |
CN103685535A (zh) | 一种大规模分布异构数据处理的云数据库系统接口设计 | |
CN111651140A (zh) | 基于工作流的服务方法及装置 | |
CN116974948B (zh) | 业务系统测试方法、系统、设备和介质 | |
CN110045969A (zh) | 应用程序安装方法、服务器、系统、设备及存储介质 | |
CN109347661A (zh) | 消费者vnf的实例化方法及装置 | |
CN108228310B (zh) | 虚拟网络功能的均衡部署方法及装置 | |
CN115878860A (zh) | 一种菜单的生成方法、装置、服务器设备及介质 | |
CN112130864A (zh) | 一种私有云平台服务软件的部署方法及部署装置 | |
CN113596105B (zh) | 内容的获取方法、边缘节点及计算机可读存储介质 | |
CN112380040B (zh) | 一种消息处理的方法、装置、电子设备及存储介质 | |
CN113672487A (zh) | 一种消息追踪方法、装置、系统及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |