CN112862245B - 数据交换方法、装置以及电子设备 - Google Patents
数据交换方法、装置以及电子设备 Download PDFInfo
- Publication number
- CN112862245B CN112862245B CN202011643760.6A CN202011643760A CN112862245B CN 112862245 B CN112862245 B CN 112862245B CN 202011643760 A CN202011643760 A CN 202011643760A CN 112862245 B CN112862245 B CN 112862245B
- Authority
- CN
- China
- Prior art keywords
- data
- data source
- layer
- target link
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000004044 response Effects 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 40
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 abstract description 10
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008676 import Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 description 1
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/06—Asset management; Financial planning or analysis
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Resources & Organizations (AREA)
- Technology Law (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Educational Administration (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种数据交换方法、装置以及电子设备，涉及数据处理技术领域，缓解了数据交换性能较低的技术问题。该方法包括：响应于针对第一数据层中的第一数据源的选择操作，在第二数据层中查找所述第一数据源匹配的第二数据源；基于所述第一数据源和所述第二数据源，利用预设函数生成目标链路，所述目标链路用于交换所述第一数据源和所述第二数据源；执行所述目标链路，并交换所述第一数据源和所述第二数据源。
Description
技术领域
本申请涉及数据处理技术领域，尤其是涉及一种数据交换方法、装置以及电子设备。
背景技术
目前，由于金融行业的公司是面向toB(要约收购)的，公司主要的工作内容是数据交换，主要的交换对象是客户的大数据集群等数据，具体的交换方法大多是开发人员编写多种API传输数据，或者开发人员使用编程语言调用JDBC传输数据，或者用些简单的组件传输数据。
但是，当客户的大数据集群种类特别多时，会需要多种异构数据源及多种计算引擎，现有的技术方案只能支撑一些简单的数据源交换，不能满足针对多种大数据集群的交换场景，导致数据交换的实现方法较难。
发明内容
本申请的目的在于提供一种数据交换方法、装置以及电子设备，以缓解数据交换性能较低的技术问题。
第一方面，本申请实施例提供了一种所述数据的结构中包括：多个数据层，每个所述数据层中存在数据源，所述方法包括：
响应于针对第一数据层中的第一数据源的选择操作，在第二数据层中查找所述第一数据源匹配的第二数据源；
基于所述第一数据源和所述第二数据源，利用预设函数生成目标链路，所述目标链路用于交换所述第一数据源和所述第二数据源；
执行所述目标链路，并交换所述第一数据源和所述第二数据源。
在一个可能的实现中，所述响应于针对第一数据层中的第一数据源的选择操作，在第二数据层中查找所述第一数据源匹配的第二数据源的步骤，包括：
响应于针对第一数据层中的第一数据源的选择操作，确定所述第一数据源的类型；
在第二数据层中查找所述类型匹配的第二数据源。
在一个可能的实现中，所述目标链路包括：
将所述第一数据源交换到所述第二数据层的第一目标链路，以及将所述第二数据源交换到所述第一数据层的第二目标链路。
在一个可能的实现中，所述执行所述目标链路的步骤，包括：
对所述目标链路进行解析，得到相应的DAG视图，所述DAG视图中存在多个节点；
按照DAG视图中的多个所述节点的指向顺序执行所述链路。
在一个可能的实现中，所述方法还包括：
基于所述数据源建立事件模型，所述事件模型的功能包括：导入所述数据源、导出所述数据源及停止交换所述数据源。
在一个可能的实现中，所述交换所述第一数据源和所述第二数据源的步骤，包括：
通过所述事件模型的导出所述数据源的功能，将所述第一数据源由所述第一数据层导出，传输至所述第二数据层；
通过所述事件模型的导入所述数据源的功能，将所述第二数据源由所述第二数据层导出，传输至所述第一数据层。
在一个可能的实现中，所述方法还包括：
当执行第一目标链路失败时，对所述第一目标链路添加第一标识，所述第一标识用于表示所述第一目标链路执行失败；
当执行第二目标链路失败时，对所述第二目标链路添加第二标识，所述第二标识用于表示所述第二目标链路执行失败；
根据所述第一标识及所述第二标识确定执行失败的所述目标链路。
在一个可能的实现中，所述方法还包括：
当有多个所述目标链路时，对多个所述目标链路进行整和，得到整和后的目标链路。
第二方面，提供了一种数据交换装置，所述数据的结构中包括多个数据层，每个所述数据层中存在数据源，所述装置包括：
查找模块，用于响应于针对第一数据层中的第一数据源的选择操作，在第二数据层中查找所述第一数据源匹配的第二数据源；
生成模块，用于基于所述第一数据源和所述第二数据源，利用预设函数生成目标链路，所述目标链路用于交换所述第一数据源和所述第二数据源；
交换模块，用于执行所述目标链路，并交换所述第一数据源和所述第二数据源。
第三方面，本申请实施例又提供了一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的第一方面所述方法。
第四方面，本申请实施例又提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述的第一方面所述方法。
本申请实施例带来了以下有益效果：
本申请实施例提供的一种数据交换方法、装置以及电子设备，能够响应于针对第一数据层中的第一数据源的选择操作，在第二数据层中查找所述第一数据源匹配的第二数据源；基于所述第一数据源和所述第二数据源，利用预设函数生成目标链路，所述目标链路用于交换所述第一数据源和所述第二数据源；执行所述目标链路，并交换所述第一数据源和所述第二数据源。本方案中，先根据第一数据源匹配到对应的第二数据源，然后根据预设函数生成目标链路，并执行目标链路，由于通过预设函数可以生成统一规范的目标链路，电子设备可以通过执行目标链路将数据源交换到相应的数据层，以便数据层对数据源进行处理，实现了通过目标链路快速传输数据源，缓解了数据交换性能较低的技术问题。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的数据交换方法的流程示意图；
图2为本申请实施例提供的数据交换方法的另一流程示意图；
图3为本申请实施例提供的数据交换方法的另一流程示意图；
图4为本申请实施例提供的一种数据交换装置的结构示意图；
图5示出了本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
目前，由于金融行业的公司是面向toB(要约收购)的，公司主要的工作内容是数据交换，主要的交换对象是客户的大数据集群等数据，具体的交换方法大多是开发人员编写多种API传输数据，或者开发人员使用编程语言调用JDBC传输数据，或者用些简单的组件传输数据。
但是，当客户的大数据集群种类特别多时，需要多种异构数据源及多种计算引擎，现有的技术方案只能支撑一些简单的数据源交换，不能满足针对多种大数据集群的交换场景，导致数据交换的实现方法较难。
基于此，本申请实施例提供了一种数据交换方法、装置以及电子设备，通过该方法可以缓解数据交换性能较低的技术问题。
下面结合附图对本申请实施例进行进一步地介绍。
图1为本申请实施例提供的一种数据交换方法的流程示意图。其中，该方法应用于电子设备，数据的结构中包括：多个数据层，每个数据层中存在数据源。如图1所示，该方法包括：
步骤S110，响应于针对第一数据层中的第一数据源的选择操作，在第二数据层中查找第一数据源匹配的第二数据源；
需要说明的是，数据的结构中包括多个数据层，每个数据层中存在数据源，具体的，数据层有：第一数据层、第二数据层、WEB容器层(UI)、GATEWAY服务层、任务作业服务层及执行服务层等。
其中，WEB容器层(UI)是前端服务，展示了一些用于数据交换的支持功能，具体的，可以选择数据源，可以对执行任务层的任务进行定时，可以测试数据源的调用服务是否连通，可以选择数据源的版本，可以配置数据源，配置数据源的操作包括配置数据源的导入/导出功能、配置数据源的参数、字段及字段类型等，可以配置多个数据层中的引擎，可以整合所有引擎，可以管理用户角色及用户角色的权限。所以，WEB容器层(UI)可以接收用户选择第一数据源的操作指令。
GATEWAY服务层，可以用于用户统一认证，当用户单点登录时，可以结合整合公司服务系统，由于WEB容器层(UI)用户角色的权限配置及引擎的配置，不同的用户操作的角色不同，权限不同，所以在功能及数据执行引擎这两个方向上进行管控。因为基于多租户思想，都会有代理用户去适配，最后执行任务用的是代理用户，转发服务路由，服务可以配置高可用。
在任务作业服务层，所有基础信息都是有元数据管理，任务作业管理包括：管理作业参数、数据管理、理数据配置、是否可以连接、执行配置是选择引擎、选择用户等。
另外，在该步骤之前，还需要将数据源编译为事件，并注册到缓存中。
在该步骤中，当用户在WEB容器层(UI)选择第一数据源后，就确定了第一数据层中的第一数据层，所以，响应于针对第一数据层中的第一数据源的选择操作，电子设备在第二数据层中查找第一数据源匹配的第二数据源。
步骤S120，基于第一数据源和第二数据源，利用预设函数生成目标链路，目标链路用于交换第一数据源和第二数据源；
需要说明的是，预设函数可以是Pipeline，基于第一数据源和第二数据源，电子设备利用Pipeline生成目标链路，目标链路用于交换第一数据源和第二数据源。
步骤S130，执行目标链路，并交换第一数据源和第二数据源。
在本步骤中，电子设备可以根据WEB容器层(UI)中已经确定好的定时执行目标链路，例如，如果确定好的定时是立即执行，则立即执行目标链路，并交换第一数据源和第二数据源；如果确定好的定时是1小时后执行，则1小时后自动执行目标链路，并交换第一数据源和第二数据源。
本申请实施例中，可以响应于针对第一数据层中的第一数据源的选择操作，在第二数据层中查找第一数据源匹配的第二数据源；基于第一数据源和第二数据源，利用预设函数生成目标链路，目标链路用于交换第一数据源和第二数据源；执行目标链路，并交换第一数据源和第二数据源。本方案中，先根据第一数据源匹配到对应的第二数据源，然后根据预设函数生成目标链路，并执行目标链路，由于通过预设函数可以生成统一规范的目标链路，电子设备可以通过执行目标链路将数据源交换到相应的数据层，以便数据层对数据源进行处理，实现了通过目标链路快速传输数据源，缓解了数据交换性能较低的技术问题。
下面对上述步骤进行详细介绍。
示例性的，图2显示的是数据交换方法的另一流程流程图，包括多个数据层；图3显示的是数据交换方法的另一流程示意图，包括数据交换的数据源的多种数据类型。
在一些实施例中，基于上述步骤S110，可以根据第一数据源的类型确定第二数据源。作为一个示例，上述步骤S110可以包括如下步骤：
步骤a)，响应于针对第一数据层中的第一数据源的选择操作，确定第一数据源的类型；
步骤b)，在第二数据层中查找类型匹配的第二数据源。
对于上述步骤a)，由于已经在WEB容器层(UI)配置了第一数据源的类型、字段及字段类型等信息，所以，可以响应于针对第一数据层中的第一数据源的选择操作，确定第一数据源的类型，例如，第一数据源的类型是event。
对于上述步骤b)，在第二数据层中存在与第一数据源相同类型的第二数据源，所以，可以在第二数据层中查找类型匹配的第二数据源。
本申请实施例可以响应于针对第一数据层中的第一数据源的选择操作，确定第一数据源的类型；在第二数据层中查找类型匹配的第二数据源。所以，电子设备可以根据第一数据源的类型自动查找到匹配的第二数据源。
在一些实施例中，基于上述步骤S110，可以针对不同的数据源生成不同的目标链路。基于此，目标链路包括：将第一数据源交换到第二数据层的第一目标链路，以及将第二数据源交换到第一数据层的第二目标链路。
在该步骤中，电子设备执行第一目标链路，则会将位于第一数据层的第一数据源交换到第二数据层，执行第二目标链路，则会将位于第二数据层的第二数据源交换到第一数据层。
本申请实施例中的目标链路包括：将第一数据源交换到第二数据层的第一目标链路，以及将第二数据源交换到第一数据层的第二目标链路，所以，可以通过执行目标链路将对应的两个数据源进行交换。
在一些实施例中，可以对目标链路进行解析，以执行目标链路。作为一个示例，上述步骤S130中的执行目标链路的步骤，可以包括如下步骤：
步骤c)，对目标链路进行解析，得到相应的DAG视图，DAG视图中存在多个节点；
步骤d)，按照DAG视图中的多个节点的指向顺序执行目标链路。
对于上述步骤c)，需要说明的是，DAG视图是指有向无环图，图中有多个节点，多个节点之间均是单向连接，在本申请实施例中，节点可以指数据层、数据层中的组件等。
对于上述步骤d)，按照DAG视图中的多个节点的指向顺序执行目标链路，也就是说，按照DAG视图中的多个组件的指向顺序执行目标链路。
电子设备执行目标链路后，将第一数据源传输到第二数据层，利用第二数据层内的引擎对第一数据源进行处理，得到处理结果；将第二数据源传输到第一数据层，利用第一数据层内的引擎对第二数据源进行处理，得到处理结果。
需要说明的是，数据层中包括runner类，runner类接收不同引擎的规范，并根据该规范将交换到的数据源转换成该规范对应的格式，然后再对数据源进行处理计算等。
本申请实施例可以对目标链路进行解析，得到相应的DAG视图，DAG视图中存在多个节点；按照DAG视图中的多个节点的指向顺序执行目标链路。所以，电子设备能够按照组件的指向顺序，依次根据组件执行目标链路，将数据源交换到相应的数据层中，并利用数据层中的引擎对该数据源进行计算处理等，得到计算后的数据。
在一些实施例中，可以根据数据源建立事件模型。作为一个示例，上述方法还可以包括如下步骤：
步骤e)，基于数据源建立事件模型，事件模型的功能包括：导入数据源、导出数据源及停止交换数据源。
需要说明的是，电子设备可以将数据源转化成事件，可以根据数据源建立事件模型，事件模型的功能包括：导入数据源、导出数据源及停止交换数据源，所以，可以事件模型的功能传输数据源，具体的，事件模型可以导出/导入数据源，可以利用事件模型的停止交换数据源功能来暂停交换数据源。
本申请实施例可以基于数据源建立事件模型，事件模型的功能包括：导入数据源、导出数据源及停止交换数据源，所以，事件模型适应于所有类型的数据源，电子设备可以利用事件模型的相应功能传输数据源。
在一些实施例中，可以利用事件模型传输数据源。作为一个示例，上述步骤S130中的交换第一数据源和第二数据源的步骤，可以包括如下步骤：
步骤f)，通过事件模型的导出数据源的功能，将第一数据源由第一数据层导出，传输至第二数据层；
步骤g)，通过事件模型的导入数据源的功能，将第二数据源由第二数据层导出，传输至第一数据层。
本申请实施例通过事件模型的导出数据源的功能，将第一数据源由第一数据层导出，传输至第二数据层；通过事件模型的导入数据源的功能，将第二数据源由第二数据层导出，传输至第一数据层。所以，可以通过事件模型传输数据源。
在一些实施例中，可以对执行失败的链路添加标识，以便根据标识追溯执行失败的链路。作为一个示例，该方法还可以包括以下步骤：
步骤h)，当执行第一目标链路失败时，对第一目标链路添加第一标识，第一标识用于表示第一目标链路执行失败；
步骤i)，当执行第二目标链路失败时，对第二目标链路添加第二标识，第二标识用于表示第二目标链路执行失败；
步骤j)，根据第一标识及第二标识确定执行失败的目标链路。
对于上述步骤h)，当执行第一目标链路失败时，电子设备会识别到该链路，并对第一目标链路添加第一标识，第一标识用于表示第一目标链路执行失败，所以，可以根据第一标识识别执行失败的第一目标链路。
对于上述步骤i)，当执行第二目标链路失败时，电子设备会识别到该链路，并对第二目标链路添加第二标识，第二标识用于表示第二目标链路执行失败，所以，可以根据第二标识识别执行失败的第二目标链路。
本申请实施例中，当执行第一目标链路失败时，对第一目标链路添加第一标识，第一标识用于表示第一目标链路执行失败；当执行第二目标链路失败时，对第二目标链路添加第二标识，第二标识用于表示第二目标链路执行失败；根据第一标识及第二标识确定执行失败的目标链路。所以，电子设备可以通过标识确定执行异常的目标链路。
在一些实施例中，可以对多个目标链路进行整合，以加快执行效率。作为一个示例，该方法还可以包括以下步骤：
步骤k)，当有多个目标链路时，对多个目标链路进行整和，得到整合后的目标链路。
具体的，当有多个目标链路时，电子设备可以利用长连接线程对多个目标链路进行整和，得到整合后的连续的目标链路。
本申请实施例中，当有多个目标链路时，对多个目标链路进行整和，得到整合后的目标链路，所以，电子设备可以执行整合后的目标链路，以使执行过程可以连续的进行，加快了执行效率。
图4提供了一种数据交换装置的结构示意图。该装置可以应用于电子设备，数据的结构中包括多个数据层，每个数据层中存在数据源。如图4所示，数据交换装置400包括：
查找模块401，用于响应于针对第一数据层中的第一数据源的选择操作，在第二数据层中查找第一数据源匹配的第二数据源；
生成模块402，用于基于第一数据源和第二数据源，利用预设函数生成目标链路，目标链路用于交换第一数据源和第二数据源；
交换模块403，用于执行目标链路，并交换第一数据源和第二数据源。
在一些实施例中，查找模块具体用于：
响应于针对第一数据层中的第一数据源的选择操作，确定第一数据源的类型；
在第二数据层中查找类型匹配的第二数据源。
在一些实施例中，目标链路包括：将第一数据源交换到第二数据层的第一目标链路，以及将第二数据源交换到第一数据层的第二目标链路。
在一些实施例中，交换模块用于：
对目标链路进行解析，得到相应的DAG视图，DAG视图中存在多个节点；
按照DAG视图中的多个节点的指向顺序执行目标链路。
在一些实施例中，数据交换装置还用于：
基于数据源建立事件模型，事件模型的功能包括：导入数据源、导出数据源及停止交换数据源。
在一些实施例中，交换模块用于：
通过事件模型的导出数据源的功能，将第一数据源由第一数据层导出，传输至第二数据层；
通过事件模型的导入数据源的功能，将第二数据源由第二数据层导出，传输至第一数据层。
在一些实施例中，数据交换装置还用于：
当执行第一目标链路失败时，对第一目标链路添加第一标识，第一标识用于表示第一目标链路执行失败；
当执行第二目标链路失败时，对第二目标链路添加第二标识，所述第二标识用于表示第二目标链路执行失败；
根据第一标识及第二标识确定执行失败的目标链路。
在一些实施例中，数据交换装置还用于：
当有多个目标链路时，对多个目标链路进行整和，得到整和后的目标链路。
本申请实施例提供的数据交换装置，与上述实施例提供的数据交换方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
本申请实施例提供的一种电子设备，如图5所示，电子设备500包括存储器501、处理器502，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例提供的方法的步骤。
参见图5，电子设备还包括：总线503和通信接口504，处理器502、通信接口504和存储器501通过总线503连接；处理器502用于执行存储器501中存储的可执行模块，例如计算机程序。
其中，存储器501可能包含高速随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口504(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线503可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器501用于存储程序，所述处理器502在接收到执行指令后，执行所述程序，前述本申请任一实施例揭示的过程定义的装置所执行的方法可以应用于处理器502中，或者由处理器502实现。
处理器502可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器502中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器502可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器501，处理器502读取存储器501中的信息，结合其硬件完成上述方法的步骤。
对应于上述数据交换方法，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述数据交换方法的步骤。
本申请实施例所提供的数据交换装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
再例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述数据交换方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (11)
1.一种数据交换方法，其特征在于，所述数据的结构中包括多个数据层，每个所述数据层中存在数据源，所述方法包括：
其中，所述多个数据层包括：第一数据层、第二数据层、WEB容器层、GATEWAY服务层和任务作业服务层；
响应于针对第一数据层中的第一数据源的选择操作，在第二数据层中查找所述第一数据源匹配的第二数据源；
基于所述第一数据源和所述第二数据源，利用预设函数生成目标链路，所述目标链路用于交换所述第一数据源和所述第二数据源；所述预设函数为Pipeline；
执行所述目标链路，并交换所述第一数据源和所述第二数据源；
其中，WEB容器层，用于接收用户选择第一数据源的操作指令；
GATEWAY服务层，用于配置用户权限；
任务作业服务层，用于对数据的管理。
2.根据权利要求1所述的数据交换方法，其特征在于，所述响应于针对第一数据层中的第一数据源的选择操作，在第二数据层中查找所述第一数据源匹配的第二数据源的步骤，包括：
响应于针对第一数据层中的第一数据源的选择操作，确定所述第一数据源的类型；
在第二数据层中查找所述类型匹配的第二数据源。
3.根据权利要求1所述的数据交换方法，其特征在于，所述目标链路包括：
将所述第一数据源交换到所述第二数据层的第一目标链路，以及将所述第二数据源交换到所述第一数据层的第二目标链路。
4.根据权利要求1所述的数据交换方法，其特征在于，所述执行所述目标链路的步骤，包括：
对所述目标链路进行解析，得到相应的DAG视图，所述DAG视图中存在多个节点；
按照DAG视图中的多个所述节点的指向顺序执行所述目标链路。
5.根据权利要求1所述的数据交换方法，其特征在于，所述方法还包括：
基于所述数据源建立事件模型，所述事件模型的功能包括：导入所述数据源、导出所述数据源及停止交换所述数据源。
6.根据权利要求5所述的数据交换方法，其特征在于，所述交换所述第一数据源和所述第二数据源的步骤，包括：
通过所述事件模型的导出所述数据源的功能，将所述第一数据源由所述第一数据层导出，传输至所述第二数据层；
通过所述事件模型的导入所述数据源的功能，将所述第二数据源由所述第二数据层导出，传输至所述第一数据层。
7.根据权利要求3所述的数据交换方法，其特征在于，所述方法还包括：
当执行第一目标链路失败时，对所述第一目标链路添加第一标识，所述第一标识用于表示所述第一目标链路执行失败；
当执行第二目标链路失败时，对所述第二目标链路添加第二标识，所述第二标识用于表示所述第二目标链路执行失败；
根据所述第一标识及所述第二标识确定执行失败的所述目标链路。
8.根据权利要求1所述的数据交换方法，其特征在于，所述方法还包括：
当有多个所述目标链路时，对多个所述目标链路进行整和，得到整和后的目标链路。
9.一种数据交换装置，其特征在于，所述数据的结构中包括多个数据层，每个所述数据层中存在数据源，所述装置包括：
其中，所述多个数据层包括：第一数据层、第二数据层、WEB容器层、GATEWAY服务层、任务作业服务层及执行服务层；
查找模块，用于响应于针对第一数据层中的第一数据源的选择操作，在第二数据层中查找所述第一数据源匹配的第二数据源；
生成模块，用于基于所述第一数据源和所述第二数据源，利用预设函数生成目标链路，所述目标链路用于交换所述第一数据源和所述第二数据源；所述预设函数为Pipeline；
交换模块，用于执行所述目标链路，并交换所述第一数据源和所述第二数据源；
其中，WEB容器层，用于接收用户选择第一数据源的操作指令；
GATEWAY服务层，用于配置用户权限；
任务作业服务层，用于对数据的管理。
10.一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至8任一项所述的方法的步骤。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行所述权利要求1至8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011643760.6A CN112862245B (zh) | 2020-12-30 | 2020-12-30 | 数据交换方法、装置以及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011643760.6A CN112862245B (zh) | 2020-12-30 | 2020-12-30 | 数据交换方法、装置以及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112862245A CN112862245A (zh) | 2021-05-28 |
| CN112862245B true CN112862245B (zh) | 2024-04-23 |
Family
ID=76001043
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011643760.6A Active CN112862245B (zh) | 2020-12-30 | 2020-12-30 | 数据交换方法、装置以及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112862245B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114285784B (zh) * | 2021-12-22 | 2024-03-01 | 上海哔哩哔哩科技有限公司 | 数据传输和管道搭建方法、装置、计算设备和存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101795237A (zh) * | 2010-03-25 | 2010-08-04 | 国网电力科学研究院 | 基于数据交换的工作流整合方法和装置 |
| CN103679789A (zh) * | 2013-12-09 | 2014-03-26 | 北京大学 | 基于数据流图的并行绘制与可视化方法及系统 |
| CN106664127A (zh) * | 2014-06-30 | 2017-05-10 | 高通股份有限公司 | 在无线网络中的具有集成的天线波束训练的切换 |
| CN109391508A (zh) * | 2017-08-11 | 2019-02-26 | 广达电脑股份有限公司 | 在数据中心自动组成数据中心资源的计算机实施方法 |
| CN109963316A (zh) * | 2019-01-29 | 2019-07-02 | 北京航空航天大学 | 用于移动卫星网络的多径路由方法及设备 |
| CN110764893A (zh) * | 2019-10-23 | 2020-02-07 | 支付宝(杭州)信息技术有限公司 | 一种识别任务链路中无效计算的方法、系统及设备 |
| CN110765773A (zh) * | 2019-10-31 | 2020-02-07 | 北京金堤科技有限公司 | 地址数据获取方法以及装置 |
| CN110866065A (zh) * | 2019-10-15 | 2020-03-06 | 深圳市中博科创信息技术有限公司 | 一种数据交换系统、交换方法及存储介质 |
| CN111538772A (zh) * | 2020-04-14 | 2020-08-14 | 北京宝兰德软件股份有限公司 | 数据的交换处理方法、装置、电子设备及存储介质 |
| CN112035494A (zh) * | 2020-08-07 | 2020-12-04 | 中国电子科技集团公司第十五研究所 | 基于数据链路动态构造的数据交换方法和系统 |
-
2020
- 2020-12-30 CN CN202011643760.6A patent/CN112862245B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101795237A (zh) * | 2010-03-25 | 2010-08-04 | 国网电力科学研究院 | 基于数据交换的工作流整合方法和装置 |
| CN103679789A (zh) * | 2013-12-09 | 2014-03-26 | 北京大学 | 基于数据流图的并行绘制与可视化方法及系统 |
| CN106664127A (zh) * | 2014-06-30 | 2017-05-10 | 高通股份有限公司 | 在无线网络中的具有集成的天线波束训练的切换 |
| CN109391508A (zh) * | 2017-08-11 | 2019-02-26 | 广达电脑股份有限公司 | 在数据中心自动组成数据中心资源的计算机实施方法 |
| CN109963316A (zh) * | 2019-01-29 | 2019-07-02 | 北京航空航天大学 | 用于移动卫星网络的多径路由方法及设备 |
| CN110866065A (zh) * | 2019-10-15 | 2020-03-06 | 深圳市中博科创信息技术有限公司 | 一种数据交换系统、交换方法及存储介质 |
| CN110764893A (zh) * | 2019-10-23 | 2020-02-07 | 支付宝(杭州)信息技术有限公司 | 一种识别任务链路中无效计算的方法、系统及设备 |
| CN110765773A (zh) * | 2019-10-31 | 2020-02-07 | 北京金堤科技有限公司 | 地址数据获取方法以及装置 |
| CN111538772A (zh) * | 2020-04-14 | 2020-08-14 | 北京宝兰德软件股份有限公司 | 数据的交换处理方法、装置、电子设备及存储介质 |
| CN112035494A (zh) * | 2020-08-07 | 2020-12-04 | 中国电子科技集团公司第十五研究所 | 基于数据链路动态构造的数据交换方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112862245A (zh) | 2021-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10560465B2 (en) | Real time anomaly detection for data streams | |
| CN111580884B (zh) | 配置更新方法、装置、服务器和电子设备 | |
| CN107645403B (zh) | 终端规则引擎装置、终端规则运行方法 | |
| CN112241506B (zh) | 用户行为的回溯方法、装置、设备及系统 | |
| US20200112443A1 (en) | Policy-driven dynamic consensus protocol selection | |
| US8782635B2 (en) | Reconfiguration of computer system to allow application installation | |
| US12045151B2 (en) | Graph-based impact analysis of misconfigured or compromised cloud resources | |
| US10296431B2 (en) | Generation of debugging log list in a blade server environment | |
| US10614218B2 (en) | Scan time reduction in application code security scanning | |
| CN104320312A (zh) | 网络应用安全测试工具及模糊测试用例生成方法和系统 | |
| KR20150087265A (ko) | 동적 컴포넌트 퍼포먼스 모니터링 | |
| CN112862245B (zh) | 数据交换方法、装置以及电子设备 | |
| CN104580428A (zh) | 一种数据路由方法、数据管理装置和分布式存储系统 | |
| EP3011456B1 (en) | Sorted event monitoring by context partition | |
| CN115495424A (zh) | 数据处理的方法、电子设备和计算机程序产品 | |
| CN110209347B (zh) | 一种可追溯的数据存储方法 | |
| CN109582347B (zh) | 一种获取前端代码的方法及装置 | |
| CN112748931B (zh) | 编译文件管理方法、调用方法、装置及电子设备 | |
| CN114579415A (zh) | 一种埋点数据的配置方法、获取方法、装置、设备及介质 | |
| CN108874625B (zh) | 信息处理方法及装置、电子设备、存储介质 | |
| US11762749B2 (en) | Software application intelligence platform, and method thereof | |
| CN110209727B (zh) | 一种数据存储方法、终端设备及介质 | |
| US20240354213A1 (en) | Graph-based impact analysis of misconfigured or compromised cloud resources | |
| US11743327B2 (en) | Topological ordering of blockchain associated proposals | |
| CN115694841B (zh) | 基于区块链和ipfs网络的元数据流通方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |