CN115987676A - 跨域数据协同管理方法及装置 - Google Patents

Abstract

本发明公开了一种跨域数据协同管理方法及装置，该方法包括：设置与第一网络和第二网络连接的摆渡服务器，在所述摆渡服务器上集成任务调度工具和数据传输工具，所述数据传输工具集成有加密算法，在所述摆渡服务器上设置可交互的数据源，所述数据源包括第一网络数据源和第二网络数据源；所述第一网络和所述第二网络为不同安全级别的网络；利用所述任务调度工具和数据传输工具，对所述数据源的数据进行跨域交互和/或跨域共享。利用本发明方案，可以在保障数据安全的前提下，实现不同网络与不同安全域之间的数据交换，提高数据交换效率，降低资源消耗。

Description

跨域数据协同管理方法及装置

技术领域

本发明涉及信息管理技术领域，具体涉及一种跨域数据协同管理方法及装置。

背景技术

通常，为保护重要数据和应用系统的安全性，普遍采用多个网络并存的方式。但是，在企事业单位在数字化转型过程中，通常面临着最直接的问题是如何使处于不同网络、不同安全域之间的应用系统实现信息交换与共享，即不同域的数据如何进行共享交换。

在数据共享交换过程中，通常会面对不同安全域或不同网络之间的交换，包括内外网、不同机密级之间的数据交换。传统的不同安全域或不同网络之间数据的交换方式以网闸、光盘摆渡设备为主，由于网闸无法实现一对多的数据交换，如果需要向多方发送数据的话，需要一个一个地发送，这种方式存在资源消耗大、效率低下的问题；而光盘摆渡需要将服务器数据刻录到光盘中，刻录的行为并不能自动留下记录，会导致“不知数据从哪来，不知数据到哪去”的情况，即存在不易管理的弊病。

发明内容

本发明提供一种跨域数据协同管理方法及装置，在保障数据安全的前提下，实现不同网络与不同安全域之间的数据交换，提高数据交换效率，降低资源消耗。

为此，本发明提供如下技术方案：

一种跨域数据协同管理方法，所述方法包括：

设置与第一网络和第二网络连接的摆渡服务器，在所述摆渡服务器上集成任务调度工具和数据传输工具，所述数据传输工具集成有加密算法，在所述摆渡服务器上设置可交互的数据源，所述数据源包括第一网络数据源和第二网络数据源；所述第一网络和所述第二网络为不同安全级别的网络；

利用所述任务调度工具和数据传输工具，对所述数据源的数据进行跨域交互和/或跨域共享。

可选地，所述对所述数据源的数据进行跨域交互包括：

确定待交互数据源；

选择任务调度工具，并绑定任务周期调度信息；

所述数据传输工具根据所述任务调度工具的调度，对所述待交互数据源进行跨域同步操作。

可选地，所述对所述数据源的数据进行跨域交互还包括：设置数据采集方式；

所述对所述待交互数据源进行跨域同步操作包括：

按照所述数据采集方式对所述待交互数据源进行跨域同步操作。

可选地，所述数据采集方式包括以下任意一种或多种：数据字段加密规则、敏感规则、数据全量或增量方式。

可选地，所述方法还包括：设置目标数据表；

所述对所述交互数据源进行跨域同步操作包括：

将所述待交互数据源的数据写入所述目标数据表。

可选地，所述对所述数据源的数据进行跨域共享包括：

确定待共享数据源；

根据所述待共享数据源生成API接口，以使订阅者通过所述API接口共享所述数据源的数据。

可选地，所述根据所述待共享数据源生成API接口包括：

根据所述待共享数据源，确定接口所需的字段信息；

根据所述字段信息生API接口。

可选地，所述方法还包括：

将所述API接口写入API服务清单；

动态标记所述API服务清单中各API接口的状态，并监测各API接口的使用情况。

可选地，所述动态标记所述API服务清单中各API接口的状态包括：

如果所述API接口被详阅，则将所述API接口的状态标记为订阅。

一种跨域数据协同管理装置，所述装置包括：

工具集成模块，分别与第一网络和第二网络连接，并集成有任务调度工具和数据传输工具，所述数据传输工具集成有加密算法；所述第一网络和所述第二网络为不同安全级别的网络；

设置模块，用于设置可交互的数据源，所述数据源包括第一网络数据源和第二网络数据源；

摆渡服务模块，用于利用所述任务调度工具和数据传输工具，对所述数据源的数据进行跨域交互和/或跨域共享。

本发明提供的跨域数据协同管理方法及装置，提供丰富的数据源共享交换类型，支持从多个异构数据源提取数据，并能直接完成跨数据库的数据关联融合提取。利用本发明方案，可以实现安全高效的数据跨域传输，采用加密传输机制，对数据的传输进行加密，内置大量的数据脱敏算法，保证了数据的安全性。

进一步地，还可以对系统和数据的操作行为进行审计，比如，任务运行监控、系统运行监控、系统审计日志，提供全方位的监控流程保障数据交换的安全性。

附图说明

图1是本发明实施例提供的跨域数据协同管理方法的一种流程图；

图2是本发明实施例中进行跨域数据交互的流程图；

图3是本发明实施例中进行跨域数据共享的流程图；

图4是本发明实施例提供的跨域数据协同管理装置的一种结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。

针对现有的跨域数据交互存在资源消耗大、效率低、不易管理的问题，本发明实施例提供一种跨域数据协同管理方法及装置，通过设置与内网和外网连接的摆渡服务器，在所述摆渡服务器上集成任务调度工具和数据传输工具，所述数据传输工具集成有加密算法，在所述摆渡服务器上设置可交互的数据源，利用所述任务调度工具和数据传输工具，对所述数据源的数据进行跨域交互和/或跨域共享。不仅可以保证数据交互的安全性，而且可以提高交互效率，节省系统资源。

如图1所示，是本发明实施例提供的跨域数据协同管理方法的一种流程图，包括以下步骤：

步骤101，设置与第一网络和第二网络连接的摆渡服务器，在所述摆渡服务器上集成任务调度工具和数据传输工具，所述数据传输工具集成有加密算法，在所述摆渡服务器上设置可交互的数据源，所述数据源包括第一网络数据源和第二网络数据源。

需要说明的是，所述第一网络和所述第二网络为不同安全级别的网络，比如，分别为内网和外网，或者为两个不同安全级别的内网等。

其中，所述任务调度工具Xxjob用于实现同步交换任务的定时执行与调度，所述数据传输工具DataX用于实现跨域数据的传输交换。

需要说明的是，针对不同的数据源，可以配置不同的任务调度工具Xxjob和数据传输工具DataX。

在具体应用中，可以对各任务调度工具Xxjob和数据传输工具DataX分别设置对应的名称、标识、注册方式和地址。

步骤102，利用所述任务调度工具和数据传输工具，对所述数据源的数据进行跨域交互和/或跨域共享。

下面结合图2和图3分别详细说明利用所述任务调度工具和数据传输工具，对数据进行跨域交互和跨域共享的详细过程。

如图2所示，是本发明实施例中进行跨域数据交互的流程图，包括以下步骤：

步骤201，确定待交互数据源。

具体地，可以在摆渡服务器上查找可交互的数据源。

步骤202，选择任务调度工具，并绑定任务周期调度信息。

可以在摆渡服务器上设置调度模版，利用该调度模板可以设置调度周期、路由策略、执行器、失败重试策略等调度信息，将设置的调度信息绑定到选择的任务调度工具上，使所述任务调度工具按照设置的调度信息对待交互数据源进行相应的调度。

步骤203，所述数据传输工具根据所述任务调度工具的调度，对所述待交互数据源进行跨域同步操作。

还可以预先设置数据采集方式，按照所述数据采集方式对所述待交互数据源进行跨域同步操作。

进一步地，为了保证数据的安全性，还可以配置字段的加密规则和/或字段敏感规则。其中，所述加密规则包括加密字段、加密算法、加密条件等；所述敏感规则包括脱敏规则的基本属性以及脱敏方式等。

在具体应用中，可以设置目标数据表。相应地，所述数据传输工具可以根据所述任务调度工具的调度，将所述待交互数据源的数据写入所述目标数据表。

当然，在实际应用中，也可以采用其它的交互方式，对此本发明实施例不做限定。

如图3所示，是本发明实施例中进行跨域数据共享的流程图，包括以下步骤：

步骤301，确定待共享数据源。

步骤302，根据所述待共享数据源生成API接口，以使订阅者通过所述API接口共享所述数据源的数据。

具体地，在生成API接口时，可以填写API信息，包括API的名称和API的描述，选择所述待共享数据源，并配置数据输入字段以及返回字段等信息。相应地，保存这些配置信息，即可生成API接口。

利用所述API接口可以将不同域的用户访问所述共享数据源，也就是说，可以共享所述待共享数据源的数据。

为了便于其它用户对这些共享数据的使用，可以将将所述API接口写入API服务清单；其它用户通过该API服务清单即可查找需要共享的数据源的接口。

相应地，在用户需要所述待共享数据源的数据时，可以通过订阅的方式获取这些数据。具体地，选择需要订阅的API接口，设置订阅时间后选择订阅。

进一步地，用户还可通过所述API服务清单查看API接口详情，如基本信息、字段信息、API接口请求样例等。

为了保证API接口使用的安全性，还可以对用户的API接口请求进行审核。如果通过审核，则可以使所述用户通过所述API接口访问相应的数据源。

进一步地，还可以动态标记所述API服务清单中各API接口的状态，具体地，如果所述API接口被详阅，则将所述API接口的状态标记为订阅。

进一步地，还可以监测各API接口的使用情况。

本发明提供的跨域数据协同管理方法，提供丰富的数据源共享交换类型，支持从多个异构数据源提取数据，并能直接完成跨数据库的数据关联融合提取。利用本发明方案，可以实现安全高效的数据跨域传输，采用加密传输机制，对数据的传输进行加密，内置大量的数据脱敏算法，保证了数据的安全性。

进一步地，还可以对系统和数据的操作行为进行审计，比如，任务运行监控、系统运行监控、系统审计日志，提供全方位的监控流程保障数据交换的安全性。

相应地，本发明实施例还提供一种跨域数据协同管理装置，如图4所示，是本发明实施例提供的跨域数据协同管理装置的一种结构示意图。

该跨域数据协同管理装置400包括以下各模块：

工具集成模块401，分别与第一网络和第二网络连接，并集成有任务调度工具和数据传输工具，所述数据传输工具集成有加密算法；

设置模块402，用于设置可交互的数据源，所述数据源包括第一网络数据源和第二网络数据源；

摆渡服务模块403，用于利用所述任务调度工具和数据传输工具，对所述数据源的数据进行跨域交互和/或跨域共享。

在需要进行数据交互时，可以通过选择所述工具集成模块401提供的任务调度工具和数据传输工具，选择设置模块402提供的可交互的数据源，由摆渡服务模块403根据用户选择的工具及数据源、以及相关的设置信息，按照图2所示流程实现数据的跨域交互。

在需要进行数据共享时，选择设置模块402提供的可交互的数据源，生成相应的API接口，使订阅者通过所述API接口共享所述数据源的数据，具体过程可参考图3所示实施例的说明，在此不再赘述。

进一步地，本发明提供的跨域数据协同管理装置，还可对订阅者发送的订阅请求进行审核，审核通过的才可以共享请求的API接口。

进一步地，本发明提供的跨域数据协同管理装置，还可监测各API接口的使用情况。

本发明提供的跨域数据协同管理装置，提供丰富的数据源共享交换类型，支持从多个异构数据源提取数据，并能直接完成跨数据库的数据关联融合提取。利用本发明方案，可以实现安全高效的数据跨域传输，采用加密传输机制，对数据的传输进行加密，内置大量的数据脱敏算法，保证了数据的安全性。

进一步地，还可以对系统和数据的操作行为进行审计，比如，任务运行监控、系统运行监控、系统审计日志，提供全方位的监控流程保障数据交换的安全性。

需要说明的是，本发明提供的跨域数据协同管理装置可以作为一个独立的服务器，现不同安全级别的网络间的数据交互与共享。

利用本发明方案，可以使跨域数据的采集更加安全，采用加密传输机制，对数据的传输进行加密，有效保证数据的安全性；本发明方案将调度工具Xxjob与传输工具DataX相结合，可以使数据采集任务的调度周期更加灵活。

进一步地，在数据共享过程中，自动生成API接口，使数据的共享操作更加简便；另外，API的接口审批，可以使数据共享的安全性更加可靠。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。而且，以上所描述的系统实施例仅仅是示意性的，其中作为分离部件说明的模块和单元可以是或者也可以不是物理上分开的，即可以位于一个网络单元上，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上对本发明实施例进行了详细介绍，本文中应用了具体实施方式对本发明进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及系统，其仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围，本说明书内容不应理解为对本发明的限制。因此，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种跨域数据协同管理方法，其特征在于，所述方法包括：

设置与第一网络和第二网络连接的摆渡服务器，在所述摆渡服务器上集成任务调度工具和数据传输工具，所述数据传输工具集成有加密算法，在所述摆渡服务器上设置可交互的数据源，所述数据源包括第一网络数据源和第二网络数据源；所述第一网络和所述第二网络为不同安全级别的网络；

利用所述任务调度工具和数据传输工具，对所述数据源的数据进行跨域交互和/或跨域共享。

2.根据权利要求1所述的方法，其特征在于，所述对所述数据源的数据进行跨域交互包括：

确定待交互数据源；

选择任务调度工具，并绑定任务周期调度信息；

所述数据传输工具根据所述任务调度工具的调度，对所述待交互数据源进行跨域同步操作。

3.根据权利要求2所述的方法，其特征在于，所述对所述数据源的数据进行跨域交互还包括：设置数据采集方式；

所述对所述待交互数据源进行跨域同步操作包括：

按照所述数据采集方式对所述待交互数据源进行跨域同步操作。

4.根据权利要求3所述的方法，其特征在于，所述数据采集方式包括以下任意一种或多种：数据字段加密规则、敏感规则、数据全量或增量方式。

5.根据权利要求2所述的方法，其特征在于，所述方法还包括：设置目标数据表；

所述对所述交互数据源进行跨域同步操作包括：

将所述待交互数据源的数据写入所述目标数据表。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述对所述数据源的数据进行跨域共享包括：

确定待共享数据源；

根据所述待共享数据源生成API接口，以使订阅者通过所述API接口共享所述数据源的数据。

7.根据权利要求6所述的方法，其特征在于，所述根据所述待共享数据源生成API接口包括：

根据所述待共享数据源，确定接口所需的字段信息；

根据所述字段信息生API接口。

8.根据权利要求6所述的方法，其特征在于，所述方法还包括：

将所述API接口写入API服务清单；

动态标记所述API服务清单中各API接口的状态，并监测各API接口的使用情况。

9.根据权利要求8所述的方法，其特征在于，所述动态标记所述API服务清单中各API接口的状态包括：

如果所述API接口被详阅，则将所述API接口的状态标记为订阅。

10.一种跨域数据协同管理装置，其特征在于，所述装置包括：

工具集成模块，分别与第一网络和第二网络连接，并集成有任务调度工具和数据传输工具，所述数据传输工具集成有加密算法；所述第一网络和所述第二网络为不同安全级别的网络；

设置模块，用于设置可交互的数据源，所述数据源包括第一网络数据源和第二网络数据源；

摆渡服务模块，用于利用所述任务调度工具和数据传输工具，对所述数据源的数据进行跨域交互和/或跨域共享。

Images