CN113242244B - 数据传输方法、装置和系统 - Google Patents

Abstract

本公开提供了数据传输方法、装置、系统、电子设备、存储介质和计算机程序产品，涉及计算机领域，尤其涉及信息安全技术领域。具体实现方案为：跳板机响应于接收到任务配置信息，根据任务配置信息创建数据传输任务，其中，任务配置信息包括外部网络的数据的获取方式；调度数据传输任务以通过获取方式获取数据；将数据传输到内部网络。内部网络获取跳板机传输的来自外部网络的数据；将数据按预定解析方式进行解析，得到解析结果；将解析结果存储到数据库中。该实施方式实现了快速简洁地跨网数据传输。

Description

数据传输方法、装置和系统

技术领域

本公开涉及计算机技术领域，尤其涉及信息安全技术领域，具体为数据传输方法、装置和系统。

背景技术

数据传输中经常涉及到隔离网络，比如公安、应急的内网系统。在进行项目研发或者部署测试的时候，需要将外网域数据或者企业内网数据传输到对应的业务方内网域(隔离网络)。通常情况业务方的内网域安全性要求较高，不能通过网络打通直接传输数据，一般采用业务方的跳板机做数据中转，再搭配相应的文件上传工具，进行数据传输。

发明内容

本公开提供了一种数据传输方法、装置、系统、设备、存储介质以及计算机程序产品。

根据本公开的第一方面，提供了一种数据传输方法，包括：响应于接收到任务配置信息，根据任务配置信息创建数据传输任务，其中，任务配置信息包括外部网络的数据的获取方式。调度数据传输任务以通过获取方式获取数据。将数据传输到内部网络。

根据本公开的第二方面，提供了一种数据传输方法，包括：获取来自外部网络的数据，其中，数据是跳板机根据第一方面中任一项的方法传输的。将数据按预定解析方式进行解析，得到解析结果。将解析结果存储到数据库中。

根据本公开的第三方面，提供了一种数据传输系统，包括：外部网络数据源，被配置成向内部网络提供外部网络的数据。跳板机，被配置成响应于接收到任务配置信息，根据所述任务配置信息创建数据传输任务，其中，所述任务配置信息包括外部网络的数据的获取方式；调度所述数据传输任务以通过所述获取方式获取所述数据；将所述数据传输到内部网络。内部网络，被配置成获取来自外部网络的数据；将所述数据按预定解析方式进行解析，得到解析结果；将所述解析结果存储到数据库中。

根据本公开的第四方面，提供了一种数据传输装置，包括：创建单元，被配置成响应于接收到任务配置信息，根据任务配置信息创建数据传输任务，其中，任务配置信息包括外部网络的数据的获取方式。调度单元，被配置成调度数据传输任务以通过获取方式获取数据。传输单元，被配置成将数据传输到内部网络。

根据本公开的第五方面，提供了一种数据传输装置，包括：接收单元，被配置成获取来自外部网络的数据，其中，数据是跳板机由第一方面中任一项的方法传输的。解析单元，被配置成将数据按预定解析方式进行解析，得到解析结果。存储单元，被配置成将解析结果存储到数据库中。

根据本公开的第六方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面和第二方面中任一项所述的方法。

根据本公开的第七方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面和第二方面中任一项所述的方法。

根据本公开的第八方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据第一方面和第二方面中任一项所述的方法。

本公开的实施例提供的数据传输方法和装置，实现了隔离网络中批量异构数据传输。通过本方法，可以自定义数据传输方式，不仅可以通过文件方式传输，还可将流式数据、定时数据、仓库数据等多种类型数据简单快捷导入业务方隔离网络中。增加了数据的多样性，扩展了跨网传输的应用范围。并且提高了数据导入速度，减少了数据传输时延，从而保障了业务的实时性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开的数据传输系统的架构图；

图2是根据本公开的数据传输方法的一个实施例的流程图；

图3是根据本公开的数据传输方法的又一个实施例的流程图；

图4是根据本公开的数据传输方法的一个应用场景的示意图；

图5是根据本公开的数据传输装置的一个实施例的结构示意图；

图6是根据本公开的数据传输装置的又一个实施例的结构示意图；

图7是用来实现本公开实施例的数据传输的方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1示出了可以应用本公开的数据传输系统的架构100。

如图1所示，系统架构100可以包括外部网络数据源、跳板机和内部网络。外部网络数据源、跳板机和内部网络之间通过有线网络或无线网络连接通信。

1、外部网络数据源

本系统支持多种类型的数据源，有效的满足多种应用场景下不同结构数据需求。主要支持定时更新数据、数据仓库数据、流式实时数据三种类型的数据源：

a)定时更新数据：此类型数据主要支持定时产出的数据，例如，气象类每日、每周、每月产出的数据，支持多种类型的定时数据源：URL(通过http协议获取)、FTP服务器。通过创建一次定时传输任务，后续定时传输数据。

b)数据仓库数据：此类型数据主要针对于外部已有的数据仓库中的数据，通过创建任务，可以一次或者多次，将外部数据仓库的数据传输到隔离网络(内部网络)中，主要支持MySQL、Redis、HBase、Hive等多种类型数据库。

c)流式实时数据：对于需要流式实时应用而言，外部的流式数据是主要数据源之一，本系统支持接入实时的流式数据源，可通过MQ(消息队列)，将数据传输到隔离网络中。

2、跳板机

跳板机主要负责任务的创建，任务的调度，以及数据的传输，具体实现过程参见流程200中的实施例。分为定时器、创建单元、调度单元、传输单元：

a)创建单元：主要负责创建传输任务，可以创建普通任务，也可创建定时任务，例如通过操作系统的命令，例如crontab创建定时任务。定时任务可通过定时器来实现，根据定时数据传输需求，完成定时任务传输。

b)调度单元：主要负责任务的调度，根据用户配置的任务的类型以及配置信息，分配对应的加密算子以及解析算子。

c)传输单元：具体执行传输任务的模块，负责将实际的外部数据传输到内部网络的接收单元或消息队列，完成数据的传输。

跳板机还可包括加密算子仓库：根据实际项目需求，可以选择使用加密算法对传输的数据进行加密传输。加密算子仓库将加密算法、解密算法算子化，支持多种类型的加密解密算法，提供通用的加密解密算法，也可以满足定制化需求。

3、内部网络

内部网络可包括接收单元、解析单元、存储单元，具体实现过程参见流程300中的实施例。接收单元主要负责将跳板机的传输的数据接收，解析单元主要负责将接收的数据根据用户的实际需求，可选择不同的解析算子，对数据二次处理。

内部网络还可包括解析算子仓库：根据不同的应用类型，可以选择在数据进入隔离网络之前对原始数据进行二次处理，包括简单的清洗去重、重排格式等。将解析流程算子化，并支持定制化解析需求。

接收单元通过安全的端口与跳板机的传输服务通信，接收来自跳板机的传输数据，解析单元根据用户配置对传输数据进行解析。存储存储单元对解析后的数据存储。一方面可以直接将数据提供给应用(例如流式数据应用)，另一方面可以将数据入库到内部网络中的数据仓库。

需要说明的是，本公开的实施例所提供的数据传输方法可以由跳板机和内部网络执行。相应地，数据传输装置可以设置于跳板机和内部网络中。在此不做具体限定。

应该理解，图1中的外部网络数据源、跳板机、内部网络的数目仅仅是示意性的。根据实现需要，可以具有任意数目的外部网络数据源、跳板机、内部网络。

继续参考图2，示出了根据本公开的数据传输方法的一个实施例的流程200。该数据传输方法，包括以下步骤：

步骤201，响应于接收到任务配置信息，根据任务配置信息创建数据传输任务。

在本实施例中，数据传输方法的执行主体(例如图1所示的跳板机)可以通过有线连接方式或者无线连接方式从用户设备接收任务配置信息。其中，任务配置信息包括外部网络的数据的获取方式，还可包括以下至少一项：任务类型、加密算子、解析算子、消息队列配置参数。可通过命令行或图形界面的方式向跳板机输入任务配置信息。用户还可以通过任务配置信息配置数据传输任务实现的一些功能选项，例如加密选项、消息队列选项、定时选项、解析选项等。任务配置信息由跳板机接收，还可共享给内部网络。

外部网络的数据的获取方式可包括以下至少一项：文件数据的存储路径、api数据的api名称、网络数据的URL地址。

根据外部网络的数据的获取方式创建数据传输任务，建立跳板机与外部网络数据源的连接。

步骤202，调度数据传输任务以通过获取方式获取数据。

在本实施例中，数据传输任务创建完毕，且跳板机与外部网络数据源的连接建立完成，则可调度数据传输任务从外部网络数据源获取外部网络的数据。如果获取方式为文件数据的存储路径，则数据传输任务根据所述存储路径寻址，将该存储路径中的文件数据复制到跳板机中。如果获取方式为api数据的api名称，则数据传输任务调用该api，将该api输出的数据传输到跳板机中。如果获取方式为网络数据的URL地址，则数据传输任务访问该URL下载网络数据到跳板机中。

步骤203，将数据传输到内部网络。

在本实施例中，跳板机具备双网卡，一个网卡用于和外部网络连接，另一个网卡用于和内部网络连接。跳板机将外网的数据转发到内部网络。内部网络可提供专门的接收单元接收外网的数据。

本公开的上述实施例提供的方法，无需手动导入数据，可以自动导入。导入的数据也不限定制为文件形式，还可以是流式数据、定时数据、仓库数据等多种类型，增加了数据的多样性，扩展了跨网传输的应用范围。并且提高了数据导入速度，减少了数据传输时延，从而保障了业务的实时性。同时，也可以保留数据的原始格式，无需进行格式转换，方便隔离网络中数据的使用的同时，减少了传输时延。

在本实施例的一些可选的实现方式中，该方法还包括：将任务配置信息共享给内部网络，以使得内部网络根据任务配置信息创建数据接收任务。内部网络的数据接收也可由用户配置。这样可根据内部网络的硬件状态、数据的保密性、数据的结构等因素进行动态配置，例如，是否需要消息队列、是否需要解密及解密的方式、是否需要解析及解析的方式、是否定时读取数据等。

在本实施例的一些可选的实现方式中，任务配置信息还包括任务类型。以及调度数据传输任务以通过获取方式获取数据，包括：若任务类型为定时任务，则按照定时任务指定的时间点定时调度数据传输任务以通过获取方式获取数据。用户可直接在任务配置信息时指定任务类型。任务类型可包括定时任务和非定时任务，如果用户选择了定时任务，则需要指定定时任务执行的时间点。非定时任务是即时生效，在数据传输任务创建完成后即可执行数据传输任务。而定时任务创建完成后并不立即执行，而是等到用户指定的时间点定时执行，例如，每天上午5点获取天气预报数据。这种方式可以大大减少的手动操作，更方便快捷，定时任务不再需要人工定时手动导入，只需要创建一次定时导入任务，后续的导入数据流程由本系统自动完成。

在本实施例的一些可选的实现方式中，任务配置信息还包括加密算子。以及将数据传输到内部网络，包括：将数据按照加密算子加密后传输到内部网络。用户可通过任务配置信息设置是否加密，以及采用哪种加密算子，内部网络会采用相应的解密算子解密。由于任务配置信息会被共享到内部网络，因此内部网络根据加密算子可知道接收到的数据是否需要解密，以及采用哪种方法解密。提供多种类型的加密算子，用户可以选择多种加密算法对传输数据加密既可以满足一般的加密需求，也可以实现用户定制化需求。是否加密可以直接配置，灵活易用。对于保密性不高的数据，可以不加密直接传输，对于有保密性需求的数据，也可以选择加密传输，保障数据安全。

在本实施例的一些可选的实现方式中，任务配置信息还包括解析算子。解析算子用于内部网络对接收到的数据进行解析处理。可根据不同的应用类型，可以选择对接收到的数据进行二次处理，包括简单的清洗去重、重排格式等。例如，接收到的地图数据中包括广告信息，而内部网络不需要广告信息，可通过解析算子过滤掉广告信息。还可从完整的数据中抽取出内部网络需要的部分保留，过滤掉不需要的内容。通过将解析流程算子化，支持定制化解析需求。

在本实施例的一些可选的实现方式中，任务配置信息还包括消息队列配置参数。以及将数据传输到内部网络，包括：将数据传输到消息队列中，其中，消息队列为内部网络通过消息队列配置参数创建的。在传输流程中增加消息队列，适配两端网络速率不一致问题，保障数据传输过程的完整性。可选择性地配置消息队列，灵活方便。同时，通过消息队列，满足流式数据传输能力，在一定程度上满足实时性要求比较高的项目需求。

进一步参考图3，其示出了数据传输方法的又一个实施例的流程300。该数据传输方法的流程300，包括以下步骤：

步骤301，获取来自外部网络的数据。

在本实施例中，数据传输方法的执行主体(例如图1所示的内部网络的接收单元)可获取来自外部网络的数据。可通过检测接收单元的数据变化来确定跳板机是否将外部网络的数据发送到内部网络中。

步骤302，将数据按预定解析方式进行解析，得到解析结果。

在本实施例中，可以预先配置数据的解析方式，例如，清洗去重、重排格式等。将接收到的数据进行解析后，得到解析结果。

步骤303，将解析结果存储到数据库中。

在本实施例中，解析结果才是内部网络所需要的数据。

本公开的上述实施例提供的方法，可自动获取来自外网的数据，保证信息传输安全，实现起来方便快捷。

在本实施例的一些可选的实现方式中，该方法还包括：将解析结果提供给目标应用。从而可直接使用定制化解析的数据，实现流式数据的传输和应用。

在本实施例的一些可选的实现方式中，该方法还包括：接收跳板机共享的任务配置信息。根据任务配置信息创建数据接收任务。内部网络可以接收跳板机分享的任务配置信息，从而实现同步地自定义配置，方便操作管理。

在本实施例的一些可选的实现方式中，任务配置信息包括任务类型。以及获取来自外部网络的数据，包括：若任务类型为定时任务，则按照定时任务指定的时间点定时调度数据接收任务获取来自外部网络的数据。不仅外部网络的数据源可以定时更新数据，跳板机可以定时传输数据，内部网络也可以定时的去读取数据。例如，每天早上5点钟读取接收单元接收的数据。可以将内部网络的定时时间点配置的稍晚于跳板机的时间，以保证跳板机已将数据传输到接口单元中。从而实现定时任务的联动操作，不需要手动分别控制跳板机和内部网络，简化了操作过程。

在本实施例的一些可选的实现方式中，任务配置信息还包括加密算子。以及在将数据按预定解析方式进行解析之前，该方法还包括：将数据按照加密算子对应的解密算子解密。解密过程是加密过程的逆过程。用户选择加密算子后，系统会自动匹配相应的解密算子供解密使用。提供多种类型的加密算子，用户可以选择多种加密算法对传输数据加密既可以满足一般的加密需求，也可以实现用户定制化需求。是否加密可以直接配置，灵活易用。对于保密性不高的数据，可以不加密直接传输，对于有保密性需求的数据，也可以选择加密传输，保障数据安全。

在本实施例的一些可选的实现方式中，任务配置信息还包括解析算子。以及将数据按预定解析方式进行解析，得到解析结果，包括：将数据按解析算子进行解析，得到解析结果。可根据不同的应用类型，可以选择在数据进入隔离网络之前对原始数据进行二次处理，包括简单的清洗去重、重排格式等。将解析流程算子化，并支持定制化解析需求。

在本实施例的一些可选的实现方式中，任务配置信息还包括消息队列配置参数。以及该方法还包括：通过消息队列配置参数创建消息队列。获取来自外部网络的数据，包括：从消息队列中获取来自外部网络的数据。消息队列配置参数可包括位置，通知跳板机将数据推送到哪里，并通知内部网络从哪里读取数据。消息队列配置参数还可包括队列空间大小。用户可直接配置队列空间大小。或者消息队列配置参数可包括外网网速和内网网速。由跳板机根据外网网速和内网网速的差距计算需要的消息队列空间大小，这样可避免空间浪费，也避免空间不够用。通过消息队列来适配不同的网速，保障数据传输过程的完整性。

继续参见图4，图4是根据本实施例的数据传输方法的应用场景的一个示意图。在图4的应用场景中，用户可通过图形化界面输入任务配置信息。可配置以下各项：获取方式、任务类型、加密算子、解析算子、消息队列。获取方式可以是文件路径、api名称、URL等。本例中填写地图api的名称。任务类型可选择定时或非定时，如果用户选择定时任务，还需要选择定时的时间点。加密算子可从加密算子仓库中选择，根据实际需要选择加密算法，也可以不选择加密。解析算子可从解析算子仓库中选择，根据实际需要选择解析算法，也可以不选择解析。消息队列选项用于指定数据传输的位置，如果不配置消息队列，则将外网数据直接发送内部网络的接收模块，如果配置了消息队列，则将外网数据发送到消息队列。消息队列位于内部网络。用户提交任务配置信息后，跳板机根据任务配置信息创建数据传输任务，跳板机还将任务配置信息共享给内部网络，内部网络会创建数据接收任务。如果用户配置的是定时任务，则跳板机在指定时间点去调用地图api获取地图数据，可以周期性的获取数据。如果是非定时任务，则仅执行一次。跳板机获取到外部网络的数据之后，根据加密算子进行加密，然后发送到消息队列中。内部网络通过共享的任务配置信息，也创建数据接收任务，定时从消息队列中读取数据，并按配置的加密算子对应的解密算子进行解密。然后再通过解析算子对解密后的数据进行解析，将解析出的数据发给流式实时应用和隔离网络数据仓库。

进一步参考图5，作为对上述各图所示方法的实现，本公开提供了一种数据传输装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，本实施例的数据传输装置500包括：创建单元501、调度单元502和传输单元503。其中，创建单元501，被配置成响应于接收到任务配置信息，根据任务配置信息创建数据传输任务，其中，任务配置信息包括外部网络的数据的获取方式。调度单元502，被配置成调度数据传输任务以通过获取方式获取数据。传输单元503，被配置成将数据传输到内部网络。

在本实施例中，数据传输装置500的创建单元501、调度单元502和传输单元503的具体处理可以参考图2对应实施例中的步骤201、步骤202、步骤203。

在本实施例的一些可选的实现方式中，装置500还包括共享单元(附图中未示出)，被配置成：将任务配置信息共享给内部网络，以使得内部网络根据任务配置信息创建数据接收任务。

在本实施例的一些可选的实现方式中，任务配置信息还包括任务类型。以及装置500还包括定时器(附图中未示出)，被配置成：若任务类型为定时任务，则按照定时任务指定的时间点定时调度数据传输任务以通过获取方式获取数据。

在本实施例的一些可选的实现方式中，任务配置信息还包括加密算子。以及传输单元503进一步被配置成：将数据按照加密算子加密后传输到内部网络。

在本实施例的一些可选的实现方式中，任务配置信息还包括解析算子。

在本实施例的一些可选的实现方式中，任务配置信息还包括消息队列配置参数。以及传输单元503进一步被配置成：将数据传输到消息队列中，其中，消息队列为内部网络通过消息队列配置参数创建的。

进一步参考图6，作为对上述各图所示方法的实现，本公开提供了一种数据传输装置的又一个实施例，该装置实施例与图3所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图6所示，本实施例的数据传输装置600包括：接收单元601、解析单元602、存储单元603，其中，接收单元601，被配置成获取来自外部网络的数据，其中，数据是跳板机传输的。解析单元602，被配置成将数据按预定解析方式进行解析，得到解析结果。存储单元603，被配置成将解析结果存储到数据库中。

在本实施例中，数据传输装置600的接收单元601、解析单元602、存储单元603的具体处理可以参考图3对应实施例中的步骤301、步骤302、步骤303。

在本实施例的一些可选的实现方式中，装置600还包括应用单元(附图中未示出)，被配置成：将解析结果提供给目标应用。

在本实施例的一些可选的实现方式中，装置600还包括接收创建单元(附图中未示出)，被配置成：接收跳板机共享的任务配置信息。根据任务配置信息创建数据接收任务。

在本实施例的一些可选的实现方式中，任务配置信息包括任务类型。以及接收单元601进一步被配置成：若任务类型为定时任务，则按照定时任务指定的时间点定时调度数据接收任务获取来自外部网络的数据。

在本实施例的一些可选的实现方式中，任务配置信息还包括加密算子。以及装置600还包括解密单元(附图中未示出)，被配置成：在将数据按预定解析方式进行解析之前，将数据按照加密算子对应的解密算子解密。

在本实施例的一些可选的实现方式中，任务配置信息还包括解析算子。以及解析单元602进一步被配置成：将数据按解析算子进行解析，得到解析结果。

在本实施例的一些可选的实现方式中，任务配置信息还包括消息队列配置参数。以及装置600还包括消息队列创建单元(附图中未示出)，被配置成：通过消息队列配置参数创建消息队列。接收单元601进一步被配置成：从消息队列中获取来自外部网络的数据。

根据本公开的实施例，本公开还提供了一种系统、电子设备、一种可读存储介质和一种计算机程序产品。

一种数据传输系统，包括：外部网络数据源，被配置成向内部网络提供外部网络的数据。跳板机，被配置成执行流程200实现的方法。内部网络，被配置成执行流程300实现的方法。

一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行流程200和300实现的方法。

一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行流程200和300实现的方法。

一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现流程200和300所述的方法。

图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如数据传输方法。例如，在一些实施例中，数据传输方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的数据传输方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据传输方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以为分布式系统的服务器，或者是结合了区块链的服务器。服务器也可以是云服务器，或者是带人工智能技术的智能云计算服务器或智能云主机。服务器可以为分布式系统的服务器，或者是结合了区块链的服务器。服务器也可以是云服务器，或者是带人工智能技术的智能云计算服务器或智能云主机。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (29)

1.一种数据传输方法，应用于跳板机，包括：

响应于接收到任务配置信息，根据所述任务配置信息创建数据传输任务，其中，所述任务配置信息包括外部网络的数据的获取方式和以下至少一项：任务类型、加密算子、解析算子、消息队列配置参数，其中，获取方式包括以下至少一项：文件数据的存储路径、api数据的api名称、网络数据的URL地址；

调度所述数据传输任务以通过所述获取方式通过与外部网络连接的网卡获取所述数据，其中，如果获取方式为文件数据的存储路径，则数据传输任务根据所述存储路径寻址，将该存储路径中的文件数据复制到跳板机中；如果获取方式为api数据的api名称，则数据传输任务调用该api，将该api输出的数据传输到跳板机中；如果获取方式为网络数据的URL地址，则数据传输任务访问该URL下载网络数据到跳板机中；

通过与内部网络连接的网卡将所述数据传输到内部网络。

2.根据权利要求1所述的方法，其中，所述方法还包括：

将所述任务配置信息共享给所述内部网络，以使得所述内部网络根据所述任务配置信息创建数据接收任务。

3.根据权利要求1所述的方法，其中，所述任务配置信息还包括任务类型；以及

所述调度所述数据传输任务以通过所述获取方式获取所述数据，包括：

若所述任务类型为定时任务，则按照定时任务指定的时间点定时调度所述数据传输任务以通过所述获取方式获取所述数据。

4.根据权利要求1所述的方法，其中，所述任务配置信息还包括加密算子；以及

所述将所述数据传输到内部网络，包括：

将所述数据按照所述加密算子加密后传输到内部网络。

5.根据权利要求1所述的方法，其中，所述任务配置信息还包括解析算子。

6.根据权利要求1所述的方法，其中，所述任务配置信息还包括消息队列配置参数；以及

所述将所述数据传输到内部网络，包括：

将所述数据传输到消息队列中，其中，所述消息队列为所述内部网络通过所述消息队列配置参数创建的。

7.一种数据传输方法，应用于内部网络的接收单元，包括：

获取来自外部网络的数据，其中，所述数据由跳板机根据权利要求1-6中任一项所述的方法输入到内部网络；

将所述数据按预定解析方式进行解析，得到解析结果；

将所述解析结果存储到数据库中。

8.根据权利要求7所述的方法，其中，所述方法还包括：

将所述解析结果提供给目标应用。

9.根据权利要求7所述的方法，其中，所述方法还包括：

接收跳板机共享的任务配置信息；

根据所述任务配置信息创建数据接收任务。

10.根据权利要求9所述的方法，其中，所述任务配置信息包括任务类型；以及

所述获取来自外部网络的数据，包括：

若所述任务类型为定时任务，则按照定时任务指定的时间点定时调度所述数据接收任务获取来自外部网络的数据。

11.根据权利要求9所述的方法，其中，所述任务配置信息还包括加密算子；以及

在所述将所述数据按预定解析方式进行解析之前，所述方法还包括：

将所述数据按照所述加密算子对应的解密算子解密。

12.根据权利要求9所述的方法，其中，所述任务配置信息还包括解析算子；以及

所述将所述数据按预定解析方式进行解析，得到解析结果，包括：

将所述数据按所述解析算子进行解析，得到解析结果。

13.根据权利要求9所述的方法，其中，所述任务配置信息还包括消息队列配置参数；以及

所述方法还包括：

通过所述消息队列配置参数创建消息队列；

所述获取来自外部网络的数据，包括：

从所述消息队列中获取来自外部网络的数据。

14.一种数据传输系统，包括：

外部网络数据源，被配置成向内部网络提供外部网络的数据；

跳板机，被配置成响应于接收到任务配置信息，根据所述任务配置信息创建数据传输任务，其中，所述任务配置信息包括外部网络的数据的获取方式和以下至少一项：任务类型、加密算子、解析算子、消息队列配置参数，其中，获取方式包括以下至少一项：文件数据的存储路径、api数据的api名称、网络数据的URL地址；调度所述数据传输任务以通过所述获取方式通过与外部网络连接的网卡获取所述数据，其中，如果获取方式为文件数据的存储路径，则数据传输任务根据所述存储路径寻址，将该存储路径中的文件数据复制到跳板机中；如果获取方式为api数据的api名称，则数据传输任务调用该api，将该api输出的数据传输到跳板机中；如果获取方式为网络数据的URL地址，则数据传输任务访问该URL下载网络数据到跳板机中；通过与内部网络连接的网卡将所述数据传输到内部网络；

内部网络，被配置成获取来自外部网络的数据；将所述数据按预定解析方式进行解析，得到解析结果；将所述解析结果存储到数据库中。

15.一种数据传输装置，应用于跳板机，包括：

创建单元，被配置成响应于接收到任务配置信息，根据所述任务配置信息创建数据传输任务，其中，所述任务配置信息包括外部网络的数据的获取方式和以下至少一项：任务类型、加密算子、解析算子、消息队列配置参数，其中，获取方式包括以下至少一项：文件数据的存储路径、api数据的api名称、网络数据的URL地址；

调度单元，被配置成调度所述数据传输任务以通过所述获取方式通过与外部网络连接的网卡获取所述数据，其中，如果获取方式为文件数据的存储路径，则数据传输任务根据所述存储路径寻址，将该存储路径中的文件数据复制到跳板机中；如果获取方式为api数据的api名称，则数据传输任务调用该api，将该api输出的数据传输到跳板机中；如果获取方式为网络数据的URL地址，则数据传输任务访问该URL下载网络数据到跳板机中；

传输单元，被配置成通过与内部网络连接的网卡将所述数据传输到内部网络。

16.根据权利要求15所述的装置，其中，所述装置还包括共享单元，被配置成：

将所述任务配置信息共享给所述内部网络，以使得所述内部网络根据所述任务配置信息创建数据接收任务。

17.根据权利要求15所述的装置，其中，所述任务配置信息还包括任务类型；以及

所述装置还包括定时器，被配置成：

若所述任务类型为定时任务，则按照定时任务指定的时间点定时调度所述数据传输任务以通过所述获取方式获取所述数据。

18.根据权利要求15所述的装置，其中，所述任务配置信息还包括加密算子；以及

所述传输单元进一步被配置成：

将所述数据按照所述加密算子加密后传输到内部网络。

19.根据权利要求15所述的装置，其中，所述任务配置信息还包括解析算子。

20.根据权利要求15所述的装置，其中，所述任务配置信息还包括消息队列配置参数；以及

所述传输单元进一步被配置成：

将所述数据传输到消息队列中，其中，所述消息队列为所述内部网络通过所述消息队列配置参数创建的。

21.一种数据传输装置，应用于内部网络的接收单元，包括：

接收单元，被配置成获取来自外部网络的数据，其中，所述数据由跳板机根据权利要求1-6中任一项所述的方法输入到内部网络；

解析单元，被配置成将所述数据按预定解析方式进行解析，得到解析结果；

存储单元，被配置成将所述解析结果存储到数据库中。

22.根据权利要求21所述的装置，其中，所述装置还包括应用单元，被配置成：

将所述解析结果提供给目标应用。

23.根据权利要求21所述的装置，其中，所述装置还包括接收创建单元，被配置成：

接收跳板机共享的任务配置信息；

根据所述任务配置信息创建数据接收任务。

24.根据权利要求23所述的装置，其中，所述任务配置信息包括任务类型；以及

所述接收单元进一步被配置成：

若所述任务类型为定时任务，则按照定时任务指定的时间点定时调度所述数据接收任务获取来自外部网络的数据。

25.根据权利要求23所述的装置，其中，所述任务配置信息还包括加密算子；以及

所述装置还包括解密单元，被配置成：

在所述将所述数据按预定解析方式进行解析之前，将所述数据按照所述加密算子对应的解密算子解密。

26.根据权利要求23所述的装置，其中，所述任务配置信息还包括解析算子；以及

所述解析单元进一步被配置成：

将所述数据按所述解析算子进行解析，得到解析结果。

27.根据权利要求23所述的装置，其中，所述任务配置信息还包括消息队列配置参数；以及

所述装置还包括消息队列创建单元，被配置成：

通过所述消息队列配置参数创建消息队列；

所述接收单元进一步被配置成：

从所述消息队列中获取来自外部网络的数据。

28.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-13中任一项所述的方法。

29.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-13中任一项所述的方法。

Images