CN112398842B - 访问外网数据的方法、装置、电子设备及网关服务器 - Google Patents

Abstract

本发明提供了一种访问外网数据的方法、装置、电子设备及网关服务器，在接收到应用服务对目标数据源的访问请求后，通过代理服务，将访问请求转换为与加密通道相匹配的加密传输格式；将传输格式转换后的访问请求，经由加密通道发送至目标数据源。本发明中，运行在私有网络的负载均衡设备的代理服务，与私有网络的外部网络中的目标数据源建立了加密通道，负载均衡设备通过代理服务将应用服务对目标数据源的访问请求转换为与加密通道相匹配的加密传输格式，并将转换后的访问请求经由该加密通道发送至目标数据源，降低了私有网络访问外部网络中的数据源的成本，并提高了数据访问的安全性。

Description

访问外网数据的方法、装置、电子设备及网关服务器

技术领域

本发明涉及网络通信技术领域，尤其是涉及一种访问外网数据的方法、装置、电子设备及网关服务器。

背景技术

相关技术中，建立在私有网络(如虚拟私有云网络)中的服务如果想访问数据库，可以将该数据库建立在私有网络内部，但由于私有网络内部的资源有限，在私有网络内建立数据库需要耗费较多的资源，成本较高；另外，私有网络中的服务可以通过专线网络的方式，访问私有网络以外的数据库，但建立专线网络的成本也较高；而直接裸露服务的访问接口的方式，可以使私有网络中的服务访问私有网络以外的数据库，但导致服务的安全性较差。

发明内容

有鉴于此，本发明的目的在于提供一种访问外网数据的方法、装置、电子设备及网关服务器，以降低私有网络访问外部网络中的数据源的成本，并提高数据访问的安全性。

第一方面，本发明实施例提供了一种访问外网数据的方法，该方法应用于预设私有网络对应的负载均衡设备；该私有网络内运行有应用服务；负载均衡设备上运行有代理服务；代理服务与私有网络的外部网络中的目标数据源建立有加密通道；该方法包括：如果接收到应用服务对目标数据源的访问请求，通过代理服务，将访问请求转换为与加密通道相匹配的加密传输格式；将传输格式转换后的访问请求，经由加密通道发送至目标数据源。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，上述负载均衡设备与预设的网关设备连接；网关设备中保存有目标数据源的标识信息，以及应用服务访问目标数据源的访问端口；上述将传输格式转换后的访问请求，经由加密通道发送至目标数据源的步骤，包括：将传输格式转换后的访问请求，发送至网关设备；通过访问端口，将传输格式转换后的访问请求经由加密通道发送至目标数据源。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，上述加密通道具体通过下述方式建立：通过代理服务，以反向连接的方式，与目标数据源建立加密通道。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，与目标数据源建立加密通道的步骤之后，该方法还包括：通过预设的数据管理服务，认证加密通道是否连通。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，将传输格式转换后的访问请求，经由加密通道发送至目标数据源的步骤之后，该方法还包括：如果通过加密通道接收到来自目标数据源的加密传输格式的反馈数据，将反馈数据的格式转换为与应用服务相匹配的传输格式；将传输格式转换后的反馈数据，发送至应用服务。

结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，将反馈数据的格式转换为与应用服务相匹配的传输格式的步骤之前，该方法还包括：接收来自目标数据源的访问凭证；其中，访问凭证为：目标数据源与代理服务建立加密通道后生成；访问凭证用于验证目标数据源是否有权限访问应用服务；通过代理服务，验证访问凭证是否合法。

结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，将传输格式转换后的反馈数据，发送至应用服务的步骤，包括：通过代理服务，识别传输格式转换后的反馈数据的语法格式；基于识别出的语法格式与应用服务可识别的语法格式之间的对应关系，将反馈数据转换为应用服务可识别的语法格式；将语法格式转换后的反馈数据，发送至应用服务。

第二方面，本发明实施例还提供一种访问外网数据的方法，该方法应用于预设私有网络对应的网关设备；私有网络内运行有应用服务；应用服务通过预设的负载均衡设备与网关设备连接；负载均衡设备上运行有代理服务；代理服务与私有网络的外部网络中的目标数据源建立有加密通道；网关设备中保存有目标数据源的标识信息，以及应用服务访问目标数据源的访问端口；该方法包括：如果接收到来自负载均衡设备的应用服务对目标数据源的访问请求，通过访问端口，将访问请求经由加密通道发送至目标数据源；其中，访问请求预先由负载均衡设备转换为与加密通道相匹配的加密传输格式。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，通过访问端口，将访问请求经由加密通道发送至目标数据源的步骤之前，上述方法还包括：接收预设的数据管理服务通过负载均衡设备发送的数据源注册请求；其中，数据源注册请求中包括目标数据源的标识信息；从预设的数据库中，获取应用服务访问目标数据源的访问端口；访问端口预先由应用服务通过负载均衡设备在数据库中建立；将目标数据源的标识信息，以及应用服务访问目标数据源的访问端口对应保存。

结合第二方面的第一种可能的实施方式，本发明实施例提供了第二方面的第二种可能的实施方式，其中，上述数据库中预先保存有应用服务建立的多个访问端口；上述从预设的数据库中，获取应用服务访问目标数据源的访问端口的步骤，包括：逐一检测多个访问端口是否被占用；将多个访问端口中，未被占用的一个访问端口确定为应用服务访问目标数据源的访问端口。

第三方面，本发明实施例还提供一种访问外网数据的装置，该装置设置于预设私有网络对应的负载均衡设备；私有网络内运行有应用服务；负载均衡设备上运行有代理服务；代理服务与私有网络的外部网络中的目标数据源建立有加密通道；该装置包括：格式转换模块，用于如果接收到应用服务对目标数据源的访问请求，通过代理服务，将访问请求转换为与加密通道相匹配的加密传输格式；第一请求发送模块，用于将传输格式转换后的访问请求，经由加密通道发送至目标数据源。

第四方面，本发明实施例还提供一种访问外网数据的装置，该装置设置于预设私有网络对应的网关设备；私有网络内运行有应用服务；应用服务通过预设的负载均衡设备与网关设备连接；负载均衡设备上运行有代理服务；代理服务与私有网络的外部网络中的目标数据源建立有加密通道；网关设备中保存有目标数据源的标识信息，以及应用服务访问目标数据源的访问端口；该装置包括：第二请求发送模块，用于如果接收到来自负载均衡设备的应用服务对目标数据源的访问请求，通过访问端口，将访问请求经由加密通道发送至目标数据源；其中，访问请求预先由负载均衡设备转换为与加密通道相匹配的加密传输格式。

第五方面，本发明实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的机器可执行指令，处理器执行机器可执行指令以实现上述访问外网数据的方法。

第六方面，本发明实施例还提供一种网关服务器，包括处理器和存储器，存储器存储有能够被处理器执行的机器可执行指令，处理器执行机器可执行指令以实现上述访问外网数据的方法。

第七方面，本发明实施例还提供一种机器可读存储介质，机器可读存储介质存储有机器可执行指令，机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述访问外网数据的方法。

上述一种访问外网数据的方法、装置、电子设备及网关服务器，在接收到应用服务对目标数据源的访问请求后，通过代理服务，将访问请求转换为与加密通道相匹配的加密传输格式；将传输格式转换后的访问请求，经由加密通道发送至目标数据源。该方式中，运行在私有网络的负载均衡设备的代理服务，与私有网络的外部网络中的目标数据源建立了加密通道，负载均衡设备通过代理服务将应用服务对目标数据源的访问请求转换为与加密通道相匹配的加密传输格式，并将转换后的访问请求经由该加密通道发送至目标数据源，降低了私有网络访问外部网络中的数据源的成本，并提高了数据访问的安全性。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种访问外网数据的方法的流程图；

图2为本发明实施例提供的另一种访问外网数据的方法的流程图；

图3为本发明实施例提供的另一种访问外网数据的方法的流程图；

图4为本发明实施例提供的另一种访问外网数据的方法的流程图；

图5为本发明实施例提供的一种私有网络架构图；

图6为本发明实施例提供的一种互联网架构图；

图7为本发明实施例提供的一种访问外网数据的装置的结构示意图；

图8为本发明实施例提供的另一种访问外网数据的装置的结构示意图；

图9为本发明实施例提供的另一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了便于理解，首先对私有网络进行介绍。私有网络是指用户建立的一块与公有网络逻辑隔离的网络空间，当在云环境中建立私有网络时，该私有网络也称为虚拟私有云(Virtual Private Cloud，简称“VPC”)。在私有网络内，用户可以自由定义网段划分、IP地址和路由策略。与基础网络相比，私有网络更适合有网络自定义配置需求的场景。

用户可以在私有网络(如虚拟私有云网络)中根据需求建立各种服务；在使用过程中，这些服务可能需要访问与该私有网络不互通的其他网络某个数据库；以基于大数据平台的服务为例，大数据平台访问其他网络的数据库通常通过以下三种方式：

1.在大数据平台所在的私有网络中建立待访问的数据库，使大数据平台和该数据库可以直接相互进行访问，还可以将数据迁移到大数据平台。然而由于私有网络内部的资源有限，在私有网络内建立数据库需要耗费较多的资源，成本较高。

2.大数据平台可以通过专线网络的方式，访问私有网络以外的数据库，但建立专线网络的成本也较高。

3直接裸露大数据平台的访问接口，可以使私有网络中的大数据平台访问私有网络以外的数据库，但导致服务的安全性较差。

基于上述技术问题，本发明实施例提供了一种访问外网数据的方法、装置、电子设备及网关服务器，该技术可以应用于各种对外网数据进行访问的私有网络，如私有云网络、各种与公有网络隔离的局域网等。

首先，参见图1所示的一种访问外网数据的方法的流程图，该方法应用于预设私有网络对应的负载均衡设备；该私有网络内运行有应用服务；负载均衡设备上运行有代理服务；代理服务与私有网络的外部网络中的目标数据源建立有加密通道；该方法包括如下步骤：

步骤S100，如果接收到应用服务对目标数据源的访问请求，通过代理服务，将访问请求转换为与加密通道相匹配的加密传输格式。

上述应用服务可以为视频服务、专利搜索服务等需要获取数据的服务；上述目标数据源可以为数据库、视频资源网站等。上述应用服务对目标数据源的访问请求中可以包括目标数据源的标识信息或地址信息，如当目标数据源为保存目标数据的网站时，该地址信息可以为该网站时统一资源定位符(Uniform Resource Locator，缩写为URL)、IP地址等。

上述代理服务可以预先配置在负载均衡设备上，可以代理用户去取得网络信息。具体而言，它是网络信息的中转站，是个人网络和互联网服务商之间的中间代理机构，负责转发合法的网络信息，对转发进行控制和登记。

上述加密通道为代理服务与目标数据源预先建立的。所有数据在该加密通道进行传输的过程中，均需要采用与加密通道相匹配的加密传输格式，以保障数据传输的安全性和准确性。因此，在接收到应用服务对目标数据源的访问请求后，通过代理服务，需要将访问请求转换为与加密通道相匹配的加密传输格式，该过程可以通过代理服务的预设功能或在代理服务中进行程序代码编写实现。

步骤S102，将传输格式转换后的访问请求，经由加密通道发送至目标数据源。

上述传输格式转换后的访问请求符合加密通道的加密传输格式，可以由当前的负载均衡设备经由加密通道发送至目标数据源，以使目标数据源对该访问请求进行响应，反馈该访问请求对应的数据。由目标数据源反馈的访问请求对应的数据通常也通过该加密通道发送至负载均衡设备，此时，访问请求对应的数据在传输之前也需要由目标数据源转换为与加密通道相匹配的加密传输格式，再经由加密通道进行传输。负载均衡设备在接收到加密传输格式的数据后，需要通过代理服务将该数据转换为应用服务所需格式的数据。

上述一种访问外网数据的方法，在接收到应用服务对目标数据源的访问请求后，通过代理服务，将访问请求转换为与加密通道相匹配的加密传输格式；将传输格式转换后的访问请求，经由加密通道发送至目标数据源。该方法中，运行在私有网络的负载均衡设备的代理服务，与私有网络的外部网络中的目标数据源建立了加密通道，负载均衡设备通过代理服务将应用服务对目标数据源的访问请求转换为与加密通道相匹配的加密传输格式，并将转换后的访问请求经由该加密通道发送至目标数据源，降低了私有网络访问外部网络中的数据源的成本，并提高了数据访问的安全性。

本发明实施例还提供另一种访问外网数据的方法，该方法在上述实施例方法的基础上实现；该方法重点描述了在负载均衡设备与预设的网关设备连接的情况下，将传输格式转换后的访问请求，经由加密通道发送至目标数据源的具体实现过程(通过下述步骤S202及步骤S204实现)，以及通过加密通道接收到来自目标数据源的加密传输格式的反馈数据时，将反馈数据发送至应用服务的具体实现过程(通过下述步骤S206-S212实现)，如图2所示，该方法包括如下步骤：

步骤S200，如果接收到应用服务对目标数据源的访问请求，通过代理服务，将访问请求转换为与加密通道相匹配的加密传输格式。

上述加密通道可以通过下述方式建立：首先通过代理服务，以反向连接的方式，与目标数据源建立加密通道；具体而言，上述反向连接是指以代理服务接受目标数据源的连接请求，然后建立目标数据源和代理服务之间的通道，并以设定的加密协议对该通道进行加密，如采用超文本传输协议(Hyper Text Transfer Protocol over SecureSocketLayer，简称“HTTPS”)进行加密，形成加密通道；此时，与加密通道相匹配的加密传输格式需要符合超文本传输协议。

上述目标数据源的连接请求可以在私有网络的用户通过预设的数据管理服务向目标数据源发起注册数据源的请求后，由目标数据源产生。在代理服务与目标数据源建立加密通道后，可以通过预设的数据管理服务，认证加密通道是否连通；当加密通道的连通性完好时，可以认为代理服务与目标数据源之间的连接是合法的。

步骤S202，将传输格式转换后的访问请求，发送至网关设备；网关设备中保存有目标数据源的标识信息，以及应用服务访问目标数据源的访问端口。

在具体实现过程中，上述负载均衡设备与预设的网关设备连接；在该网关设备中保存有目标数据源的标识信息以及当前的私有网络的应用服务访问目标数据源的访问端口。

步骤S204，通过访问端口，将传输格式转换后的访问请求经由加密通道发送至目标数据源；具体而言，可以通过网关设备中保存的访问端口查找目标数据源中的没有被占用的可用端口，将传输格式转换后的通过该可用端口发送至目标数据源。

步骤S206，如果通过加密通道接收到来自目标数据源的加密传输格式的反馈数据，将反馈数据的格式转换为与应用服务相匹配的传输格式。

上述目标数据源在接收到当前负载均衡设备发送的访问请求后，可以会向当前负载均衡设备发送访问凭证，以验证目标数据源是否有权限访问应用服务。该访问凭证可以在目标数据源与代理服务建立加密通道后生成；访问凭证用于验证目标数据源是否有权限访问应用服务。当前负载均衡设备接收来自目标数据源的访问凭证后，可以通过代理服务，验证访问凭证是否合法，该过程也称为鉴权。

在确定目标数据源具有访问应用服务的权限后，目标数据源可以将应用服务的访问请求对应的数据(即上述反馈数据)通过加密通道发送至当前负载均衡设备，此时反馈数据表现为加密传输格式，需要将反馈数据的格式转换为与应用服务相匹配的传输格式，再将传输格式转换后的反馈数据，发送至应用服务。

步骤S208，通过代理服务，识别传输格式转换后的反馈数据的语法格式；具体而言，代理服务通常需要具有具有适配数据源的能力，能够兼容MySQL、Oracle等数据库的语法，从而识别反馈数据的语法格式。

步骤S210，基于识别出的语法格式与应用服务可识别的语法格式之间的对应关系，将反馈数据转换为应用服务可识别的语法格式。具体而言，当识别出的语法格式与应用服务可识别的语法格式不同时，可以将当前语法格式的反馈数据转换为应用服务可识别的语法格式。

步骤S212，将语法格式转换后的反馈数据，发送至应用服务；具体而言，将语法格式为应用服务可识别的语法格式的反馈数据发送至应用服务，作为应用服务对目标数据源的访问请求的反馈数据。

上述一种访问外网数据的方法，在接收到应用服务对目标数据源的访问请求后，通过代理服务，将访问请求转换为与加密通道相匹配的加密传输格式；将传输格式转换后的访问请求，发送至网关设备，并通过网关设备中保存的应用服务访问目标数据源的访问端口将传输格式转换后的访问请求经由加密通道发送至目标数据源；在通过加密通道接收到来自目标数据源的加密传输格式的反馈数据，将反馈数据的格式转换为与应用服务相匹配的传输格式，并将传输格式转换后的反馈数据，发送至应用服务。该方法中，负载均衡设备通过代理服务将应用服务对目标数据源的访问请求转换为与加密通道相匹配的加密传输格式，并将转换后的访问请求经由该加密通道发送至目标数据源，在接收到目标数据源经由加密通道发送的反馈数据后，对该反馈数据进行了格式转换，并发送至访问请求对应的应用服务，降低了私有网络访问外部网络中的数据源的成本，并通过对传输数据加密提高了数据访问的安全性。

本发明实施例还提供另一种访问外网数据的方法，该方法在上述实施例方法的基础上实现；该方法应用于预设私有网络对应的网关设备；私有网络内运行有应用服务；应用服务通过预设的负载均衡设备与网关设备连接；负载均衡设备上运行有代理服务；代理服务与私有网络的外部网络中的目标数据源建立有加密通道；网关设备中保存有目标数据源的标识信息，以及应用服务访问目标数据源的访问端口；如图3所示，该方法包括以下步骤：

步骤S300，如果接收到来自负载均衡设备的应用服务对目标数据源的访问请求，通过访问端口，将访问请求经由加密通道发送至目标数据源；其中，访问请求预先由负载均衡设备转换为与加密通道相匹配的加密传输格式。

上述访问端口可以为应用服务通过负载均衡设备预先建立的，可以建立在设定的数据库中。数据库中可以具有多个应用服务预先建立的访问接口，不同的访问接口可以对应于应用服务可以访问的不同的数据源，访问端口与数据源的对应关系可以保存在网关设备中；当网关设备接收到来自负载均衡设备的应用服务对目标数据源的访问请求，该访问请求中通常包括目标数据源的标识信息，可以根据目标数据源的标识信息确定对应的访问端口，并通过访问端口，将访问请求经由加密通道发送至目标数据源。

上述一种访问外网数据的方法，网关设备中保存有目标数据源的标识信息，以及应用服务访问目标数据源的访问端口，在接收到来自负载均衡设备的应用服务对目标数据源的访问请求后，通过应用服务访问该目标数据源的访问端口将访问请求经由加密通道发送至目标数据源，该方式通过预先确定的应用服务访问目标数据源的访问端口，将应用服务对目标数据源的访问请求经由加密通道发送至目标数据源，提高了私有网络访问外网的数据源的便捷性，同时保证了数据传输的安全性。

本发明实施例还提供另一种访问外网数据的方法，该方法在上述实施例方法的基础上实现；该方法重点描述了确定应用服务访问目标数据源的访问端口的具体实现过程(通过下述步骤S400-S404实现)，如图4所示，该方法包括如下步骤：

步骤S400，接收预设的数据管理服务通过负载均衡设备发送的数据源注册请求；其中，数据源注册请求中包括目标数据源的标识信息。

具体而言，可以通过用户触发预设的数据管理服务的数据源注册请求，该用户通常为私有网络的用户；该数据源请求中通常包括目标数据源的标识信息，该标识信息可以为目标数据源的地址信息，如IP地址或其对应的网站的网址等。该数据源请求首先由数据管理服务发送至负载均衡设备，然后由负载均衡设备发送至网关设备中。

步骤S402，从预设的数据库中，获取应用服务访问目标数据源的访问端口；访问端口预先由应用服务通过负载均衡设备在数据库中建立；

具体而言，上述数据库中预先保存有应用服务建立的多个访问端口；可以逐一检测多个访问端口是否被占用，并将多个访问端口中，未被占用的一个访问端口确定为应用服务访问目标数据源的访问端口。

步骤S404，将目标数据源的标识信息，以及应用服务访问目标数据源的访问端口对应保存。

步骤S406，如果接收到来自负载均衡设备的应用服务对目标数据源的访问请求，通过访问端口，将访问请求经由加密通道发送至目标数据源；其中，访问请求预先由负载均衡设备转换为与加密通道相匹配的加密传输格式。

上述一种访问外网数据的方法，接收预设的数据管理服务通过负载均衡设备发送的数据源注册请求，从预设的数据库中，获取应用服务访问目标数据源的访问端口，将目标数据源的标识信息，以及应用服务访问目标数据源的访问端口对应保存，如果接收到来自负载均衡设备的应用服务对目标数据源的访问请求，通过访问端口，将访问请求经由加密通道发送至目标数据源。该方式中，根据数据源注册请求，确定的应用服务访问目标数据源的访问端口，将应用服务对目标数据源的访问请求经由加密通道发送至目标数据源，提高了私有网络访问外网的数据源的便捷性，同时保证了数据传输的安全性。

本发明实施例还提供另一种访问外网数据的方法，该方法在上述实施例方法的基础上实现；该方法主要用于实现处于私有网络中的大数据平台(相当于上述实施例中的应用服务)对互联网数据源(相当于上述实施例中的目标数据源)的访问。该方法主要通过私有网络对应的负载均衡设备(简称为“LB”)及网关设备实现。

实现该方法的私有网络架构如图5所示，主要包括私有网络对应的负载均衡设备、网关设备、大数据平台、预设的数据管理服务、预设的数据库及互联网数据源。

网关设备中配置了节点服务(也称为web节点)的功能，还配置了基于Kong的API(Application Programming Interface，应用程序接口)网关功能。Kong是一个在Nginx运行的Lua应用程序，由lua-nginx-module实现。

基于该架构，首先由负载均衡设备初始化监听端口到数据库，该端口为代理可用端口，该过程可以认为是由大数据平台触发负载均衡设备实现的，大数据平台首先部署一个代理(agent)，然后由agent初始化负载均衡设备，使得负载均衡设备在预设的数据库中建立负载均衡服务器的监听端口，当上述数据库为PostgreSQL数据库时，该数据库可以简称为PG。

该架构中，数据管理为一种服务，用户可以通过该服务在具有web节点功能的网关设备中注册设定的数据源(也称为目标数据源)，即通过访问负载均衡设备将目标数据源的地址以高可用路由地方式发送至web节点的网关设备；基于负载均衡的原理，负载均衡设备可能会把目标数据源的地址发送至多个web节点的网关设备，图5中以发送给两个web节点的网关设备为例。

Web节点的网关设备从数据库的初始化监听端口中确定可用的端口，并将获取到的端口写入Web节点内部的表中。

在网关设备获取到可用的端口后，可以调度更新其内部的Kong的配置，使目标数据源和可用的端口(相当于确定出的应用服务访问目标数据源的访问端口)对应起来；通常需要5s的更新时间，更新Kong配置完成后，则数据源注册完成。

在数据源注册完成后，大数据平台可以通过负载均衡设备访问网关设备中Kong配置的端口(也称为绑定的端口，即上述应用服务访问目标数据源的访问端口)，通过配置好的Kong进行网络四层协议转发，可以访问已经注册了数据源的外部的互联网数据源。

实现该方法的互联网架构如图6所示，主要包括数据管理服务、大数据平台，私有网络对应的负载均衡设备以及第三方数据源(相当于上述实施例中的目标数据源、互联网数据源)。其中，第三方数据源包括对应的网关设备(即gateway)，该网关设备与第三方数据源连接，第三方数据源可以为MySQL数据库、Oracle数据库、hive数据库、ES(elasticsearch)数据库、Kafka数据库及HBase数据库等；负载均衡设备上运行有代理服务proxy。

首先第三方数据源需要本地化安装启动网关服务，然后数据管理服务发起注册数据源的请求，第三方数据源的网关设备接收该注册请求，反向连接负载均衡设备的代理服务proxy，并使用HTTPS加密第三方数据源的网关设备与负载均衡设备的代理服务proxy的连接通道，形成加密通道。

接下来，通过数据管理服务测试第三方数据源包括对应的网关设备与负载均衡设备的代理服务proxy之间的连通性，如果连通性完好，则认证连接合法。大数据平台通过鉴权确定具有访问proxy的权限后，访问代理服务proxy，代理服务proxy通过加密通道访问第三方数据源的网关设备(通常是发送数据访问请求)，网关设备对代理服务proxy的访问进行权限鉴别及控制。在该过程中，代理服务proxy应该具有适配数据源的能力，支持HTTPS访问，能够兼容MySQL、Oracle等数据库的语法。

上述访问外网数据的方法基于上述私有网络架构和互联网架构实现了私有网络的大数据平台可以安全的跨互联网进行访问，互联网通过HTTPS保证安全问题，使用可以查询所有数据源的网关设备进行数据源的结果的封装，降低了对外网的数据源的访问成本。

对应于上述访问外网数据的方法实施例，本发明实施例还提供一种访问外网数据的装置，该装置设置于预设私有网络对应的负载均衡设备；私有网络内运行有应用服务；负载均衡设备上运行有代理服务；代理服务与私有网络的外部网络中的目标数据源建立有加密通道；如图7所示，该装置包括：

格式转换模块700，用于如果接收到应用服务对目标数据源的访问请求，通过代理服务，将访问请求转换为与加密通道相匹配的加密传输格式；

第一请求发送模块702，用于将传输格式转换后的访问请求，经由加密通道发送至目标数据源。

上述一种访问外网数据的装置，在接收到应用服务对目标数据源的访问请求后，通过代理服务，将访问请求转换为与加密通道相匹配的加密传输格式；将传输格式转换后的访问请求，经由加密通道发送至目标数据源。该方式中，运行在私有网络的负载均衡设备的代理服务，与私有网络的外部网络中的目标数据源建立了加密通道，负载均衡设备通过代理服务将应用服务对目标数据源的访问请求转换为与加密通道相匹配的加密传输格式，并将转换后的访问请求经由该加密通道发送至目标数据源，降低了私有网络访问外部网络中的数据源的成本，并提高了数据访问的安全性。

具体地，上述负载均衡设备与预设的网关设备连接；网关设备中保存有目标数据源的标识信息，以及应用服务访问目标数据源的访问端口；上述第一请求发送模块还用于：将传输格式转换后的访问请求，发送至网关设备；通过访问端口，将传输格式转换后的访问请求经由加密通道发送至目标数据源。

具体地，上述加密通道具体通过下述方式建立：通过代理服务，以反向连接的方式，与目标数据源建立加密通道。

进一步地，该装置还包括：通道认证模块，用于通过预设的数据管理服务，认证加密通道是否连通。

进一步地，该装置还包括：反馈数据转换模块，用于如果通过加密通道接收到来自目标数据源的加密传输格式的反馈数据，将反馈数据的格式转换为与应用服务相匹配的传输格式；反馈数据发送模块，用于将传输格式转换后的反馈数据，发送至应用服务。

进一步地，该装置还包括：凭证接受模块，用于接收来自目标数据源的访问凭证；其中，访问凭证为：目标数据源与代理服务建立加密通道后生成；访问凭证用于验证目标数据源是否有权限访问应用服务；合法验证模块，用于通过代理服务，验证访问凭证是否合法。

进一步地，上述反馈数据发送模块还用于：通过代理服务，识别传输格式转换后的反馈数据的语法格式；基于识别出的语法格式与应用服务可识别的语法格式之间的对应关系，将反馈数据转换为应用服务可识别的语法格式；将语法格式转换后的反馈数据，发送至应用服务。

本发明实施例所提供的访问外网数据的装置，其实现原理及产生的技术效果和前述访问外网数据的方法实施例相同，为简要描述，访问外网数据的装置实施例部分未提及之处，可参考前述访问外网数据的方法实施例中相应内容。

对应于上述访问外网数据的方法实施例，本发明实施例还提供一种访问外网数据的装置，该装置设置于预设私有网络对应的网关设备；私有网络内运行有应用服务；应用服务通过预设的负载均衡设备与网关设备连接；负载均衡设备上运行有代理服务；代理服务与私有网络的外部网络中的目标数据源建立有加密通道；网关设备中保存有目标数据源的标识信息，以及应用服务访问目标数据源的访问端口；如图8所示，该装置包括：

第二请求发送模块800，用于如果接收到来自负载均衡设备的应用服务对目标数据源的访问请求，通过访问端口，将访问请求经由加密通道发送至目标数据源；其中，访问请求预先由负载均衡设备转换为与加密通道相匹配的加密传输格式。

进一步地，上述装置还包括请求接收模块，用于接收预设的数据管理服务通过负载均衡设备发送的数据源注册请求；其中，数据源注册请求中包括目标数据源的标识信息；端口获取模块，用于从预设的数据库中，获取应用服务访问目标数据源的访问端口；访问端口预先由应用服务通过负载均衡设备在数据库中建立；信息保存模块，用于将目标数据源的标识信息，以及应用服务访问目标数据源的访问端口对应保存。

具体地，上述数据库中预先保存有应用服务建立的多个访问端口；上述端口获取模块还用于：逐一检测多个访问端口是否被占用；将多个访问端口中，未被占用的一个访问端口确定为应用服务访问目标数据源的访问端口。

本发明实施例所提供的访问外网数据的装置，其实现原理及产生的技术效果和前述访问外网数据的方法实施例相同，为简要描述，访问外网数据的装置实施例部分未提及之处，可参考前述访问外网数据的方法实施例中相应内容。

本发明实施例还提供了一种电子设备，参见图9所示，该电子设备设备器包括处理器130和存储器131，该存储器131存储有能够被处理器130执行的机器可执行指令，该处理器130执行机器可执行指令以实现上述访问外网数据的方法。

本发明实施例还提供了一种网关服务器，其结构与上述电子设备的结构相似，参见图9所示，该网关服务器包括处理器130和存储器131，该存储器131存储有能够被处理器130执行的机器可执行指令，该处理器130执行机器可执行指令以实现上述访问外网数据的方法。

进一步地，图9所示的网关服务器还包括总线132和通信接口133，处理器130、通信接口133和存储器131通过总线132连接。

其中，存储器131可能包含高速随机存取存储器(RAM，Random AccessMemory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口133(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线132可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器130可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器130中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器130可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器131，处理器130读取存储器131中的信息，结合其硬件完成前述实施例的方法的步骤。

本发明实施例还提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现上述访问外网数据的方法，具体实现可参见方法实施例，在此不再赘述。

本发明实施例所提供的访问外网数据的方法、装置和网关服务器的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，网关服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (13)

1.一种访问外网数据的方法，其特征在于，所述方法应用于预设私有网络对应的负载均衡设备；所述私有网络内运行有应用服务；所述负载均衡设备上运行有代理服务；所述代理服务与所述私有网络的外部网络中的目标数据源建立有加密通道；所述方法包括：

如果接收到所述应用服务对所述目标数据源的访问请求，通过所述代理服务，将所述访问请求转换为与所述加密通道相匹配的加密传输格式；

将传输格式转换后的所述访问请求，经由所述加密通道发送至所述目标数据源；

所述加密通道具体通过下述方式建立：通过所述代理服务，以反向连接的方式，与所述目标数据源建立加密通道；其中，所述加密通道采用超文本传输协议进行加密；所述反向连接是指所述代理服务接受所述目标数据源的连接请求，建立所述目标数据源和所述代理服务之间的通道，并采用所述超文本传输协议对该通道进行加密；

所述负载均衡设备与预设的网关设备连接；所述网关设备中保存有所述目标数据源的标识信息，以及所述应用服务访问所述目标数据源的访问端口；

所述将传输格式转换后的所述访问请求，经由所述加密通道发送至所述目标数据源的步骤，包括：

将传输格式转换后的所述访问请求，发送至所述网关设备；

通过所述访问端口，将传输格式转换后的所述访问请求经由所述加密通道发送至所述目标数据源。

2.根据权利要求1所述的方法，其特征在于，与所述目标数据源建立加密通道的步骤之后，所述方法还包括：通过预设的数据管理服务，认证所述加密通道是否连通。

3.根据权利要求1所述的方法，其特征在于，将传输格式转换后的所述访问请求，经由所述加密通道发送至所述目标数据源的步骤之后，所述方法还包括：

如果通过所述加密通道接收到来自所述目标数据源的所述加密传输格式的反馈数据，将所述反馈数据的格式转换为与所述应用服务相匹配的传输格式；

将传输格式转换后的所述反馈数据，发送至所述应用服务。

4.根据权利要求3所述的方法，其特征在于，将所述反馈数据的格式转换为与所述应用服务相匹配的传输格式的步骤之前，所述方法还包括：

接收来自所述目标数据源的访问凭证；其中，所述访问凭证为：所述目标数据源与所述代理服务建立所述加密通道后生成；所述访问凭证用于验证所述目标数据源是否有权限访问所述应用服务；

通过所述代理服务，验证所述访问凭证是否合法。

5.根据权利要求3所述的方法，其特征在于，将传输格式转换后的所述反馈数据，发送至所述应用服务的步骤，包括：

通过所述代理服务，识别传输格式转换后的所述反馈数据的语法格式；

基于识别出的所述语法格式与所述应用服务可识别的语法格式之间的对应关系，将所述反馈数据转换为所述应用服务可识别的语法格式；

将语法格式转换后的所述反馈数据，发送至所述应用服务。

6.一种访问外网数据的方法，其特征在于，所述方法应用于预设私有网络对应的网关设备；所述私有网络内运行有应用服务；所述应用服务通过预设的负载均衡设备与所述网关设备连接；所述负载均衡设备上运行有代理服务；所述代理服务与所述私有网络的外部网络中的目标数据源建立有加密通道；所述网关设备中保存有所述目标数据源的标识信息，以及所述应用服务访问所述目标数据源的访问端口；

所述方法包括：

如果接收到来自所述负载均衡设备的所述应用服务对所述目标数据源的访问请求，通过所述访问端口，将所述访问请求经由所述加密通道发送至所述目标数据源；

其中，所述访问请求预先由所述负载均衡设备转换为与所述加密通道相匹配的加密传输格式；所述加密通道具体通过下述方式建立：通过所述代理服务，以反向连接的方式，与所述目标数据源建立加密通道；其中，所述加密通道采用超文本传输协议进行加密；所述反向连接是指所述代理服务接受所述目标数据源的连接请求，建立所述目标数据源和所述代理服务之间的通道，并采用所述超文本传输协议对该通道进行加密。

7.根据权利要求6所述的方法，其特征在于，通过所述访问端口，将所述访问请求经由所述加密通道发送至所述目标数据源的步骤之前，所述方法还包括：

接收预设的数据管理服务通过所述负载均衡设备发送的数据源注册请求；其中，所述数据源注册请求中包括所述目标数据源的标识信息；

从预设的数据库中，获取所述应用服务访问所述目标数据源的访问端口；所述访问端口预先由所述应用服务通过所述负载均衡设备在所述数据库中建立；

将所述目标数据源的标识信息，以及所述应用服务访问所述目标数据源的访问端口对应保存。

8.根据权利要求7所述的方法，其特征在于，所述数据库中预先保存有所述应用服务建立的多个访问端口；

所述从预设的数据库中，获取所述应用服务访问所述目标数据源的访问端口的步骤，包括：

逐一检测所述多个访问端口是否被占用；

将所述多个访问端口中，未被占用的一个访问端口确定为所述应用服务访问所述目标数据源的访问端口。

9.一种访问外网数据的装置，其特征在于，所述装置设置于预设私有网络对应的负载均衡设备；所述私有网络内运行有应用服务；所述负载均衡设备上运行有代理服务；所述代理服务与所述私有网络的外部网络中的目标数据源建立有加密通道；所述装置包括：

格式转换模块，用于如果接收到所述应用服务对所述目标数据源的访问请求，通过所述代理服务，将所述访问请求转换为与所述加密通道相匹配的加密传输格式；

第一请求发送模块，用于将传输格式转换后的所述访问请求，经由所述加密通道发送至所述目标数据源；

所述加密通道具体通过下述方式建立：通过所述代理服务，以反向连接的方式，与所述目标数据源建立加密通道；其中，所述加密通道采用超文本传输协议进行加密；所述反向连接是指所述代理服务接受所述目标数据源的连接请求，建立所述目标数据源和所述代理服务之间的通道，并采用所述超文本传输协议对该通道进行加密；

所述负载均衡设备与预设的网关设备连接；所述网关设备中保存有所述目标数据源的标识信息，以及所述应用服务访问所述目标数据源的访问端口；

所述第一请求发送模块还用于：

将传输格式转换后的所述访问请求，发送至所述网关设备；

通过所述访问端口，将传输格式转换后的所述访问请求经由所述加密通道发送至所述目标数据源。

10.一种访问外网数据的装置，其特征在于，所述装置设置于预设私有网络对应的网关设备；所述私有网络内运行有应用服务；所述应用服务通过预设的负载均衡设备与所述网关设备连接；所述负载均衡设备上运行有代理服务；所述代理服务与所述私有网络的外部网络中的目标数据源建立有加密通道；所述网关设备中保存有所述目标数据源的标识信息，以及所述应用服务访问所述目标数据源的访问端口；

所述装置包括：

第二请求发送模块，用于如果接收到来自所述负载均衡设备的所述应用服务对所述目标数据源的访问请求，通过所述访问端口，将所述访问请求经由所述加密通道发送至所述目标数据源；

其中，所述访问请求预先由所述负载均衡设备转换为与所述加密通道相匹配的加密传输格式；所述加密通道具体通过下述方式建立：通过所述代理服务，以反向连接的方式，与所述目标数据源建立加密通道；其中，所述加密通道采用超文本传输协议进行加密；所述反向连接是指所述代理服务接受所述目标数据源的连接请求，建立所述目标数据源和所述代理服务之间的通道，并采用所述超文本传输协议对该通道进行加密。

11.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1至5任一项所述的方法。

12.一种网关服务器，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求6至8任一项所述的方法。

13.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现权利要求1至8任一项所述的方法。

Images