CN113485865B - 基于正向代理服务器访问第三方应用的数据处理系统 - Google Patents

Abstract

本发明涉及一种基于正向代理服务器访问第三方应用的数据处理系统，包括数据库、至少一个内部应用节点和两个以上的正向代理服务器，所述数据库中存储有节点关系映射表和基于预设的第一数据结构生成的正向代理配置信息，所述内部应用节点包括存储有计算机程序的存储器和处理器；其中，所述节点关系映射表用于存储当前应用节点和正向代理服务器的连接关系；所述第一数据结构包括第三方应用标识数据段、内部应用标识数据段、故障参数阈值数据段、时间窗口数据段和正向代理服务器数组数据段。本发明降低了正向代理服务器的维护成本，提高了维护效率和访问第三方应用的稳定性。

Description

基于正向代理服务器访问第三方应用的数据处理系统

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于正向代理服务器访问第三方应用的数据处理系统。

背景技术

当企业部署的内部应用程序（简称应用）需要访问外部第三方应用时，通常需要能直接访问外部互联网的正向代理服务器作为中间媒介，使得内网服务器能够访问到第三方应用对应的外部服务器。企业内部应用程序通过正向代理服务器与外部第三方应用程序进行信息交互过程中，会在正向代理服务器上产生很多配置信息，在系统运维方面存在代理配置信息不易读取，后期维护困难。现有技术通常基于业务场景来配置正向代理服务器，即按照业务场景来配置对应的正向代理服务器，因此在业务研发人员在进行开发时会产生配置分散化，研发过程会产生重复劳动，开发效率低，且在后续正向代理服务器出现故障时也没有统一的处理方式，介入人员多，恢复时间长，无法实现自动化。因此正向代理服务器的维护成本高，维护效率低，且访问第三方应用的稳定性差。由此可知，如何降低正向代理服务器的维护成本，提高维护效率和访问第三方应用的稳定性成为亟待解决的技术问题。

发明内容

本发明目的在于，提供一种基于正向代理服务器访问第三方应用的数据处理系统，降低了正向代理服务器的维护成本，提高了维护效率和访问第三方应用的稳定性。

根据本发明第一方面，提供了一种基于正向代理服务器访问第三方应用的数据处理系统，包括数据库、至少一个内部应用节点和两个以上的正向代理服务器，所述数据库中存储有节点关系映射表和基于预设的第一数据结构生成的正向代理配置信息，所述内部应用节点包括存储有计算机程序的存储器和处理器；其中，所述节点关系映射表用于存储当前应用节点和正向代理服务器的连接关系；所述第一数据结构包括第三方应用标识数据段、内部应用标识数据段、故障参数阈值数据段、时间窗口数据段和正向代理服务器数组数据段；所述正向代理服务器数组数据段基于预设的第二数据结构生成，所述第二数据结构包括状态信息列表数据段、优先级信息列表数据段、代理地址信息列表数据段；

当所述处理器执行所述计算机程序时，实现以下步骤：

步骤S1、获取目标内部应用标识信息和目标第三方应用标识信息，基于所述目标内部应用标识信息和目标第三方应用标识信息从所述数据库中获取对应的目标正向代理配置信息，根据所述目标正向代理配置信息确定第一目标代理信息地址；

步骤S2、基于所述第一目标代理信息地址与第一目标正向代理服务器建立连接，若在预设的第一时间阈值内连接成功，则结束流程，否则，执行步骤S3；

步骤S3、根据所述目标正向代理配置信息确定目标时间窗口和目标故障参数阈值，按照预设的步长滑动时间窗口，确定故障参数，若故障参数超过目标故障参数阈值，则确定第一目标正向代理服务器故障；

步骤S4、基于所述节点关系映射表确定所述目标正向代理服务器当前连接的目标应用节点集合，基于所述目标正向代理配置信息确定第二目标代理信息地址，将所述第二目标代理信息地址发送至目标应用节点集合中的每一目标应用节点，每一目标应用节点基于所述第二目标代理信息连接第二目标正向代理服务器，并切断与第一目标正向代理服务器的连接，更新所有正向代理配置信息和所述节点关系映射表，所述第二目标正向代理服务器的优先级低于所述第一目标代理服务器的优先级。

本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案，本发明提供的一种基于正向代理服务器访问第三方应用的数据处理系统可达到相当的技术进步性及实用性，并具有产业上的广泛利用价值，其至少具有下列优点：

本发明能够基于应用节点与正向代理服务器建立连接的过程对正向代理服务器进行监测，在监测到正向代理服务器故障时，实现故障正向代理服务器所连接的应用节点的整体切换，并实时更新正向代理配置信息和节点关系映射表，对正向代理服务器配置信息统一维护，具有通用性，扩展性强，降低了正向代理服务器的维护成本，提高了维护效率和访问第三方应用的稳定性。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。

附图说明

图1为本发明实施例提供的基于正向代理服务器访问第三方应用的数据处理系统示意图。

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的一种基于正向代理服务器访问第三方应用的数据处理系统的具体实施方式及其功效，详细说明如后。

本发明实施例提供了一种基于正向代理服务器访问第三方应用的数据处理系统，如图1所示，包括数据库、至少一个内部应用节点和两个以上的正向代理服务器，所述数据库中存储有节点关系映射表和基于预设的第一数据结构生成的正向代理配置信息，所述内部应用节点包括存储有计算机程序的存储器和处理器。需要说明的是，内部应用节点指的是运行内部应用的服务器节点，正向代理服务器是应用节点访问第三方应用的媒介。所述数据库存储在一个单独设置的代理配置中心服务器中，也可以分布存储在内部应用节点中。需要说明的是，图1中是以两个内部应用节点和三个正向代理服务器为例进行说明的，但并不限于此，实际应用中可根据具体需求调整内部应用节点和正向代理服务器的数量。

所述节点关系映射表用于存储当前应用节点和正向代理服务器的连接关系；所述第一数据结构包括第三方应用标识数据段、内部应用标识数据段、故障参数阈值数据段、时间窗口数据段和正向代理服务器数组数据段。所述正向代理服务器数组数据段基于预设的第二数据结构生成，所述第二数据结构包括状态信息列表数据段、优先级信息列表数据段、代理地址信息列表数据段。由此可知，正向代理配置信息为每一第三方应用与内部应用交互场景，配置为对应的故障参数阈值和时间窗口，提高了判断正向代理服务器故障的正确性和可靠性。正向代理配置信息为每一第三方应用与内部应用交互场景，配置正向代理服务器对应的优先级信息，使得优先级最高的正向代理服务器作为该第三方应用与内部应用交互场景下的主代理服务器，其他正向代理服务器作为该第三方应用与内部应用交互场景下的备用代理服务器，这样使得每一正向代理服务器都可能成为主代理服务器，也可能成为备用代理服务器，且能基于正向代理服务器的优先级始终为应用节点连接当前可用的优先级最高的正向代理服务器，提高了资源利用率以及应用节点访问第三方应用的稳定性。

当所述处理器执行所述计算机程序时，实现以下步骤：

步骤S1、获取目标内部应用标识信息和目标第三方应用标识信息，基于所述目标内部应用标识信息和目标第三方应用标识信息从所述数据库中获取对应的目标正向代理配置信息，根据所述目标正向代理配置信息确定第一目标代理信息地址；

需要说明的是，第一目标代理信息地址为当前可用的正向代理服务器中优先级最高的正向代理服务对应的代理信息地址，可以理解的是，当目标内部应用标识信息和目标第三方应用标识信息对应的最高优先级的正向代理服务为正常状态时，第一目标代理信息地址为最高优先级的正向代理服务器，但是，当最高优先级的正向代理服务为故障状态时，则第一目标代理信息地址并非最高优先级的正向代理服务器。

步骤S2、基于所述第一目标代理信息地址与第一目标正向代理服务器建立连接，若在预设的第一时间阈值内连接成功，则结束流程，否则，执行步骤S3；

步骤S3、根据所述目标正向代理配置信息确定目标时间窗口和目标故障参数阈值，按照预设的步长滑动时间窗口，确定故障参数，若故障参数超过目标故障参数阈值，则确定第一目标正向代理服务器故障；

步骤S4、基于所述节点关系映射表确定所述目标正向代理服务器当前连接的目标应用节点集合，基于所述目标正向代理配置信息确定第二目标代理信息地址，将所述第二目标代理信息地址发送至目标应用节点集合中的每一目标应用节点，每一目标应用节点基于所述第二目标代理信息连接第二目标正向代理服务器，并切断与第一目标正向代理服务器的连接，更新所有正向代理配置信息和所述节点关系映射表，所述第二目标正向代理服务器的优先级低于所述第一目标代理服务器的优先级。

本发明实施例能够基于应用节点与正向代理服务器建立连接的过程对正向代理服务器进行监测，在监测到正向代理服务器故障时，实现故障正向代理服务器所连接的应用节点的整体切换，并实时更新正向代理配置信息和节点关系映射表，对正向代理服务器配置信息统一维护，具有通用性，扩展性强，降低了正向代理服务器的维护成本，提高了维护效率和访问第三方应用的稳定性。

作为一种实施例，所述状态信息列表包括正向代理服务器标识字段，状态字段，所述状态字段为1时，表示正常状态，所述状态字段为0时，表示异常状态；所述优先级信息列表包括正向代理服务器标识字段和对应的优先级字段；所述代理地址信息列表包括正向代理服务器标识字段、IP字段和端口字段，IP字段对应正向代理服务器的IP地址，端口字段对应正向代理服务器基于第三方应用标识数据段、内部应用标识数据段确定的业务场景所分配的端口信息。优选的，所述优先级信息列表基于第三方应用和正向代理服务器的网络参数匹配度生成，网络参数匹配度越高，对应的正向代理服务器的优先级越高。这样使得第三方应用与内部应用交互时，基于网络配置参数选择对应的正向代理服务器，而非仅仅通过业务场景选择对应的正向代理服务器。第三方应用与内部应用始终能基于当前可用的正向代理服务器中优先级最高的正向代理服务器进行新信息交互，提高了访问第三方应用的稳定性和效率。

作为一种实施例，所述步骤S4之后，还包括：

步骤S5、当获取到所述目标内部应用标识信息和目标第三方应用标识信息对应的最高优先级的正向代理服务器恢复信息，则每一目标应用节点与对应的最高优先级的正向代理服务器建立连接，切断与第二目标正向代理服务器的连接，更新所有正向代理配置信息和所述节点关系映射表。

通过步骤S5能够实时监测所述目标内部应用标识信息和目标第三方应用标识信息对应的最高优先级的正向代理服务器恢复信息，使得目标内部应用标识信息和目标第三方应用标识信息尽可能基于最高优先级的正向代理服务器进行信息交互，提高访问第三方应用的效率和稳定性。

作为一种实施例，所述步骤S4之后，还包括：

步骤S6、判断所述第二目标正向代理服务器是否为所述目标内部应用标识信息和目标第三方应用标识信息对应的第二优先级的正向代理服务器，若不是，则执行步骤S7;

步骤S7、当获取到优先级高于第二目标正向代理服务器的任一正向代理服务器的恢复信息，则将每一目标应用节点与已恢复的优先级高于第二目标正向代理服务器中当前最高优先级的正向代理服务器建立连接，切断与第二目标正向代理服务器的连接，更新所有正向代理配置信息和所述节点关系映射表。

通过步骤S5能够实时监测所述目标内部应用标识信息和目标第三方应用标识信息对应的更高优先级的正向代理服务器恢复信息，使得目标内部应用标识信息和目标第三方应用标识信息尽可能基于更高优先级的正向代理服务器进行信息交互，提高访问第三方应用的效率和稳定性。

作为一种实施例，所述步骤S1中，根据所述目标正向代理配置信息确定第一目标代理信息地址，包括：

步骤S11、获取所述目标正向代理配置信息中的正向代理服务器数组；

步骤S12、检索所述正向代理服务器数组中的状态信息列表，获取当前所有状态字段为1的候选正向代理服务器标识集合；

步骤S13、根据所述优先级信息列表确定所述候选正向代理服务器标识集合中优先级最高的候选正向代理服务器标识，作为目标代理服务器标识；

步骤S14、基于所述目标代理服务器标识检索所述代理地址信息列表确定对应的目标IP和目标端口，基于所述目标IP和目标端口确定所述第一目标代理信息地址。

故障参数阈值根据内部应用于第三方应用具体的交互参数来设定，可设定一个或多个，以下通过两个实施例来说明：

实施例一、

所述故障参数阈值设置为连接失败率阈值，所述步骤S3包括：

步骤S31、按照预设的步长在预设的时间段内滑动目标时间窗口，得到第i目标时间窗口内的连接数量L_i和连接失败数量LS_i,i的取值范围为1到M，M为预设的时间段滑动目标时间窗口的次数；

步骤S32、基于L_i、LS_i、M确定连接失败率E：

;

步骤S33、若连接失败率E超过所述连接失败率阈值，则确定第一目标正向代理服务器故障。

实施例二、

所述故障参数阈值设置为响应时长阈值，所述步骤S3包括：

步骤S34、按照预设的步长在预设的时间段内滑动目标时间窗口，得到第i目标时间窗口内的平均响应时长t_i，i的取值范围为1到M，M为预设的时间段滑动目标时间窗口的次数；

步骤S35、基于T_i、M确定预设的时间段内平均响应时长T:

;

步骤S36、预设的时间段内平均响应时长T超过所述响应时长阈值，则确定第一目标正向代理服务器故障。

实施例一基于连接失败率阈值判断第一目标正向代理服务器故障具有通用性，实施例二基于响应时长阈值判断第一目标正向代理服务器故障更适用于对响应时长有要求的应用场景。实施例一和实施例二可以单独使用，也可以结合使用。需要说明的是，连接失败或响应时间过长不一定是正向代理服务器故障造成的，还可能是网络波动或第三方应用故障造成的，因此可以就基于预设时段内参数来综合确定第一目标正向代理服务器是否故障，且每一内部应用于第三方应用的交互场景下，均有对应的故障参数阈值和时间窗口，使得时间窗口大小可以动态配置，保证不同访问频率的代理判别灵敏度。且通过滑动窗口计算可以避免临界环境失败率计算，提高判断的准确性和及时性，提高了故障判断的准确性和可靠性。

作为一种实施例，所述步骤S3之后还包括：

步骤S301、定时向所述第一目标正向代理服务器发送模拟调用请求，按照预设的步长滑动时间窗口，确定模拟故障参数，若模拟故障参数小于目标故障参数阈值，则确定第一目标正向代理服务器恢复，更新所有正向代理配置信息和所述节点关系映射表。

其中，所述模拟调用请求具体可以为查询请求等。通过模拟调用可以快速准确判断故障正向代理服务器是否恢复。具体判断过程与实施例一和实施例二的逻辑类似，在此不再赘述。

作为一种实施例，所述第二数据结构还包括变更故障状态方式列表数据段，所述变更故障状态方式列表包括正向代理服务器标识字段和当前更新故障状态方式字段，当前更新故障状态方式为1，表示系统自动更新故障状态，当前更新故障状态方式为0，表示基于用户输入更新指令更新故障状态，当所述处理器执行所述计算机程序时，还实现以下步骤：

步骤S10、检索状态信息列表和变更故障状态方式列表，若正向代理服务器的状态字段由1变为0，且更新故障状态方式为1，则触发针对该正向代理服务器的报警操作。

通过步骤S10可以保证每一基于系统自动识别的正向代理服务器的故障仅进行一次报警，避免重复报警。

需要说明的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，部分步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种基于正向代理服务器访问第三方应用的数据处理系统，其特征在于，

包括数据库、至少一个内部应用节点和两个以上的正向代理服务器，所述数据库中存储有节点关系映射表和基于预设的第一数据结构生成的正向代理配置信息，所述内部应用节点包括存储有计算机程序的存储器和处理器；其中，所述节点关系映射表用于存储当前应用节点和正向代理服务器的连接关系；所述第一数据结构包括第三方应用标识数据段、内部应用标识数据段、故障参数阈值数据段、时间窗口数据段和正向代理服务器数组数据段；所述正向代理服务器数组数据段基于预设的第二数据结构生成，所述第二数据结构包括状态信息列表数据段、优先级信息列表数据段、代理地址信息列表数据段；

当所述处理器执行所述计算机程序时，实现以下步骤：

步骤S1、获取目标内部应用标识信息和目标第三方应用标识信息，基于所述目标内部应用标识信息和目标第三方应用标识信息从所述数据库中获取对应的目标正向代理配置信息，根据所述目标正向代理配置信息确定第一目标代理信息地址；

步骤S2、基于所述第一目标代理信息地址与第一目标正向代理服务器建立连接，若在预设的第一时间阈值内连接成功，则结束流程，否则，执行步骤S3；

步骤S3、根据所述目标正向代理配置信息确定目标时间窗口和目标故障参数阈值，按照预设的步长滑动时间窗口，确定故障参数，若故障参数超过目标故障参数阈值，则确定第一目标正向代理服务器故障；

步骤S4、基于所述节点关系映射表确定所述目标正向代理服务器当前连接的目标应用节点集合，基于所述目标正向代理配置信息确定第二目标代理信息地址，将所述第二目标代理信息地址发送至目标应用节点集合中的每一目标应用节点，每一目标应用节点基于所述第二目标代理信息连接第二目标正向代理服务器，并切断与第一目标正向代理服务器的连接，更新所有正向代理配置信息和所述节点关系映射表，所述第二目标正向代理服务器的优先级低于所述第一目标代理服务器的优先级。

2.根据权利要求1所述的系统，其特征在于，

所述状态信息列表包括正向代理服务器标识字段，状态字段，所述状态字段为1时，表示正常状态，所述状态字段为0时，表示异常状态；所述优先级信息列表包括正向代理服务器标识字段和对应的优先级字段；所述代理地址信息列表包括正向代理服务器标识字段、IP字段和端口字段。

3.根据权利要求2所述的系统，其特征在于，

所述优先级信息列表基于第三方应用和正向代理服务器的网络参数匹配度生成，网络参数匹配度越高，对应的正向代理服务器的优先级越高。

4.根据权利要求1或2所述的系统，其特征在于，

所述步骤S4之后，还包括：

步骤S5、当获取到所述目标内部应用标识信息和目标第三方应用标识信息对应的最高优先级的正向代理服务器恢复信息，则每一目标应用节点与对应的最高优先级的正向代理服务器建立连接，切断与第二目标正向代理服务器的连接，更新所有正向代理配置信息和所述节点关系映射表。

5.根据权利要求1或2所述的系统，其特征在于，

所述步骤S4之后，还包括：

步骤S6、判断所述第二目标正向代理服务器是否为所述目标内部应用标识信息和目标第三方应用标识信息对应的第二优先级的正向代理服务器，若不是，则执行步骤S7;

步骤S7、当获取到优先级高于第二目标正向代理服务器的任一正向代理服务器的恢复信息，则将每一目标应用节点与已恢复的优先级高于第二目标正向代理服务器中当前最高优先级的正向代理服务器建立连接，切断与第二目标正向代理服务器的连接，更新所有正向代理配置信息和所述节点关系映射表。

6.根据权利要求2所述的系统，其特征在于，

所述步骤S1中，根据所述目标正向代理配置信息确定第一目标代理信息地址，包括：

步骤S11、获取所述目标正向代理配置信息中的正向代理服务器数组；

步骤S12、检索所述正向代理服务器数组中的状态信息列表，获取当前所有状态字段为1的候选正向代理服务器标识集合；

步骤S13、根据所述优先级信息列表确定所述候选正向代理服务器标识集合中优先级最高的候选正向代理服务器标识，作为目标代理服务器标识；

步骤S14、基于所述目标代理服务器标识检索所述代理地址信息列表确定对应的目标IP和目标端口，基于所述目标IP和目标端口确定所述第一目标代理信息地址。

7.根据权利要求1所述的系统，其特征在于，

所述故障参数阈值设置为连接失败率阈值，所述步骤S3包括：

步骤S31、按照预设的步长在预设的时间段内滑动目标时间窗口，得到第i目标时间窗口内的连接数量L_i和连接失败数量LS_i,i的取值范围为1到M，M为预设的时间段滑动目标时间窗口的次数；

步骤S32、基于L_i、LS_i、M确定连接失败率E：

;

步骤S33、若连接失败率E超过所述连接失败率阈值，则确定第一目标正向代理服务器故障。

8.根据权利要求1所述的系统，其特征在于，

所述故障参数阈值设置为响应时长阈值，所述步骤S3包括：

步骤S34、按照预设的步长在预设的时间段内滑动目标时间窗口，得到第i目标时间窗口内的平均响应时长t_i，i的取值范围为1到M，M为预设的时间段滑动目标时间窗口的次数；

步骤S35、基于T_i、M确定预设的时间段内平均响应时长T:

;

步骤S36、预设的时间段内平均响应时长T超过所述响应时长阈值，则确定第一目标正向代理服务器故障。

9.根据权利要求2所述的系统，其特征在于，

所述第二数据结构还包括变更故障状态方式列表数据段，所述变更故障状态方式列表包括正向代理服务器标识字段和当前更新故障状态方式字段，当前更新故障状态方式为1，表示系统自动更新故障状态，当前更新故障状态方式为0，表示基于用户输入更新指令更新故障状态，当所述处理器执行所述计算机程序时，还实现以下步骤：

步骤S10、检索状态信息列表和变更故障状态方式列表，若正向代理服务器的状态字段由1变为0，且更新故障状态方式为1，则触发针对该正向代理服务器的报警操作。

10.根据权利要求1所述的系统，其特征在于，

所述步骤S3之后还包括：

步骤S301、定时向所述第一目标正向代理服务器发送模拟调用请求，按照预设的步长滑动时间窗口，确定模拟故障参数，若模拟故障参数小于目标故障参数阈值，则确定第一目标正向代理服务器恢复，更新所有正向代理配置信息和所述节点关系映射表。

Images