CN112583895A - Tcp通信方法、系统及装置 - Google Patents

Abstract

本发明提供一种TCP通信方法、系统及装置，属于通信技术领域。所述系统包括：路由服务模块，被配置在路由服务端中，用于接收TCP客户端发送的短连接连接请求；所述路由服务模块还用于根据所述短连接连接请求，确定路由表中可用的TCP服务端的网络地址，并向所述TCP客户端返回所述可用的TCP服务端的网络地址；TCP服务模块，被配置在各个TCP服务端中，用于接收所述TCP客户端对所述网络地址发送的长连接连接请求，建立与所述TCP客户端的长连接；所述TCP服务模块还用于返回所述长连接的建立连接状态至所述TCP客户端；所述TCP服务模块还用于在所述长连接的建立连接状态为成功时，执行与所述可用的TCP服务端的实时数据交互。本发明可用于高可用的TCP通信架构实现。

Description

TCP通信方法、系统及装置

技术领域

本发明涉及通信技术领域，具体地涉及一种TCP通信方法、一种TCP通信系统、一种TCP通信装置、一种电子设备和一种计算机可读存储介质。

背景技术

随着互联网的发展，目前基于传输控制协议(Transmission Control Protocol，TCP)协议的长连接实时通信软件已经成为网络流量的主要占有者，如直播应用程序APP，视频类软件，语音聊天等软件，此类软件的服务端系统通信架构都面临着高并发，高带宽负载，高可用性等方面的考验，在考虑技术架构时，通常需要通过负载均衡解决高并发和高带宽负载的分流。目前国内常用的针对TCP通信的负载均衡实现，有两种方式，一是针对操作系统为Unix内核的Linux相关系统使用开源解决方案LVS(Linux Virtual Server)Linux虚拟服务器，另一种是使用成熟的商用硬件或软件产品如F5和Nginx来做请求负载均衡的转发处理，但现有方案存在特殊系统环境要求和较大的计算开销，有宕机风险，且难以长期维护。

发明内容

本发明的目的是提供一种TCP通信方法、系统及装置，避免与操作系统的强耦合性和高通信计算开销而导致的低响应速度和存在宕机风险，进而改善TCP通信服务器的可用性和可维护性。

为了实现上述目的，本发明实施例提供一种TCP通信方法，该TCP通信方法包括：

接收TCP客户端发送的短连接连接请求；

根据所述短连接连接请求，确定路由服务端的路由表中可用的TCP服务端的网络地址，并通过所述路由服务端向所述TCP客户端返回所述TCP服务端的网络地址；

接收所述TCP客户端对所述TCP服务端的网络地址发送的长连接连接请求，通过所述TCP服务端建立与所述TCP客户端的长连接；

通过所述TCP服务端返回所述长连接的建立连接状态至所述TCP客户端；

在所述长连接的建立连接状态为成功时，执行所述TCP客户端与所述TCP服务端的实时数据交互。

具体的，在所述接收TCP客户端的短连接连接请求，包括：

接收TCP客户端的IP地址类型的短连接连接请求，其中，

所述IP地址类型的短连接连接请求通过域名解析服务端解析所述TCP客户端发送的域名类型的短连接连接请求获得，

所述IP地址类型的短连接连接请求包括路由服务端的IP地址。

具体的，在所述根据所述短连接连接请求，确定路由服务端的路由表中可用的TCP服务端的网络地址之前，还包括：

通过路由服务端实时拉取与所述路由服务端对应的TCP服务端的性能指标数据，然后通过所述性能指标数据更新所述路由服务端的路由表，或者，

定时上报与所述路由服务端对应的TCP服务端的性能指标数据至路由服务端，然后通过所述性能指标数据更新所述路由服务端的路由表。

具体的，所述通过所述性能指标数据更新所述路由服务端的路由表，包括：

根据所述性能指标数据，计算与所述路由服务端对应的TCP服务端的权重值；

根据所述权重值，通过所述路由服务端更新所述路由表中与所述路由服务端对应的TCP服务端的排序位置。

具体的，所述根据所述性能指标数据，计算所述TCP服务端的权重值，包括：

根据所述性能指标数据中处理器的平均负载和主频，相对所述处理器的初始线程数，获得可用的线程数；

根据所述性能指标数据中所述处理器的初始线程数和已使用内存大小，相对总内存大小，获得可支撑的线程数；

根据所述可用的线程数和所述可支撑的线程数，获得所述TCP服务端的权重值。

具体的，所述根据所述性能指标数据，计算所述TCP服务端的权重值，包括：

根据所述性能指标数据中处理器的平均负载和负载瓶颈，获得所述处理器的剩余可用平均负载；

确定所述性能指标数据中与当前TCP连接数对应的当前线程数；

根据所述性能指标数据中所述处理器的主频和所述剩余可用平均负载，相对所述当前线程数，获得剩余可用的线程数；

根据所述当前线程数和所述性能指标数据中所述处理器的已使用内存大小，相对总内存大小，获得可支撑的线程数；

根据所述当前TCP连接数和最大TCP连接数，确定网络带宽利用率；

根据所述可用的线程数与所述可支撑的线程数在所述网络带宽利用率条件下的实际可支撑的线程数，获得所述TCP服务端的权重值。

具体的，所述通过所述性能指标数据更新所述路由服务端的路由表，还包括：

在所述路由表发生变化时，通过所述路由服务端同步所述路由表至与所述路由服务端对应的路由服务端集群内的路由服务端。

具体的，所述根据所述短连接连接请求，确定路由服务端的路由表中可用的TCP服务端的网络地址，包括：

获得所述短连接连接请求中的网络地址和链接路径；

根据所述链接路径，通过与所述短连接连接请求中的网络地址对应的路由服务端，确定所述路由服务端的路由表中可用的TCP服务端的网络地址。

具体的，所述通过所述路由服务端向所述TCP客户端返回所述TCP服务端的网络地址，包括：

通过所述路由服务端向所述TCP客户端返回所述TCP服务端的IP地址和所述IP地址的访问端口。

本发明实施例提供一种TCP通信系统，该TCP通信系统包括：

路由服务模块，被配置在路由服务端中，用于接收TCP客户端发送的短连接连接请求；

所述路由服务模块还用于根据所述短连接连接请求，确定路由表中可用的TCP服务端的网络地址，并向所述TCP客户端返回所述可用的TCP服务端的网络地址；

TCP服务模块，被配置在各个TCP服务端中，用于接收所述TCP客户端对所述网络地址发送的长连接连接请求，建立与所述TCP客户端的长连接；

所述TCP服务模块还用于返回所述长连接的建立连接状态至所述TCP客户端；

所述TCP服务模块还用于在所述长连接的建立连接状态为成功时，执行与所述可用的TCP服务端的实时数据交互。

具体的，所述路由服务模块具有路由组件模块和监控组件模块；

所述监控组件模块用于实时拉取与所述路由服务模块对应的TCP服务端的性能指标数据，或接收与所述路由服务模块对应的TCP服务端定时上报的性能指标数据；

所述路由组件模块用于通过所述性能指标数据更新所述路由表。

具体的，所述路由组件模块还用于根据所述性能指标数据，计算与所述路由服务端对应的TCP服务端的权重值；

所述路由组件模块还用于根据所述权重值，更新所述路由表中与所述路由服务端对应的TCP服务端的排序位置。

具体的，所述监控组件模块还具体用于确定所述路由表中记录的TCP服务端定时上报的性能指标数据过时，并主动拉取与所述路由服务模块对应的TCP服务端的性能指标数据；

所述路由组件模块还具体用于根据主动拉取的性能指标数据，重新计算所述路由表中记录的TCP服务端的权重值，或者，

所述路由组件模块还具体用于在主动拉取未得到返回的性能指标数据时，将所述路由表中记录的TCP服务端移除所述路由表。

具体的，所述路由组件模块还用于根据在所述路由表发生变化时，通过所述路由服务端同步所述路由表至与所述路由服务端对应的路由服务端集群内的路由服务端。

具体的，所述路由表具有哈希键值对数据存储结构；

所述哈希键值对数据存储结构包括：

键，具有任意一个TCP服务端的IP地址和访问端口的数据，以及

值，具有所述任意一个TCP服务端的性能指标数据的数据。

具体的，所述路由服务模块具有最优服务接口模块；

所述最优服务接口模块用于获得所述短连接连接请求中链接路径和经域名解析服务端解析后的网络地址；

所述最优服务接口模块还用于向所述TCP客户端返回所述可用的TCP服务端的网络地址。

具体的，所述最优服务接口模块还具体用于返回所述可用的TCP服务端的唯一标识符、IP地址、访问端口、时间戳标签和权重值。

具体的，所述TCP服务模块具有实时性能指标统计组件；

所述实时性能指标统计组件用于配置的时间内上报或定时上报服务器的性能指标数据至所述路由服务模块，以及通过HTTP接口响应所述路由服务模块的性能指标数据调用；

所述TCP服务器组件用于响应所述TCP客户端的连接请求。

本发明实施例提供一种TCP通信装置，该TCP通信装置包括：

路由服务器，被配置为具有前述的TCP通信系统中路由服务端的功能；

TCP服务器，被配置为具有执行前述的TCP通信系统中TCP服务端的功能。

具体的，所述TCP服务器包括多台通信服务器，所述多台通信服务器中至少一台通信服务器作为一个TCP服务节点；

所述路由服务器包括多台连接请求路由服务器，所述多台连接请求路由服务器中至少一台通信服务器作为一个路由服务节点，其中，

每个路由服务节点至少与多个TCP服务节点中一个TCP服务节点连接。

再一方面，本发明实施例提供一种电子设备，该电子设备包括：

至少一个处理器；

存储器，与所述至少一个处理器连接；

其中，所述存储器存储有能被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令，所述至少一个处理器通过执行所述存储器存储的指令实现前述的方法。

又一方面，本发明实施例提供一种计算机可读存储介质，存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行前述的方法。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1为常规的LVS通信交互架构示意图；

图2为常规的基于Nginx的TCP负载均衡器的通信交互架构示意图；

图3为传统的TCP通信交互架构示意图；

图4为本发明实施例的TCP通信交互架构示意图；

图5为本发明实施例的部署的TCP通信服务和路由服务的集群架构示意图；

图6为本发明实施例的TCP通信服务和路由服务的监控流程示意图。

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

实施例1

本发明实施例提供了TCP通信系统，该TCP通信系统可以包括：

路由服务模块，被配置在路由服务端中，用于接收TCP客户端发送的短连接连接请求；所述路由服务模块还用于根据所述短连接连接请求，确定路由表中可用的TCP服务端的网络地址，并向所述TCP客户端返回所述可用的TCP服务端的网络地址；TCP服务模块，被配置在各个TCP服务端中，用于接收所述TCP客户端对所述网络地址发送的长连接连接请求，建立与所述TCP客户端的长连接；所述TCP服务模块还用于返回所述长连接的建立连接状态至所述TCP客户端；所述TCP服务模块还用于在所述长连接的建立连接状态为成功时，执行与所述可用的TCP服务端的实时数据交互。

在一些具体实施中，传输控制协议(TCP)是一种面向连接的、可靠的、基于字节流的传输层通信协议；对于短连接和长连接，可以是TCP客户端向TCP服务端发起连接请求，在建立连接后，TCP服务端响应TCP客户端发送的数据，在TCP服务端完成响应后，两者中任意一者均可以发起关闭连接操作，该连接关闭，该连接可以是短连接，短连接可以是相对请求次数和数据传输次数而言，相对地，长连接在TCP客户端请求的连接建立之后，可以一直保持该连接，用于持续的数据交互传输。

在常规的通信系统中，如图3，TCP客户端发送TCP长连接连接请求，通过DNS(域名服务DNS提供一种分布式网络目录服务，可以将域名和IP地址相互映射的一个分布式数据库，能够更方便地实现访问互联网，而避免使用被机器直接读取的IP的数字组合)执行域名解析，将长连接连接请求中域名转换为IP地址，然后转发该转换后的长连接连接请求至TCP服务端集群，通过配置的负载均衡策略完成分发和指定该TCP客户端对应的运行TCP服务端的服务器，该服务器将建立与TCP的连接，并返回连接状态至TCP客户端，然后通过建立的连接实现实时数据交互。

在本发明实施例中，客户端可以进行至少两次连接请求。如图4，本发明实施例中TCP客户端可以发送HTTP或HTTPS类型的短连接连接请求，该短连接连接请求可用于取得最优性能服务器IP地址或至少可用的服务器IP地址，接着可以经过DNS进行域名解析，转换该短连接连接请求中的域名为IP地址，DNS可以将该转换后的短连接连接请求转发至该IP地址对应的(连接请求)路由服务端集群中至少一个路由服务端(可以运行于一台服务器或服务器实例)，路由服务端集群可有多台实体服务器和/或服务器实例，服务器实例可以包括云服务器、虚拟服务器、容器中运行的服务器系统等，再通过该路由服务端查询路由表内记录的TCP服务端集群中可用的TCP服务端的IP地址，并返回此IP地址给TCP客户端，此时可视为完成一次短连接连接请求，其中，HTTP为是Hyper Text Transfer Protocol(超文本传输协议)的缩写，是一个简单的请求和响应协议，通常运行在TCP之上，HTTP可以是无连接请求，无连接的含义是限制每次连接只处理一个请求，服务器上服务端处理完客户的请求，并收到客户端的应答后，即断开连接，对于HTTPS，在HTTP的基础上，通过证书和密钥等密钥数据进行交互数据传输加密，如服务端和客户端的信息传输都会通过密钥数据进行加密，以及在密钥交换后进行的身份认证，均可以保证传输过程的安全性。

在TCP客户端接收到TCP服务端的IP地址后，TCP客户端可以直接向该IP地址发起长连接连接请求，TCP服务端若正常接收到该请求，则可以开始建立与TCP客户端的连接，建立后可以返回连接状态至TCP客户端，从而TCP客户端可以通过该连接与TCP服务端进行实时数据交互。

本发明实施例还提供种TCP通信装置，该TCP通信装置可以包括：

路由服务器，被配置为具有执行前述的TCP通信系统中路由服务端的功能；TCP服务器，被配置为具有执行前述的TCP通信系统中TCP服务端的功能。所述TCP服务器包括多台通信服务器，所述多台通信服务器中至少一台通信服务器作为一个TCP服务节点；所述路由服务器包括多台连接请求路由服务器，所述多台连接请求路由服务器中至少一台通信服务器作为一个路由服务节点，其中，每个路由服务节点至少与多个TCP服务节点中一个TCP服务节点连接。

如图5(N为正整数)，请求可由TCP客户端发起，可以基于HTTPS类型的请求，该请求发至DNS所在服务器，通过DNS域名服务器安全访问连接请求路由服务以获取最优性能的TCP通信服务服务器IP地址。

连接请求路由服务端可以采用集群部署方式，具有高可用性的特点，可以基于HTTP类型的无状态请求的最优性能跟服务器IP接口进行实现短连接连接请求，该过程也可以使用密钥数据加密的HTTPS类型的连接请求；路由服务端可以包括路由服务模块，路由服务模块可以包括监控TCP通信服务节点监控状态监控组件模块(组件可以是软件系统里具有特定功能模块，或多个特定功能模块的组合)，用以监控上报性能指标数据的TCP通信服务器健康状态，其中，TCP通信服务节点可以至少为一台TCP通信服务器且该TCP通信服务器可以运行至少一个TCP(通信)服务端。路由服务模块可以包括TCP通信服务器IP路由组件模块，通过固定算法(如根据指标和对应的数值，加权计算得出一个IP地址或服务器标识符对应的权重值)计算出最优TCP通信服务器节点，并以列表排序方式将最优性能服务器IP放入路通信服务器IP路由表头部，并在列表中信息发生变化时主动与集群中其他节点服务器同步路由表数据。

TCP通信服务端可采用集群部署方式，集群中每个TCP通信服务节点可有至少一个TCP通信服务端，可以包括TCP服务模块，该TCP服务模块可以通过系统服务执行，可称为TCP通信服务，TCP通信服务可用于接收和处理TCP客户端发起的实时通信请求；TCP服务模块包括实时性能指标统计组件，可采用启动时(配置的时间)上报和定时上报两种主动方式上报自身服务器性能指标，并提供可获取自身服务器性能指标的HTTP接口供连接请求路由服务调用，实现被动上报性能指标，以供连接请求路由服务计算出最优性能的TCP通信服务器；

TCP服务模块还可以包括可处理高并发连接请求的TCP server服务器(服务)组件用来处理来自客户端的连接通信请求，如进行长链接实时通信的连接请求接收和连接保持。

对于最优服务接口模块，可以配置有最优性能服务器地址HTTPS接口，可以基于HTTPS协议，实现具有获取最优性能通信服务IP地址的接口，供客户端访问，客户端访问该接口取得TCP通信服务集群内最优性服务器通信地址列表，选择其中最优性能指标(权重值可以为最大，状态可为在线)的TCP通信服务器,该最优性能服务器由TCP通信服务上报的性能指标(数据)通过固定算法计算得来。

例如，接口可以配置成：

POST/GEThttps://域名/router/tcpservers

请求参数可以为表1所示：

表1最优性能服务器地址HTTPS接口的请求参数表

该接口的返回可以如：

[{"ID":"PC201311081022","Addr":"192.168.8.3","Port":7946,"Tags":20200303112021,Performance:56},

{"ID":"PC201311081023","Addr":"192.168.8.4","Port":7946,"Tags":20200303112025,Performance:68}]，其中，各项参数可根据具体情况进行设置，示例性地，如下表2。

表2最优性能服务器地址接口返回参数对照表

其中，YYYY、MM、DD分别指年月日，HH、MI、SS分别指时钟、分钟、秒钟，String为字符串类型，Int为整型。

对于监控组件模块，可以为TCP通信服务节点健康状态监控组件，可以基于HTTP协议，配置性能指标数据的上报接口，供TCP通信服务上报性能指标。

监控组件的接口可以配置成：

POSThttp://连接请求路由服务IP:端口/router/report

请求参数可以如表3所示：

表3监控组件的接口的请求参数表

具有JSON数据结构的参数可根据具体情况进行设置，示例性地，如：

其中，参数对照说明如表4。

表4监控组件的接口的参数对照表

其中，String为字符串类型，Int为整型，Float为单精度浮点型。

TCP通信服务通过访问上述http接口上报性能指标，TCP通信服务节点健康状态监控组件将该TCP通信服务性能指标写入到TCP通信服务路由表中，路由表结构如下表5，可采用哈希(Hash)键值对结构存储性能指标。

表5路由表数据结构

对于监控健康状态，可以定时检查主动上报的TCP通信服务节点的健康状态(可默认20秒或30秒，可配置)，或者主动拉取TCP通信服务节点服务的性能指标，更新路由表中TCP服务器性能指标并计算性能权重，更新策略及流程如图6，路由服务端(连接请求路由服务)可以接收TCP服务端(TCP通信服务)启动时上报的性能指标数据，将该性能指标数据写入路由表中，得到该TCP服务端的权重值，并写入路由表中，然后每隔固定配置的时间，由TCP服务端定时上报性能指标数据，路由服务端可以再次类似地计算权重值并更新于路由表中，在一些情况中，可以按配置的定时进行检查(可默认定时20秒检查一次)，是否上报时间超时或者性能指标数据过时，若过时，可以由路由服务端根据接口主动请求TCP服务端以获取性能指标数据，若路由服务端得到了TCP服务端的返回的性能指标数据，则可以再次类似地更新路由表中该TCP服务端的权重值，若没有得到返回的数据，则可以将该TCP服务端从路由表中进行移除，若未过时，则可以直接进行权重值计算和路由表更新。

对于路由组件模块，可以为TCP通信服务路由组件，可以基于HTTP协议的性能指标，实现同步接口，以供连接请求路由服务节点中各成员同步路由表数据。

同步接口可以为：

POSThttp://连接请求路由服务IP:端口/router/sync

请求参数可以如表6：

表6同步接口的请求参数表

具有JSON数据结构的参数可根据具体情况进行设置，示例性地，如：

其中，参数对照说明如表7：

表7同步接口的参数对照表

其中，String为字符串类型，Int为整型，Float为单精度浮点型。

可以自动同步连接请求路由服务节点中路由表信息，在集群环境中各节点通过配置文件中配置的成员地址，当每个成员节点路由表中数据发生变化时，自动将自身节点中路由表数据通过调用对方节点的router/sync数据同步HTTP接口同步给集群中其他成员，这样可以保证同步连接请求路由服务节点中路由表信息的一致性性。

然后可以按最优算法计算上报的TCP通信服务器性能指标权值，并按权值对路由表进行排序，权值越大性能越好排在路由表首位。

对于权重值的计算，可以根据具体情况进行配置固定算法，此处，示例性地，其一，可以根据TCP通信服务器启动时上报的性能指标作为原始性能指标，此时TCP连接数为0，则设线程数T0，总内存大小MT0，可用内存为MR0，对于CPU负载，C1为近1分钟平均负载，C5为近5分钟平均负载、C15为近15分钟平均负载，CL0表示CPU平均负载：

CL0＝(C1+C5+C15)/3

其中，理论上，CPU主频越高可分配的线程数越多，设Chz表示CPU主频，可以有：

(T0/CLO)*Chz表示逻辑上可处理的线程数；

T0/((MT0-MR0)/MT0)表示最大内存时可支撑的线程数。

P0表示性能指标(数据)权重(值)，P0的计算公式如下：

P0＝(Chz*(T0/CLO)+T0/((MT0-MR0)/MT0))/2

此时没有连接的接入，因此Band带宽可不作为性能指标权重计算的计算条件。

其二，当有连接接入TCP通信服务时，此时TCP连接数为n,则设线程数为Tn,内存可用率为MRn，CPU负载(1分钟平均负载、5分钟平均负载、15分钟平均负载，)此时以CPU负载达到70％为基准，目前理论上当CPU负载达到70％时，服务器性能将很快达到瓶颈。

此时CLeftn表示CPU剩余可用平均负载：

CLeftn＝((70％-C1)+(70％-C5)+(70％-C15))/3；

理论上CPU主频越高可分配的线程数越多则设Chz表示CPU主频，有：

(Tn/(1-CLeftn))*Chz表示逻辑上剩余可处理的线程数；

Tn/((MTn-MRn)/MTn)表示最大内存时可支撑的线程数；

Band表示带宽，连接数为n，最大连接数为m，则此时带宽利用率为：

Bandrate＝Band*(n/m)；

性能指标权重的计算公式如下：

Pn＝(Chz*(Tn/(1-CLeftn))+Bandrate*(Tn/((MTn-MRn)/MTn)))/2

其中，Pn表示性能指标权重。

TCP服务端在TCP通信服务启动时，可通过调用连接请求路由服务提供的访问路径为/router/report的HTTP接口，主动上报本服务器性能指标，性能指标可以包括CPU主频率、CPU负载(近1分钟平均负载、近5分钟平均负载、近15分钟平均负载)、总物理内存大小、可用内存大小、当前已连接数、最大连接数、网络带宽和上报时间。

TCP服务端可定时连接请求路由服务提供访问路径为/router/report的HTTP接口上报性能指标，定时默认10秒上报一次，定时时间可配置。

TCP服务端可配置有用于获取性能指标HTTP接口，可供连接请求路由服务调用，接口可如：

POST/GEThttps://TCP通信服务IP:PORT/tcpserver/performance

请求参数可如下表8：

表8供路由服务调用的接口的参数表

返回的结果示例为：

返回的参数对照表如表9：

表9返回性能指标参数对照表

其中，String为字符串类型，Int为整型，Float为单精度浮点型。

相对而言，通常的LVS(Linux Virtual Server)的通信架构(描述软件系统里的基本结构组织或纲要，以及它们之间的交互)，如图1(RS代表实际服务器)，是类Unix系统中的一个虚拟服务器，作为一个调度器，它本身不提供任何的服务，只是将请求接受后通过特定的负载均衡调度算法转发给后台运行的真正的服务器(RealServer)进行处理，然后响应给客户端，其流程中连接转换是通过mac地址转换实现的，连接建立后，客户端与真实服务器直接进行数据交互。首先，对服务器操作系统具有强耦合依赖性，开启隧道方式需重编译操作系统内核代码，非unix内核的操作系统的服务器该方法不适用；其次，客户端与服务器之间的连接由LVS虚拟服务器经过负载均衡算法计算取得可用服务器后，再进行mac地址转才进行连接的，客户端需要等待响应结果，长链接实时交互的响应等待在高并发访问时会极具增加服务器性能压力，导致宕机，影响客户端体验。

通常的基于Nginx(是一款轻量级的Web服务器/反向代理服务器及电子邮件IMAP/POP3代理服务器)的TCP负载均衡器的通信架构，如图2，Nginx使用了一个新的upstream模块(用于指定负载均衡的服务器地址)来实现TCP负载均衡，该模块允许使用者配置一组监听TCP连接的服务，再通过在upstream的server组中配置proxy_pass代理转发指令，当Nginx从监听端口收到一个新的客户端链接时，立刻执行路由调度算法，获得指定需要连接的服务IP，然后创建一个新的上游连接，连接到指定的实际服务器，上游连接到服务器之间进行的数据交互会进入Nginx内存缓冲区，由缓冲区进行数据的转发，实际上客户端并没有直接连接服务器，全部请求和数据交互都是由Nginx进行代理转发。首先，在该方案中，客户端与服务端之间的TCP连接和数据交互全部由Ngnix转发，实际上是客户端与Ngnix服务器tcp服务三者之间的通信，高并发访问时中间Ngnix服务器性会成为瓶颈，单节点Nginx服务器部署会出现宕机风险。其次，通过增加Nginx服务器集群中节点数据可以解决高并发时出现的性能消耗严重和宕机风险，但会增加集群环境配置的难度，同时部署配置高性能的Ngnix服务器和TCP服务端服务器，增加了对服务器资源的消耗，随着用户访问量的增加将越来越难以维护。

本发明实施例采用https请求获得最优性能TCP通信服务器通信地址，TCP长链接直连最优TCP通信服务器的2次交互方式，解决传统TCP长链接通信时1次连接，通过域名解析，负载均衡，请求转发所带来的域名劫持风险，负载均衡计算性能消耗严重和延时问题，避免宕机风险。

本发明实施例架构中的连接请求路由服务和TCP通信服务的软件实现部署和运行都不依赖操作系统，支持基于配置文件和一键部署(如获取Shell脚本，脚本中可写有部署代码)运行方式，相对与部署和配置繁琐的负载均衡软件Ngnix或硬件F5等更方便快捷，减少配置工作量，减少运维费用。

本发明实施例中的连接请求路由服务和TCP通信服务之间的通信都基于无状态的http短链接请求，请求结束，连接就关闭，释放服务器资源，高并时请求时对服务器性能压力更小。

本发明实施例中的连接请求路由服务和TCP通信服务都可充分支持扩容的集群部署方式，更适用于海量客户端连接，避免由于客户端爆炸式增长导致的服务器性能耗尽出现的服务不可用问题，实现了TCP服务器的高可用性。

实施例2

本发明实施例与实施例1属于同一发明构思，本发明实施例提供了TCP通信方法，该TCP通信方法包括：

接收TCP客户端发送的短连接连接请求；

根据所述短连接连接请求，确定路由服务端的路由表中可用的TCP服务端的网络地址，并通过所述路由服务端向所述TCP客户端返回所述TCP服务端的网络地址；

接收所述TCP客户端对所述TCP服务端的网络地址发送的长连接连接请求，通过所述TCP服务端建立与所述TCP客户端的长连接；

通过所述TCP服务端返回所述长连接的建立连接状态至所述TCP客户端；

在所述长连接的建立连接状态为成功时，执行所述TCP客户端与所述TCP服务端的实时数据交互。

具体的，在所述接收TCP客户端的短连接连接请求，包括：

接收TCP客户端的HTTP类型的短连接连接请求，其中，

所述HTTP类型的短连接连接请求通过域名解析服务端解析所述TCP客户端发送的HTTPS类型的短连接连接请求获得，

所述HTTP类型的短连接连接请求包括路由服务端的IP地址。

具体的，在所述根据所述短连接连接请求，确定路由服务端的路由表中可用的TCP服务端的网络地址之前，还包括：

通过路由服务端实时拉取与所述路由服务端对应的TCP服务端的性能指标数据，然后通过所述性能指标数据更新所述路由服务端的路由表，或者，

定时上报与所述路由服务端对应的TCP服务端的性能指标数据至路由服务端，然后通过所述性能指标数据更新所述路由服务端的路由表。

具体的，所述通过所述性能指标数据更新所述路由服务端的路由表，包括：

根据所述性能指标数据，计算与所述路由服务端对应的TCP服务端的权重值；

根据所述权重值，通过所述路由服务端更新所述路由表中与所述路由服务端对应的TCP服务端的排序位置。

具体的，所述根据所述性能指标数据，计算所述TCP服务端的权重值，包括：

根据所述性能指标数据中处理器的平均负载和主频，相对所述处理器的初始线程数，获得可用的线程数；

根据所述性能指标数据中所述处理器的初始线程数和已使用内存大小，相对总内存大小，获得可支撑的线程数；

根据所述可用的线程数和所述可支撑的线程数，获得所述TCP服务端的权重值。

具体的，所述根据所述性能指标数据，计算所述TCP服务端的权重值，包括：

根据所述性能指标数据中处理器的平均负载和负载瓶颈，获得所述处理器的剩余可用平均负载；

确定所述性能指标数据中与当前TCP连接数对应的当前线程数；

根据所述性能指标数据中所述处理器的主频和所述剩余可用平均负载，相对所述当前线程数，获得剩余可用的线程数；

根据所述当前线程数和所述性能指标数据中所述处理器的已使用内存大小，相对总内存大小，获得可支撑的线程数；

根据所述当前TCP连接数和最大TCP连接数，确定网络带宽利用率；

根据所述可用的线程数与所述可支撑的线程数在所述网络带宽利用率条件下的实际可支撑的线程数，获得所述TCP服务端的权重值。

具体的，所述通过所述性能指标数据更新所述路由服务端的路由表，还包括：

在所述路由表发生变化时，通过所述路由服务端同步所述路由表至与所述路由服务端对应的路由服务端集群内的路由服务端。

具体的，所述根据所述短连接连接请求，确定路由服务端的路由表中可用的TCP服务端的网络地址，包括：

获得所述短连接连接请求中的网络地址和链接路径；

根据所述链接路径，通过与所述短连接连接请求中的网络地址对应的路由服务端，确定所述路由服务端的路由表中可用的TCP服务端的网络地址。

具体的，所述通过所述路由服务端向所述TCP客户端返回所述TCP服务端的网络地址，包括：

通过所述路由服务端向所述TCP客户端返回所述TCP服务端的IP地址和所述IP地址的访问端口。

以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。

本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。

Claims (22)

1.一种TCP通信方法，其特征在于，该TCP通信方法包括：

接收TCP客户端发送的短连接连接请求；

根据所述短连接连接请求，确定路由服务端的路由表中可用的TCP服务端的网络地址，并通过所述路由服务端向所述TCP客户端返回所述TCP服务端的网络地址；

接收所述TCP客户端对所述TCP服务端的网络地址发送的长连接连接请求，通过所述TCP服务端建立与所述TCP客户端的长连接；

通过所述TCP服务端返回所述长连接的建立连接状态至所述TCP客户端；

在所述长连接的建立连接状态为成功时，执行所述TCP客户端与所述TCP服务端的实时数据交互。

2.根据权利要求1所述的TCP通信方法，其特征在于，在所述接收TCP客户端的短连接连接请求，包括：

接收TCP客户端的HTTP类型的短连接连接请求，其中，

所述HTTP类型的短连接连接请求通过域名解析服务端解析所述TCP客户端发送的HTTPS类型的短连接连接请求获得，

所述HTTP类型的短连接连接请求包括路由服务端的IP地址。

3.根据权利要求1所述的TCP通信方法，其特征在于，在所述根据所述短连接连接请求，确定路由服务端的路由表中可用的TCP服务端的网络地址之前，还包括：

通过路由服务端实时拉取与所述路由服务端对应的TCP服务端的性能指标数据，然后通过所述性能指标数据更新所述路由服务端的路由表，或者，

定时上报与所述路由服务端对应的TCP服务端的性能指标数据至路由服务端，然后通过所述性能指标数据更新所述路由服务端的路由表。

4.根据权利要求3所述的TCP通信方法，其特征在于，所述通过所述性能指标数据更新所述路由服务端的路由表，包括：

根据所述性能指标数据，计算与所述路由服务端对应的TCP服务端的权重值；

根据所述权重值，通过所述路由服务端更新所述路由表中与所述路由服务端对应的TCP服务端的排序位置。

5.根据权利要求4所述的TCP通信方法，其特征在于，所述根据所述性能指标数据，计算所述TCP服务端的权重值，包括：

根据所述性能指标数据中处理器的平均负载和主频，相对所述处理器的初始线程数，获得可用的线程数；

根据所述性能指标数据中所述处理器的初始线程数和已使用内存大小，相对总内存大小，获得可支撑的线程数；

根据所述可用的线程数和所述可支撑的线程数，获得所述TCP服务端的权重值。

6.根据权利要求4所述的TCP通信方法，其特征在于，所述根据所述性能指标数据，计算所述TCP服务端的权重值，包括：

根据所述性能指标数据中处理器的平均负载和负载瓶颈，获得所述处理器的剩余可用平均负载；

确定所述性能指标数据中与当前TCP连接数对应的当前线程数；

根据所述性能指标数据中所述处理器的主频和所述剩余可用平均负载，相对所述当前线程数，获得剩余可用的线程数；

根据所述当前线程数和所述性能指标数据中所述处理器的已使用内存大小，相对总内存大小，获得可支撑的线程数；

根据所述当前TCP连接数和最大TCP连接数，确定网络带宽利用率；

根据所述可用的线程数与所述可支撑的线程数在所述网络带宽利用率条件下的实际可支撑的线程数，获得所述TCP服务端的权重值。

7.根据权利要求4所述的TCP通信方法，其特征在于，所述通过所述性能指标数据更新所述路由服务端的路由表，还包括：

在所述路由表发生变化时，通过所述路由服务端同步所述路由表至与所述路由服务端对应的路由服务端集群内的路由服务端。

8.根据权利要求1所述的TCP通信方法，其特征在于，所述根据所述短连接连接请求，确定路由服务端的路由表中可用的TCP服务端的网络地址，包括：

获得所述短连接连接请求中的网络地址和链接路径；

根据所述链接路径，通过与所述短连接连接请求中的网络地址对应的路由服务端，确定所述路由服务端的路由表中可用的TCP服务端的网络地址。

9.根据权利要求8所述的TCP通信方法，其特征在于，所述通过所述路由服务端向所述TCP客户端返回所述TCP服务端的网络地址，包括：

通过所述路由服务端向所述TCP客户端返回所述TCP服务端的IP地址和所述IP地址的访问端口。

10.一种TCP通信系统，其特征在于，该TCP通信系统包括：

路由服务模块，被配置在路由服务端中，用于接收TCP客户端发送的短连接连接请求；

所述路由服务模块还用于根据所述短连接连接请求，确定路由表中可用的TCP服务端的网络地址，并向所述TCP客户端返回所述可用的TCP服务端的网络地址；

TCP服务模块，被配置在各个TCP服务端中，用于接收所述TCP客户端对所述网络地址发送的长连接连接请求，建立与所述TCP客户端的长连接；

所述TCP服务模块还用于返回所述长连接的建立连接状态至所述TCP客户端；

所述TCP服务模块还用于在所述长连接的建立连接状态为成功时，执行与所述可用的TCP服务端的实时数据交互。

11.根据权利要求10所述的TCP通信系统，其特征在于，所述路由服务模块具有路由组件模块和监控组件模块；

所述监控组件模块用于实时拉取与所述路由服务模块对应的TCP服务端的性能指标数据，或接收与所述路由服务模块对应的TCP服务端定时上报的性能指标数据；

所述路由组件模块用于通过所述性能指标数据更新所述路由表。

12.根据权利要求11所述的TCP通信系统，其特征在于，所述路由组件模块还用于根据所述性能指标数据，计算与所述路由服务端对应的TCP服务端的权重值；

所述路由组件模块还用于根据所述权重值，更新所述路由表中与所述路由服务端对应的TCP服务端的排序位置。

13.根据权利要求12所述的TCP通信系统，其特征在于，所述监控组件模块还具体用于确定所述路由表中记录的TCP服务端定时上报的性能指标数据过时，并主动拉取与所述路由服务模块对应的TCP服务端的性能指标数据；

所述路由组件模块还具体用于根据主动拉取的性能指标数据，重新计算所述路由表中记录的TCP服务端的权重值，或者，

所述路由组件模块还具体用于在主动拉取未得到返回的性能指标数据时，将所述路由表中记录的TCP服务端移除所述路由表。

14.根据权利要求11所述的TCP通信系统，其特征在于，所述路由组件模块还用于根据在所述路由表发生变化时，通过所述路由服务端同步所述路由表至与所述路由服务端对应的路由服务端集群内的路由服务端。

15.根据权利要求10所述的TCP通信系统，其特征在于，所述路由表具有哈希键值对数据存储结构；

所述哈希键值对数据存储结构包括：

键，具有任意一个TCP服务端的IP地址和访问端口的数据，以及

值，具有所述任意一个TCP服务端的性能指标数据的数据。

16.根据权利要求12所述的TCP通信系统，其特征在于，所述路由服务模块具有最优服务接口模块；

所述最优服务接口模块用于获得所述短连接连接请求中链接路径和经域名解析服务端解析后的网络地址；

所述最优服务接口模块还用于向所述TCP客户端返回所述可用的TCP服务端的网络地址。

17.根据权利要求16所述的TCP通信系统，其特征在于，所述最优服务接口模块还具体用于返回所述可用的TCP服务端的唯一标识符、IP地址、访问端口、时间戳标签和权重值。

18.根据权利要求10所述的TCP通信系统，其特征在于，所述TCP服务模块具有实时性能指标统计组件和TCP服务器组件；

所述实时性能指标统计组件用于配置的时间内上报或定时上报服务器的性能指标数据至所述路由服务模块，以及通过HTTP接口响应所述路由服务模块的性能指标数据调用；

所述TCP服务器组件用于响应所述TCP客户端的连接请求。

19.一种TCP通信装置，其特征在于，该TCP通信装置包括：

路由服务器，被配置为具有执行权利要求10至18中任意一项所述的TCP通信系统中路由服务端的功能；

TCP服务器，被配置为具有执行所述的TCP通信系统中TCP服务端的功能。

20.根据权利要求19所述的TCP通信装置，其特征在于，所述TCP服务器包括多台通信服务器，所述多台通信服务器中至少一台通信服务器作为一个TCP服务节点；

所述路由服务器包括多台连接请求路由服务器，所述多台连接请求路由服务器中至少一台通信服务器作为一个路由服务节点，其中，

每个路由服务节点至少与多个TCP服务节点中一个TCP服务节点连接。

21.一种电子设备，其特征在于，该电子设备包括：

至少一个处理器；

存储器，与所述至少一个处理器连接；

其中，所述存储器存储有能被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现权利要求1至9中任意一项权利要求所述的方法。

22.一种计算机可读存储介质，存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行权利要求1至9中任意一项权利要求所述的方法。

Images