CN112583740A

CN112583740A - 网络通信方法及装置

Info

Publication number: CN112583740A
Application number: CN201910945808.XA
Authority: CN
Inventors: 陈阔
Original assignee: Beijing Gridsum Technology Co Ltd
Current assignee: Beijing Gridsum Technology Co Ltd
Priority date: 2019-09-30
Filing date: 2019-09-30
Publication date: 2021-03-30
Anticipated expiration: 2039-09-30
Also published as: CN112583740B

Abstract

本发明公开了一种网络通信方法及装置。其中，该方法包括：获取网络平台的通信容器组中的通信数据；获取通信数据对应的IP地址；将IP地址输入到地址列表中，其中，地址列表用于生成IP地址对应的优先值；通过修改IP地址对应的优先值，修改IP地址对应的通信数据的通信顺序；按照修改顺序后的通信数据进行网络通信。本发明解决了相关技术中在通讯网络大量占用时，增加带宽和自动化扩容，实现通讯关键业务的方式，在部署周期长，流程复杂的技术问题。

Description

网络通信方法及装置

技术领域

本发明涉及网络通信领域，具体而言，涉及一种网络通信方法及装置。

背景技术

随着虚拟化，容器化以及微服务技术的发展，计算服务单元在内部的通讯越来越复杂。在大并发量的场景下，如电商促销，内部通讯数据有可能达到峰值，在该基础上，各服务中的通讯将占用大量的网络带宽，而关键的业务。如订单业务将得不到有效的处理。而现在技术一般都从运营商和自动扩容/缩容方面入手，即通过运营商增加出口带宽和自动扩容新的计算单元，但是，不仅要有相关的资源和提前准备，而且自动扩容/缩容计算单元涉及业务调整，部署周期更长。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种网络通信方法及装置，以至少解决相关技术中在通讯网络大量占用时，增加带宽和自动化扩容，实现通讯关键业务的方式，在部署周期长，流程复杂的技术问题。

根据本发明实施例的一个方面，提供了一种网络通信方法，包括：获取网络平台的通信容器组中的通信数据；获取所述通信数据对应的IP地址；将所述IP地址输入到地址列表中，其中，所述地址列表用于生成所述IP地址对应的优先值；通过修改所述IP地址对应的优先值，修改所述IP地址对应的通信数据的通信顺序；按照修改顺序后的通信数据进行网络通信。

可选的，获取网络平台的通信容器组中的通信数据包括：通过开放虚拟交换标准接口，对所述通信容器组中的通信数据进行镜像处理；将镜像处理获得的通信数据，存储到数据包中。

可选的，在获取网络平台的通信容器组中的通信数据之前，还包括：将所述通信数据和对应的所述IP地址添加到IP报头中，其中，所述IP报头包括所述通信数据和所述IP地址，所述IP地址为所述通信数据的数据源的源地址IP，和/或所述通信数据的接收方的目标地址IP；获取网络平台的通信容器组中的通信数据包括：通过获取所述IP报头来获取所述通信数据。

可选的，获取所述通信数据对应的IP地址包括：通过所述通信数据对应的所述IP报头，与网络平台的数据库中通信数据条目进行对比和过滤，获取IP地址。

可选的，将所述IP地址输入到地址列表中之后包括：更新所述地址列表中的IP地址对应的优先值。

根据本发明实施例的另一方面，还提供了一种网络通信装置，包括：第一获取模块，用于获取网络平台的通信容器组中的通信数据；第二获取模块，用于获取所述通信数据对应的IP地址；输入模块，用于将所述IP地址输入到地址列表中，其中，所述地址列表用于生成所述IP地址对应的优先值；修改模块，用于通过修改所述IP地址对应的优先值，修改所述IP地址对应的通信数据的通信顺序；通信模块，用于按照修改顺序后的通信数据进行网络通信。

可选的，第一获取模块包括：镜像单元，用于通过开放虚拟交换标准接口，对所述通信容器组中的通信数据进行镜像处理；存储单元，用于将镜像处理获得的通信数据，存储到数据包中。

可选的，还包括：添加模块，用于将所述通信数据和对应的所述IP地址添加到IP报头中，其中，所述IP地址为所述通信数据的数据源的源地址IP，和/或所述通信数据的接收方的目标地址IP；第一获取模块还用于通过获取所述IP报头获取所述通信数据。

根据本发明实施例的另一方面，还提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述中任意一项所述的方法。

根据本发明实施例的另一方面，还提供了一种电子设备，设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如上述中任意一项所述的网络通信方法。

在本发明实施例中，采用获取网络平台的通信容器组中的通信数据；获取通信数据对应的IP地址；将IP地址输入到地址列表中，其中，地址列表用于生成IP地址对应的优先值；通过修改IP地址对应的优先值，修改IP地址对应的通信数据的通信顺序；按照修改顺序后的通信数据进行网络通信的方式，直接通过修改通信数据的通信顺序，达到了对关键数据的有效快速通信的目的，从而实现了提高了关键数据的通信效率，降低流程复杂程度的技术效果，进而解决了相关技术中在通讯网络大量占用时，增加带宽和自动化扩容，实现通讯关键业务的方式，在部署周期长，流程复杂的技术问题。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本发明实施例的一种网络通信方法的流程图；

图2是根据本发明实施方式的数据处理方法的流程图；

图3是根据本发明实施例的一种网络通信装置的示意图；

图4是根据本发明实施例的一种设备的结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了便于描述，以下对本申请实施例涉及的部分名词或术语进行说明：

Kubernetes：是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效(powerful)，Kubernetes提供了应用部署，规划，更新，维护的一种机制。

Tos：IPV4的优先级字段。

Iptables：Linux的防火墙,可以通过iptables的raw表修改tos相关字段信息。

OpenvSwitch：Open vSwitch(OVS)是运行在虚拟化平台上的虚拟交换机，其支持OpenFlow协议，也支持gre/vxlan/IPsec等隧道技术。

根据本发明实施例，提供了一种网络通信方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的一种网络通信方法的流程图，如图1所示，该方法包括如下步骤：

步骤S102，获取网络平台的通信容器组中的通信数据；

步骤S104，获取通信数据对应的IP地址；

步骤S106，将IP地址输入到地址列表中，其中，地址列表用于生成IP地址对应的优先值；

步骤S108，通过修改IP地址对应的优先值，修改IP地址对应的通信数据的通信顺序；

步骤S110，按照修改顺序后的通信数据进行网络通信。

通过上述步骤，采用获取网络平台的通信容器组中的通信数据；获取通信数据对应的IP地址；将IP地址输入到地址列表中，其中，地址列表用于生成IP地址对应的优先值；通过修改IP地址对应的优先值，修改IP地址对应的通信数据的通信顺序；按照修改顺序后的通信数据进行网络通信的方式，直接通过修改通信数据的通信顺序，达到了对关键数据的有效快速通信的目的，从而实现了提高了关键数据的通信效率，降低流程复杂程度的技术效果，进而解决了相关技术中在通讯网络大量占用时，增加带宽和自动化扩容，实现通讯关键业务的方式，在部署周期长，流程复杂的技术问题。

上述网络平台可以是Kubernetes，Kubernetes是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效(powerful)，Kubernetes提供了应用部署，规划，更新，维护的一种机制。在大规模Kubernetes集群场景下，随着时间的不同，流量也会发生较大的变化，通常会在一定的范围内进行规律变化，但是也可能在一些特殊情况下，导致网络阻塞，从而导致一些较为重要的数据信息得不到及时的传送从而造成损失。

本实施例针对上述问题提供了一种网络通信方法，通过获取Kubernetes网络平台的通信容器组中的通信数据，上述通信容器组可以是豆荚pod，用于对通信数据进行缓存。获取通信数据对应的IP地址，上述IP地址可以是上述通信数据的原服务器的IP地址，或者上述通信数据发送的目标服务器的IP地址，上述通信数据的元服务器或者目标服务器的重要性和通信权限，决定了上述通信数据的权限。

上述将IP地址输入到地址列表中，其中，地址列表用于生成IP地址对应的优先值，上述地址列表可以是按照IP地址的优先权进行排序的列表，通过将IP地址写入到该地址列表可以确定该IP地址的优先级，从而确定该通信数据的重要性。通过对上述IP地址的优先值进行修改，就可以修改通信数据的而优先顺序。上述优先顺序可以是在通信阻塞时多个待通信的通信数据的优先顺序。

可选的，获取网络平台的通信容器组中的通信数据包括：通过开放虚拟交换标准接口，对通信容器组中的通信数据进行镜像处理；将镜像处理获得的通信数据，存储到数据包中。

上述对通信数据的优先值进行修改，只需要通过镜像拷贝一份该通信数据，该通信数据还会保持原来在通信队列中的位置，在优先值改变后以便进行有效通信。

可选的，在获取网络平台的通信容器组中的通信数据之前，还包括：将通信数据和对应的IP地址添加到IP报头中，其中，IP报头包括通信数据和IP地址，IP地址为通信数据的数据源的源地址IP，和/或通信数据的接收方的目标地址IP；获取网络平台的通信容器组中的通信数据包括：通过获取IP报头获取通信数据。

上述IP报头可以包括IP地址和通信数据两部分，还可以包括其他数据。上述IP报头指示数据短的一种形式，上述IP地址和通信数据还可以添加到其他数据字段中或者文件中。

可选的，获取通信数据对应的IP地址包括：通过通信数据对应的IP报头，与网络平台的数据库中通信数据条目进行对比和过滤，获取IP地址。

上述IP报头包括IP地址和通信数据，网络平太数据库中的通信数据条目包括通信数据二者对比和过滤，就可以有效快速的确定出IP地址。

可选的，将IP地址输入到地址列表中之后包括：更新地址列表中的IP地址对应的优先值。

需要说明的是，本实施例还提供了一种可选的实施方式，下面对该实施方式进行详细说明。

本实施方式提供了一种K8S网络流量的优化学习-实现集群网络流量治理方法，解决在大规模Kubernetes集群场景下，网络堵塞时，保证关键程序使用的网络畅通。

本实施方式的技术方案如下：

1、通过对各pod的net子接口的流量进行mirror，在UDP封包中加入标识字段和优先级字段。

2、对标识字段和IP，子网，应用进行过滤，优选出关键路径.对关键路径的优先级进行排序。

3、修改IPTABLES的RAW规则，对网络队列进行优化。

图2是根据本发明实施方式的数据处理方法的流程图，如图2所示，上述3中修改IPTABLES的RAW规则，对网络队列进行优化的过程和规则如下：

1.在Kubernetes平台中，用户启用大量的Pod，以进程为单位的程序，该程序在网络通讯过程中在IP包头中加入源/目的IP地址。

2.通过OpenvSwitch的Mirror功能，将每个Pod中的网络数据捕获，同时以镜像的方式同步到其中一台机器，该机器启用原始套接字，获取所以经过该接口的数据。

3.通过与数据库中的条目做对比和过滤，在用户平台的关键程序(Pod)中获取IP地址,反向注入到物理节点的Iptables/RAW表中。

4.更新iptables/RAW对映的IP的TOS。

5.网络通讯时修改相关的IP包头的TOS值，达到网络加速的目的。

本实施方式在高并发的情况下，自动进行网络优化，使关键服务稳定正常。本实施方式的优化网络性能，保重网络阻塞时重要程序可以稳定运行。

图3是根据本发明实施例的一种网络通信装置的示意图，如图3所示，根据本发明实施例的另一方面，还提供了一种网络通信装置，包括：第一获取模块302，第二获取模块304，输入模块306，修改模块308和通信模块310，下面对该装置进行详细说明。

第一获取模块302，用于获取网络平台的通信容器组中的通信数据；第二获取模块304，与上述第一获取模块302相连，用于获取通信数据对应的IP地址；输入模块306，与上述第二获取模块304相连，用于将IP地址输入到地址列表中，其中，地址列表用于生成IP地址对应的优先值；修改模块308，与上述输入模块306相连，用于通过修改IP地址对应的优先值，修改IP地址对应的通信数据的通信顺序；通信模块310，与上述修改模块308相连，用于按照修改顺序后的通信数据进行网络通信。

通过上述装置，采用第一获取模块302获取网络平台的通信容器组中的通信数据；第二获取模块304获取通信数据对应的IP地址；输入模块306将IP地址输入到地址列表中，其中，地址列表用于生成IP地址对应的优先值；修改模块308通过修改IP地址对应的优先值，修改IP地址对应的通信数据的通信顺序；通信模块310按照修改顺序后的通信数据进行网络通信的方式，直接通过修改通信数据的通信顺序，达到了对关键数据的有效快速通信的目的，从而实现了提高了关键数据的通信效率，降低流程复杂程度的技术效果，进而解决了相关技术中在通讯网络大量占用时，增加带宽和自动化扩容，实现通讯关键业务的方式，在部署周期长，流程复杂的技术问题。

上述数据处理装置包括处理器和存储器，上述第一获取模块302，第二获取模块304，输入模块306，修改模块308和通信模块310均作为程序模块单元存储在存储器中，由处理器执行存储在存储器中的上述程序模块单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来同时显示韦恩图和关键词，提高使用效果。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

可选的，第一获取模块包括：镜像单元，用于通过开放虚拟交换标准接口，对通信容器组中的通信数据进行镜像处理；存储单元，用于将镜像处理获得的通信数据，存储到数据包中。

可选的，还包括：添加模块，用于将通信数据和对应的IP地址添加到IP报头中，其中，IP地址为通信数据的数据源的源地址IP，和/或通信数据的接收方的目标地址IP；第一获取模块还用于通过获取IP报头获取通信数据。

根据本发明实施例的另一方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述中任意一项的方法。

根据本发明实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述中任意一项的方法。

本发明实施例提供了一种设备，图4是根据本发明实施例的一种设备的结构示意图，如图4所示，设备400包括至少一个处理器401、以及与处理器401连接的至少一个存储器402、总线403；其中，处理器401、存储器402通过总线403完成相互间的通信；处理器401用于调用存储器402中的程序指令，以执行如上述中任意一项的网络通信方法。

本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：获取网络平台的通信容器组中的通信数据；获取通信数据对应的IP地址；将IP地址输入到地址列表中，其中，地址列表用于生成IP地址对应的优先值；通过修改IP地址对应的优先值，修改IP地址对应的通信数据的通信顺序；按照修改顺序后的通信数据进行网络通信。

本申请中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：获取网络平台的通信容器组中的通信数据；获取通信数据对应的IP地址；将IP地址输入到地址列表中，其中，地址列表用于生成IP地址对应的优先值；通过修改IP地址对应的优先值，修改IP地址对应的通信数据的通信顺序；按照修改顺序后的通信数据进行网络通信。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

在一个典型的配置中，设备包括一个或多个处理器(CPU)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本实施例中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims

1.一种网络通信方法，其特征在于，包括：

获取网络平台的通信容器组中的通信数据；

获取所述通信数据对应的IP地址；

将所述IP地址输入到地址列表中，其中，所述地址列表用于生成所述IP地址对应的优先值；

通过修改所述IP地址对应的优先值，修改所述IP地址对应的通信数据的通信顺序；

按照修改顺序后的通信数据进行网络通信。

2.根据权利要求1所述的方法，其特征在于，获取网络平台的通信容器组中的通信数据包括：

通过开放虚拟交换标准接口，对所述通信容器组中的通信数据进行镜像处理；

将镜像处理获得的通信数据，存储到数据包中。

3.根据权利要求1所述的方法，其特征在于，在获取网络平台的通信容器组中的通信数据之前，还包括：

将所述通信数据和对应的所述IP地址添加到IP报头中，其中，所述IP报头包括所述通信数据和所述IP地址，所述IP地址为所述通信数据的数据源的源地址IP，和/或所述通信数据的接收方的目标地址IP；

获取网络平台的通信容器组中的通信数据包括：

通过获取所述IP报头来获取所述通信数据。

4.根据权利要求3所述的方法，其特征在于，获取所述通信数据对应的IP地址包括：

通过所述通信数据对应的所述IP报头，与网络平台的数据库中通信数据条目进行对比和过滤，获取IP地址。

5.根据权利要求4所述的方法，其特征在于，将所述IP地址输入到地址列表中之后包括：

更新所述地址列表中的IP地址对应的优先值。

6.一种网络通信装置，其特征在于，包括：

第一获取模块，用于获取网络平台的通信容器组中的通信数据；

第二获取模块，用于获取所述通信数据对应的IP地址；

输入模块，用于将所述IP地址输入到地址列表中，其中，所述地址列表用于生成所述IP地址对应的优先值；

修改模块，用于通过修改所述IP地址对应的优先值，修改所述IP地址对应的通信数据的通信顺序；

通信模块，用于按照修改顺序后的通信数据进行网络通信。

7.根据权利要求6所述的装置，其特征在于，第一获取模块包括：

镜像单元，用于通过开放虚拟交换标准接口，对所述通信容器组中的通信数据进行镜像处理；

存储单元，用于将镜像处理获得的通信数据，存储到数据包中。

8.根据权利要求6所述的装置，其特征在于，还包括：

添加模块，用于将所述通信数据和对应的所述IP地址添加到IP报头中，其中，所述IP地址为所述通信数据的数据源的源地址IP，和/或所述通信数据的接收方的目标地址IP；

第一获取模块还用于通过获取所述IP报头获取所述通信数据。

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至5中任意一项所述的方法。

10.一种电子设备，其特征在于，包括至少一个处理器、至少一个存储器、以及总线；其中，所述处理器与所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如权利要求1-7中任一项所述的网络通信方法。