CN110166429B - 数据包处理方法、装置、计算机可读存储介质及服务器 - Google Patents

数据包处理方法、装置、计算机可读存储介质及服务器 Download PDF

Info

Publication number
CN110166429B
CN110166429B CN201910295110.8A CN201910295110A CN110166429B CN 110166429 B CN110166429 B CN 110166429B CN 201910295110 A CN201910295110 A CN 201910295110A CN 110166429 B CN110166429 B CN 110166429B
Authority
CN
China
Prior art keywords
terminal
data
processing terminal
data packet
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910295110.8A
Other languages
English (en)
Other versions
CN110166429A (zh
Inventor
戴方慧
韩超
刘建
樊阿冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Financial Technology Co Ltd Shanghai
Original Assignee
OneConnect Financial Technology Co Ltd Shanghai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Financial Technology Co Ltd Shanghai filed Critical OneConnect Financial Technology Co Ltd Shanghai
Priority to CN201910295110.8A priority Critical patent/CN110166429B/zh
Publication of CN110166429A publication Critical patent/CN110166429A/zh
Application granted granted Critical
Publication of CN110166429B publication Critical patent/CN110166429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/303—Terminal profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明属于计算机技术领域，尤其涉及一种数据包处理方法、装置、计算机可读存储介质及服务器。所述方法获取各个数据处理终端的配置文件，并根据所述配置文件确定各个数据处理终端的属性值；将各个数据处理终端划分至对应的数据处理集群中，其中，同一数据处理集群中的数据处理终端的属性值均一致；从数据流中提取数据包，并根据所述数据包中的包头信息确定所述数据包的属性值；选取与所述数据包对应的目标集群，所述目标集群中各个数据处理终端的属性值与所述数据包的属性值均一致；将所述数据包发送至所述目标集群进行处理。由于通过属性值进行了数据包与数据处理终端之间的匹配，减少了数据包处理所需的时间，大大提高了整体的数据处理效率。

Description

数据包处理方法、装置、计算机可读存储介质及服务器
技术领域
本发明属于计算机技术领域，尤其涉及一种数据包处理方法、装置、计算机可读存储介质及服务器。
背景技术
随着互联网技术的迅猛发展，各个企业、单位的数据处理系统所要处理的数据量呈现出了指数级的增长态势，数据处理系统经常会面临由海量的数据包所组成的数据流的冲击，现有技术中，一般会设置众多的数据处理终端，采取随机分配的方式将这些数据包分流到各个数据处理终端中分别进行处理，但这种方式经常会出现数据包与数据处理终端不匹配的情况，数据包处理时间较长，导致整体的数据处理效率较低。
发明内容
有鉴于此，本发明实施例提供了一种数据包处理方法、装置、计算机可读存储介质及服务器，以解决现有技术中对海量数据包的数据处理效率较低的问题。
本发明实施例的第一方面提供了一种数据包处理方法，可以包括：
获取预设的各个数据处理终端的配置文件，并根据所述配置文件确定各个数据处理终端的属性值；
将各个数据处理终端划分至对应的数据处理集群中，其中，同一数据处理集群中的数据处理终端的属性值均一致；
从接收到的数据流中提取数据包，并根据所述数据包中的包头信息确定所述数据包的属性值；
选取与所述数据包对应的目标集群，所述目标集群中各个数据处理终端的属性值与所述数据包的属性值均一致；
将所述数据包发送至所述目标集群进行处理。
本发明实施例的第二方面提供了一种数据包处理装置，可以包括：
终端属性值确定模块，用于获取预设的各个数据处理终端的配置文件，并根据所述配置文件确定各个数据处理终端的属性值；
集群划分模块，用于将各个数据处理终端划分至对应的数据处理集群中，其中，同一数据处理集群中的数据处理终端的属性值均一致；
数据包属性值确定模块，用于从接收到的数据流中提取数据包，并根据所述数据包中的包头信息确定所述数据包的属性值；
目标集群选取模块，用于选取与所述数据包对应的目标集群，所述目标集群中各个数据处理终端的属性值与所述数据包的属性值均一致；
数据包发送模块，用于将所述数据包发送至所述目标集群进行处理。
本发明实施例的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如下步骤：
获取预设的各个数据处理终端的配置文件，并根据所述配置文件确定各个数据处理终端的属性值；
将各个数据处理终端划分至对应的数据处理集群中，其中，同一数据处理集群中的数据处理终端的属性值均一致；
从接收到的数据流中提取数据包，并根据所述数据包中的包头信息确定所述数据包的属性值；
选取与所述数据包对应的目标集群，所述目标集群中各个数据处理终端的属性值与所述数据包的属性值均一致；
将所述数据包发送至所述目标集群进行处理。
本发明实施例的第四方面提供了一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如下步骤：
获取预设的各个数据处理终端的配置文件，并根据所述配置文件确定各个数据处理终端的属性值；
将各个数据处理终端划分至对应的数据处理集群中，其中，同一数据处理集群中的数据处理终端的属性值均一致；
从接收到的数据流中提取数据包，并根据所述数据包中的包头信息确定所述数据包的属性值；
选取与所述数据包对应的目标集群，所述目标集群中各个数据处理终端的属性值与所述数据包的属性值均一致；
将所述数据包发送至所述目标集群进行处理。
本发明实施例与现有技术相比存在的有益效果是：本发明实施例首先获取各个数据处理终端的配置文件，并据此确定出各个数据处理终端的属性值，然后按照属性值对各个数据处理终端进行划分，从而形式各个数据处理集群，由于同一数据处理集群中的数据处理终端的属性值均一致，因此更适宜于专门对相同属性值的数据包进行处理。当接收到数据流时，先从中提取数据包，并根据所述数据包中的包头信息确定所述数据包的属性值，然后则可以根据其属性值选取相匹配的集群，也即从各个数据处理集群中选取与其属性值一致的目标集群，并将所述数据包发送至所述目标集群进行处理。由于通过属性值进行了数据包与数据处理终端之间的匹配，减少了数据包处理所需的时间，大大提高了整体的数据处理效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例中一种数据包处理方法的一个实施例流程图；
图2为本发明实施例中一种数据处理系统的示意图；
图3为将数据处理终端划分为多个数据处理集群的示意图；
图4为在数据处理集群内进行数据包分发的示意流程图；
图5为本发明实施例中一种数据包处理装置的一个实施例结构图；
图6为本发明实施例中一种服务器的示意框图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例中一种数据包处理方法的一个实施例可以包括：
步骤S101、获取预设的各个数据处理终端的配置文件，并根据所述配置文件确定各个数据处理终端的属性值。
以对客户的申请单进行处理的场景为例，可以将所有客户的申请单所构成的集合作为待处理的数据流，将其中的每一个申请单作为数据流中的一个数据包。每个客户经理处理申请单所使用的终端设备作为一个数据处理终端，如图2所示，所有的数据处理终端构成了一个对数据流进行处理的数据处理系统，数据包的分发由预先设置的数据包处理服务器进行管理，该服务器即为本实施例的实施主体。
每个数据包均有多个维度的属性值，这些维度包括但不限于：地域属性值、分类属性值、级别属性值等等。
以处理贷款申请的场景为例，每个数据包即为客户提交的一份贷款申请，在其中，客户所属的城市即为地域属性值，客户申请的贷款类型即为分类属性值，包括但不限于保单贷、车抵贷、消费贷、经营贷等等分类，客户的级别即为级别属性值，例如，可以根据实际情况将客户分为新客户、普通存量客户、VIP客户、优质VIP客户等等级别。
类似地，每个数据处理终端也有对应的属性值，该属性值存储在其预设的配置文件中，每个数据处理终端可以处理与其具有相同属性值的数据包，例如，若某一数据处理终端的地域属性值为：深圳，分类属性值为：消费贷，级别属性值为：新客户，则其可以处理深圳新客户的消费贷申请所对应的数据包。
步骤S102、将各个数据处理终端划分至对应的数据处理集群中。
如图3所示，在本实施例中，优选将所有的数据处理终端划分为两个以上的数据处理集群，同一数据处理集群中的数据处理终端的属性值均一致。
步骤S103、从接收到的数据流中提取数据包，并根据所述数据包中的包头信息确定所述数据包的属性值。
每个数据包的前面若干个字节为包头信息，包头信息的具体字节数可以根据实际情况进行设置，例如，可以将其设置为2字节、4字节、8字节或者其它取值。在每个数据包的包头信息中存储着该数据包的属性值，通过读取包头信息，即可确定出该数据包的属性值。
步骤S104、选取与所述数据包对应的目标集群。
所述目标集群中各个数据处理终端的属性值与所述数据包的属性值均一致。
步骤S105、将所述数据包发送至所述目标集群进行处理。
所述目标集群中的各个数据处理终端与所述数据包均匹配(即属性值一致)，能够更加快速的对所述数据包进行处理。
综上所述，本发明实施例首先获取各个数据处理终端的配置文件，并据此确定出各个数据处理终端的属性值，然后按照属性值对各个数据处理终端进行划分，从而形式各个数据处理集群，由于同一数据处理集群中的数据处理终端的属性值均一致，因此更适宜于专门对相同属性值的数据包进行处理。当接收到数据流时，先从中提取数据包，并根据所述数据包中的包头信息确定所述数据包的属性值，然后则可以根据其属性值选取相匹配的集群，也即从各个数据处理集群中选取与其属性值一致的目标集群，并将所述数据包发送至所述目标集群进行处理。由于通过属性值进行了数据包与数据处理终端之间的匹配，减少了数据包处理所需的时间，大大提高了整体的数据处理效率。
进一步地，如图4所示，在将所述数据包发送至所述目标集群进行处理之后，还可以进一步在所述目标集群内进行数据包分发：
步骤S401、按照预设的轮询机制从所述目标集群中选取一个数据处理终端作为目标处理终端。
由于所述目标集群中包括多个数据处理终端，服务器可以通过轮询机制进行数据包的初始分发，例如，发送到数据处理集群#1的数据包首先分配给其中的数据处理终端#1进行处理，下一个数据包分配给其中的数据处理终端#2进行处理，……，以此类推，当轮询一遍之后，下一个数据包重新分配给处理终端#1进行处理。
经过上述初始分配，可以保证数据包较为平均的分配到各个数据处理终端中，但是，考虑到各个数据处理终端的处理效率存在较大的差异，有的处理速度较快，有的处理速度较慢，因此不久后即可能会出现数据包处理不均衡的情况，还需要通过后续步骤进行调节。
步骤S402、向目标区域中的各个数据处理终端分别发送数据包查询请求，并分别接收所述目标区域中的各个数据处理终端反馈的待处理数据包数目。
在本实施例中，为了保证数据包的均衡处理，将同一数据处理集群中的各个数据处理终端组织为分布式的处理网络，其中的每个数据处理终端只与一个以上的其它数据处理终端有连接，整个数据处理集群构成一个连通图。需要注意的是，本实施例中所谓的连接指的是两个数据处理终端有直接的通信线路进行信息交互，而无需借助于其它数据处理终端进行中转。
所述目标区域中包括所述目标处理终端、一级协作终端以及二级协作终端，所述一级协作终端为与所述目标处理终端相连接的数据处理终端，所述二级协作终端为与所述一级协作终端相连接的数据处理终端。
步骤S403、根据所述目标区域中的各个数据处理终端的待处理数据包数目从所述目标区域中选取一个数据处理终端作为优选处理终端。
首先，根据所述目标处理终端以及各个一级协作终端的待处理数据包数目计算所述目标处理终端的数据包数目差值。
在本实施例的一种具体实现中，可以根据下式计算所述目标处理终端的数据包数目差值：
Figure BDA0002026230620000071
其中，fn为各个一级协作终端的序号，1≤fn≤FN，FN为一级协作终端的总数，FstDbNumfn为第fn个一级协作终端的待处理数据包数目，TgtDbNum为所述目标处理终端的待处理数据包数目，DiffNum0为所述目标处理终端的数据包数目差值。
例如，若所述目标处理终端为数据处理终端#1，其待处理数据包数目为6，即TgtDbNum＝6，与之连接的共有两个数据处理终端，即FN＝2，分别为数据处理终端#2和数据处理终端#4，其中，数据处理终端#2的待处理数据包数目为4，即FstDbNum1＝4，数据处理终端#4的待处理数据包数目为5，即FstDbNum2＝5，则：
Figure BDA0002026230620000072
然后，根据各个一级协作终端以及各个二级协作终端的待处理数据包数目计算各个一级协作终端的数据包数目差值。
在本实施例的一种具体实现中，可以根据下式计算各个一级协作终端的数据包数目差值：
Figure BDA0002026230620000081
其中，sn为各个二级协作终端的序号，1≤sn≤SN(fn)，SN(fn)为与第fn个一级协作终端相连接的二级协作终端的总数，SndDbNumfn,sn为与第fn个一级协作终端相连接的第sn个二级协作终端的待处理数据包数目，DiffNumfn为第fn个一级协作终端的数据包数目差值。
例如，与数据处理终端#2与之连接的共有3个数据处理终端，即SN(1)＝3，分别为数据处理终端#1、数据处理终端#3和数据处理终端#4，其中，数据处理终端#1的待处理数据包数目为6，即SndDbNum1,1＝6，数据处理终端#3的待处理数据包数目为7，即SndDbNum1,2＝7，数据处理终端#4的待处理数据包数目为5，即SndDbNum1,3＝5，则：
Figure BDA0002026230620000082
与数据处理终端#4与之连接的共有4个数据处理终端，即SN(2)＝4，分别为数据处理终端#1、数据处理终端#2、数据处理终端#5和数据处理终端#9，其中，数据处理终端#1的待处理数据包数目为6，即SndDbNum2,1＝6，数据处理终端#2的待处理数据包数目为4，即SndDbNum2,2＝4，数据处理终端#5的待处理数据包数目为8，即SndDbNum2,3＝8，数据处理终端#9的待处理数据包数目为8，即SndDbNum2,4＝8，则：
Figure BDA0002026230620000083
最后，从所述目标区域中选取数据包数目差值最大的一个数据处理终端作为所述优选处理终端，即可以根据下式选取所述优选处理终端：
SelSeq＝Argmax(DiffNum0,DiffNum1,...,DiffNumfn,...,DiffNumFN)
其中，Argmax为最大自变量函数，SelSeq为所述优选处理终端的序号，仍以上述例子进行说明，则应选取数据处理终端#2作为所述优选处理终端。
步骤S404、判断所述优选处理终端是否为所述目标处理终端。
若所述优选处理终端不是所述目标处理终端，则执行步骤S405，若所述优选处理终端为所述目标处理终端，则执行步骤S406。
步骤S405、将所述优选处理终端确定为新的目标处理终端。
所述优选处理终端的数据包数目差值最大，即说明此时所述优选处理终端相比于其他数据处理终端还有较强的处理能力，则将其确定为新的目标处理终端，然后返回执行步骤S402及其后续步骤，直至在某一次计算过程中得到所述优选处理终端即为所述目标处理终端为止。
步骤S406、将所述数据包发送至所述目标处理终端进行处理。
若所述优选处理终端即为所述目标处理终端，则说明所述目标处理终端在此时相比于其他数据处理终端还有较强的处理能力，因此，可以直接将所述数据包发送至所述目标处理终端进行处理。
通过以上的处理过程，可以在所述目标集群中为所述数据包找到一个处理能力最强的数据处理终端进行处理，使得分发给各个数据处理终端的数据包数目可以随着数据处理终端的处理状态及时进行调整，保证各个数据处理终端处理的数据包数目与其处理能力相匹配，充分利用系统资源，避免出现数据包积压长时间得不到处理的情况，大提高了整体的数据处理效率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
对应于上文实施例所述的一种数据包处理方法，图5示出了本发明实施例提供的一种数据包处理装置的一个实施例结构图。
本实施例中，一种数据包处理装置可以包括：
终端属性值确定模块501，用于获取预设的各个数据处理终端的配置文件，并根据所述配置文件确定各个数据处理终端的属性值；
集群划分模块502，用于将各个数据处理终端划分至对应的数据处理集群中，其中，同一数据处理集群中的数据处理终端的属性值均一致；
数据包属性值确定模块503，用于从接收到的数据流中提取数据包，并根据所述数据包中的包头信息确定所述数据包的属性值；
目标集群选取模块504，用于选取与所述数据包对应的目标集群，所述目标集群中各个数据处理终端的属性值与所述数据包的属性值均一致；
数据包发送模块505，用于将所述数据包发送至所述目标集群进行处理。
进一步地，所述数据包处理装置还可以包括：
目标处理终端选取模块，用于按照预设的轮询机制从所述目标集群中选取一个数据处理终端作为目标处理终端；
数据包查询模块，用于向目标区域中的各个数据处理终端分别发送数据包查询请求，并分别接收所述目标区域中的各个数据处理终端反馈的待处理数据包数目，所述目标区域中包括所述目标处理终端、一级协作终端以及二级协作终端，所述一级协作终端为与所述目标处理终端相连接的数据处理终端，所述二级协作终端为与所述一级协作终端相连接的数据处理终端；
优选处理终端选取模块，用于根据所述目标区域中的各个数据处理终端的待处理数据包数目从所述目标区域中选取一个数据处理终端作为优选处理终端；
第一处理模块，用于若所述优选处理终端为所述目标处理终端，则将所述数据包发送至所述目标处理终端进行处理；
第二处理模块，用于若所述优选处理终端不是所述目标处理终端，则将所述优选处理终端确定为新的目标处理终端。
进一步地，所述优选处理终端选取模块可以包括：
第一计算单元，用于根据所述目标处理终端以及各个一级协作终端的待处理数据包数目计算所述目标处理终端的数据包数目差值；
第二计算单元，用于根据各个一级协作终端以及各个二级协作终端的待处理数据包数目计算各个一级协作终端的数据包数目差值；
优选处理终端选取单元，用于根据下式选取所述优选处理终端：
SelSeq＝Argmax(DiffNum0,DiffNum1,...,DiffNumfn,...,DiffNumFN)
其中，fn为各个一级协作终端的序号，1≤fn≤FN，FN为一级协作终端的总数，DiffNumfn为第fn个一级协作终端的数据包数目差值，DiffNum0为所述目标处理终端的数据包数目差值，Argmax为最大自变量函数，SelSeq为所述优选处理终端的序号。
进一步地，所述第一计算单元具体用于根据下式计算所述目标处理终端的数据包数目差值：
Figure BDA0002026230620000111
其中，TgtDbNum为所述目标处理终端的待处理数据包数目，FstDbNumfn为第fn个一级协作终端的待处理数据包数目。
进一步地，所述第二计算单元具体用于根据下式计算各个一级协作终端的数据包数目差值：
Figure BDA0002026230620000112
其中，sn为各个二级协作终端的序号，1≤sn≤SN(fn)，SN(fn)为与第fn个一级协作终端相连接的二级协作终端的总数，SndDbNumfn,sn为与第fn个一级协作终端相连接的第sn个二级协作终端的待处理数据包数目。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置，模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
图6示出了本发明实施例提供的一种服务器的示意框图，为了便于说明，仅示出了与本发明实施例相关的部分。
在本实施例中，所述服务器6可以包括：处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机可读指令62，例如执行上述的数据包处理方法的计算机可读指令。所述处理器60执行所述计算机可读指令62时实现上述各个数据包处理方法实施例中的步骤，例如图1所示的步骤S101至S105。或者，所述处理器60执行所述计算机可读指令62时实现上述各装置实施例中各模块/单元的功能，例如图5所示模块501至505的功能。
示例性的，所述计算机可读指令62可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器61中，并由所述处理器60执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段，该指令段用于描述所述计算机可读指令62在所述服务器6中的执行过程。
所述处理器60可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器61可以是所述服务器6的内部存储单元，例如服务器6的硬盘或内存。所述存储器61也可以是所述服务器6的外部存储设备，例如所述服务器6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器61还可以既包括所述服务器6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机可读指令以及所述服务器6所需的其它指令和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干计算机可读指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储计算机可读指令的介质。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种数据包处理方法，其特征在于，包括：
获取预设的各个数据处理终端的配置文件，并根据所述配置文件确定各个数据处理终端的属性值；
将各个数据处理终端划分至对应的数据处理集群中，其中，同一数据处理集群中的数据处理终端的属性值均一致；
从接收到的数据流中提取数据包，并根据所述数据包中的包头信息确定所述数据包的属性值；
选取与所述数据包对应的目标集群，所述目标集群中各个数据处理终端的属性值与所述数据包的属性值均一致；
将所述数据包发送至所述目标集群进行处理；
按照预设的轮询机制从所述目标集群中选取一个数据处理终端作为目标处理终端；
向目标区域中的各个数据处理终端分别发送数据包查询请求，并分别接收所述目标区域中的各个数据处理终端反馈的待处理数据包数目，所述目标区域中包括所述目标处理终端、一级协作终端以及二级协作终端，所述一级协作终端为与所述目标处理终端相连接的数据处理终端，所述二级协作终端为与所述一级协作终端相连接的数据处理终端；
根据所述目标区域中的各个数据处理终端的待处理数据包数目从所述目标区域中选取一个数据处理终端作为优选处理终端；
若所述优选处理终端为所述目标处理终端，则将所述数据包发送至所述目标处理终端进行处理；
若所述优选处理终端不是所述目标处理终端，则将所述优选处理终端确定为新的目标处理终端。
2.根据权利要求1所述的数据包处理方法，其特征在于，所述根据所述目标区域中的各个数据处理终端的待处理数据包数目从所述目标区域中选取一个数据处理终端作为优选处理终端包括：
根据所述目标处理终端以及各个一级协作终端的待处理数据包数目计算所述目标处理终端的数据包数目差值；
根据各个一级协作终端以及各个二级协作终端的待处理数据包数目计算各个一级协作终端的数据包数目差值；
根据下式选取所述优选处理终端：
SelSeq＝Argmax(DiffNum0,DiffNum1,...,DiffNumfn,...,DiffNumFN)
其中，fn为各个一级协作终端的序号，1≤fn≤FN，FN为一级协作终端的总数，DiffNumfn为第fn个一级协作终端的数据包数目差值，DiffNum0为所述目标处理终端的数据包数目差值，Argmax为最大自变量函数，SelSeq为所述优选处理终端的序号。
3.根据权利要求2所述的数据包处理方法，其特征在于，所述根据所述目标处理终端以及各个一级协作终端的待处理数据包数目计算所述目标处理终端的数据包数目差值包括：
根据下式计算所述目标处理终端的数据包数目差值：
Figure FDA0003501932360000021
其中，TgtDbNum为所述目标处理终端的待处理数据包数目，FstDbNumfn为第fn个一级协作终端的待处理数据包数目。
4.根据权利要求2所述的数据包处理方法，其特征在于，所述根据各个一级协作终端以及各个二级协作终端的待处理数据包数目计算各个一级协作终端的数据包数目差值包括：
根据下式计算各个一级协作终端的数据包数目差值：
Figure FDA0003501932360000022
其中，sn为各个二级协作终端的序号，1≤sn≤SN(fn)，SN(fn)为与第fn个一级协作终端相连接的二级协作终端的总数，FstDbNumfn为第fn个一级协作终端的待处理数据包数目，SndDbNumfn,sn为与第fn个一级协作终端相连接的第sn个二级协作终端的待处理数据包数目。
5.一种数据包处理装置，其特征在于，包括：
终端属性值确定模块，用于获取预设的各个数据处理终端的配置文件，并根据所述配置文件确定各个数据处理终端的属性值；
集群划分模块，用于将各个数据处理终端划分至对应的数据处理集群中，其中，同一数据处理集群中的数据处理终端的属性值均一致；
数据包属性值确定模块，用于从接收到的数据流中提取数据包，并根据所述数据包中的包头信息确定所述数据包的属性值；
目标集群选取模块，用于选取与所述数据包对应的目标集群，所述目标集群中各个数据处理终端的属性值与所述数据包的属性值均一致；
数据包发送模块，用于将所述数据包发送至所述目标集群进行处理；
目标处理终端选取模块，用于按照预设的轮询机制从所述目标集群中选取一个数据处理终端作为目标处理终端；
数据包查询模块，用于向目标区域中的各个数据处理终端分别发送数据包查询请求，并分别接收所述目标区域中的各个数据处理终端反馈的待处理数据包数目，所述目标区域中包括所述目标处理终端、一级协作终端以及二级协作终端，所述一级协作终端为与所述目标处理终端相连接的数据处理终端，所述二级协作终端为与所述一级协作终端相连接的数据处理终端；
优选处理终端选取模块，用于根据所述目标区域中的各个数据处理终端的待处理数据包数目从所述目标区域中选取一个数据处理终端作为优选处理终端；
第一处理模块，用于若所述优选处理终端为所述目标处理终端，则将所述数据包发送至所述目标处理终端进行处理；
第二处理模块，用于若所述优选处理终端不是所述目标处理终端，则将所述优选处理终端确定为新的目标处理终端。
6.根据权利要求5所述的数据包处理装置，其特征在于，所述优选处理终端选取模块包括：
第一计算单元，用于根据所述目标处理终端以及各个一级协作终端的待处理数据包数目计算所述目标处理终端的数据包数目差值；
第二计算单元，用于根据各个一级协作终端以及各个二级协作终端的待处理数据包数目计算各个一级协作终端的数据包数目差值；
优选处理终端选取单元，用于根据下式选取所述优选处理终端：
SelSeq＝Argmax(DiffNum0,DiffNum1,...,DiffNumfn,...,DiffNumFN)
其中，fn为各个一级协作终端的序号，1≤fn≤FN，FN为一级协作终端的总数，DiffNumfn为第fn个一级协作终端的数据包数目差值，DiffNum0为所述目标处理终端的数据包数目差值，Argmax为最大自变量函数，SelSeq为所述优选处理终端的序号。
7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现如权利要求1至4中任一项所述的数据包处理方法的步骤。
8.一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如权利要求1至4中任一项所述的数据包处理方法的步骤。
CN201910295110.8A 2019-04-12 2019-04-12 数据包处理方法、装置、计算机可读存储介质及服务器 Active CN110166429B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910295110.8A CN110166429B (zh) 2019-04-12 2019-04-12 数据包处理方法、装置、计算机可读存储介质及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910295110.8A CN110166429B (zh) 2019-04-12 2019-04-12 数据包处理方法、装置、计算机可读存储介质及服务器

Publications (2)

Publication Number Publication Date
CN110166429A CN110166429A (zh) 2019-08-23
CN110166429B true CN110166429B (zh) 2022-03-22

Family

ID=67639270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910295110.8A Active CN110166429B (zh) 2019-04-12 2019-04-12 数据包处理方法、装置、计算机可读存储介质及服务器

Country Status (1)

Country Link
CN (1) CN110166429B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106549878A (zh) * 2016-10-26 2017-03-29 中国银联股份有限公司 一种业务分流方法和装置
CN106790692A (zh) * 2017-02-20 2017-05-31 郑州云海信息技术有限公司 一种多集群的负载均衡方法和装置
CN108234551A (zh) * 2016-12-15 2018-06-29 腾讯科技（深圳）有限公司 一种数据处理方法及装置
CN108241722A (zh) * 2016-12-23 2018-07-03 北京金山云网络技术有限公司 一种数据处理系统、方法及装置
CN109117265A (zh) * 2018-07-12 2019-01-01 北京百度网讯科技有限公司 在集群中调度作业的方法、装置、设备及存储介质
CN109388657A (zh) * 2018-09-10 2019-02-26 平安科技（深圳）有限公司 数据处理方法、装置、计算机设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8886781B2 (en) * 2011-12-13 2014-11-11 Microsoft Corporation Load balancing in cluster storage systems

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106549878A (zh) * 2016-10-26 2017-03-29 中国银联股份有限公司 一种业务分流方法和装置
CN108234551A (zh) * 2016-12-15 2018-06-29 腾讯科技（深圳）有限公司 一种数据处理方法及装置
CN108241722A (zh) * 2016-12-23 2018-07-03 北京金山云网络技术有限公司 一种数据处理系统、方法及装置
CN106790692A (zh) * 2017-02-20 2017-05-31 郑州云海信息技术有限公司 一种多集群的负载均衡方法和装置
CN109117265A (zh) * 2018-07-12 2019-01-01 北京百度网讯科技有限公司 在集群中调度作业的方法、装置、设备及存储介质
CN109388657A (zh) * 2018-09-10 2019-02-26 平安科技（深圳）有限公司 数据处理方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN110166429A (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
CN108881448B (zh) Api请求的处理方法及装置
CN109218355B (zh) 负载均衡引擎，客户端，分布式计算系统以及负载均衡方法
WO2020001370A1 (zh) 一种多链并发交易方法
WO2020259352A1 (zh) 一种数据处理方法、节点及区块链系统
US8176037B2 (en) System and method for SQL query load balancing
CN109687953B (zh) 交易分类方法、设备和存储介质
CN111698094B (zh) 一种基于区块链系统的共识方法及区块链系统
US10255368B2 (en) Combinatorial matching techniques for electronic data messages
CN111641563B (zh) 基于分布式场景的流量自适应方法与系统
WO2021051782A1 (zh) 区块链的共识方法、装置及设备
CN111338806A (zh) 一种业务控制方法及装置
CN110909978A (zh) 资源处理方法、装置、服务器及计算机可读存储介质
CN114710467A (zh) Ip地址存储方法、装置和硬件网关
CN106952085B (zh) 一种数据存储与业务处理的方法及装置
CN110035128B (zh) 一种直播调度方法、装置、直播系统及存储介质
CN112000285A (zh) 强一致存储系统、数据强一致存储方法、服务器及介质
WO2020233043A1 (zh) 一种基于区块链的名单类型查询方法及节点
CN107066175A (zh) 生成有价证券显示界面的方法及装置
CN111260253A (zh) 信息发送方法、装置、计算机设备及存储介质
CN110166429B (zh) 数据包处理方法、装置、计算机可读存储介质及服务器
CN116382892B (zh) 一种基于多云融合以及云服务的负载均衡方法及装置
CN117422539A (zh) 风控决策方法、装置以及计算机可读存储介质
CN112449021B (zh) 一种互联网资源的筛选方法及装置
CN108920278B (zh) 资源分配方法及装置
CN108446177B (zh) 一种任务处理方法、计算机可读存储介质及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant