CN114338549A - 数据流识别处理方法、装置、服务器及存储介质 - Google Patents
数据流识别处理方法、装置、服务器及存储介质 Download PDFInfo
- Publication number
- CN114338549A CN114338549A CN202111655675.6A CN202111655675A CN114338549A CN 114338549 A CN114338549 A CN 114338549A CN 202111655675 A CN202111655675 A CN 202111655675A CN 114338549 A CN114338549 A CN 114338549A
- Authority
- CN
- China
- Prior art keywords
- application
- data stream
- identifier
- server
- application identifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 238000013507 mapping Methods 0.000 claims abstract description 66
- 238000012545 processing Methods 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000005206 flow analysis Methods 0.000 claims abstract description 12
- 238000001514 detection method Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000003012 network analysis Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种数据流识别处理方法、装置、服务器及存储介质，涉及数据处理技术领域。该方法包括：采集待分析的应用数据流，应用数据流包括：目标服务端的标识；采用预设映射表，根据目标服务端的标识，确定应用数据流中各数据包所属的第一应用标识，预设映射表包括：多个服务端的标识与应用标识的对应关系；根据第一应用标识，从多个业务主机中确定目标业务主机；将应用数据流中的数据包发送至目标业务主机，以使目标业务主机对数据包进行流量分析。基于预设的映射表便可以高效、快捷的确定出第一应用标识，基于第一应用标识确定目标业务主机，可以实现有针对性的分发数据包，整个处理结构简单高效，可以有效的降低资源消耗，减少数据处理压力。
Description
技术领域
本发明涉及数据处理技术领域，具体而言，涉及一种数据流识别处理方法、装置、服务器及存储介质。
背景技术
网络全流量分析是为网络安全的重要组成能力，可以实现对于流量数据的监控和处理等，从网络数据的采集方式到业务分析架构均有多种实现，对于流量数据的分析处理也成为了研究热点。
相关技术中，采集流量数据，对流量数据进行协议分析还原，继而将流量数据整体传给业务分析处理系统，业务分析处理系统内有多种业务的处理模块实现业务的分析处理。
但是，相关技术中，需要对流量数据进行协议分析还原，将流量数据整体传给业务分析处理系统，资源消耗较大，增加对于数据处理的压力。
发明内容
本发明的目的在于，针对上述现有技术中的不足，提供一种数据流识别处理方法、装置、服务器及存储介质，以便解决相关技术中，需要对流量数据进行协议分析还原，将流量数据整体传给业务分析处理系统，资源消耗较大，增加对于数据处理的压力的问题。
为实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供了一种数据流识别处理方法，所述方法包括：
采集待分析的应用数据流，所述应用数据流包括：目标服务端的标识；
采用预设映射表，根据所述目标服务端的标识，确定所述应用数据流中各数据包所属的第一应用标识，所述预设映射表包括：多个服务端的标识与应用标识的对应关系；
根据所述第一应用标识，从多个业务主机中确定目标业务主机；
将所述应用数据流中的数据包发送至所述目标业务主机，以使所述目标业务主机对所述数据包进行流量分析。
可选的，在所述采集待分析的应用数据流之前，所述方法还包括：
采集多组应用数据流；每组应用数据流为一个服务端对应的应用数据流；
对所述多组应用数据流进行检测，得到多个应用标识以及对应的服务端的标识；
根据所述多个应用标识以及对应的服务端的标识，生成所述预设映射表。
可选的，所述对所述多组应用数据流进行检测，得到多个应用标识以及对应的服务端的标识，包括：
采用预设的数据包深度检测算法，对所述多组应用数据流进行检测，得到所述多个应用标识以及对应的服务端的标识。
可选的，所述根据所述多个应用标识以及对应的服务端的标识，生成所述预设映射表，包括：
采用哈希算法，根据所述多个应用标识对应的服务端的标识，生成多个键；
将所述多个应用标识作为多个值；
根据多个所述键和多个所述值，生成所述预设映射表。
可选的，所述根据所述第一应用标识，从多个业务主机中确定目标业务主机，包括：
每间隔预设时长，采用预设的数据包深度检测算法，对所述应用数据流进行检测，得到所述应用数据流中各数据包所属的第二应用标识；
判断所述第二应用标识和所述第一应用标识是否一致；
若所述第二应用标识和所述第一应用标识一致，根据所述第一应用标识，从多个业务主机中确定目标业务主机；
若所述第二应用标识和所述第一应用标识不一致，根据所述第二应用标识，从多个业务主机中确定目标业务主机。
可选的，所述方法还包括：
若所述第二应用标识和所述第一应用标识不一致，则根据所述第二应用标识和所述目标服务端的标识，修改所述预设映射表。
可选的，所述根据所述第一应用标识，从多个业务主机中确定目标业务主机，包括：
根据所述第一应用标识以及所述应用数据流的收发信息，确定目标业务主机；
其中，所述收发信息包括：五元组信息或者四元组信息。
第二方面，本发明实施例还提供了一种数据流识别处理装置，所述装置包括：
采集模块，用于采集待分析的应用数据流，所述应用数据流包括：目标服务端的标识；
确定模块，用于采用预设映射表，根据所述目标服务端的标识，确定所述应用数据流中各数据包所属的第一应用标识，所述预设映射表包括：多个服务端的标识与应用标识的对应关系；根据所述第一应用标识，从多个业务主机中确定目标业务主机；
发送模块，用于将所述应用数据流中的数据包发送至所述目标业务主机，以使所述目标业务主机对所述数据包进行流量分析。
可选的，所述装置还包括：
第一采集模块，用于采集多组应用数据流；每组应用数据流为一个服务端对应的应用数据流；
第一检测模块，用于对所述多组应用数据流进行检测，得到多个应用标识以及对应的服务端的标识；
生成模块，用于根据所述多个应用标识以及对应的服务端的标识，生成所述预设映射表。
可选的，所述第一检测模块，还用于采用预设的数据包深度检测算法，对所述多组应用数据流进行检测，得到所述多个应用标识以及对应的服务端的标识。
可选的，所述生成模块，还用于采用哈希算法，根据所述多个应用标识对应的服务端的标识，生成多个键；将所述多个应用标识作为多个值；根据多个所述键和多个所述值，生成所述预设映射表。
可选的，所述确定模块，还用于每间隔预设时长，采用预设的数据包深度检测算法，对所述应用数据流进行检测，得到所述应用数据流中各数据包所属的第二应用标识；判断所述第二应用标识和所述第一应用标识是否一致；若所述第二应用标识和所述第一应用标识一致，根据所述第一应用标识，从多个业务主机中确定目标业务主机；若所述第二应用标识和所述第一应用标识不一致，根据所述第二应用标识，从多个业务主机中确定目标业务主机。
可选的，所述装置还包括：
修改模块，用于若所述第二应用标识和所述第一应用标识不一致，则根据所述第二应用标识和所述目标服务端的标识，修改所述预设映射表。
可选的，所述确定模块，还用于根据所述第一应用标识以及所述应用数据流的收发信息，确定目标业务主机；其中，所述收发信息包括：五元组信息或者四元组信息。
第三方面，本发明实施例还提供了一种服务器，包括：存储器和处理器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项所述的数据流识别处理方法。
第四方面，本发明实施例还提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被读取并执行时，实现上述第一方面任一项所述的数据流识别处理方法。
本发明的有益效果是：本发明实施例提供一种数据流识别处理方法，包括：采集待分析的应用数据流，应用数据流包括：目标服务端的标识；采用预设映射表，根据目标服务端的标识，确定应用数据流中各数据包所属的第一应用标识，预设映射表包括：多个服务端的标识与应用标识的对应关系；根据第一应用标识，从多个业务主机中确定目标业务主机；将应用数据流中的数据包发送至目标业务主机，以使目标业务主机对数据包进行流量分析。基于预设的映射表便可以高效、快捷的确定出第一应用标识，基于第一应用标识确定目标业务主机，可以实现有针对性的分发数据包，整个处理结构简单高效，可以有效的降低资源消耗，减少数据处理压力。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种数据流识别处理系统的结构示意图；
图2为本发明实施例提供的一种数据流识别处理方法的流程示意图；
图3为本发明实施例提供的一种数据流识别处理方法的流程示意图；
图4为本发明实施例提供的一种数据流识别处理方法的流程示意图；
图5为本发明实施例提供的一种数据流识别处理方法的流程示意图；
图6为本发明实施例提供的一种数据流识别处理装置的结构示意图；
图7为本发明实施例提供的一种服务器的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要说明的是，若出现术语“上”、“下”、等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。
网络全流量分析是为网络安全的重要组成能力，可以实现对于流量数据的监控和处理等，从网络数据的采集方式到业务分析架构均有多种实现，对于流量数据的分析处理也成为了研究热点。
相关技术中，采集流量数据，对流量数据进行协议分析还原，继而将流量数据整体传给业务分析处理系统，业务分析处理系统内有多种业务的处理模块实现业务的分析处理。但是，相关技术中，需要对流量数据进行协议分析还原，将流量数据整体传给业务分析处理系统，资源消耗较大，增加对于数据处理的压力。
针对相关技术中所存在的上述技术问题，本申请实施例提供一种数据流识别处理方法，采用预设的映射表根据目标服务端的标识，确定应用数据流中各数据包所属的第一应用标识，识别应用标识的过程更加高效、便捷，根据第一应用标识确定目标主机，将数据包发送至对应的目标主机，实现了有针对性的发送数据包；基于预设的映射表确定第一应用标识，基于第一应用标识确定目标业务主机，实现有针对性的分发数据包，处理结构简单高效，可以有效的降低资源消耗，减少数据处理压力。
以下对本申请实施例提供的数据流识别处理方法所基于的数据流识别处理系统进行解释说明。
图1为本发明实施例提供的一种数据流识别处理系统的结构示意图，如图1所示，该数据流识别处理系统中可以包括：服务器101、多个业务主机102、应用客户端103和应用服务端104。
其中，应用客户端103和应用服务端104之间通过网络链路通信连接，应用客户端103和应用服务端104之间交互产生应用数据流，服务器101可以从网络链路上采集待分析的应用数据流，服务器101可以分别与多个业务主机102通信连接。
需要说明的是，图1中仅示出了一应用客户端103与一应用服务端104交互的情形，应当理解，多个应用客户端103可以与一个应用服务端104交互，一个应用客户端103可以与多个应用服务端104交互，在交互的过程中，均可以产生应用数据流，本申请实施例对此不进行具体限制。
在一些实施方式中，服务器101可以从应用客户端103和应用服务端104之间网络链路上采集到待分析的应用数据流；采用预设映射表，根据应用数据流中目标服务端104的标识，确定应用数据流中各数据包所属的第一应用标识；根据第一应用标识，从多个业务主机102中确定目标业务主机102；将应用数据流中的数据包发送至目标业务主机102，目标业务主机102可以接收该应用数据流中的数据包，并对数据包进行流量分析。
其中，预设映射表包括：多个服务端104的标识与应用标识的对应关系。
在本申请实施例中，应用客户端103可以安装在终端上，应用客户端103可以安装在应用服务器101上。
另外，业务主机102也可以称为业务分析处理系统。
以下以数据流识别处理系统中的服务器101为执行主体，对本申请实施例提供的数据流识别处理方法进行解释说明。
图2为本发明实施例提供的一种数据流识别处理方法的流程示意图，如图2所示，该方法可以包括：
S201、采集待分析的应用数据流。
其中，应用数据流包括：目标服务端的标识。目标服务端的标识可以为目标服务端端的唯一标识。
可选的，目标服务端的标识可以为目标服务端的IP(Internet ProtocolAddress，互联网协议地址)地址和端口。
在一些实施方式中，应用客户端和应用服务端之间通过网络链路通信连接，应用客户端和应用服务端之间交互产生应用数据流，服务器可以从网络链路上采集待分析的应用数据流。
需要说明的是，服务器可以采用DPDK(Data Plane Development Kit，数据平面开发套件)中的零拷贝技术采集待分析的应用数据流，DMA(Direct Memory Access，直接存储器访问)到内存，即将待分析的应用数据流存储在内存中。
S202、采用预设映射表，根据目标服务端的标识，确定应用数据流中各数据包所属的第一应用标识。
其中，预设映射表包括：多个服务端的标识与应用标识的对应关系。
在一些实施方式中，服务器可以根据目标服务端的标识，在预设映射表中查找与目标服务端的标识相同的服务端的标识；继而将该相同的服务端的标识对应的应用标标识，作为应用数据流中各数据包所属的第一应用标识。
需要说明的是，预设映射表中一个服务端的标识可以对应一个应用标识，也可以对应多个应用标识，本申请实施例对此不进行具体限制。示例的，若一个服务端的标识对应多个应用标识，则该服务端可以为网页服务端。
S203、根据第一应用标识，从多个业务主机中确定目标业务主机。
其中，一个应用数据流中的多个数据包可以为同一第一应用标识，或者，一个应用数据流中的多个数据包可以对应不同的第一应用标识。
例如，多个数据包中的一部分数据包可以对应一个第一应用标识，另一部分数据包可以对应另一个第一应用标识。
在本申请实施例中，服务器中可以配置有多种预设分发规则，服务器采用预设分发规则，根据第一应用标识，从多个业务主机中确定目标业务主机。
S204、将应用数据流中的数据包发送至目标业务主机，以使目标业务主机对数据包进行流量分析。
其中，应用数据流中的数据包可以发送至同一类目标业务主机，也可以对应用数据流中的数据包进行分流发送至不同类的目标业务主机，实现了对于应用数据流的隔离处理，本申请实施例对此不进行具体限制。
需要说明的是，一类业务主机中可以包括至少一个业务主机，一类业务主机中的至少一个业务主机均可以用于对数据包进行特定业务类型的流量分析。例如，特定业务类型可以为详细分析业务，或者，审计业务等。
综上所述，本发明实施例提供一种数据流识别处理方法，包括：采集待分析的应用数据流，应用数据流包括：目标服务端的标识；采用预设映射表，根据目标服务端的标识，确定应用数据流中各数据包所属的第一应用标识，预设映射表包括：多个服务端的标识与应用标识的对应关系；根据第一应用标识，从多个业务主机中确定目标业务主机；将应用数据流中的数据包发送至目标业务主机，以使目标业务主机对数据包进行流量分析。基于预设的映射表便可以高效、快捷的确定出第一应用标识，基于第一应用标识确定目标业务主机，可以实现有针对性的分发数据包，整个处理结构简单高效，可以有效的降低资源消耗，减少数据处理压力。
在本申请实施例中，若预设映射表中不存在与目标服务端的标识相同的服务端的标识，服务器可以采用预设的数据包深度检测算法，对应用数据流进行检测，得到应用数据流的应用标识；继而根据该应用数据流的应用标识，从多个业务主机中确定目标业务主机；将应用数据流中的数据包发送至目标业务主机。此外，服务器还可以将检测得到的应用数据流的应用标识，以及对应的目标服务端的标识，添加至预设映射表中，更新预设映射表。
可选的，图3为本发明实施例提供的一种数据流识别处理方法的流程示意图，如图3所示，在上述S201中采集待分析的应用数据流的过程之前，该方法还可以包括：
S301、采集多组应用数据流。
其中，每组应用数据流为一个服务端对应的应用数据流。
在本申请实施例中，一个服务端对应的应用数据流，可以包括：该服务端与至少一个不同的客户端交互时，所产生的多个应用数据流，即，每组应用数据流可以包括多个应用数据流。
S302、对多组应用数据流进行检测，得到多个应用标识以及对应的服务端的标识。
其中，可以具有多个服务端的标识，每个服务端的标识对应至少一个应用标识。
在一些实施方式中，服务器可以采用预设算法对各组应用数据流中的应用数据流进行检测，可以对用数据流进行协议分析、还原以及特征匹配等处理，得到该组应用数据流的服务端的标识，以及该服务端的标识对应的至少一个应用标识。
同理的，采用上述方式对每组应用数据流均进行处理，则可以得到多个服务端的标识，以及各服务端的标识对应的至少一个应用标识，即多个应用标识以及对应的服务端的标识。
S303、根据多个应用标识以及对应的服务端的标识，生成预设映射表。
在一些实施方式中，服务器可以根据多个服务端的标识，以及各服务端的标识对应的至少一个应用标识，即多个应用标识以及对应的服务端的标识，生成预设映射表，并存储预设映射表，以便在执行上述S202的过程中使用。
另外，网络链路上的应用数据流，和客户端的关系比较少，与服务端的服务关系较多；被访问服务端的业务资源相对稳定，存在大量相同客户端访问相同服业务资源的情况。因此，可以具有建立包含多个服务端的标识与应用标识的对应关系的预设映射表，以便后续可以采用预设映射表识别应用数据流中各数据包所属的第一应用标识。
在本申请实施例中，在对多组应用数据流进行检测的过程中，根据不同的应用数据流，识别出应用标识时所需要交互数据包量也不同，通常需要几次携带应用特征的通信交互的数据包，可以识别出应用标识。
而采用预设映射表时，无需多个数据包量，采用预设映射表基于应用数据流中携带的目标服务端的标识，可以快速识别出应用标识，提高了应用标识识别的效率。识别出应用数据流的应用标识后，可以实现应用数据流的快速分发，避免对于服务器内存的占用，减轻了内存的存储压力，内存占用量大大降低。
可选的，上述S302中对多组应用数据流进行检测，得到多个应用标识以及对应的服务端的标识的过程，可以包括：
采用预设的数据包深度检测算法，对多组应用数据流进行检测，得到多个应用标识以及对应的服务端的标识。
可选的，预设的数据包深度检测算法可以为内嵌DPI(Deep Packet Inspection深度包检测)的矢量数据包处理技术。
可选的，图4为本发明实施例提供的一种数据流识别处理方法的流程示意图，如图4所示，上述S303中根据多个应用标识以及对应的服务端的标识，生成预设映射表的过程，可以包括：
S401、采用哈希算法，根据多个应用标识对应的服务端的标识，生成多个键。
在一些实施方式中，服务端的标识可以包括服务端的IP地址和端口，采用哈希算法，根据一个服务端的IP地址和端口port，可以生成一个键；同理的，基于多个服务端的IP地址和端口，可以生成多个键。
上述过程可以表示为：Hash(IP+port)＝>key，其中，key表示键。
S402、将多个应用标识作为多个值。
需要说明的是，一个服务端的标识可以对应至少一个应用标识，即一个键可以对应至少一个值。其中，可以具有多个键。
S403、根据多个键和多个值，生成预设映射表。
在本申请实施例中，服务器可以根据多个键，以及各个键对应的至少一个值，生成预设映射表。
可选的，图5为本发明实施例提供的一种数据流识别处理方法的流程示意图，如图5所示，上述S203中根据第一应用标识，从多个业务主机中确定目标业务主机的过程，可以包括：
S501、每间隔预设时长，采用预设的数据包深度检测算法，对应用数据流进行检测，得到应用数据流中各数据包所属的第二应用标识。
在本申请实施例中，为了减轻服务器的处理压力，每间隔预设时长，采用预设的数据包深度检测算法，抽样检测应用数据流，识别出第二应用标识，以实现监督、校准，确保识别的应用标识准确的目的。
可选的，预设的数据包深度检测算法可以为内嵌DPI(Deep Packet Inspection深度包检测)的矢量数据包处理技术。
S502、判断第二应用标识和第一应用标识是否一致。
S503、若第二应用标识和第一应用标识一致，根据第一应用标识，从多个业务主机中确定目标业务主机。
需要说明的是，S503的过程和上述S203的过程类似，此处不再一一赘述。
S504、若第二应用标识和第一应用标识不一致，根据第二应用标识，从多个业务主机中确定目标业务主机。
其中，若第二应用标识和第一应用标识不一致，说明此前识别的第一应用标识存在错误，第二应用标识更为准确，需要根据第二应用标识，从多个业务主机中确定目标业务主机。
可选的，该方法还可以包括：
若第二应用标识和第一应用标识不一致，则根据第二应用标识和目标服务端的标识，修改预设映射表。
在本申请实施例中，若第二应用标识和第一应用标识不一致，说明此前识别的第一应用标识存在错误，则预设映射表中也存在错误的对应关系，因此，需要基于第二应用标识和目标服务端的标识，修改预设映射表。
例如，预设映射表中包含服务端的标识A以及对应的应用标识X，服务端的标识B以及对应的应用标识Y；应用数据流中包括：服务端的标识A，采用预设映射表对应用数据流进行识别，识别出第一应用标识为X；采用预设的数据包深度检测算法，对应用数据流进行检测，识别出第二应用标识为Z；则将预设映射表中包含的服务端的标识A以及对应的应用标识X，修改为服务端的标识A以及对应的应用标识Z。
综上所述，采用预设的数据包深度检测算法，对应用数据流进行识别，确定第二应用标识；在第一应用标识和第二应用标识不一致时，根据第二应用标识对预设映射表进行校准，确保了预设映射表的准确性。
可选的，上述S203中根据第一应用标识，从多个业务主机中确定目标业务主机的过程，包括：
根据第一应用标识以及应用数据流的收发信息，确定目标业务主机；
其中，收发信息包括：五元组信息或者四元组信息。
在一些实施方式中，服务器可以根据第一应用标识和五元组信息，确定目标业务主机；或者根据第一应用标识和四元组信息，确定目标业务主机。
当然，服务器还可以根据应用数据流的通信协议，以及第一应用标识，确定目标业务主机。
需要说明的是，在基于第一应用标识的基础上，还可以结合应用数据流的五元组、应用Host(主机)实现多种业务分发方式，包括基于五元组分发、基于四元组分发、基于源IP分发、基于目的Host分发、基于第一应用标识分发、基于五元组+第一应用标识分发、基于四元组+第一应用标识分发等。进而实现了多种分发方式，对业务主机进行分发时，提供了组播分发机制来提升应用数据流的分发效率。其中，第一应用标识的确定有效地辅助实现了精确的应用数据流的分发和过滤。
在本申请实施例中，将应用数据流发送至对应的业务主机，实现了对于应用数据流的快速分流，对业务复杂度高，在业务主机对数据包进行处理时，处理耗时的业务功能通过分布式或集群、业务逻辑优化、提高缓存命中等方式进行性能提升，对低消耗的业务功能相应降低其资源分配，从而整体上实现网络分析能力的提升。
综上所述，本发明实施例提供一种数据流识别处理方法，包括：采集待分析的应用数据流，应用数据流包括：目标服务端的标识；采用预设映射表，根据目标服务端的标识，确定应用数据流中各数据包所属的第一应用标识，预设映射表包括：多个服务端的标识与应用标识的对应关系；根据第一应用标识，从多个业务主机中确定目标业务主机；将应用数据流中的数据包发送至目标业务主机，以使目标业务主机对数据包进行流量分析。基于预设的映射表便可以高效、快捷的确定出第一应用标识，基于第一应用标识确定目标业务主机，可以实现有针对性的分发数据包，整个处理结构简单高效，可以有效的降低资源消耗，减少数据处理压力。
而且，实现了应用数据流的高效过滤，也提高了业务主机的流量分发对接准确性，很好地隔离了不同的业务主机的处理逻辑，为系统在大流量网络环境中的性能瓶颈动态扩容和流量分发提供了准确性和高性能保障。为高消耗的业务主机降低了复杂度，从而实现整体网络全流量分析的系统性能提升和系统可用性。
另外，采用预设映射表基于应用数据流中携带的目标服务端的标识，进基于应用数据流中首包，就可以快速识别出应用标识，提高了应用标识识别的效率。识别出应用数据流的应用标识后，可以实现应用数据流的快速分发，避免对于服务器内存的占用，减轻了内存的存储压力，内存占用量大大降低。
下述对用以执行本申请所提供的数据流识别处理方法的数据流识别处理装置、服务器及存储介质等进行说明，其具体的实现过程以及技术效果参见上述设备板卡故障处置的考核方法的相关内容，下述不再赘述。
图6为本发明实施例提供的一种数据流识别处理方法的流程示意图，如图6所示，本发明实施例还提供了一种数据流识别处理装置，该装置包括：
采集模块601，用于采集待分析的应用数据流，所述应用数据流包括：目标服务端的标识；
确定模块602，用于采用预设映射表，根据所述目标服务端的标识，确定所述应用数据流中各数据包所属的第一应用标识，所述预设映射表包括：多个服务端的标识与应用标识的对应关系；根据所述第一应用标识，从多个业务主机中确定目标业务主机；
发送模块603，用于将所述应用数据流中的数据包发送至所述目标业务主机，以使所述目标业务主机对所述数据包进行流量分析。
可选的，所述装置还包括：
第一采集模块，用于采集多组应用数据流；每组应用数据流为一个服务端对应的应用数据流；
第一检测模块，用于对所述多组应用数据流进行检测，得到多个应用标识以及对应的服务端的标识；
生成模块，用于根据所述多个应用标识以及对应的服务端的标识，生成所述预设映射表。
可选的，所述第一检测模块，还用于采用预设的数据包深度检测算法，对所述多组应用数据流进行检测，得到所述多个应用标识以及对应的服务端的标识。
可选的，所述生成模块，还用于采用哈希算法，根据所述多个应用标识对应的服务端的标识，生成多个键；将所述多个应用标识作为多个值；根据多个所述键和多个所述值，生成所述预设映射表。
可选的，所述确定模块602，还用于每间隔预设时长，采用预设的数据包深度检测算法，对所述应用数据流进行检测，得到所述应用数据流中各数据包所属的第二应用标识；判断所述第二应用标识和所述第一应用标识是否一致；若所述第二应用标识和所述第一应用标识一致，根据所述第一应用标识，从多个业务主机中确定目标业务主机；若所述第二应用标识和所述第一应用标识不一致，根据所述第二应用标识，从多个业务主机中确定目标业务主机。
可选的，所述装置还包括：
修改模块，用于若所述第二应用标识和所述第一应用标识不一致，则根据所述第二应用标识和所述目标服务端的标识，修改所述预设映射表。
可选的，所述确定模块602，还用于根据所述第一应用标识以及所述应用数据流的收发信息，确定目标业务主机；其中，所述收发信息包括：五元组信息或者四元组信息。
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
图7为本发明实施例提供的一种服务器的结构示意图，如图7所示，该服务器包括：处理器701、存储器702。
其中，存储器702用于存储程序，处理器701调用存储器702存储的程序，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。
可选地，本发明还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述方法实施例。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种数据流识别处理方法，其特征在于，所述方法包括：
采集待分析的应用数据流，所述应用数据流包括：目标服务端的标识；
采用预设映射表，根据所述目标服务端的标识，确定所述应用数据流中各数据包所属的第一应用标识，所述预设映射表包括：多个服务端的标识与应用标识的对应关系；
根据所述第一应用标识，从多个业务主机中确定目标业务主机；
将所述应用数据流中的数据包发送至所述目标业务主机，以使所述目标业务主机对所述数据包进行流量分析。
2.根据权利要求1所述的方法，其特征在于，在所述采集待分析的应用数据流之前，所述方法还包括：
采集多组应用数据流；每组应用数据流为一个服务端对应的应用数据流；
对所述多组应用数据流进行检测，得到多个应用标识以及对应的服务端的标识；
根据所述多个应用标识以及对应的服务端的标识，生成所述预设映射表。
3.根据权利要求2所述的方法，其特征在于，所述对所述多组应用数据流进行检测，得到多个应用标识以及对应的服务端的标识，包括：
采用预设的数据包深度检测算法，对所述多组应用数据流进行检测，得到所述多个应用标识以及对应的服务端的标识。
4.根据权利要求3所述的方法，其特征在于，所述根据所述多个应用标识以及对应的服务端的标识，生成所述预设映射表，包括：
采用哈希算法，根据所述多个应用标识对应的服务端的标识，生成多个键；
将所述多个应用标识作为多个值；
根据多个所述键和多个所述值，生成所述预设映射表。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第一应用标识，从多个业务主机中确定目标业务主机，包括：
每间隔预设时长，采用预设的数据包深度检测算法，对所述应用数据流进行检测，得到所述应用数据流中各数据包所属的第二应用标识；
判断所述第二应用标识和所述第一应用标识是否一致；
若所述第二应用标识和所述第一应用标识一致，根据所述第一应用标识，从多个业务主机中确定目标业务主机；
若所述第二应用标识和所述第一应用标识不一致，根据所述第二应用标识，从多个业务主机中确定目标业务主机。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
若所述第二应用标识和所述第一应用标识不一致，则根据所述第二应用标识和所述目标服务端的标识，修改所述预设映射表。
7.根据权利要求1-6中任一所述方法，其特征在于，所述根据所述第一应用标识，从多个业务主机中确定目标业务主机，包括：
根据所述第一应用标识以及所述应用数据流的收发信息，确定目标业务主机；
其中，所述收发信息包括：五元组信息或者四元组信息。
8.一种数据流识别处理装置，其特征在于，所述装置包括：
采集模块，用于采集待分析的应用数据流，所述应用数据流包括：目标服务端的标识；
确定模块，用于采用预设映射表，根据所述目标服务端的标识，确定所述应用数据流中各数据包所属的第一应用标识，所述预设映射表包括：多个服务端的标识与应用标识的对应关系；根据所述第一应用标识，从多个业务主机中确定目标业务主机；
发送模块，用于将所述应用数据流中的数据包发送至所述目标业务主机，以使所述目标业务主机对所述数据包进行流量分析。
9.一种服务器，其特征在于，包括：存储器和处理器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时实现上述权利要求1-7任一项所述的数据流识别处理方法。
10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被读取并执行时，实现上述权利要求1-7任一项所述的数据流识别处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111655675.6A CN114338549B (zh) | 2021-12-30 | 2021-12-30 | 数据流识别处理方法、装置、服务器及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111655675.6A CN114338549B (zh) | 2021-12-30 | 2021-12-30 | 数据流识别处理方法、装置、服务器及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114338549A true CN114338549A (zh) | 2022-04-12 |
| CN114338549B CN114338549B (zh) | 2024-02-09 |
Family
ID=81018602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111655675.6A Active CN114338549B (zh) | 2021-12-30 | 2021-12-30 | 数据流识别处理方法、装置、服务器及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114338549B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024119923A1 (zh) * | 2022-12-05 | 2024-06-13 | 华为技术有限公司 | 一种应用识别方法以及相关设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103841024A (zh) * | 2012-11-27 | 2014-06-04 | 中国电信股份有限公司 | 一种家庭网关实现数据分流的方法和家庭网关 |
| CN110233769A (zh) * | 2018-03-06 | 2019-09-13 | 华为技术有限公司 | 一种流量检测方法和流量检测设备 |
| CN113194045A (zh) * | 2020-01-14 | 2021-07-30 | 阿里巴巴集团控股有限公司 | 数据流量分析方法、装置、存储介质及处理器 |
| CN113535432A (zh) * | 2021-07-20 | 2021-10-22 | 西安力传智能技术有限公司 | 数据分流方法、装置、电子设备及存储介质 |
| CN113839882A (zh) * | 2021-09-26 | 2021-12-24 | 杭州迪普信息技术有限公司 | 一种报文流分流方法及装置 |
-
2021
- 2021-12-30 CN CN202111655675.6A patent/CN114338549B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103841024A (zh) * | 2012-11-27 | 2014-06-04 | 中国电信股份有限公司 | 一种家庭网关实现数据分流的方法和家庭网关 |
| CN110233769A (zh) * | 2018-03-06 | 2019-09-13 | 华为技术有限公司 | 一种流量检测方法和流量检测设备 |
| CN113194045A (zh) * | 2020-01-14 | 2021-07-30 | 阿里巴巴集团控股有限公司 | 数据流量分析方法、装置、存储介质及处理器 |
| CN113535432A (zh) * | 2021-07-20 | 2021-10-22 | 西安力传智能技术有限公司 | 数据分流方法、装置、电子设备及存储介质 |
| CN113839882A (zh) * | 2021-09-26 | 2021-12-24 | 杭州迪普信息技术有限公司 | 一种报文流分流方法及装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024119923A1 (zh) * | 2022-12-05 | 2024-06-13 | 华为技术有限公司 | 一种应用识别方法以及相关设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114338549B (zh) | 2024-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108763031B (zh) | 一种基于日志的威胁情报检测方法及装置 | |
| CN109347827B (zh) | 网络攻击行为预测的方法、装置、设备及存储介质 | |
| EP3282643B1 (en) | Method and apparatus of estimating conversation in a distributed netflow environment | |
| WO2019019644A1 (zh) | 推送服务器分配方法、装置、计算机设备和存储介质 | |
| Lin et al. | Elephant flow detection in datacenters using openflow-based hierarchical statistics pulling | |
| US11546356B2 (en) | Threat information extraction apparatus and threat information extraction system | |
| US10425273B2 (en) | Data processing system and data processing method | |
| CN114422387A (zh) | 一种网络资产探测方法、装置、电子设备和存储介质 | |
| CN109818824B (zh) | 一种报文转发测试方法、设备及存储设备、程序产品 | |
| CN114338549A (zh) | 数据流识别处理方法、装置、服务器及存储介质 | |
| CN113438123B (zh) | 网络流量监控方法、装置、计算机设备和存储介质 | |
| CN111010362B (zh) | 一种异常主机的监控方法及装置 | |
| CN110912771B (zh) | 加速节点的测试方法、装置、电子设备及计算机可读介质 | |
| JP3943581B1 (ja) | 負荷分散システムを検出する装置および方法。 | |
| Song et al. | HCMonitor: An accurate measurement system for high concurrent network services | |
| US11595419B2 (en) | Communication monitoring system, communication monitoring apparatus, and communication monitoring method | |
| CN117061394A (zh) | 基于eBPF的容器网络TCP连接时延监测方法和装置 | |
| CN113507394B (zh) | 网络性能检测方法、装置、电子设备及存储介质 | |
| CN110855810A (zh) | 一种nat转换方法、装置、网络安全设备及存储介质 | |
| US10644963B2 (en) | Systems and methods for detecting a zombie server | |
| CN112532708B (zh) | 抄表控制方法、装置、数据转发平台、存储介质及系统 | |
| Vieira et al. | Measuring distributed applications through mapreduce and traffic analysis | |
| US10904127B2 (en) | Systems and methods for detecting a zombie server | |
| CN112839018B (zh) | 一种度数值生成方法以及相关设备 | |
| CN112785315B (zh) | 批量注册识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |