CN117692378A - 流量数据的聚类方法、装置、存储介质及电子设备 - Google Patents

Abstract

本发明公开了一种流量数据的聚类方法、装置、存储介质及电子设备。涉及计算机技术领域。其中，该方法包括：获取N个目标流量数据；基于每个目标流量数据，确定每个目标流量数据的第一路由信息；获取目标企业的第二路由信息；将N个第一路由信息分别与第二路由信息进行匹配，在匹配过程中基于第二路由信息中每层路由的路由分支数量，对第一路由信息进行替换处理，得到N个目标路由信息；基于每个目标流量数据关联的目标路由信息，对N个目标流量数据进行聚类，得到目标聚类结果。本发明解决了由于访问同一接口服务的数据流量的路由路径存在多种情况，因此在企业内部基于流量数据访问的接口服务对流量数据进行聚类的聚类结果不准确的技术问题。

Description

流量数据的聚类方法、装置、存储介质及电子设备

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种流量数据的聚类方法、装置、存储介质及电子设备。

背景技术

目前，对采集的流量直接根据流量的路径信息进行聚类后，无法识别并聚类出在路径中带有动态路由参数的接口服务，使得原本属于同一个服务的接口被识别为不同且数目极多的接口，不利于企业对企业自身接口资产情况的把控。

相关技术中，利用马尔科夫随机过程概率方法进行聚类，但是，该方式无法对企业内部通过低代码或其他方式自动生成的接口服务做聚类分析，并且对通用的接口识别也有一定的准确性误差，且在资源占用以及性能上缺点较多。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种流量数据的聚类方法、装置、存储介质及电子设备，以至少解决相关技术中由于访问同一接口服务的数据流量的路由路径信息存在多种情况，因此在企业内部基于流量数据访问的接口服务对流量数据进行聚类的聚类结果不准确的技术问题。

根据本发明实施例的一个方面，提供了一种流量数据的聚类方法，包括：基于目标企业的网络网关中部署的流量探针，获取N个目标流量数据，其中，所述目标流量数据所使用的协议包括：超文本传输协议，N为正整数；基于每个所述目标流量数据，确定每个所述目标流量数据的第一路由信息，其中，所述第一路由信息用于表示所述目标流量数据访问所述目标企业的接口服务的路由路径，所述接口服务用于为不同应用系统之间进行数据交互的接口提供服务；获取目标企业的第二路由信息，其中，所述第二路由信息为所述目标企业的所有所述接口服务的路由信息，所述第二路由信息采用树形结构存储；将N个所述第一路由信息分别与所述第二路由信息进行匹配，并在匹配过程中基于所述第二路由信息中每层路由的路由分支数量，对所述第一路由信息进行替换处理，得到N个目标路由信息；基于每个所述目标流量数据关联的所述目标路由信息，对N个所述目标流量数据进行聚类，得到目标聚类结果。

进一步地，将N个所述第一路由信息分别与所述第二路由信息进行匹配，并在匹配过程中基于所述第二路由信息中每层路由的路由分支数量，对所述第一路由信息进行替换处理，得到N个目标路由信息，包括：基于每个所述第一路由信息的路由层级与所述第二路由信息的路由层级，对每个所述第一路由信息与所述第二路由信息进行逐层匹配；若匹配到目标层级的路由信息，则将所述第一路由信息中目标层级的路由信息替换为预设路由信息，在N个所述第一路由信息与所述第二路由信息全部匹配结束后，得到N个所述目标路由信息，其中，所述目标层级为所述第二路由信息中路由分支数量大于预设数量阈值的路由的层级。

进一步地，基于目标企业的网络网关中部署的流量探针，获取N个目标流量数据，包括：基于目标企业的网络网关中部署的流量探针，采集N个原始流量数据，其中，所述原始流量数据所使用的协议包括下述至少之一：传输控制协议，网际互连协议；将N个原始流量数据分别转换为超文本传输协议的流量数据，得到N个所述目标流量数据；将N个所述目标流量数据添加至目标消息队列，并从所述目标消息队列中获取N个所述目标流量数据。

进一步地，基于每个所述目标流量数据关联的所述目标路由信息，对N个所述目标流量数据进行聚类，得到目标聚类结果，包括：对N个所述目标流量数据关联的目标路由信息进行相互比较，得到比较结果集合，其中，所述比较结果集合用于记录任意两个所述目标路由信息是否相同；基于所述比较结果，对N个所述目标流量数据进行聚类，得到所述目标聚类结果。

进一步地，在基于所述第二路由信息中每层路由的路由分支数量，对所述第一路由信息进行替换处理，得到N个目标路由信息之前，还包括：获取目标名单，其中，所述目标名单至少记录有M个预设路由信息，其中，M为正整数；逐一判断每条所述第一路由信息是否存在于所述目标名单中；将存在于所述目标名单的第一路由信息作为目标第一路由信息，禁止对所述目标第一路由信息进行替换处理，并将所述目标第一路由信息作为N个所述目标路由信息的其中之一；将未存在于所述目标名单的第一路由信息作为非目标第一路由信息，则执行基于所述第二路由信息中每层路由的路由分支数量，对所述非目标第一路由信息进行替换处理的步骤。

进一步地，在基于每个所述目标流量数据关联的所述目标路由信息，对N个所述目标流量数据进行聚类，得到目标聚类结果之后，还包括：将所述目标聚类结果存储至目标数据库，并按照树形结构将每个所述目标路由信息存储至所述目标数据库；从所述目标数据库中读取所述目标聚类结果和N个所述目标路由信息，并基于所述目标聚类结果，确定所述目标企业内每个所述接口服务的访问数据，其中，所述访问数据至少包括：每个所述接口服务的访问次数。

根据本发明实施例的另一方面，还提供了一种流量数据的聚类系统，所述流量数据的聚类系统用于执行流量数据的聚类方法，包括：网络网关，用于基于流量探针，获取N个目标流量数据，其中，所述流量探针部署在所述网络网关中，所述目标流量数据所使用的协议包括：超文本传输协议，N为正整数；大数据处理引擎，用于基于每个所述目标流量数据，确定每个所述目标流量数据的第一路由信息，获取目标企业的第二路由信息，将N个所述第一路由信息分别与所述第二路由信息进行匹配，并在匹配过程中基于所述第二路由信息中每层路由的路由分支数量，对所述第一路由信息进行替换处理，得到N个目标路由信息，并基于每个所述目标流量数据关联的所述目标路由信息，对N个所述目标流量数据进行聚类，得到目标聚类结果，其中，所述第一路由信息用于表示所述目标流量数据访问所述目标企业的接口服务的路由路径，所述接口服务用于为不同应用系统之间进行数据交互的接口提供服务，所述第二路由信息为所述目标企业的所有所述接口服务的路由信息，所述第二路由信息采用树形结构存储。

根据本发明实施例的另一方面，还提供了一种流量数据的聚类装置，包括：第一获取单元，用于基于目标企业的网络网关中部署的流量探针，获取N个目标流量数据，其中，所述目标流量数据所使用的协议包括：超文本传输协议，N为正整数；确定单元，用于基于每个所述目标流量数据，确定每个所述目标流量数据的第一路由信息，其中，所述第一路由信息用于表示所述目标流量数据访问所述目标企业的接口服务的路由路径，所述接口服务用于为不同应用系统之间进行数据交互的接口提供服务；第二获取单元，用于获取目标企业的第二路由信息，其中，所述第二路由信息为所述目标企业的所有所述接口服务的路由信息，所述第二路由信息采用树形结构存储；处理单元，用于将N个所述第一路由信息分别与所述第二路由信息进行匹配，并在匹配过程中基于所述第二路由信息中每层路由的路由分支数量，对所述第一路由信息进行替换处理，得到N个目标路由信息；聚类单元，用于基于每个所述目标流量数据关联的所述目标路由信息，对N个所述目标流量数据进行聚类，得到目标聚类结果。

进一步地，处理单元包括：匹配子单元，用于基于每个所述第一路由信息的路由层级与所述第二路由信息的路由层级，对每个所述第一路由信息与所述第二路由信息进行逐层匹配；替换子单元，用于若匹配到目标层级的路由信息，则将所述第一路由信息中目标层级的路由信息替换为预设路由信息，在N个所述第一路由信息与所述第二路由信息全部匹配结束后，得到N个所述目标路由信息，其中，所述目标层级为所述第二路由信息中路由分支数量大于预设数量阈值的路由的层级。

进一步地，第一获取单元包括：采集子单元，用于基于目标企业的网络网关中部署的流量探针，采集N个原始流量数据，其中，所述原始流量数据所使用的协议包括下述至少之一：传输控制协议，网际互连协议；转换子单元，用于将N个原始流量数据分别转换为超文本传输协议的流量数据，得到N个所述目标流量数据；第一处理子单元，用于将N个所述目标流量数据添加至目标消息队列，并从所述目标消息队列中获取N个所述目标流量数据。

进一步地，聚类单元包括：比较子单元，用于对N个所述目标流量数据关联的目标路由信息进行相互比较，得到比较结果集合，其中，所述比较结果集合用于记录任意两个所述目标路由信息是否相同；聚类子单元，用于基于所述比较结果，对N个所述目标流量数据进行聚类，得到所述目标聚类结果。

进一步地，流量数据的聚类装置还包括：第三获取单元，用于在基于所述第二路由信息中每层路由的路由分支数量，对所述第一路由信息进行替换处理，得到N个目标路由信息之前，获取目标名单，其中，所述目标名单至少记录有M个预设路由信息，其中，M为正整数；判断子单元，用于逐一判断每条所述第一路由信息是否存在于所述目标名单中；第二处理子单元，用于将存在于所述目标名单的第一路由信息作为目标第一路由信息，禁止对所述目标第一路由信息进行替换处理，并将所述目标第一路由信息作为N个所述目标路由信息的其中之一；第三处理子单元，用于将未存在于所述目标名单的第一路由信息作为非目标第一路由信息，则执行基于所述第二路由信息中每层路由的路由分支数量，对所述非目标第一路由信息进行替换处理的步骤。

进一步地，流量数据的聚类装置还包括：存储单元，用于在基于每个所述目标流量数据关联的所述目标路由信息，对N个所述目标流量数据进行聚类，得到目标聚类结果之后，将所述目标聚类结果存储至目标数据库，并按照树形结构将每个所述目标路由信息存储至所述目标数据库；读取单元，用于从所述目标数据库中读取所述目标聚类结果和N个所述目标路由信息，并基于所述目标聚类结果，确定所述目标企业内每个所述接口服务的访问数据，其中，所述访问数据至少包括：每个所述接口服务的访问次数。

根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述任意一项的流量数据的聚类方法。

根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行上述任意一项的流量数据的聚类方法。

在本发明中，基于目标企业的网络网关中部署的流量探针，获取N个目标流量数据，其中，目标流量数据所使用的协议包括：超文本传输协议，N为正整数；基于每个目标流量数据，确定每个目标流量数据的第一路由信息，其中，第一路由信息用于表示目标流量数据访问目标企业的接口服务的路由路径，接口服务用于为不同应用系统之间进行数据交互的接口提供服务；获取目标企业的第二路由信息，其中，第二路由信息为目标企业的所有接口服务的路由信息，第二路由信息采用树形结构存储；将N个第一路由信息分别与第二路由信息进行匹配，并在匹配过程中基于第二路由信息中每层路由的路由分支数量，对第一路由信息进行替换处理，得到N个目标路由信息；基于每个目标流量数据关联的目标路由信息，对N个目标流量数据进行聚类，得到目标聚类结果。进而解决了相关技术中由于访问同一接口服务的数据流量的路由路径信息存在多种情况，因此在企业内部基于流量数据访问的接口服务对流量数据进行聚类的聚类结果不准确的技术问题。在本发明中，基于路由分支的数量，对存在多条路由分支的路由信息进行替换，避免了相关技术中同一接口服务的数据流量的路由路径信息存在多种情况，因此在企业内部基于流量数据访问的接口服务对流量数据进行聚类的聚类结果不准确的情况，从而实现了提高基于接口服务对流量数据的进行聚类的聚类结果准确度的技术效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的流量数据的聚类方法的流程图；

图2是根据本发明实施例的一种可选的流量数据的聚类流程的示意图；

图3是根据本发明实施例的一种可选的流量数据的聚类系统的示意图；

图4是根据本发明实施例的一种可选的流量数据的聚类系统的处理流程图；

图5是根据本发明实施例的一种可选的流量数据的聚类装置的示意图；

图6是根据本发明实施例的一种电子设备的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，本发明所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据，流量数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

实施例一

根据本发明实施例，提供了一种可选的流量数据的聚类方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的一种可选的流量数据的聚类方法的流程图，如图1所示，该方法包括如下步骤：

步骤S101，基于目标企业的网络网关中部署的流量探针，获取N个目标流量数据，其中，目标流量数据所使用的协议包括：超文本传输协议，N为正整数。

上述的流量探针可以用于采集访问目标企业的相关网络服务时所产生的目标网络协议(如，TCP(传输控制协议)/IP(网际互连协议)网络协议)的流量数据，为了便于确定流量数据访问接口服务的路由路径，可以将流量探针采集到的流量数据转换为超文本传输协议(http协议)的流量数据，得到目标流量数据。

步骤S102，基于每个目标流量数据，确定每个目标流量数据的第一路由信息，其中，第一路由信息用于表示目标流量数据访问目标企业的接口服务的路由路径，接口服务用于为不同应用系统之间进行数据交互的接口提供服务。

在本实施例中，可以基于http协议的目标流量数据，分析每个目标流量数据的访问服务接口的路由路径，得到每个目标流量数据对应的第一路由信息。

步骤S103，获取目标企业的第二路由信息，其中，第二路由信息为目标企业的所有接口服务的路由信息，第二路由信息采用树形结构存储。

在本实施例中，可以通过目标企业的分布式内存组件如redis(远程字典服务)服务存放公司内部服务的路由信息，也即可以通过分布式内存组件获取目标企业的第二路由信息。

为了提高流量数据的聚类效率以及路由路径匹配的效率，可以采用树形结构存储第二路由信息。

步骤S104，将N个第一路由信息分别与第二路由信息进行匹配，并在匹配过程中基于第二路由信息中每层路由的路由分支数量，对第一路由信息进行替换处理，得到N个目标路由信息。

为了避免相关技术中存在动态路由时，访问同一接口服务的流量数据中存在多种路由路径信息，但是难以区分出这类流量数据实际上访问的同一接口服务。在本实施例中，在第一路由信息与第二路由信息进行匹配过程中，匹配到某一层路由信息时，当第二路由信息中分支数目超过预设数量阈值，即可确定该服务路由下的分支为动态参数路由，可跳过此层级进行下一层级的路由进行进一步处理，并且同时将第一路径信息中此层级路由虚化(或替换)为一个动态参数路由(如预设路由信息)，在N个第一路由信息均与第二路由信息匹配完毕，并完成替换处理，可以得到N个目标路由信息。

步骤S105基于每个目标流量数据关联的目标路由信息，对N个目标流量数据进行聚类，得到目标聚类结果。

在本实施例中，可以基于每个目标流量数据关联的目标路由信息，将相同目标路由信息关联的流量数据聚为一类，即目标聚类结果中的每一类可以为访问同一接口服务的流量数据。

通过上述步骤，在本实施例中，基于路由分支的数量，对存在多条路由分支的路由信息进行替换，避免了相关技术中同一接口服务的数据流量的路由路径信息存在多种情况，因此在企业内部基于流量数据访问的接口服务对流量数据进行聚类的聚类结果不准确的情况，从而实现了提高基于接口服务对流量数据的进行聚类的聚类结果准确度的技术效果。进而解决了相关技术中由于访问同一接口服务的数据流量的路由路径信息存在多种情况，因此在企业内部基于流量数据访问的接口服务对流量数据进行聚类的聚类结果不准确的技术问题。

可选地，将N个第一路由信息分别与第二路由信息进行匹配，并在匹配过程中基于第二路由信息中每层路由的路由分支数量，对第一路由信息进行替换处理，得到N个目标路由信息，包括：基于每个第一路由信息的路由层级与第二路由信息的路由层级，对每个第一路由信息与第二路由信息进行逐层匹配；若匹配到目标层级的路由信息，则将第一路由信息中目标层级的路由信息替换为预设路由信息，在N个第一路由信息与第二路由信息全部匹配结束后，得到N个目标路由信息，其中，目标层级为第二路由信息中路由分支数量大于预设数量阈值的路由的层级。

为了避免相关技术中存在动态路由时，访问同一接口服务的流量数据中存在多种路由路径信息，但是难以区分出这类流量数据实际上访问的同一接口服务，导致这类流量数据被认为访问多种接口服务的情况，例如，某些流量数据的路由路径为“A1/A2/占位符/A3为访问B接口服务，占位符处可以产生多种路由地址，但是这些流量数据均访问B接口，而这些流量数据的路由信息不同，导致这些流量数据难以聚为一类。在本实施例中，当新的请求服务路由被解析，得到第一路由信息后，可以按照第一路由信息中路径中的层级关系分别对redis中的树形结构路由(对应于第二路由信息的路由)从上到下进行层级匹配，找到流量请求数据所访问的位置。

当某一层级路由下的分支过多，则可能存在动态路由的情况，因此，在本实施例中，可以设置一个预设数量阈值，当分支数目超过预设数量阈值，即确定该服务路由下的分支为动态参数路由，处理引擎可跳过此层级进行下一层级的路由进行进一步匹配处理，并且同时将此层级路由虚化为一个动态参数路由(对应于预设路由信息)，得到第一路由信息对应的目标路由信息，后续带有此路由的请求流量，可快速解析其完整路由情况，实现了提高流量数据的处理效率的技术效果。

可选地，基于目标企业的网络网关中部署的流量探针，获取N个目标流量数据，包括：基于目标企业的网络网关中部署的流量探针，采集N个原始流量数据，其中，原始流量数据所使用的协议包括下述至少之一：传输控制协议，网际互连协议；将N个原始流量数据分别转换为超文本传输协议的流量数据，得到N个目标流量数据；将N个目标流量数据添加至目标消息队列，并从目标消息队列中获取N个目标流量数据。

在本实施例中，可以在目标企业的网络网关处部署流量探针，通过该流量探针解析底层TCP(即传输控制协议)/IP(即网际互连协议)网络协议流量(对应于原始流量数据)并转化为上层协议流量如http协议流量(即目标流量数据)，并将解析出来的目标流量数据发送到可靠消息中间件kafka(消息队列，对应于目标消息队列)，通过消息中间件发送到网络网关下游的上层业务系统，即可以从消息中间件中获取目标流量数据，实现了提高目标流量数据的获取效率的技术效果。

可选地，基于每个目标流量数据关联的目标路由信息，对N个目标流量数据进行聚类，得到目标聚类结果，包括：对N个目标流量数据关联的目标路由信息进行相互比较，得到比较结果集合，其中，比较结果集合用于记录任意两个目标路由信息是否相同；基于比较结果，对N个目标流量数据进行聚类，得到目标聚类结果。

在本实施例中，可以对N个目标流量数据关联的目标路由信息进行相互比较，得到比较结果集合，其中，比较结果集合用于记录任意两个目标路由信息是否相同，并可以基于比较结果，将相同的目标路由信息对应的目标流量数据聚类为一类，得到目标聚类结果，实现了提高聚类结果的精准度的技术效果。

可选地，在基于第二路由信息中每层路由的路由分支数量，对第一路由信息进行替换处理，得到N个目标路由信息之前，还包括：获取目标名单，其中，目标名单至少记录有M个预设路由信息，其中，M为正整数；逐一判断每条第一路由信息是否存在于目标名单中；将存在于目标名单的第一路由信息作为目标第一路由信息，禁止对目标第一路由信息进行替换处理，并将目标第一路由信息作为N个目标路由信息的其中之一；将未存在于目标名单的第一路由信息作为非目标第一路由信息，则执行基于第二路由信息中每层路由的路由分支数量，对非目标第一路由信息进行替换处理的步骤。

为了避免某些接口服务的路由路径中，流量数据本身存在非动态路由导致的路由分支数据大于预设数量阈值的情况，在本实施例中，可以设置目标名单，通过目标名单记录一些特定接口服务的路由信息(即预设路由信息)，可以逐一判断每条第一路由信息是否存在于目标名单中，将存在于目标名单的第一路由信息作为目标第一路由信息，禁止对目标第一路由信息进行替换处理，并将目标第一路由信息作为N个目标路由信息的其中之一，将未存在于目标名单的第一路由信息作为非目标第一路由信息，并基于第二路由信息中每层路由的路由分支数量，对非目标第一路由信息进行替换处理，实现了提高路由信息处理的精准度的技术效果。

可选地，在基于每个目标流量数据关联的目标路由信息，对N个目标流量数据进行聚类，得到目标聚类结果之后，还包括：将目标聚类结果存储至目标数据库，并按照树形结构将每个目标路由信息存储至目标数据库；从目标数据库中读取目标聚类结果和N个目标路由信息，并基于目标聚类结果，确定目标企业内每个接口服务的访问数据，其中，访问数据至少包括：每个接口服务的访问次数。

在本实施例中，还可以将目标聚类结果存储至目标数据库，还可以按照树形结构将每个目标路由信息存储至目标数据库，以方便在前端业务查询每个接口服务的访问情况，还可以基于目标聚类结果中每个接口服务对应的聚类中流量数据的数量，确定该接口服务的访问次数，还可以基于目标聚类结果绘制出的资产地图，其中，资产地图可以用于记录流量数据访问目标企业的所有接口服务的访问情况(如访问次数)以及对应的路由路径，实现了提高分析企业的接口服务的资产数据的分析效率的技术效果。

图2是根据本发明实施例的一种可选的流量数据的聚类流程的示意图，如图2所示，在本实施例中，可以采用网络网关中的流量探针进行流量采集，对企业内部网关服务器上的网卡流量进行流量解析，转化为指定协议(如http协议)的上层协议流量数据(对应于目标流量数据)，采用大数据处理引擎对形成的上层协议流量数据进行聚类处理，形成公司内部的接口资产地图，还可以将聚类处理后的数据进行落库(即数据存储)，便于前端业务查询及展示。

在本实施例中，还可以通过技术组件(如分布式内存组件)最大化的利用该概率组件的特性实现高可用、高并发、大流量处理的业务能力。通过将路由以树形结构方式存储，对内存中路径上级路径分支数量进行发现，从而判断出虚化路径(如动态路由产生的路径)，同时，允许设置虚化路径白名单(即目标名单)，通过配置指定父级路径白名单(对应于目标名单)后，则不在虚化指定路径的服务，从而保留低代码平台生成或其他方式动态生成的服务的原请求路由信息，实现了通过流量数据聚类的精准度的技术效果。

实施例二

本发明实施例二提供了一种可选的流量数据的聚类系统，流量数据的聚类系统可以用于执行的本发明实施例一提供的流量数据的聚类方法。

图3是根据本发明实施例的一种可选的流量数据的聚类系统的示意图，如图3所示，该聚类系统包括：网络网关31和大数据处理引擎32。

在本发明实施例二提供的流量数据的聚类系统中，包括：网络网关31，用于基于流量探针，获取N个目标流量数据，其中，流量探针部署在网络网关中，目标流量数据所使用的协议包括：超文本传输协议，N为正整数；大数据处理引擎32，用于基于每个目标流量数据，确定每个目标流量数据的第一路由信息，获取目标企业的第二路由信息，将N个第一路由信息分别与第二路由信息进行匹配，并在匹配过程中基于第二路由信息中每层路由的路由分支数量，对第一路由信息进行替换处理，得到N个目标路由信息，并基于每个目标流量数据关联的目标路由信息，对N个目标流量数据进行聚类，得到目标聚类结果，其中，第一路由信息用于表示目标流量数据访问目标企业的接口服务的路由路径，接口服务用于为不同应用系统之间进行数据交互的接口提供服务，第二路由信息为目标企业的所有接口服务的路由信息，第二路由信息采用树形结构存储。

上述的流量探针可以用于采集访问目标企业的相关网络服务时所产生的目标网络协议(如，TCP(传输控制协议)/IP(网际互连协议)网络协议)的流量数据，为了便于确定流量数据访问接口服务的路由路径，可以将流量探针采集到的流量数据转换为超文本传输协议(http协议)的流量，得到目标流量数据。

在本实施例中，可以在流量数据的聚类系统部署可靠的大数据实时处理引擎(如提供flink服务(一种流处理引擎))，在flink服务中可以对http协议的流量数据进行聚类处理，借助分布式内存组件如redis服务存放公司内部服务的路由信息，并按照树形结构进行存储加快对新的请求数据的处理。

例如，可以基于http协议的目标流量数据，分析每个目标流量数据的访问服务接口的路由路径，得到每个目标流量数据的第一路由信息。在本实施例中，可以通过目标企业的分布式内存组件如redis服务存放公司内部服务的路由信息，也即可以通过分布式内存组件获取目标企业的第二路由信息。为了提高流量数据的聚类效率以及路由路径匹配的效率，可以采用树形结构存储第二路由信息。

为了避免相关技术中存在动态路由时，访问同一接口服务的流量数据中存在多种路由路径信息，但是难以区分出这类流量数据实际上访问的同一接口服务。在本实施例中，在第一路由信息与第二路由信息进行匹配过程中，匹配到某一层路由信息时，当第二路由信息中分支数目超过预设数量阈值，即可确定该服务路由下的分支为动态参数路由，可跳过此层级进行下一层级的路由进行进一步处理，并且同时将第一路径信息中此层级路由虚化(或替换)为一个动态参数路由(如预设路由信息)，在N个第一路由信息均与第二路由信息匹配完毕，并完成替换处理，可以得到N个目标路由信息。

在本实施例中，可以基于每个目标流量数据关联的目标路由信息，将相同目标路由信息关联的流量数据聚为一类，即目标聚类结果中的每一类可以为访问同一接口服务的流量数据。

图4是根据本发明实施例的一种可选的流量数据的聚类系统的处理流程图，如图4所示，在开放平台或公司(对应于目标企业)的内部服务组件中的流量数据经过公司的网络网关时，可以通过流量探针对TCP/IP协议的流量数据进行采集，并转化为http协议的目标流量数据，通过大数据处理引擎对上层协议(如TCP/IP协议)的流量数据进行聚类，并将得到的目标聚类结果存储至数据库中，供业务平台进行数据查询。

在本实施例中，还可以通过技术组件(如分布式内存组件)最大化的利用该概率组件的特性实现高可用、高并发、大流量处理的业务能力。通过将路由以树形结构方式存储，对内存中路径上级路径分支数量进行发现，从而判断出虚化路径(如动态路由产生的路径)，同时，允许设置虚化路径白名单(即目标名单)，通过配置指定父级路径白名单(对应于目标名单)后，则不在虚化指定路径的服务，从而保留低代码平台生成或其他方式动态生成的服务的原请求路由信息，实现了通过流量数据聚类的精准度的技术效果。

实施例三

本发明实施例三提供了一种可选的流量数据的聚类装置，该聚类装置中的各个实施单元对应于实施例一中的各个实施步骤。

图5是根据本发明实施例的一种可选的流量数据的聚类装置的示意图，如图5所示，流量数据的聚类装置中包括：第一获取单元51、确定单元52、第二获取单元53、处理单元54以及聚类单元55。

第一获取单元51，用于基于目标企业的网络网关中部署的流量探针，获取N个目标流量数据，其中，目标流量数据所使用的协议包括：超文本传输协议，N为正整数；

确定单元52，用于基于每个目标流量数据，确定每个目标流量数据的第一路由信息，其中，第一路由信息用于表示目标流量数据访问目标企业的接口服务的路由路径，接口服务用于为不同应用系统之间进行数据交互的接口提供服务；

第二获取单元53，用于获取目标企业的第二路由信息，其中，第二路由信息为目标企业的所有接口服务的路由信息，第二路由信息采用树形结构存储；

处理单元54，用于将N个第一路由信息分别与第二路由信息进行匹配，并在匹配过程中基于第二路由信息中每层路由的路由分支数量，对第一路由信息进行替换处理，得到N个目标路由信息；

聚类单元55，用于基于每个目标流量数据关联的目标路由信息，对N个目标流量数据进行聚类，得到目标聚类结果。

在本发明实施例三提供的流量数据的聚类装置中，可以通过第一获取单元51基于目标企业的网络网关中部署的流量探针，获取N个目标流量数据，其中，目标流量数据所使用的协议包括：超文本传输协议，N为正整数，通过确定单元52基于每个目标流量数据，确定每个目标流量数据的第一路由信息，其中，第一路由信息用于表示目标流量数据访问目标企业的接口服务的路由路径，接口服务用于为不同应用系统之间进行数据交互的接口提供服务，通过第二获取单元53获取目标企业的第二路由信息，其中，第二路由信息为目标企业的所有接口服务的路由信息，第二路由信息采用树形结构存储，通过处理单元54将N个第一路由信息分别与第二路由信息进行匹配，并在匹配过程中基于第二路由信息中每层路由的路由分支数量，对第一路由信息进行替换处理，得到N个目标路由信息，通过聚类单元55基于每个目标流量数据关联的目标路由信息，对N个目标流量数据进行聚类，得到目标聚类结果。进而解决了相关技术中由于访问同一接口服务的数据流量的路由路径信息存在多种情况，因此在企业内部基于流量数据访问的接口服务对流量数据进行聚类的聚类结果不准确的技术问题。在本实施例中，基于路由分支的数量，对存在多条路由分支的路由信息进行替换，避免了相关技术中同一接口服务的数据流量的路由路径信息存在多种情况，因此在企业内部基于流量数据访问的接口服务对流量数据进行聚类的聚类结果不准确的情况，从而实现了提高基于接口服务对流量数据的进行聚类的聚类结果准确度的技术效果。

可选地，在本发明实施例三提供的流量数据的聚类装置中，处理单元包括：匹配子单元，用于基于每个第一路由信息的路由层级与第二路由信息的路由层级，对每个第一路由信息与第二路由信息进行逐层匹配；替换子单元，用于若匹配到目标层级的路由信息，则将第一路由信息中目标层级的路由信息替换为预设路由信息，在N个第一路由信息与第二路由信息全部匹配结束后，得到N个目标路由信息，其中，目标层级为第二路由信息中路由分支数量大于预设数量阈值的路由的层级。

可选地，在本发明实施例三提供的流量数据的聚类装置中，第一获取单元包括：采集子单元，用于基于目标企业的网络网关中部署的流量探针，采集N个原始流量数据，其中，原始流量数据所使用的协议包括下述至少之一：传输控制协议，网际互连协议；转换子单元，用于将N个原始流量数据分别转换为超文本传输协议的流量数据，得到N个目标流量数据；第一处理子单元，用于将N个目标流量数据添加至目标消息队列，并从目标消息队列中获取N个目标流量数据。

可选地，在本发明实施例三提供的流量数据的聚类装置中，聚类单元包括：比较子单元，用于对N个目标流量数据关联的目标路由信息进行相互比较，得到比较结果集合，其中，比较结果集合用于记录任意两个目标路由信息是否相同；聚类子单元，用于基于比较结果，对N个目标流量数据进行聚类，得到目标聚类结果。

可选地，在本发明实施例三提供的流量数据的聚类装置中，流量数据的聚类装置还包括：第三获取单元，用于在基于第二路由信息中每层路由的路由分支数量，对第一路由信息进行替换处理，得到N个目标路由信息之前，获取目标名单，其中，目标名单至少记录有M个预设路由信息，其中，M为正整数；判断子单元，用于逐一判断每条第一路由信息是否存在于目标名单中；第二处理子单元，用于将存在于目标名单的第一路由信息作为目标第一路由信息，禁止对目标第一路由信息进行替换处理，并将目标第一路由信息作为N个目标路由信息的其中之一；第三处理子单元，用于将未存在于目标名单的第一路由信息作为非目标第一路由信息，则执行基于第二路由信息中每层路由的路由分支数量，对非目标第一路由信息进行替换处理的步骤。

可选地，在本发明实施例三提供的流量数据的聚类装置中，流量数据的聚类装置还包括：存储单元，用于在基于每个目标流量数据关联的目标路由信息，对N个目标流量数据进行聚类，得到目标聚类结果之后，将目标聚类结果存储至目标数据库，并按照树形结构将每个目标路由信息存储至目标数据库；读取单元，用于从目标数据库中读取目标聚类结果和N个目标路由信息，并基于目标聚类结果，确定目标企业内每个接口服务的访问数据，其中，访问数据至少包括：每个接口服务的访问次数。

上述的流量数据的聚类装置还可以包括处理器和存储器，上述的第一获取单元51、确定单元52、第二获取单元53、处理单元54以及聚类单元55等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

上述处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来基于路由分支的数量，对存在多条路由分支的路由信息进行替换，避免了相关技术中同一接口服务的数据流量的路由路径信息存在多种情况，因此在企业内部基于流量数据访问的接口服务对流量数据进行聚类的聚类结果不准确的情况，从而实现了提高基于接口服务对流量数据的进行聚类的聚类结果准确度的技术效果。

上述存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述任意一项的流量数据的聚类方法。

根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行上述任意一项的流量数据的聚类方法。

图6是根据本发明实施例的一种电子设备的示意图，如图6所示，本发明实施例提供了一种电子设备60，电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现上述任意一项的流量数据的聚类方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种流量数据的聚类方法，其特征在于，包括：

基于目标企业的网络网关中部署的流量探针，获取N个目标流量数据，其中，所述目标流量数据所使用的协议包括：超文本传输协议，N为正整数；

基于每个所述目标流量数据，确定每个所述目标流量数据的第一路由信息，其中，所述第一路由信息用于表示所述目标流量数据访问所述目标企业的接口服务的路由路径，所述接口服务用于为不同应用系统之间进行数据交互的接口提供服务；

获取目标企业的第二路由信息，其中，所述第二路由信息为所述目标企业的所有所述接口服务的路由信息，所述第二路由信息采用树形结构存储；

将N个所述第一路由信息分别与所述第二路由信息进行匹配，并在匹配过程中基于所述第二路由信息中每层路由的路由分支数量，对所述第一路由信息进行替换处理，得到N个目标路由信息；

基于每个所述目标流量数据关联的所述目标路由信息，对N个所述目标流量数据进行聚类，得到目标聚类结果。

2.根据权利要求1所述的聚类方法，其特征在于，将N个所述第一路由信息分别与所述第二路由信息进行匹配，并在匹配过程中基于所述第二路由信息中每层路由的路由分支数量，对所述第一路由信息进行替换处理，得到N个目标路由信息，包括：

基于每个所述第一路由信息的路由层级与所述第二路由信息的路由层级，对每个所述第一路由信息与所述第二路由信息进行逐层匹配；

若匹配到目标层级的路由信息，则将所述第一路由信息中目标层级的路由信息替换为预设路由信息，在N个所述第一路由信息与所述第二路由信息全部匹配结束后，得到N个所述目标路由信息，其中，所述目标层级为所述第二路由信息中路由分支数量大于预设数量阈值的路由的层级。

3.根据权利要求1所述的聚类方法，其特征在于，基于目标企业的网络网关中部署的流量探针，获取N个目标流量数据，包括：

基于目标企业的网络网关中部署的流量探针，采集N个原始流量数据，其中，所述原始流量数据所使用的协议包括下述至少之一：传输控制协议，网际互连协议；

将N个原始流量数据分别转换为超文本传输协议的流量数据，得到N个所述目标流量数据；

将N个所述目标流量数据添加至目标消息队列，并从所述目标消息队列中获取N个所述目标流量数据。

4.根据权利要求1所述的聚类方法，其特征在于，基于每个所述目标流量数据关联的所述目标路由信息，对N个所述目标流量数据进行聚类，得到目标聚类结果，包括：

对N个所述目标流量数据关联的目标路由信息进行相互比较，得到比较结果集合，其中，所述比较结果集合用于记录任意两个所述目标路由信息是否相同；

基于所述比较结果，对N个所述目标流量数据进行聚类，得到所述目标聚类结果。

5.根据权利要求1所述的聚类方法，其特征在于，在基于所述第二路由信息中每层路由的路由分支数量，对所述第一路由信息进行替换处理，得到N个目标路由信息之前，还包括：

获取目标名单，其中，所述目标名单至少记录有M个预设路由信息，其中，M为正整数；

逐一判断每条所述第一路由信息是否存在于所述目标名单中；

将存在于所述目标名单的第一路由信息作为目标第一路由信息，禁止对所述目标第一路由信息进行替换处理，并将所述目标第一路由信息作为N个所述目标路由信息的其中之一；

将未存在于所述目标名单的第一路由信息作为非目标第一路由信息，则执行基于所述第二路由信息中每层路由的路由分支数量，对所述非目标第一路由信息进行替换处理的步骤。

6.根据权利要求1所述的聚类方法，其特征在于，在基于每个所述目标流量数据关联的所述目标路由信息，对N个所述目标流量数据进行聚类，得到目标聚类结果之后，还包括：

将所述目标聚类结果存储至目标数据库，并按照树形结构将每个所述目标路由信息存储至所述目标数据库；

从所述目标数据库中读取所述目标聚类结果和N个所述目标路由信息，并基于所述目标聚类结果，确定所述目标企业内每个所述接口服务的访问数据，其中，所述访问数据至少包括：每个所述接口服务的访问次数。

7.一种流量数据的聚类系统，其特征在于，所述流量数据的聚类系统用于执行权利要求1至6任意一项流量数据的聚类方法，包括：

网络网关，用于基于流量探针，获取N个目标流量数据，其中，所述流量探针部署在所述网络网关中，所述目标流量数据所使用的协议包括：超文本传输协议，N为正整数；

大数据处理引擎，用于基于每个所述目标流量数据，确定每个所述目标流量数据的第一路由信息，获取目标企业的第二路由信息，将N个所述第一路由信息分别与所述第二路由信息进行匹配，并在匹配过程中基于所述第二路由信息中每层路由的路由分支数量，对所述第一路由信息进行替换处理，得到N个目标路由信息，并基于每个所述目标流量数据关联的所述目标路由信息，对N个所述目标流量数据进行聚类，得到目标聚类结果，其中，所述第一路由信息用于表示所述目标流量数据访问所述目标企业的接口服务的路由路径，所述接口服务用于为不同应用系统之间进行数据交互的接口提供服务，所述第二路由信息为所述目标企业的所有所述接口服务的路由信息，所述第二路由信息采用树形结构存储。

8.一种流量数据的聚类装置，其特征在于，包括：

第一获取单元，用于基于目标企业的网络网关中部署的流量探针，获取N个目标流量数据，其中，所述目标流量数据所使用的协议包括：超文本传输协议，N为正整数；

确定单元，用于基于每个所述目标流量数据，确定每个所述目标流量数据的第一路由信息，其中，所述第一路由信息用于表示所述目标流量数据访问所述目标企业的接口服务的路由路径，所述接口服务用于为不同应用系统之间进行数据交互的接口提供服务；

第二获取单元，用于获取目标企业的第二路由信息，其中，所述第二路由信息为所述目标企业的所有所述接口服务的路由信息，所述第二路由信息采用树形结构存储；

处理单元，用于将N个所述第一路由信息分别与所述第二路由信息进行匹配，并在匹配过程中基于所述第二路由信息中每层路由的路由分支数量，对所述第一路由信息进行替换处理，得到N个目标路由信息；

聚类单元，用于基于每个所述目标流量数据关联的所述目标路由信息，对N个所述目标流量数据进行聚类，得到目标聚类结果。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至6中任意一项所述的流量数据的聚类方法。

10.一种电子设备，其特征在于，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至6中任意一项所述的流量数据的聚类方法。