CN112839004B

CN112839004B - 应用识别方法和装置

Info

Publication number: CN112839004B
Application number: CN201911153342.6A
Authority: CN
Inventors: 张昊迪; 王帅; 汪来富; 王渭清; 王海燚; 刘东鑫; 史国水; 邓博仁; 李诗旸; 吴国威; 金华敏
Original assignee: China Telecom Corp Ltd
Current assignee: China Telecom Corp Ltd
Priority date: 2019-11-22
Filing date: 2019-11-22
Publication date: 2022-09-06
Anticipated expiration: 2039-11-22
Also published as: CN112839004A

Abstract

本公开公开了一种应用识别方法和装置，涉及安全领域。其中的方法包括：获取应用与特征的关联矩阵图；提取待识别流量数据中的特征组合；基于关联矩阵图，计算特征组合相对于每个关联应用的特征分值；根据特征分值，识别出待识别流量数据对应的应用。本公开能够提高应用识别的有效性和准确性。

Description

应用识别方法和装置

技术领域

本公开涉及安全领域，尤其涉及一种应用识别方法和装置。

背景技术

在移动互联网时代，App(Application，应用)是主要的流量载体。对于运营商，移动端App成为用户移动数据流量的主要来源。App通过HTTP协议与其主机服务进行通信，与其他HTTP数据交换无异。

随着H5渗入App的开发，App数据传输使用HTTP/HTTPS，理解HTTP流量构成并识别头部App及运营商自营/合作App对运营商进行网络规划、流量监控、市场分析至关重要。

但无法基于端口和协议识别应用，而采用基于DPI(Deep Packet Inspection，深度包检测)的特征识别APP，由于具有特征的移动流量占比极少，从而APP识别的有效性低。

发明内容

本公开要解决的一个技术问题是，提供一种应用识别方法和装置，能够提高应用识别的有效性。

根据本公开一方面，提出一种应用识别方法，包括：获取应用与特征的关联矩阵图；提取待识别流量数据中的特征组合；基于关联矩阵图，计算特征组合相对于每个关联应用的特征分值；根据特征分值，识别出待识别流量数据对应的应用。

在一些实施例中，获取流量训练数据；提取每个应用的特征；根据每个应用的特征对流量训练数据进行基于特征的分组，建立应用与特征的关联矩阵图；其中，关联矩阵图中包括：每个特征在每个应用中出现的次数，以及每个特征在流量训练数据中出现的总次数。

在一些实施例中，计算特征组合相对于每个关联应用的特征分值包括：计算特征组合中每个特征，相对于每个关联应用出现的概率；将特征组合相对于每个关联应用出现的概率之和，作为特征组合相对于每个关联应用的特征分值。

在一些实施例中，计算特征组合相对于每个关联应用的特征分值还包括：确定每个特征对应的权值指标，其中，每个特征对应的权值指标为相应的特征对应的应用个数的倒数；根据每个特征对应的权值指标，计算特征组合相对于每个关联应用出现的加权概率和；将加权概率和，作为特征组合相对于每个关联应用的特征分值。

在一些实施例中，将待识别流量数据，按照时间进行划分；识别每个时间段内待识别流量数据对应的应用。

在一些实施例中，提取每个应用的特征包括以下步骤中的一种或多种：根据流量训练数据进行协议解析，确定每个应用的特征；基于应用商店提取每个应用的特征；将每个应用的第三方流量作为对应应用的特征。

在一些实施例中，将提取的特征在搜索引擎进行应用关联，去除特征中用户代理字段中的无效字段。

根据本公开的另一方面，还提出一种应用识别装置，包括：关联矩阵获取单元，被配置为获取应用与特征的关联矩阵图；特征提取单元，被配置为提取待识别流量数据中的特征组合；特征分值计算单元，被配置为基于关联矩阵图，计算特征组合相对于每个关联应用的特征分值；应用流量识别单元，被配置为根据特征分值，识别出待识别流量数据对应的应用。

在一些实施例中，关联矩阵图构建单元，被配置为获取流量训练数据，提取每个应用的特征，根据每个应用的特征，对流量训练数据进行基于特征的分组，建立应用与特征的关联矩阵图；其中，关联矩阵图中包括：每个特征在每个应用中出现的次数，以及每个特征在流量训练数据中出现的总次数。

根据本公开的另一方面，还提出一种应用识别装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器的指令执行如上述的应用识别方法。

根据本公开的另一方面，还提出一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上述的应用识别方法。

与相关技术相比，本公开实施例根据应用与特征的关联矩阵图，计算待识别流量数据中的特征组合相对于每个关联应用的特征分值，根据特征分值，识别出待识别流量数据对应的应用，能够提高应用识别的有效性和准确性。

通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1为本公开的应用识别方法的一些实施例的流程示意图。

图2为本公开的应用识别方法的另一些实施例的流程示意图。

图3为本公开的按时间对流量数据划分的一些实施例的示意图。

图4为本公开的应用识别方法的另一些实施例的流程示意图。

图5为本公开的按时间对流量数据划分的另一些实施例的示意图。

图6为本公开的应用识别装置的一些实施例的结构示意图。

图7为本公开的应用识别装置的另一些实施例的结构示意图。

图8为本公开的应用识别装置的另一些实施例的结构示意图。

图9为本公开的应用识别装置的另一些实施例的结构示意图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

图1为本公开的应用识别方法的一些实施例的流程示意图。

在步骤110，获取应用与特征的关联矩阵图。其中，可以基于先验有限的数据建模得到关联矩阵图，关联矩阵图中包括：每个特征在每个应用中出现的次数，以及每个特征在流量训练数据中出现的总次数。例如，如表1所示：

特征\应用	出现总次数	应用1	应用2	…	应用N
						特征1	T1	T11	T12	…	T1N
特征2	T2	T21	T22	…	T2N
						…	…	…	…	…	…
特征M	TM	TM1	TM2	…	TMN

表1

在步骤120，提取待识别流量数据中的特征组合。

例如，提取出待识别流量数据中包含特征1和特征2。在一些实施例中，采集待识别流量数据后，对待识别流量数据进行底层协议解析，然后进行HTTP协议解析，得到待识别流量数据中的多个特征。

在步骤130，基于关联矩阵图，计算识别出的特征组合相对于每个关联应用的特征分值。

例如，计算特征1和特征2相对于应用1的特征分值为S1，相对于应用2的特征分值为S2，…，相对于应用N的特征分值为SN，其中，S1分值最大。

在步骤140，根据特征分值，识别出待识别流量数据对应的应用。

例如，将最高特征分值对应的应用，作为待识别流量数据对应的应用。

在该实施例中，根据应用与特征的关联矩阵图，计算待识别流量数据中的特征组合相对于每个关联应用的特征分值，根据特征分值，识别出待识别流量数据对应的应用，能够提高应用识别的有效性和准确性。

图2为本公开的应用识别方法的另一些实施例的流程示意图。

在步骤210，获取流量训练数据。

在一段时间内，通过流量监控系统中相关设备对移动上网日志系统的接口机进行1：1全镜像，对数据中IMEI(International Mobile Equipment Identity，国际移动设备识别码)字段进行去重计算，得到不同用户的流量数据，将得到的流量数据作为训练数据。

在步骤220，提取每个应用的特征。

在一些实施例中，可以根据流量训练数据进行协议解析，确定每个应用的特征，可以基于应用商店提取每个应用的特征，也可以将每个应用的第三方流量作为对应应用的特征。

例如，对HTTP协议解析，提取客户端应用的名称标识符，包含HTTP头部的UA(UserAgent，用户代理)字段、HOST(宿主)字段、URL(Uniform Resource Locator,统一资源定位符)参数等。

例如，在应用商店内获取公开的应用数据，显示数据例如包括应用名称、应用ID等。应用商店例如包括Google Play以及App Store等。

例如，将第三方的广告流作为应用的特征。

在步骤230，根据每个应用的特征对流量训练数据进行基于特征的分组，建立应用与特征的关联矩阵图。

例如，统计每个特征在每个应用中出现的次数，以及每个特征在流量训练数据中出现的总次数。

在一些实施例中，由于用户可能隔一段时间用一次应用，因此，可以在一定时间内划分数据，如图3所示，将流量训练数据划分为多个分组流。其中，T(g)表示对流量训练数据按照时间长度进行划分，g(f_x ⁱ)表示一个用户在第i个时间段内流量数据对应的特征组合。

在步骤240，提取待识别流量数据中的特征组合。

在步骤250，基于关联矩阵图，计算特征组合中每个特征，相对于每个关联应用出现的概率。

每个特征相对于每个关联应用出现的概率为，该特征在某个应用中出现的次数，与该特征在流量训练数据中出现的总次数之比。

例如，如表1所示，特征1相对于应用1出现的概率为T11/T1，相对于应用2出现的概率为T12/T1，…，相对于应用N出现的概率为T1N/T1；特征2相对于应用1出现的概率为T21/T2，相对于应用2出现的概率为T22/T2，…，相对于应用N出现的概率为T2N/T2。

在步骤260，将特征组合相对于每个关联应用出现的概率之和，作为特征组合相对于每个关联应用的特征分值。

例如，特征组合相对于应用1出现的概率之和为

特征组合相对于应用2出现的概率之和为

…，特征组合相对于应用N出现的概率之和为

如果特征i强关联应用N，则TiN/Ti为较大值。

在步骤270，将最高特征分值对应的应用，作为待识别流量数据对应的应用。例如，S1的分值最高，则待识别流量数据为应用1的流量数据。

在上述实施例中，构建应用与特征的关联矩阵图，提取待识别流量数据中的特征组合后，计算该特征组合相对于每个关联应用出现的概率之和，将概率之和最大值对应的应用，作为待识别流量数据对应的应用，能够提高应用识别的有效性和准确性。

图4为本公开的应用识别方法的另一些实施例的流程示意图。

在步骤410，采集用户的流量数据作为流量训练数据。

在步骤420，提取每个应用的特征。例如，提取应用名称、用户代理字段、宿主字段、第三方流量等。

在步骤430，将提取的特征在搜索引擎进行应用关联，去除用户代理字段中的无效字段。

例如，去除不是作为专用代理的功能代理或者精简发布(release)、描述(version)等，保证特征字段的有效性。

在步骤440，根据每个应用的特征对流量训练数据进行基于特征的分组，建立应用与特征的关联矩阵图。

在步骤450，将用户的待识别流量数据，按照时间进行划分。由于用户可能每隔一段时间使用一次应用，因此，可以分时间段对待识别流量进行处理。

如图5所示，Ts为对待识别流量根据时间长度进行划分，保证强时间关联性。f^x表示一个特征组中的特征。

在步骤460，提取每个时间段内的待识别流量数据的特征组合。

在步骤470，根据每个特征对应的应用的个数，确定每个特征对应的权值指标。例如，根据每个特征在每个应用中出现的次数，确定每个特征对应的应用的个数，将应用个数的倒数作为权值指标。如，特征1在5个应用中出现的次数大于等于1，则该特征1对应的权值指标为1/5。

在步骤480，根据每个特征对应的权值指标，计算特征组合相对于每个关联应用出现的加权概率和，将加权概率和，作为特征组合相对于每个关联应用的特征分值。

特征组合相对于应用1出现的概率之和为

特征组合相对于应用2出现的概率之和为

…，特征组合相对于应用N出现的概率之和为

其中，Ni为第i个特征的权值指标。

在步骤490，将最高特征分值对应的应用，作为待识别流量数据对应的应用。

在上述实施例中，在离散序列报文，甚至是没有显性特征流量的情况下完成应用的识别，更贴近实际的网络环境，解决了稀疏显性特征矩阵在移动互联网流量中占比低，应用识别有效性低的问题。

图6为本公开的应用识别装置的一些实施例的结构示意图。该装置包括关联矩阵获取单元610、特征提取单元620、特征分值计算单元630和应用流量识别单元640。

关联矩阵获取单元610被配置为获取应用与特征的关联矩阵图。

其中，可以基于先验有限的数据建模得到关联矩阵图，关联矩阵图中包括：每个特征在每个应用中出现的次数，以及每个特征在流量训练数据中出现的总次数。

特征提取单元620被配置为提取待识别流量数据中的特征组合。例如，提取应用名称、用户代理字段、宿主字段、第三方流量等。

在一些实施例中，将提取的特征在搜索引擎进行应用关联，去除用户代理字段中的无效字段。例如，去除不是作为专用代理的功能代理或者精简发布(release)、描述(version)等，保证特征字段的有效性。

在一些实施例中，将用户的待识别流量数据，按照时间进行划分。由于用户可能每隔一段时间使用一次应用，因此，可以分时间段对待识别流量进行处理。

特征分值计算单元630被配置为基于关联矩阵图，计算特征组合相对于每个关联应用的特征分值。

在一些实施例中，基于关联矩阵图，计算特征组合中每个特征，相对于每个关联应用出现的概率；将特征组合相对于每个关联应用出现的概率之和，作为特征组合相对于每个关联应用的特征分值。

在一些实施例中，根据每个特征对应的应用的个数，确定每个特征对应的权值指标。例如，根据每个特征在每个应用中出现的次数，确定每个特征对应的应用的个数，将应用个数的倒数作为权值指标。根据每个特征对应的权值指标，计算特征组合相对于每个关联应用出现的加权概率和，将加权概率和，作为特征组合相对于每个关联应用的特征分值。

应用流量识别单元640被配置为根据特征分值，识别出待识别流量数据对应的应用。

在本公开的另一些实施例中，如图7所示，该装置还包括关联矩阵图构建单元710，被配置为获取流量训练数据，提取每个应用的特征，根据每个应用的特征，对流量训练数据进行基于特征的分组，建立应用与特征的关联矩阵图。

在一段时间内，通过流量监控系统中相关设备对移动上网日志系统的接口机进行1：1全镜像，对数据中IMEI字段进行去重计算，得到不同用户的流量数据，将得到的流量数据作为训练数据。

可以根据流量训练数据进行协议解析，确定每个应用的特征，可以基于应用商店提取每个应用的特征，也可以将每个应用的第三方流量作为对应应用的特征。统计每个特征在每个应用中出现的次数，以及每个特征在流量训练数据中出现的总次数，构建应用与特征的关联矩阵图。

在一些实施例中，由于用户可能隔一段时间用一次应用，因此，可以在一定时间内划分数据，如图3所示，将流量训练数据划分为多个分组流。

在上述实施例中，在识别流量数据时，能够进行同源性及时间强关联的流量分析，提高应用识别的有效性和准确性。

图8为本公开的应用识别装置的另一些实施例的结构示意图。该装置包括存储器810和处理器820，其中：

存储器810可以是磁盘、闪存或其它任何非易失性存储介质。存储器用于存储图1、2、4所对应实施例中的指令。处理器820耦接至存储器810，可以作为一个或多个集成电路来实施，例如微处理器或微控制器。该处理器820用于执行存储器中存储的指令。

在一些实施例中，还可以如图9所示，该装置900包括存储器910和处理器920。处理器920通过BUS总线930耦合至存储器910。该装置900还可以通过存储接口940连接至外部存储装置950以便调用外部数据，还可以通过网络接口960连接至网络或者另外一台计算机系统(未标出)，此处不再进行详细介绍。

在该实施例中，通过存储器存储数据指令，再通过处理器处理上述指令，提高应用识别的有效性和准确性。

在另一些实施例中，一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现图1、2、4所对应实施例中的方法的步骤。本领域内的技术人员应明白，本公开的实施例可提供为方法、装置、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

至此，已经详细描述了本公开。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。

Claims

1.一种应用识别方法，包括：

获取流量训练数据；

提取每个应用的特征；

根据每个应用的特征，对所述流量训练数据进行基于特征的分组，建立应用与特征的关联矩阵图，所述关联矩阵图中包括：每个特征在每个应用中出现的次数，以及每个特征在所述流量训练数据中出现的总次数；

提取待识别流量数据中的特征组合；

基于所述关联矩阵图，计算所述特征组合中每个特征，相对于每个关联应用出现的概率，将所述特征组合中每个特征，相对于每个关联应用出现的概率之和，作为所述特征组合相对于每个关联应用的特征分值；

根据所述特征分值，识别出所述待识别流量数据对应的应用。

2.根据权利要求1所述的应用识别方法，其中，计算所述特征组合相对于每个关联应用的特征分值还包括：

确定每个特征对应的权值指标，其中，所述每个特征对应的权值指标为相应的特征对应的应用个数的倒数；

根据每个特征对应的权值指标，计算所述特征组合相对于每个关联应用出现的加权概率和；

将所述加权概率和，作为所述特征组合相对于每个关联应用的特征分值。

3.根据权利要求1或2所述的应用识别方法，还包括：

将所述待识别流量数据，按照时间进行划分；

识别每个时间段内所述待识别流量数据对应的应用。

4.根据权利要求1所述的应用识别方法，其中，提取每个应用的特征包括以下步骤中的一种或多种：

根据流量训练数据进行协议解析，确定每个应用的特征；

基于应用商店提取每个应用的特征；

将每个应用的第三方流量作为对应应用的特征。

5.根据权利要求4所述的应用识别方法，其中，

将提取的特征在搜索引擎进行应用关联，去除所述特征中用户代理字段中的无效字段。

6.一种应用识别装置，包括：

关联矩阵图构建单元，被配置为获取流量训练数据，提取每个应用的特征，根据每个应用的特征，对所述流量训练数据进行基于特征的分组，建立应用与特征的关联矩阵图，所述关联矩阵图中包括：每个特征在每个应用中出现的次数，以及每个特征在所述流量训练数据中出现的总次数；

关联矩阵获取单元，被配置为获取应用与特征的关联矩阵图；

特征提取单元，被配置为提取待识别流量数据中的特征组合；

特征分值计算单元，被配置为基于所述关联矩阵图，计算所述特征组合中每个特征，相对于每个关联应用出现的概率，将所述特征组合中每个特征，相对于每个关联应用出现的概率之和，作为所述特征组合相对于每个关联应用的特征分值；

应用流量识别单元，被配置为根据所述特征分值，识别出所述待识别流量数据对应的应用。

7.一种应用识别装置，包括：

存储器；以及

耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令执行如权利要求1至5任一项所述的应用识别方法。

8.一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现权利要求1至5任一项所述的应用识别方法。