CN113468141B - 用于生成apk主键的数据处理系统 - Google Patents

Abstract

本发明涉及一种用于生成APK主键的数据处理系统，实现步骤S1、获取待标识APK的APK包名和对应的预设APK特征向量；步骤S2、检索第一数据库，判断是否存在包含所述待标识APK的APK包名的记录，若不存在，则将APK包名加上预设第一标识作为所述待标识APK的APK主键，并将APK特征向量记录更新至第一数据库中，若存在，则执行步骤S3；步骤S3、判断待标识APK与APKi是否相似，若相似，则将待标识APK的APK主键确定为APKi，若待标识APK的预设APK特征向量与APK1，APK2，…APKn中所有的预设APK特征向量均不相似，则执行步骤S4；步骤S4、将APK包名加上预设第(n+1)标识作为所述待标识APK的APK主键，并将APK特征向量记录更新至第一数据库中。本发明提高了生成APK主键的准确性和效率。

Description

用于生成APK主键的数据处理系统

技术领域

本发明涉及计算机技术领域，尤其涉及一种用于生成APK主键的数据处理系统。

背景技术

随着大量APK的投入使用，需要准确获取APK主键，来作为APK在数据库中的唯一标识，用于不同应用场景下的数据分析。现有技术中主要包括以下几种方法：(1)采用指纹算法获取APK主键，但是由于指纹算法限制过严格，APK中单个文件的改动会导致apk-md5整体变动，这样会造成相同的APK生成了不同的APK主键。(2)采用sha256等签名生成算法生成证书标识作为APK主键，但由于sha256等签名生成算法不会随着域名的改变发生变化，因此会造成同一APK主键对应了不同的APK。(3)直接采用APK包名(pkg_name)作为APK主键，但是由于存在仿冒等原因，也会造成同一APK主键对应了不同的APK。由此可知，如何提高生成APK主键的准确性成为亟待解决的技术问题。

发明内容

本发明目的在于，提供一种用于生成APK主键的数据处理系统，提高了生成APK主键的准确性和效率。

根据本发明第一方面，提供了一种用于生成APK主键的数据处理系统，包括第一数据库、存储于计算机程序的存储器和处理器，所述第一数据库用于存储APK特征向量记录，所述APK特征向量记录包括APK主键、APK包名和预设APK特征向量字段，当所述处理器执行所述计算机程序时，实现以下步骤：

步骤S1、获取待标识APK的APK包名和对应的预设APK特征向量；

步骤S2、检索所述第一数据库，判断是否存在包含所述待标识APK的APK包名的记录，若不存在，则将所述APK包名加上预设第一标识作为所述待标识APK的APK主键，并将所述待标识APK的APK特征向量记录更新至所述第一数据库中，若存在，则执行步骤S3；

步骤S3、获取与所述待标识APK的APK包名相同的APK主键列表{APK1，APK2，…APKn},其中APKi表示第i个与所述待标识APK的APK包名相同的APK主键，i的取值为1到n，将所述待标识APK的预设APK特征向量与APKi的预设APK特征向量对比，判断所述待标识APK与APKi是否相似，若相似，则将所述待标识APK的APK主键确定为APKi，若所述待标识APK的预设APK特征向量与APK1，APK2，…APKn中所有的预设APK特征向量均不相似，则执行步骤S4；

步骤S4、将所述APK包名加上预设第(n+1)标识作为所述待标识APK的APK主键，并将所述待标识APK的APK特征向量记录更新至所述第一数据库中。

本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案，本发明提供的一种用于生成APK主键的数据处理系统可达到相当的技术进步性及实用性，并具有产业上的广泛利用价值，其至少具有下列优点：

本发明基于APK多个维度的特征以及动态更新的APK主键数据库，将相同包名的APK精确划分了不同的APK主键，提高了生成APK主键的准确性和效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。

附图说明

图1为本发明实施例提供的用于生成APK主键的数据处理系统示意图。

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的一种用于生成APK主键的数据处理系统的具体实施方式及其功效，详细说明如后。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。

本发明实施例提供了一种用于生成APK主键的数据处理系统，如图1所示，包括第一数据库、存储于计算机程序的存储器和处理器，所述第一数据库用于存储APK特征向量记录，所述APK特征向量记录包括APK主键、APK包名和预设APK特征向量字段，当所述处理器执行所述计算机程序时，实现以下步骤：

步骤S1、获取待标识APK的APK包名和对应的预设APK特征向量；

步骤S2、检索所述第一数据库，判断是否存在包含所述待标识APK的APK包名的记录，若不存在，则将所述APK包名加上预设第一标识作为所述待标识APK的APK主键，并将所述待标识APK的APK特征向量记录更新至所述第一数据库中，若存在，则执行步骤S3；

作为一种示例，预设的标识符为flag，则APK包名加上预设第一标识为pkg_nameflag1,可以理解的是，pkg_name和flag1也可以通过一个和预设的字符相连接，例如“+”、“-”等等。

步骤S3、获取与所述待标识APK的APK包名相同的APK主键列表{APK1，APK2，…APKn},其中APKi表示第i个与所述待标识APK的APK包名相同的APK主键，i的取值为1到n，将所述待标识APK的预设APK特征向量与APKi的预设APK特征向量对比，判断所述待标识APK与APKi是否相似，若相似，则将所述待标识APK的APK主键确定为APKi，若所述待标识APK的预设APK特征向量与APK1，APK2，…APKn中所有的预设APK特征向量均不相似，则执行步骤S4；

步骤S4、将所述APK包名加上预设第(n+1)标识作为所述待标识APK的APK主键，并将所述待标识APK的APK特征向量记录更新至所述第一数据库中。

本发明实施例基于APK多个维度的特征以及动态更新的APK主键数据库，将相同包名的APK精确划分了不同的APK主键，提高了生成APK主键的准确性，为后续基于APK特征的数据分析提供了基础。

作为一种实施例，所述预设APK特征向量包括m个特征向量{第一特征向量、第二特征向量，…第m特征向量}，m为正整数，所述步骤S3中，所述将所述待标识APK的预设APK特征向量与APKi的预设APK特征向量对比，判断所述待标识APK与APKi是否相似，包括：

步骤S30、分别获取所述待标识APK与APKi的每一特征向量的相似状态，所述相似状态包括第一相似状态、第二相似状态和第三相似状态，三者相似度依次减小，若存在至少一个特征向量为第三相似状态或者超过预设g个特征向量为第二相似状态，则判断所述待标识APK与APKi不相似，否则，判断所述待标识APK与APKi相似，即当APK与APKi的所有特征向量处于第一相似状态，或者其中小于g个特征向量处于第二相似状态且其余特征向量均处于第一相似状态的情况下，判断所述待标识APK与APKi相似，其中，g为正整数，且g小于m。

可以理解的是，通过步骤S30可以基于APK的多个维度的特征向量判断所述待标识APK与APKi是否相似，并基于该判断结果进一步确定待标识APK的APK主键，提高了APK主键的准确性和效率。

作为一种实施例，所述预设APK特征向量包括域名特征向量、版本特征向量、文件大小特征向量、权限特征向量、签名特征向量、异常行为特征向量、代码目录特征向量、文件目录特征向量中的一种或多种。可以理解的是，上述预设APK特征向量仅为一种示例，具体可根据实际的应用场景对APK特征向量进行增加或删除，来设置对应的APK特征向量组合。

需要说明的是，不同的APK特征向量对于APK主键生成的权重不同，当数据量较多时，对所有APK特征向量全部进行计算后对比，计算量大且APK主键生成效率低，因此可基于APK特征向量对于APK主键生成的权重设定相应的判断逻辑，来判断所述待标识APK与APKi是否相似，具体地，作为一种实施例，所述步骤S30包括：

步骤S31、将所述待标识APK与APKi的第一特征向量进行相似度对比，若相似度高于预设的第一相似度上限值，则执行步骤S22；若低于预设的第一相似度下限值，则确定所述待标识APK与APKi不相似，并结束待标识APK与APKi的相似度判断流程；若介于所述第一相似度下限值和所述第一相似度上限值之间，则令预设的相似状态值s＝1,然后执行步骤S22；

步骤S32、将所述待标识APK与APKi的第二特征向量进行相似度对比，若相似度高于预设的第二相似度上限值，则执行步骤S33；若低于预设的第二相似度下限值，则确定所述待标识APK与APKi不相似，并结束待标识APK与APKi的相似度判断流程；若介于所述第二相似度下限值和所述第二相似度上限值之间，则令预设的相似状态值s＝s+1,并判断s是否超过g，若超过，则确定所述待标识APK与APKi不相似，并结束待标识APK与APKi的相似度判断流程,否则，执行步骤S33；

…

步骤S3(n-1)、将所述待标识APK与APKi的第(n-1)特征向量进行相似度对比，若相似度高于预设的第(n-1)相似度上限值，则执行步骤S33；若低于预设的第(n-1)相似度下限值，则确定所述待标识APK与APKi不相似，并结束待标识APK与APKi的相似度判断流程；若介于所述第(n-1)相似度下限值和所述第(n-1)相似度上限值之间，则令预设的相似状态值s＝s+1,并判断s是否超过g，若超过，则确定所述待标识APK与APKi不相似，并结束待标识APK与APKi的相似度判断流程,否则，执行步骤S3n；

步骤S3n、将所述待标识APK与APKi的第n特征向量进行相似度对比，若相似度高于预设的第n相似度上限值，则确定所述待标识APK与APKi相似；若低于预设的第n相似度下限值，则确定所述待标识APK与APKi不相似，并结束待标识APK与APKi的相似度判断流程；若介于所述第n相似度下限值和所述第n相似度上限值之间，则令预设的相似状态值s＝s+1,并判断s是否超过g，若超过，则确定所述待标识APK与APKi不相似，并结束待标识APK与APKi的相似度判断流程,否则，确定所述待标识APK与APKi相似。

可以理解的是，步骤S31-步骤S3n中，当APK特征向量相似度低于对应的相似度下限值时，该APK特征向量对应于步骤S30中的第三相似状态，当高于对应的相似度上限值时，该APK特征向量对应于步骤S30中的第一相似状态，当处于对应的相似度下限值和对应的相似度上限值之间时，该APK特征向量对应于步骤S30中的第二相似状态。通过步骤S31-步骤S3n，能够按照APK特征向量的权重从大到依次执行，当满足不相似的条件时，立刻结束判断流程，提高了识别待标识APK与APKi的效率和准确性，进而提高了APK主键生成的效率和准确性。

作为一种实施例，对于需要体现涉诈特征的APK，令n取值为5,所述第一特征向量为域名特征向量，第二特征向量为版本特征向量，第三特征向量为文件大小特征向量，第四特征向量为权限特征向量，第五特征向量为签名特征向量，基于上述特征选取执行S31-步骤S3n，能够快速准确的为涉诈APK确定APK主键。

作为一种实施例，所述系统还包括第二数据库，用于存储APK特征记录，所述APK特征记录包括APK包名和APK特征，所述步骤S1包括：

步骤S10、基于所述第二数据库中的每一特征分布确定每一特征与对应特征向量转换映射关系；

可以理解的是，第二数据库可以存储全局的APK特征记录，基于全局的APK特征分布确定每一特征与对应特征向量转换映射关系，能够提高生成APK特征向量的可靠性，基于APK特征向量之间的相似度，能够进一步准确识别APK之间的相似度。

步骤S20、基于所述特征向量转换映射关系，获取每一APK特征记录中的每一APK特征对应的预设APK特征向量。

仍以所述第一特征向量为域名特征向量，第二特征向量为版本特征向量，第三特征向量为文件大小特征向量，第四特征向量为权限特征向量，第五特征向量为签名特征向量为例，第二数据库中对应的APK特征包括域名特征、版本特征、文件大小特征、权限特征和签名特征，其中版本特征、文件大小特征、权限特征和签名特征均可通过解析APK安装文件，从Manifest.xml文件中直接获取得到。域名特征具体可以通过沙箱等环境模拟运行APK等方式获取。

其中，对于版本特征和签名特征可以直接基于文本转换成文本向量的形式来作为所述特征向量转换映射关系。对于域名特征、文件大小特征和权限特征，可以通过以下步骤来构建特征向量转换映射关系，具体地，所述步骤S10包括：

步骤S101、基于所述第二数据库中第j特征的分布，确定第j特征等级映射表，所述第j特征等级映射表中包括b个等级，j和b均为正整数，j取1到m中的一个数值；

步骤S102、为第j特征构建b维向量，统计APK对应的第j特征在每一等级的信息数量，在对应的维度设置对应的数量值，生成第j特征对应的特征向量。

以域名特征为例，首先基于所述第二数据库中域名特征的分布，确定域名与域名等级的映射关系，域名可以根据出现的频次划分为高频等级、中频等级和低频等级，通过统计APK对应的域名信息中分别处于高频等级、中频等级和低频等级的域名数量来构建域名特征向量。

以权限特征为例，首先将权限划分为高风险、低风险和中风险权限，然后基于与域名特征构建相似的算法来构建权限特征向量，细节不再赘述。

以文件大小特征为例，首先解压APK文件获取APK文件总大小，作为一个维度的向量特征，然后获取子文件夹的大小，作为另一维度的特征，最后再将子文件夹下的所有文件基于文件类型进行分类，然后统计每一类别下的文件大小作为再一维度的向量特征，最后构建得到文件大小特征向量。

通过步骤S10-步骤S20能够快速准确地为每一APK特征生成对应的预设APK特征向量，为APK主键的生成以及第二数据库的更新提供数据基础。

作为一种实施例，所述步骤S20之后还进一步包括：

步骤S30、基于所述第二数据库中每一APK特征对应的预设APK特征向量的分布，确定每一APK特征对应的相似度上限值、相似度上限值。

可以理解的是，基于第二数据库中每一APK特征对应的预设APK特征向量的分布来确定每一APK特征对应的相似度上限值、相似度上限值可以提高每一APK特征对应的相似度上限值、相似度上限值的准确度，从而进一步提高判断待标识APK与APKi相似性的准确度。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (8)

1.一种用于生成APK主键的数据处理系统，其特征在于，

包括第一数据库、存储于计算机程序的存储器和处理器，所述第一数据库用于存储APK特征向量记录，所述APK特征向量记录包括APK主键、APK包名和预设APK特征向量字段，当所述处理器执行所述计算机程序时，实现以下步骤：

步骤S1、获取待标识APK的APK包名和对应的预设APK特征向量；

步骤S2、检索所述第一数据库，判断是否存在包含所述待标识APK的APK包名的记录，若不存在，则将所述APK包名加上预设第一标识作为所述待标识APK的APK主键，并将所述待标识APK的APK特征向量记录更新至所述第一数据库中，若存在，则执行步骤S3；

步骤S3、获取与所述待标识APK的APK包名相同的APK主键列表{APK1，APK2，…APKn},其中APKi表示第i个与所述待标识APK的APK包名相同的APK主键，i的取值为1到n，将所述待标识APK的预设APK特征向量与APKi的预设APK特征向量对比，判断所述待标识APK与APKi是否相似，若相似，则将所述待标识APK的APK主键确定为APKi，若所述待标识APK的预设APK特征向量与APK1，APK2，…APKn中所有的预设APK特征向量均不相似，则执行步骤S4；

步骤S4、将所述APK包名加上预设第(n+1)标识作为所述待标识APK的APK主键，并将所述待标识APK的APK特征向量记录更新至所述第一数据库中。

2.根据权利要求1所述的系统，其特征在于，

优选的，所述预设APK特征向量包括m个特征向量{第一特征向量、第二特征向量，…第m特征向量}，所述步骤S3中，所述将所述待标识APK的预设APK特征向量与APKi的预设APK特征向量对比，判断所述待标识APK与APKi是否相似，包括：

步骤S30、分别获取所述待标识APK与APKi的每一特征向量的相似状态，所述相似状态包括第一相似状态、第二相似状态和第三相似状态，三者相似度依次减小，若存在至少一个特征向量为第三相似状态或者超过预设g个特征向量为第二相似状态，则判断所述待标识APK与APKi不相似，否则，判断所述待标识APK与APKi相似,其中，m、g均为正整数，且g小于m。

3.根据权利要求2所述的系统，其特征在于，

优选的，所述预设APK特征向量包括域名特征向量、版本特征向量、文件大小特征向量、权限特征向量、签名特征向量、异常行为特征向量、代码目录特征向量、文件目录特征向量中的一种或多种。

4.根据权利要求2所述的系统，其特征在于，

所述步骤S30包括：

步骤S31、将所述待标识APK与APKi的第一特征向量进行相似度对比，若相似度高于预设的第一相似度上限值，则执行步骤S22；若低于预设的第一相似度下限值，则确定所述待标识APK与APKi不相似，并结束待标识APK与APKi的相似度判断流程；若介于所述第一相似度下限值和所述第一相似度上限值之间，则令预设的相似状态值s＝1,然后执行步骤S22；

步骤S32、将所述待标识APK与APKi的第二特征向量进行相似度对比，若相似度高于预设的第二相似度上限值，则执行步骤S33；若低于预设的第二相似度下限值，则确定所述待标识APK与APKi不相似，并结束待标识APK与APKi的相似度判断流程；若介于所述第二相似度下限值和所述第二相似度上限值之间，则令预设的相似状态值s＝s+1,并判断s是否超过g，若超过，则确定所述待标识APK与APKi不相似，并结束待标识APK与APKi的相似度判断流程,否则，执行步骤S33；

…

步骤S3(n-1)、将所述待标识APK与APKi的第(n-1)特征向量进行相似度对比，若相似度高于预设的第(n-1)相似度上限值，则执行步骤S33；若低于预设的第(n-1)相似度下限值，则确定所述待标识APK与APKi不相似，并结束待标识APK与APKi的相似度判断流程；若介于所述第(n-1)相似度下限值和所述第(n-1)相似度上限值之间，则令预设的相似状态值s＝s+1,并判断s是否超过g，若超过，则确定所述待标识APK与APKi不相似，并结束待标识APK与APKi的相似度判断流程,否则，执行步骤S3n；

步骤S3n、将所述待标识APK与APKi的第n特征向量进行相似度对比，若相似度高于预设的第n相似度上限值，则确定所述待标识APK与APKi相似；若低于预设的第n相似度下限值，则确定所述待标识APK与APKi不相似，并结束待标识APK与APKi的相似度判断流程；若介于所述第n相似度下限值和所述第n相似度上限值之间，则令预设的相似状态值s＝s+1,并判断s是否超过g，若超过，则确定所述待标识APK与APKi不相似，并结束待标识APK与APKi的相似度判断流程,否则，确定所述待标识APK与APKi相似。

5.根据权利要求4所述的系统，其特征在于，

n取值为5,所述第一特征向量为域名特征向量，第二特征向量为版本特征向量，第三特征向量为文件大小特征向量，第四特征向量为权限特征向量，第五特征向量为签名特征向量。

6.根据权利要求1所述的系统，其特征在于，

所述系统还包括第二数据库，用于存储APK特征记录，所述APK特征记录包括APK包名和APK特征，所述步骤S1包括：

步骤S10、基于所述第二数据库中的每一特征分布确定每一特征与对应特征向量转换映射关系；

步骤S20、基于所述特征向量转换映射关系，获取每一APK特征记录中的每一APK特征对应的预设APK特征向量。

7.根据权利要求6所述的系统，其特征在于，

所述步骤S10包括：

步骤S101、基于所述第二数据库中第j特征的分布，确定第j特征等级映射表，所述第j特征等级映射表中包括b个等级；

步骤S102、为第j特征构建b维向量，统计APK对应的第j特征在每一等级的信息数量，在对应的维度设置对应的数量值，生成第j特征对应的特征向量。

8.根据权利要求6所述的系统，其特征在于，

所述步骤S20之后还包括：

步骤S30、基于所述第二数据库中每一APK特征对应的预设APK特征向量的分布，确定每一APK特征对应的相似度上限值、相似度上限值。