CN109858249B - 移动恶意软件大数据的快速智能比对和安全检测方法 - Google Patents

Abstract

本发明公开了一种移动恶意软件大数据的快速智能比对和安全检测方法。随着移动软件应用发展势头迅猛，很多流行的移动应用被复制或重新包装。攻击者可能通过重包装应用程序以达到插入广告盈利或者传播恶意软件。海量的移动软件代码形成大数据，相似性的比较计算体量非常庞大。本发明使用压缩字符串、描述熵与哈希值方法结合提出快速智能比对检测算法，计算得到移动应用软件之间的相似度，若它们的相似度大于或等于预定的阈值，则认为检测程序有重包装或剽窃的嫌疑，进而分析检测的移动软件是否存在恶意攻击代码，最后实现移动软件大数据的快速安全检测。

Description

移动恶意软件大数据的快速智能比对和安全检测方法

技术领域

本发明涉及移动安全技术领域，具体涉及一种移动恶意软件大数据的快速智能比对和安全检测方法。

背景技术

随着移动应用领域的迅速发展，移动应用的数量已经超过500万款，下载的次数超过300亿。海量的移动软件发展势头迅猛，越来越多的流行的移动应用被复制或重新包装。攻击者通过重包装应用程序以达到插入广告盈利或者传播恶意软件。这对应用程序的生态系统造成很大程度的损害。

现有基于代码比较的方法，使用海量的字符串距离计算来计算移动软件大数据安全检测速度很慢。海量的移动软件代码形成大数据，相似性的比较计算体量非常庞大。基于距离计算的方法不算高效。

因此，亟待需要设计了一种大数据的软件安全检测方法用来更快地检测重打包或剽窃的移动恶意应用软件，维护大数据移动应用程序的生态系统。

发明内容

本发明的目的是为了解决现有技术中一些根据代码功能重新包装或克隆的程序在使用通过模糊哈希提取应用程序指纹或者使用特征哈希进行代码相似性分析的算法进行检测时,错误率非常高的技术缺陷，提供一种移动恶意软件大数据的快速智能比对和安全检测方法。

本发明的目的可以通过采取如下技术方案达到：

一种移动恶意软件大数据的快速智能比对和安全检测方法，所述的方法包括以下步骤：

S1、对要进行检测的移动软件和原生移动软件进行压缩，将待检测移动软件和原生移动软件中的N个函数分别压缩成哈希值、描述熵、压缩字符串后存储在对应的格式文件中；

S2、计算所述的对应的格式文件中相同函数个数，然后基于Hdsim方法或者entropy_descpt_sim方法求出相似函数个数，然后计算相似度得到相似度值；

S3、将到相似度与预定的比较阈值a进行比较，如果相似度值大于或等于预定的比较阈值a，则判定检测程序有重包装的嫌疑；若小于预定的比较阈值a，则判断没有重包装的嫌疑。

进一步地，所述的步骤S1过程如下：

S11、从海量的移动应用软件中任意选择原生移动软件和待检测移动软件作为输入；

S12、将移动软件解压缩为op-code；

S13、将op-code转换成DALVIK虚拟机格式；

S14、针对原生移动软件和待检测移动软件中的每个函数，分别通过sha256压缩函数生成哈希值、通过SnaPy压缩函数生成压缩字符串，并计算描述熵；

S15、用txt文件记录哈希值、描述熵与压缩字符串，并分别输出生移动软件和待检测移动软件对应的txt文件。

进一步地，所述的txt文件包括N行，分别对应移动软件包含的N个函数，每行有三列，其中，第一列对应哈希值，第二列对应描述熵的熵值，第三列对应压缩字符串。

进一步地，所述的描述熵计算过程如下：

给定基于不同子序列计数的复杂性度量，然后对于N个不同的子序列，用P₁+…P_N＝1的直方图向量Histogram(S)＝{P₁，…，P_N}表示，其中，P_N表示第N个子序列的复杂性度量，因此，将描述熵通过以上直方图向量进行计算，并且该描述熵称为序列的描述熵，计算公式如下：

其中Hd()表示计算描述熵的函数，括号内的变量表示函数计算所需变量。

进一步地，所述的步骤S2过程如下：

S21、原生移动软件和待检测移动软件对应的txt文件分别整理成字典，该字典以哈希值作为键key，对应的描述熵与压缩字符串组成的字符串作为value；

S22、计算相同函数个数，通过哈希值过滤相同函数，将待检测移动软件中的哈希值与原生移动软件中的哈希值分别做成一个集合，再求出交集，交集即为相同的哈希值，交集的长度即为相同函数的个数；

S23、计算相似函数个数，将原生移动软件与待检测移动软件的字典去掉相同的函数再重新整理成一个字典，然后根据描述熵的熵值与压缩字符串，基于Hdsim方法或者entropy_descpt_sim方法求出相似函数；

S24、进行相似度的计算，将相同函数个数与相似函数个数相加做为分子；将相同函数个数、相似函数个数、两个移动软件特有的函数个数的和作为分母，进行相似度计算，其中，两个移动软件特有的函数为待检测移动软件有但原生移动软件没有、原生移动软件有但待检测移动软件没有的函数的和，相似度计算公式如下：

其中，same_elem为相同函数个数，similar_elem为相似函数个数，special_elem_1为原生移动软件中特有的函数个数，其值等于原生移动软件函数总个数-相同函数个数-相似函数个数，special_elem_2为待检测移动软件中特有的函数个数，其值等于待检测移动软件函数总个数-相同函数个数-相似函数个数；

S25、返回相似度值。

进一步地，所述的Hdsim方法具体如下：

对两个函数的描述熵和压缩字符串长度进行比较，当两个函数的描述熵与压缩字符串长度相同时，判定两个函数相似，否则，判定两个函数不相似。

进一步地，所述的entropy_descpt_sim方法具体如下：

使用描述熵距离计算公式计算函数的描述熵距离，当描述熵距离小于预定的比较阈值b时，则判定两个函数相似，否则，判定两个函数不相似，其中，所述的描述熵距离的计算公式如下：

其中，HdD()表示描述熵距离计算函数，括号内变量为函数计算所需要的变量，avg()是对括号内的数进行求平均值运算，min()是取括号内的数的最小值，max()是取括号内的数的最大值，Hd1、Hd2分别是待进行比较的两个函数的描述熵，StrLen1、StrLen2分别是待进行比较的两个函数的压缩字符串的长度。

本发明相对于现有技术具有如下的优点及效果：

为了能准确地检测出根据代码功能重新包装或克隆重包装的安卓程序，保护程序开发人员的产权和利益，维护移动软件的生态系统。本发明基于描述熵对比的移动恶意软件大数据快速安全检测。这些程序在功能上相同但代码不同，因此采用海量的字符串距离来检测的话错误率会很高。但只要重新包装的应用程序保留了原始应用程序的关键功能,采用基于描述熵对比的移动恶意软件大数据快速安全检测的方法，它们的相似性就会很高。本发明采用压缩字符串、描述熵与哈希值结合的方法计算相似度，能更快速有效地检测重新包装的和含有恶意攻击代码移动软件。

附图说明

图1是本发明公开的移动恶意软件大数据的快速智能比对和安全检测方法的流程步骤图；

图2是本发明实施例中对待检测移动软件和原生移动软件进行压缩的流程步骤图；

图3是本发明实施例中求解相似度值的流程步骤图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

本实施例公开了一种移动恶意软件大数据的快速智能比对和安全检测方法，通过结合压缩字符串、描述熵和函数哈希值提出Hdsim算法和entropy_descpt_sim算法，计算得到移动软件的相似度，从而判断该移动软件是否为重包装程序，是否含有恶意攻击代码；

函数哈希值是函数的唯一标识符，两个函数的哈希值相等代表着两个函数的功能相同，也就是两个函数是相同的；

描述熵描述了一个字符串的语义结构和子序列在整个序列中的无序程度的浮点数，它还定义了序列的组合和分布的抽象状态；

压缩字符串是函数内表达式的压缩，一个语句对应一个字符；

判断该移动软件是否为重新包装的程序是在经过计算得到相似度值后用相似度与预定的阈值进行比较，当相似度大于或等于预定的阈值时，则认为检测移动软件有重包装或剽窃的嫌疑。

该方法的流程步骤如图1所示，包括以下步骤：

S1、对要进行检测的移动软件和原生移动软件进行压缩，把其压缩成对应的格式文件(本实施例中对应的格式文件采用txt文件，但是本发明技术方案不限于该格式的存储文件)，返回的txt文件有N行(N的值与程序源码的函数数量正相关，源码有N个函数，则txt文件有N行)，每行有三列，第一列为哈希值，第二列为描述熵的熵值，第三列为压缩字符串。具体步骤可参考图2，过程如下：

S11、海量的移动应用软件任意选择作为输入，一个是原生移动软件、另外一个待检测移动软件；

S12、首先将APK文件(移动软件的文件格式一般为APK)解压缩为op-code；

S13、将op-code转换成DALVIK虚拟机格式(DVMFLASH)；

S14、针对APK中的每个函数，计算哈希值、描述熵与压缩字符串等基本措施。通过sha256压缩函数生成哈希值。用一个名为SnaPy的压缩函数生成压缩字符串，并通过算法计算描述熵。

sha256压缩函数是哈希算法，主要适用于数字签名标准里面定义的数字签名算法。

压缩函数SnaPy是一个用来压缩和解压缩的开发包。

计算描述熵过程如下：给定基于不同子序列计数的复杂性度量，然后对于N个不同的子序列，用P₁+…P_N＝1的直方图向量Histogram(S)＝{P₁，…，P_N}表示，其中，P_N表示第N个子序列的复杂性度量。因此，描述熵可以被计算为这种直方图向量，并且该熵被提出为序列的“描述熵”(下简称Hd)，计算公式如下：

其中Hd()表示计算描述熵的函数，括号内的变量表示函数计算所需变量。

S15、用txt文件记录哈希值、描述熵与压缩字符串并输出该txt文件。

S2、对要进行检测的移动软件和原生移动软件进行相似度计算，具体可参考附图3，将步骤S1中得到的两个txt文件(原生移动软件一个，待检测移动软件一个)传递给Hdsim算法，用于做相似度的计算，具体如下：

S21、为了方便运算，把txt文件的内容整理成字典(以哈希值作为键key，对应的描述熵与压缩字符串组成的字符串作为value)，原生移动软件与待检测移动软件的txt文件都分别整理成一个字典。

S22、计算相同函数个数。通过哈希值过滤相同函数(该函数表示移动软件程序源码的函数，一个哈希值对应一个函数，也就对应一个函数，哈希值相同，则两个函数相同)。将待检测移动软件中的哈希值(即字典中的键key)与原生移动软件中的哈希值分别做成一个集合，再求出交集，交集即为相同的哈希值，交集的长度即为相同函数的个数。

S23、计算相似函数个数。将原生移动软件与待检测移动软件的字典去掉相同的函数再整理成一个字典。然后根据描述熵的熵值与压缩字符串求出相似函数(即字典中的value值)。

求相似函数包括以下两种方法，第一种是直接对描述熵和压缩字符串长度进行比较，当两个函数的描述熵与压缩字符串长度相同时，两个函数相似，将用这种求相似函数进行计算的检测恶意软件的方法简称为Hdsim。

另一种为通过描述熵距离来筛选相似函数，使用描述熵距离计算公式计算函数的描述熵距离，当描述熵距离小于预定的比较阈值b(b＝0.01)时，则判定两个函数相似，将用这种求相似函数进行计算的检测恶意软件的方法简称为entropy_descpt_sim。描述熵距离的计算公式如下：

其中各变量及计算方法如下：

HdD()表示熵距离计算函数，括号内变量为函数计算所需要的变量，

avg()：对括号内的数进行求平均值运算，

min()：取括号内的数的最小值，

max()：取括号内的数的最大值，

Hd1、Hd2：待进行比较的两个函数的描述熵，

StrLen1、StrLen2：待进行比较的两个函数的压缩字符串的长度；

S24、进行相似度的计算。将相同函数个数与相似函数个数相加做为分子；将相同函数个数、相似函数个数、两个移动软件特有的函数个数(即待检测移动软件有但原生移动软件没有、原生移动软件有但待检测移动软件没有的函数的和，移动软件的函数总数即为对应的txt文件的总行数)的和作为分母。

相似度计算公式如下：

其中各变量及计算方法如下：

same_elem:相同函数个数，

similar_elem:相似函数个数，

special_elem_1:原生移动软件中特有的函数个数，其值等于原生移动软件函数总个数-相同函数个数-相似函数个数，

special_elem_2:待检测移动软件中特有的函数个数，其值等于待检测移动软件函数总个数-相同函数个数-相似函数个数，

其中，原生移动软件为：在检测的大数据移动应用软件中，发行时间较早、已确认没有重包装或剽窃嫌疑的原生移动应用软件，

其中，待检测移动软件为：在检测的大数据移动应用软件中，发行时间较晚或者将要发行的、有重包装或剽窃嫌疑的移动应用软件。

S25、返回相似度值。

S3、得到相似度值后，将其与预定的比较阈值a进行比较，如果相似度值大于或等于预定的比较阈值a，则判定检测程序有重包装的嫌疑；若小于预定的比较阈值a，则判断没有重包装的嫌疑。

综上所述，本实施例公开的一种移动恶意软件大数据的快速智能比对和安全检测方法，通过步骤S1对APP的APK文件进行压缩可以在静态(不运行APP)的情况下进行APP的相似度对比，降低了相似度计算的成本；在步骤S2中采用描述熵进行相似度计算，大大提升了计算速度；在步骤S3中所取的阈值a是经过大量有重包装APP与原APP相似度计算后得到的阈值，可靠性高，误判的可能性的可能性极小(误判值得是将没有重包装的APP判断为重包装的APP或将有重包装的APP判断为没有重包装的APP)。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种移动恶意软件大数据的快速智能比对和安全检测方法，其特征在于，所述的方法包括以下步骤：

S1、对要进行检测的移动软件和原生移动软件进行压缩，将待检测移动软件和原生移动软件中的N个函数分别压缩成哈希值、描述熵、压缩字符串后存储在对应的格式文件中；其中，

所述的描述熵计算过程如下：

给定基于不同子序列计数的复杂性度量，然后对于N个不同的子序列，用P₁+…P_N＝1的直方图向量Histogram(S)＝{P₁，…，P_N}表示，其中，P_N表示第N个子序列的复杂性度量，因此，将描述熵通过以上直方图向量进行计算，并且该描述熵称为序列的描述熵，计算公式如下：

其中Hd()表示计算描述熵的函数，括号内的变量表示函数计算所需变量；

S2、计算所述的对应的格式文件中相同函数个数，然后基于Hdsim方法或者entropy_descpt_sim方法求出相似函数个数，然后计算相似度得到相似度值；其中，

所述的Hdsim方法具体如下：

对两个函数的描述熵和压缩字符串长度进行比较，当两个函数的描述熵与压缩字符串长度相同时，判定两个函数相似，否则，判定两个函数不相似；

所述的entropy_descpt_sim方法具体如下：

使用描述熵距离计算公式计算函数的描述熵距离，当描述熵距离小于预定的比较阈值b时，则判定两个函数相似，否则，判定两个函数不相似，其中，所述的描述熵距离的计算公式如下：

其中，HdD()表示描述熵距离计算函数，括号内变量为函数计算所需要的变量，avg()是对括号内的数进行求平均值运算，min()是取括号内的数的最小值，max()是取括号内的数的最大值，Hd1、Hd2分别是待进行比较的两个函数的描述熵，StrLen1、StrLen2分别是待进行比较的两个函数的压缩字符串的长度；

S3、将到相似度与预定的比较阈值a进行比较，如果相似度值大于或等于预定的比较阈值a，则判定检测程序有重包装的嫌疑；若小于预定的比较阈值a，则判断没有重包装的嫌疑。

2.根据权利要求1所述的移动恶意软件大数据的快速智能比对和安全检测方法，其特征在于，所述的步骤S1过程如下：

S11、从海量的移动应用软件中任意选择原生移动软件和待检测移动软件作为输入；

S12、将移动软件解压缩为op-code；

S13、将op-code转换成DALVIK虚拟机格式；

S14、针对原生移动软件和待检测移动软件中的每个函数，分别通过sha256压缩函数生成哈希值、通过SnaPy压缩函数生成压缩字符串，并计算描述熵；

S15、用txt文件记录哈希值、描述熵与压缩字符串，并分别输出原生移动软件和待检测移动软件对应的txt文件。

3.根据权利要求2所述的移动恶意软件大数据的快速智能比对和安全检测方法，其特征在于，所述的txt文件包括N行，分别对应移动软件包含的N个函数，每行有三列，其中，第一列对应哈希值，第二列对应描述熵的熵值，第三列对应压缩字符串。

4.根据权利要求1所述的移动恶意软件大数据的快速智能比对和安全检测方法，其特征在于，所述的步骤S2过程如下：

S21、原生移动软件和待检测移动软件对应的txt文件分别整理成字典，该字典以哈希值作为键key，对应的描述熵与压缩字符串组成的字符串作为value；

S22、计算相同函数个数，通过哈希值过滤相同函数，将待检测移动软件中的哈希值与原生移动软件中的哈希值分别做成一个集合，再求出交集，交集即为相同的哈希值，交集的长度即为相同函数的个数；

S23、计算相似函数个数，将原生移动软件与待检测移动软件的字典去掉相同的函数再重新整理成一个字典，然后根据描述熵的熵值与压缩字符串，基于Hdsim方法或者entropy_descpt_sim方法求出相似函数；

S24、进行相似度的计算，将相同函数个数与相似函数个数相加做为分子；将相同函数个数、相似函数个数、两个移动软件特有的函数个数的和作为分母，进行相似度计算，其中，两个移动软件特有的函数为待检测移动软件有但原生移动软件没有、原生移动软件有但待检测移动软件没有的函数的和，相似度计算公式如下：

其中，same_elem为相同函数个数，similar_elem为相似函数个数，special_elem_1为原生移动软件中特有的函数个数，其值等于原生移动软件函数总个数-相同函数个数-相似函数个数，special_elem_2为待检测移动软件中特有的函数个数，其值等于待检测移动软件函数总个数-相同函数个数-相似函数个数；

S25、返回相似度值。

Images