CN110210224B - 一种基于描述熵的大数据移动软件相似性智能检测方法 - Google Patents

Abstract

本发明公开了一种基于描述熵的大数据移动软件相似性智能检测方法，包括以下步骤：获取移动软件路径，按照路径读取移动软件的文件；对移动软件的文件进行初步逆向工程反编译，获取每个移动软件的函数特征；通过函数特征中的描述熵，统计每个移动软件描述熵的分布；将每个移动软件描述熵进一步整合，通过整合后，移动软件之间的描述熵分布情况进行比较，进行相似性分数计算，得到移动软件之间的相似性分数；输出所有移动软件的相似性分数，得到移动软件相似性结果；本发明通过反编译获取移动软件源代码，获取函数压缩编码再获取描述熵，利用描述熵作为表示一个对象的信息量，用于移动软件的相似性检测，大大提高软件相似性智能计算速度。

Description

一种基于描述熵的大数据移动软件相似性智能检测方法

技术领域

本发明涉及软件相似性检测的研究领域，特别涉及一种基于描述熵的大数据移动软件相似性智能检测方法。

背景技术

随着互联网与智能手机的迅猛发展，移动互联网软件快速普及，尤其以移动为操作系统的应用软件尤为突出，每年发行的移动互联网软件数量庞大。然而移动互联网软件由于其开源性和流行性，安全问题也日益凸显，各个移动应用安全平台每天截获的恶意软件数以万计。恶意移动互联网软件会令手机中毒，账号信息被窃取，甚至恶意扣费、越权获取用户隐私等。面对严峻的移动应用安全事件，和海量的恶意软件，研究如何提高恶意软件检测效率成为一个值得探究的问题。

目前多数恶意攻击者利用流行的移动应用软件，通过修改一部分源代码，注入恶意代码，添加混淆，再重新将APP发行出去，导致很多用户会基于对原生应用的信赖与支持，误下载安装了盗版的APP。对APP进行相似性检测是移动应用安全工程的一个突破口。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于描述熵分布的移动软件相似性检测方法。

本发明的目的通过以下的技术方案实现：

一种基于描述熵的大数据移动软件相似性智能检测方法，其特征在于，包括以下步骤：

S1、获取移动软件路径，按照路径读取移动软件；

S2、对每个移动软件进行初步逆向工程反编译，获取每个移动软件的函数特征；

S3、通过函数特征中的描述熵，统计每个移动软件描述熵的分布；

S4、将每个移动软件描述熵进一步整合，通过整合后的移动软件描述熵分布情况，将移动软件两两之间的描述熵分布情况进行比较，计算相似性分数，得到两两移动软件之间的相似性分数；

S5、输出所有移动软件的相似性分数，得到移动软件相似性结果。

进一步地，所述函数特征包括：哈希值、移动软件函数压缩编码、描述熵。

进一步地，步骤S2中，所述初步逆向工程反编译具体为：使用反编译工具获取移动软件源代码，通过源代码获取移动软件函数压缩编码，根据移动软件函数压缩编码计算出一个浮点数，表示该函数或类的信息量，即描述熵，计算如下：

其中，设函数压缩编码共有n个子串，substr_i为函数压缩编码的第i个子串，p(substr_i)为第i个子串的出现概率；

将移动软件的移动软件函数压缩编码、描述熵、哈希值存放在对应的文本文档中。

进一步地，所述函数或类，一个函数或类对应一个函数压缩编码、一个描述熵、一个哈希值；一个移动软件对应一组函数压缩编码、一组描述熵、一组对应函数的哈希值。

进一步地，所述反编译工具为Androguard。

进一步地，所述步骤S3具体为：从步骤S2中的移动软件对应的文本文档中提取描述熵集合，

Hd＝{hd₁,hd₂,hd₃,…,hd_n}；

其描述熵对应个数的集合：

N＝{n₁,n₂,n₃,…,n_n}；

其中，hd₁至hd_n为移动软件的第1个至第n个互不相等的描述熵值；n₁至n_n为对应第1个至第n个互不相等描述熵值对应个数。

进一步地，所述步骤S4具体为：获取所有的移动软件描述熵集合，然后对所有的移动软件描述熵进行两两整合，获取两两移动软件描述熵的并集；

移动软件A和移动软件B的描述熵集合如下：

Hd_A＝{hd_A1,hd_A2,hd_A3,…,hd_Am}；

Hd_B＝{hd_B1,hd_B2,hd_B3,…,hd_Bn}；

其中，Hd_A为移动软件A的描述熵集合，Hd_B为移动软件B的描述熵集合；m为移动软件A描述熵值个数，n为移动软件B描述熵值个数；

移动软件A和移动软件B的描述熵值个数集合如下：

N_A＝{n_A1,n_A2,n_A3,…,n_Am}；

N_B＝{n_B1,n_B2,n_B3,…,n_Bn}；

其中，N_A为移动软件A的Hd_A中对应描述熵值个数集合，N_B为移动软件B的Hd_B中对应描述熵值个数集合；

两两移动软件描述熵的并集如下：

Hd_A∪B＝Hd_A∪Hd_B；

Y_A＝(y_Ai|i＝1,2,…,m+x)；

x＝|Hd_A∪B-Hd_A|；

Y_B＝(y_Bi|i＝1,2,…,n+y)；

y＝|Hd_A∪B-Hd_B|；

其中，Hd_A∪B为移动软件A和移动软件B描述熵的并集，Y_A为移动软件A在并集Hd_A∪B上对应描述熵值个数的集合，当Y_B为移动软件B在并集Hd_A∪B上对应描述熵值个数的集合；x为并集Hd_A∪B与Hd_A差集元素的个数，y为并集Hd_A∪B与Hd_B差集元素的个数；m+x和n+y都是对应集合Hd_A∪B上的元素个数；

进行相似性分数计算：

以集合Hd_A∪B和集合Y_A作为一组离散点D_A，以集合Hd_A∪B和集合Y_B作为另一组离散点D_B，则有：

D_A＝{(x_i,y_i)|x_i∈Hd_A∪B,y_i∈Y_A}；

D_B＝{(x_i,y_i)|x_i∈Hd_A∪B,y_i∈Y_B}；

求出离散点D_A在直角坐标系上与X轴围城区域S_A；求出离散点D_B在直角坐标系上与X轴围城区域S_B；再求出S_A和S_B的交集面积S_A∩B，再求出S_A和S_B的并集面积S_A∪B，最后求出相似性分数：

设集合上的元素个数为N个，则有：

其中，

其中，

其中，

其中，(x_i,y_Ai)∈D_A，(x_i,y_Bi)∈D_B，(x_mid,y_mid)为点(x_i,y_Ai)和点(x_i+1,y_Ai+1)所成直线与点(x_i,y_Bi)和点(x_i+1,y_Bi+1)所成直线的交点坐标；

最后得到相似性分数：

Similarity score＝S_A∩B/S_A∪B*100。

进一步地，所述m+x＝n+y。

进一步地，所述步骤S5具体为：输出所有移动软件的相似性分数，根据相似性分数，判断移动软件之间的相似性程度，得到移动软件相似性结果。

本发明与现有技术相比，具有如下优点和有益效果：

本发明通过反编译获取移动软件源代码，再通过读取各个函数或类的源代码，得到对应的移动软件函数压缩编码，该函数压缩编码是由对应的函数或类的语句，根据控制流图压缩而成的一个字符串；而描述熵就是根据该函数压缩编码智能计算出来的一个浮点数；一个函数或类对应一个函数压缩编码和描述熵；所以一个移动软件对应一组函数压缩编码和一组描述熵，其个数取决于函数或类的总个数；利用描述熵作为表示一个对象的信息量，用于移动软件的相似性检测，大大提高软件相似性智能计算速度。

附图说明

图1是本发明所述一种基于描述熵的大数据移动软件相似性智能检测方法的方法流程图；

图2是本发明所述实施例中一对移动软件描述熵分布情况实际统计图；

图3是本发明所述实施例中一对移动软件基于描述熵分布的相似性计算区域示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例：

一种基于描述熵的大数据移动软件相似性智能检测方法，如图1所示，包括以下步骤：

第一步、获取移动软件路径，按照路径读取移动软件；

第二步、对每个移动软件进行初步逆向工程反编译，获取每个移动软件的函数特征；

所述初步逆向工程反编译具体为：使用反编译工具Androguard获取移动软件源代码，通过源代码获取移动软件函数压缩编码，根据移动软件函数压缩编码计算出一个浮点数，表示该函数或类的信息量，即描述熵；将移动软件的移动软件函数压缩编码、描述熵、哈希值存放在对应的文本文档中；描述熵计算如下：

其中，设函数压缩编码共有n个子串，substr_i为函数压缩编码的第i个子串，p(substr_i)为第i个子串的出现概率。

进一步地，所述函数或类，一个函数或类对应一个移动软件函数压缩编码、一个描述熵、一个哈希值；一个移动软件对应一组移动软件函数压缩编码、一组描述熵、一组对应函数的哈希值。

第三步、通过函数特征中的描述熵，统计每个移动软件描述熵的分布；

从第二步中的移动软件对应的文本文档中提取描述熵集合，

Hd＝{hd₁,hd₂,hd₃,…,hd_n}；

其描述熵对应个数的集合：

N＝{n₁,n₂,n₃,…,n_n}；

其中，hd₁至hd_n为移动软件的第1个至第n个互不相等的描述熵值；n₁至n_n为对应第1个至第n个互不相等描述熵值对应个数。

第四步、将每个移动软件描述熵进一步整合，通过整合后的移动软件描述熵分布情况，将移动软件两两之间的描述熵分布情况进行比较，进行相似性分数计算，得到两两移动软件之间的相似性分数；

具体为：获取所有的移动软件描述熵集合，然后对所有的移动软件描述熵进行两两整合，获取两两移动软件描述熵的并集；

这里选取移动软件A和移动软件B进行对比：

移动软件A和移动软件B的描述熵集合如下：

Hd_A＝{hd_A1,hd_A2,hd_A3,…,hd_Am}；

Hd_B＝{hd_B1,hd_B2,hd_B3,…,hd_Bn}；

其中，Hd_A为移动软件A的描述熵集合，Ah₁至Ah_m为第1个至第m个互不相等的描述熵；Hd_B为移动软件B的描述熵集合，Bh₁至Bh_n为第1个至第n个互不相等的描述熵；m为移动软件A描述熵值个数，n为移动软件B描述熵值个数；

移动软件A和移动软件B的描述熵值个数集合如下：

N_A＝{n_A1,n_A2,n_A3,…,n_Am}；

N_B＝{n_B1,n_B2,n_B3,…,n_Bn}；

其中，N_A为移动软件A的Hd_A中对应描述熵值个数集合，An₁至An_m为第1个至第m个描述熵的个数；N_B为移动软件B的Hd_B中对应描述熵值个数集合，Bn₁至Bn_n为第1个至第n个描述熵的个数；

整合移动软件A和移动软件B的描述熵分布情况：

Hd_A∪B＝Hd_A∪Hd_B；

Y_A＝(y_Ai|i＝1,2,…,m+x)；

x＝|Hd_A∪B-Hd_A|；

Y_B＝(y_Bi|i＝1,2,…,n+y)；

y＝|Hd_A∪B-Hd_B|；

其中，Hd_A∪B为移动软件A和移动软件B描述熵的并集，Y_A为移动软件A在并集Hd_A∪B上对应描述熵值个数的集合，当Y_B为移动软件B在并集Hd_A∪B上对应描述熵值个数的集合；x为并集Hd_A∪B与Hd_A差集元素的个数，y为并集Hd_A∪B与Hd_B差集元素的个数；m+x和n+y都是对应集合Hd_A∪B上的元素个数；图2是一对移动软件描述熵分布情况实际统计图；横坐标是描述熵值，纵坐标是描述熵值个数。

进行相似性分数计算：

以集合Hd_A∪B和集合Y_A作为一组离散点D_A，以集合Hd_A∪B和集合Y_B作为另一组离散点D_B，则有：

D_A＝{(x_i,y_i)|x_i∈Hd_A∪B,y_i∈Y_A}；

D_B＝{(x_i,y_i)|x_i∈Hd_A∪B,y_i∈Y_B}；

求出离散点D_A在直角坐标系上与X轴围城区域S_A；求出离散点D_B在直角坐标系上与X轴围城区域S_B；再求出S_A和S_B的交集面积S_A∩B，再求出S_A和S_B的并集面积S_A∪B，最后求出相似性分数：图3是一对移动软件基于描述熵分布的相似性计算区域示意图，横坐标是描述熵值，纵坐标是描述熵值个数。

设集合上的元素个数为N个，则有：

其中，

其中，

其中，

其中，(x_i,y_Ai)∈D_A，(x_i,y_Bi)∈D_B，(x_mid,y_mid)为点(x_i,y_Ai)和点(x_i+1,y_Ai+1)所成直线与点(x_i,y_Bi)和点(x_i+1,y_Bi+1)所成直线的交点坐标；

最后得到相似性分数：

Similarity score＝S_A∩B/S_A∪B*100。

第五步、输出所有移动软件的相似性分数，得到移动软件相似性结果，同时输出所有移动软件两两对比相似性分数，计算时间，并记录在一个文本文档中。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种基于描述熵的大数据移动软件相似性智能检测方法，其特征在于，包括以下步骤：

S1、获取移动软件路径，按照路径读取移动软件；

S2、对每个移动软件进行初步逆向工程反编译，获取每个移动软件的函数特征；

S3、通过函数特征中的描述熵，统计每个移动软件描述熵的分布；

S4、将每个移动软件描述熵进一步整合，通过整合后的移动软件描述熵分布情况，将移动软件两两之间的描述熵分布情况进行比较，计算相似性分数，得到两两移动软件之间的相似性分数；

所述步骤S4具体为：获取所有的移动软件描述熵集合，然后对所有的移动软件描述熵进行两两整合，获取两两移动软件描述熵的并集；

移动软件A和移动软件B的描述熵集合如下：

Hd_A＝{hd_A1,hd_A2,hd_A3,…,hd_Am}；

Hd_B＝{hd_B1,hd_B2,hd_B3,…,hd_Bn}；

其中，Hd_A为移动软件A的描述熵集合，Hd_B为移动软件B的描述熵集合；m为移动软件A描述熵值个数，n为移动软件B描述熵值个数；

移动软件A和移动软件B的描述熵值个数集合如下：

N_A＝{n_A1,n_A2,n_A3,…,n_Am}；

N_B＝{n_B1,n_B2,n_B3,…,n_Bn}；

其中，N_A为移动软件A的Hd_A中对应描述熵值个数集合，N_B为移动软件B的Hd_B中对应描述熵值个数集合；

两两移动软件描述熵的并集如下：

Hd_A∪B＝Hd_A∪Hd_B；

Y_A＝(y_Ai|i＝1,2,…,m+x)；

x＝|Hd_A∪B-Hd_A|；

Y_B＝(y_Bi|i＝1,2,…,n+y)；

y＝|Hd_A∪B-Hd_B|；

其中，Hd_A∪B为移动软件A和移动软件B描述熵的并集，Y_A为移动软件A在并集Hd_A∪B上对应描述熵值个数的集合，当Y_B为移动软件B在并集Hd_A∪B上对应描述熵值个数的集合；x为并集Hd_A∪B与Hd_A差集元素的个数，y为并集Hd_A∪B与Hd_B差集元素的个数；m+x和n+y都是对应集合Hd_A∪B上的元素个数；

进行相似性分数计算：

以集合Hd_A∪B和集合Y_A作为一组离散点D_A，以集合Hd_A∪B和集合Y_B作为另一组离散点D_B，则有：

D_A＝{(x_i,y_i)|x_i∈Hd_A∪B,y_i∈Y_A}；

D_B＝{(x_i,y_i)|x_i∈Hd_A∪B,y_i∈Y_B}；

求出离散点D_A在直角坐标系上与X轴围城区域S_A；求出离散点D_B在直角坐标系上与X轴围城区域S_B；再求出S_A和S_B的交集面积S_A∩B，再求出S_A和S_B的并集面积S_A∪B，最后求出相似性分数：

设集合上的元素个数为N个，则有：

其中，

其中，

其中，

其中，(x_i,y_Ai)∈D_A，(x_i,y_Bi)∈D_B，(x_mid,y_mid)为点(x_i,y_Ai)和点(x_i+1,y_Ai+1)所成直线与点(x_i,y_Bi)和点(x_i+1,y_Bi+1)所成直线的交点坐标；

最后得到相似性分数：

Similarity score＝S_A∩B/S_A∪B*100；

S5、输出所有移动软件的相似性分数，得到移动软件相似性结果。

2.根据权利要求1所述的一种基于描述熵的大数据移动软件相似性智能检测方法，其特征在于，所述函数特征包括：哈希值、函数压缩编码、描述熵。

3.根据权利要求1所述的一种基于描述熵的大数据移动软件相似性智能检测方法，其特征在于，步骤S2中，所述初步逆向工程反编译具体为：使用反编译工具获取移动软件源代码，通过源代码获取移动软件的函数压缩编码，根据移动软件的函数压缩编码计算出一个浮点数，表示该函数或类的信息量，即描述熵，计算如下：

其中，设函数压缩编码共有n个子串，substr_i为函数压缩编码的第i个子串，p(substr_i)为第i个子串的出现概率；

将移动软件的函数压缩编码、描述熵、哈希值存放在对应的文本文档中。

4.根据权利要求3所述的一种基于描述熵的大数据移动软件相似性智能检测方法，其特征在于，一个函数或类对应一个函数压缩编码、一个描述熵、一个哈希值；一个移动软件对应一组函数压缩编码、一组描述熵、一组对应函数的哈希值。

5.根据权利要求3所述的一种基于描述熵的大数据移动软件相似性智能检测方法，其特征在于，所述反编译工具为Androguard。

6.根据权利要求1所述的一种基于描述熵的大数据移动软件相似性智能检测方法，其特征在于，所述步骤S3具体为：从步骤S2中的移动软件对应的文本文档中提取描述熵集合，

Hd＝{hd₁,hd₂,hd₃,…,hd_n}；

其描述熵对应个数的集合：

N＝{n₁,n₂,n₃,…,n_n}；

其中，hd₁至hd_n为移动软件的第1个至第n个互不相等的描述熵值；n₁至n_n为对应第1个至第n个互不相等描述熵值对应个数。

7.根据权利要求1所述的一种基于描述熵的大数据移动软件相似性智能检测方法，其特征在于，所述m+x＝n+y。

8.根据权利要求1所述的一种基于描述熵的大数据移动软件相似性智能检测方法，其特征在于，所述步骤S5具体为：输出所有移动软件的相似性分数，根据相似性分数，判断移动软件之间的相似性程度，得到移动软件相似性结果。

Images