CN103336890A - 一种快速计算软件相似度的方法 - Google Patents

Abstract

本发明公开了一种快速计算软件相似度的方法，基于模糊哈希算法，对于待计算的软件的特征数据，首先根据数据的长度进行预判决，然后根据数据的内容，利用一个素数对数据进行分割，并计算分片数据的哈希值，连接起来，生成数据的哈希指纹。最后进行指纹匹配判决并计算指纹相似度，从而得出软件相似结果。在设定的阈值范围里，通过进行数据预判决和指纹匹配判决以保证较高的效率。在指纹相似度计算方法上，优化的编辑距离的计算方法采用三个一维数组代替传统的二维数组，在实际应用中，大大地减少了计算所需的内存占用量，进而提高了相似度的计算速度。

Description

一种快速计算软件相似度的方法

技术领域

本发明涉及一种快速计算软件相似度的方法，属于计算机软件克隆或软件开发维护等技术领域。

背景技术

随着信息技术的飞速发展，出现了越来越多的计算机软件来满足人们的各类需求。但是，很多开发者通过反编译，修改资源文件或代码文件等手段对原软件进行拷贝或克隆，这严重侵害了软件作者的利益。在智能手机领域，越来越多的开发者为了节约开发成本，获取更大的利润，直接对原手机软件进行反编译，植入恶意代码或者插入广告，进行重打包并发布。这不仅侵害了作者的利益，植入恶意代码和插入的广告也对广大用户造成了不良的影响。因此，软件相似性检测显得尤为重要。对于待检测的两个应用软件，可以使用各种反编译工具进行反编译，提取软件特征指令并比较两个特征数据之间的相似性。然而由于提取的特征指令可能很长，如果直接计算长指令序列间的编辑距离或者最长公共子序列等将很难快速计算出相似性。

模糊哈希算法又叫基于内容分割的分片哈希算法（Context TriggeredPiecewise Hashing，CTPH），主要用于数据的相似性比较。通常，模糊哈希算法由以下部分组成：一个弱哈希算法，以及一个触发值，用于分片；一个强哈希算法，用于计算每片的哈希；一个压缩映射算法，将每片的哈希值映射为一个更短的值；一个相似度计算方法，用于计算两个哈希指纹的相似程度。

发明内容

发明目的：针对现有技术中存在的问题与不足，本发明提供一种快速计算软件相似度的方法，基于模糊哈希算法，对于待计算的软件的特征数据，首先根据数据的长度进行预判决，然后根据数据的内容，利用一个素数对数据进行分割，并计算分片数据的哈希值，连接起来，生成数据的哈希指纹。最后进行指纹匹配判决并计算指纹相似度，从而得出软件相似结果。在设定的阈值范围里，通过进行数据预判决和指纹匹配判决以保证较高的效率。在指纹相似度计算方法上，优化的编辑距离的计算方法采用三个一维数组代替传统的二维数组，在实际应用中，大大地减少了计算所需的内存占用量，进而提高了相似度的计算速度。

技术方案：一种快速计算软件相似度的方法，包括如下步骤：

步骤1、对待比较的两个软件进行特征数据的提取，根据特征数据的长度进行预判决，若满足判决成功，进行下一步；否则，返回数据不匹配并结束；

步骤2、根据判决成功的两个软件的特征数据生成一个素数，作为模糊哈希过程中用于分片的触发值，选取素数是为了增加随机性和抵御可能的攻击，然后利用该素数计算特征数据的模糊哈希指纹；

步骤3、对特征数据的模糊哈希指纹进行判决，确定是否匹配；若匹配，进行下一步相似度计算；否则，返回指纹不匹配并结束；

步骤4、通过三个一维数组循环迭代的方式，优化编辑距离计算方法，节省了计算所需的内存使用，进而加快了计算的速度；再通过优化的编辑距离计算方法，对特征数据的模糊哈希指纹进行相似度计算，得出两个软件特征数据的相似结果。

有益效果：快速计算软件相似度的方法，对于软件提取的特征数据，首先根据数据长度进行预判决，然后计算软件特征数据的模糊哈希指纹并进行指纹匹配判决。如果判决成功，则计算软件数据指纹的相似性。在实际应用中，优化的编辑距离计算方法，大大地节省了计算所需的内存占用，从而提高了计算的速度。本发明数据预判决和指纹匹配判决，可有效快速地计算软件的相似性。

附图说明

图1为本发明实施例的流程图；

图2为本发明实施例的特征数据指纹生成流程图；

图3为本发明实施例的优化的编辑距离计算流程图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

快速计算软件相似度的方法中定义的特征数据是通过反汇编工具反汇编软件，并从软件里提取的操作码。

如图1所示，包括如下流程：

步骤1、对待比较的两个软件进行特征数据的提取，根据特征数据的长度进行预判决，若满足判决成功，进行下一步；否则，返回数据不匹配并结束；

步骤2、根据判决成功的两个软件的特征数据生成一个素数，作为模糊哈希过程中用于分片的触发值，选取素数是为了增加随机性和抵御可能的攻击，然后利用该素数计算特征数据的模糊哈希指纹；

步骤3、对特征数据的模糊哈希指纹进行判决，确定是否匹配；若匹配，进行下一步相似度计算；否则，返回指纹不匹配并结束；

步骤4、通过三个一维数组循环迭代的方式，优化编辑距离计算方法，节省了计算所需的内存使用，进而加快了计算的速度；再通过优化的编辑距离计算方法，对特征数据的模糊哈希指纹进行相似度计算，得出两个软件特征数据的相似结果。

其中，本发明定义的特征数据是通过反汇编工具反汇编软件，并从软件里提取的特征指令信息。

1.数据预判决

对于提取的两个软件的特征数据，记为x和y，首先进行数据预判决。预判决的具体规则如下：

设x和y的长度分别为len1和len2，判决阈值为ε（可设为70），有如下公式：

$[1-\frac{|\mathrm{len}1-\mathrm{len}2|}{\max (\mathrm{len}1,\mathrm{len}2)}]\×100\≥\mathrm{\ϵ}---\left(1\right)$

若对于特征数据x和y，满足公式（1），则进行下一步，即分别计算特征数据的模糊哈希指纹；否则停止并返回匹配不成功。

2.指纹计算

对于数据预判决成功的两个特征数据，接下来根据两个数据的长度，选取一个素数作为触发值并生成指纹。具体过程如下：

设两个数据分别进行模糊哈希指纹过程后都产生N个分片，N一般取值为64或128等（根据实际需要），则每个分片的平均长度为[len1/N]和[len2/N]。函数f(x)的输出为不大于x的最大素数。设定一个触发值tv（trigger value）：

$\mathrm{tv}=f\left(\frac{\mathrm{len}1+\mathrm{len}2}{2\×N}\right)---\left(2\right)$

然后利用该触发值来计算数据的模糊哈希指纹，具体过程如图2所示，首先用一个滑动窗口在数据序列上滑动，当滑动窗口里的内容的哈希值等于tv-1时，产生一个分片，接下来计算这个分片的哈希值hash，并复位滑动窗口的值，然后继续滑动并产生下一个分片。为了提高指纹的精度，本发明去掉了以往模糊哈希过程中的压缩映射步骤，把每个分片哈希的值直接连接起来作为指纹。具体算法描述见算法1，最后生成的数据指纹fp（fingerprint）为：

fp=hash1||hash2||…||hashN    (3)

3.指纹匹配判决

指纹匹配判决的处理与步骤1数据预判决类似。具体如下：

设两个特征数据指纹fp1和fp2的长度分别为len1′和len2′，判决阈值ε（可设为70），有如下公式：

$[1-\frac{|{\mathrm{len}1}^{\′}-{\mathrm{len}2}^{\′}|}{\max ({\mathrm{len}1}^{\′},{\mathrm{len}2}^{\′})}]\×100\≥\mathrm{\ϵ}---\left(4\right)$

若对于数据指纹fp1和fp2，满足公式（4），则进行下一步，即计算相似度；否则停止并返回匹配不成功。

4.相似度计算

在指纹匹配判决成功后，接下来需要计算数据指纹的相似度来准确描述软件相似程度。本发明通过计算两个指纹间的编辑距离（Edit Distance）来表征两个指纹之间的相似度。编辑距离是指两个字符串之间由一个转成另一个所需的最少编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。为了计算原始两个字符串的相似度，传统方法利用一个二维数组array[len1,len2]来计算两个字符串s1和s2（长度分别为len1，len2）之间的距离，采用循环迭代逐步填满数组，二维数组中的任意一个值都代表一个编辑距离，其中array[i,j](0<=i<=len1-1,0<=j<=len2-1)代表s1前i个字符和s2前j个字符之间的编辑距离，数组右下角的值array[len1-1,len2-1]就是两个字符串s1和s2的编辑距离，即distance=array[len1-1,len2-1]。

传统的方法需要申请len1*len2的内存空间，在实际应用中，当软件指纹很长时将消耗大量的内存空间，因而对批量大数据进行处理的效率较低。为了加快计算效率，本发明优化了编辑距离的计算方法，考虑到二维数组中某点编辑距离的计算只使用到其上方相邻、左边相邻和左上角相邻的三个点，即只需知道当前行和上方相邻行的数据，我们使用了两个大小都为len2的一维数组array2和array3表示二维数组的相邻两行。为计算方便，我们又使用了一个大小为len1的一维数组array1表示原来所需二维数组的第一列。具体做法如图3所示，在计算过程中array2表示奇数行，array3表示偶数行（注意在计算机中，数组的下标从0开始，所以第1行的行下标为0，第2行的行下标为1，以此类推）。最后得到的编辑距离distance为：

$\mathrm{dis}\tan \mathrm{ce}=\left\{\begin{array}{c}\mathrm{array}2[\mathrm{len}2-1],\mathrm{iflen}1\%2=1\\ \mathrm{array}3[\mathrm{len}2-1],\mathrm{iflen}1\%2=0\end{array}\right.---\left(5\right)$

采用本方法后需要申请的内存空间为len1+len2*2，大大节省了内存空间，提高了计算速度，算法伪码如下：

本发明根据如下公式表征两个特征数据指纹的相似性Sim。其中，len1′和len2′分别为两个指纹的长度。

$\mathrm{Sim}=[1-\frac{\mathrm{dis}\tan \mathrm{ce}}{\max ({\mathrm{len}1}^{\&prime;},{\mathrm{len}2}^{\&prime;})}]\&times;100---\left(6\right)$

若两个软件的相似度大于一定的阈值ε（一般为70），则认为这两款软件有较高的相似度。对于计算机软件，则是克隆软件；对智能手机应用软件来说，则是重打包应用（软件签名私钥不同）。

Claims (6)

1.一种快速计算软件相似度的方法，其特征在于，包括如下步骤： 

步骤1、对待比较的两个软件进行特征数据的提取，根据特征数据的长度进行预判决，若满足判决成功，进行下一步；否则，返回数据不匹配并结束； 

步骤2、根据判决成功的两个软件的特征数据生成一个素数，作为模糊哈希过程中用于分片的触发值，利用素数计算特征数据的模糊哈希指纹； 

步骤3、对特征数据的模糊哈希指纹进行判决，确定是否匹配；若匹配，进行下一步相似度计算；否则，返回指纹不匹配并结束； 

步骤4、通过三个一维数组循环迭代的方式，优化编辑距离计算方法；再通过优化的编辑距离计算方法，对特征数据的模糊哈希指纹进行相似度计算，得出两个软件特征数据的相似结果。 

2.如权利要求1所述的快速计算软件相似度的方法，其特征在于：特征数据是通过反汇编软件从软件里提取的特征指令信息。 

3.如权利要求1所述的快速计算软件相似度的方法，其特征在于：步骤1中，对于提取的两个软件的特征数据，记为x和y，进行数据预判决如下： 

设x和y的长度分别为len1和len2，判决阈值为ε，有如下公式： 

若对于特征数据x和y，满足公式（1），则进行下一步，即分别计算数据的模糊哈希指纹；否则停止并返回匹配不成功。 

4.如权利要求3所述的快速计算软件相似度的方法，其特征在于：步骤2中，设两个软件的特征数据分别进行模糊哈希指纹过程后都产生N个分片，则素数tv为 

函数f(σ)的输出为不大于σ的最大素数；然后利用素数来计算特征数据的模糊哈希指纹，首先用一个滑动窗口在特征数据序列上滑动，当滑动窗口里的内容的哈希值等于tv-1时，产生一个分片，接下来计算这个分片的哈希值hash，并复位滑动窗口的值，然后继续滑动并产生下一个分片；最好把每个分片的哈希值连接起来作为指纹；生成的特征数据的模糊哈希指纹fp为： 

fp=hash1||hash2||…||hashN    (3) 。

5.如权利要求4所述的快速计算软件相似度的方法，其特征在于：步骤3中，设两个软件的特征数据的模糊哈希指纹分别为fp1和fp2，fp1和fp2的长度分别为len1′和len2′，判决阈值ε（可设为70），有如下公式： 

若对于特征数据的模糊哈希指纹fp1和fp2，满足公式（4），则进行下一步，即计算相似度；否则停止并返回匹配不成功。 

6.如权利要求5所述的快速计算软件相似度的方法，其特征在于：步骤4中， 

两个软件的特征数据的模糊哈希指纹相似度

distance表示两个软件特征数据的编辑距离。 

Images