CN109361643A - 一种恶意样本的深度溯源方法 - Google Patents

Abstract

本发明公开了一种恶意样本的深度溯源方法，所述方法包括：分别从样本中提取样本的基础元数据、静态特征数据、动态特征数据及基本研判结果数据；对上述提取的多种数据进行汇聚处理；综合汇聚的多种数据，基于运营商大数据体系对黑产溯源进行定位，基于运营商多维度互联网爬虫对域名和邮箱进行递归溯源；将获取的所有数据特征，进行大数据关联分析，找出存在于数据集合或对象集合之间的结构关联关系；基于不同的数据属性进行建模画像。本发明解决了现有技术无法对黑产线索深入挖掘不足，难以从源头上解决恶意软件的黑产问题。

Description

一种恶意样本的深度溯源方法

技术领域

本发明属于网络安全及互联网大数据领域，更具体来说，涉及一种恶意样本的深度溯源方法。

背景技术

目前已知的APP研判技术，一方面是通过研究恶意软件扫描方法提取恶意软件的SH1、敏感字、软件包名、字节码、资源名、网络字符串等APP的多维度特征，利用静态扫描引擎对手机文件格式的全量解包对每个文件进行十六进制级别的快速特征定位的静态引擎研判；另一方面是通过传统的动态沙箱技术，通过插桩Hook需要检测的关键点，在关键点调用时，通过钩子进行日志输出后返回系统原代码流程进行动态研判。

现有技术主要是围绕样本的黑白研判为导向，而没有做到基于样本的深度威胁溯源，当前基于样本的黑白研判，但对其背后所隐藏的黑色产业链特点却把握不足，对黑产的定位，分类和取证溯源能力欠缺。对发现的黑产线索深入挖掘不足，难以从源头上解决恶意软件的黑产问题。

发明内容

本发明所要解决的问题就是，基于样本的深度威胁溯源，对其背后所隐藏的黑产特点进行分析，对传播使用病毒的黑产的重点人群、重点病毒的进行定位，分类和取证溯源，从恶意样本的根源解决问题。

为解决上述技术问题，本发明所采用的技术方案如下：

一种恶意样本的深度溯源方法，所述方法包括：

步骤S1、分别从样本中提取样本的基础元数据、静态特征数据、动态特征数据及基本研判结果数据；

步骤S2、对上述提取的多种数据进行汇聚处理；

步骤S3、综合汇聚的多种数据，基于运营商大数据体系对黑产溯源进行定位，基于运营商多维度互联网爬虫对域名和邮箱进行递归溯源；

步骤S4：综上步骤S3中获取的所有数据特征，进行大数据关联分析，找出存在于数据集合或对象集合之间的结构关联关系；

步骤S5：基于不同的数据属性进行建模画像。

进一步地，在所述步骤S1中，

样本的基础元数据包含：样本下载时间戳、下载URL地址、下载域名、IP地址、下载用户的位置信息；

样本的静态特征数据通过静态引擎获取，所述静态特征数据包含：样本MD5、样本的代码结构、样本类名、包名、签名证书、证书MD5、是否加壳；

样本的动态特征数据通过定制版ROM的动态沙箱获取，所述动态特征数据包含：样本的远控URL，远控URL域名，远控号码，发送邮箱账户，发送邮箱密码，接收邮箱账户。

进一步地，在所述步骤S1中，所述样本的基本研判结果数据通过广谱特征检测和启发式检测两种途径获取，其中，所述广谱特征检测方法包括：针对已知病毒，对APP多维度扫描，扫描内容包含签名指纹扫描、字符串特征扫描、多层子包文件特征扫描、应用安装名称特征扫描、签名证书特征扫描；所述启发式检测方法包括：针对未知恶意程序，将语音识别模型与随机森林算法相结合，综和APK文件多类特征统一建立N-gram模型，并应用随机森林算法，输出启发式规则并予以赋值。

进一步地，基于运营商大数据体系对黑产溯源进行定位的方法具体包括：

从汇聚的样本数据中，提取用户的远控手机号码、下载URL地址及域名、邮箱信息、上网日志多个特征，追溯恶意软件发布源头并定位该发布用户；

对黑手机号码进行监控，通过移动话单和/或核心网流量分析获取其位置信息、互联网账号信息和基本行为。

进一步地，基于运营商多维度互联网爬虫对域名和邮箱进行递归溯源的方法具体包括：

通过whois查询来查询域名是否已经被注册，以及注册域名的详细信息的数据库，通过DNS查询实现归属地的查询；

通过邮箱账户信息来溯源注册商、联系人、联系方式、新域名信息。

进一步地，所述步骤S4具体包括：综上步骤S3中获取的所有数据特征，进行大数据进行关联性或相关性分析，查找存在于数据集合或对象集合之间的频繁模式、关联、相关性或因果结构；通过ID-Mapping的方法来溯源和发现待启用的恶意域名和恶意程序开发者。

进一步地，在所述步骤S5中，基于不同的数据属性进行建模画像的方法具体包括：

根据下面数据属性进行建模画像：

样本的家族信息：同家族病毒样本情况；

样本的恶意属性：高危/中危/低危情况；

样本的开发环境、传播时间；

样本中黑产线索信息：电话，邮件，域名；

样本中黑产身份信息：姓名，地理位置，网络虚拟账号；

黑产其他产业情况：公司信息，名下其他黑白域名，其他域名属性和注册时间，其他黑白域名的用户访问统计。

进一步地，基于运营商大数据体系对黑产溯源进行定位的方法具体还包括：通过BOSS运营商信息系统获取使用者真实身份，通过各地省公司网联系统协助获取机主真实姓名。

与现有技术相比，本发明所述的恶意样本的深度溯源方法，达到了如下技术效果：

1、本发明是基于同一个程序在不同数据源中进行多维度综合关联的方法，其先对样本进行基础研判，再基于运营商多维度互联网爬虫深度挖掘分析技术和基于运营商大数据体系黑产溯源精准定位技术对样本进行深度溯源，最后将样本多种数据威胁情报信息进行精准画像，定位黑产源头，彻底打击恶意样本产业链。

2、本发明的静态扫描增加了广谱特征检测方法，增加对APP多维度特征的扫描，包含签名指纹扫描、字符串特征扫描、多层子包文件特征扫描、应用安装名称特征扫描、签名证书特征扫描等功能，使得扫描范围更全面，提取特征更全面，检测更精确。

3、动态引擎方式是采用定制动态沙箱通过对Android核心源码的修改，分别在Framework、Libraries、Runtime、Linux kernel层加入检测代码，编译成完成的系统固件，实现了具有行为检测功能的原生系统。由于所有功能已编译在系统固件中，不需要后期注入。所以在沙箱的稳定性和效率方面有了很大的提高。并且通过对不同层级的代码修改，实现了更加广泛的检测点覆盖。

附图说明

图1为本发明实施例所述的恶意样本的深度溯源方法的流程示意图；

图2为本发明实施例中的域名地址递归溯源示意图；

图3为本发明实施例中的邮箱账户递归溯源示意图。

具体实施方式

以下结合附图对本发明作进一步详细说明，但不作为对本发明的限定。

本发明所解决的问题是基于样本的深度威胁溯源，对其背后所隐藏的黑产特点进行分析，对传播使用病毒的黑产的重点人群、重点病毒的进行定位，分类和取证溯源，从恶意样本的根源解决问题。

参照图1所示，本发明实施例所公开的一种恶意样本的深度溯源方法，所述方法包括：

步骤S1、分别从样本中提取样本的基础元数据、静态特征数据、动态特征数据及基本研判结果数据；

步骤S2、对上述提取的多种数据进行汇聚处理；

步骤S3、综合汇聚的多种数据，基于运营商大数据体系对黑产溯源进行定位，基于运营商多维度互联网爬虫对域名和邮箱进行递归溯源；

步骤S4：综上步骤S3中获取的所有数据特征，进行大数据关联分析，找出存在于数据集合或对象集合之间的结构关联关系；

步骤S5：基于不同的数据属性进行建模画像。

本发明是基于同一个程序在不同数据源中进行多维度综合关联画像，进而对恶意程序进行溯源的分析方法，该方法首先是对样本进行基础研判，然后再基于运营商多维度互联网爬虫深度挖掘分析技术和基于运营商大数据体系黑产溯源精准定位技术对样本进行深度溯源，最后将样本中的多种数据威胁情报信息进行画像。通过对样本的行为进行多种数据源多维度综合关联分析后，获得手机恶意软件是谁开发的、什么时间、通过什么方式、获取了什么、具体人在哪里情报信息，根据这些信息进行建模画像，定位黑产源头，彻底打击恶意样本产业链。

具体来说，在步骤S1中，从样本中采用多种方式提取样本的不同的特征，包括样本的静态特征、动态特征、研判结果信息以及基础元数据。

其中，所述样本的静态特征通过静态引擎获取，得到样本MD5、样本的代码结构、样本类名、包名、签名证书、证书MD5、是否加壳等相关静态特征数据。

所述样本的动态特征通过定制版ROM的动态沙箱，得到样本的远控URL，远控URL域名，远控号码，发送邮箱账户，发送邮箱密码，接收邮箱账户等信息。本发明的动态引擎方式是采用定制动态沙箱通过对Android核心源码的修改，分别在Framework、Libraries、Runtime、Linux kernel层加入检测代码，编译成完成的系统固件，实现了具有行为检测功能的原生系统。由于所有功能已编译在系统固件中，不需要后期注入。所以在沙箱的稳定性和效率方面有了很大的提高。并且通过对不同层级的代码修改，实现了更加广泛的检测点覆盖。采用动态沙箱的优势在于：一、应用无需任何修改，直接安装；二、防止模拟器检测；三、可监控加壳加固app，优势；四、对ndk层甚至内核层都可以进行监控。

所述样本基础元数据包含样本下载时间戳、下载URL地址、下载域名、IP地址、下载用户的位置信息等。

所述样本的基本研判结果数据，通过广谱特征检测和启发式检测两种途径综合获取，经过广谱特征和启发式检测，过滤白样本，确定样本为黑样本(高、中、低危)。

广谱特征检测方法是用于已知病毒检测，为提升病毒扫描引擎的研判率增加对APP多维度特征的扫描，包含签名指纹扫描、字符串特征扫描、多层子包文件特征扫描、应用安装名称特征扫描、签名证书特征扫描等功能。本发明中对静态扫描增加了广谱特征检测方法，增加对APP多维度特征的扫描，包含签名指纹扫描、字符串特征扫描、多层子包文件特征扫描、应用安装名称特征扫描、签名证书特征扫描等功能，广谱特征检测的精准率比较高。

启发式检测方法是用于未知恶意程序检测，将语音识别模型与随机森林算法相结合，综和APK文件多类特征统一建立N-gram模型，并应用随机森林算法。首先，采用多种方式提取可以反映Android恶意程序行为的特征，包括敏感权限、敏感API函数调用序列、文件名字符串、So文件名称、文件大小以及文件权限特征。然后针对每类特征建立N-gram模型，每个模型可以独立评判恶意程序行为。最后将特征向量机模型统一加入随机森林算法进行学习，最终输出启发式规则并给予赋值。

在步骤S2中，通过上述四种特征数据进行汇聚，可以获取到样本的基本特征，包含样本MD5、签名证书、样本下载URL、下载URL域名、远控URL、远控URL域名，下载地址IP、远控地址IP、黑样本、控制邮箱账户，控制端手机号码信息。基于上述信息进一步进行黑产溯源定位和互联网爬虫溯源分析。

在步骤S3中，综合上述四种特征汇聚而成的多种数据及特征，通过基于运营商大数据体系对黑产溯源进行定位，以及，基于运营商多维度互联网爬虫对域名和邮箱进行递归溯源。

基于运营商大数据体系黑产溯源精准定位技术是通过从恶意样本中提取控制端手机号码、下载地址、邮箱、用户上网日志等特征，追溯恶意软件发布源头，追踪地下黑色产业链链条顶端，定位恶意软件的传播者。具体来说，通过获取的恶意软件下载地址、恶意软件家族特征、隐私信息邮箱、控制端手机号码，能够得出代码特征聚类、用户登录的IP信息、使用位置信息，关联后即可对控制端进行定位，对传播路径进行追溯。

另外，在黑产溯源过程中，本发明还对黑手机号码进行监控。比如可以通过移动话单或核心网流量分析获取其位置信息、互联网账号信息和基本行为。还可以通过BOSS等运营商信息系统获取其真实身份，或者，通过省级公司协助获取黑手机号码机主实名信息。如此，能够更精确的对黑产源头进行溯源。

基于运营商多维度互联网爬虫深度挖掘分析技术是用来查询域名是否已经被注册，以及注册域名的详细信息的数据库(如域名所有人、域名注册商)。通过whois来实现对域名信息的查询，通过IP查询其归属地，包含如下表中的内容：

参照图2所示，域名递归溯源示意图如下:

对域名进行WHOIS查询可以得到注册组织、注册人、注册商、注册电话、国家和注册邮箱等信息，再对注册人进行WHOIS反查询，得到批量域名和批量邮箱，对注册邮箱进行WHOIS反查询，得到批量注册人和批量域名，然后进行去重处理，得到新域名。对域名进行DNS查询，获得IP地址和别名，再通过IP地址进行反查和whois查询，可以获得多个域名，该多个域名指向同一IP，而通过whois查询，可获得注册人、注册邮箱和注册电话信息。

参照图3所示，邮箱账户递归的溯源示意图如下：

通过对邮箱账户溯源，由于邮箱账户一般可通过论坛留言、注册网站、关联QQ、关联微信、关联支付宝等得出，而邮箱账户中还包含邮箱通讯录、传播短息、登录记录、远控号码等，综合上述的信息判读可得到包含注册商、联系方式、联系人、新域名在内的很多数据。

在步骤S4中，进行大数据关联分析。

综上获取的所有数据特征，进行大数据进行关联性或相关性分析，查找存在于数据集合或对象集合之间的频繁模式、关联、相关性或因果结构，从而发现不同数据集和对象之间的相互联系获得手机恶意软件是谁开发的、什么时间、通过什么方式、获取了什么、具体人在哪里情报信息。

通过ID-Mapping((Identifier-Mapping))的方法来溯源和发现待启用的恶意域名和恶意程序开发者，ID-Mapping通俗的说就是把几份不同来源的数据，通过各种技术手段识别为同一个对象或主体，例如同一台设备(直接)，同一个用户(间接)，同一家企业(间接)等等，可以形象地理解为用户画像的“拼图”过程。一个用户的行为信息、属性数据是分散在很多不同的数据来源的，因此从单个数据来看，都相当于“盲人摸象”，看到的只是这个用户一个片面的画像，而ID-Mapping能把碎片化的数据全部串联起来，消除数据孤岛，提供一个用户的完整信息视图，同时让某一个领域的数据在另一个领域绽放出巨大的价值。ID-Mapping有非常多的用处，比如跨屏跟踪和跨设备跟踪，将一个用户的手机、PC、平板等设备的上的行为信息串联到一起。

在步骤S5中，基于不同数据属性进行自动建模画像。

根据下面数据属性进行建模画像：

样本的家族信息：同家族病毒样本情况；

样本的恶意属性：高危/中危/低危情况；

样本的开发环境、传播时间；

样本中黑产线索信息：电话，邮件，域名；

样本中黑产身份信息：姓名，地理位置，网络虚拟账号；

黑产其他产业情况：公司信息，名下其他黑白域名，其他域名属性和注册时间，其他黑白域名的用户访问统计。

通过前述步骤，已经可以准确了解用户的标签和行为特征，根据该信息基础，抽象出黑产模型。

通过对样本的行为进行多种数据源多维度综合关联分析后，获得手机恶意软件是谁开发的、什么时间、通过什么方式、获取了什么、具体人在哪里情报信息，根据这些信息进行建模画像，定位黑产源头，彻底打击恶意样本产业链。

上述说明示出并描述了本发明的若干优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (8)

1.一种恶意样本的深度溯源方法，其特征在于，所述方法包括：

步骤S1、分别从样本中提取样本的基础元数据、静态特征数据、动态特征数据及基本研判结果数据；

步骤S2、对上述提取的多种数据进行汇聚处理；

步骤S3、综合汇聚的多种数据，基于运营商大数据体系对黑产溯源进行定位，基于运营商多维度互联网爬虫对域名和邮箱进行递归溯源；

步骤S4：综上步骤S3中获取的所有数据特征，进行大数据关联分析，找出存在于数据集合或对象集合之间的结构关联关系；

步骤S5：基于不同的数据属性进行建模画像。

2.如权利要求1所述的恶意样本的深度溯源方法，其特征在于，在所述步骤S1中，

样本的基础元数据包含：样本下载时间戳、下载URL地址、下载域名、IP地址、下载用户的位置信息；

样本的静态特征数据通过静态引擎获取，所述静态特征数据包含：样本MD5、样本的代码结构、样本类名、包名、签名证书、证书MD5、是否加壳；

样本的动态特征数据通过定制版ROM的动态沙箱获取，所述动态特征数据包含：样本的远控URL，远控URL域名，远控号码，发送邮箱账户，发送邮箱密码，接收邮箱账户。

3.如权利要求1所述的恶意样本的深度溯源方法，其特征在于，在所述步骤S1中，所述样本的基本研判结果数据通过广谱特征检测和启发式检测两种途径获取，其中，所述广谱特征检测方法包括：针对已知病毒，对APP多维度扫描，扫描内容包含签名指纹扫描、字符串特征扫描、多层子包文件特征扫描、应用安装名称特征扫描、签名证书特征扫描；所述启发式检测方法包括：针对未知恶意程序，将语音识别模型与随机森林算法相结合，综和APK文件多类特征统一建立N-gram模型，并应用随机森林算法，输出启发式规则并予以赋值。

4.如权利要求1所述的恶意样本的深度溯源方法，其特征在于，基于运营商大数据体系对黑产溯源进行定位的方法具体包括：

从汇聚的样本数据中，提取用户的远控手机号码、下载URL地址及域名、邮箱信息、上网日志多个特征，追溯恶意软件发布源头并定位该发布用户；

对黑手机号码进行监控，通过移动话单和/或核心网流量分析获取其位置信息、互联网账号信息和基本行为。

5.如权利要求1所述的恶意样本的深度溯源方法，其特征在于，基于运营商多维度互联网爬虫对域名和邮箱进行递归溯源的方法具体包括：

通过whois查询来查询域名是否已经被注册，以及注册域名的详细信息的数据库，通过DNS查询实现归属地的查询；

通过邮箱账户信息来溯源注册商、联系人、联系方式、新域名信息。

6.如权利要求1所述的恶意样本的深度溯源方法，其特征在于，所述步骤S4具体包括：综上步骤S3中获取的所有数据特征，进行大数据进行关联性或相关性分析，查找存在于数据集合或对象集合之间的频繁模式、关联、相关性或因果结构；通过ID-Mapping的方法来溯源和发现待启用的恶意域名和恶意程序开发者。

7.如权利要求1所述的恶意样本的深度溯源方法，其特征在于，在所述步骤S5中，基于不同的数据属性进行建模画像的方法具体包括：

根据下面数据属性进行建模画像：

样本的家族信息：同家族病毒样本情况；

样本的恶意属性：高危/中危/低危情况；

样本的开发环境、传播时间；

样本中黑产线索信息：电话，邮件，域名；

样本中黑产身份信息：姓名，地理位置，网络虚拟账号；

黑产其他产业情况：公司信息，名下其他黑白域名，其他域名属性和注册时间，其他黑白域名的用户访问统计。

8.如权利要求4所述的恶意样本的深度溯源方法，其特征在于，基于运营商大数据体系对黑产溯源进行定位的方法具体还包括：通过BOSS运营商信息系统获取使用者真实身份，通过各地省公司网联系统协助获取机主真实姓名。