CN109543409B - 用于检测恶意应用及训练检测模型的方法、装置及设备 - Google Patents

Abstract

本发明揭示了一种用于训练恶意应用检测模型的方法，包括：基于带有样本标签的应用样本提取样本特征，所述样本标签用于标记所述应用样本的安全状态；使用所述样本标签与所述提取的样本特征，通过训练以获取样本特征与安全状态之间的第一非线性关系模型并输出第一预测结果；以及在确定与部分待检测应用对应的第一预测结果错误时，根据改正后的第一预测结果与所述部分待检测应用的样本特征，通过训练以获取样本特征与安全状态之间的第二非线性关系模型。基于本发明实施例的方案，通过已经标记的应用样本训练检测模型，同时结合反馈的预测错误样本训练补充模型，能够提高恶意应用检测的覆盖率和准确率。

Description

用于检测恶意应用及训练检测模型的方法、装置及设备

技术领域

本发明涉及计算机应用技术领域，特别涉及一种用于检测恶意应用及训练检测模型的方法、装置、计算机可读存储介质及电子设备。

背景技术

近年来随着互联网，特别是移动互联网的飞速发展，越来越多的服务提供方选择通过应用程序(App)的方式，为广大用户提供有偿或者无偿的服务。相应的，用户终端(例如移动设备或个人电脑)中安装的App数量也越来越多。这在为用户提供极大方便的同时，也给恶意应用留下了生存的空间。

恶意应用通常是指，开发者通过在应用中插入危害用户利益安全的代码，开发出的对用户造成利益损失和安全隐患的应用程序。可能的危害行为包括但不限于恶意扣费、隐私窃取、短信拦截、电话监听、恶意广告、恶意下载等。另外，在各种各样的应用下载平台中，恶意应用往往被刻意包装成无害甚至有利可图的状态，吸引用户点击下载。一旦用户在终端完成下载、安装、或者最终运行时，应用中嵌入的恶意代码便开始工作，实施预先设计的危害行为，从而给用户造成极大的安全隐患。

因此，为了保证用户的数据安全，各应用下载平台需要对第三方上传的应用进行严格的审核，检测是否存在恶意应用；同时，用户终端自身也有类似检测功能的需求。目前，针对恶意应用的检测通常包括，基于静态特征和基于动态特征两种检测方法，前者基于从恶意文件安装包中提取的特征码或操作码序列进行检测，后者则直接基于应用的操作行为进行检测。然而，无论是哪种方法，都存在特征提取规则制定难度较大的问题，容易造成应用的误杀或者漏杀，无法准确、及时、全面的检测出恶意应用。

发明内容

针对相关技术中恶意应用检测易造成误杀或漏杀的问题，本发明提供一种检测恶意应用及训练检测模型的方法、装置、计算机可读存储介质和电子设备。

根据本发明的实施例，提供一种用于训练恶意应用检测模型的方法，包括：基于带有样本标签的应用样本提取样本特征，所述样本标签用于标记所述应用样本的安全状态；使用所述样本标签与所述提取的样本特征，通过训练以获取所述样本特征与安全状态之间的第一非线性关系模型，所述第一非线性关系模型用于预测待检测应用的安全状态并输出第一预测结果；以及在确定与部分待检测应用对应的第一预测结果错误时，根据改正后的第一预测结果与所述部分待检测应用的样本特征，通过训练以获取所述样本特征与安全状态之间的第二非线性关系模型，所述第二非线性关系模型用于预测待检测应用的安全状态并输出第二预测结果。

根据本发明的实施例，还提供一种用于检测恶意应用的方法，包括：基于待检测应用提取样本特征；将所述样本特征输入第一非线性关系模型，获取第一预测结果；以及根据所述第一预测结果确定是否将所述样本特征输入第二非线性关系模型以获取第二预测结果，其中，所述的第一非线性关系模型和第二非线性关系模型基于前述实施例用于训练恶意应用检测模型的方法训练得到。

根据本发明的实施例，提供一种用于训练恶意应用检测模型的装置，包括：提取模块，用于基于带有样本标签的应用样本提取样本特征，所述样本标签用于标记所述应用样本的安全状态；第一训练模块，用于使用所述样本标签与所述提取的样本特征，通过训练以获取所述样本特征与安全状态之间的第一非线性关系模型，所述第一非线性关系模型用于预测待检测应用的安全状态并输出第一预测结果；以及第二训练模块，用于在确定与部分待检测应用对应的第一预测结果错误时，根据改正后的第一预测结果与所述部分待检测应用的样本特征，通过训练以获取所述样本特征与安全状态之间的第二非线性关系模型，所述第二非线性关系模型用于预测待检测应用的安全状态并输出第二预测结果。

在一个实施例中，基于上述用于训练恶意应用检测模型的装置实施例，所述提取模块包括：低维提取单元，用于提取所述应用样本的低维静态特征；和/或高维提取单元，用于提取所述应用样本的高维静态特征。其中，所述低维静态特征包括选自应用权限、组件名称、元数据键值对、应用打包名称、应用所使用的证书信息、和操作码序列中的任意项特征；所述高维静态特征包括选自应用的加固方式和打包方式中的任意项特征。

在一个实施例中，基于上述用于训练恶意应用检测模型的装置实施例，所述提取模块包括：动态提取单元，用于提取所述应用样本的动态特征，所述动态特征包括选自对预定应用编程接口API的调用和应用的操作行为中的任意项特征。

在一个实施例中，基于上述用于训练恶意应用检测模型的装置实施例，所第一训练模块用于：将所述样本标签与所述提取的样本特征作为输入，使用梯度提升决策树GBDT算法进行训练得到所述第一非线性关系模型；所述第二训练模块用于：将所述改正后的第一预测结果与所述部分待检测应用的样本特征作为输入，使用GBDT算法进行训练得到所述第二非线性关系模型。

在一个实施例中，基于上述用于训练恶意应用检测模型的装置实施例，所述第二非线性关系模型用于，在所述第一预测结果指示所述待检测应用的安全状态为安全时，使用所述第二非线性关系模型预测所述待检测应用的安全状态并输出所述第二预测结果。

根据本发明的实施例，提供一种用于检测恶意应用的装置，包括：提取模块，用于基于待检测应用提取样本特征；第一预测模块，用于将所述样本特征输入第一非线性关系模型，获取第一预测结果；以及第二预测模块，用于在所述第一预测结果指示所述待检测应用的安全状态为安全时，将所述样本特征输入第二非线性关系模型以获取第二预测结果，其中，所述的第一非线性关系模型和第二非线性关系模型使用前述实施例用于训练恶意应用检测模型的装置训练得到。

在一个实施例中，基于上述用于检测恶意应用的装置实施例，还包括：告警模块，用于在所述第一预测结果指示所述待检测应用的安全状态为病毒时，输出所述第一预测结果并产生告警提示。

在一个实施例中，基于上述用于检测恶意应用的装置实施例，还包括：验证模块，用于通过获取人工反馈结果和对比所述第二预测结果中的至少一种方式，验证所述第一预测结果的正确性；以及反馈模块，用于在确定所述第一预测结果错误时，提供与所述样本特征和改正后结果对应的反馈，以更新所述第二非线性关系模型。

根据本发明的实施例，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据以上所述的用于训练恶意应用检测模型的方法或者用于检测恶意应用的方法。

根据本发明的实施例，提供一种电子设备，包括：处理器；以及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现以上所述的用于训练恶意应用检测模型的方法或者用于检测恶意应用的方法。

基于上述实施例用于检测恶意应用及训练检测模型的方案，通过已经标记的应用样本训练检测模型，同时结合反馈的预测错误样本训练补充模型，能够提高恶意应用检测的覆盖率和准确率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。

图1示出了可以应用本发明实施例用于训练恶意应用检测模型的方法或装置或者用于检测恶意应用的方法或装置的示例性系统架构的示意图。

图2示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。

图3是根据一示例性实施例示出的一种用于训练恶意应用检测模型的方法的流程图。

图4是根据一示例性实施例示出的静态特征提取流程图。

图5是根据一示例性实施例示出的动态特征提取流程图。

图6是根据另一示例性实施例示出的动态特征提取流程图。

图7是根据一示例性实施例示出的一种用于检测恶意应用的方法的流程图。

图8是根据一示例性实施例示出的一种用于训练恶意应用检测模型的装置的框图。

图9是根据另一示例性实施例示出的一种用于训练恶意应用检测模型的装置的框图。

图10是根据一示例性实施例示出的一种用于检测恶意应用的装置的框图。

图11是根据另一示例性实施例示出的一种用于检测恶意应用的装置的框图。

具体实施方式

本部分将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

以下对本发明实施例的技术方案的实现细节进行详细阐述。

图1示出了可以应用本发明实施例用于训练恶意应用检测模型的方法或装置或者用于检测恶意应用的方法或装置的示例性系统架构100的示意图。

如图1所示，系统架构100可以包括终端设备101、102、103中的一种或多种，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、便携式计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器。例如，服务器105可以基于带有样本标签的应用样本提取样本特征，所述样本标签用于标记所述应用样本的安全状态；使用所述样本标签与所述提取的样本特征，通过训练获取样本特征与安全状态之间的第一非线性关系模型，所述第一非线性关系模型用于预测待检测应用的安全状态；以及对于所述预测中安全状态预测错误的部分待检测应用，根据改正后的安全状态与所述部分待检测应用的样本特征，通过训练获取样本特征与安全状态之间的第二非线性关系模型，所述第二非线性关系模型用于修正所述第一非线性关系模型的预测结果。

接续，用户例如通过终端103上传了待检测应用，服务器105基于待检测应用提取样本特征；将所述样本特征输入第一非线性关系模型，获取第一预测结果；以及根据所述第一预测结果的不同，确定是否将所述样本特征输入第二非线性关系模型以获取第二预测结果。

在一些实施例中，本发明实施例所提供的用于训练恶意应用检测模型的方法以及用于检测恶意应用的方法一般由服务器105执行，相应地，用于训练恶意应用检测模型的装置以及用于检测恶意应用的装置一般设置于服务器105中。在另一些实施例中，某些终端可以和服务器具有相似的功能从而执行本方法。因此，本发明实施例所提供的方法不严格限定在服务器端执行。

图2示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。

需要说明的是，图2示出的电子设备的计算机系统200仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图2所示，计算机系统200包括中央处理单元(CPU)201，其可以根据存储在只读存储器(ROM)202中的程序或者从存储部分208加载到随机访问存储器(RAM)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有系统操作所需的各种程序和数据。CPU201、ROM 202以及RAM203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。

以下部件连接至I/O接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分207；包括硬盘等的存储部分208；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入存储部分208。

特别地，根据本发明的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本发明实施例中限定的各种功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是，但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图3至图4所示的各个步骤。

图3是根据一示例性实施例示出的一种用于训练恶意应用检测模型的方法的流程图。如图3所示，该用于训练恶意应用检测模型的方法可以由任意计算机设备执行，可包括以下步骤310-330。

在步骤310中，基于带有样本标签的应用样本提取样本特征。

这里的样本标签用于标记应用样本的安全状态，例如指示该应用样本为安全或病毒。

本发明的实施例试图使用尽可能多的特征来更全面的描述应用样本，从而通过已知的样本标签训练得到覆盖率和准确率更高的恶意应用检测模型。

在一个实施例中，步骤310包括提取应用样本的静态特征，其中又包括低维静态特征和高维静态特征中的一种或多种。

应用样本涉及的低纬静态特征主要包括应用权限、组件名称、元数据键值对、应用打包名称、应用所使用的证书信息、以及操作码(opcode)序列。以安卓(Android)的操作系统环境为例，这里的组件名称例如包括常用的四大组件：Activity(活动)、Receiver(接收器)、Service(服务)、Provider(提供商)的自定义名称；这里的证书信息例如可包括该应用样本所使用的证书MD5以及证书内容中的Subject(被试)信息。

图4是根据一示例性实施例示出的静态特征提取流程图，在该实施例中，应用样本的静态特征例如包括上述的opcode序列。如图4所示，本实施例的静态特征提取流程包括步骤410-440。

在步骤410中，提取应用样本APK(Android Package，安卓安装包)中的classes.dex文件。

在步骤420中，使用反汇编工具对classes.dex文件进行反汇编，得到每个类的smali文件。

其中，每个类由函数组成，每个函数则由指令组成，每条指令由一个操作码和多个操作数组成。

相应的，在步骤430中，顺序提取每个函数的操作码(忽略操作数)组成一个序列。

最后，在步骤440中，对所有函数的操作码序列进行拼接，得到当前应用样本的操作码序列。

在一个实施例中，除了上述低维的静态特征，还可通过样本中的dex文件提取高维静态特征，例如包括但不限于该应用样本的加固方式和打包方式等等。

在一个实施例中，步骤310还可包括提取应用样本的动态特征。

应用样本涉及的动态特征主要包括对预定API(Application ProgrammingInterface)应用编程接口的调用，以及应用的操作行为特征。

仍以Android的操作系统环境为例，这里对预定API的调用例如包括dex代码中的高危API调用栈。图5是根据一示例性实施例示出的动态特征提取流程图，在该实施例中，应用样本的动态特征例如包括上述的高危API调用栈。如图5所示，本实施例的动态特征提取流程包括步骤510-530。

在步骤510中，获取应用样本的活动方法。

在一个实施例中，高危API调用栈的提取工具可通过读取应用样本APK中的AndroidManifest.xml来得到应用样本的Activity(活动)方法。

在步骤520中，以活动方法作为起始点分析dex文件，记录每个API的调用顺序。

在一个实施例中，高危API调用栈的提取工具可基于应用样本APK中的classes.dex文件，作为步骤520的分析对象，由此记录每个API的调用顺序，直至最后一个被调用的API为止。

在步骤530中，对API进行匹配，提取高危API对应的调用栈为动态特征。

由于这里只关注高危API的调用，因此步骤530中对步骤520记录的每个API是否为高危API进行匹配。如果属于高危API，则提取对应的调用栈为动态特征，否则不提取动态特征。这里的高危API是指一旦被恶意应用劫持调用就会对用户造成危害(例如个人信息泄漏)的API。相应的，在一个实施例中，可通过API被调用时所读取或写入的数据属性来确定是否属于高危API，例如如果某个API被调用时读取了用户的账户、密码等个人信息，则可被确定为属于高危API。

接续以Android的操作系统环境为例，上述应用的操作行为特征例如包括应用样本在Android模拟器中的操作行为特征。图6是根据另一示例性实施例示出的动态特征提取流程图，在该实施例中，应用样本的动态特征例如包括上述应用的操作行为特征。如图6所示，本实施例的动态特征提取流程包括步骤610-630。

在步骤610中，将应用样本APK安装到已经加入插桩代码的Android模拟器中。

Android模拟器，也称为Android沙箱，是一个可以运行在计算机上的虚拟设备，可以脱离移动终端的Android系统环境来运行Android应用程序，并采集Android应用程序运行过程中的行为数据。

这里的插桩是指在原代码中插入一段自定义代码，该应用程序在运行过程中就会执行插入的自定义代码，完成预设的相应功能。在本实施例中，步骤610中加入的插桩代码用于获取应用样本的动态行为。

在步骤620中，随机模拟用户操作，若成功触发系统API，则运行插桩代码以记录API调用日志。

在一个实施例中，可使用Monkey模拟器实现随机模拟用户操作。这里的Monkey模拟器是Google(谷歌)为Android应用开发者提供的一款压力测试软件，通过随机产生用户的触摸和键盘操作来测试应用在高压力使用环境下的抗压能力，本实施例中可使用Monkey模拟器来模拟普通用户的随机输入操作。

这里记录的API调用日志一般包含两个字段，即行为id和行为API的输入参数，其中输入参数可为空。

在步骤630中，对API进行匹配，提取高危API的调用日志为动态特征。

基于步骤620，在等待程序运行一段时间后，即可得到该应用样本的所有行为特征。与图5实施例的步骤530类似，这里的步骤630也只关注高危API的调用，因此步骤630中也可对步骤620记录的每个API是否为高危API进行匹配。如果属于高危API，则提取对应的调用日志以生成动态特征，否则不提取动态特征。

在一个实施例中，通过结合上述的特征提取方法，可以将带标签的应用样本的动态特征和静态特征都提取出来，以作为模型输入的原始特征。

接续参考图3实施例，在步骤320中，使用所述样本标签与所述提取的样本特征，通过训练以获取样本特征与安全状态之间的第一非线性关系模型。

这里的第一非线性关系模型用于预测待检测应用的安全状态并输出第一预测结果，例如可参考图7实施例的描述。

基于步骤310，能够使用提取的特征来描述应用样本。但为了得到能够用来预测未标记应用的安全状态，还需使用提取的样本特征和已经标记的样本标签，训练样本特征与安全状态之间的第一非线性关系模型。这样，后续对于从未标记应用中提取的样本特征，将其输入训练得到的第一非线性关系模型，便可预测出该应用的安全状态作为第一预测结果。

在一个实施例中，步骤320可将步骤310提取得到的样本特征和已知的样本标签作为输入，使用GBDT(Gradient Boosting Decision Tree，梯度提升决策树)算法进行训练得到上述第一非线性关系模型。

GBDT是一种基于决策树实现的分类回归算法，其基本原理在于通过训练新的CART(Classification and Regression Trees，分类与回归树)来拟合当前一轮迭代之前得到的所有树的结论和的残差，让样本的损失尽量的小。

在检测恶意应用的场景中，本实施例使用GBDT用于解决以下两个问题。首先，GBDT是一个非线性的模型，可以很好拟合上述行为特征与实际用户消费转化的非线性关系；例如，应用对高危API的调用行为很多，但不表示其是恶意应用的可能性很大；线性模型无法描述这种关系，而GBDT可以很好的解决这个问题。其次，在上述提取的样本特征中，无论是静态特征还是动态特征，都可能包括离散特征(取值例如表现为0或1)和连续特征，GBDT可以同时处理连续型和离散型的特征，从而不需要对特征进行进一步的人工处理。

以下结合一个示例来描述GBDT模型的训练过程。

本示例中的预测类别假设只有两类，因此样本标签可取0或1两个值；而特征向量中，如果是离散特征，则取值为0或1；如果是连续特征，则取值为正浮点数。比如离散特征可以包括是否存在拦截短信行为，是否访问网络，是否存在文件名为libbalck.so的文件等，连续特征可以包括该样本包名下的黑样本比例，该样本证书开发者下的黑样本比例等，因此训练集的数据可以组织如下表所示。

标签	F0	F1	F2	F3	F4
						0	0	1	0	10.0	9.0
1	1	1	1	70.0	80.0
						0	0	1	0	9.0	5.0
0	0	0	0	1.0	2.0

其中，标签为0表示白样本，标签为1表示黑样本，F0表示是否存在拦截短信行为，F1表示是否访问网络，F2表示是否存在文件名为libblack.so的文件，F3表示该样本相同包名下的黑样本比例，F4表示该样本相同证书下的黑样本比例。

此处训练的GBDT模型是用于分类的，可取对数损失(logloss)型的损失函数，形式如：

L(y_i,F_m(x_i))＝-{y_ilogp_i+(1-y_i)log(1-p_i)},

其中，y_i表示已知样本的标签取值；x_i表示已知样本中各个特征的取值；F_m(x_i)为使用特征取值表达标签取值的函数。

整个GBDT模型的训练目标就是，基于训练集的数据，通过训练新的CART来拟合当前一轮迭代之前得到的所有树的结论和的残差，使上述损失函数L(y_i,F_m(x_i))尽量的小，并在满足迭代停止条件(例如达到预设次数或者损失小于预设阈值)时输出最终的模型F_m(x_i)。

这样，后续对于从未标记应用中提取的样本特征，将其输入训练得到的模型F_m(x_i)，便可输出表示该应用安全状态的第一预测结果，在本示例中例如可输出0或1的值。

接续参考图3实施例，在步骤330中，在确定与部分待检测应用对应的第一预测结果错误时，根据改正后的第一预测结果与所述部分待检测应用的样本特征，通过训练以获取样本特征与安全状态之间的第二非线性关系模型。

这里的第二非线性关系模型用于预测待检测应用的安全状态并输出第二预测结果，例如也可参考图7实施例的描述。

本发明实施例不仅基于已经标记的应用样本历史数据来训练恶意应用的检测模型，并且还基于预测阶段反馈的预测错误数据来训练补充检测模型，以进一步提高恶意应用检测的覆盖率和准确率。

在一个实施例中，可基于一段时间内用户的反馈来收集安全状态预测错误的数据。例如，通过步骤320的训练得到第一非线性关系模型后，在第一非线性关系模型上线并对待检测应用的安全状态进行预测的过程中，可向用户收集关于第一预测结果是否准确的反馈。

作为一个示例，假设当前应用的第一预测结果为恶意应用，但用户例如可基于该应用的提供方资质等外部条件，确认当前应用是安全的，便可收集改正后的第一预测结果(该示例中为安全)与对应的应用样本特征。

作为另一个示例，假设当前应用的第一预测结果为安全，但用户例如可基于其他检测工具的报警情况等外部条件，确认当前应用是病毒，便可收集改正后的第一预测结果(该示例中为病毒)与对应的应用样本特征。

在不同的实施例，还可基于已经标记的应用样本历史数据来收集安全状态预测错误的数据。例如，在第一非线性关系模型的训练目标，或者说收敛条件，已经达成的情况下，仍然可使用已经标记的应用样本历史数据来训练恶意应用的检测模型。

作为一个示例，假设当前应用的第一预测结果为恶意应用，但其样本标签表明当前应用是安全的，便可收集改正后的第一预测结果(该示例中为安全)与对应的应用样本特征。

作为另一个示例，假设当前应用的第一预测结果为安全，但其样本标签表明当前应用是病毒，便可收集改正后的第一预测结果(该示例中为病毒)与对应的应用样本特征。

这里，步骤330中收集预测过程中反馈的结果错误数据，除了收集改正后的第一预测结果(相当于标签)之外，还包括对相应待检测应用的特征进行提取。

基于改正后的第一预测结果与从相应待检测应用提取的样本特征，可按照步骤320的类似训练过程，获取样本特征与安全状态之间的第二非线性关系模型。

在一个实施例中，步骤330可将改正后的第一预测结果与从相应待检测应用提取的样本特征作为输入，使用GBDT算法进行训练得到第二非线性关系模型。

在一个实施例中，步骤310-320可按照第一周期基于新收集的应用样本提取样本特征和更新训练第一非线性关系模型。相应的，步骤330可按照预设条件基于反馈的预测错误数据更新训练第二非线性关系模型。例如，步骤330可按照第二周期基于反馈的预测错误数据，或者在预测错误数据达到预设大小时，触发第二非线性关系模型的更新训练。在这种情况下，第一非线性关系模型的更新频率可小于第二非线性关系模型的更新频率。

具体的训练示例可参考步骤320中的详细描述，此处不再赘述。

基于上述实施例用于训练检测模型的方案，通过已经标记的应用样本训练检测模型，同时结合反馈的预测错误样本训练补充模型，能够提高恶意应用检测的覆盖率和准确率。

在一些实施例中，本发明实施例的方案将样本涉及的静态特征和动态特征相结合，通过GBDT算法自动分析挖掘病毒特征，训练得到第一非线性关系模型用于恶意应用检测。该方案不再过度依赖病毒分析人员的特征提取能力，通过现有病毒特征能关联发现覆盖面更全的补充病毒特征，能够更全面和更准确地完成病毒检测。

在一些实施例中，本发明实施例的方案将模型预测错误的样本重新使用GBDT算法进行训练，得到补充的第二非线性关系模型。因此，后续可根据两个模型完成恶意应用检测，能够进一步提高病毒检测的覆盖率和准确率。同时，能够在避免频繁第一非线性关系模型的情况下，通过第二非线性关系模型更及时的应对新型和变种病毒。

图7是根据一示例性实施例示出的一种用于检测恶意应用的方法的流程图。如图7所示，该用于检测恶意应用的方法可以由任意计算机设备执行，可包括以下步骤710-730。

在步骤710中，基于待检测应用提取样本特征。

这里针对待检测应用提取的样本特征，与训练检测模型时从应用样本提取的样本特征相对应。由于训练得到的检测模型能够反映样本特征与样本标签(指示安全状态)之间的关系，因此后续将待检测应用的样本特征输入检测模型，便能得到相应的预测结果。

在一个实施例中，步骤710可包括提取待检测应用的静态特征，其中又包括低维静态特征和高维静态特征中的一种或多种。

待检测应用涉及的低纬静态特征主要包括应用权限、组件名称、元数据键值对、应用打包名称、应用所使用的证书信息、以及操作码序列中的任意项特征。

待检测应用涉及的高维静态特征，例如包括但不限于该应用样本的加固方式和打包方式等等。

在一个实施例中，步骤710还可包括提取待检测应用的动态特征。

待检测应用涉及的动态特征主要包括对预定API应用编程接口的调用，以及应用的操作行为特征。

上述样本特征的提取过程可参考步骤610的详细描述，此处不再赘述。

在步骤720中，将样本特征输入第一非线性关系模型，获取第一预测结果，若第一预测结果指示待检测应用的安全状态为安全，则转步骤730。

这里的第一非线性关系模型例如可基于前述实施例的步骤320训练得到。

如前文所述，第一非线性关系模型是基于从已标记应用样本提取的样本特征和已标记的样本标签训练得到，因此能够反映样本特征与安全状态之间的关系。这样，步骤720将从待检测应用(未标记)中提取的样本特征，输入到第一非线性关系模型，便可预测出该应用的安全状态。

接续上文步骤320中的示例，在基于训练集数据通过GBDT训练得到最终的模型F_m(x_i)后，将样本特征输入该模型，便可得到相应的计算结果。如下表所示，假设当前待检测应用对应的预测结果，也即求得F_m(x_i)的值，为0.005，可得到该应用的第一预测结果为安全。

预测结果	F0	F1	F2	F3	F4
						0.005	0	1	0	9.0	10.0

基于第一预测结果的不同，本发明的实施例确定是否继续使用补充的检测模型。

在步骤730中，根据第一预测结果的不同，确定是否将样本特征输入第二非线性关系模型以获取第二预测结果。

这里的第二非线性关系模型例如可基于前述实施例的步骤330训练得到。

在一个实施例中，如果步骤720中确定第一预测结果指示待检测应用的安全状态为安全，则步骤730中将样本特征输入第二非线性关系模型以获取第二预测结果。反之，如果步骤720中确定第一预测结果指示待检测应用的安全状态为病毒，则直接输出第一预测结果并产生告警提示。

第一非线性关系模型的训练数据规模(即已标记的应用样本的规模)较大，因此不适于进行频繁的更新训练，由此对于新出现的恶意应用类型，难免造成应对不及时的问题。相比之下，第二非线性关系模型的训练数据规模(即反馈预测错误的待检测应用的规模)较小，可以适应频繁的更新训练，以及时应对新出现或变化的恶意应用类型。为此，在以上实施例中，步骤730对于第一预测结果指示为安全的预测结果，继续使用第二非线性关系模型进行检测，以获取并输出第二预测结果。也即，此时如果第二预测结果也指示当前待检测应用为安全，则能够更加确信其安全状态；否则，如果第二预测结果指示当前待检测应用为病毒，则忽略第一预测结果，以第二预测结果为准，例如可向用户显示告警提示。

尽管如此，本发明的实施例并不仅限于此。例如，在另一个实施例中，如果步骤720中确定第一预测结果指示待检测应用的安全状态为病毒，则步骤730中将样本特征输入第二非线性关系模型以获取第二预测结果。反之，如果步骤720中确定第一预测结果指示待检测应用的安全状态为安全，则直接输出第一预测结果。

在一个实施例中，步骤730之后还包括对预测结果的反馈步骤(图中未示出)。例如，反馈步骤可包括：验证所述第一预测结果的正确性，以及在确定第一预测结果错误时，提供与样本特征和改正后结果对应的反馈，使第二非线性关系模型得以进行更新。

这里，对第一预测结果的验证可基于人工反馈或者基于与第二预测结果的比较来进行。例如，在第一预测结果指示待检测应用安全时，如果第二预测结果输出了告警提示，可视为确定第一预测结果错误。又例如，在第一预测结果指示待检测应用为病毒时，提示用户后续输入反馈结果，以确定第一预测结果是否错误。

基于上述实施例用于检测恶意应用的方案，使用基于已标记应用样本训练得到的检测模型，同时结合基于预测错误样本训练得到的补充模型，能够提高恶意应用检测的覆盖率和准确率。

在一些实施例中，本发明实施例的方案将基于样本动静态特征结合训练得到第一非线性关系模型用于恶意应用检测，不再过度依赖病毒分析人员的特征提取能力，通过现有病毒特征能关联发现覆盖面更全的补充病毒特征，能够更全面和更准确地完成病毒检测。

在一些实施例中，本发明实施例的方案将基于模型预测错误的样本重新训练得到的第二非线性关系模型，用于对第一非线性关系模型预测结果指示安全的待检测应用进行补充检测。能够进一步提高病毒检测的覆盖率和准确率，同时，能够在避免频繁第一非线性关系模型的情况下，通过第二非线性关系模型更及时的应对新型和变种病毒。

下述为本发明装置实施例，可以用于执行本发明上述对话模型的更新训练方法的实施例。对于本发明装置实施例中未披露的细节，请参照本发明对话模型的更新训练方法实施例。

图8是根据一示例性实施例示出的一种用于训练恶意应用检测模型的装置的框图。如图8所示，该用于训练恶意应用检测模型的装置可以由任意计算机设备实现，可包括以下步骤提取模块810、第一训练模块820和第二训练模块830。

提取模块810用于基于带有样本标签的应用样本提取样本特征，所述样本标签用于标记所述应用样本的安全状态。

第一训练模块820用于使用所述样本标签与所述提取的样本特征，通过训练以获取所述样本特征与安全状态之间的第一非线性关系模型，所述第一非线性关系模型用于预测待检测应用的安全状态并输出第一预测结果。

第二训练模块830用于在确定与部分待检测应用对应的第一预测结果错误时，根据改正后的第一预测结果与所述部分待检测应用的样本特征，通过训练以获取所述样本特征与安全状态之间的第二非线性关系模型，所述第二非线性关系模型用于预测待检测应用的安全状态并输出第二预测结果。

基于上述实施例用于训练检测模型的装置，通过已经标记的应用样本训练检测模型，同时结合反馈的预测错误样本训练补充模型，能够提高恶意应用检测的覆盖率和准确率。

图9是根据另一示例性实施例示出的一种用于训练恶意应用检测模型的装置的框图。如图9所示，该用于训练恶意应用检测模型的装置可以由任意计算机设备实现，在图8实施例的基础上，提取模块810包括低维提取单元811、高维提取单元812和动态提取单元813。

低维提取单元811用于提取所述应用样本的低维静态特征。其中，所述低维静态特征包括选自应用权限、组件名称、元数据键值对、应用打包名称、应用所使用的证书信息、以及操作码序列中的任意项特征。

高维提取单元812用于提取所述应用样本的高维静态特征。其中，所述高维静态特征包括选自应用的加固方式和打包方式中的任意项特征。

动态提取单元813用于提取所述应用样本的动态特征。其中，所述动态特征包括选自对预定应用编程接口API的调用以及应用的操作行为特征中的任意项特征。

在一个实施例中，第一训练模块820进一步用于：将所述样本标签与所述提取的样本特征作为输入，使用梯度提升决策树GBDT算法进行训练得到所述第一非线性关系模型；第二训练模块830用于：将所述改正后的第一预测结果与所述部分待检测应用的样本特征作为输入，使用GBDT算法进行训练得到所述第二非线性关系模型。

在一个实施例中，上述第二非线性关系模型用于，在所述第一预测结果指示所述待检测应用的安全状态为安全时，使用所述第二非线性关系模型预测所述待检测应用的安全状态并输出所述第二预测结果。

在一个实施例中，上述用于训练恶意应用检测模型的装置还包括验证模块(未示出)，设置为通过获取人工反馈结果和对比所述第二预测结果中的至少一种方式，验证所述第一预测结果的正确性。

基于上述实施例用于训练检测模型的装置，通过已经标记的应用样本训练检测模型，同时结合反馈的预测错误样本训练补充模型，能够提高恶意应用检测的覆盖率和准确率。

在一些实施例中，本发明实施例的方案将样本涉及的静态特征和动态特征相结合，通过GBDT算法自动分析挖掘病毒特征，训练得到第一非线性关系模型用于恶意应用检测。该方案不再过度依赖病毒分析人员的特征提取能力，通过现有病毒特征能关联发现覆盖面更全的补充病毒特征，能够更全面和更准确地完成病毒检测。

在一些实施例中，本发明实施例的方案将模型预测错误的样本重新使用GBDT算法进行训练，得到补充的第二非线性关系模型。因此，后续可根据两个模型完成恶意应用检测，能够进一步提高病毒检测的覆盖率和准确率。同时，能够在避免频繁第一非线性关系模型的情况下，通过第二非线性关系模型更及时的应对新型和变种病毒。

图10是根据一示例性实施例示出的一种用于检测恶意应用的装置的框图。如图10所示，该用于检测恶意应用的装置可以由任意计算机设备实现，可包括以下步骤提取模块910、第一预测模块920和第二预测模块930。

提取模块910用于基于待检测应用提取样本特征。

第一预测模块920用于将所述样本特征输入第一非线性关系模型，获取第一预测结果。

第二预测模块930用于在所述第一预测结果指示所述待检测应用的安全状态为安全时，将所述样本特征输入第二非线性关系模型以获取第二预测结果。

在一个实施例中，上述的第一非线性关系模型和第二非线性关系模型使用前述实施例用于训练恶意应用检测模型的装置训练得到。

基于上述实施例用于检测恶意应用的装置，使用基于已标记应用样本训练得到的检测模型，同时结合基于预测错误样本训练得到的补充模型，能够提高恶意应用检测的覆盖率和准确率。

图11是根据另一示例性实施例示出的一种用于检测恶意应用的装置的框图。如图11所示，该用于检测恶意应用的装置可以由任意计算机设备实现，在图10实施例的基础上，还包括：告警模块940、验证模块950和反馈模块960。

告警模块940用于在所述第一预测结果指示所述待检测应用的安全状态为病毒时，输出所述第一预测结果并产生告警提示。

验证模块950用于通过获取人工反馈结果和对比所述第二预测结果中的至少一种方式，验证所述第一预测结果的正确性。

反馈模块960用于在验证模块950确定所述第一预测结果错误时，提供与所述样本特征和改正后结果对应的反馈，以更新所述第二非线性关系模型。

基于上述实施例用于检测恶意应用的装置，使用基于已标记应用样本训练得到的检测模型，同时结合基于预测错误样本训练得到的补充模型，能够提高恶意应用检测的覆盖率和准确率。

在一些实施例中，本发明实施例的方案将基于样本动静态特征结合训练得到第一非线性关系模型用于恶意应用检测，不再过度依赖病毒分析人员的特征提取能力，通过现有病毒特征能关联发现覆盖面更全的补充病毒特征，能够更全面和更准确地完成病毒检测。

在一些实施例中，本发明实施例的方案将基于模型预测错误的样本重新训练得到的第二非线性关系模型，用于对第一非线性关系模型预测结果指示安全的待检测应用进行补充检测。能够进一步提高病毒检测的覆盖率和准确率，同时，能够在避免频繁第一非线性关系模型的情况下，通过第二非线性关系模型更及时的应对新型和变种病毒。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。作为模块或单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (12)

1.一种用于训练恶意应用检测模型的方法，其特征在于，包括：

基于带有样本标签的应用样本提取样本特征，所述样本标签用于标记所述应用样本的安全状态；

使用所述样本标签与所述提取的样本特征，通过训练以获取所述样本特征与安全状态之间的第一非线性关系模型，所述第一非线性关系模型用于预测待检测应用的安全状态并输出第一预测结果；以及

在确定与部分待检测应用对应的第一预测结果错误时，根据改正后的第一预测结果与所述部分待检测应用的样本特征，通过训练以获取所述样本特征与安全状态之间的第二非线性关系模型，在所述第一预测结果指示所述待检测应用的安全状态为安全时，使用所述第二非线性关系模型预测所述待检测应用的安全状态并输出第二预测结果。

2.如权利要求1所述的方法，其特征在于，所述的基于带有样本标签的应用样本提取样本特征，包括：

提取所述应用样本的低维静态特征和/或高维静态特征，

所述低维静态特征包括选自应用权限、组件名称、元数据键值对、应用打包名称、应用所使用的证书信息、和操作码序列中的任意项特征；

所述高维静态特征包括选自应用的加固方式和打包方式中的任意项特征。

3.如权利要求1所述的方法，其特征在于，所述的基于带有样本标签的应用样本提取样本特征，包括：

提取所述应用样本的动态特征，所述动态特征包括选自对预定应用编程接口API的调用和应用的操作行为中的任意项特征。

4.如权利要求1所述的方法，其特征在于，所述的通过训练以获取所述样本特征与安全状态之间的第一非线性关系模型，包括：将所述样本标签与所述提取的样本特征作为输入，使用梯度提升决策树GBDT算法进行训练得到所述第一非线性关系模型，

所述的通过训练以获取所述样本特征与安全状态之间的第二非线性关系模型，包括：将所述改正后的第一预测结果与所述部分待检测应用的样本特征作为输入，使用GBDT算法进行训练得到所述第二非线性关系模型。

5.如权利要求1-4任一项所述的方法，其特征在于，还包括：

通过获取人工反馈结果和对比所述第二预测结果中的至少一种方式，验证所述第一预测结果的正确性。

6.一种用于检测恶意应用的方法，其特征在于，包括：

基于待检测应用提取样本特征；

将所述样本特征输入第一非线性关系模型，获取第一预测结果；以及

在所述第一预测结果指示所述待检测应用的安全状态为安全时，将所述样本特征输入第二非线性关系模型以获取第二预测结果，

其中，所述的第一非线性关系模型和第二非线性关系模型基于权利要求1-5任一项所述的用于训练恶意应用检测模型的方法训练得到。

7.如权利要求6所述的方法，其特征在于，还包括：

在所述第一预测结果指示所述待检测应用的安全状态为病毒时，输出所述第一预测结果并产生告警提示。

8.如权利要求6或7所述的方法，其特征在于，还包括：

通过获取人工反馈结果和对比所述第二预测结果中的至少一种方式，验证所述第一预测结果的正确性；以及

在确定所述第一预测结果错误时，提供与所述样本特征和改正后结果对应的反馈，以更新所述第二非线性关系模型。

9.一种用于训练恶意应用检测模型的装置，其特征在于，包括：

提取模块，用于基于带有样本标签的应用样本提取样本特征，所述样本标签用于标记所述应用样本的安全状态；

第一训练模块，用于使用所述样本标签与所述提取的样本特征，通过训练以获取所述样本特征与安全状态之间的第一非线性关系模型，所述第一非线性关系模型用于预测待检测应用的安全状态并输出第一预测结果；以及

第二训练模块，用于在确定与部分待检测应用对应的第一预测结果错误时，根据改正后的第一预测结果与所述部分待检测应用的样本特征，通过训练以获取所述样本特征与安全状态之间的第二非线性关系模型，在所述第一预测结果指示所述待检测应用的安全状态为安全时，使用所述第二非线性关系模型预测所述待检测应用的安全状态并输出第二预测结果。

10.一种用于检测恶意应用的装置，其特征在于，包括：

提取模块，用于基于待检测应用提取样本特征；

第一预测模块，用于将所述样本特征输入第一非线性关系模型，获取第一预测结果；以及

第二预测模块，用于在所述第一预测结果指示所述待检测应用的安全状态为安全时，将所述样本特征输入第二非线性关系模型以获取第二预测结果，

其中，所述的第一非线性关系模型和第二非线性关系模型使用权利要求9所述的用于训练恶意应用检测模型的装置训练得到。

11.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据权利要求1至5中任一项所述的用于训练恶意应用检测模型的方法或者权利要求6至8中任一项所述的用于检测恶意应用的方法。

12.一种电子设备，其特征在于，包括：

处理器；以及

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现根据权利要求1至5中任一项所述的用于训练恶意应用检测模型的方法或者权利要求6至8中任一项所述的用于检测恶意应用的方法。

Images