CN113868660A - 恶意软件检测模型的训练方法、装置以及设备 - Google Patents

恶意软件检测模型的训练方法、装置以及设备 Download PDF

Info

Publication number
CN113868660A
CN113868660A CN202111453732.2A CN202111453732A CN113868660A CN 113868660 A CN113868660 A CN 113868660A CN 202111453732 A CN202111453732 A CN 202111453732A CN 113868660 A CN113868660 A CN 113868660A
Authority
CN
China
Prior art keywords
feature
characteristic
detection model
training
columns
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111453732.2A
Other languages
English (en)
Other versions
CN113868660B (zh
Inventor
王闰婷
白兴伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Huayuan Information Technology Co Ltd
Original Assignee
Beijing Huayuan Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Huayuan Information Technology Co Ltd filed Critical Beijing Huayuan Information Technology Co Ltd
Priority to CN202111453732.2A priority Critical patent/CN113868660B/zh
Publication of CN113868660A publication Critical patent/CN113868660A/zh
Application granted granted Critical
Publication of CN113868660B publication Critical patent/CN113868660B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
    • G06F21/562—Static detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Virology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本公开的实施例提供了一种恶意软件检测模型的训练方法、装置以及设备。该方法包括：获取训练数据集；对训练数据集中的设备样本进行特征分析，包括：计算多个设备样本对应的特征列的缺失值占比，并计算缺失值占比小于或等于预设缺失阈值的特征列与多个设备样本对应的标签列的关联系数；根据特征分析结果对特征分析后的设备样本进行特征预处理；采用特征预处理后的设备样本对预设恶意软件检测模型进行训练，得到恶意软件检测模型。以此方式，可以采用特征分析和特征预处理后的设备样本快速训练预设恶意软件检测模型，得到检测能力较强的恶意软件检测模型，进而基于该模型可以快速精确地检测待检测设备是否感染恶意软件。

Description

恶意软件检测模型的训练方法、装置以及设备
技术领域
本公开涉及机器学习领域，尤其涉及一种恶意软件检测模型的训练方法、装置以及设备。
背景技术
网络安全行业一直致力于防治恶意软件的攻击行为，攻击者可利用恶意软件感染受害设备，达到破坏用户和企业数据资源保密性、完整性的目的。目前传统方案通常利用特征码扫描、查找广谱特征、启发式扫描技术检测设备是否感染恶意软件，但是传统方案需要提取大量特征后才能实施检测，检测效率较低。
发明内容
本公开提供了一种恶意软件检测模型的训练方法、装置以及设备，能够提高恶意软件的检测效率。
第一方面，本公开实施例提供了一种恶意软件检测模型的训练方法，该方法包括：
获取训练数据集，其中，训练数据集包括多个设备样本；
对训练数据集中的设备样本进行特征分析，包括：计算多个设备样本对应的特征列的缺失值占比，并计算缺失值占比小于或等于预设缺失阈值的特征列与多个设备样本对应的标签列的关联系数；
根据特征分析结果对特征分析后的设备样本进行特征预处理；
采用特征预处理后的设备样本对预设恶意软件检测模型进行训练，得到恶意软件检测模型。
在第一方面的一些可实现方式中，根据特征分析结果对特征分析后的设备样本进行特征预处理，包括：
从缺失值占比小于或等于预设缺失阈值的特征列中，确定并保留关联系数大于或等于预设关联阈值的特征列。
在第一方面的一些可实现方式中，根据特征分析结果对特征分析后的设备样本进行特征预处理，还包括：
若关联系数大于或等于预设关联阈值的特征列中存在关联系数相同的特征列，则计算关联系数相同的特征列的稳定系数，并删除稳定系数小于最大稳定系数的特征列。
在第一方面的一些可实现方式中，根据特征分析结果对特征分析后的设备样本进行特征预处理，还包括：
根据用户输入的删除指令，删除该删除指令对应的特征列。
在第一方面的一些可实现方式中，根据特征分析结果对特征分析后的设备样本进行特征预处理，还包括：
对关联系数大于或等于预设关联阈值的特征列进行异常值处理和缺失值处理；
对处理后的特征列和标签列进行编码。
在第一方面的一些可实现方式中，根据特征分析结果对特征分析后的设备样本进行特征预处理，还包括：
对关联系数大于或等于预设关联阈值的特征列进行归一化处理。
在第一方面的一些可实现方式中，采用特征预处理后的设备样本对预设恶意软件检测模型进行训练，得到恶意软件检测模型，包括：
根据特征预处理后的设备样本对应的特征列和标签列训练预设恶意软件检测模型，得到恶意软件检测模型。
第二方面，本公开实施例提供了一种恶意软件检测方法，该方法包括：
获取待检测设备的设备特征；
基于恶意软件检测模型对设备特征进行检测，确定待检测设备是否感染恶意软件，其中，恶意软件检测模型基于如以上所述的恶意软件检测模型的训练方法得到。
第三方面，本公开实施例提供了一种恶意软件检测模型的训练装置，该装置包括：
获取模块，用于获取训练数据集，其中，训练数据集包括多个设备样本；
分析模块，用于对训练数据集中的设备样本进行特征分析，包括：计算多个设备样本对应的特征列的缺失值占比，并计算缺失值占比小于或等于预设缺失阈值的特征列与多个设备样本对应的标签列的关联系数；
处理模块，用于根据特征分析结果对特征分析后的设备样本进行特征预处理；
训练模块，用于采用特征预处理后的设备样本对预设恶意软件检测模型进行训练，得到恶意软件检测模型。
第四方面，本公开实施例提供了一种恶意软件检测装置，该装置包括：
获取模块，用于获取待检测设备的设备特征；
检测模块，用于基于恶意软件检测模型对设备特征进行检测，确定待检测设备是否感染恶意软件，其中，恶意软件检测模型基于如以上所述的恶意软件检测模型的训练方法得到。
第五方面，本公开实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如以上所述的方法。
第六方面，本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如以上所述的方法。
第七方面，本公开实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序，计算机程序在被处理器执行时实现如以上所述的方法。
在本公开中，以此方式，可以采用特征分析和特征预处理后的设备样本快速训练预设恶意软件检测模型，得到检测能力较强的恶意软件检测模型，进而基于该模型可以快速精确地检测待检测设备是否感染恶意软件，有效提高恶意软件的检测效果。
应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。附图用于更好地理解本方案，不构成对本公开的限定在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
图1示出了一种能够在其中实现本公开的实施例的示例性运行环境的示意图；
图2示出了本公开实施例提供的一种恶意软件检测模型的训练方法的流程图；
图3示出了本公开实施例提供的一种恶意软件检测方法的流程图；
图4示出了本公开实施例提供的一种恶意软件检测模型的训练装置的结构图；
图5示出了本公开实施例提供的一种恶意软件检测装置的结构图；
图6示出了一种能够实施本公开的实施例的示例性电子设备的结构图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
针对背景技术中出现的问题，本公开实施例提供了一种恶意软件检测模型的训练方法、装置以及设备。具体地，可以采用特征分析和特征预处理后的设备样本快速训练预设恶意软件检测模型，得到检测能力较强的恶意软件检测模型，进而基于该模型可以快速精确地检测待检测设备是否感染恶意软件，有效提高恶意软件的检测效果。
下面结合附图，通过具体的实施例对本公开实施例提供的恶意软件检测模型的训练方法、装置以及设备进行详细地说明。
图1示出了一种能够在其中实现本公开的实施例的示例性运行环境100的示意图，如图1所示，运行环境100中可以包括电子设备110和服务器120，其中，电子设备110可以通过有线网络或无线网络与服务器120通信连接。
电子设备110可以是移动电子设备，也可以是非移动电子设备。例如，移动电子设备可以是手机、平板电脑、笔记本电脑、掌上电脑或者超级移动个人计算机（Ultra-MobilePersonal Computer，UMPC）等，非移动电子设备可以是个人计算机（Personal Computer，PC）、电视（Television，TV）或者服务器等。
服务器120可以是开源数据平台，其中存储有训练数据集，示例性地，其可以是单个服务器、服务器集群或者云服务器等。
作为一个示例，电子设备110可以从服务器120中获取训练数据集，其中，训练数据集可以是恶意软件数据集，包括多个设备样本，且训练数据集中的数据多为十六进制表示的.bytes文件和含有反汇编字段的.asm文件。
然后对训练数据集中的设备样本进行特征分析，包括：计算多个设备样本对应的特征列的缺失值占比，并计算缺失值占比小于或等于预设缺失阈值的特征列与多个设备样本对应的标签列的关联系数。其中，特征列是由多个设备样本的同一类设备特征组成的列，数量为设备特征的类别数量，标签列（例如HasDetections）是由多个设备样本的标签组成的列。
接着根据特征分析结果即关联系数对特征分析后的设备样本进行特征预处理，并采用特征预处理后的设备样本对预设恶意软件检测模型进行训练，得到恶意软件检测模型。
在需要检测设备是否感染恶意软件时，可以获取待检测设备的设备特征，基于恶意软件检测模型对设备特征进行检测，进而确定待检测设备是否感染恶意软件。
以此方式，可以采用特征分析和特征预处理后的设备样本快速训练预设恶意软件检测模型，得到检测能力较强的恶意软件检测模型，进而基于该模型可以快速精确地检测待检测设备是否感染恶意软件，有效提高恶意软件的检测效果。
下面将详细介绍本公开实施例提供的恶意软件检测模型的训练方法，其中，该训练方法的执行主体可以是图1所示的电子设备110。
图2示出了本公开实施例提供的一种恶意软件检测模型的训练方法200的流程图，如图2所示，训练方法200可以包括以下步骤：
S210，获取训练数据集。
其中，训练数据集包括多个设备样本。示例性地，设备样本的设备特征可以是设备的运行状况指标，以及本身软硬件环境，例如：系统版本、防火墙版本、杀毒软件数量、默认浏览器种类、设备类型、显示器分辨率、处理器架构、内存大小等。设备样本的标签用于标识这台设备有没有感染恶意软件。
S220，对训练数据集中的设备样本进行特征分析。
由于设备样本的设备特征通常存在缺失值，即NaN、null、none、空值等无实际含义的字符，且大多数的训练方法不能处理空值类型，所以需要在训练前分析缺失值。因此，可以计算多个设备样本对应的特征列的缺失值占比，以降序方式排序，将缺失值占比大于预设缺失阈值（例如90%）的特征列添加至待删除列表，并将其删除。同时，由于设备样本的部分特征与标签存在关联关系，因此可以计算缺失值占比小于或等于预设缺失阈值的特征列与多个设备样本对应的标签列的关联系数。具体地，可以基于热度图例如可采用seaborn.heatmap()方式计算并展示缺失值占比小于或等于预设缺失阈值的特征列与多个设备样本对应的标签列的关联系数，实现直观地分析特征列与标签列的关联性。
S230，根据特征分析结果对特征分析后的设备样本进行特征预处理。
具体地，可以从缺失值占比小于或等于预设缺失阈值的特征列中，确定并保留关联系数大于或等于预设关联阈值（例如90%）的特征列。如此一来，可以从缺失值占比小于或等于预设缺失阈值的特征列中选取具备代表性的特征列，也即为设备样本选取代表性的特征。
在一些实施例中，若关联系数大于或等于预设关联阈值的特征列中存在关联系数相同的特征列，也即存在多重共线性的情况，则可以计算关联系数相同的特征列的稳定系数，并删除稳定系数小于最大稳定系数的特征列。如此一来，可以根据设备特征的稳定性进行特征选择，筛选出具有唯一性和代表性的特征。
此外，还可以接收用户输入的删除指令，删除该删除指令对应的特征列。如此一来，可以人工排查并删除无关特征，减少计算工作量。例如，Machine Identifier特征仅表示设备的标识号，对恶意软件的预测毫无帮助，用户可以直接删除Machine Identifier特征列。
在另一些实施例中，还可以对关联系数大于或等于预设关联阈值的特征列进行异常值处理和缺失值处理，对处理后的特征列和标签列进行编码。如此一来，可以便于模型训练，提高模型训练的速度以及模型的检测精度。
其中，异常值处理可以为采用绘制箱线图的方式确定该特征列中的异常值，例如使用describe方法可得到特征列的平均值、最大值、最小值、25%占比、50%占比和75%占比等统计信息，进而基于该信息绘制箱线图，将特征列中偏离最大、最小界限范围的值视为异常值，然后将异常值替换为平均值。缺失值处理可以为对该特征列中的缺失值进行补0。
针对处理后的特征列中的单值特征列可以采用字典映射的方式，将特征列中的字符转化为数字，实现编码。针对处理后的特征列中的多值特征列，使用pandas中的get_dummies()取代字典映射的方式自动实现独热编码。将标签列进行字典映射，将标签列中的字符转化为数字，实现编码，因为原始的训练数据集中未对各个标签进行分类，所以需要映射标签种类。
在另一些实施例中，还可以对关联系数大于或等于预设关联阈值的特征列进行归一化处理。如此一来，可以使得量纲缩小至[0,1]范围内，消除量纲影响，有利于提高模型训练速度。
示例性地，归一化公式可以如下所示：
Figure 874294DEST_PATH_IMAGE001
（1）
Figure DEST_PATH_IMAGE002
（2）
其中，
Figure 197960DEST_PATH_IMAGE003
为逻辑回归函数，
Figure 508855DEST_PATH_IMAGE004
为sigmoid函数，x表示设备样本的设备特征，
Figure 294277DEST_PATH_IMAGE005
表示权重矩阵，
Figure 374229DEST_PATH_IMAGE006
。
S240，采用特征预处理后的设备样本对预设恶意软件检测模型进行训练，得到恶意软件检测模型。
具体地，可以根据特征预处理后的设备样本对应的特征列和标签列训练预设恶意软件检测模型，得到恶意软件检测模型。参见S230，可以采用关联系数大于或等于预设关联阈值的特征列和标签列训练预设恶意软件检测模型，或者采用删除后的特征列和标签列训练预设恶意软件检测模型，或者采用编码后的特征列和标签列训练预设恶意软件检测模型，或者采用归一化处理后的特征列和标签列训练预设恶意软件检测模型。
其中，预设恶意软件检测模型可以为XGBoost模型或者其他模型，在此不做限制。
以XGBoost模型为例，可以预先对xgboost.XGBClassifier()中的参数进行初始化设置，学习率取值在(0.01,0.05]，树的数量取[1000,1500,2000,2500,3000]，最大深度(10,15]。
XGBoost模型的目标函数也即损失函数可以如下所示：
Figure DEST_PATH_IMAGE007
（3）
其中，
Figure 727850DEST_PATH_IMAGE008
表示正则项，
Figure DEST_PATH_IMAGE009
表示第i个设备样本在前t-1个分类器的输出结果之和，
Figure 401408DEST_PATH_IMAGE010
表示第i个设备样本在t个分类器的输出结果，xi表示第i个设备样本的设备特征，
Figure 865887DEST_PATH_IMAGE011
表示第i个设备样本的标签即真实结果，C表示常数项，n表示设备样本数量。
模型训练过程中，将采用控制变量法进行调参优化，不断训练得到恶意软件检测模型，并可以根据准确率、检测率、召回率、f1-score指标对恶意软件检测模型的恶意软件检测结果进行最终评估。
根据本公开的实施例，可以采用特征分析和特征预处理后的设备样本快速训练预设恶意软件检测模型，得到检测能力较强的恶意软件检测模型。
下面可以结合一个具体的实施例对本公开实施例提供的训练方法200进行详细介绍，具体如下：
步骤1、获取训练数据集。
步骤2、可以计算训练数据集中多个设备样本对应的特征列的缺失值占比，以降序方式排序，将缺失值占比大于90%的特征列添加至待删除列表，并将其删除。然后计算缺失值占比小于或等于90%的特征列与多个设备样本对应的标签列的关联系数。
步骤3、可以从缺失值占比小于或等于90%的特征列中，确定并保留关联系数大于或等于90%的特征列。
步骤4、若保留的特征列中存在关联系数相同的特征列，则可以计算关联系数相同的特征列的稳定系数，并删除稳定系数小于最大稳定系数的特征列。同时，可以根据用户输入的删除指令，删除该删除指令对应的特征列。
步骤5、对步骤4处理后的特征列进行异常值处理和缺失值处理，对处理后的特征列和标签列进行编码。
步骤6、对编码后的特征列进行归一化处理。
步骤7、采用归一化处理后的特征列和编码后的标签列训练XGBoost模型，得到恶意软件检测模型。
基于本公开实施例提供的恶意软件检测模型的训练方法200，本公开实施例还提供了一种恶意软件检测方法300，如图3所示，该恶意软件检测方法300可以应用于图1所示的电子设备110，包括以下步骤：
S310，获取待检测设备的设备特征。
其中，待检测设备为需要进行恶意软件检测的设备。
S320，基于恶意软件检测模型对设备特征进行检测，确定待检测设备是否感染恶意软件，其中，恶意软件检测模型基于如以上所述的训练方法得到。
具体地，可以将设备特征输入恶意软件检测模型，由恶意软件检测模型对设备特征进行分析计算，确定待检测设备是否感染恶意软件。
根据本公开的实施例，可以基于恶意软件检测模型快速精确地检测待检测设备是否感染恶意软件，有效提高恶意软件的检测效果，帮助运维人员在事件发生前及时采取防治策略。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本公开所必须的。
以上是关于方法实施例的介绍，以下通过装置实施例，对本公开所述方案进行进一步说明。
图4示出了根据本公开的实施例提供的一种恶意软件检测模型的训练装置400的结构图，如图4所示，训练装置400可以包括：
获取模块410，用于获取训练数据集，其中，训练数据集包括多个设备样本。
分析模块420，用于对训练数据集中的设备样本进行特征分析，包括：计算多个设备样本对应的特征列的缺失值占比，并计算缺失值占比小于或等于预设缺失阈值的特征列与多个设备样本对应的标签列的关联系数。
处理模块430，用于根据特征分析结果对特征分析后的设备样本进行特征预处理。
训练模块440，用于采用特征预处理后的设备样本对预设恶意软件检测模型进行训练，得到恶意软件检测模型。
在一些实施例中，处理模块430具体用于：从缺失值占比小于或等于预设缺失阈值的特征列中，确定并保留关联系数大于或等于预设关联阈值的特征列。
在一些实施例中，处理模块430，还用于若关联系数大于或等于预设关联阈值的特征列中存在关联系数相同的特征列，则计算关联系数相同的特征列的稳定系数，并删除稳定系数小于最大稳定系数的特征列。
在一些实施例中，处理模块430，还用于根据用户输入的删除指令，删除该删除指令对应的特征列。
在一些实施例中，处理模块430，还用于对关联系数大于或等于预设关联阈值的特征列进行异常值处理和缺失值处理，对处理后的特征列和标签列进行编码。
在一些实施例中，处理模块430，还用于对关联系数大于或等于预设关联阈值的特征列进行归一化处理。
在一些实施例中，训练模块440具体用于：根据特征预处理后的设备样本对应的特征列和标签列训练预设恶意软件检测模型，得到恶意软件检测模型。
可以理解的是，图4所示训练装置400中的各个模块/单元具有实现本公开实施例提供的训练方法200中的各个步骤的功能，并能达到其相应的技术效果，为了简洁，在此不再赘述。
图5示出了根据本公开的实施例提供的一种恶意软件检测装置500的结构图，如图5所示，恶意软件检测装置500可以包括：
获取模块510，用于获取待检测设备的设备特征。
检测模块520，用于基于恶意软件检测模型对设备特征进行检测，确定待检测设备是否感染恶意软件，其中，恶意软件检测模型基于如以上所述的训练方法得到。
可以理解的是，图5所示恶意软件检测装置500中的各个模块/单元具有实现本公开实施例提供的恶意软件检测方法300中的各个步骤的功能，并能达到其相应的技术效果，为了简洁，在此不再赘述。
图6示出了一种可以用来实施本公开的实施例的电子设备600的结构图。电子设备600旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备600还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示，电子设备600可以包括计算单元601，其可以根据存储在只读存储器（ROM）602中的计算机程序或者从存储单元608加载到随机访问存储器（RAM）603中的计算机程序，来执行各种适当的动作和处理。在RAM603中，还可存储电子设备600操作所需的各种程序和数据。计算单元601、ROM602以及RAM603通过总线604彼此相连。输入/输出（I/O）接口605也连接至总线604。
电子设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许电子设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如方法200或方法300。例如，在一些实施例中，方法200或方法300可被实现为计算机程序产品，包括计算机程序，其被有形地包含于计算机可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM603并由计算单元601执行时，可以执行上文描述的方法200或方法300的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行方法200或方法300。
本文中以上描述的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、片上系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，计算机可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。计算机可读介质可以是计算机可读信号介质或计算机可读储存介质。计算机可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。计算机可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
需要注意的是，本公开还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行方法200或方法300，并达到本公开实施例执行其方法达到的相应技术效果，为简洁描述，在此不再赘述。
另外，本公开还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，计算机程序在被处理器执行时实现方法200或方法300。
为了提供与用户的交互，可以在计算机上实施以上描述的实施例，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
可以将以上描述的实施例实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (10)

1.一种恶意软件检测模型的训练方法，包括：
获取训练数据集，其中，所述训练数据集包括多个设备样本；
对所述训练数据集中的设备样本进行特征分析，包括：计算所述多个设备样本对应的特征列的缺失值占比，并计算缺失值占比小于或等于预设缺失阈值的特征列与所述多个设备样本对应的标签列的关联系数；
根据特征分析结果对特征分析后的设备样本进行特征预处理；
采用特征预处理后的设备样本对预设恶意软件检测模型进行训练，得到恶意软件检测模型。
2.根据权利要求1所述的方法，其中，所述根据特征分析结果对特征分析后的设备样本进行特征预处理，包括：
从缺失值占比小于或等于预设缺失阈值的特征列中，确定并保留关联系数大于或等于预设关联阈值的特征列。
3.根据权利要求2所述的方法，其中，所述根据特征分析结果对特征分析后的设备样本进行特征预处理，还包括：
若所述关联系数大于或等于预设关联阈值的特征列中存在关联系数相同的特征列，则计算关联系数相同的特征列的稳定系数，并删除稳定系数小于最大稳定系数的特征列。
4.根据权利要求3所述的方法，其中，所述根据特征分析结果对特征分析后的设备样本进行特征预处理，还包括：
根据用户输入的删除指令，删除所述删除指令对应的特征列。
5.根据权利要求2所述的方法，其中，所述根据特征分析结果对特征分析后的设备样本进行特征预处理，还包括：
对所述关联系数大于或等于预设关联阈值的特征列进行异常值处理和缺失值处理；
对处理后的特征列和所述标签列进行编码。
6.根据权利要求2所述的方法，其中，所述根据特征分析结果对特征分析后的设备样本进行特征预处理，还包括：
对所述关联系数大于或等于预设关联阈值的特征列进行归一化处理。
7.根据权利要求1所述的方法，其中，所述采用特征预处理后的设备样本对预设恶意软件检测模型进行训练，得到恶意软件检测模型，包括：
根据特征预处理后的设备样本对应的特征列和标签列训练预设恶意软件检测模型，得到恶意软件检测模型。
8.一种恶意软件检测方法，包括：
获取待检测设备的设备特征；
基于恶意软件检测模型对所述设备特征进行检测，确定所述待检测设备是否感染恶意软件，其中，所述恶意软件检测模型基于权利要求1-7任意一项所述的恶意软件检测模型的训练方法得到。
9.一种恶意软件检测模型的训练装置，包括：
获取模块，用于获取训练数据集，其中，所述训练数据集包括多个设备样本；
分析模块，用于对所述训练数据集中的设备样本进行特征分析，包括：计算所述多个设备样本对应的特征列的缺失值占比，并计算缺失值占比小于或等于预设缺失阈值的特征列与所述多个设备样本对应的标签列的关联系数；
处理模块，用于根据特征分析结果对特征分析后的设备样本进行特征预处理；
训练模块，用于采用特征预处理后的设备样本对预设恶意软件检测模型进行训练，得到恶意软件检测模型。
10.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
CN202111453732.2A 2021-12-01 2021-12-01 恶意软件检测模型的训练方法、装置以及设备 Active CN113868660B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111453732.2A CN113868660B (zh) 2021-12-01 2021-12-01 恶意软件检测模型的训练方法、装置以及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111453732.2A CN113868660B (zh) 2021-12-01 2021-12-01 恶意软件检测模型的训练方法、装置以及设备

Publications (2)

Publication Number Publication Date
CN113868660A true CN113868660A (zh) 2021-12-31
CN113868660B CN113868660B (zh) 2022-03-08

Family

ID=78985373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111453732.2A Active CN113868660B (zh) 2021-12-01 2021-12-01 恶意软件检测模型的训练方法、装置以及设备

Country Status (1)

Country Link
CN (1) CN113868660B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108595955A (zh) * 2018-04-25 2018-09-28 东北大学 一种安卓手机恶意应用检测系统及方法
US10572823B1 (en) * 2016-12-13 2020-02-25 Ca, Inc. Optimizing a malware detection model using hyperparameters
CN112329016A (zh) * 2020-12-31 2021-02-05 四川大学 一种基于深度神经网络的可视化恶意软件检测装置及方法
US20210049428A1 (en) * 2019-08-16 2021-02-18 Fico Managing missing values in datasets for machine learning models
CN112380537A (zh) * 2020-11-30 2021-02-19 北京天融信网络安全技术有限公司 一种检测恶意软件的方法、装置、存储介质和电子设备
CN112446420A (zh) * 2020-11-03 2021-03-05 天津大学 一种大规模硬盘故障预测领域中的数据预处理算法
CN112764791A (zh) * 2021-01-25 2021-05-07 济南大学 一种增量更新的恶意软件检测方法及系统
CN113361663A (zh) * 2021-08-09 2021-09-07 国网浙江省电力有限公司金华供电公司 基于人工智能的电网事件诊断自主学习方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10572823B1 (en) * 2016-12-13 2020-02-25 Ca, Inc. Optimizing a malware detection model using hyperparameters
CN108595955A (zh) * 2018-04-25 2018-09-28 东北大学 一种安卓手机恶意应用检测系统及方法
US20210049428A1 (en) * 2019-08-16 2021-02-18 Fico Managing missing values in datasets for machine learning models
CN112446420A (zh) * 2020-11-03 2021-03-05 天津大学 一种大规模硬盘故障预测领域中的数据预处理算法
CN112380537A (zh) * 2020-11-30 2021-02-19 北京天融信网络安全技术有限公司 一种检测恶意软件的方法、装置、存储介质和电子设备
CN112329016A (zh) * 2020-12-31 2021-02-05 四川大学 一种基于深度神经网络的可视化恶意软件检测装置及方法
CN112764791A (zh) * 2021-01-25 2021-05-07 济南大学 一种增量更新的恶意软件检测方法及系统
CN113361663A (zh) * 2021-08-09 2021-09-07 国网浙江省电力有限公司金华供电公司 基于人工智能的电网事件诊断自主学习方法及系统

Also Published As

Publication number Publication date
CN113868660B (zh) 2022-03-08

Similar Documents

Publication Publication Date Title
CN112801164A (zh) 目标检测模型的训练方法、装置、设备及存储介质
CN113642583B (zh) 用于文本检测的深度学习模型训练方法及文本检测方法
CN112949767A (zh) 样本图像增量、图像检测模型训练及图像检测方法
CN114363019A (zh) 钓鱼网站检测模型的训练方法、装置、设备及存储介质
CN114881129A (zh) 一种模型训练方法、装置、电子设备及存储介质
CN112800919A (zh) 一种检测目标类型视频方法、装置、设备以及存储介质
CN114553591A (zh) 随机森林模型的训练方法、异常流量检测方法及装置
CN113705362A (zh) 图像检测模型的训练方法、装置、电子设备及存储介质
US20230096921A1 (en) Image recognition method and apparatus, electronic device and readable storage medium
CN110751354B (zh) 一种异常用户的检测方法和装置
CN113887630A (zh) 图像分类方法、装置、电子设备和存储介质
CN114157480A (zh) 网络攻击方案的确定方法、装置、设备和存储介质
CN113312611A (zh) 密码检测方法、装置、设备和计算机可读存储介质
CN113904943A (zh) 账号检测方法、装置、电子设备和存储介质
CN115589339B (zh) 网络攻击类型识别方法、装置、设备以及存储介质
WO2016127858A1 (zh) 网页入侵脚本特征的识别方法及设备
CN109992960B (zh) 一种伪造参数检测方法、装置、电子设备及存储介质
CN113868660B (zh) 恶意软件检测模型的训练方法、装置以及设备
CN113395297B (zh) 漏洞处理方法、装置、设备和计算机可读存储介质
CN116342164A (zh) 目标用户群体的定位方法、装置、电子设备及存储介质
CN114417029A (zh) 模型训练方法、装置、电子设备及存储介质
CN113963011A (zh) 图像识别方法、装置、电子设备及存储介质
CN114093006A (zh) 活体人脸检测模型的训练方法、装置、设备以及存储介质
CN113221035A (zh) 用于确定异常网页的方法、装置、设备、介质和程序产品
CN108009233B (zh) 一种图像还原方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant