CN115168852A - 恶意代码检测系统训练方法及装置、电子设备和存储介质 - Google Patents
恶意代码检测系统训练方法及装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN115168852A CN115168852A CN202210689851.6A CN202210689851A CN115168852A CN 115168852 A CN115168852 A CN 115168852A CN 202210689851 A CN202210689851 A CN 202210689851A CN 115168852 A CN115168852 A CN 115168852A
- Authority
- CN
- China
- Prior art keywords
- training
- malicious code
- code sample
- detection model
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
- G06F21/562—Static detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Virology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开公开了一种恶意代码检测系统训练方法及装置、电子设备和存储介质,涉及信息处理领域。主要技术方案包括:基于第一训练检测模型,得到第二训练恶意代码样本;对得到的第二训练恶意代码样本进行标注,用其对第三训练恶意代码样本进行更新;重复获取第二训练恶意代码样本,迭代更新第三训练恶意代码样本,以使用最新的第三训练恶意代码样本对第一训练检测模型进行训练;当满足训练终止条件后,得到预设检测模型。与相关技术相比,重复获取第二训练恶意代码样本,迭代更新第三训练恶意代码样本,以使用最新的第三训练恶意代码样本对第一训练检测模型进行训练,进而得到了基于深度学习方法且提供训练样本动态标注功能的恶意代码检测系统。
Description
技术领域
本公开涉及信息处理领域,尤其涉及一种恶意代码检测系统训练方法及装置、电子设备和存储介质。
背景技术
传统的人工检测方法,即将恶意代码样本提交网络安全专家进行分析,根据专家知识检测出不同类型的恶意代码,虽然准确率高,但是无法有效应对百万级规模的恶意代码的检测。为了应对这一挑战,受到机器学习和深度学习方法在机器视觉、自然语言处理等领域广泛应用的启发,业界与学术界将这两种方法引入了恶意代码检测领域,开始了恶意代码自动化检测的新时代。
然而,这两类检测方法均需要使用带有标注的恶意代码样本所构成的训练集进行训练,其检测性能与训练集的质量直接相关,当模型处于不同的训练阶段时,训练样本的选择标准也会随之改变。同时,每个训练样本的准确标注都需要网络安全专家人工进行,如果仅提交对当前模型训练更有信息量的样本进行标注,无疑可以在标注成本一定的情况下获得更高性能的检测系统。目前已有学者针对机器学习方法设计基于训练样本动态标注的恶意代码检测系统,但是机器学习相对深度学习存在输入特征维度较低,原始特征映射过程有信息损耗,需要引入专家支持等问题,对机器学习方法有效的信息量评估标准直接应用于深度学习方法效果不佳。
在相关技术中,还没有基于深度学习方法且提供训练样本动态标注功能的恶意代码检测系统。因此,设计一种基于深度学习方法且提供训练样本动态标注功能的恶意代码检测系统是目前急需解决的问题。
发明内容
本公开提供了一种恶意代码检测系统训练方法及装置、电子设备和存储介质。其主要目的在于解决相关技术中,还没有基于深度学习方法且提供训练样本动态标注功能的恶意代码检测系统的问题。
根据本公开的第一方面,提供了一种恶意代码检测系统训练方法,包括:
将第一训练恶意代码样本输入第一训练检测模型,得到与所述第一训练恶意代码样本相关的未标注高信息量的第二训练恶意代码样本;
对所述第二训练恶意代码样本进行标注;
使用所述标注后的第二训练恶意代码样本对第三训练恶意代码样本进行更新,所述第三训练恶意代码样本为训练第二训练检测模型使用的恶意代码样本;
使用更新后的第三恶意代码样本对所述第一训练检测模型进行训练,基于所述第一训练检测模型重复获取第二训练恶意代码样本,迭代更新第三训练恶意代码样本,以使用最新的第三训练恶意代码样本对所述第一训练检测模型进行训练;
当满足训练终止条件后,将所述第一训练检测模型确定为预设检测模型。
可选的,在将第一训练恶意代码样本输入第一训练检测模型之前,所述方法还包括:
构建基于深度学习模型的第二训练检测模型;
通过将已训练完成的相同结构模型的预训练参数迁移到第二训练检测模型,完成第二训练检测模型的加载;
基于训练用恶意代码样本在第二训练检测模型上的状态,计算各恶意代码样本的信息量;
将满足预设高信息量标准的预设类别数量的恶意代码样本进行标注,得到第三训练恶意代码样本;
使用第三训练恶意代码样本对第二训练检测模型进行训练,得到第一训练检测模型。
可选的,所述将第一训练恶意代码样本输入第一训练检测模型,得到与所述第一训练恶意代码样本相关的未标注高信息量的第二训练恶意代码样本包括:
将第一恶意代码训练样本输入所述第一训练检测模型;
计算第一恶意代码训练样本中各样本相对第一训练检测模型中最后一层全连接网络各参数的梯度向量;
根据所述梯度向量对各样本进行聚类;
将各类恶意代码中距离各聚类质心最近的样本,确定为第二训练恶意代码样本。
可选的,所述使用所述标注后的第二训练恶意代码样本对第三训练恶意代码样本进行更新包括:
将所述标注后的第二训练恶意代码样本与所述第三训练恶意代码样本进行合并,完成第三训练恶意代码样本的更新。
可选的,所述使用更新后的第三恶意代码样本对所述第一训练检测模型进行训练,基于所述第一训练检测模型重复获取第二训练恶意代码样本,迭代更新第三训练恶意代码样本,以使用最新的第三训练恶意代码样本对所述第一训练检测模型进行训练包括:
若每对第三训练恶意代码样本进行一次迭代更新,则基于最新的第三训练恶意代码样本,对第一训练检测模型的检测性能进行一次校正。
可选的,所述当满足训练终止条件后,将所述第一训练检测模型确定为预设检测模型包括:
若对第一训练检测模型的训练达到了预设训练终止条件,则停止训练;
将得到的第一训练检测模型确定为预设检测模型。
根据本公开的第二方面,提供了一种恶意代码检测系统训练装置,包括:
输入单元,用于将第一训练恶意代码样本输入第一训练检测模型,得到与所述第一训练恶意代码样本相关的未标注高信息量的第二训练恶意代码样本;
第一标注单元,用于对所述第二训练恶意代码样本进行标注;
更新单元,用于使用所述标注后的第二训练恶意代码样本对第三训练恶意代码样本进行更新,所述第三训练恶意代码样本为训练第二训练检测模型使用的恶意代码样本;
第一训练单元,用于使用更新后的第三恶意代码样本对所述第一训练检测模型进行训练,基于所述第一训练检测模型重复获取第二训练恶意代码样本,迭代更新第三训练恶意代码样本,以使用最新的第三训练恶意代码样本对所述第一训练检测模型进行训练;
确定单元,用于当满足训练终止条件后,将所述第一训练检测模型确定为预设检测模型。
可选的,所述装置还包括:
构建单元,用于构建基于深度学习模型的第二训练检测模型;
迁移单元,用于通过将已训练完成的相同结构模型的预训练参数迁移到第二训练检测模型,完成第二训练检测模型的加载;
获取单元,用于预先获取已标注高信息量恶意代码样本;
生成单元,用于将所述已标注高信息量恶意代码样本划分出预设类别,生成第三训练恶意代码样本;
第二训练单元,用于基于第三训练恶意代码样本对第二训练检测模型进行训练,得到第一训练检测模型。
可选的,所述输入单元包括:
输入模块,用于将第一恶意代码训练样本输入所述第一训练检测模型;
计算模块,用于计算第一恶意代码训练样本中各样本相对第一训练检测模型中最后一层全连接网络各参数的梯度向量;
聚类模块,用于根据所述梯度向量对各样本进行聚类;
确定模块,用于将各类恶意代码中距离各聚类质心最近的样本,确定为第二训练恶意代码样本。
可选的,所述更新单元,还用于将所述标注后的第二训练恶意代码样本与所述第三训练恶意代码样本进行合并,完成第三训练恶意代码样本的更新。
可选的,所述第一训练单元,还用于当每对第三训练恶意代码样本进行一次迭代更新时,基于最新的第三训练恶意代码样本,对第一训练检测模型的检测性能进行一次校正。
可选的,所述确定单元包括:
停止模块,当对第一训练检测模型的训练达到了预设训练终止条件时,停止训练;
确定模块,用于将得到的第一训练检测模型确定为预设检测模型。
根据本公开的第三方面,提供了一种电子设备,包括:
至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述第一方面所述的方法。
根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行前述第一方面所述的方法。
根据本公开的第五方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现如前述第一方面所述的方法。
本公开提供的恶意代码检测系统训练方法及装置、电子设备和存储介质,将第一训练恶意代码样本输入第一训练检测模型,得到与所述第一训练恶意代码样本相关的未标注高信息量的第二训练恶意代码样本;对所述第二训练恶意代码样本进行标注;使用所述标注后的第二训练恶意代码样本对第三训练恶意代码样本进行更新,所述第三训练恶意代码样本为训练第二训练检测模型使用的恶意代码样本;使用更新后的第三恶意代码样本对所述第一训练检测模型进行训练,基于所述第一训练检测模型重复获取第二训练恶意代码样本,迭代更新第三训练恶意代码样本,以使用最新的第三训练恶意代码样本对所述第一训练检测模型进行训练;当满足训练终止条件后,将所述第一训练检测模型确定为预设检测模型。与相关技术相比,本公开实施例基于第一训练检测模型重复获取第二训练恶意代码样本,迭代更新第三训练恶意代码样本,以使用最新的第三训练恶意代码样本对所述第一训练检测模型进行训练,提升第一训练检测模型的检测性能,最后得到了预设检测模型,进而得到了基于深度学习方法且提供训练样本动态标注功能的恶意代码检测系统。
应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
解决技术问题+技术方案几个方面+有益效果
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1为本公开实施例所提供的一种恶意代码检测系统训练方法的流程示意图;
图2为本公开实施例所提供的一种恶意代码检测系统迭代训练方法的流程示意图;
图3为本公开提供的另一种恶意代码检测系统训练方法的流程示意图;
图4为本公开提供的一种恶意代码检测系统训练装置的结构示意图;
图5为本公开提供的另一种恶意代码检测系统训练装置的结构示意图;
图6示出了可以用来实施本公开的实施例的示例电子设备400的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本公开实施例的恶意代码检测系统训练方法及装置、电子设备和存储介质。
图1为本公开实施例所提供的一种恶意代码检测系统训练方法的流程示意图。如图1所示,该方法包含以下步骤:
步骤101,将第一训练恶意代码样本输入第一训练检测模型,得到与所述第一训练恶意代码样本相关的未标注高信息量的第二训练恶意代码样本。
在将第一训练恶意代码样本输入第一训练检测模型之前,对第一训练恶意代码样本进行预处理,得到处理后的第一训练恶意代码样本,所述第一训练恶意代码样本为待标注未聚类筛选的恶意代码样本。
为了得到第一训练恶意代码样本中的高信息量恶意代码样本,本公开实施例提供了一种实现的可能,即基于有一定聚类筛选能力的第一训练检测模型,从第一训练恶意代码样本中筛选出高信息量恶意代码样本,组成第二训练恶意代码样本。
步骤102,对所述第二训练恶意代码样本进行标注。
基于第一训练检测模型得到的第二训练恶意代码样本还未进行标注。
为了将得到的第二训练恶意代码样本用于对第一训练检测模型的训练,需要通过网络安全专家对所述第二训练恶意代码杨本进行标注,本公开实施例对具体的标注方式不进行限定。
步骤103,使用所述标注后的第二训练恶意代码样本对第三训练恶意代码样本进行更新,所述第三训练恶意代码样本为训练第二训练检测模型使用的恶意代码样本。
所述第二训练检测模型基于卷积神经网络构建,通过使用已标注且为预设类别数量的第三训练恶意代码样本对第二训练检测模型进行训练,得到第一训练检测模型。
所述第三训练恶意代码样本由网络安全专家选取预设类别数量的恶意代码样本进行分析,标注得到。
为了实现第三训练恶意代码样本的重构,本公开实施例提供了一种实现的可能,将获得的所述第二训练恶意代码样本与所述第三恶意代码样本进行合并,构建新的第三训练恶意代码样本,从而完成对所述第三训练恶意代码样本的更新。
步骤104,使用更新后的第三恶意代码样本对所述第一训练检测模型进行训练,基于所述第一训练检测模型重复获取第二训练恶意代码样本,迭代更新第三训练恶意代码样本,以使用最新的第三训练恶意代码样本对所述第一训练检测模型进行训练。
为了提升第一训练检测模型的性能,本公开实施例将基于第一训练检测模型重复获取高信息量的第二训练恶意代码样本,以此迭代更新第三训练恶意代码样本。
当每对第三训练恶意代码样本进行一次迭代更新时,便基于最新的第三训练恶意代码样本,对第一训练检测模型的检测性能进行一次校正,进而通过一次次的校正,提升第一训练检测模型的检测性能。
所述第一训练检测模型重复获取第二训练恶意代码样本,即在使用最新的第三训练恶意代码样本对所述第一训练检测模型进行训练后,第一训练检测模型再次获取第二训练恶意代码样本来对所述最新的第三训练恶意代码样本进行更新。
步骤105,当满足训练终止条件后,将所述第一训练检测模型确定为预设检测模型。
由步骤104可知,在第一训练检测模型被确定为预设检测模型之前,需要被迭代更新的第三训练恶意代码样本进行多次训练,以提升所述第一训练检测模型的检测性能。
为了得到符合预设标准的预设检测模型,本公开实施例规定了将满足训练终止条件的第一训练检测模型确定为预设检测模型,所述终止条件,例如:第二训练检测模型的检测准确率达到了预设阈值,从而终止训练;训练第二训练检测模型使用的标注的恶意代码样本总量达到了预设阈值,从而终止训练。应当明白,本公开实施例对上述训练终止条件的举例,仅仅是示范性的,本公开实施例对具体的训练终止条件并不进行限定。
为了更直观的展示本申请实施例中第一训练检测模型迭代训练的过程,图2为本公开实施例所提供的一种恶意代码检测系统迭代训练方法的流程示意图,如图2所示,基于所述第一训练检测模型重复获取第二训练恶意代码样本,迭代更新第三训练恶意代码样本,以使用最新的第三训练恶意代码样本对所述第一训练检测模型进行训练
本公开提供的恶意代码检测系统训练方法,将第一训练恶意代码样本输入第一训练检测模型,得到与所述第一训练恶意代码样本相关的未标注高信息量的第二训练恶意代码样本;对所述第二训练恶意代码样本进行标注;使用所述标注后的第二训练恶意代码样本对第三训练恶意代码样本进行更新,所述第三训练恶意代码样本为训练第二训练检测模型使用的恶意代码样本;使用更新后的第三恶意代码样本对所述第一训练检测模型进行训练,基于所述第一训练检测模型重复获取第二训练恶意代码样本,迭代更新第三训练恶意代码样本,以使用最新的第三训练恶意代码样本对所述第一训练检测模型进行训练;当满足训练终止条件后,将所述第一训练检测模型确定为预设检测模型。与相关技术相比,本公开实施例基于第一训练检测模型重复获取第二训练恶意代码样本,迭代更新第三训练恶意代码样本,以使用最新的第三训练恶意代码样本对所述第一训练检测模型进行训练,提升第一训练检测模型的检测性能,最后得到了预设检测模型,进而得到了基于深度学习方法且提供训练样本动态标注功能的恶意代码检测系统。
图3为本公开实施例所提供的另一种恶意代码检测系统训练方法的流程示意图。如图3所示,该方法包含以下步骤:
步骤201,构建基于深度学习模型的第二训练检测模型。
基于卷积神经网络,构建第二训练检测模型,所述卷积神将网络由多个卷积层,池化层和全连接层组成。
步骤202,通过将已训练完成的相同结构模型的预训练参数迁移到第二训练检测模型,完成第二训练检测模型的加载。
为了实现第二训练检测模型的快速训练,使第二训练检测模型具有一定的检测能力,本公开实施例采用了迁移学习,初始化训练的方法,例如:使第二训练检测模型加载在机器视觉训练集ImageNet上训练好的相同结构模型的预训练参数,使第二训练检测模型可以进行基础的检测。本公开实施例对具体的训练方式不进行限定。
步骤203,预先获取已标注高信息量恶意代码样本。
所述已标注高信息量恶意代码样本由网络安全专家进行选取,并对其进行标注。
步骤204,将所述已标注高信息量恶意代码样本划分出预设类别,生成第三训练恶意代码样本。
将经由步骤203得到的已标注高信息量恶意代码样本基于预设类别进行分类,最终生成第三训练恶意代码样本。
例如:预设类别为N类,则将所述已标注高信息量恶意代码样本分为N类。具体的,本公开实施例对此不进行限定。
步骤205,基于第三训练恶意代码样本对第二训练检测模型进行训练,得到第一训练检测模型。
为了提升高信息量恶意代码样本对第二训练检测模型的训练效果,本公开实施例提供了一种方法,例如:将十六进制表示的高信息量恶意代码样本的每个字节(0x00-FF)转换成0-255的数值,作为像素点的灰度值,逐个排布成224x224的灰度图像,将高信息量恶意代码样本转换为灰度图对第二训练检测模型进行训练,提升了训练效果。
为了得到更优检测性能的第二检测模型,使用第三训练恶意代码样本对第二训练检测模型进行训练,优化,进而得到第一训练检测模型。
作为本公开实施例的细化,在步骤101执行将第一训练恶意代码样本输入第一训练检测模型,得到与所述第一训练恶意代码样本相关的未标注高信息量的第二训练恶意代码样本时,可以采用但不限于以下实施方式,例如:将第一恶意代码训练样本输入所述第一训练检测模型;计算第一恶意代码训练样本中各样本相对第一训练检测模型中最后一层全连接网络各参数的梯度向量;根据所述梯度向量对各样本进行聚类;将各类恶意代码中距离各聚类质心最近的样本,确定为第二训练恶意代码样本。
为了更清楚的说明第二训练恶意代码样本的获得过程,本公开实施例进行举例说明,例如:输入第一训练恶意代码样本,所述第一训练恶意代码样本为待标注未聚类筛选的恶意代码样本,计算第一训练恶意代码样本中各样本相对第一训练检测模型中最后一层全连接网络各参数的梯度向量,根据梯度向量进行聚类,聚类类别在构建第二训练检测模型时,进行了预设,假设为N类。基于梯度向量将第一训练恶意代码样本聚类为N类。将距离各聚类质心最近的恶意代码样本确定为高信息量恶意代码样本,最终得到N个高信息量恶意代码样本,并将其组成第二训练恶意代码样本。具体的,本公开实施例对此不进行限定。
作为上述实施例的细化,在步骤104执行使用更新后的第三恶意代码样本对所述第一训练检测模型进行训练,基于所述第一训练检测模型重复获取第二训练恶意代码样本,迭代更新第三训练恶意代码样本,以使用最新的第三训练恶意代码样本对所述第一训练检测模型进行训练时,可以采用但不限于以下实施方式,例如:若每对第三训练恶意代码样本进行一次迭代更新,则基于最新的第三训练恶意代码样本,对第一训练检测模型的检测性能进行一次校正。
作为上述实施例的细化,在步骤105执行当满足训练终止条件后,将所述第一训练检测模型确定为预设检测模型时,可以采用但不限于以下实施方式,例如:若对第一训练检测模型的训练达到了预设训练终止条件,则停止训练;将得到的第一训练检测模型确定为预设检测模型。
综上所述,本公开实施例能达到以下效果:
1.本公开实施例基于第一训练检测模型重复获取第二训练恶意代码样本,迭代更新第三训练恶意代码样本,以使用最新的第三训练恶意代码样本对所述第一训练检测模型进行训练,提升第一训练检测模型的检测性能,最后得到了预设检测模型,进而得到了基于深度学习方法且提供训练样本动态标注功能的恶意代码检测系统。
2.基于所述第一训练检测模型重复获取第二训练恶意代码样本,迭代更新第三训练恶意代码样本,以使用最新的第三训练恶意代码样本对所述第一训练检测模型进行训练,实现了对第一训练检测模型的迭代训练,提高了第一训练检测模型的检测性能。
3.通过将已训练完成的相同结构模型的预训练参数迁移到第二训练检测模型,完成第二训练检测模型的加载,实现了第二训练检测模型的快速配置及基础功能的生成。
与上述的代码检测模型的更新方法相对应,本发明还提出一种恶意代码检测系统训练装置。由于本发明的装置实施例与上述的方法实施例相对应,对于装置实施例中未披露的细节可参照上述的方法实施例,本发明中不再进行赘述。
图4为本公开提供的一种恶意代码检测系统训练装置的结构示意图。
本发明还提出一种恶意代码检测系统训练装置,图4所示,包括:
输入单元31,用于将第一训练恶意代码样本输入第一训练检测模型,得到与所述第一训练恶意代码样本相关的未标注高信息量的第二训练恶意代码样本;
第一标注单元32,用于对所述第二训练恶意代码样本进行标注;
更新单元33,用于使用所述标注后的第二训练恶意代码样本对第三训练恶意代码样本进行更新,所述第三训练恶意代码样本为训练第二训练检测模型使用的恶意代码样本;
第一训练单元34,用于使用更新后的第三恶意代码样本对所述第一训练检测模型进行训练,基于所述第一训练检测模型重复获取第二训练恶意代码样本,迭代更新第三训练恶意代码样本,以使用最新的第三训练恶意代码样本对所述第一训练检测模型进行训练;
确定单元35,用于当满足训练终止条件后,将所述第一训练检测模型确定为预设检测模型。
本公开提供的恶意代码检测系统训练装置,将第一训练恶意代码样本输入第一训练检测模型,得到与所述第一训练恶意代码样本相关的未标注高信息量的第二训练恶意代码样本;对所述第二训练恶意代码样本进行标注;使用所述标注后的第二训练恶意代码样本对第三训练恶意代码样本进行更新,所述第三训练恶意代码样本为训练第二训练检测模型使用的恶意代码样本;使用更新后的第三恶意代码样本对所述第一训练检测模型进行训练,基于所述第一训练检测模型重复获取第二训练恶意代码样本,迭代更新第三训练恶意代码样本,以使用最新的第三训练恶意代码样本对所述第一训练检测模型进行训练;当满足训练终止条件后,将所述第一训练检测模型确定为预设检测模型。与相关技术相比,本公开实施例基于第一训练检测模型重复获取第二训练恶意代码样本,迭代更新第三训练恶意代码样本,以使用最新的第三训练恶意代码样本对所述第一训练检测模型进行训练,提升第一训练检测模型的检测性能,最后得到了预设检测模型,进而得到了基于深度学习方法且提供训练样本动态标注功能的恶意代码检测系统。
进一步地,在本实施例一种可能的实现方式中,如图5所示,图5为本公开提供的另一种恶意代码检测系统训练装置的结构示意图,所述装置还包括:
构建单元36,用于构建基于深度学习模型的第二训练检测模型;
迁移单元37,用于通过将已训练完成的相同结构模型的预训练参数迁移到第二训练检测模型,完成第二训练检测模型的加载;
获取单元38,用于预先获取已标注高信息量恶意代码样本;
生成单元39,用于将所述已标注高信息量恶意代码样本划分出预设类别,生成第三训练恶意代码样本;
第二训练单元310,用于基于第三训练恶意代码样本对第二训练检测模型进行训练,得到第一训练检测模型。
进一步地,在本实施例一种可能的实现方式中,如图5所示,所述输入单元31包括:
输入模块311,用于将第一恶意代码训练样本输入所述第一训练检测模型;
计算模块312,用于计算第一恶意代码训练样本中各样本相对第一训练检测模型中最后一层全连接网络各参数的梯度向量;
聚类模块313,用于根据所述梯度向量对各样本进行聚类;
确定模块314,用于将各类恶意代码中距离各聚类质心最近的样本,确定为第二训练恶意代码样本。
进一步地,在本实施例一种可能的实现方式中,如图5所示,所述更新单元33,还用于将所述标注后的第二训练恶意代码样本与所述第三训练恶意代码样本进行合并,完成第三训练恶意代码样本的更新。
进一步地,在本实施例一种可能的实现方式中,如图5所示,所述第一训练单元34,还用于当每对第三训练恶意代码样本进行一次迭代更新时,基于最新的第三训练恶意代码样本,对第一训练检测模型的检测性能进行一次校正。
进一步地,在本实施例一种可能的实现方式中,如图5所示,所述确定单元35包括:
停止模块351,当对第一训练检测模型的训练达到了预设训练终止条件时,停止训练;
确定模块352,用于将得到的第一训练检测模型确定为预设检测模型。
需要说明的是,前述对方法实施例的解释说明,也适用于本实施例的装置,原理相同,本实施例中不再限定。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图6示出了可以用来实施本公开的实施例的示例电子设备400的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示,设备400包括计算单元401,其可以根据存储在ROM(Read-OnlyMemory,只读存储器)402中的计算机程序或者从存储单元408加载到RAM(Random AccessMemory,随机访问/存取存储器)403中的计算机程序,来执行各种适当的动作和处理。在RAM403中,还可存储设备400操作所需的各种程序和数据。计算单元401、ROM 402以及RAM403通过总线404彼此相连。I/O(Input/Output,输入/输出)接口405也连接至总线404。
设备400中的多个部件连接至I/O接口405,包括:输入单元406,例如键盘、鼠标等;输出单元407,例如各种类型的显示器、扬声器等;存储单元408,例如磁盘、光盘等;以及通信单元409,例如网卡、调制解调器、无线通信收发机等。通信单元409允许设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元401的一些示例包括但不限于CPU(Central Processing Unit,中央处理单元)、GPU(Graphic Processing Units,图形处理单元)、各种专用的AI(Artificial Intelligence,人工智能)计算芯片、各种运行机器学习模型算法的计算单元、DSP(Digital SignalProcessor,数字信号处理器)、以及任何适当的处理器、控制器、微控制器等。计算单元401执行上文所描述的各个方法和处理,例如异常诊疗行为的检测方法。例如,在一些实施例中,异常诊疗行为的检测方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元408。在一些实施例中,计算机程序的部分或者全部可以经由ROM 402和/或通信单元409而被载入和/或安装到设备400上。当计算机程序加载到RAM 403并由计算单元401执行时,可以执行上文描述的方法的一个或多个步骤。备选地,在其他实施例中,计算单元401可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行前述异常诊疗行为的检测方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、FPGA(Field Programmable Gate Array,现场可编程门阵列)、ASIC(Application-Specific Integrated Circuit,专用集成电路)、ASSP(Application Specific StandardProduct,专用标准产品)、SOC(System On Chip,芯片上系统的系统)、CPLD(ComplexProgrammable Logic Device,复杂可编程逻辑设备)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、RAM、ROM、EPROM(Electrically Programmable Read-Only-Memory,可擦除可编程只读存储器)或快闪存储器、光纤、CD-ROM(Compact Disc Read-Only Memory,便捷式紧凑盘只读存储器)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(Cathode-Ray Tube,阴极射线管)或者LCD(Liquid Crystal Display,液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:LAN(LocalArea Network,局域网)、WAN(Wide Area Network,广域网)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务("Virtual Private Server",或简称"VPS")中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
其中,需要说明的是,人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术;人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (10)
1.一种恶意代码检测系统的训练方法,其特征在于,包括:
将第一训练恶意代码样本输入第一训练检测模型,得到与所述第一训练恶意代码样本相关的未标注高信息量的第二训练恶意代码样本;
对所述第二训练恶意代码样本进行标注;
使用所述标注后的第二训练恶意代码样本对第三训练恶意代码样本进行更新,所述第三训练恶意代码样本为训练第二训练检测模型使用的恶意代码样本;
使用更新后的第三恶意代码样本对所述第一训练检测模型进行训练,基于所述第一训练检测模型重复获取第二训练恶意代码样本,迭代更新第三训练恶意代码样本,以使用最新的第三训练恶意代码样本对所述第一训练检测模型进行训练;
当满足训练终止条件后,将所述第一训练检测模型确定为预设检测模型。
2.根据权利要求1所述的训练方法,其特征在于,在将第一训练恶意代码样本输入第一训练检测模型之前,所述方法还包括:
构建基于深度学习模型的第二训练检测模型;
通过将已训练完成的相同结构模型的预训练参数迁移到第二训练检测模型,完成第二训练检测模型的加载;
预先获取已标注高信息量恶意代码样本;
将所述已标注高信息量恶意代码样本划分出预设类别,生成第三训练恶意代码样本;
基于第三训练恶意代码样本对第二训练检测模型进行训练,得到第一训练检测模型。
3.根据权利要求1所述的训练方法,其特征在于,所述将第一训练恶意代码样本输入第一训练检测模型,得到与所述第一训练恶意代码样本相关的未标注高信息量的第二训练恶意代码样本包括:
将第一恶意代码训练样本输入所述第一训练检测模型;
计算第一恶意代码训练样本中各样本相对第一训练检测模型中最后一层全连接网络各参数的梯度向量;
根据所述梯度向量对各样本进行聚类;
将各类恶意代码中距离各聚类质心最近的样本,确定为第二训练恶意代码样本。
4.根据权利要求1所述的训练方法,其特征在于,所述使用所述标注后的第二训练恶意代码样本对第三训练恶意代码样本进行更新包括:
将所述标注后的第二训练恶意代码样本与所述第三训练恶意代码样本进行合并,完成第三训练恶意代码样本的更新。
5.根据权利要求1所述的训练方法,其特征在于,所述使用更新后的第三恶意代码样本对所述第一训练检测模型进行训练,基于所述第一训练检测模型重复获取第二训练恶意代码样本,迭代更新第三训练恶意代码样本,以使用最新的第三训练恶意代码样本对所述第一训练检测模型进行训练包括:
若每对第三训练恶意代码样本进行一次迭代更新,则基于最新的第三训练恶意代码样本,对第一训练检测模型的检测性能进行一次校正。
6.根据权利要求1所述的训练方法,其特征在于,所述当满足训练终止条件后,将所述第一训练检测模型确定为预设检测模型包括:
若对第一训练检测模型的训练达到了预设训练终止条件,则停止训练;
将得到的第一训练检测模型确定为预设检测模型。
7.一种恶意代码检测系统的训练装置,其特征在于,包括:
输入单元,用于将第一训练恶意代码样本输入第一训练检测模型,得到与所述第一训练恶意代码样本相关的未标注高信息量的第二训练恶意代码样本;
第一标注单元,用于对所述第二训练恶意代码样本进行标注;
更新单元,用于使用所述标注后的第二训练恶意代码样本对第三训练恶意代码样本进行更新,所述第三训练恶意代码样本为训练第二训练检测模型使用的恶意代码样本;
第一训练单元,用于使用更新后的第三恶意代码样本对所述第一训练检测模型进行训练,基于所述第一训练检测模型重复获取第二训练恶意代码样本,迭代更新第三训练恶意代码样本,以使用最新的第三训练恶意代码样本对所述第一训练检测模型进行训练;
确定单元,用于当满足训练终止条件后,将所述第一训练检测模型确定为预设检测模型。
8.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
9.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。
10.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210689851.6A CN115168852A (zh) | 2022-06-17 | 2022-06-17 | 恶意代码检测系统训练方法及装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210689851.6A CN115168852A (zh) | 2022-06-17 | 2022-06-17 | 恶意代码检测系统训练方法及装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115168852A true CN115168852A (zh) | 2022-10-11 |
Family
ID=83484902
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210689851.6A Pending CN115168852A (zh) | 2022-06-17 | 2022-06-17 | 恶意代码检测系统训练方法及装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115168852A (zh) |
-
2022
- 2022-06-17 CN CN202210689851.6A patent/CN115168852A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112801164A (zh) | 目标检测模型的训练方法、装置、设备及存储介质 | |
CN112561077A (zh) | 多任务模型的训练方法、装置及电子设备 | |
CN112560874A (zh) | 图像识别模型的训练方法、装置、设备和介质 | |
CN112857268B (zh) | 对象面积测量方法、装置、电子设备和存储介质 | |
CN114648676A (zh) | 点云处理模型的训练和点云实例分割方法及装置 | |
CN116228867B (zh) | 位姿确定方法、装置、电子设备、介质 | |
CN115082740B (zh) | 目标检测模型训练方法、目标检测方法、装置、电子设备 | |
CN113361572A (zh) | 图像处理模型的训练方法、装置、电子设备以及存储介质 | |
CN114937025A (zh) | 图像分割方法、模型训练方法、装置、设备及介质 | |
CN113344862A (zh) | 缺陷检测方法、装置、电子设备及存储介质 | |
CN115359308A (zh) | 模型训练、难例识别方法、装置、设备、存储介质及程序 | |
CN114462598A (zh) | 深度学习模型的训练方法、确定数据类别的方法和装置 | |
CN114037052A (zh) | 检测模型的训练方法、装置、电子设备及存储介质 | |
CN115186738B (zh) | 模型训练方法、装置和存储介质 | |
CN112905743B (zh) | 文本对象检测的方法、装置、电子设备和存储介质 | |
CN115861255A (zh) | 用于图像处理的模型训练方法、装置、设备、介质及产品 | |
CN113361575B (zh) | 模型训练方法、装置和电子设备 | |
CN115579069A (zh) | scRNA-Seq细胞类型注释数据库的构建方法、装置及电子设备 | |
CN115168852A (zh) | 恶意代码检测系统训练方法及装置、电子设备和存储介质 | |
CN114817476A (zh) | 语言模型的训练方法、装置、电子设备和存储介质 | |
CN114494782A (zh) | 图像处理方法、模型训练方法、相关装置及电子设备 | |
CN114330576A (zh) | 模型处理方法、装置、图像识别方法及装置 | |
CN113313049A (zh) | 超参数的确定方法、装置、设备、存储介质以及计算机程序产品 | |
CN113807391A (zh) | 任务模型的训练方法、装置、电子设备及存储介质 | |
CN112749707A (zh) | 利用神经网络进行目标分割的方法、设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |