CN109981596B - 一种主机外联检测方法及装置 - Google Patents

一种主机外联检测方法及装置 Download PDF

Info

Publication number
CN109981596B
CN109981596B CN201910164647.0A CN201910164647A CN109981596B CN 109981596 B CN109981596 B CN 109981596B CN 201910164647 A CN201910164647 A CN 201910164647A CN 109981596 B CN109981596 B CN 109981596B
Authority
CN
China
Prior art keywords
host
external connection
information
dimension
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910164647.0A
Other languages
English (en)
Other versions
CN109981596A (zh
Inventor
李航
关塞
陈洁远
曾凡
李家昌
聂利权
阮华
万志颖
于洋
王伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910164647.0A priority Critical patent/CN109981596B/zh
Publication of CN109981596A publication Critical patent/CN109981596A/zh
Application granted granted Critical
Publication of CN109981596B publication Critical patent/CN109981596B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/145Network analysis or design involving simulating, designing, planning or modelling of a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416Event detection, e.g. attack signature detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Telephonic Communication Services (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例公开了主机外联检测方法及装置,应用于信息处理技术领域。在本实施例的方法中,外联检测装置会从待检测主机与外部网络的通信信息中,提取单维度的第一特征信息和联合维度的第二特征信息,然后再根据第一特征信息、第二特征信息及预置的外联分类模型,即可确定该待检测主机的外联是否具有恶意外联。这样,可以提取多种类型维度(即单维度和联合维度)的特征信息,使得得到的特征信息能较完整地反映待检测主机与外部网络的通信,进而最终得到的待检测主机的外联是否具有恶意外联的结果更准确。

Description

一种主机外联检测方法及装置
技术领域
本发明涉及信息处理技术领域,特别涉及一种主机外联检测方法及装置。
背景技术
一般在政府、能源等大型企事业单位中,内部网络常需要与外部网络连通,数据由内部网络直接向外部网络传输的风险是较大的,有数据泄露的可能性。当黑客渗透到内部网络后,会采用各种手段进行数据外传,例如,通过超文本传输(Hyper Text TransportProtocol,HTTP)或用户数据报协议(User Datagram Protocol,UDP)等进行数据外传;也可能会采取更加隐蔽的方式,比如将数据注入到图片、数据加密和数据分块外传等等。
由于黑客的攻击手法潜伏时间长且主要针对防御薄弱环节进行攻击,特别是一些高级的攻击,比如高持续性威胁(Advanced Persistent Threat,APT)攻击,因此检测恶意外联事件,拦截外传数据的任务是艰巨的。现有的恶意检测方法中,在外部网络部署外网检测服务器,内网扫描服务器把内部网络的探测报文发送给外部网络的目的主机,随后目的主机的回应报文由恶意外联通道送到外网检测服务器,外网检测服务器对恶意报文发出警告。
但是,以APT攻击为典型代表的新攻击类型的出现和攻击复杂度的提高,使很多传统的恶意外联检测方法效率降低或失效,无法满足实际应用中对恶意外联检测系统灵活性和适应性的需求。
发明内容
本发明实施例提供一种主机外联检测方法及装置,实现了根据待检测主机与外部网络的通信信息中单维度和联合维度的特征信息,确定待检测主机是否具有恶意外联。
本发明实施例第一方面提供一种主机外联检测方法,包括:
获取待检测主机与外部网络进行通信的通信信息;
从所述通信信息中提取单维度的第一特征信息;
从所述通信信息中提取联合维度的第二特征信息,所述联合维度为至少两个维度;
根据所述第一特征信息、第二特征信息及预置的外联分类模型,确定所述待检测主机是的外联否具有恶意外联。
本发明实施例第二方面提供一种外联检测装置,包括:
通信获取单元,用于获取待检测主机与外部网络进行通信的通信信息;
第一特征提取单元,用于从所述通信信息中提取单维度的第一特征信息;
第二特征提取单元,用于从所述通信信息中提取联合维度的第二特征信息,所述联合维度为至少两个维度;
检测单元,用于根据所述第一特征信息、第二特征信息及预置的外联分类模型,确定所述待检测主机的外联是否具有恶意外联。
本发明实施例第三方面提供一种存储介质,所述存储介质储存多条指令,所述指令适于由处理器加载并执行如本发明实施例第一方面所述的主机外联检测方法。
本发明实施例第四方面提供一种服务器,包括处理器和存储介质,所述处理器,用于实现各个指令;所述存储介质用于储存多条指令,所述指令用于由处理器加载并执行如本发明实施例第一方面所述的主机外联检测方法。
可见,在本实施例的方法中,外联检测装置会从待检测主机与外部网络的通信信息中,提取单维度的第一特征信息和联合维度的第二特征信息,然后再根据第一特征信息、第二特征信息及预置的外联分类模型,即可确定该待检测主机的外联是否具有恶意外联。这样,可以提取多种类型维度(即单维度和联合维度)的特征信息,使得得到的特征信息能较完整地反映待检测主机与外部网络的通信,进而最终得到的待检测主机的外联是否具有恶意外联的结果更准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种主机外联检测方法的示意图;
图2是本发明一个实施例提供的一种主机外联检测方法的流程图;
图3是本发明一个实施例中训练外联检测模型的方法流程图;
图4是本发明应用实施例中外联检测装置的结构示意图;
图5是本发明应用实施例中训练外联检测模型的示意图;
图6是本发明应用实施例中特征提取模块所提取的特征信息的示意图;
图7是本发明实施例提供的一种外联检测装置的结构示意图;
图8是本发明实施例提供的一种服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排它的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例提供一种主机外联检测方法,主要可以应用于如图1所示的系统中,在该系统中包括待检测主机、外联检测装置和外部网络中的至少一个目的主机(图1中以n个目的主机为例说明),其中,外联检测装置可以通过如下步骤实现主机外联检测:
获取待检测主机与外部网络进行通信的通信信息;从所述通信信息中提取单维度的第一特征信息;从所述通信信息中提取联合维度的第二特征信息,所述联合维度为至少两个维度;根据所述第一特征信息、第二特征信息及预置的外联分类模型,确定所述待检测主机的外联是否具有恶意外联。
这样,可以提取多种类型维度(即单维度和联合维度)的特征信息,使得得到的特征信息能较完整地反映待检测主机与外部网络的通信,进而最终得到的待检测主机的外联是否具有恶意外联的结果更准确。
本发明实施例提供一种主机外联检测方法,主要是由外联检测装置所执行的方法,流程图如图2所示,包括:
步骤101,获取待检测主机与外部网络进行通信的通信信息。
可以理解,外联检测装置可以针对任一内部网络中的任一主机,按照一定的周期主动发起本实施例的检测流程。且待检测主机与外部网络的通信信息可以是在待检测主机与外部网络的通信过程中,由外联检测装置随时记录的,当外联检测装置发起本实施例的流程时,外联检测装置从记录的信息中直接获取到。例如,某一时间段T,待检测主机通过某一应用进程1,与某一目的主机2传输业务3的数据,这样,外联检测装置可以记录时间段T,目的主机2的网络地址和端口号等,业务3的名称及应用进程1的名称等信息的对应关系。
具体地,获取的通信信息是指在某一段时间内,针对待检测主机分别与各个目的主机进行通信过程中的信息,可以包括但不限于如下信息:目的主机的网络地址和端口号,待检测主机与目的主机传输信息对应的业务信息,待检测主机通信时使用的应用进程等信息。
一种情况下,外联检测装置在获取了通信信息后,可以直接执行如下步骤102到104;另一种情况下,外联检测装置在获取了通信信息后,可以先将通信信息与预置的白名单进行匹配,如果通信信息中某一目的主机的信息(比如网络地址等信息)与预置的白名单相匹配,过滤通信信息中某一目的主机的信息。其中,白名单中包括多个非恶意主机的信息,每个非恶意主机的信息可以包括网络地址等。
进一步地,外联检测装置还可以对获取的通信信息进行预处理,对预处理后的通信信息,执行如下步骤102到104。其中,该预处理可以包括但不限于如下操作:过滤通信信息中的异常数据,或者,对通信信息中的某些标称型数据比如端口号进行编码等操作,这样可以简化后续步骤中的计算。
步骤102,从通信信息中提取单维度的第一特征信息。
具体地,外联检测装置可以从通信信息中提取但不限于如下至少一个维度的第一特征信息:与待检测主机通信的目的主机维度,应用进程维度和业务维度等。
步骤103,从通信信息中提取联合维度的第二特征信息,这里联合维度为至少两个维度。
具体地,外联检测装置可以从通信信息中提取如下至少一个联合维度的第二特征信息:与待检测主机通信的目的主机与应用进程的联合维度,应用进程与业务的联合维度,与待检测主机通信的目的主机与业务的联合维度,及与待检测主机通信的目的主机、应用进程和业务的联合维度等。
需要说明的是,上述步骤102和103之间并没有绝对的顺序关系,可以同时执行,也可以顺序执行,图2中所示的只是一种具体的实现方式。
步骤104,根据第一特征信息、第二特征信息及预置的外联分类模型,确定待检测主机的外联是否具有恶意外联。
这里预置的外联分类模型是一种机器学习模型,可以通过一定的训练样本训练得到,并将其运行逻辑事先储存在外联检测装置中,该外联分类模型具体用于根据任一主机与外部网络的通信信息的特征信息,对该主机的外联是否具有恶意外联,通过预置的外联分类模型可以输出该主机的外联为恶意外联的几率信息。
其中,外联分类模型具体可以为单一分类器,例如逻辑回归或支持向量机等;也可以为混合分类器,比如支持向量机与蚁群算法的整合、决策树与支持向量机的整合等;还可以为集成分类器,比如XGboost模型、梯度提升树或随机森林等等。
具体地,外联检测装置在执行本步骤的过程中,可以将第一特征信息和第二特征信息转化为一个向量,该向量的格式需要与预置的外联分类模型中输出数据的维度相同,比如向量的维度需要和外联分类模型中输入数据的维度相同。其中,外联检测装置可以对第一特征信息与第二特征信息分别进行归一化处理,并将归一化后的第一特征信息和第二特征信息进行一定计算后,即可得到一个向量。
可见,在本实施例的方法中,外联检测装置会从待检测主机与外部网络的通信信息中,提取单维度的第一特征信息和联合维度的第二特征信息,然后再根据第一特征信息、第二特征信息及预置的外联分类模型,即可确定该待检测主机的外联是否具有恶意外联。这样,可以提取多种类型维度(即单维度和联合维度)的特征信息,使得得到的特征信息能较完整地反映待检测主机与外部网络的通信,进而最终得到的待检测主机的外联是否具有恶意外联的结果更准确。
需要说明的是,本实施例的主机外联检测方法可以通过一个外联检测模型来实现,该外联检测模型用于执行上述步骤101到104。这样,在一个具体的实施例中,外联检测装置可以按照如下步骤,对该外联检测模型进行训练,流程图如图3所示,包括:
步骤201,确定初始外联检测模型,初始外联检测模型中包括:特征提取模块和外联分类模型,特征提取模块用于从任一主机与外部网络的通信信息中提取单维度和联合维度的特征信息,外联分类模型用于特征提取模块提取的特征信息确定任一主机是否具有恶意外联。
可以理解,外联检测装置在确定初始外联检测模型时,会确定初始外联检测模型所包括的多层结构和各层机构中固定参数的初始值,具体可以包括特征提取模块和外联分类模型,其中特征提取模块用于按照上述步骤102到103的方法提取特征信息,并将提取的特征信息传输给外联分类模型。其中,初始外联检测模型中的多层结构可以是如下任一种算法结构:卷积神经网络(Convolutional Neural Network,CNN),K最近邻算法(K nearestneighbors,KNN)等。
其中,固定参数是指初始外联检测模型中各层结构在计算过程中所用到的固定的,不需要随时赋值的参数,比如权重,角度等参数。
步骤202,确定训练样本,训练样本中包括多个正样本和负样本,在正样本中包括第一主机与外部网络的第一通信信息,及第一主机不具有恶意外联的第一标注信息;负样本中包括第二主机与外部网络的第二通信信息,及第二主机具有恶意外联的第二标注信息。
需要说明的是,在本实施例中,外联检测装置可以动态地更新训练样本,并根据更新后的训练样本对外联检测模型进行动态地优化。其中,在更新训练样本时,具体地更新负样本的第二主机为通过预置的外联分类模型确定为具有恶意外联的主机。
步骤203,通过初始外联检测模型分别确定各个正样本和负样本中的主机是否具有恶意外联的信息,得到初始检测结果。
具体地,通过初始外联检测模型在确定任一训练样本中的主机是否具有恶意外联时,可以由特征提取模块从任一训练样本中主机与外部网络的通信信息(比如第一通信信息或第二通信信息)中,提取单维度和联合维度的特征信息,与上述步骤102到103中得到第一特征信息和第二特征信息的方法类似,在这里不进行赘述;然后再由外联分类模型根据特征提取模块得到的特征信息确定对应主机是否具有恶意外联的信息,即初始检测结果。
步骤204,根据步骤203中初始外联检测模型确定的初始检测结果,及第一标注信息和第二标注信息,调整初始外联检测模型中的固定参数值,以得到最终的外联检测模型。
具体地,外联检测装置会先根据上述步骤203中初始外联检测模型确定的初始检测结果,及第一标注信息和第二标注信息,计算与初始外联检测模型相关的损失函数,该损失函数用于指示初始外联检测模型计算各个训练样本中主机是否具有恶意外联的误差。
这里,损失函数包括:用于表示根据初始外联检测模型确定的各个训练样本中主机是否具有恶意外联的信息,与各个训练样本中主机实际是否为恶意外联的信息(根据上述第一标注信息和第二标注信息得到)之间的差别,即误差。
这些误差的数学表现形式通常使用交叉熵损失函数来建立损失函数,而外联检测模型的训练过程就是需要尽量减少上述误差的值,该训练过程是通过反向传播求导以及梯度下降等一系列数学优化手段不断的优化上述步骤201中确定的初始外联检测模型中固定参数的参数值,并使得上述损失函数的计算值降至最低。
因此,在计算得到损失函数后,外联检测装置需要根据计算的损失函数调整初始外联检测模型中的固定参数值,以得到最终的外联检测模型。具体地,如果计算的损失函数的函数值较大,比如大于预置的值,则需要改变固定参数值,比如将某个权重的权重值减小等,使得按照调整后的固定参数值计算的损失函数的函数值减小。
另外,需要说明的是,上述步骤203到204是通过初始外联检测模型计算得到训练样本中主机是否具有恶意外联后,根据计算得到初始检测结果对初始外联检测模型中的固定参数值的一次调整,而在实际应用中,需要通过不断地循环执行上述步骤203到204,直到对固定参数值的调整满足一定的停止条件为止。
因此,外联检测装置在执行了上述实施例步骤201到204之后,还需要判断当前对固定参数值的调整是否满足预置的停止条件,如果满足,则结束流程;如果不满足,则针对调整固定参数值后的初始外联检测模型,返回执行上述步骤203到204。
其中,预置的停止条件包括但不限于如下条件中的任何一个:当前调整的固定参数值与上一次调整的固定参数值的差值小于一阈值,即调整的固定参数值达到收敛;及对固定参数值的调整次数等于预置的次数等。
以下以一个具体的应用实例来说明本发明中主机外联检测方法,本实施例中的方法可以应用如图4所示的系统中,在该系统中外联装置可以包括:白名单过滤模块、数据预处理模块、特征提取模块和分类器,其中:
白名单过滤模块,用于在内部网络中主机与外部网络的通信信息中,过滤掉属于低风险的通信信息。具体地,可以将风险低且可信任的多个主机的信息加入到白名单中,例如,内部公司的云上自营业务等。其中,白名单中各个主机的信息主要是通过专家经验来确定。
数据预处理模块,用于对内部网络中主机与外部网络的通信信息进行预处理,比如过滤异常数据等。
特征提取模块,用于从主机与外部网络的通信信息中,提取单维度和联合维度的特征信息。
该特征提取模块还用于在对下述分类器的优化过程中,可以将分类器已经预测的具有恶意外联的主机与外部网络的通信信息作为负样本,再由特征提取模块提取这部分负样本的特征信息,即回溯特征。由于负样本的个数远远低于正样本的个数,将已经预测出的包括具有恶意外联的主机作负样本添加到训练样本中,使得训练得到的分类器的预测更准确。
分类器,即上述的外联分类模型,用于根据特征提取模块提取的特征信息,输出各个主机是否具有恶意外联的信息。
本实施的主机外联检测方法可以包括如下两个部分:
(1)参考图5所示,外联检测装置可以通过如下步骤训练外联检测模型,该外联检测模型可以包括特征提取模块和分类器,具体地:
步骤301,外联检测装置先确定特征提取模块和分类器的各层结构;初始化外联检测模型,即确定外联检测模型中固定参数的初始值。
步骤302,外联检测装置会获取训练样本,在训练样本中包括多个正样本和多个负样本,每个正样本中包括第一主机与外部网络的第一通信信息,及第一主机不具有恶意外联的第一标注信息;负样本中包括第二主机与外部网络的第二通信信息,及第二主机具有恶意外联的第二标注信息。
步骤303,外联检测装置会通过特征提取模块分别从各个训练样本中的主机与外部网络的通信信息中,提取单维度的第一特征信息和联合维度的第二特征信息;然后再由分类器根据特征提取模块提取的特征信息,确定各个主机是否具有恶意外联的信息。
具体地,如图6所示,特征提取模块提取的特征信息可以包括如下单维度的第一特征信息:
(11)与主机通信的目的主机维度的特征信息,主要可以包括目的主机的网络地址和属性等信息,例如:
主机访问的目的主机的个数;与主机通信的目的主机的端口个数;主机访问的目的主机是否云主机;主机访问的目的主机是否为内容分发网络(ContentDeliveryNetwork,CDN)主机;主机访问的目的主机是否外代理主机;主机访问的目的主机为海外主机的个数等。
提取这部分特征信息时,特征提取模块可以对时间进行滑窗,针对不同时间段内主机与外部网络中的目的主机的通信信息,得到这部分特征信息。
(12)业务维度的特征信息,主要与进程及时间有关。例如:
与各个业务关联的目的主机的个数;与各个业务相关的应用进程的个数;与各个业务相关的应用进程连续出现的天数;与各个业务相关的应用进程出现的次数占总应用进程数的比例等。
提取这部分特征信息时,特征提取模块还可以使用常用的统计方法,比如应用进程出现次数的均值,方差,中位数等等。
(13)应用进程维度的特征信息,主要与时间和业务有关。例如:
各个应用进程的出现次数,或其均值、方差或中位数等等;与各个应用进程相关的业务数;与各个应用进程相关联的目的主机的个数;与各个应用进程相关联的目的主机的属性(比如端口号或所属国家等);及上述参数的个数和各个参数的长度,和各个参数的参数值是否符合理论分布,比如切比雪夫不等式等理论。
进一步地,在本实施例中,特征提取模块提取的特征信息可以包括如下联合维度的第二特征信息:
(21)与主机通信的目的主机与应用进程的联合维度的特征信息可以包括:
各个目的主机与应用进程在某一时间段内同时出现的次数;各个目的主机与应用进程在一周内现最多的次数或日;各个目的主机与应用进程同时关联的业务数;各个目的主机与应用进程同时关联的业务所属部门;各个目的主机与应用进程同时关联的目的主机的个数;各个目的主机与应用进程同时关联的目的主机的端口数;各个目的主机为海外目的主机的个数等。
(22)主机与业务的联合维度的特征信息可以包括:
各个目的主机与业务同时关联的端口数;各个目的主机与应用进程同时关联的应用进程的个数;各个目的主机与业务在一段时间内(比如一天)同时关联的端口数;与各个目的主机和业务同时关联的应用进程出现的时间段;与各个目的主机和业务同时关联的应用进程的出现次数占总应用进程数的比例。
(23)业务与应用进程的联合维度的特征信息包括:
各个业务与应用进程同时在一段时间内出现的次数,及其均值、方差、中位数等等;各个业务与应用进程同时关联的目的主机的个数及这些目的主机所属部门等。
(24)与主机通信的目的主机、业务与应用进程的联合维度的特征信息可以包括:
各个目的主机、业务与应用进程在过去一段时间内(比如过去的两周)同时出现的频率;同时出现目的主机、业务与应用进程最多的次数及时间段;各个目的主机、业务与应用进程在过去一段时间内(比如两周)同时出现的次数,或者出现次数的均值、方差、中位数、最大值或最小值等;以一个时间段(比如30分钟)为粒度,各个目的主机、业务与应用进程在每个时间粒度内同时出现的次数;各个目的主机、业务与应用进程在一段时间内(比如一周)同时出现的次数是否符合理论分布等。
进一步地,在本实施例中,在训练过程中,特征提取模块可以按照上述提取单维度和联合维度的特征信息的方法来获取训练样本中负样本的特征信息;或者可以针对负样本,直接获取如下维度的特征信息,其中,负样本中的主机可以是根据本实施例的分类器确定为具有恶意外联的主机:
(31)目的主机的维度的特征信息可以包括:
各个目的主机是否为常用主机;与各个目的主机关联的常用应用进程;与目的主机关联的业务及其属性等;以一个时间段为粒度,各个目的主机在各个时间粒度内的出现次数,或者出现次数的均值、方差或中位数等。
(32)常用应用进程的维度的特征信息可以包括:
与常用应用进程关联的业务数;与常用应用进程关联的目的主机的个数;与常用应用进程关联的目的主机的端口数;与常用应用进程关联的海外目的主机的个数。
(33)异常应用进程的维度的特征信息,这里异常应用进程是指被分类器确定为具有恶意外联的主机的应用进程,具体地,可以采用前一段时间内(比如前一天)被分类器确定为具有恶意外联的主机的应用进程。
步骤304,根据上述步骤303中分类器确定的初始检测结果,及第一标注信息和第二标注信息,调整特征提取模块和分类器中的固定参数值,以得到最终的外联检测模型,包括最终的特征提取模块和分类器。
(2)外联检测装置在训练得到外联检测模型后,针对待检测主机与外部网络的通信信息,可以先经过白名单过滤模块和数据预处理模块后,再根据训练得到的外联检测模型(包括特征提取模块和分类器),即可得到待检测主机是否具有恶意外联的信息。其中,在这个过程中,特征提取模块只会提取单维度的第一特征信息和联合维度的第二特征信息。
可见,通过本实施例中的方法,可以实现如下的效果。
1、通过白名单过滤模块,不仅能大量减少计算的数据量,同时还缩小训练过程中的正负样本的比例,使外联检测模型更加高效快速的训练。同时,白名单中能不断增加非恶意目的主机的信息,具有较强的灵活性。
2、在特征提取模块中,会提取多个种类维度的特征信息,可以较全面地反映待检测主机与外部网络的通信信息;同时在模型训练过程中,增加了回溯特征,具有强大的适应性。
3、通过不断地学习已经预测为具有恶意外联的主机的特征信息,使得外联检测模型更为准确,具有较好的鲁棒性,具有强大的适应力,能及时检测出新型的恶意外联,大大节约人力和时间成本。
本发明实施例还提供一种外联检测装置,其结构示意图如图7所示,具体可以包括:
通信获取单元10,用于获取待检测主机与外部网络进行通信的通信信息。
第一特征提取单元11,用于从所述通信获取单元10获取的通信信息中提取单维度的第一特征信息。具体地,第一特征提取单元11具体用于从所述通信信息中提取如下至少一个维度的第一特征信息:与所述待检测主机通信的目的主机维度,应用进程维度和业务维度。
第二特征提取单元12,用于从所述通信获取单元10获取的通信信息中提取联合维度的第二特征信息,所述联合维度为至少两个维度。
第二特征提取单元12,具体用于从所述通信信息中提取如下至少一个联合维度的第二特征信息:与所述待检测主机通信的目的主机与应用进程的联合维度,应用进程与业务的联合维度,与所述待检测主机通信的目的主机与业务的联合维度,及与所述待检测主机通信的目的主机、应用进程和业务的联合维度。
检测单元13,用于根据所述第一特征提取单元11获取的第一特征信息、第二特征提取单元12提取的第二特征信息及预置的外联分类模型,确定所述待检测主机的外联是否具有恶意外联。
进一步地,本实施例的外联检测装置还可以包括:过滤单元14和训练单元15,其中,过滤单元14,用于将所述通信获取单元10获取的通信信息与预置的白名单进行匹配,所述白名单中包括多个非恶意主机的网络地址;如果所述通信信息中某一目的主机的网络地址与所述预置的白名单相匹配,过滤所述通信信息中某一目的主机的信息。
训练单元15,用于确定初始外联检测模型,所述初始外联检测模型中包括:特征提取模块和外联分类模型,所述特征提取模块用于从任一主机与外部网络的通信信息中提取单维度和联合维度的特征信息,所述外联分类模型用于所述特征提取模块提取的特征信息确定所述任一主机是否具有恶意外联;获取训练样本,所述训练样本中包括多个正样本和多个负样本,所述正样本中包括第一主机与外部网络的第一通信信息,及所述第一主机不具有恶意外联的第一标注信息;所述负样本中包括第二主机与外部网络的第二通信信息,及所述第二主机具有恶意外联的第二标注信息;通过所述初始外联检测模型分别确定各个正样本和负样本中的主机是否具有恶意外联的信息,得到初始检测结果;根据所述初始外联检测模型确定的初始检测结果,及所述第一标注信息和第二标注信息,调整所述初始外联检测模型中的固定参数值,以得到最终的外联检测模型;
其中,所述负样本中包括的第二主机为通过所述预置的外联分类模型确定为具有恶意外联的主机。这样,当训练单元15在训练得到的最终的外联检测模型后,检测单元13会根据最终的外联检测模型中的外联分类模型确定待检测主机是否具有恶意外联。
训练单元15,还用于如果对所述固定参数值的调整满足如下任一停止条件,则停止对所述固定参数值的调整:对所述固定参数值的调整次数等于预置的次数,当前调整的固定参数值与上一次调整的固定参数值的差值小于一阈值。
可见,在本实施例的外联检测装置中,第一特征提取单元11和第二特征提取单元12会从待检测主机与外部网络的通信信息中,提取单维度的第一特征信息和联合维度的第二特征信息,然后检测单元13再根据第一特征信息、第二特征信息及预置的外联分类模型,即可确定该待检测主机的外联是否具有恶意外联。这样,可以提取多种类型维度(即单维度和联合维度)的特征信息,使得得到的特征信息能较完整地反映待检测主机与外部网络的通信,进而最终得到的待检测主机的外联是否具有恶意外联的结果更准确。
本发明实施例还提供一种服务器,其结构示意图如图8所示,该服务器可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(centralprocessing units,CPU)20(例如,一个或一个以上处理器)和存储器21,一个或一个以上存储应用程序221或数据222的存储介质22(例如一个或一个以上海量存储设备)。其中,存储器21和存储介质22可以是短暂存储或持久存储。存储在存储介质22的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器20可以设置为与存储介质22通信,在服务器上执行存储介质22中的一系列指令操作。
具体地,在存储介质22中储存的应用程序221包括主机外联检测的应用程序,且该程序可以包括上述外联检测装置中的通信获取单元10,第一特征提取单元11,第二特征提取单元12,检测单元13,过滤单元14和训练单元15,在此不进行赘述。更进一步地,中央处理器20可以设置为与存储介质22通信,在服务器上执行存储介质22中储存的主机外联检测的应用程序对应的一系列操作。
服务器还可以包括一个或一个以上电源23,一个或一个以上有线或无线网络接口24,和/或,一个或一个以上操作系统223,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上述方法实施例中所述的由外联检测装置所执行的步骤可以基于该图8所示的服务器的结构。
本发明实施例还提供一种存储介质,所述存储介质储存多条指令,所述指令适于由处理器加载并执行如上述外联检测装置所执行的主机外联检测方法。
本发明实施例还提供一种服务器,包括处理器和存储介质,所述处理器,用于实现各个指令;所述存储介质用于储存多条指令,所述指令用于由处理器加载并执行如上述外联检测装置所执行的主机外联检测方法。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM)、随机存取存储器RAM)、磁盘或光盘等。
以上对本发明实施例所提供的主机外联检测方法及装置进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种主机外联检测方法,其特征在于,包括:
获取待检测主机与外部网络进行通信的通信信息;
从所述通信信息中提取单维度的第一特征信息;所述第一特征信息为如下至少一个维度的特征信息:与所述待检测主机通信的目的主机维度,应用进程维度和业务维度;
从所述通信信息中提取联合维度的第二特征信息,所述联合维度为至少两个维度;所述第二特征信息为如下至少一个联合维度的特征信息:与所述待检测主机通信的目的主机与应用进程的联合维度,应用进程与业务的联合维度,与所述待检测主机通信的目的主机与业务的联合维度,及与所述待检测主机通信的目的主机、应用进程和业务的联合维度;
将所述第一特征信息和第二特征信息分别进行归一化处理,将归一化后的第一特征信息和第二信息进行计算后得到一个向量,将所述一个向量输入到预置的外联分类模型,确定所述待检测主机的外联是否具有恶意外联。
2.如权利要求1所述的方法,其特征在于,所述获取待检测主机与外部网络进行通信的通信信息之后,所述方法还包括:
将所述通信信息与预置的白名单进行匹配,所述白名单中包括多个非恶意主机的信息;
如果所述通信信息中某一目的主机的信息与所述预置的白名单相匹配,过滤所述通信信息中某一目的主机的信息。
3.如权利要求1至2任一项所述的方法,其特征在于,所述方法还包括:
确定初始外联检测模型,所述初始外联检测模型中包括:特征提取模块和外联分类模型,所述特征提取模块用于从任一主机与外部网络的通信信息中提取单维度和联合维度的特征信息,所述外联分类模型用于所述特征提取模块提取的特征信息确定所述任一主机是否具有恶意外联;
获取训练样本,所述训练样本中包括多个正样本和多个负样本,所述正样本中包括第一主机与外部网络的第一通信信息,及所述第一主机不具有恶意外联的第一标注信息;所述负样本中包括第二主机与外部网络的第二通信信息,及所述第二主机具有恶意外联的第二标注信息;
通过所述初始外联检测模型分别确定各个正样本和负样本中的主机是否具有恶意外联的信息,得到初始检测结果;
根据所述初始外联检测模型确定的初始检测结果,及所述第一标注信息和第二标注信息,调整所述初始外联检测模型中的固定参数值,以得到最终的外联检测模型。
4.如权利要求3所述的方法,其特征在于,所述负样本中包括的第二主机为通过所述预置的外联分类模型确定为具有恶意外联的主机。
5.如权利要求3所述的方法,其特征在于,如果对所述固定参数值的调整满足如下任一停止条件,则停止对所述固定参数值的调整:
对所述固定参数值的调整次数等于预置的次数,当前调整的固定参数值与上一次调整的固定参数值的差值小于一阈值。
6.一种外联检测装置,其特征在于,包括:
通信获取单元,用于获取待检测主机与外部网络进行通信的通信信息;
第一特征提取单元,用于从所述通信信息中提取单维度的第一特征信息;所述第一特征信息为如下至少一个维度的特征信息:与所述待检测主机通信的目的主机维度,应用进程维度和业务维度;
第二特征提取单元,用于从所述通信信息中提取联合维度的第二特征信息,所述联合维度为至少两个维度;所述第二特征信息为如下至少一个联合维度的特征信息:与所述待检测主机通信的目的主机与应用进程的联合维度,应用进程与业务的联合维度,与所述待检测主机通信的目的主机与业务的联合维度,及与所述待检测主机通信的目的主机、应用进程和业务的联合维度;
检测单元,用于将所述第一特征信息和第二特征信息分别进行归一化处理,将归一化后的第一特征信息和第二特征信息进行计算后得到一个向量,将所述一个向量输入到预置的外联分类模型,确定所述待检测主机的外联是否具有恶意外联。
7.如权利要求6所述的装置,其特征在于,还包括:
训练单元,用于确定初始外联检测模型,所述初始外联检测模型中包括:特征提取模块和外联分类模型,所述特征提取模块用于从任一主机与外部网络的通信信息中提取单维度和联合维度的特征信息,所述外联分类模型用于所述特征提取模块提取的特征信息确定所述任一主机是否具有恶意外联;获取训练样本,所述训练样本中包括多个正样本和多个负样本,所述正样本中包括第一主机与外部网络的第一通信信息,及所述第一主机不具有恶意外联的第一标注信息;所述负样本中包括第二主机与外部网络的第二通信信息,及所述第二主机具有恶意外联的第二标注信息;通过所述初始外联检测模型分别确定各个正样本和负样本中的主机是否具有恶意外联的信息,得到初始检测结果;根据所述初始外联检测模型确定的初始检测结果,及所述第一标注信息和第二标注信息,调整所述初始外联检测模型中的固定参数值,以得到最终的外联检测模型;
其中,所述负样本中包括的第二主机为通过所述预置的外联分类模型确定为具有恶意外联的主机。
8.一种服务器,其特征在于,包括处理器和存储器,所述处理器,用于实现各个指令;
所述存储器用于储存多条指令,所述指令用于由处理器加载并执行如权利要求1至5任一项所述的主机外联检测方法。
CN201910164647.0A 2019-03-05 2019-03-05 一种主机外联检测方法及装置 Active CN109981596B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910164647.0A CN109981596B (zh) 2019-03-05 2019-03-05 一种主机外联检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910164647.0A CN109981596B (zh) 2019-03-05 2019-03-05 一种主机外联检测方法及装置

Publications (2)

Publication Number Publication Date
CN109981596A CN109981596A (zh) 2019-07-05
CN109981596B true CN109981596B (zh) 2020-09-04

Family

ID=67077968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910164647.0A Active CN109981596B (zh) 2019-03-05 2019-03-05 一种主机外联检测方法及装置

Country Status (1)

Country Link
CN (1) CN109981596B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111193633B (zh) * 2019-08-28 2022-09-30 腾讯科技(深圳)有限公司 异常网络连接的检测方法及装置
CN110417821B (zh) * 2019-09-09 2021-11-02 北京华赛在线科技有限公司 一种联网检测方法和系统
CN114257444A (zh) * 2021-12-20 2022-03-29 奇安信科技集团股份有限公司 一种可疑外连的检测方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105491055A (zh) * 2015-12-24 2016-04-13 中国船舶重工集团公司第七〇九研究所 一种基于移动代理的网络主机异常事件检测方法
CN105656886A (zh) * 2015-12-29 2016-06-08 北京邮电大学 一种基于机器学习的网站攻击行为的检测方法及装置
CN107302547A (zh) * 2017-08-21 2017-10-27 深信服科技股份有限公司 一种web业务异常检测方法及装置
CN108632227A (zh) * 2017-03-23 2018-10-09 中国移动通信集团广东有限公司 一种恶意域名检测处理方法及装置
US20190058715A1 (en) * 2017-08-21 2019-02-21 General Electric Company Multi-class decision system for categorizing industrial asset attack and fault types

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10289841B2 (en) * 2015-04-16 2019-05-14 Nec Corporation Graph-based attack chain discovery in enterprise security systems
CN105141604B (zh) * 2015-08-19 2019-03-08 国家电网公司 一种基于可信业务流的网络安全威胁检测方法及系统
CN108270722B (zh) * 2016-12-30 2021-08-24 阿里巴巴集团控股有限公司 一种攻击行为检测方法和装置
CN107172022B (zh) * 2017-05-03 2021-01-01 成都国腾实业集团有限公司 基于入侵途径的apt威胁检测方法和系统
US11005864B2 (en) * 2017-05-19 2021-05-11 Salesforce.Com, Inc. Feature-agnostic behavior profile based anomaly detection
CN108566364B (zh) * 2018-01-15 2021-01-12 中国人民解放军国防科技大学 一种基于神经网络的入侵检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105491055A (zh) * 2015-12-24 2016-04-13 中国船舶重工集团公司第七〇九研究所 一种基于移动代理的网络主机异常事件检测方法
CN105656886A (zh) * 2015-12-29 2016-06-08 北京邮电大学 一种基于机器学习的网站攻击行为的检测方法及装置
CN108632227A (zh) * 2017-03-23 2018-10-09 中国移动通信集团广东有限公司 一种恶意域名检测处理方法及装置
CN107302547A (zh) * 2017-08-21 2017-10-27 深信服科技股份有限公司 一种web业务异常检测方法及装置
US20190058715A1 (en) * 2017-08-21 2019-02-21 General Electric Company Multi-class decision system for categorizing industrial asset attack and fault types

Also Published As

Publication number Publication date
CN109981596A (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
US11323481B2 (en) Classification of unknown network traffic
CN109981596B (zh) 一种主机外联检测方法及装置
US20220345470A1 (en) Associating a user identifier detected from web traffic with a client address
US20230089187A1 (en) Detecting abnormal packet traffic using fingerprints for plural protocol types
CN112019575B (zh) 数据包处理方法、装置、计算机设备以及存储介质
CN107770132B (zh) 一种对算法生成域名进行检测的方法及装置
US8483056B2 (en) Analysis apparatus and method for abnormal network traffic
US11381590B2 (en) Predicting false positives from vulnerability scanners using data analytics and machine learning
US20210051175A1 (en) Software defined networking moving target defense honeypot
US9294463B2 (en) Apparatus, method and system for context-aware security control in cloud environment
US9686233B2 (en) Tracking network packets across translational boundaries
US10476629B2 (en) Performing upper layer inspection of a flow based on a sampling rate
CN113518042B (zh) 一种数据处理方法、装置、设备及存储介质
EP3732844A1 (en) Intelligent defense and filtration platform for network traffic
CN111404768A (zh) 一种dpi识别的实现方法及设备
Valdez et al. How to discover IoT devices when network traffic is encrypted
EP4338374A1 (en) Detection and mitigation of security threats to a domain name system for a communication network
KR102119636B1 (ko) 수동 핑거프린팅을 이용한 익명 네트워크 분석 시스템 및 방법
CN116346418A (zh) 基于联邦学习的DDoS检测方法及装置
Altuncu et al. Deep learning based DNS tunneling detection and blocking system
CN115499230A (zh) 网络攻击检测方法和装置、设备及存储介质
US11671437B2 (en) Network traffic analysis
CN115473692A (zh) 业务请求处理方法、装置、设备及介质
CN113688385A (zh) 轻量级分布式入侵检测方法
US9444729B2 (en) Fast application recognition system and fast application processing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant