CN105205394B - 用于入侵检测的数据检测方法和装置 - Google Patents

用于入侵检测的数据检测方法和装置 Download PDF

Info

Publication number
CN105205394B
CN105205394B CN201410262105.4A CN201410262105A CN105205394B CN 105205394 B CN105205394 B CN 105205394B CN 201410262105 A CN201410262105 A CN 201410262105A CN 105205394 B CN105205394 B CN 105205394B
Authority
CN
China
Prior art keywords
data
tested
normal model
abnormal
normal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410262105.4A
Other languages
English (en)
Other versions
CN105205394A (zh
Inventor
孙亚东
刘宁
宗泽
胡珀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201410262105.4A priority Critical patent/CN105205394B/zh
Publication of CN105205394A publication Critical patent/CN105205394A/zh
Application granted granted Critical
Publication of CN105205394B publication Critical patent/CN105205394B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种用于入侵检测的数据检测方法和装置。其中,数据检测方法包括:获取待检测数据,所述待检测数据为被检测的数据;将所述待检测数据与正常模型进行比较,得到比较结果,其中,所述正常模型为预先建立的正常行为对应的数据模型;以及根据所述比较结果确定所述待检测数据是否为异常数据。通过本发明,解决了无法准确检测异常数据的问题,达到了提高异常数据检测的准确性的效果。

Description

用于入侵检测的数据检测方法和装置
技术领域
本发明涉及入侵检测领域,具体而言,涉及一种用于入侵检测的数据检测方法和装置。
背景技术
随着互联网的发展,互联网被广泛的应用到各个领域,这样互联网的安全隐患也就逐渐显露出来,例如web类业务,尤其是web框架、公共网关接口(Common GatewayInterface,简称为CGI)的漏洞引起的命令执行、命令注入攻击,给web类业务带来极大的安全隐患。
目前,对于入侵行为的检测通常是基于规则匹配(黑名单)的方式,该方式会收集一些可疑的、黑客渗透的常用命令加入黑名单中,将待检测数据与黑名单进行匹配,确定其是否为入侵行为。然而,对于待检测数据中的一些异常数据,通过黑名单难以有效识别该异常数据是否为入侵行为的数据。例如,通过收集的一些可疑的、黑客渗透的常用命令,web管理员也会在对web运营维护的时候使用这些命令。这样黑名单的检测方式就会在对入侵行为的漏报与误报之间难以平衡。黑名单增多,覆盖管理员操作,会导致误报;黑名单减少,缺乏某些危险命令,会导致漏报。
另外、由于命令执行、注入的方式各种各样,通过编码、混淆等方式很容易绕过基于黑名单的检测方式。由于无法准确检测出通过编码、混淆等方式产生的异常数据,因此无法对这些异常数据作进一步的入侵检测,导致无法准确检测出入侵行为。
针对现有技术中无法准确检测异常数据的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种用于入侵检测的数据检测方法和装置,以解决现有技术中无法准确检测异常数据的问题。
根据本发明实施例的一个方面,提供了一种用于入侵检测的数据检测方法,包括:获取待检测数据,所述待检测数据为被检测的数据;将所述待检测数据与正常模型进行比较,得到比较结果,其中,所述正常模型为预先建立的正常行为对应的数据模型;以及根据所述比较结果确定所述待检测数据是否为异常数据。
根据本发明实施例的另一方面,还提供了一种用于入侵检测的数据检测装置,包括:获取单元,用于获取待检测数据,所述待检测数据为被检测的数据;比较单元,用于将所述待检测数据与正常模型进行比较,得到比较结果,其中,所述正常模型为预先建立的正常行为对应的数据模型;以及第一确定单元,用于根据所述比较结果确定所述待检测数据是否为异常数据。
在本发明实施例中,通过获取待检测数据,将待检测数据与正常模型进行比较,根据比较结果确定待检测数据是否为异常数据,通过采用正常模型来匹配待检测数据,由于计算机或者服务器的正常业务运维、访问命令,通常具有固定性和规律性,也即有固定的数据模型,准确地检测出异常数据,用于进行入侵检测,找出入侵行为,解决了无法准确检测异常数据的问题,达到了提高异常数据检测的准确性的效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种计算机的结构框图;
图2是根据本发明实施例的数据检测方法的流程图;
图3是根据本发明实施例一种可选的数据检测方法的流程图;
图4是根据本发明实施例另一种可选的数据检测方法的流程图;
图5是根据本发明实施例的数据检测装置的示意图;
图6是根据本发明实施例一种可选的数据检测装置的示意图;以及
图7是根据本发明实施例另一种可选的数据检测装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例,提供了一种用于入侵检测的数据检测方法,该方法可由计算机或者类似的运算装置执行。图1所示为一种计算机的结构框图。如图1所示,计算机100包括一个或多个(图中仅示出一个)处理器102、存储器104、以及传输模块106。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机100还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储软件程序以及模块,如本发明实施例中的用于入侵检测的数据检测方法和装置对应的程序指令/模块,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的用于入侵检测的数据检测方法和装置,例如对网络传输的数据进行入侵检测。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输模块106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输模块106包括一个网络适配器(NetworkInterface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网进行通讯。在一个实例中,传输模块106可以是射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
如图2所示,该用于入侵检测的数据检测方法包括:
步骤S202,获取待检测数据,待检测数据为被检测的数据。
待检测数据可以是通过传输模块106传输的网络数据,即来自网络的信息流。具体地,传输模块106连接至网络,接收来自网络的各种各样的数据,入侵检测系统在对网络传输进行及时监控的过程中,需要实时收集网络传输的数据。具体地,本发明实施例的待检测数据可以是web服务器执行的命令。获取待检测数据,以便于对待检测数据进行收集。可以是实时获取待检测数据,以便对网络传输的数据进行实时检测。
步骤S204,将待检测数据与正常模型进行比较,得到比较结果。其中,正常模型为预先建立的正常行为对应的数据模型。
由于计算机或者服务器的正常业务运维、访问命令,通常具有固定性和规律性,也即有固定的数据模型。利用正常的业务行为对应的数据(如命令等)建立正常模型,用于对待检测数据进行检测。恶意访问、数据窃取、篡改等命令会异常于正常模型。该正常模型相当于白名单,当待检测数据与该正常模型完全一样时,表明该待检测数据不是异常数据,否则,则为疑似异常数据。
本发明实施例,可以根据不同的来源ip,预先建立不同的正常模型,从而对于可以针对单个ip来对待检测数据进行检测,提高监测的准确性。建立的正常模型的数据维度可以包括来源ip、命令、目录、参数、执行时间等。
进一步地,可以根据比较结果来修正正常模型,从而实现对正常模型的训练,使其具备学习能力,不断提高监测效果。当然,对于正常模型中的超时数据,可以进行删除修正,从而减少正常模型的冗余数据,提高监测效率。
在获取到待检测数据之后,将待检测数据与正常模型进行比较,以便于根据比较结果对待检测数据进行异常检测。
步骤S206,根据比较结果确定待检测数据是否为异常数据。
在得到比较结果之后,可以根据比较结果确定检测数据是否为异常数据。例如,当待检测数据与正常模型完全相同,则认为待检测数据不是异常数据,反之,则为异常数据。当然,也可以采用相似度来判断。由于大部分情况下,待检测数据与正常模型之间都会存在差异,可以通过计算待检测数据与正常模型之间的相似度,利用相似度来确定待检测数据与正常模型之间的差异,可以设置为:相似度的值越大,待检测数据与正常模型之间的差异越大;反之,则差异则越小。当然也可以设置为:相似度的值越大,待检测数据与正常模型之间的差异越小;反之,则差异则越大。
待检测数据与正常模型之间的差异越大,则表明待检测数据为异常数据的可能性越大。通常入侵行为的数据通常为异常数据,但是并非所有异常数据均为入侵行为的数据。如果确定待检测数据为异常数据,则可以对该异常数据做进一步检测,判断其是否为入侵行为。
根据本发明实施例,通过获取待检测数据,将待检测数据与正常模型进行比较,根据比较结果确定待检测数据是否为异常数据,通过采用正常模型来匹配待检测数据,由于计算机或者服务器的正常业务运维、访问命令,通常具有固定性和规律性,也即有固定的数据模型,准确地检测出异常数据,用于进行入侵检测,找出入侵行为,解决了无法准确检测异常数据的问题,达到了提高异常数据检测的准确性的效果。
图3是根据本发明实施例一种可选的数据检测方法的流程图。本实施例的数据检测方法可以作为上述实施例的数据检测方法的一种优选实施方式。其中,步骤S206,根据比较结果确定待检测数据是否为异常数据包括以下步骤:
步骤S2061,由比较结果计算待检测数据与正常模型的相似度。
可以将待检测数据中的每一条数据与正常模型中的数据进行匹配,例如,将待检测数据中的每一个命令与正常模型中的命令进行匹配,如果待检测数据中的一个命令未能匹配到正常模型中的命令,则相似度加1,遍历待检测数据中的每一个命令,然后计算出相似度。
步骤S2062,判断相似度是否超出异常阈值。
步骤S2063,如果判断出相似度超出异常阈值,则确定待检测数据为异常数据。
步骤S2064,如果判断出相似度未超出异常阈值,则确定待检测数据不是异常数据。
在计算出相似度之后,判断相似度是否超出异常阈值,异常阈值可以是预先设置的值,用于作为异常数据和非异常数据的分界点。如果待检测数据与正常模型的相似度超出异常阈值,则确定待检测数据为异常数据,;如果待检测数据与正常模型的相似度未超出异常阈值,则表明待检测数据与正常模型不存在差异,或者存在的差役很小,则可以确定待检测数据不是异常数据,即为正常数据。其中,异常阈值可以根据预先统计的结果来确定,可以根据需要进行设置。
根据本发明实施例,利用相似度来确定待检测数据与正常模型的差异,从而提高了对异常数据检测的准确定。
图4是根据本发明实施例一种可选的数据检测方法的流程图。本实施例的数据检测方法可以作为上述实施例的数据检测方法的一种优选实施方式。如图4所示,在确定待检测数据不是异常数据之后,数据检测方法还包括:
步骤S2065,利用待检测数据对正常模型进行修正,得到第一正常模型,其中,当再次获取到待检测数据时,将待检测数据与第一正常模型进行比较。
在确定待检测数据不是异常数据时,即正常数据,但是待检测数据与正常模型之间还存在一定的差异(完全相同时这里不做考虑),且差异较小,则可以利用待检测数据对正常模型进行实时修正,得到第一正常模型。实时修正即对正常模型在线实时训练。这样,当再次获取到相同的待检测数据或者新的待检测数据时,可以利用修正后的第一正常模型对待检测数据进行检测,从而提高异常数据检测的准确性。
如图4所示,在确定待检测数据为异常数据之后,数据检测方法还包括:
步骤S2066,判断所述待检测数据是否为入侵行为的数据。
通常入侵行为的数据通常为异常数据,但是并非所有异常数据均为入侵行为的数据。在确定待检测数据为异常数据之后,进一步判断该待检测数据是否为入侵行为的数据,即对该异常的待检测数据进行入侵检测。
步骤S2067,如果判断出所述待检测数据不是入侵行为的数据,则利用所述待检测数据对所述正常模型进行修正,得到第二正常模型,其中,当再次获取到待检测数据时,将待检测数据与第二正常模型进行比较。
如果判断出异常的待检测数据不是入侵行为的数据,则表明该待检测数据与正常模型的差异很大,但并不具有入侵行为,那么可以利用该异常的待检测数据对正常模型进行反馈修正,得到第二正常模型。当再次获取到相同的待检测数据或者新的待检测数据时,可以利用修正后的第二正常模型对待检测数据进行检测,从而提高异常数据检测的准确性。
优选地,在获取待检测数据之后,数据检测方法还包括:对待检测数据进行解析,得到检测数据对应的来源信息;查找与来源信息相匹配的正常模型,其中,将待检测数据与正常模型进行比较包括:将与来源信息相匹配的正常模型与待检测数据进行比较,得到比较结果。
来源信息可以是ip地址,由于在建立正常模型的时候,可以是对同一ip对应的计算机或者服务器等建立的正常模型,那么,则对待检测数据进行检测时,可以通过查找与待检测数据的来源相匹配的正常模型来匹配待检测数据,从而进一步提高对异常数据检测的准确性。
优选地,在将待检测数据与正常模型进行比较之前,数据检测方法还包括:确定正常模型的数据维度,其中,数据维度包括以下至少之一:来源信息、执行命令、目录、参数、执行时间;以及基于数据维度建立正常模型。
在将待检测数据与正常模型进行比较之前,需要建立正常模型,具体地,建立正常模型的过程中,首先需要确定建模的粒度,例如,以单机ip为粒度。然后确认建立的正常模型的维度,例如,来源信息(来源ip等)和该来源ip的执行命令、目录、执行命令的参数、执行命令的执行时间等。然后基于上述维度建立正常模型。具体地,可以是基于相似度的聚合来建立。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
根据本发明实施例,还提供了一种用于实施上述用于入侵检测的数据检测方法的用于入侵检测的数据检测装置,如图5所示,该装置包括:获取单元20、比较单元30和第一确定单元40。
获取单元20用于获取待检测数据,待检测数据为被检测的数据。
获取单元20的功能可以通过图1所示的传输模块106实现,其中,待检测数据可以是通过传输模块106传输的网络数据,即来自网络的信息流。具体地,传输模块106连接至网络,接收来自网络的各种各样的数据,入侵检测系统在对网络传输进行及时监控的过程中,需要实时收集网络传输的数据。具体地,本发明实施例的待检测数据可以是web服务器执行的命令。获取待检测数据,以便于对待检测数据进行收集。可以是实时获取待检测数据,以便对网络传输的数据进行实时检测。
比较单元30用于将待检测数据与正常模型进行比较,得到比较结果,其中,正常模型为预先建立的正常行为对应的数据模型。
由于计算机或者服务器的正常业务运维、访问命令,通常具有固定性和规律性,也即有固定的数据模型。利用正常的业务行为对应的数据(如命令等)建立正常模型,用于对待检测数据进行检测。恶意访问、数据窃取、篡改等命令会异常于正常模型。该正常模型相当于白名单,当待检测数据与该正常模型完全一样时,表明该待检测数据不是异常数据,否则,则为疑似异常数据。
本发明实施例,可以根据不同的来源ip,预先建立不同的正常模型,从而对于可以针对单个ip来对待检测数据进行检测,提高监测的准确性。建立的正常模型的数据维度可以包括来源ip、命令、目录、参数、执行时间等。
进一步地,可以根据比较结果来修正正常模型,从而实现对正常模型的训练,使其具备学习能力,不断提高监测效果。当然,对于正常模型中的超时数据,可以进行删除修正,从而减少正常模型的冗余数据,提高监测效率。
在获取到待检测数据之后,将待检测数据与正常模型进行比较,以便于根据比较结果对待检测数据进行异常检测。
第一确定单元40用于根据比较结果确定待检测数据是否为异常数据。
在得到比较结果之后,可以根据比较结果确定检测数据是否为异常数据。例如,当待检测数据与正常模型完全相同,则认为待检测数据不是异常数据,反之,则为异常数据。当然,也可以采用相似度来判断。由于大部分情况下,待检测数据与正常模型之间都会存在差异,可以通过计算待检测数据与正常模型之间的相似度,利用相似度来确定待检测数据与正常模型之间的差异,可以设置为:相似度的值越大,待检测数据与正常模型之间的差异越大;反之,则差异则越小。当然也可以设置为:相似度的值越大,待检测数据与正常模型之间的差异越小;反之,则差异则越大。
待检测数据与正常模型之间的差异越大,则表明待检测数据为异常数据的可能性越大。通常入侵行为的数据通常为异常数据,但是并非所有异常数据均为入侵行为的数据。如果确定待检测数据为异常数据,则可以对该异常数据做进一步检测,判断其是否为入侵行为。
根据本发明实施例,通过获取待检测数据,将待检测数据与正常模型进行比较,根据比较结果确定待检测数据是否为异常数据,通过采用正常模型来匹配待检测数据,由于计算机或者服务器的正常业务运维、访问命令,通常具有固定性和规律性,也即有固定的数据模型,准确地检测出异常数据,用于进行入侵检测,找出入侵行为,解决了无法准确检测异常数据的问题,达到了提高异常数据检测的准确性的效果。
本发明实施例中,可以通过图1所示的计算机100来实现上述用于入侵检测的数据检测装置。其中,传输模块106可以相当于获取单元20,用于获取待检测数据并向处理器102传输该待检测数据。其中,比较单元30和第一确定单元40可以通过处理器102实现,处理器102将待检测数据与正常模型进行比较,得到比较结果,然后根据比较结果确定待检测数据是否为异常数据。其中,存储器104可以存储最终结果,也可以存储初始数据或者中间数据。
图6是根据本发明实施例一种可选的数据检测装置的示意图。如图6所示,该装置包括:获取单元20、比较单元30和第一确定单元40。其中,第一确定单元40包括:计算模块401、判断模块402、第一确定模块403和第二确定模块404。
计算模块401用于由比较结果计算待检测数据与正常模型的相似度。
可以将待检测数据中的每一条数据与正常模型中的数据进行匹配,例如,将待检测数据中的每一个命令与正常模型中的命令进行匹配,如果待检测数据中的一个命令未能匹配到正常模型中的命令,则相似度加1,遍历待检测数据中的每一个命令,然后计算出相似度。
判断模块402用于判断相似度是否超出异常阈值。
第一确定模块403用于当判断出相似度超出异常阈值时,确定待检测数据为异常数据。
第二确定模块404用于当判断出相似度未超出异常阈值时,确定待检测数据不是异常数据。
在计算出相似度之后,判断相似度是否超出异常阈值,异常阈值可以是预先设置的值,用于作为异常数据和非异常数据的分界点。如果待检测数据与正常模型的相似度超出异常阈值,则确定待检测数据为异常数据,;如果待检测数据与正常模型的相似度未超出异常阈值,则表明待检测数据与正常模型不存在差异,或者存在的差役很小,则可以确定待检测数据不是异常数据,即为正常数据。其中,异常阈值可以根据预先统计的结果来确定,可以根据需要进行设置。
根据本发明实施例,利用相似度来确定待检测数据与正常模型的差异,从而提高了对异常数据检测的准确定。
优选地,数据检测装置还包括:第一修正单元,用于在确定待检测数据不是异常数据之后,利用待检测数据对正常模型进行修正,得到第一正常模型,其中,比较单元还用于当再次获取到待检测数据时,将待检测数据与第一正常模型进行比较。
在确定待检测数据不是异常数据时,即正常数据,但是待检测数据与正常模型之间还存在一定的差异(完全相同时这里不做考虑),且差异较小,则可以利用待检测数据对正常模型进行实时修正,得到第一正常模型。实时修正即对正常模型在线实时训练。这样,当再次获取到相同的待检测数据或者新的待检测数据时,可以利用修正后的第一正常模型对待检测数据进行检测,从而提高异常数据检测的准确性。
优选地,数据检测装置还包括:判断单元,用于在确定待检测数据为异常数据之后,判断待检测数据是否为入侵行为的数据;第二修正单元,用于当判断出待检测数据不是入侵行为的数据时,利用待检测数据对正常模型进行修正,得到第二正常模型,其中,比较单元还用于当再次获取到待检测数据时,将待检测数据与第二正常模型进行比较。
通常入侵行为的数据通常为异常数据,但是并非所有异常数据均为入侵行为的数据。在确定待检测数据为异常数据之后,进一步判断该待检测数据是否为入侵行为的数据,即对该异常的待检测数据进行入侵检测。
如果判断出异常的待检测数据不是入侵行为的数据,则表明该待检测数据与正常模型的差异很大,但并不具有入侵行为,那么可以利用该异常的待检测数据对正常模型进行反馈修正,得到第二正常模型。当再次获取到相同的待检测数据或者新的待检测数据时,可以利用修正后的第二正常模型对待检测数据进行检测,从而提高异常数据检测的准确性。
优选地,数据检测装置还包括:解析单元,用于在获取待检测数据之后,对待检测数据进行解析,得到检测数据对应的来源信息;查找单元,用于查找与来源信息相匹配的正常模型,其中,比较单元包括:比较模块,用于将与来源信息相匹配的正常模型与待检测数据进行比较,得到比较结果。
来源信息可以是ip地址,由于在建立正常模型的时候,可以是对同一ip对应的计算机或者服务器等建立的正常模型,那么,则对待检测数据进行检测时,可以通过查找与待检测数据的来源相匹配的正常模型来匹配待检测数据,从而进一步提高对异常数据检测的准确性。
优选地,数据检测装置还包括:第二确定单元,用于在将待检测数据与正常模型进行比较之前,确定正常模型的数据维度,其中,数据维度包括以下至少之一:来源信息、执行命令、目录、参数、执行时间;以及建立单元,用于基于数据维度建立正常模型。
在将待检测数据与正常模型进行比较之前,需要建立正常模型,具体地,建立正常模型的过程中,首先需要确定建模的粒度,例如,以单机ip为粒度。然后确认建立的正常模型的维度,例如,来源信息(来源ip等)和该来源ip的执行命令、目录、执行命令的参数、执行命令的执行时间等。然后基于上述维度建立正常模型。具体地,可以是基于相似度的聚合来建立。
图7是根据本发明实施例另一种可选的数据检测装置的示意图。如图7所示,该数据检测装置包括:数据采集模块701、网络传输模块702、异常检测模块703、告警输出模块704和在线训练模块705。
数据采集模块701采集网页服务器执行的命令,通过网络传输模块702发送给异常检测模块703;异常检测模块703与正常模型交互,根据异常阈值判断待检测数据是否为异常。如果为异常发送给告警输出模块704。告警输出模块704根据异常检测的效果,反馈给在线训练模块705,修改更正正常模型。
需要说明的是,本实施例中的异常检测模块703与上述中的比较单元30的功能相同,其中,在线训练模块705与上述中的修正单元(第一修正单元和第二修正单元)的功能相同,具体地请参见上述示例,这里不做赘述。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
实施例3
根据本发明实施例,还提供了一种用于实施上述用于入侵检测的数据检测方法的入侵检测系统,该入侵检测系统包括发明实施例2中的用于入侵检测的数据检测装置。具体地,入侵检测系统的功能和应用实例,请参阅实施例1的数据检测方法和实施例2的数据检测装置,这里不做赘述。
实施例4
本发明的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以存储用于执行本发明实施例的入侵检测方法的程序代码。
可选地,在本实施例中,上述存储介质可以位于实施例3的入侵检测系统上。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:
步骤S202,获取待检测数据,待检测数据为被检测的数据。
步骤S204,将待检测数据与正常模型进行比较,得到比较结果。其中,正常模型为预先建立的正常行为对应的数据模型。
步骤S206,根据比较结果确定待检测数据是否为异常数据。
根据本发明实施例,在存储介质上存储的程序代码,通过获取待检测数据,将待检测数据与正常模型进行比较,根据比较结果确定待检测数据是否为异常数据,通过采用正常模型来匹配待检测数据,由于计算机或者服务器的正常业务运维、访问命令,通常具有固定性和规律性,也即有固定的数据模型,准确地检测出异常数据,用于进行入侵检测,找出入侵行为,解决了无法准确检测异常数据的问题,达到了提高异常数据检测的准确性的效果。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:由比较结果计算待检测数据与正常模型的相似度;判断相似度是否超出异常阈值;如果判断出相似度超出异常阈值,则确定待检测数据为异常数据;如果判断出相似度未超出异常阈值,则确定待检测数据不是异常数据。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可选地,在本实施例中,处理器根据存储介质中已存储的程序代码执行本发明实施例1的方法步骤。
可选地,本实施例中的具体示例可以参考上述实施例1和实施例2中所描述的示例,本实施例在此不再赘述。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种用于入侵检测的数据检测方法,其特征在于,包括:
获取待检测数据,所述待检测数据为被检测的数据;
将所述待检测数据与正常模型进行比较,得到比较结果,其中,所述正常模型为预先建立的正常行为对应的数据模型;以及
根据所述比较结果确定所述待检测数据是否为异常数据;
其中,在将所述待检测数据与正常模型进行比较之前,所述数据检测方法还包括:确定所述正常模型的数据维度,其中,所述数据维度包括以下至少之一:来源信息、执行命令、目录、参数、执行时间;以及基于所述数据维度建立所述正常模型。
2.根据权利要求1所述的数据检测方法,其特征在于,根据所述比较结果确定所述待检测数据是否为异常数据包括:
由所述比较结果计算所述待检测数据与所述正常模型的相似度;
判断所述相似度是否超出异常阈值;
如果判断出所述相似度超出所述异常阈值,则确定所述待检测数据为异常数据;以及
如果判断出所述相似度未超出所述异常阈值,则确定所述待检测数据不是异常数据。
3.根据权利要求2所述的数据检测方法,其特征在于,在确定所述待检测数据不是异常数据之后,所述数据检测方法还包括:
利用所述待检测数据对所述正常模型进行修正,得到第一正常模型,
其中,当再次获取到所述待检测数据时,将所述待检测数据与所述第一正常模型进行比较。
4.根据权利要求2所述的数据检测方法,其特征在于,在确定所述待检测数据为异常数据之后,所述数据检测方法还包括:
判断所述待检测数据是否为入侵行为的数据;
如果判断出所述待检测数据不是入侵行为的数据,则利用所述待检测数据对所述正常模型进行修正,得到第二正常模型,
其中,当再次获取到所述待检测数据时,将所述待检测数据与所述第二正常模型进行比较。
5.根据权利要求1所述的数据检测方法,其特征在于,在获取待检测数据之后,所述数据检测方法还包括:
对所述待检测数据进行解析,得到所述检测数据对应的来源信息;
查找与所述来源信息相匹配的正常模型,
其中,将所述待检测数据与正常模型进行比较包括:将与所述来源信息相匹配的正常模型与所述待检测数据进行比较,得到所述比较结果。
6.一种用于入侵检测的数据检测装置,其特征在于,包括:
获取单元,用于获取待检测数据,所述待检测数据为被检测的数据;
比较单元,用于将所述待检测数据与正常模型进行比较,得到比较结果,其中,所述正常模型为预先建立的正常行为对应的数据模型;以及
第一确定单元,用于根据所述比较结果确定所述待检测数据是否为异常数据;
其中,所述数据检测装置还包括:第二确定单元,用于在将所述待检测数据与正常模型进行比较之前,确定所述正常模型的数据维度,其中,所述数据维度包括以下至少之一:来源信息、执行命令、目录、参数、执行时间;以及建立单元,用于基于所述数据维度建立所述正常模型。
7.根据权利要求6所述的数据检测装置,其特征在于,所述第一确定单元包括:
计算模块,用于由所述比较结果计算所述待检测数据与所述正常模型的相似度;
判断模块,用于判断所述相似度是否超出异常阈值;
第一确定模块,用于当判断出所述相似度超出所述异常阈值时,确定所述待检测数据为异常数据;以及
第二确定模块,用于当判断出所述相似度未超出所述异常阈值时,确定所述待检测数据不是异常数据。
8.根据权利要求7所述的数据检测装置,其特征在于,所述数据检测装置还包括:
第一修正单元,用于在确定所述待检测数据不是异常数据之后,利用所述待检测数据对所述正常模型进行修正,得到第一正常模型,
其中,所述比较单元还用于当再次获取到所述待检测数据时,将所述待检测数据与所述第一正常模型进行比较。
9.根据权利要求7所述的数据检测装置,其特征在于,所述数据检测装置还包括:
判断单元,用于在确定所述待检测数据为异常数据之后,判断所述待检测数据是否为入侵行为的数据;
第二修正单元,用于当判断出所述待检测数据不是入侵行为的数据时,利用所述待检测数据对所述正常模型进行修正,得到第二正常模型,
其中,所述比较单元还用于当再次获取到所述待检测数据时,将所述待检测数据与所述第二正常模型进行比较。
10.根据权利要求6所述的数据检测装置,其特征在于,所述数据检测装置还包括:
解析单元,用于在获取待检测数据之后,对所述待检测数据进行解析,得到所述检测数据对应的来源信息;
查找单元,用于查找与所述来源信息相匹配的正常模型,
其中,所述比较单元包括:比较模块,用于将与所述来源信息相匹配的正常模型与所述待检测数据进行比较,得到所述比较结果。
CN201410262105.4A 2014-06-12 2014-06-12 用于入侵检测的数据检测方法和装置 Active CN105205394B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410262105.4A CN105205394B (zh) 2014-06-12 2014-06-12 用于入侵检测的数据检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410262105.4A CN105205394B (zh) 2014-06-12 2014-06-12 用于入侵检测的数据检测方法和装置

Publications (2)

Publication Number Publication Date
CN105205394A CN105205394A (zh) 2015-12-30
CN105205394B true CN105205394B (zh) 2019-01-08

Family

ID=54953068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410262105.4A Active CN105205394B (zh) 2014-06-12 2014-06-12 用于入侵检测的数据检测方法和装置

Country Status (1)

Country Link
CN (1) CN105205394B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107302518B (zh) * 2016-04-15 2020-02-14 任子行网络技术股份有限公司 基于加权相似度的域间路由系统安全状态感知方法和装置
CN106184068A (zh) * 2016-06-30 2016-12-07 北京奇虎科技有限公司 汽车内部网络安全检测方法及装置、汽车
CN106506449B (zh) * 2016-09-27 2019-12-31 国家数字交换系统工程技术研究中心 一种未知异常的检测方法、装置及检测设备
CN108122116A (zh) * 2016-11-29 2018-06-05 腾讯科技(深圳)有限公司 一种产品推广渠道的监管方法及系统
CN108322428B (zh) * 2017-01-18 2021-11-05 阿里巴巴集团控股有限公司 一种异常访问检测方法及设备
CN108804914B (zh) * 2017-05-03 2021-07-16 腾讯科技(深圳)有限公司 一种异常数据检测的方法及装置
CN107153764B (zh) * 2017-05-08 2020-07-28 杭州变啦网络科技有限公司 一种智能人体成分秤的数据修正方法
CN108898011A (zh) * 2018-07-04 2018-11-27 杭州安恒信息技术股份有限公司 黑客追踪方法及装置
CN110113228B (zh) * 2019-04-25 2020-12-18 新华三信息安全技术有限公司 一种网络连接检测方法及装置
CN116155628B (zh) * 2023-04-20 2023-07-18 中国工商银行股份有限公司 网络安全检测方法、训练方法、装置、电子设备和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101557327A (zh) * 2009-03-20 2009-10-14 扬州永信计算机有限公司 基于支持向量机的入侵检测方法
EP2487860A1 (en) * 2011-02-10 2012-08-15 Telefónica, S.A. Method and system for improving security threats detection in communication networks
CN102684944A (zh) * 2012-04-20 2012-09-19 北京启明星辰信息技术股份有限公司 入侵检测方法和装置
CN102906756A (zh) * 2010-05-25 2013-01-30 惠普发展公司,有限责任合伙企业 与安全事件和参与者分类模型相关联的安全威胁检测
CN103532940A (zh) * 2013-09-30 2014-01-22 广东电网公司电力调度控制中心 网络安全检测方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8955113B2 (en) * 2011-09-28 2015-02-10 Verizon Patent And Licensing Inc. Responding to impermissible behavior of user devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101557327A (zh) * 2009-03-20 2009-10-14 扬州永信计算机有限公司 基于支持向量机的入侵检测方法
CN102906756A (zh) * 2010-05-25 2013-01-30 惠普发展公司,有限责任合伙企业 与安全事件和参与者分类模型相关联的安全威胁检测
EP2487860A1 (en) * 2011-02-10 2012-08-15 Telefónica, S.A. Method and system for improving security threats detection in communication networks
CN102684944A (zh) * 2012-04-20 2012-09-19 北京启明星辰信息技术股份有限公司 入侵检测方法和装置
CN103532940A (zh) * 2013-09-30 2014-01-22 广东电网公司电力调度控制中心 网络安全检测方法及装置

Also Published As

Publication number Publication date
CN105205394A (zh) 2015-12-30

Similar Documents

Publication Publication Date Title
CN105205394B (zh) 用于入侵检测的数据检测方法和装置
EP2924579B1 (en) Event correlation
US11775826B2 (en) Artificial intelligence with cyber security
CN104901971B (zh) 对网络行为进行安全分析的方法和装置
CN108429651A (zh) 流量数据检测方法、装置、电子设备及计算机可读介质
CN110505241A (zh) 一种网络攻击面检测方法及系统
CN107124289B (zh) 网络日志时间对齐方法、装置及主机
JP2013246818A (ja) 時系列データ内のアノマリを検出するための方法
CN104935601B (zh) 基于云的网站日志安全分析方法、装置及系统
CN104954188B (zh) 基于云的网站日志安全分析方法、装置和系统
CN106803801A (zh) 应用聚合的电缆测试结果数据的系统和方法
CN105812200A (zh) 异常行为检测方法及装置
US20160057164A1 (en) Device for quantifying vulnerability of system and method therefor
CN105791246A (zh) 验证信息的验证方法、装置及系统
CA3168223A1 (en) Method of managing and controlling security vulnerability, device, equipment, and computer-readable medium
US20170346834A1 (en) Relating to the monitoring of network security
CN104320271A (zh) 一种网络设备安全评估方法及装置
CN107222332A (zh) 测试方法、装置、系统及机器可读存储介质
CN106411951A (zh) 网络攻击行为检测方法及装置
CN107402883B (zh) 一种数据测试处理方法和装置
CN105095066B (zh) 安全漏洞检测方法及装置
CN115878598A (zh) 监控数据处理方法、电子设备及存储介质
JP6488197B2 (ja) 異常検出方法、異常検出装置、及びネットワークシステム
CN112527606A (zh) 数据流程分析方法、装置、计算机设备及存储介质
CN113238971A (zh) 基于状态机的自动化渗透测试系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190805

Address after: 518000 Nanshan District science and technology zone, Guangdong, Zhejiang Province, science and technology in the Tencent Building on the 1st floor of the 35 layer

Co-patentee after: Tencent cloud computing (Beijing) limited liability company

Patentee after: Tencent Technology (Shenzhen) Co., Ltd.

Address before: Shenzhen Futian District City, Guangdong province 518000 Zhenxing Road, SEG Science Park 2 East Room 403

Patentee before: Tencent Technology (Shenzhen) Co., Ltd.