CN107783942A - 一种异常行为检测方法及装置 - Google Patents
一种异常行为检测方法及装置 Download PDFInfo
- Publication number
- CN107783942A CN107783942A CN201610728454.XA CN201610728454A CN107783942A CN 107783942 A CN107783942 A CN 107783942A CN 201610728454 A CN201610728454 A CN 201610728454A CN 107783942 A CN107783942 A CN 107783942A
- Authority
- CN
- China
- Prior art keywords
- data
- frequency
- history service
- behavioral data
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Algebra (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及信息安全技术领域,尤其涉及一种异常行为检测方法及装置,用于解决现有技术中存在的误检率和漏检率较高的问题。主要包括:获取目标对象的业务行为数据后对其进行傅里叶变换,得到业务行为数据的频率信息和第一幅度信息;根据频率信息,得到目标对象的待使用评估模型;根据频率信息和待使用的评估模型,获得目标对象的第二幅度信息;若第一幅度信息和第二幅度信息的差值大于第一阈值,则确定目标对象的业务行为为异常行为。本发明实施例中对于不同的业务行为数据的种类和频率采用不同的模型,因而更具针对性;同时,本发明采用周期分析和傅里叶频域分析,滤除了波动干扰,从而降低了误检率和漏检率。
Description
技术领域
本发明涉及信息安全技术领域,尤其涉及一种异常行为检测方法及装置。
背景技术
异常行为分析,是一种提前发现潜在威胁的新型技术,它是一种通过不断收集历史数据,然后根据这些数据建立模型来对异常行为事件进行检测的技术。它是一种“动态检测”技术,与一般的“静态检测”技术不同,基于特征检测的“静态检测”技术只能检测到库文件中已有威胁。异常行为分析可以检测从网络层到应用层的用户、服务器的异常行为,提前发现潜在威胁。
当前异常行为分析技术的检测模型主要包括以下两种:
一、统计性模型
统计模型首先要选择描述主体行为的测度集,然后在采集到的安全事件集合中建立基于该测度集的检测模型。之后,根据度量算法计算当前主体行为和检测模型偏离的程度来确定是否是异常行为。统计性模型能自适应的学习主体的行为,对主体的异常行为比较敏感。
二、关联分析性模型
关联分析是一种简单的分析技术,它通过发现存在于大量的数据集中的关联性或者相关性,从而抽象出一个行为中某些属性同时出现的规律和模式。关联规则的挖掘主要分为两步,首先是根据所给数据集找出所有的频繁项集,然后再利用这些频繁项集产生强关联规则。
从现有的异常行为分析技术方案中可以看出,当前采用的技术方案存在以下缺点:
1、在统计模型中,测度集容易被入侵者训练,从而使得异常行为变得正常,此外,由于这种模型忽略了行为之间的关系,因此,它对行为之间的关联不敏感。
2、在关联分析模型中,首先很难做到行为之间的实时关联,一旦设备或者其他硬件设施出现故障,就会漏检很多的行为;其次关联分析方法误报率偏高,由于它需要依靠规则集和检测到的数据进行匹配,如果规则集不能够及时更新,那么一旦出现新的异常行为,事先建立的关联规则就不在适用次行为,因此会导致误报率和漏报率上升。
综上所述,现有的检测方法都存在误检率和漏检率较高的问题,检测的效果均不理想。
发明内容
本发明提供一种异常行为检测方法及装置,用以解决现有技术中存在的误检率和漏检率较高,检测的效果均不理想的问题。
本发明实施例提供了一种异常行为检测方法,包括:
获取目标对象的业务行为数据;
对业务行为数据进行傅里叶变换,得到业务行为数据的频率信息和第一幅度信息;
根据频率信息,得到目标对象的待使用的评估模型;
根据频率信息和待使用的评估模型,获得目标对象的第二幅度信息;
若第一幅度信息和第二幅度信息的差值大于第一阈值,则确定目标对象的业务行为为异常行为。
可选地,若第一幅度信息和第二幅度信息的差值大于第一阈值,则确定目标对象的业务行为为异常行为之后,还包括:
确定目标对象的业务行为所属的预警区域,并根据预警区域对应的报警方式进行报警;预警区域是预先设定的,并由待使用的评估模型所对应的业务行为的类型确定。
可选地,第一阈值是通过机器学习算法获得的。
可选地,评估模型通过以下方式获得,包括:获取目标对象的多个历史业务行为数据,对每个历史业务行为数据作傅里叶变换处理,得到各历史业务行为数据的频率数据;
根据频率阈值和各历史业务行为数据的频率数据,对多个历史业务行为数据进行频率分类;
根据每类的历史业务行为数据,通过舒斯特周期图,得到该类的频率信息与幅度信息的对照关系,从而得到该类频率的评估模型。
可选地,对多个历史业务行为数据进行频率分类之后,得到该类的频率信息与幅度信息的对照关系之前,还包括:
通过回归算法,获得每类的历史业务行为数据的长期趋势,并拟合每类长期趋势的线性函数;
根据每类的历史业务行为数据和每类的线性函数,进行去噪处理,得到去噪后的每类的历史业务行为数据。
可选地,根据每类的历史业务行为数据,通过舒斯特周期图,得到该类的频率信息与幅度信息的对照关系,包括:
按时间长度对每类的历史业务行为数据进行分段,得到多段历史业务行为数据;
分别得到各段历史业务行为数据的舒斯特周期图;
对各段历史业务行为数据的舒斯特周期图进行整合,得到该类的频率信息与幅度信息的对照关系。
可选地,对各段历史业务行为数据的舒斯特周期图进行整合,包括:
利用平滑技术,对各段的舒斯特周期图进行段头平滑处理;
利用其它段的舒斯特周期图对本段的舒斯特周期图进行交叉验证,进行去噪处理;
将经过平滑和去噪处理后的各段历史业务行为数据的舒斯特周期图算数平均得到该类的舒斯特周期图。
可选地,获取目标对象的多个历史业务行为数据,包括:
对各系统中的业务数据进行格式标准化并对各系统中的业务数据进行关联分析得到业务行为数据;
按业务操作类型,对格式标准化的业务行为数据进行对象分类,得到各类对象的业务行为数据。
本发明实施例提供一种异常行为检测装置,包括:
采集模块,用于获取目标对象的业务行为数据;
计算模块,用于对业务行为数据进行傅里叶变换,得到业务行为数据的频率信息和第一幅度信息;
选择模块,用于根据频率信息,得到目标对象的待使用的评估模型;
处理模块,用于根据频率信息和待使用的评估模型,获得目标对象的第二幅度信息;
比较模块,用于对第一幅度信息和第二幅度信息进行比较;若第一幅度信息和第二幅度信息的差值大于第一阈值,则确定目标对象的业务行为为异常行为。
可选地,还包括:
预警模块,用于在确定业务行为为异常行为之后,确定目标对象的业务行为所属的预警区域,并根据预警区域对应的报警方式进行报警;预警区域是预先设定的,并由待使用的评估模型所对应的业务行为的类型确定。
可选地,第一阈值是通过机器学习算法获得的。
可选地,还包括:
评估模型生成模块包括:
频率转换模块,用于获取目标对象的多个历史业务行为数据,对每个历史业务行为数据作傅里叶变换处理,得到各历史业务行为数据的频率数据;
分类模块,用于根据频率阈值和各历史业务行为数据的频率数据,对多个历史业务行为数据进行频率分类;
生成模块,用于根据每类的历史业务行为数据,通过舒斯特周期图,得到该类的频率信息与幅度信息的对照关系,从而得到该类频率的评估模型。
可选地,对多个历史业务行为数据进行频率分类之后,得到该类的频率信息与幅度信息的对照关系之前,评估模型生成模块还包括:
去噪模块,用于在分类模块对多个历史业务行为数据进行频率分类之后,通过回归算法,获得每类的历史业务行为数据的长期趋势,并拟合每类长期趋势的线性函数;
根据每类的历史业务行为数据和每类的线性函数,进行去噪处理,得到去噪后的每类的历史业务行为数据。
可选地,生成模块具体用于:
按时间长度对每类的历史业务行为数据进行分段,得到多段历史业务行为数据;
分别得到各段历史业务行为数据的舒斯特周期图;
对各段历史业务行为数据的舒斯特周期图进行整合,得到该类的频率信息与幅度信息的对照关系。
可选地,生成模块具体用于:
利用平滑技术,对各段的舒斯特周期图进行段头平滑处理;
利用其它段的舒斯特周期图对本段的舒斯特周期图进行交叉验证,进行去噪处理;
将经过平滑和去噪处理后的各段历史业务行为数据的舒斯特周期图算数平均得到该类的舒斯特周期图。
可选地,频率转换模块还用于:
对各系统中的业务数据进行格式标准化并对各系统中的业务数据进行关联分析得到业务行为数据;
按业务操作类型,对格式标准化的业务行为数据进行对象分类,得到各类对象的业务行为数据。
本发明实施例提供了一种异常行为检测方法及装置,包括:获取目标对象的业务行为数据;对业务行为数据进行傅里叶变换,得到业务行为数据的频率信息和第一幅度信息;根据频率信息,得到目标对象的待使用评估模型;根据频率信息和评估模型,获得目标对象的第二幅度信息;若第一幅度信息和第二幅度信息的差值大于第一阈值,则确定目标对象的业务行为为异常行为。本发明实施例中针对的是业务行为的频率进行分析,对于不同的业务行为数据的种类和频率采用不同的模型,使得在对业务行为数据处理的过程中,避免了不同业务种类和不同频率波段之间的干扰;同时,本发明采用周期分析和傅里叶频域分析,分析过程中有效滤除了波动干扰,从而提高了检测的灵敏度;因此,本发明能够降低异常行为的漏检率和误检率,检测效果更加理想。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种异常行为检测流程图;
图2为本发明实施例提供的一种评估模型建立方法流程图;
图3为本发明实施例提供的一种线性趋势拟合示意图;
图4为本发明实施例提供的一个未经交叉验证处理的一段数据的舒斯特周期图;
图5为本发明实施例提供的一个经交叉验证处理后的一段数据的舒斯特周期图;
图6为本发明实施例提供的一个异常行为检测装置结构图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部份实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
图1示例性示出了本发明实施例提供的一种异常行为检测方法流程图,如图1所示,包括以下步骤:
S101:获取目标对象的业务行为数据;
S102:对业务行为数据进行傅里叶变换,得到业务行为数据的频率信息和第一幅度信息;
S103:根据频率信息,得到目标对象的待使用的评估模型;
S104:根据频率信息和待使用的评估模型,获得目标对象的第二幅度信息;
S105:若第一幅度信息和第二幅度信息的差值大于第一阈值,则确定目标对象的业务行为为异常行为。
步骤S101中获取目标对象的业务行为数据;具体的,根据确定的目标对象,从安全数据采集平台获取的该目标对象的各类日志信息,如数据库系统的登录日志、数据库系统审计日志、数据库审计产品的审计数据、合法记录的应用设备信息、4A平台设备信息等,通过各类日志信息得到了目标对象的业务行为数据。目标对象可以是行为类型,也可以是行为主体,也可以是行为事件等等。例如,目标对象为登录行为,则从各类日志中获取与登录行为相关的日志,从而得到了登录行为的业务行为数据。可选地,由于本发明基于时间分析和傅里叶变换,因此业务行为数据中必须包含时间信息。例如,对登录行为进行异常行为检测时,先获取上述日志信息并格式化得到统一格式,之后,从上述日志信息中过滤出与登录行为相关的信息,如时间、账号(Identification,ID)、网络协议(Internet Protocol,IP)等,将这些信息相关联获得业务行为数据。可选地,本发明即可对操作行为进行异常行为检测,也可对单一日志变量进行异常行为检测,如本发明即可以检测登录某网站的IP信息的变化,也可以检测某IP登录网站的次数的变化。
步骤S102中对业务行为数据进行傅里叶变换,得到业务行为数据的频率信息和第一幅度信息;具体指,对上述业务行为数据进行傅里叶变换,变换前的业务数据为时域信息,经过傅里叶变换后,可以将业务数据的表现形式由时域信息转换为频域信息。由傅里叶变换后的频域信息可以直接获得业务行为数据的频率和第一幅度信息。
步骤S103中根据频率信息,得到目标对象的待使用的评估模型;具体指,本发明根据业务行为频率的不同建有多种评估模型,在对业务行为进行检测的时候,需根据业务行为的频率信息选择对应的评估模型进行处理。可选地,本发明既可用于一个业务行为的检测,也可用于一组业务行为的检测,若检测一组业务行为,则确定的目标对象的评估模型可能不止一个。如检测登录行为在一周内的异常行为,且登录行为在工作日和休息日的频率不同,则需先确定业务行为类型为登录行为,然后根据工作日和休息日不同的频率选择针对这两种频率的评估模型。
步骤S104中根据频率信息和待使用的评估模型,获得目标对象的第二幅度信息;具体指,评估模型是根据长期的历史业务行为数据得到的,因此评估模型反应的是基于历史统计的业务行为的频率信息和幅度信息的对照关系,将目标对象的业务行为数据的频率数据经评估模型处理,便可得到在正常情况下该频率对应的幅度,即第二幅度信息。
步骤S105中若第一幅度信息和第二幅度信息的差值大于第一阈值,则确定目标对象的业务行为为异常行为。具体指,将第一幅度信息与第二幅度信息作差,若差值的绝对值大于第一阈值,那么目标对象的业务行为就是异常行为。可选地,上述第一阈值的大小与评估模型有关。例如,具有某频率的业务行为其实际幅度,即第一幅度信息为5,经与其频率对应的评估模型处理后获得的幅度,即第二幅度信息为2,本模型对应的第一阈值为1,由于第一幅度信息和第二幅度信息的差值3大于第一阈值,因此该业务行为为异常行为。
可选地,若第一幅度信息和第二幅度信息的差值大于第一阈值,则确定目标对象的业务行为为异常行为之后,还包括:确定目标对象的业务行为所属的预警区域,并根据预警区域对应的报警方式进行报警;预警区域是预先设定的,并由待使用的评估模型所对应的业务行为的类型确定。例如,将第一预警区域的行为包括登录,查询等操作,第二预警区域行为包括更改防火墙设置等操作,第三预警区域行为包括转账,修改账户信息等操作,通过设置预警区域,可以更加直接地向用户反映异常行为的类型信息,方便用户采取对应措施。可选地,预警区域也可根据第一幅度信息和第二幅度信息差值的大小划分。例如,对一级预警区域的行为进行关注处理,对二级预警区域的行为进行密切监视,对三级预警区域的行为立刻采取行动。如第一幅度信息为5,第二幅度信息为2,第一预警区域为1,第二预警区域为2,第三预警区域为3,则本业务行为为第三预警区域的行为,需立刻采取行动。通过上述方法,通过对异常行为区分预警区域可以避免一些浮动较大的正常数据被误认为异常行为数据,从而降低了误报率。可选地,上述预警区域可以是人为设置的,也可以是根据机器学习算法获得的。
可选地,第一阈值是通过机器学习算法获得的。例如,可以根据专业知识预先设定一个阈值,之后利用机器学习算法,不断学习已有数据中的规律,将结果不断逼近最优化的结果,最后确定出第一阈值。可选地,第一阈值也可以不经预先设定,而由机器学习算法直接获得。第一阈值可以避免业务行为数据的浮动造成与模拟结果不相符的问题,降低了误检率。
可选地,本发明实施例提供了一种评估模型的建立方法,如图2所示。图2为本发明实施提供的一种评估模型建立方法流程图,包含以下步骤:
S201:获取目标对象的多个历史业务行为数据,对每个历史业务行为数据作傅里叶变换处理,得到各历史业务行为数据的频率数据;
S202:根据频率阈值和各历史业务行为数据的频率数据,对多个历史业务行为数据进行频率分类;
S203:根据每类的历史业务行为数据,通过舒斯特周期图,得到该类的频率信息与幅度信息的对照关系,从而得到该类频率的评估模型。
获取目标对象的多个历史业务行为数据,对每个历史业务行为数据作傅里叶变换处理,得到各历史业务行为数据的频率数据;具体为,分别上述的多个历史业务行为数据进行分析。未经处理的历史业务行为数据为时域信息,经傅里叶变换处理后,可以获得历史业务的频域信息,从频域信息中可以直接获得历史行为数据的频率信息。
步骤S201中根据频率阈值和各历史业务行为数据的频率数据,对多个历史业务行为数据进行频率分类;具体指,分别对各历史业务行为数据进行分类。当历史业务行为数据经过傅里叶变换处理后,会获得一系列的傅里叶系数,可分为高频系数、中频系数和低频系数。由于高频系数代表了数据的波动大小,经过对各历史业务行为数据的频率数据的分析,把高频系数大于频率阈值的数据归为一类,其余归为另一类。如对用户孙乐在十一月份的网购交易次数建立评估模型,由于节日活动,用户孙乐在十一月十一号的交易次数明显高于十一月份的其它时间。在获取用户孙乐的交易次数的频率数据后,可以看到十一号的频率数据的高频系数高于频率阈值而其它时间的频率的高频系数低于频率阈值,则可认为十一月份的交易次数数据中,十一号的数据和其它时间的数据为两种频率类型的数据。可选地,设定多个频率阈值对各历史业务行为数据进行更细致的分类,如设定两个频率阈值,第一频率阈值和第二频率阈值,对用户孙乐在十一月份的网购交易次数建立评估模型,由于节日活动,用户孙乐在十一月十一号的交易次数明显高于十一月份的其它时间,而十一月八号至十一月十号的交易次数明显低于其它时间。在获取用户孙乐的交易次数的频率数据后,可以看到十一号的频率的高频系数高于第二频率阈值,八号至十号的交易次数数据的高频系数于第一频率阈值,其它时间的交易次数数据的高频系数高于第一频率阈值且低于第二频率阈值,则可将十一月份的交易次数数据中分为十一号的数据、八号至十号的数据、其它时间的数据共三种频率类型的数据。
通过上述方法,对目标对象的多个历史业务行为数据分别进行处理,使所得的评估模型更具有针对性,同时,把业务行为数据按频率分类处理可以减少不同频率的数据之间相互的干扰,使所得的评估模型更加精确。
可选地,对多个历史业务行为数据进行频率分类之后,得到该类的频率信息与幅度信息的对照关系之前,还包括:通过回归算法,获得每类的历史业务行为数据的长期趋势,并拟合每类长期趋势的线性函数;根据每类的历史业务行为数据和每类的线性函数,进行去噪处理,得到去噪后的每类的历史业务行为数据。上述“长期趋势”是相对于给定的数据的时间长度,如对于一个月内的数据,其中二十天的数据集中反应出的趋势即可称为“长期趋势”。本发明采用线性回归算法模拟出历史业务行为数据的长期趋势,可选地,也可以采用其它算法模拟历史趋势。进行去躁处理后,可以去除与长期趋势差异较大的点。本发明实施例示例性地示出了一种线性趋势拟合示意图,如图3所示。图3中散点代表原始数据,直线代表根据原始数据拟合出来的线性趋势。通过上述去躁处理,除去差异较大的数据点,可以使最后获得的数据更具有代表性,由此去躁后的数据获得的评估模型也会更加精确。
可选地,根据每类的历史业务行为数据,通过舒斯特周期图,得到该类的频率信息与幅度信息的对照关系,包括:按时间长度对每类的历史业务行为数据进行分段,得到多段历史业务行为数据;分别得到各段历史业务行为数据的舒斯特周期图;对各段历史业务行为数据的舒斯特周期图进行整合,得到该类的频率信息与幅度信息的对照关系。在利用历史业务行为数据获取舒斯特周期图时,往往会由于历史业务行为数据过长,导致得到的舒斯特周期图无法提供稳定的频谱特征,这时,可将时间长度过长的某类历史业务行为数据分成多个短的时间段落后,分别得到这些短时间段落数据的舒斯特周期图,把这些短时间段落的舒斯特周期图进行整合,获得更加稳定的舒斯特周期图。可选地,短段落的个数和长度视所处理的历史业务行为数据的时间长度而定。获取更稳定的舒斯特周期图便可从图中获得更具代表性的频率信息和幅度信息的对照关系,使得最后获得的评估模型也更具代表性。
可选地,对各段历史业务行为数据的舒斯特周期图进行整合,包括:利用平滑技术,对各段的舒斯特周期图进行段头平滑处理;利用其它段的舒斯特周期图对本段的舒斯特周期图进行交叉验证,进行去噪处理;将经过平滑和去噪处理后的各段历史业务行为数据的舒斯特周期图算数平均得到该类的舒斯特周期图。在对短的段落进行傅里叶变换时,由于数据截断会造成频率污染问题,通过在短的数据段落上应用平滑技术可以消除数据段两头因突然的数据截断带来的频率污染,可选地,所述平滑技术可以是汉宁窗技术(Hanning Window),也可以是维尔奇窗技术(Welch Window),或其它可以解决频率污染问题的平滑技术。在获取各段数据的舒斯特周期图后,需对各段数据的舒斯特周期图作交叉验证。图4示例性示出了未经交叉验证处理的一段数据的舒斯特周期图,如图4所示,在最大幅度峰值附近还存在着多个小峰值,即噪声。与其它数据段的舒斯特周期图作交叉验证处理后,可消除原有噪声。图5示例性示出了经过交叉验证处理后的一段数据的舒斯特周期图。如图5所示,交叉验证处理后的舒斯特周期图只保留了最大的幅度信息,其余噪声均被清除。把上述经过去躁处理后的各数据段的舒斯特周期图作算术平均后,即可得到最后的周期图。由于上述处理过程清除了噪声的干扰,使得最后获得的舒斯特周期图更加稳定可靠。
可选地,获取目标对象的多个历史业务行为数据,包括:对各系统中的业务数据进行格式标准化并对各系统中的业务数据进行关联分析得到业务行为数据;按业务操作类型,对格式标准化的业务行为数据进行对象分类,得到各类对象的业务行为数据。上述目标对象的多个历史业务行为数据,来自于包括数据库系统的登录日志、数据库系统审计日志、数据库审计产品的审计数据、合法记录的应用设备信息、4A平台设备信息等在内的日志记录数据。由于数据来源复杂,需先将这些数据格式标准化。例如,涉及有时间戳的数据的时间统一为日/月/年时:分:秒的格式。对历史数据格式标准化后,根据要建立评估模型的业务行为类型,对采集到的业务数据进行筛选。例如,在用户进行登录行为时,会产生一些与登录行为相关的日志,我们可以在对数据进行分析建模时,查找登录行为的规律,然后选择那些与模型要求的属性字段相关的字段,然后就可以得到登录相关的字段。因为每一个分类都有自己独特的特征和周期模式,所以对每一个分类都单独地进行时间周期的分析来模拟正常登陆时间的区间。分类法在这里的运用可以大大提高时间周期分析的准确性。
综上所述,本发明实施例提供了一种异常行为检测方法,包括:获取目标对象的业务行为数据;对业务行为数据进行傅里叶变换,得到业务行为数据的频率信息和第一幅度信息;根据频率信息,得到目标对象的待使用评估模型;根据频率信息和评估模型,获得目标对象的第二幅度信息;若第一幅度信息和第二幅度信息的差值大于第一阈值,则确定目标对象的业务行为为异常行为。本发明实施例中针对的是业务行为的频率进行分析,对不同的业务行为数据的种类和频率采用不同的模型,使得在对业务行为数据处理的过程中,避免了不同业务种类和不同频率波段之间的干扰;同时,本发明采用周期分析和傅里叶频域分析,分析过程中有效滤除了波动干扰,从而提高了检测的灵敏度;因此,本发明能够降低异常行为的漏检率和误检率,检测效果更加理想。
基于相同构思,本发明实施例提供了一组异常行为检测装置600,如图6所示,该装置包括:采集模块601,计算模块602,选择模块603,处理模块604和比较模块605,其中:
采集模块601,用于获取目标对象的业务行为数据;
计算模块602,用于对所述业务行为数据进行傅里叶变换,得到所述业务行为数据的频率信息和第一幅度信息;
选择模块603,用于根据所述频率信息,得到所述目标对象的待使用的评估模型;
处理模块604,用于根据所述频率信息和所述待使用的评估模型,获得所述目标对象的第二幅度信息;
比较模块605,用于对所述第一幅度信息和所述第二幅度信息进行比较;若所述第一幅度信息和所述第二幅度信息的差值大于第一阈值,则确定所述目标对象的业务行为为异常行为。
可选地,上述装置还包括:
预警模块606,用于在确定所述目标对象的业务行为为异常行为之后,确定所述目标对象的业务行为所属的预警区域,并根据所述预警区域对应的报警方式进行报警;所述预警区域是预先设定的,并由所述待使用的评估模型所对应的业务行为的类型确定。
可选地,第一阈值是通过机器学习算法获得的。
可选地,上述装置还包括:
评估模型生成模块607,包括:
频率转换模块,用于获取所述目标对象的多个历史业务行为数据,对每个历史业务行为数据作傅里叶变换处理,得到各历史业务行为数据的频率数据;
分类模块,用于根据频率阈值和所述各历史业务行为数据的频率数据,对所述多个历史业务行为数据进行频率分类;
生成模块,用于根据每类的历史业务行为数据,通过舒斯特周期图,得到该类的频率信息与幅度信息的对照关系,从而得到该类频率的评估模型。
可选地,评估模型生成模块607对所述多个历史业务行为数据进行频率分类之后,得到该类的频率信息与幅度信息的对照关系之前,还包括:
去噪模块,用于在分类模块对多个历史业务行为数据进行频率分类之后,通过回归算法,获得每类的历史业务行为数据的长期趋势,并拟合每类长期趋势的线性函数;
根据每类的历史业务行为数据和每类的线性函数,进行去噪处理,得到去噪后的每类的历史业务行为数据。
可选地,生成模块具体用于:
按时间长度对每类的历史业务行为数据进行分段,得到多段历史业务行为数据;
分别得到各段历史业务行为数据的舒斯特周期图;
对各段历史业务行为数据的舒斯特周期图进行整合,得到该类的频率信息与幅度信息的对照关系。
可选地,生成模块具体用于:
利用平滑技术,对各段的舒斯特周期图进行段头平滑处理;
利用其它段的舒斯特周期图对本段的舒斯特周期图进行交叉验证,进行去噪处理;
将经过平滑和去噪处理后的各段历史业务行为数据的舒斯特周期图算数平均得到该类的舒斯特周期图。
可选地,频率转换模块还用于:
对各系统中的业务数据进行格式标准化并对各系统中的业务数据进行关联分析得到业务行为数据;
按业务操作类型,对格式标准化的业务行为数据进行对象分类,得到各类对象的业务行为数据。
综上所述,本发明实施例提供了一种异常行为检测方法及装置装置,包括:获取目标对象的业务行为数据;对业务行为数据进行傅里叶变换,得到业务行为数据的频率信息和第一幅度信息;根据频率信息,得到目标对象的待使用评估模型;根据频率信息和评估模型,获得目标对象的第二幅度信息;若第一幅度信息和第二幅度信息的差值大于第一阈值,则确定目标对象的业务行为为异常行为。本发明实施例中针对的是业务行为的频率进行分析,对不同的业务行为数据的种类和频率采用不同的模型,使得在对业务行为数据处理的过程中,避免了不同业务种类和不同频率波段之间的干扰;同时,本发明采用周期分析和傅里叶频域分析,分析过程中有效滤除了波动干扰,从而提高了检测的灵敏度;因此,本发明能够降低异常行为的漏检率和误检率,检测效果更加理想。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (16)
1.一种异常行为检测方法,其特征在于,包括:
获取目标对象的业务行为数据;
对所述业务行为数据进行傅里叶变换,得到所述业务行为数据的频率信息和第一幅度信息;
根据所述频率信息,得到所述目标对象的待使用的评估模型;
根据所述频率信息和所述待使用的评估模型,获得所述目标对象的第二幅度信息;
若所述第一幅度信息和所述第二幅度信息的差值大于第一阈值,则确定所述目标对象的业务行为为异常行为。
2.如权利要求1所述的方法,其特征在于,若所述第一幅度信息和所述第二幅度信息的差值大于第一阈值,则确定所述目标对象的业务行为为异常行为之后,还包括:
确定所述目标对象的业务行为所属的预警区域,并根据所述预警区域对应的报警方式进行报警;所述预警区域是预先设定的,并由所述待使用的评估模型所对应的业务行为的类型确定。
3.如权利要求1所述的方法,其特征在于,包括:
所述第一阈值是通过机器学习算法获得的。
4.如权利要求1至3任一项所述的方法,其特征在于,评估模型通过以下方式获得,包括:
获取所述目标对象的多个历史业务行为数据,对每个历史业务行为数据作傅里叶变换处理,得到各历史业务行为数据的频率数据;
根据频率阈值和所述各历史业务行为数据的频率数据,对所述多个历史业务行为数据进行频率分类;
根据每类的历史业务行为数据,通过舒斯特周期图,得到该类的频率信息与幅度信息的对照关系,从而得到该类频率的评估模型。
5.如权利要求4所述的方法,其特征在于,所述对所述多个历史业务行为数据进行频率分类之后,得到该类的频率信息与幅度信息的对照关系之前,还包括:
通过回归算法,获得每类的历史业务行为数据的长期趋势,并拟合每类长期趋势的线性函数;
根据每类的历史业务行为数据和每类的线性函数,进行去噪处理,得到去噪后的每类的历史业务行为数据。
6.如权利要求4所述的方法,其特征在于,根据每类的历史业务行为数据,通过舒斯特周期图,得到该类的频率信息与幅度信息的对照关系,包括:
按时间长度对每类的历史业务行为数据进行分段,得到多段历史业务行为数据;
分别得到各段历史业务行为数据的舒斯特周期图;
对各段历史业务行为数据的舒斯特周期图进行整合,得到该类的频率信息与幅度信息的对照关系。
7.如权利要求6所述的方法,其特征在于,所述对各段历史业务行为数据的舒斯特周期图进行整合,包括:
利用平滑技术,对各段的舒斯特周期图进行段头平滑处理;
利用其它段的舒斯特周期图对本段的舒斯特周期图进行交叉验证,进行去噪处理;
将经过平滑和去噪处理后的各段历史业务行为数据的舒斯特周期图算数平均得到该类的舒斯特周期图。
8.如权利要求4所述的方法,其特征在于,获取所述目标对象的多个历史业务行为数据,包括:
对各系统中的业务数据进行格式标准化并对各系统中的业务数据进行关联分析得到业务行为数据;
按业务操作类型,对格式标准化的业务行为数据进行对象分类,得到各类对象的业务行为数据。
9.一种异常行为检测装置,其特征在于,包括:
采集模块,用于获取目标对象的业务行为数据;
计算模块,用于对所述业务行为数据进行傅里叶变换,得到所述业务行为数据的频率信息和第一幅度信息;
选择模块,用于根据所述频率信息,得到所述目标对象的待使用的评估模型;
处理模块,用于根据所述频率信息和所述待使用的评估模型,获得所述目标对象的第二幅度信息;
比较模块,用于对所述第一幅度信息和所述第二幅度信息进行比较;若所述第一幅度信息和所述第二幅度信息的差值大于第一阈值,则确定所述目标对象的业务行为为异常行为。
10.如权利要求9所述的装置,其特征在于,还包括:
预警模块,用于在所述目标对象的业务行为为异常行为之后,确定所述目标对象的业务行为所属的预警区域,并根据所述预警区域对应的报警方式进行报警;所述预警区域是预先设定的,并由所述待使用的评估模型所对应的业务行为的类型确定。
11.如权利要求9所述的装置,其特征在于,包括:
所述第一阈值是通过机器学习算法获得的。
12.如权利要求9至11任一项所述的装置,其特征在于,还包括:
评估模型生成模块,
所述评估模型生成模块包括:
频率转换模块,用于获取所述目标对象的多个历史业务行为数据,对每个历史业务行为数据作傅里叶变换处理,得到各历史业务行为数据的频率数据;
分类模块,用于根据频率阈值和所述各历史业务行为数据的频率数据,对所述多个历史业务行为数据进行频率分类;
生成模块,用于根据每类的历史业务行为数据,通过舒斯特周期图,得到该类的频率信息与幅度信息的对照关系,从而得到该类频率的评估模型。
13.如权利要求12所述的装置,其特征在于,所述对所述多个历史业务行为数据进行频率分类之后,得到该类的频率信息与幅度信息的对照关系之前,所述评估模型生成模块,还包括:
去噪模块,用于在所述分类模块对所述多个历史业务行为数据进行频率分类之后,通过回归算法,获得每类的历史业务行为数据的长期趋势,并拟合每类长期趋势的线性函数;
根据每类的历史业务行为数据和每类的线性函数,进行去噪处理,得到去噪后的每类的历史业务行为数据。
14.如权利要求12所述的装置,其特征在于,所述生成模块,具体用于:
按时间长度对每类的历史业务行为数据进行分段,得到多段历史业务行为数据;
分别得到各段历史业务行为数据的舒斯特周期图;
对各段历史业务行为数据的舒斯特周期图进行整合,得到该类的频率信息与幅度信息的对照关系。
15.如权利要求14所述的装置,其特征在于,所述生成模块,具体用于:
利用平滑技术,对各段的舒斯特周期图进行段头平滑处理;
利用其它段的舒斯特周期图对本段的舒斯特周期图进行交叉验证,进行去噪处理;
将经过平滑和去噪处理后的各段历史业务行为数据的舒斯特周期图算数平均得到该类的舒斯特周期图。
16.如权利要求12所述的装置,其特征在于,所述频率转换模块,还用于:
对各系统中的业务数据进行格式标准化并对各系统中的业务数据进行关联分析得到业务行为数据;
按业务操作类型,对格式标准化的业务行为数据进行对象分类,得到各类对象的业务行为数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610728454.XA CN107783942B (zh) | 2016-08-25 | 2016-08-25 | 一种异常行为检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610728454.XA CN107783942B (zh) | 2016-08-25 | 2016-08-25 | 一种异常行为检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107783942A true CN107783942A (zh) | 2018-03-09 |
CN107783942B CN107783942B (zh) | 2021-04-13 |
Family
ID=61438476
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610728454.XA Active CN107783942B (zh) | 2016-08-25 | 2016-08-25 | 一种异常行为检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107783942B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109947853A (zh) * | 2019-03-25 | 2019-06-28 | 阿里巴巴集团控股有限公司 | 一种业务活动变更感知方法、系统及服务器 |
CN111143102A (zh) * | 2019-12-13 | 2020-05-12 | 东软集团股份有限公司 | 异常数据检测方法、装置、存储介质及电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101902366A (zh) * | 2009-05-27 | 2010-12-01 | 北京启明星辰信息技术股份有限公司 | 一种业务行为异常检测方法和系统 |
WO2012001795A1 (ja) * | 2010-06-30 | 2012-01-05 | 富士通株式会社 | 証跡ログ解析システム、証跡ログ解析プログラム、および証跡ログ解析方法 |
CN105843947A (zh) * | 2016-04-08 | 2016-08-10 | 华南师范大学 | 基于大数据关联规则挖掘的异常行为检测方法和系统 |
-
2016
- 2016-08-25 CN CN201610728454.XA patent/CN107783942B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101902366A (zh) * | 2009-05-27 | 2010-12-01 | 北京启明星辰信息技术股份有限公司 | 一种业务行为异常检测方法和系统 |
WO2012001795A1 (ja) * | 2010-06-30 | 2012-01-05 | 富士通株式会社 | 証跡ログ解析システム、証跡ログ解析プログラム、および証跡ログ解析方法 |
CN105843947A (zh) * | 2016-04-08 | 2016-08-10 | 华南师范大学 | 基于大数据关联规则挖掘的异常行为检测方法和系统 |
Non-Patent Citations (3)
Title |
---|
刘璇 等: "《金融网络中资金流动异常识别研究》", 31 March 2012, 上海交通大学出版社 * |
朱麟章等: "《检测理论及其应用》", 31 October 1997, 机械工业出版社 * |
林果园等: "基于动态行为和特征模式的异常检测模型", 《计算机学报》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109947853A (zh) * | 2019-03-25 | 2019-06-28 | 阿里巴巴集团控股有限公司 | 一种业务活动变更感知方法、系统及服务器 |
CN111143102A (zh) * | 2019-12-13 | 2020-05-12 | 东软集团股份有限公司 | 异常数据检测方法、装置、存储介质及电子设备 |
CN111143102B (zh) * | 2019-12-13 | 2024-01-19 | 东软集团股份有限公司 | 异常数据检测方法、装置、存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN107783942B (zh) | 2021-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105279365B (zh) | 用于学习异常检测的样本的方法 | |
CN105577440B (zh) | 一种网络故障时间定位方法和分析设备 | |
CN104240455B (zh) | 一种分布式光纤管线安全预警系统中的扰动事件识别方法 | |
US9323652B2 (en) | Iterative bottleneck detector for executing applications | |
CN104317681B (zh) | 针对计算机系统的行为异常自动检测方法及检测系统 | |
CN107493277B (zh) | 基于最大信息系数的大数据平台在线异常检测方法 | |
US8903757B2 (en) | Proactive information technology infrastructure management | |
CN110738564A (zh) | 贷后风险评估方法及装置、存储介质 | |
CN106294559A (zh) | 一种应用流量分析方法及装置 | |
JP2015011027A (ja) | 時系列データにおける異常を検出する方法 | |
CN111782460A (zh) | 大规模日志数据的异常检测方法、装置和存储介质 | |
CN103679030A (zh) | 一种基于动态语义特征的恶意代码分析检测方法 | |
CN109308225B (zh) | 一种虚拟机异常检测方法、装置、设备及存储介质 | |
CN107783942A (zh) | 一种异常行为检测方法及装置 | |
CN104077128B (zh) | 一种数据处理方法及装置 | |
CN106706109A (zh) | 一种基于时域二维特性的振动源识别方法及系统 | |
CN113868948A (zh) | 一种面向用户的动态阈值模型训练系统及方法 | |
Pan et al. | User click fraud detection method based on Top-Rank-k frequent pattern mining | |
DE112014006799T5 (de) | Verfahren zur Messung eines Benutzerverhalten-Konsistenzgrades auf Basis eines komplexen Korrespondenzsystems | |
CN109887253B (zh) | 石油化工装置报警的关联分析方法 | |
CN108229586B (zh) | 一种数据中的异常数据点的检测方法及系统 | |
Bala et al. | Use of the multiple imputation strategy to deal with missing data in the ISBSG repository | |
CN112732773B (zh) | 一种继电保护缺陷数据的唯一性校核方法及系统 | |
CN105842535B (zh) | 一种基于相似特征融合的谐波主特征群筛选方法 | |
CN114553468A (zh) | 一种基于特征交叉与集成学习的三级网络入侵检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |