CN111245793A - 网络数据的异常分析方法及装置 - Google Patents

网络数据的异常分析方法及装置 Download PDF

Info

Publication number
CN111245793A
CN111245793A CN201911417446.3A CN201911417446A CN111245793A CN 111245793 A CN111245793 A CN 111245793A CN 201911417446 A CN201911417446 A CN 201911417446A CN 111245793 A CN111245793 A CN 111245793A
Authority
CN
China
Prior art keywords
data
abnormal
behaviors
behavior
classification model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911417446.3A
Other languages
English (en)
Inventor
李福宜
王平
陈宏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Jiaotong University Jump Network Technology Co ltd
Original Assignee
Xi'an Jiaotong University Jump Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Jiaotong University Jump Network Technology Co ltd filed Critical Xi'an Jiaotong University Jump Network Technology Co ltd
Priority to CN201911417446.3A priority Critical patent/CN111245793A/zh
Publication of CN111245793A publication Critical patent/CN111245793A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开一种网络数据的异常分析方法及装置,以微服务形式,采用接口调起或定时调度或周期调度形式启动异常分析任务,获取流量日志与审计日志数据,根据分类模型确定其类别,根据类别分别执行机器学习或情报匹配识别出异常行为,并统计分析出未知的潜在威胁,最后对异常行为和潜在威胁进行画像生成安全基线,基于安全基线预测安全趋势。一方面提高运行速度和降低资源占用,另一方面也可以提高分析结果的准确度。

Description

网络数据的异常分析方法及装置
技术领域
本发明属于网络安全与数据分析技术领域,尤其是涉及一种网络数据的异常分析方法及装置。
背景技术
随着技术进步,互联网已深入各个方面,攻击事件逐年增多,网络安全问题逐渐成为社会焦点。网络攻击手段层出不穷,不但种类繁多,而且向高度集成、自动化的方向快速发展,随着网络的日益复杂,安全威胁也趋于多元化,面对大量格式不一、形式各异的日志和警报,传统的处理方法早已不堪重负,从而衍生出网络安全态势感知。
网络安全态势感知是一种主动的网络防御手段,从防火墙、安全审计、防病毒软件等软硬件中获取到大量的日志数据,在对数据处理的基础上,对整个网络的当前状况进行及时评估和反映,并对未来的变化趋势进行预测。它不仅能够反应当前网络安全态势,并且能够对网络中潜在的攻击做出预测,从而对潜在攻击做出主动防御。使管理者对网络的安全状况和演化趋势有一个全面的了解,对复杂多变的安全威胁做出快速响应,以减轻认知与响应压力。
目前,对于网络安全态势的研究,较常见的是对网络威胁量化过程和入侵检测过程的研究,大多是分析过去或当前的网络安全态势,难以进行网络安全态势的预测,只有少数的预测模型,应用场景有限,预测准确性也有待提高。
发明内容
有鉴于此,提出一种网络数据的异常分析方法及装置,作为态势感知的重要组成,主要完成离线分析,通过对海量数据进行分析,发现异常行为和潜在威胁,进一步预测安全趋势,其具体技术方案如下所述。
一方面,一种网络数据的异常分析方法,包括:
获取异常分析任务开始与结束时间之间的流量日志数据,将流量元数据转换为可被分类模型识别的数据类型,将转换后的数据输入分类模型,输出该数据对应的分类类别;根据数据所属类别,分别进行机器学习或情报匹配,识别出异常行为并对相应的IP产生告警;
将已发现的异常行为与原始日志进行关联,统计分析所述原始日志中,未知行为的发生频率,将超过特定频率的未知行为确定为潜在威胁;
对包括所述异常行为与所述潜在威胁的安全事件,进行时间、源、内容、目标至少一个维度的画像,机器学习生成相应的行为基线模型,分析得到偏离基线的行为,并预测特定时间段内的安全趋势。
作为优选的,所述分类模型的建立过程,具体包括:
对各个异常场景的数据,分别执行数据清洗算法,获取对应数据的格式化数据集 ;
对清洗后的数据集进行无监督聚类学习,得到同类数据的结果集,将数据集与结果集拼装后,取第一比例的数据进行有监督分类模型训练,取第二比例的数据验证所述分类模型的训练结果并根据吻合度进行评分,将评分最高的模型作为该类数据的分类模型。
作为优选的,对异常数据进行进一步处理:以异常数据的发生时间与目标信息为查询条件向前获取同类数据;若仍然为异常,重复前述查询流程,直至特定异常数据的前一数据为正常且后一数据为异常,将该异常数据的发生时间输出为异常源时间。
另一方面,一种网络数据的异常分析装置,包括:
异常行为分析模块,用于获取异常分析任务开始与结束时间之间的流量日志数据,将流量元数据转换为可被分类模型识别的数据类型,将转换后的数据输入分类模型,输出该数据对应的分类类别;根据数据所属类别,分别进行机器学习或情报匹配,识别出异常行为并对相应的IP产生告警;
潜在威胁分析模块,用于将已发现的异常行为与原始日志进行关联,统计分析所述原始日志中,未知行为的发生频率,将超过特定频率的未知行为确定为潜在威胁;
安全趋势分析模块,用于对包括所述异常行为与所述潜在威胁的安全事件,进行时间、源、内容、目标至少一个维度的画像,机器学习生成相应的行为基线模型,分析得到偏离基线的行为,并预测特定时间段内的安全趋势。
上述的技术方案,与现有技术相比,可以包括以下有益效果:以微服务形式,采用接口调起或定时调度或周期调度形式启动异常分析任务,获取流量日志与审计日志数据,根据分类模型确定其类别,根据类别分别执行机器学习或情报匹配识别出异常行为,并统计分析出未知的潜在威胁,最后对异常行为和潜在威胁进行画像生成安全基线,基于安全基线预测安全趋势。同时,异常分析完成后将异常日志和标识后的异常行为IP保存在数据库,并对高可疑的行为IP产生告警,进行告警处置动作,还可以根据需要进行威胁根源分析。采用机器学习、规则匹配、基线检查方式,一方面提高运行速度和降低资源占用,另一方面也可以提高分析结果的准确度。
附图说明
图1为本发明的网络数据异常分析方法实施例的,整体流程图;
图2为本发明的网络数据异常分析方法实施例的,异常行为分析流程图;
图3为本发明的网络数据异常分析方法实施例的,潜在威胁分析流程图;
图4为本发明的网络数据异常分析方法实施例的,安全趋势分析流程图;
图5为本发明的网络数据异常分析装置实施例的,组成框图。
具体实施方式
为了更好地理解本说明书的技术方案,下面将结合本实施例附图,进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书实施例的保护范围。
首先对涉及到的技术术语进行补充说明:
网络安全态势感知系统,在大规模网络环境中,通过采集、提取、融合分析能引起网络安全状态和趋势变化的网络环境要素(如资产、网络流量、运行状态、设备告警、脆弱性、安全事件和威胁情报等数据),利用数据挖掘等分析技术,对网络安全状况进行分析,对网络安全趋势进行预测,从而协助应急处置和安全决策的产品。以IDS、Firewall、VDS等单点防御为主的传统安全异构防御,实际将网络安全划分成了各个安全孤岛,互相之间缺乏相互关联协作。而态势感知系统的重点在于将网络系统视为整体,融合了传统网络安全理论中的各类攻击检测、定位及跟踪等等的方法,对网络进行全面集中的安全管理和智能综合的分析,将不同领域的安全部件融合为一个无缝的安全体系,从而形成一个宏观的网络安全管理体系,分析其安全状况及把握未来趋势,使用户能够从总体上直观的感知网络状况,为准确的操作提供可靠依据,从而将网路安全问题带来的风险和损失降低。
网络态势,各种网络设备运行状况、网络行为以及用户行为等因素所构成的整个网络当前状态和变化趋势。
威胁,可能导致对系统或组织危害的不希望事故潜在起因。
信息安全风险,威胁利用信息系统中存在的脆弱性导致安全事件发生后对组织带来的影响程度。
脆弱性,可能被威胁所利用的资产或若干资产的薄弱环节。
网络流量,连接网络的设备(包括各种网络设备、安全设备、服务器等)在网络上所产生的数据包的集合。
设备告警数据,安全设备或安全平台上根据对网络流量、日志、扫描探测返回信息等数据的分析结论或基于机器学习、引擎类设备、工具、组件关联分析生成的,描述异常网络情况、异常系统访问或系统脆弱性的信息。
网络安全事件,由于人为以及软硬件本身缺陷或故障的原因,对信息系统构成潜在危害、甚至影响信息系统正常提供服务的情况。网络安全事件通常会对社会造成负面影响,且使经过确认需要做出一定处置措施的事实。
威胁情报,一种基于证据的知识,包含了上下文、攻击机制、攻击指标、启示和可行建议。威胁情报描述了现存的、或者是即将出现针对资产的威胁或危险,并可以用于通知主体针对相关威胁或危险采取某种响应。
实施例一
本实施例,提出一种网络数据的异常分析方法,其整体流程如图1。
网络数据的异常分析方法,包括以下步骤:
S100,数据采集引擎采集网络内的日志数据,所述日志数据来自网络设备、安全软件以及硬件,包括流量日志、运行日志、安全审计日志、告警日志等,日志数据存住与ES集群的数据库。
S200,根据任务配置的开始与结束时间,从数据库中提取满足条件的流量数据,进行异常行为分析。如图2所示,具体包括:
建立分类模型:对各个异常场景的数据,分别执行数据清洗算法,将粗数据进行过滤、聚合降噪转化为格式化数据的过程,包括:检查数据一致性、处理无效值和缺失值,目的是发现并纠正数据,优选的实施方式是将数据输出为格式化数据(二维Ndarray)。由于涉及海量数据的处理,因此需要通过各种编码技巧尽可能提高处理速度,具体的编码实现不属于本发明需要说明的范畴,在此不再赘述。
由于每个APP(场景)都有其独特的数据特征,因此需要设备不同的清洗过程以及不同标准的格式化数据;为了提高处理速度,为每个场景都配置独立的清洗模块,考虑到清洗过程会占用大量物理机资源,将清洗任务下发至Agent端执行。所述的异常场景(APP),比如:非授权访问外发、下载,非授权访问、外联,账户异常登录,文件异常修改,日志异常变化,流量访问超限,访问频次超限,邮件异常等。(如下表所示)
Figure 259197DEST_PATH_IMAGE002
对场景进行解释说明:
非授权访问外发、下载,以未授权的方式使用网络资源进行对外数据发送行为或者未经许可下载可疑文件;
非授权访问、外联,内网计算机未经授权许可直接连通互联网或通过其他网路访问互联网,专网设备未经安全防护及策略设置直接连通其他网路;
账户异常登录,短时间内的账户登录地点异常变动,或者账户在非工作时间点登录。比如凌晨2点到5点,或者短时间内的账户连续登录失败以及注册后长时间没有访问记录的账户突然进行登录;
文件异常修改,在未经授权许可情况下对系统关键文件进行恶意篡改或大批量对文件进行删除;
日志异常变化,日志级别或者数量在短时间内出现明显波动行为;
访问流量超限,对于网络协议进行超过其本身正常访问流量的异常访问行为。比如DNS异常流量、隐匿通道、DGA域名通讯;
访问频次超限,对于网络资源进行超过其正常访问频度的过度访问行为,比如内网主机间的横向攻击行为、主机的挖矿行为、账号暴力破解、网站爬虫扫描攻击;
邮件异常,邮件异常是指邮件中包含病毒附件、恶意连接或者垃圾内容包括接受邮件异常和发送邮件异常。
对清洗后的数据集进行无监督聚类学习,得到同类数据的结果集,具体的是通过数据清洗获取数据的二维向量,将二维向量输入无监督模型进行聚类得到聚类结果;将数据集与结果集进行拼装,取80%的数据进行有监督分类模型训练,取20%的数据验证所述分类模型的训练结果,持续进行前述训练,根据有监督分类模型训练结果与验证训练结果的吻合度,对作为训练结果的各种的类模型进行评分,将评分最高的模型作为该类数据的分类模型。
作为一种优选的实施方式,异常行为分析会预先内置不同场景的分类模型。
数据分类过程:从数据库获取到流量数据,将流量元数据转换为可被分类模型识别的数据类型,将转换后的数据输入分类模型,输出该数据对应的分类类别;根据数据所属类别,分别进行机器学习或情报匹配。
所述根据数据所属类别进行机器学习,包括:对内网的扫描探测或通信控制阶段的数据,进行有监督的机器学习,建立网络内合法用户的正常行为集合,以1天为周期,将数据与所述正常行为集合进行对比,对异常行为的IP执行告警处置。例如:通过进行端口扫描行为分析,检测出挖矿病毒、勒索病毒、蠕虫类病毒、弱口令扫描、对外攻击、横向供给行为等;通过进行恶意URL检测、FGA域名识别,检测出APT、C&C通信、隐匿通信、敏感数据泄露等。
根据数据所属类别进行情报匹配,包括:建立已知威胁的情报库,并将情报数据缓存进本地内存数据库,针对违规、可疑、风险访问等场景,结合审计日志、流量日志,通过在情报和访问控制规则中制定策略,当行为内容和/或数据类型违反所述安全策略,对异常行为到的IP执行告警处置。例如:通过进行邮件内容检测,结合情报数据识别病毒邮件、垃圾邮件、钓鱼邮件等;通过对FTP、SMB文件传输共享协议内容进行检测,则结合威胁情报识别恶意文件、病毒文件。
作为一种优选的实施方式,对异常行为的数据进行进一步处理:以异常数据的发生时间 与目标IP为查询条件向前一天获取数据,输入前述分类模型,通过前述匹配过程,识别数据是否异常,若仍然为异常,重复前述查询流程,直至前一天数据未正常且后一提案数据为异常,将该异常数据的发生时间输出为异常源时间。
将前述机器学习与情报匹配识别到的异常数据,如异常URL、异常域名、被渗透IP、异常起始时间、安装填入时间等存入异常信息库。
需要说明的是,所述异常行为步进包括非法用户(攻击者)的入侵或威胁行为,还包括合法用户的非正常行为。
S300,将已发现的异常行为与原始日志进行关联,统计分析所述原始日志中,未知行为的发生频率,将超过特定频率的未知行为确定为潜在威胁。如图3所示,具体包括统计分析:
外部风险访问,包括互联网对内网发起的访问,如外部主机通过远程登录、数据库等应用访问内部主机的行为;
违规访问,包括匹配到探针的违规访问策略黑名单或违反了白名单,或者违反了下一代防火墙中的应用控制策略的行为;
横向可疑行为,包括主机对其他主机发起如网站扫描等行为;
外连可疑行为,包括主机(尤其是服务器)对外进行比特币挖矿、从未知站点下载可疑(如可执行)文件、访问恶意链接等行为;
横向风险访问,包括行为内部主机通过远程登录、数据库等应用访问其它主机的行为。
统计上述各类行为的发生频率,当超过预设的频率,例如2分钟内对同一目标的大于4次远程登录,某主机突然出现的对局域网内其他主机的端口扫描行为等,将这类行为确定为潜在威胁,同样的将对应的行为源确定为潜在威胁源,威胁数据存入数据库。
S400,对不同时间发生的安全事件,包括所述异常行为与所述潜在威胁的日志数据,选取合适的维度,如选取访问时间/源/内容/目标至少一个维度,进行预设时长的机器学习,得到相应的安全行为基线,进一步生成网络内的业务服务器基线,分析偏离基线的行为,并预测特定时间段内的安全趋势。
选取至少一个维度,获取日志数据并检测用户行为,进行至少三周的无监督的机器学习,得到行为安全基线,将该安全基线作为当前用户的正常行为范围,若超过该基线将被作为可疑行为,进一步的,如果该可疑行为发生频率超过预设限度,将被识别为潜在威胁。然后以每天为一个周期,将数据与安全基线进行匹配,对异常行为的IP执行告警处置。
以前述各个维度的安全基线为标准,统计分析每天的日志数据偏离安全基线的程度,经过足够时长的分析,就可以建立长期的安全走势,而结合网络内的各个主机、设备、服务器、软件等的安全走势,就可以预测将来特定时间段内的安全趋势。
实施例二
本实施例提供一种网络数据的异常分析装置,如图5所示,包括:
异常行为分析模块,用于获取异常分析任务开始与结束时间之间的流量日志数据,将流量元数据转换为可被分类模型识别的数据类型,将转换后的数据输入分类模型,输出该数据对应的分类类别;根据数据所属类别,分别进行机器学习或情报匹配,识别出异常行为并对相应的IP产生告警;
潜在威胁分析模块,用于将已发现的异常行为与原始日志进行关联,统计分析所述原始日志中,未知行为的发生频率,将超过特定频率的未知行为确定为潜在威胁;
安全趋势分析模块,用于对包括所述异常行为与所述潜在威胁的安全事件,进行时间、源、内容、目标至少一个维度的画像,机器学习生成相应的行为基线模型,分析得到偏离基线的行为,并预测特定时间段内的安全趋势。
数据库模块,用于存储数据;
威胁情报模块,筛选可信、适用的情报类数据建立成威胁情报库,形成预警信息,供所述异常行为分析模块进行比对分析;
周期定时调度模块,用于根据任务配置周期或定时的启动并执行异常分析任务。
其中,上述的异常行为分析模块,包括:
分类模型建立单元,对各个异常场景的数据,分别执行数据清洗算法,获取对应数据的格式化数据集;对清洗后的数据集进行无监督聚类学习,得到同类数据的结果集,将数据集与结果集拼装后,取80%的数据进行有监督分类模型训练,取20%的数据验证所述分类模型的训练结果并根据吻合度进行评分,将评分最高的模型作为该类数据的分类模型。
机器学习单元,对内网的扫描探测或通信控制阶段的数据,进行有监督的机器学习,建立网络内合法用户的正常行为集合,以天为周期,将数据与所述正常行为集合进行对比,对异常行为的IP执行告警处置;检测用户行为,进行预设时长的无监督的机器学习,得到行为安全基线,以天为周期,将数据与基线进行匹配,对异常行为的IP执行告警处置;
情报匹配单元,建立已知威胁的情报库,并将情报数据缓存进本地内存数据库,根据威胁情报库与日志制定安全策略,若行为内容和/或数据类型违反所述安全策略,对异常行为到的IP执行告警处置;
异常时间溯源单元,用于确定异常行为发生的首次时间,完成异常时间界定并保存信息。
实施例二中所述的各模块/单元,用于实现实施例一中所述的异常分析方法的各个步骤,各模块/单元之间的关系,与前述方法所述的各步骤之间的关系相对应,此处不再赘述。
本领域普通技术人员可以理解实现上述实施例中的步骤或组成是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于一计算机可读取存储介质中,所述的存储介质如:ROM/RAM、磁碟、光盘等。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.网络数据的异常分析方法,其特征在于,包括:
获取异常分析任务开始与结束时间之间的流量日志数据,将流量元数据转换为可被分类模型识别的数据类型,将转换后的数据输入分类模型,输出该数据对应的分类类别;根据数据所属类别,分别进行机器学习或情报匹配,识别出异常行为并对相应的IP产生告警;
将已发现的异常行为与原始日志进行关联,统计分析所述原始日志中,未知行为的发生频率,将超过特定频率的未知行为确定为潜在威胁;
对网络内包括所述异常行为与所述潜在威胁的日志数据,进行预设时长的机器学习,得到访问时间/源/内容/目标至少一个维度的行为基线,生成网络内的业务服务器基线,分析偏离基线的行为,预测特定时间段内的安全趋势。
2.根据权利要求1所述的异常分析方法,其特征在于,所述分类模型的建立过程包括:
对各个异常场景的数据,分别执行数据清洗算法,获取对应数据的格式化[I1] ;
对清洗后的数据集进行无监督聚类学习,得到同类数据的结果集,将数据集与结果集拼装后,取第一比例的数据进行有监督分类模型训练,取第二比例的数据验证所述分类模型的训练结果并根据吻合度进行评分,将评分最高的模型作为该类数据的分类模型。
3.根据权利要求1所述的异常分析方法,其特征在于,对异常行为的数据进行进一步处理:以异常数据的[I2] 与[I3] 为查询条件向前获取同类数据;若仍然为异常,重复前述查询流程,直至特定异常数据的前一数据为正常且后一数据为异常,将该异常数据的发生时间输出为异常源时间。
4.根据权利要求1所述的异常分析方法,其特征在于,所述根据数据所属类别进行机器学习,具体包括:对内网的扫描探测或通信控制阶段的数据,进行有监督的机器学习,建立网络内合法用户的正常行为集合,以预设的[I4] ,将数据与所述正常行为集合进行对比,对异常行为的IP执行告警处置。
5.根据权利要求1所述的异常分析方法,其特征在于,所述根据数据所属类别进行情报匹配,包括:建立已知威胁的情报库,并将情报数据缓存进本地内存数据库,根据威胁情报库与日志制定安全策略;当行为内容和/或数据类型违反所述安全策略,对异常行为到的IP执行告警处置。
6.根据权利要求1所述的异常分析方法,其特征在于,所述进行预设时长的行为基线学习,包括:检测用户行为,进行[I5] 的无监督的机器学习,得到行为安全基线,以预设的[I6] ,将数据与基线进行匹配,对异常行为的IP执行告警处置。
7.根据权利要求2所述的异常分析方法,其特征在于,对任务开始与结束时间之间的数据,持续进行分类模型的训练学习;所述数据清洗包括过滤不一致数据、处理无效与缺失值;所述第一比例为80%、第二比例为20%;所述异常行为包括攻击者的入侵行为与合法用户的异常行为。
8.网络数据的异常分析装置,其特征在于,包括:
异常行为分析模块,用于获取异常分析任务开始与结束时间之间的流量日志数据,将流量元数据转换为可被分类模型识别的数据类型,将转换后的数据输入分类模型,输出该数据对应的分类类别;根据数据所属类别,分别进行机器学习或情报匹配,识别出异常行为并对相应的IP产生告警;
潜在威胁分析模块,用于将已发现的异常行为与原始日志进行关联,统计分析所述原始日志中,未知行为的发生频率,将超过特定频率的未知行为确定为潜在威胁;
安全趋势分析模块,用于对包括所述异常行为与所述潜在威胁的安全事件,进行时间、源、内容、目标至少一个维度的画像,机器学习生成相应的行为基线模型,分析得到偏离基线的行为,并预测特定时间段内的安全趋势。
9.根据权利要求8所述的异常分析装置,其特征在于,还包括:
数据库模块,用于存储数据;
威胁情报模块,筛选可信、适用的情报类数据建立成威胁情报库,形成预警信息,供所述异常行为分析模块进行比对分析;
周期定时调度模块,用于根据任务配置周期或定时的启动并执行异常分析任务。
10.根据权利要求9所述的异常分析装置,其特征在于,所述异常行为分析模块,包括:
分类模型建立单元,对各个异常场景的数据,分别执行数据清洗算法,获取对应数据的格式化数据集;对清洗后的数据集进行无监督聚类学习,得到同类数据的结果集,将数据集与结果集拼装后,取第一比例的数据进行有监督分类模型训练,取第二比例的数据验证所述分类模型的训练结果并根据吻合度进行评分,将评分最高的模型作为该类数据的分类模型;
机器学习单元,对内网的扫描探测或通信控制阶段的数据,进行有监督的机器学习,建立网络内合法用户的正常行为集合,以预设的第一周期,将数据与所述正常行为集合进行对比,对异常行为的IP执行告警处置;检测用户行为,进行预设时长的无监督的机器学习,得到行为安全基线,以预设的第二周期,将数据与基线进行匹配,对异常行为的IP执行告警处置;
情报匹配单元,建立已知威胁的情报库,并将情报数据缓存进本地内存数据库,根据威胁情报库与日志制定安全策略,若行为内容和/或数据类型违反所述安全策略,对异常行为到的IP执行告警处置;
异常时间溯源单元,用于确定异常行为发生的首次时间,完成异常时间界定并保存信息。
CN201911417446.3A 2019-12-31 2019-12-31 网络数据的异常分析方法及装置 Pending CN111245793A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911417446.3A CN111245793A (zh) 2019-12-31 2019-12-31 网络数据的异常分析方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911417446.3A CN111245793A (zh) 2019-12-31 2019-12-31 网络数据的异常分析方法及装置

Publications (1)

Publication Number Publication Date
CN111245793A true CN111245793A (zh) 2020-06-05

Family

ID=70864731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911417446.3A Pending CN111245793A (zh) 2019-12-31 2019-12-31 网络数据的异常分析方法及装置

Country Status (1)

Country Link
CN (1) CN111245793A (zh)

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111813752A (zh) * 2020-07-01 2020-10-23 四川长虹电器股份有限公司 一种获取rdp爆破攻击来源的方法和系统
CN112104659A (zh) * 2020-09-18 2020-12-18 宋清云 一种基于政务应用安全的实时监测平台
CN112118268A (zh) * 2020-09-28 2020-12-22 北京嘀嘀无限科技发展有限公司 一种网络流量判定方法和系统
CN112116078A (zh) * 2020-09-22 2020-12-22 工业互联网创新中心(上海)有限公司 一种基于人工智能的信息安全基线学习方法
CN112187652A (zh) * 2020-09-28 2021-01-05 北京嘀嘀无限科技发展有限公司 一种特征判定规则建立以及网络流量判定方法和系统
CN112187527A (zh) * 2020-09-15 2021-01-05 中信银行股份有限公司 微服务的异常定位方法、装置、电子设备及可读存储介质
CN112187653A (zh) * 2020-09-28 2021-01-05 北京嘀嘀无限科技发展有限公司 一种网络流量判定方法和系统
CN112231479A (zh) * 2020-10-23 2021-01-15 新华三信息安全技术有限公司 一种安全审计方法及装置
CN112261034A (zh) * 2020-10-19 2021-01-22 北京京航计算通讯研究所 基于企业内网的网络安全防护系统
CN112261033A (zh) * 2020-10-19 2021-01-22 北京京航计算通讯研究所 基于企业内网的网络安全防护方法
CN112380514A (zh) * 2020-11-13 2021-02-19 支付宝(杭州)信息技术有限公司 生物识别安全态势预测方法、装置和电子设备
CN112417449A (zh) * 2020-11-12 2021-02-26 北京鸿腾智能科技有限公司 异常行为检测方法、设备、存储介质及装置
CN113132393A (zh) * 2021-04-22 2021-07-16 恒安嘉新(北京)科技股份公司 异常检测方法、装置、电子设备以及存储介质
CN113297576A (zh) * 2021-06-16 2021-08-24 深信服科技股份有限公司 威胁检测方法、装置、行为画像方法、装置及电子设备
CN113642023A (zh) * 2021-08-25 2021-11-12 北京恒安嘉新安全技术有限公司 数据安全检测模型训练、数据安全检测方法、装置及设备
CN113704059A (zh) * 2021-08-17 2021-11-26 深信服科技股份有限公司 业务资产的防护方法、装置、电子设备和存储介质
CN113742720A (zh) * 2021-08-27 2021-12-03 贵州乌江水电开发有限责任公司 一种基于多级联动方式的网络安全态势感知方法
CN113760634A (zh) * 2020-09-04 2021-12-07 北京沃东天骏信息技术有限公司 一种数据处理方法和装置
CN113821794A (zh) * 2021-09-14 2021-12-21 北京八分量信息科技有限公司 一种分布式的可信计算系统及方法
CN113836525A (zh) * 2021-09-27 2021-12-24 中国信息安全测评中心 云服务商行为风险的分析方法及装置
CN113835988A (zh) * 2021-11-29 2021-12-24 杭银消费金融股份有限公司 指标信息预测方法及系统
CN113852640A (zh) * 2021-09-29 2021-12-28 上海市大数据股份有限公司 一种基于rpa的网络安全自动防御系统
CN113852603A (zh) * 2021-08-13 2021-12-28 京东科技信息技术有限公司 网络流量的异常检测方法、装置、电子设备和可读介质
CN114024734A (zh) * 2021-11-01 2022-02-08 中国华电集团有限公司 基于ueba的智能网络安全检测分析系统
CN114189361A (zh) * 2021-11-19 2022-03-15 上海纽盾科技股份有限公司 防御威胁的态势感知方法、装置及系统
CN114363082A (zh) * 2022-01-12 2022-04-15 平安普惠企业管理有限公司 网络攻击检测方法、装置、设备及计算机可读存储介质
CN114422242A (zh) * 2022-01-19 2022-04-29 闪捷信息科技有限公司 一种异常流量识别方法、客户端及服务器
CN114448696A (zh) * 2022-01-26 2022-05-06 北京华顺信安科技有限公司 一种网络探测行为数据查询分析的方法及系统
CN114666092A (zh) * 2022-02-16 2022-06-24 奇安信科技集团股份有限公司 用于安全分析的实时行为安全基线数据降噪方法及装置
CN114760109A (zh) * 2022-03-23 2022-07-15 奇安信科技集团股份有限公司 用于安全分析的数值行为安全基线生成方法及装置
CN114816964A (zh) * 2022-06-29 2022-07-29 深圳竹云科技股份有限公司 风险模型构建方法、风险检测方法、装置、计算机设备
CN115001789A (zh) * 2022-05-27 2022-09-02 绿盟科技集团股份有限公司 一种失陷设备检测方法、装置、设备及介质
CN115428398A (zh) * 2020-07-02 2022-12-02 深圳市欢太科技有限公司 服务器威胁评定方法及相关产品
CN116599822A (zh) * 2023-07-18 2023-08-15 云筑信息科技(成都)有限公司 一种基于日志采集事件的故障告警治理方法
CN117056951A (zh) * 2023-08-09 2023-11-14 上海好芯好翼智能科技有限公司 一种数字平台的数据安全管理方法
CN117094006A (zh) * 2023-10-20 2023-11-21 湖南三湘银行股份有限公司 一种基于人工智能算法的安全事件根因分析方法及系统
CN118381657A (zh) * 2024-06-17 2024-07-23 湘江实验室 基于多评估项互影响同更新的算网融合系统安全评估方法
CN118590317A (zh) * 2024-08-02 2024-09-03 南京群顶科技股份有限公司 一种跨区域恶意拉流ip识别方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108111463A (zh) * 2016-11-24 2018-06-01 蓝盾信息安全技术有限公司 基于平均值和标准差的多维度基线自学习和异常行为分析
CN109818976A (zh) * 2019-03-15 2019-05-28 杭州迪普科技股份有限公司 一种异常流量检测方法及装置
CN110210512A (zh) * 2019-04-19 2019-09-06 北京亿阳信通科技有限公司 一种自动化日志异常检测方法及系统
CN110519241A (zh) * 2019-08-12 2019-11-29 广州海颐信息安全技术有限公司 基于机器学习的主动发现特权威胁异常行为的方法及装置
CN110535855A (zh) * 2019-08-28 2019-12-03 北京安御道合科技有限公司 一种网络事件监测分析方法和系统、信息数据处理终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108111463A (zh) * 2016-11-24 2018-06-01 蓝盾信息安全技术有限公司 基于平均值和标准差的多维度基线自学习和异常行为分析
CN109818976A (zh) * 2019-03-15 2019-05-28 杭州迪普科技股份有限公司 一种异常流量检测方法及装置
CN110210512A (zh) * 2019-04-19 2019-09-06 北京亿阳信通科技有限公司 一种自动化日志异常检测方法及系统
CN110519241A (zh) * 2019-08-12 2019-11-29 广州海颐信息安全技术有限公司 基于机器学习的主动发现特权威胁异常行为的方法及装置
CN110535855A (zh) * 2019-08-28 2019-12-03 北京安御道合科技有限公司 一种网络事件监测分析方法和系统、信息数据处理终端

Cited By (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111813752A (zh) * 2020-07-01 2020-10-23 四川长虹电器股份有限公司 一种获取rdp爆破攻击来源的方法和系统
CN115428398A (zh) * 2020-07-02 2022-12-02 深圳市欢太科技有限公司 服务器威胁评定方法及相关产品
CN113760634A (zh) * 2020-09-04 2021-12-07 北京沃东天骏信息技术有限公司 一种数据处理方法和装置
CN112187527A (zh) * 2020-09-15 2021-01-05 中信银行股份有限公司 微服务的异常定位方法、装置、电子设备及可读存储介质
CN112104659A (zh) * 2020-09-18 2020-12-18 宋清云 一种基于政务应用安全的实时监测平台
CN112116078A (zh) * 2020-09-22 2020-12-22 工业互联网创新中心(上海)有限公司 一种基于人工智能的信息安全基线学习方法
CN112187653A (zh) * 2020-09-28 2021-01-05 北京嘀嘀无限科技发展有限公司 一种网络流量判定方法和系统
CN112187652A (zh) * 2020-09-28 2021-01-05 北京嘀嘀无限科技发展有限公司 一种特征判定规则建立以及网络流量判定方法和系统
CN112118268A (zh) * 2020-09-28 2020-12-22 北京嘀嘀无限科技发展有限公司 一种网络流量判定方法和系统
CN112261034A (zh) * 2020-10-19 2021-01-22 北京京航计算通讯研究所 基于企业内网的网络安全防护系统
CN112261033A (zh) * 2020-10-19 2021-01-22 北京京航计算通讯研究所 基于企业内网的网络安全防护方法
CN112231479A (zh) * 2020-10-23 2021-01-15 新华三信息安全技术有限公司 一种安全审计方法及装置
CN112231479B (zh) * 2020-10-23 2023-03-31 新华三信息安全技术有限公司 一种安全审计方法及装置
CN112417449A (zh) * 2020-11-12 2021-02-26 北京鸿腾智能科技有限公司 异常行为检测方法、设备、存储介质及装置
CN112380514B (zh) * 2020-11-13 2022-11-22 支付宝(杭州)信息技术有限公司 生物识别安全态势预测方法、装置和电子设备
CN112380514A (zh) * 2020-11-13 2021-02-19 支付宝(杭州)信息技术有限公司 生物识别安全态势预测方法、装置和电子设备
CN113132393A (zh) * 2021-04-22 2021-07-16 恒安嘉新(北京)科技股份公司 异常检测方法、装置、电子设备以及存储介质
CN113297576A (zh) * 2021-06-16 2021-08-24 深信服科技股份有限公司 威胁检测方法、装置、行为画像方法、装置及电子设备
CN113297576B (zh) * 2021-06-16 2024-08-16 深信服科技股份有限公司 威胁检测方法、装置、行为画像方法、装置及电子设备
CN113852603B (zh) * 2021-08-13 2023-11-07 京东科技信息技术有限公司 网络流量的异常检测方法、装置、电子设备和可读介质
CN113852603A (zh) * 2021-08-13 2021-12-28 京东科技信息技术有限公司 网络流量的异常检测方法、装置、电子设备和可读介质
CN113704059A (zh) * 2021-08-17 2021-11-26 深信服科技股份有限公司 业务资产的防护方法、装置、电子设备和存储介质
CN113704059B (zh) * 2021-08-17 2024-05-28 深信服科技股份有限公司 业务资产的防护方法、装置、电子设备和存储介质
CN113642023A (zh) * 2021-08-25 2021-11-12 北京恒安嘉新安全技术有限公司 数据安全检测模型训练、数据安全检测方法、装置及设备
CN113742720A (zh) * 2021-08-27 2021-12-03 贵州乌江水电开发有限责任公司 一种基于多级联动方式的网络安全态势感知方法
CN113821794B (zh) * 2021-09-14 2023-08-18 北京八分量信息科技有限公司 一种分布式的可信计算系统及方法
CN113821794A (zh) * 2021-09-14 2021-12-21 北京八分量信息科技有限公司 一种分布式的可信计算系统及方法
CN113836525B (zh) * 2021-09-27 2024-05-07 中国信息安全测评中心 云服务商行为风险的分析方法及装置
CN113836525A (zh) * 2021-09-27 2021-12-24 中国信息安全测评中心 云服务商行为风险的分析方法及装置
CN113852640A (zh) * 2021-09-29 2021-12-28 上海市大数据股份有限公司 一种基于rpa的网络安全自动防御系统
CN113852640B (zh) * 2021-09-29 2023-06-09 上海市大数据股份有限公司 一种基于rpa的网络安全自动防御系统
CN114024734A (zh) * 2021-11-01 2022-02-08 中国华电集团有限公司 基于ueba的智能网络安全检测分析系统
CN114189361A (zh) * 2021-11-19 2022-03-15 上海纽盾科技股份有限公司 防御威胁的态势感知方法、装置及系统
CN113835988B (zh) * 2021-11-29 2022-02-08 杭银消费金融股份有限公司 指标信息预测方法及系统
CN113835988A (zh) * 2021-11-29 2021-12-24 杭银消费金融股份有限公司 指标信息预测方法及系统
CN114363082A (zh) * 2022-01-12 2022-04-15 平安普惠企业管理有限公司 网络攻击检测方法、装置、设备及计算机可读存储介质
CN114363082B (zh) * 2022-01-12 2024-05-03 南昌首页科技股份有限公司 网络攻击检测方法、装置、设备及计算机可读存储介质
CN114422242A (zh) * 2022-01-19 2022-04-29 闪捷信息科技有限公司 一种异常流量识别方法、客户端及服务器
CN114448696A (zh) * 2022-01-26 2022-05-06 北京华顺信安科技有限公司 一种网络探测行为数据查询分析的方法及系统
CN114666092A (zh) * 2022-02-16 2022-06-24 奇安信科技集团股份有限公司 用于安全分析的实时行为安全基线数据降噪方法及装置
CN114760109A (zh) * 2022-03-23 2022-07-15 奇安信科技集团股份有限公司 用于安全分析的数值行为安全基线生成方法及装置
CN115001789B (zh) * 2022-05-27 2024-04-02 绿盟科技集团股份有限公司 一种失陷设备检测方法、装置、设备及介质
CN115001789A (zh) * 2022-05-27 2022-09-02 绿盟科技集团股份有限公司 一种失陷设备检测方法、装置、设备及介质
CN114816964A (zh) * 2022-06-29 2022-07-29 深圳竹云科技股份有限公司 风险模型构建方法、风险检测方法、装置、计算机设备
CN114816964B (zh) * 2022-06-29 2022-09-20 深圳竹云科技股份有限公司 风险模型构建方法、风险检测方法、装置、计算机设备
CN116599822B (zh) * 2023-07-18 2023-10-20 云筑信息科技(成都)有限公司 一种基于日志采集事件的故障告警治理方法
CN116599822A (zh) * 2023-07-18 2023-08-15 云筑信息科技(成都)有限公司 一种基于日志采集事件的故障告警治理方法
CN117056951A (zh) * 2023-08-09 2023-11-14 上海好芯好翼智能科技有限公司 一种数字平台的数据安全管理方法
CN117094006B (zh) * 2023-10-20 2024-02-23 湖南三湘银行股份有限公司 一种基于人工智能算法的安全事件根因分析方法及系统
CN117094006A (zh) * 2023-10-20 2023-11-21 湖南三湘银行股份有限公司 一种基于人工智能算法的安全事件根因分析方法及系统
CN118381657A (zh) * 2024-06-17 2024-07-23 湘江实验室 基于多评估项互影响同更新的算网融合系统安全评估方法
CN118381657B (zh) * 2024-06-17 2024-08-20 湘江实验室 基于多评估项互影响同更新的算网融合系统安全评估方法
CN118590317A (zh) * 2024-08-02 2024-09-03 南京群顶科技股份有限公司 一种跨区域恶意拉流ip识别方法及装置

Similar Documents

Publication Publication Date Title
CN111245793A (zh) 网络数据的异常分析方法及装置
US20210273957A1 (en) Cyber security for software-as-a-service factoring risk
JP6894003B2 (ja) Apt攻撃に対する防御
Khan et al. Network forensics: Review, taxonomy, and open challenges
CN112637220B (zh) 一种工控系统安全防护方法及装置
EP4275122A1 (en) User agent inference and active endpoint fingerprinting for encrypted connections
CN114372286A (zh) 数据安全管理方法、装置、计算机设备及存储介质
CN115134099B (zh) 基于全流量的网络攻击行为分析方法及装置
Gómez et al. Design of a snort-based hybrid intrusion detection system
CN113079185B (zh) 实现深度数据包检测控制的工业防火墙控制方法及设备
CN113411295A (zh) 基于角色的访问控制态势感知防御方法及系统
CN117527412A (zh) 数据安全监测方法及装置
CN118101250A (zh) 一种网络安全检测方法及系统
Bortolameotti et al. Headprint: detecting anomalous communications through header-based application fingerprinting
Caesarano et al. Network forensics for detecting SQL injection attacks using NIST method
US9648039B1 (en) System and method for securing a network
Khan et al. Towards augmented proactive cyberthreat intelligence
CN117792733A (zh) 一种网络威胁的检测方法及相关装置
CN117294517A (zh) 解决异常流量的网络安全保护方法及系统
US12047397B2 (en) Scored threat signature analysis
CN114500122B (zh) 一种基于多源数据融合的特定网络行为分析方法和系统
US20220385683A1 (en) Threat management using network traffic to determine security states
CN114338233A (zh) 基于流量解析的网络攻击检测方法和系统
CN113518067A (zh) 一种基于原始报文的安全分析方法
Prabu et al. An Automated Intrusion Detection and Prevention Model for Enhanced Network Security and Threat Assessment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination