CN111835705A - 一种资产异常访问的检测方法 - Google Patents

一种资产异常访问的检测方法 Download PDF

Info

Publication number
CN111835705A
CN111835705A CN202010433066.5A CN202010433066A CN111835705A CN 111835705 A CN111835705 A CN 111835705A CN 202010433066 A CN202010433066 A CN 202010433066A CN 111835705 A CN111835705 A CN 111835705A
Authority
CN
China
Prior art keywords
access
accessed
asset
data
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010433066.5A
Other languages
English (en)
Inventor
赵彦林
李福宜
王平
陈宏伟
何建锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Jiaotong University Jump Network Technology Co ltd
Original Assignee
Xi'an Jiaotong University Jump Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Jiaotong University Jump Network Technology Co ltd filed Critical Xi'an Jiaotong University Jump Network Technology Co ltd
Priority to CN202010433066.5A priority Critical patent/CN111835705A/zh
Publication of CN111835705A publication Critical patent/CN111835705A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开一种资产异常访问的检测方法，通过回归算法分别建立正常的被访问模型与访问模型，并根据模型输出正常的访问特征，将待检测的访问数据与所述访问特征进行偏离度计算，以确定资产访问是否异常；并且进一步的，建立访问流量预测模型，通过计算流量实际值与流量预测值的差距，判断资产访问是否异常。本发明通过被访问与访问进行双向检测，能够提高资产异常访问检测的准确性和全面性，有利于保障资产安全。

Description

一种资产异常访问的检测方法
技术领域
本发明属于网络安全技术领域，尤其是涉及一种对访问数据进行机器学习，以检测资产异常访问的方法。
背景技术
随着计算机与网络技术的迅猛发展，企业的各种设备越来越多，包括但不限于计算机、交换机、路由器、安全设备和移动设备等，计算机或服务器等设备通过网络与互联网设备或内网设备进行信息的相互交换，成为企业资产中的重要信息资产，大量的资产存在给管理工作带来了许多困难，例如产生的大量无主资产、僵尸资产，特别是内网中的各资产之间的横向互相访问，缺乏有效的审计，为企业和组织安全带来了极大的隐患。
在此背景下，通过统计，总结网络内各重要资产的访问数据特征，实现对各级资产运行管理情况实施透明高效的监督管理和准确全面的客观评价，及时发现资产的异常访问威胁，保障资产信息安全，显得十分必要。
发明内容
鉴于以上，本发明旨在提出一种资产异常访问的检测方法，对资产被访问数据与访问数据进行机器学习，建立正常访问模型，用于检测资产访问是否异常，具体发明内容如下所示。
资产异常访问的检测方法，包括：根据资产IP，从日志数据库获取该资产的被访问数据与访问数据，提取数据进行机器学习，建立资产的正常被访问模型与正常访问模型；检测资产的当前数据，若被访问数据或访问数据与所述正常模型的偏离度超过特定的阈值，判断当前资产存在异常访问，执行预设的告警策略。
所述提取数据进行机器学习之前还包括数据清洗，包括过滤同属性字段与重复字段的数据，得到用于机器学习的必要字段数据；所述必要字段数据包括源/目的IP、源/目的端口、源/目的应用、协议、发/收包数、发送/接收字节数、开始/结束时间。
作为优选的，所述建立资产的正常被访问模型，包括选定协议、发包数、发送字节数、收包数、接收字节数、源IP、源端口、源应用与目的应用作为数据集，以访问时间段与访问时长作为目标集，通过岭回归或lasso回归模型进行机器学习，建立正常被访问模型。
所述建立资产的正常访问模型，包括选定协议、发包数、发送字节数、收包数、接收字节数、目的IP、目的端口、源应用与目的应用作为数据集，以访问时间段与访问时长作为目标集，通过岭回归或lasso回归模型进行机器学习，建立正常访问模型。
进一步的，所述正常被访问模型与正常访问模型，均包括时间特征、目标特征与内容特征；所述时间特征包括基于时间序列的被访问与访问的：流量趋势、次数趋势与时间段；所述目标特征包括访问源IP或IP段与访问目标IP或IP段；所述内容特征包括被访问的源应用与访问的目的应用。
检测方法的具体步骤：获取资产的待检测被访问数据与访问数据，提取被访问与访问的流量、次数与时间段，判断与所述时间特征的偏离度；提取被访问的源IP与访问的目的IP，判断与所述目标特征的偏离度；提取被访问的应用与访问的目的应用，判断与所述内容特征的偏离度；若至少有一个偏离度超过规定的阈值，则当前资产存在异常访问。
作为另一优选的，以：资产被访问与访问的时间段、时长，被访问的源IP、源应用、协议、目的应用、目的端口，访问的源应用、协议、目的IP、目的端口、目的应用为数据集；以发/收包数、发送/接收字节数为目标集，通过岭回归或lasso回归模型进行机器学习，建立资产的流量预测模型。
该检测方法包括：根据所述资产的流量预测模型得到资产在特定时长内的被访问与访问的流量预测值；获取资产在所述特定时长内的被访问与访问的流量实际值；计算所述流量实际值与流量预测值的差距，若差距超过特定的阈值，则执行预设的告警策略。实际流量值与预测流量值的差距，优选为欧几里得距离。
采用以上技术方案的本发明，具有以下有益效果：根据资产IP，从访问日志数据中选择被访问相关的字段数据与访问相关的字段数据，通过回归算法分别建立正常的被访问模型与访问模型，并根据模型输出正常的访问特征，将待检测的访问数据与所述访问特征进行偏离度计算，以确定资产访问是否异常；并且进一步的，建立访问流量预测模型，通过计算流量实际值与流量预测值的差距，判断资产访问是否异常。本发明通过被访问与访问进行双向检测，能够提高资产异常访问检测的准确性和全面性，有利于保障资产安全。
附图说明
图1为本发明的资产异常访问检测方法，实施例一流程图；
图2为本发明的资产异常访问检测方法，实施例二流程图；
图3为本发明的资产异常访问检测方法，实施例三流程图。
具体实施方式
下面结合附图与实施例对本发明的技术方案进行详细说明。
首先，简述本发明相关技术背景与术语。
以IDS、Firewall、VDS等单点防御为主的传统安全异构防御，实际将网络安全划分成了各个安全孤岛，互相之间缺乏相互关联协作。
网络安全态势感知系统，在大规模网络环境中，通过采集、提取、融合分析能引起网络安全状态和趋势变化的网络环境要素（如资产、网络流量、运行状态、设备告警、脆弱性、安全事件和威胁情报等数据），利用数据挖掘等分析技术，对网络安全状况进行分析，对网络安全趋势进行预测，从而协助应急处置和安全决策。
态势感知系统的重点在于将网络系统视为整体，融合了传统网络安全理论中的各类攻击检测、定位及跟踪等等的方法，对网络进行全面集中的安全管理和智能综合的分析，将不同领域的安全部件融合为一个无缝的安全体系，从而形成一个宏观的网络安全管理体系，分析其安全状况及把握未来趋势，使用户能够从总体上直观的感知网络状况，为准确的操作提供可靠依据，从而将网路安全问题带来的风险和损失降低。
网络态势，各种网络设备运行状况、网络行为以及用户行为等因素所构成的整个网络当前状态和变化趋势。
网络流量，连接网络的设备（包括各种网络设备、安全设备、服务器等）在网络上所产生的数据包的集合。
上述的态势感知系统，一个重要的方面就是随资产的访问超限问题进行告警，包括特定的资产被其他资产访问和访问其他资产两个方面。
常见的资产异常访问如：访问流量超限，对于网络协议进行超过其本身正常访问流量的异常访问行为，比如DNS异常流量、隐匿通道、DGA域名通讯等；访问频次超限，对于网络资源进行超过其正常访问频度的过度访问行为，比如内网主机间的横向攻击行为、主机的挖矿行为、账号暴力破解、网站爬虫扫描攻击等。针对这些潜在威胁，本发明提出资产异常访问的检测方法，具体如以下实施例所述。
整体的讲，资产异常访问的检测方法，包括：根据资产IP，从日志数据库获取该资产的被访问数据与访问数据（如下表一、表二），提取数据进行机器学习，建立资产的正常被访问模型与正常访问模型；检测资产的当前数据，若被访问数据或访问数据与所述正常模型的偏离度超过特定的阈值，则当前资产存在异常访问，执行预设的告警策略。
表一
Figure DEST_PATH_IMAGE001
表二
Figure 891609DEST_PATH_IMAGE004
所述的日志数据库可以是来自路由器、交换机等各类网关设备的日志数据，或者通过抓包软件或硬件拦截网络报文得到，在此不做限定。所述提取数据进行机器学习之前还包括数据清洗，包括：分析数据中无区别字段，进行过滤，过滤掉不相关字段ipv、atk_id、url_class_name、action；继续过滤掉相同属性字段：app_name、app_class_name、app_level、url_class_name、acl_id；过滤掉重复字段：user_id。
得到必要字段包括：sip（源IP）、sport（源端口）、app_name（源应用），proto（协议），dip（目的IP）、dport（目的端口）、d_app_name（目的应用），send_pkt_sum（发包数）、send_byte_sum（发送字节数）、recv_pkt_sum（收包数）、recv_byte_sum（接收字节数），create_tsc（开始时间）、end_tsc（结束时间），此处的时间为时间戳表示。
此处需要说明的是，表一与表二中的某些字段使用特定字符表示，与该字符相对应的还存在其他的数据表用于明确该字符的实际含义，比如字段“proto”（协议）。
即必要字段数据包括：源/目的IP、源/目的端口、源/目的应用、协议、发/收包数、发送/接收字节数、开始/结束时间。
在上述整体方案基础上，以三个实施例进行具体叙述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
如图1所示，选定与被访问相关的字段数据，包括协议、发包数、发送字节数、收包数、接收字节数、源IP、源端口、源应用与目的应用作为数据集，以访问时间段与访问时长作为目标集，通过岭回归或lasso回归模型进行机器学习，建立所述正常被访问模型。
根据所述正常被访问模型输出正常被访问特征，包括时间特征、目标特征与内容特征；时间特征包括基于时间序列的被访问流量趋势、次数趋势与时间段；所述目标特征包括访问源IP或IP段；所述内容特征包括被访问的应用，所述应用可以由端口、传输层协议与应用层协议定义。
作为一种实施方式，所述的时间特征的表示方式可以是以时间为横轴，分别以流量值、被访问次数、被访问时间段为纵轴的坐标系，该坐标系可以有效表示被访问的各项参数的趋势或走向；所述目标特征的访问源IP或IP段可以是当前资产被访问的源IP或IP段组成的数据集；所述内容特征可以是当前资产上被访问应用组成的数据集。
获取资产的当前待检测被访问数据，提取被访问流量、次数与时间段，判断与所述时间特征的偏离度；提取被访问的源IP或IP段，判断与所述目标特征的偏离度；提取被访问的应用，判断与所述内容特征的偏离度；若至少有一个偏离度超过规定的阈值，则确定当前资产存在异常被访问。
实施例二
如图2所示，选定与访问相关的字段数据，包括选定协议、发包数、发送字节数、收包数、接收字节数、目的IP、目的端口、源应用与目的应用作为数据集，以访问时间段与访问时长作为目标集，通过岭回归或lasso回归模型进行机器学习，建立所述正常访问模型。
根据所述正常访问模型输出正常访问特征，包括时间特征、目标特征与内容特征；时间特征包括基于时间序列的访问流量趋势、次数趋势与时间段；所述目标特征包括访问目标的IP或IP段；所述内容特征包括访问的目的应用，所述应用可以由端口、传输层协议与应用层协议定义。
作为一种实施方式，所述的时间特征的表示方式可以是以时间为横轴，分别以流量值、访问次数、访问时间段为纵轴的坐标系，该坐标系可以有效表示被访问的各项参数的趋势或走向；所述目标特征的访问目标的IP或IP段可以是当前资产访问的目的IP或IP段组成的数据集；所述内容特征可以是当前资产向外访问应用组成的数据集。
获取资产的当前待检测访问数据，提取访问流量、次数与时间段，判断与所述时间特征的偏离度；提取访问的目的IP或IP段，判断与所述目标特征的偏离度；提取访问的目的应用，判断与所述内容特征的偏离度；若至少有一个偏离度超过规定的阈值，则确定当前资产存在异常向外访问。
当然，为了进一步提高异常访问检测的准确性，可以按照实施例一检测资产的被访问数据，并同时检测资产的访问数据，当至少有一项异常则判断该资产存在异常访问。
实施例三
以实施例一与实施例二得到的资产被访问与访问的时间段、时长，以及：被访问的源IP、源应用、协议、目的应用、目的端口，访问的源应用、协议、目的IP、目的端口、目的应用为数据集；以发/收包数、发送/接收字节数为目标集，通过岭回归或lasso回归模型进行机器学习，建立资产的流量预测模型。
根据所述资产的流量预测模型可以得到资产在特定时长内的被访问和/或访问的流量预测值，例如可以得到资产的基于历史经验的1分钟内的流量预测值；
获取资产在所述特定时长内的被访问和/或访问的流量实际值；
计算所述流量实际值与流量预测值的差距，若差距超过特定的阈值，则执行预设的告警策略。所述实际流量值与预测流量值的差距为欧几里得距离。
当然，为了进一步提高异常访问检测的准确性，可以按照实施例一检测资产的被访问数据，并同时按照实施例二检测资产的访问数据，按照实施例三检测资产的流量，当至少有一项异常则判断该资产存在异常访问。
可见，本发明通过多重检测，能够提高资产异常访问检测的准确性和全面性，有利于保障资产安全。
领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令
本领域普通技术人员可以理解实现上述实施例中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如：ROM/RAM、磁碟、光盘等。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种资产异常访问的检测方法，其特征在于，包括：根据资产IP，从日志数据库获取该资产的被访问数据与访问数据，提取数据进行机器学习，建立资产的正常被访问模型与正常访问模型；检测资产的当前数据，若被访问数据或访问数据与所述正常模型的偏离度超过特定的阈值，则当前资产存在异常访问，执行预设的告警策略。
2.根据权利要求1所述的检测方法，其特征在于，所述提取数据进行机器学习之前还包括数据清洗，包括过滤同属性字段与重复字段的数据，得到用于机器学习的必要字段数据；所述必要字段数据包括源/目的IP、源/目的端口、源/目的应用、协议、发/收包数、发送/接收字节数、开始/结束时间。
3.根据权利要求2所述的检测方法，其特征在于，所述建立资产的正常被访问模型，包括选定协议、发包数、发送字节数、收包数、接收字节数、源IP、源端口、源应用与目的应用作为数据集，以访问时间段与访问时长作为目标集，通过岭回归或lasso回归模型进行机器学习，建立所述正常被访问模型。
4.根据权利要求2所述的检测方法，其特征在于，所述建立资产的正常访问模型，包括选定协议、发包数、发送字节数、收包数、接收字节数、目的IP、目的端口、源应用与目的应用作为数据集，以访问时间段与访问时长作为目标集，通过岭回归或lasso回归模型进行机器学习，建立所述正常访问模型。
5.根据权利要求3或4所述的检测方法，其特征在于，所述正常被访问模型与正常访问模型，均包括时间特征、目标特征与内容特征；
所述时间特征包括基于时间序列的被访问与访问的：流量趋势、次数趋势与时间段；所述目标特征包括访问源IP或IP段与访问目标IP或IP段；所述内容特征包括被访问的源应用与目的应用。
6.根据权利要求5所述的检测方法，其特征在于，该检测方法包括获取资产的当前待检测被访问数据与访问数据：
提取被访问与访问的流量、次数与时间段，判断与所述时间特征的偏离度；提取被访问的源IP与访问的目的IP，判断与所述目标特征的偏离度；提取被访问的应用与访问的目的应用，判断与所述内容特征的偏离度；若至少有一个偏离度超过规定的阈值，则当前资产存在异常访问。
7.根据权利要求3或4所述的检测方法，其特征在于，以所述：资产被访问与访问的时间段、时长，被访问的源IP、源应用、协议、目的应用、目的端口，访问的源应用、协议、目的IP、目的端口、目的应用为数据集；以发/收包数、发送/接收字节数为目标集，通过岭回归或lasso回归模型进行机器学习，建立资产的流量预测模型。
8.根据权利要求7所述的检测方法，其特征在于，该检测方法包括：
根据所述资产的流量预测模型得到资产在特定时长内的被访问与访问的流量预测值；
获取资产在所述特定时长内的被访问与访问的流量实际值；
计算所述流量实际值与流量预测值的差距，若差距超过特定的阈值，则执行预设的告警策略。
9.根据权利要求8所述的检测方法，其特征在于，所述实际流量值与预测流量值的差距为欧几里得距离。
CN202010433066.5A 2020-05-21 2020-05-21 一种资产异常访问的检测方法 Pending CN111835705A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010433066.5A CN111835705A (zh) 2020-05-21 2020-05-21 一种资产异常访问的检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010433066.5A CN111835705A (zh) 2020-05-21 2020-05-21 一种资产异常访问的检测方法

Publications (1)

Publication Number Publication Date
CN111835705A true CN111835705A (zh) 2020-10-27

Family

ID=72913415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010433066.5A Pending CN111835705A (zh) 2020-05-21 2020-05-21 一种资产异常访问的检测方法

Country Status (1)

Country Link
CN (1) CN111835705A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114401126A (zh) * 2021-12-30 2022-04-26 中国电信股份有限公司 一种接口安全监控方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114401126A (zh) * 2021-12-30 2022-04-26 中国电信股份有限公司 一种接口安全监控方法及装置
CN114401126B (zh) * 2021-12-30 2024-04-30 中国电信股份有限公司 一种接口安全监控方法及装置

Similar Documents

Publication Publication Date Title
CN112651006B (zh) 一种电网安全态势感知系统
CN111935170B (zh) 一种网络异常流量检测方法、装置及设备
Ellens et al. Flow-based detection of DNS tunnels
KR101010302B1 (ko) Ｉｒｃ 및 ｈｔｔｐ 봇넷 보안 관제를 위한 관리 시스템 및 그 방법
CN111277587A (zh) 基于行为分析的恶意加密流量检测方法及系统
CN111277570A (zh) 数据的安全监测方法和装置、电子设备、可读介质
KR101424490B1 (ko) 지연시간 기반 역 접속 탐지 시스템 및 그 탐지 방법
CN110149350A (zh) 一种告警日志关联的网络攻击事件分析方法及装置
US20150215334A1 (en) Systems and methods for generating network threat intelligence
US20140165207A1 (en) Method for detecting anomaly action within a computer network
CN110839019A (zh) 一种面向电力监控系统的网络安全威胁溯源方法
CN102271068A (zh) 一种dos/ddos攻击检测方法
WO2016164403A1 (en) Systems and methods for generating network threat intelligence
Pan et al. Anomaly based intrusion detection for building automation and control networks
CN115766235A (zh) 一种网络安全预警系统及预警方法
Guo et al. Network forensics in MANET: traffic analysis of source spoofed DoS attacks
Gonzalez et al. The impact of application-layer denial-of-service attacks
CN111835705A (zh) 一种资产异常访问的检测方法
KR20200109875A (ko) 유해 ip 판단 방법
CN111565196B (zh) 一种KNXnet/IP协议入侵检测方法、装置、设备及介质
TWI704782B (zh) 骨幹網路異常流量偵測方法和系統
CN113596037B (zh) 一种基于网络全流量中事件关系有向图的apt攻击检测方法
CN101882997A (zh) 一种基于nba的网络安全评估方法
CN111447168B (zh) 一种多维的网络安全预测方法
KR20110070161A (ko) 봇넷 탐지를 위한 네트워크 트래픽의 행위 패턴 모델링 시스템과 봇넷 탐지를 위한 네트워크 트래픽의 행위 패턴 모델링 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination