CN112738098A - 一种基于网络行为数据的异常检测方法及装置 - Google Patents

一种基于网络行为数据的异常检测方法及装置 Download PDF

Info

Publication number
CN112738098A
CN112738098A CN202011596014.6A CN202011596014A CN112738098A CN 112738098 A CN112738098 A CN 112738098A CN 202011596014 A CN202011596014 A CN 202011596014A CN 112738098 A CN112738098 A CN 112738098A
Authority
CN
China
Prior art keywords
data
user
network behavior
lstm
sql
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011596014.6A
Other languages
English (en)
Inventor
付莉珺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Topsec Technology Co Ltd
Beijing Topsec Network Security Technology Co Ltd
Beijing Topsec Software Co Ltd
Original Assignee
Beijing Topsec Technology Co Ltd
Beijing Topsec Network Security Technology Co Ltd
Beijing Topsec Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Topsec Technology Co Ltd, Beijing Topsec Network Security Technology Co Ltd, Beijing Topsec Software Co Ltd filed Critical Beijing Topsec Technology Co Ltd
Priority to CN202011596014.6A priority Critical patent/CN112738098A/zh
Publication of CN112738098A publication Critical patent/CN112738098A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请实施例提供一种基于网络行为数据的异常检测方法及装置，涉互联网技术领域，该基于网络行为数据的异常检测方法包括：对获取到的网络行为数据进行预处理，得到行为特征数据；将行为特征数据输入至训练好的Bi‑LSTM预测模型中进行行为预测，得到预测特征数据；计算行为特征数据和预测特征数据之间的差异程度值；判断差异程度值是否大于预设的异常阈值；当差异程度值大于异常阈值时，输出用于表示网络行为数据行异常的检测结果，能够保留各维度之间的关联关系，从而提高异常检测的精度。

Description

一种基于网络行为数据的异常检测方法及装置
技术领域
本申请涉及互联网技术领域，具体而言，涉及一种基于网络行为数据的异常检测方法及装置。
背景技术
用户的网络行为被安全设备的日志记录，为了监测网络环境，及时发现威胁，需要对这些日志数据进行实时检测，判断是否存在异常行为。然而，在实践中发现，传统异常检测方法中会将多维时间序列转换成多个单维时间序列进行多段式异常检测，从而导致各维度之间的关联关系丢失，进而降低了异常检测的精度。
发明内容
本申请实施例的目的在于提供一种基于网络行为数据的异常检测方法及装置，能够保留各维度之间的关联关系，从而提高异常检测的精度。
本申请实施例第一方面提供了一种基于网络行为数据的异常检测方法，包括：
对获取到的网络行为数据进行预处理，得到行为特征数据；
将所述行为特征数据输入至训练好的Bi-LSTM预测模型中进行行为预测，得到预测特征数据；
计算所述行为特征数据和所述预测特征数据之间的差异程度值；
判断所述差异程度值是否大于预设的异常阈值；
当所述差异程度值大于所述异常阈值时，输出用于表示所述网络行为数据行异常的检测结果。
在上述实现过程中，该方法可以通过预处理将网络行为数据进行预处理，以使预处理得到的行为特征数据能够更有效地被人工智能模型所处理；同时通过计算实际数据和人工智能结果数据之间的差异值和预设的异常阈值来确定用户操作所产生的实际数据是否出现异常，并在异常出现时进行实时的异常检测提示。可见，实施这种实施方式，能够通过Bi-LSTM预测模型对具有多维结构的网络行为数据进行多维度智能处理，以使网络行为数据中各维度之间的关联关系得以保留，从而使得网络行为数据的信息量增加，进而有利于提高整体异常检测的精度。
进一步地，所述方法还包括：
对获取到的原始数据进行预处理，得到预处理数据；
根据预设比例对所述预处理数据进行划分，得到训练集和测试集；
根据所述训练集和预设的Bi-LSTM初始模型进行人工智能训练，得到Bi-LSTM训练模型；
根据所述测试集和所述Bi-LSTM训练模型进行调整，得到训练好的Bi-LSTM预测模型。
在上述实现过程中，该方法可以在对网络行为数据进行异常检测之前进Bi-LSTM预测模型的训练，以使训练好的Bi-LSTM预测模型更适合后续的异常检测，从而有利于提高对网络行为数据的异常检测精度。
进一步地，所述对获取到的原始数据进行预处理，得到预处理数据的步骤包括：
对获取到的原始数据进行数据补全处理与去噪处理，得到处理过程数据；
对所述处理过程数据进行归一化处理，得到预处理数据。
在上述实现过程中，该方法可以对原始数据进行补全去噪处理，从而提高用于训练Bi-LSTM预测模型的训练数据的数据精度，进而有利于提高训练得到的Bi-LSTM预测模型的质量，有利于提高网络行为数据的异常检测精度。
进一步地，所述原始数据包括每个用户的操作频次、每个用户访问的系统账号数量、每个用户访问的设备数量、每个用户访问的进程数量、每个用户的linux指令中文件编辑的指令数量、每个用户的linux指令中文件传输的指令数量、每个用户的linux指令中文件管理的指令数量、每个用户的linux指令中磁盘管理的指令数量、每个用户的sql命令中数据查询的sql数量、每个用户的sql命令中数据定义的sql数量、每个用户的sql命令中数据操纵的sql数量以及每个用户的sql命令中数据控制的sql数量。
在上述实现过程中，当该方法使用包括以上多维度数据的原始数据进行Bi-LSTM模型训练时，其训练得到的Bi-LSTM预测模型将适应于对应的多维度数据，从而使得Bi-LSTM预测模型能够更有效地对多维度数据进行预测，进而有利于提高整体网络行为数据的异常检测精度。
本申请实施例第二方面提供了一种基于网络行为数据的异常检测装置，所述基于网络行为数据的异常检测装置包括：
预处理单元，用于对获取到的网络行为数据进行预处理，得到行为特征数据；
预测单元，用于将所述行为特征数据输入至训练好的Bi-LSTM预测模型中进行行为预测，得到预测特征数据；
计算单元，用于计算所述行为特征数据和所述预测特征数据之间的差异程度值；
判断单元，用于判断所述差异程度值是否大于预设的异常阈值；
输出单元，用于当所述差异程度值大于所述异常阈值时，输出用于表示所述网络行为数据行异常的检测结果。
在上述实现过程中，该异常检测装置可以对网络行为数据进行预处理，并对预处理之后的行为特征数据进行行为预测，并进一步根据预测结果和实际数据进行比较，以使比较结果显示出该网络行为数据是否出现异常。可见，实施这种实施方式，能够通过Bi-LSTM预测模型对具有多维结构的网络行为数据进行多维度智能处理，以使网络行为数据中各维度之间的关联关系得以保留，从而使得网络行为数据的信息量增加，进而有利于提高整体异常检测的精度。
进一步地，所述基于网络行为数据的异常检测装置还包括：
所述预处理单元，还用于对获取到的原始数据进行预处理，得到预处理数据；
划分单元，用于根据预设比例对所述预处理数据进行划分，得到训练集和测试集；
训练单元，用于根据所述训练集和预设的Bi-LSTM初始模型进行人工智能训练，得到Bi-LSTM训练模型；
调整单元，用于根据所述测试集和所述Bi-LSTM训练模型进行调整，得到训练好的Bi-LSTM预测模型。
在上述实现过程中，能够在对网络行为数据进行异常检测之前进Bi-LSTM预测模型的训练，以使训练好的Bi-LSTM预测模型更适合后续的异常检测，从而有利于提高对网络行为数据的异常检测精度。
进一步地，所述预处理单元包括：
第一子单元，用于对获取到的原始数据进行数据补全处理与去噪处理，得到处理过程数据；
第二子单元，用于对所述处理过程数据进行归一化处理，得到预处理数据。
在上述实现过程中，该种该装置的使用可以对原始数据进行补全去噪处理，从而提高用于训练Bi-LSTM预测模型的训练数据的数据精度，进而有利于提高训练得到的Bi-LSTM预测模型的质量，有利于提高网络行为数据的异常检测精度。
进一步地，所述原始数据包括每个用户的操作频次、每个用户访问的系统账号数量、每个用户访问的设备数量、每个用户访问的进程数量、每个用户的linux指令中文件编辑的指令数量、每个用户的linux指令中文件传输的指令数量、每个用户的linux指令中文件管理的指令数量、每个用户的linux指令中磁盘管理的指令数量、每个用户的sql命令中数据查询的sql数量、每个用户的sql命令中数据定义的sql数量、每个用户的sql命令中数据操纵的sql数量以及每个用户的sql命令中数据控制的sql数量。
在上述实现过程中，当该方法使用包括以上多维度数据的原始数据进行Bi-LSTM模型训练时，其训练得到的Bi-LSTM预测模型将适应于对应的多维度数据，从而使得Bi-LSTM预测模型能够更有效地对多维度数据进行预测，进而有利于提高整体网络行为数据的异常检测精度。
本申请实施例第三方面提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本申请实施例第一方面中任一项所述的基于网络行为数据的异常检测方法。
本申请实施例第四方面提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本申请实施例第一方面中任一项所述的基于网络行为数据的异常检测方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种基于网络行为数据的异常检测方法的流程示意图；
图2为本申请实施例提供的另一种基于网络行为数据的异常检测方法的流程示意图；
图3为本申请实施例提供的一种基于网络行为数据的异常检测装置的结构示意图；
图4为本申请实施例提供的另一种基于网络行为数据的异常检测装置的结构示意图；
图5为本申请实施例提供的一种Bi-LSTM结构中的记忆单元的内部交互示意图。
具体实施方式
下面将结合本实施例中的附图，对本实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1
请参看图1，图1为本申请实施例提供了一种基于网络行为数据的异常检测方法的流程示意图。其中，该基于网络行为数据的异常检测方法包括：
S101、对获取到的网络行为数据进行预处理，得到行为特征数据。
S102、将行为特征数据输入至训练好的Bi-LSTM预测模型中进行行为预测，得到预测特征数据。
本实施例中，LSTM(Long Short-Term Memory)用于表示长短期记忆人工神经网络，该种神经网络是一种时间循环神经网络，其能够解决一般的RNN(循环神经网络)中存在的长期依赖问题。
在本实施例中，Bi-LSTM用于表示双向长短期记忆人工神经网络。
在本实施例中，Bi-LSTM预测模型用于表示由双向长短期记忆人工神经网络所构成的神经网络模型。
S103、计算行为特征数据和预测特征数据之间的差异程度值。
本实施例中，Bi-LSTM预测模型可以预测出正常的特征数据，当行为特征数据与正常的特征数据出现差异时，说明行为特征数据存在异常。其中，上述差异可以用于差异程度值量化。
S104、判断差异程度值是否大于预设的异常阈值，如果是，执行步骤S105；如果否，结束本流程。
S105、输出用于表示网络行为数据行异常的检测结果。
本实施例中，该方法利用Bi-LSTM循环神经网络建立了Bi-LSTM预测模型，其原因为神经网络对时间序列的用户行为特征可以进行自动抽取，从而能够省去繁琐地数据维度简约过程；同时，还能够对各维度之间的相互关系进行自动处理；另外，LSTM网络是一种记忆网络，能够学习到长期依赖关系，Bi-LSTM预测模型则在标准LSTM基础上增加了反向计算，从而使得该种模型能够考虑到前后时间的状态对现在的影响，进而提高该种模型的使用效果。
本实施例中，该方法的执行主体可以为计算机、服务器等计算装置，对此本实施例中不作任何限定。
在本实施例中，该方法的执行主体还可以为智能手机、平板电脑等智能设备，对此本实施例中不作任何限定。
可见，实施本实施例所描述的基于网络行为数据的异常检测方法，能够通过预处理将网络行为数据进行预处理，以使预处理得到的行为特征数据能够更有效地被人工智能模型所处理；同时通过计算实际数据和人工智能结果数据之间的差异值和预设的异常阈值来确定用户操作所产生的实际数据是否出现异常，并在异常出现时进行实时的异常检测提示。可见，实施这种实施方式，能够通过Bi-LSTM预测模型对具有多维结构的网络行为数据进行多维度智能处理，以使网络行为数据中各维度之间的关联关系得以保留，从而使得网络行为数据的信息量增加，进而有利于提高整体异常检测的精度。
实施例2
请参看图2，图2为本申请实施例提供的一种基于网络行为数据的异常检测方法的流程示意图。如图2所示，其中，该基于网络行为数据的异常检测方法包括：
S201、对获取到的网络行为数据进行预处理，得到行为特征数据。
S202、对获取到的原始数据进行数据补全处理与去噪处理，得到处理过程数据。
本实施例中，原始数据对应与网络安全设备在一段时间内记录的用户行为日志，其中，原始数据包括用户的操作时间、所在服务器、系统账号、进程id、堡垒机账号、通过堡垒机访问的设备ip以及操作指令。
作为一种可选的实施方式，原始数据包括每个用户的操作频次、每个用户访问的系统账号数量、每个用户访问的设备数量、每个用户访问的进程数量、每个用户的linux指令中文件编辑的指令数量、每个用户的linux指令中文件传输的指令数量、每个用户的linux指令中文件管理的指令数量、每个用户的linux指令中磁盘管理的指令数量、每个用户的sql命令中数据查询的sql数量、每个用户的sql命令中数据定义的sql数量、每个用户的sql命令中数据操纵的sql数量以及每个用户的sql命令中数据控制的sql数量等，对此本申请实施例不作限定。
本实施例中，该方法可以每24小时统计一次每个用户的操作频次；统计每个用户访问的系统账号数量、设备数量、进程数量；统计用户的linux指令中文件编辑、文件传输、文件管理、磁盘管理等类别的指令数量；统计sql命令中数据查询、数据定义、数据操纵和数据控制的sql数量。
S203、对处理过程数据进行归一化处理，得到预处理数据。
本实施例中，该方法为了避免数值上的小数据被大数据掩盖失去表达意义的问题，可以对处理过程数据进行归一化处理，以保证每个特征被网络模型平等对待。
本实施例中，实施上述步骤S202～步骤S203，能够对获取到的原始数据进行预处理，得到预处理数据。
在本实施例中，原始数据往往有缺失、含噪声，而且输入数据的质量很大程度上影响模型的准确性，因此该方法可以每24小时对原始数据进行一次处理，从而保证预处理数据的数据质量。
S204、根据预设比例对预处理数据进行划分，得到训练集和测试集。
本实施例中，预设比例可以为8：2。
本实施例中，预处理数据可以分为训练集(80％)和测试集(20％)两部分，并分别作为模型训练和模型验证的输入数据。
S205、根据训练集和预设的Bi-LSTM初始模型进行人工智能训练，得到Bi-LSTM训练模型。
S206、根据测试集和Bi-LSTM训练模型进行调整，得到训练好的Bi-LSTM预测模型。
本实施例中，该方法可以使用测试集评估Bi-LSTM训练模型的性能，并根据异常检测精确度来判断Bi-LSTM训练模型是否符合预设需求，并在不符合预设需求时，调整Bi-LSTM训练模型中的参数，并重新进行训练，直到Bi-LSTM训练模型是否符合预设需求，并将符合预设需求的Bi-LSTM训练模型确定为Bi-LSTM预测模型。
本实施例中，步骤S202～步骤S206可以在步骤S201之前执行，也可以在步骤S201之后以及步骤S207之前执行，对此本申请实施例不作限定，其中，本申请实施例仅描述其中一种执行顺序。
本实施例中，Bi-LSTM神经网络在LSTM神经网络的基础上增加了反向计算层，以使Bi-LSTM神经网络可以随时间的推进分别进行前向和反向推算，从而使得在该问题中，当前时间点的输出不仅与之前的状态有关，还与未来的状态有关。
本实施例中，对于t时刻而言，是将上一时刻的状态与当前时刻的输入拼接成向量作为循环体的输入，本文中对于初始的S0和S’0默认为零向量。
本实施例中，Bi-LSTM结构包括细胞状态(Ct)，遗忘门，输入门和输出门。其中总，对于Bi-LSTM结构中的每个记忆单元(A和A’)内部的交互的过程中(以时刻t-1到时刻t的处理为例)，包括以下的计算过程：
①第一步遗忘门，决定从细胞状态中丢弃哪些信息，即遗弃掉上一时刻的哪些行为信息，根据公式(1)计算得到0-1之间的数值，表示细胞状态Ct-1的保留程度；其中，1表示完全保留，0表示完全舍弃。
ft＝σ(Wf·[ht-1，Xt]+bf) (1)
②第二步输入门，在这一步决定哪些行为信息要加入新的细胞状态中，通过公式(2)-(4)的计算更新细胞状态(Ct-1→Ct)。
it＝σ(Wi·[ht-1，Xt]+bi) (2)
Figure BDA0002866526910000101
Figure BDA0002866526910000102
③第三步输出门，通过公式(5)(6)计算选择输出内容。
ot＝σ(Wo·[ht-1，Xt]+bo) (5)
ht＝ot*tanh(Ct) (6)
请参阅图5，图5描述了一种上述过程的举例示意图。
S207、将行为特征数据输入至训练好的Bi-LSTM预测模型中进行行为预测，得到预测特征数据。
S208、计算行为特征数据和预测特征数据之间的差异程度值。
S209、判断差异程度值是否大于预设的异常阈值，如果是，执行步骤S210；如果否，结束本流程。
S210、输出用于表示网络行为数据行异常的检测结果。
可见，实施本实施例所描述的基于网络行为数据的异常检测方法，能够通过Bi-LSTM预测模型对具有多维结构的网络行为数据进行多维度智能处理，以使网络行为数据中各维度之间的关联关系得以保留，从而使得网络行为数据的信息量增加，进而有利于提高整体异常检测的精度。
实施例3
请参看图3，图3为本申请实施例提供的一种基于网络行为数据的异常检测装置的结构示意图。如图3所示，该基于网络行为数据的异常检测装置包括：
预处理单元310，用于对获取到的网络行为数据进行预处理，得到行为特征数据；
预测单元320，用于将行为特征数据输入至训练好的Bi-LSTM预测模型中进行行为预测，得到预测特征数据；
计算单元330，用于计算行为特征数据和预测特征数据之间的差异程度值；
判断单元340，用于判断差异程度值是否大于预设的异常阈值；
输出单元350，用于当差异程度值大于异常阈值时，输出用于表示网络行为数据行异常的检测结果。
本实施例中，对于基于网络行为数据的异常检测装置的解释说明可以参照实施例1或实施例2中的描述，对此本实施例中不再多加赘述。
可见，实施本实施例所描述的基于网络行为数据的异常检测装置，能够通过Bi-LSTM预测模型对具有多维结构的网络行为数据进行多维度智能处理，以使网络行为数据中各维度之间的关联关系得以保留，从而使得网络行为数据的信息量增加，进而有利于提高整体异常检测的精度。
实施例4
请一并参阅图4，图4是本申请实施例提供的一种基于网络行为数据的异常检测装置的结构示意图。其中，图4所示的基于网络行为数据的异常检测装置是由图3所示的基于网络行为数据的异常检测装置进行优化得到的。如图4所示，预处理单元310，还用于对获取到的原始数据进行预处理，得到预处理数据；
该基于网络行为数据的异常检测装置还包括：
划分单元360，用于根据预设比例对预处理数据进行划分，得到训练集和测试集；
训练单元370，用于根据训练集和预设的Bi-LSTM初始模型进行人工智能训练，得到Bi-LSTM训练模型；
调整单元380，用于根据测试集和Bi-LSTM训练模型进行调整，得到训练好的Bi-LSTM预测模型。
作为一种可选的实施方式，预处理单元310包括：
第一子单元311，用于对获取到的原始数据进行数据补全处理与去噪处理，得到处理过程数据；
第二子单元312，用于对处理过程数据进行归一化处理，得到预处理数据。
作为一种可选的实施方式，原始数据包括每个用户的操作频次、每个用户访问的系统账号数量、每个用户访问的设备数量、每个用户访问的进程数量、每个用户的linux指令中文件编辑的指令数量、每个用户的linux指令中文件传输的指令数量、每个用户的linux指令中文件管理的指令数量、每个用户的linux指令中磁盘管理的指令数量、每个用户的sql命令中数据查询的sql数量、每个用户的sql命令中数据定义的sql数量、每个用户的sql命令中数据操纵的sql数量以及每个用户的sql命令中数据控制的sql数量。
本实施例中，对于基于网络行为数据的异常检测装置的解释说明可以参照实施例1或实施例2中的描述，对此本实施例中不再多加赘述。
可见，实施本实施例所描述的基于网络行为数据的异常检测装置，能够通过Bi-LSTM预测模型对具有多维结构的网络行为数据进行多维度智能处理，以使网络行为数据中各维度之间的关联关系得以保留，从而使得网络行为数据的信息量增加，进而有利于提高整体异常检测的精度。
本申请实施例提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本申请实施例1或实施例2中任一项基于网络行为数据的异常检测方法。
本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本申请实施例1或实施例2中任一项基于网络行为数据的异常检测方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种基于网络行为数据的异常检测方法，其特征在于，所述方法包括：
对获取到的网络行为数据进行预处理，得到行为特征数据；
将所述行为特征数据输入至训练好的Bi-LSTM预测模型中进行行为预测，得到预测特征数据；
计算所述行为特征数据和所述预测特征数据之间的差异程度值；
判断所述差异程度值是否大于预设的异常阈值；
当所述差异程度值大于所述异常阈值时，输出用于表示所述网络行为数据行异常的检测结果。
2.根据权利要求1所述的基于网络行为数据的异常检测方法，其特征在于，所述方法还包括：
对获取到的原始数据进行预处理，得到预处理数据；
根据预设比例对所述预处理数据进行划分，得到训练集和测试集；
根据所述训练集和预设的Bi-LSTM初始模型进行人工智能训练，得到Bi-LSTM训练模型；
根据所述测试集和所述Bi-LSTM训练模型进行调整，得到训练好的Bi-LSTM预测模型。
3.根据权利要求2所述的基于网络行为数据的异常检测方法，其特征在于，所述对获取到的原始数据进行预处理，得到预处理数据的步骤包括：
对获取到的原始数据进行数据补全处理与去噪处理，得到处理过程数据；
对所述处理过程数据进行归一化处理，得到预处理数据。
4.根据权利要求2所述的基于网络行为数据的异常检测方法，其特征在于，所述原始数据包括每个用户的操作频次、每个用户访问的系统账号数量、每个用户访问的设备数量、每个用户访问的进程数量、每个用户的linux指令中文件编辑的指令数量、每个用户的linux指令中文件传输的指令数量、每个用户的linux指令中文件管理的指令数量、每个用户的linux指令中磁盘管理的指令数量、每个用户的sql命令中数据查询的sql数量、每个用户的sql命令中数据定义的sql数量、每个用户的sql命令中数据操纵的sql数量以及每个用户的sql命令中数据控制的sql数量。
5.一种基于网络行为数据的异常检测装置，其特征在于，所述基于网络行为数据的异常检测装置包括：
预处理单元，用于对获取到的网络行为数据进行预处理，得到行为特征数据；
预测单元，用于将所述行为特征数据输入至训练好的Bi-LSTM预测模型中进行行为预测，得到预测特征数据；
计算单元，用于计算所述行为特征数据和所述预测特征数据之间的差异程度值；
判断单元，用于判断所述差异程度值是否大于预设的异常阈值；
输出单元，用于当所述差异程度值大于所述异常阈值时，输出用于表示所述网络行为数据行异常的检测结果。
6.根据权利要求5所述的基于网络行为数据的异常检测装置，其特征在于，所述基于网络行为数据的异常检测装置还包括：
所述预处理单元，还用于对获取到的原始数据进行预处理，得到预处理数据；
划分单元，用于根据预设比例对所述预处理数据进行划分，得到训练集和测试集；
训练单元，用于根据所述训练集和预设的Bi-LSTM初始模型进行人工智能训练，得到Bi-LSTM训练模型；
调整单元，用于根据所述测试集和所述Bi-LSTM训练模型进行调整，得到训练好的Bi-LSTM预测模型。
7.根据权利要求6所述的基于网络行为数据的异常检测装置，其特征在于，所述预处理单元包括：
第一子单元，用于对获取到的原始数据进行数据补全处理与去噪处理，得到处理过程数据；
第二子单元，用于对所述处理过程数据进行归一化处理，得到预处理数据。
8.根据权利要求6所述的基于网络行为数据的异常检测装置，其特征在于，所述原始数据包括每个用户的操作频次、每个用户访问的系统账号数量、每个用户访问的设备数量、每个用户访问的进程数量、每个用户的linux指令中文件编辑的指令数量、每个用户的linux指令中文件传输的指令数量、每个用户的linux指令中文件管理的指令数量、每个用户的linux指令中磁盘管理的指令数量、每个用户的sql命令中数据查询的sql数量、每个用户的sql命令中数据定义的sql数量、每个用户的sql命令中数据操纵的sql数量以及每个用户的sql命令中数据控制的sql数量。
9.一种电子设备，其特征在于，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求1至4中任一项所述的基于网络行为数据的异常检测方法。
10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行权利要求1至4任一项所述的基于网络行为数据的异常检测方法。
CN202011596014.6A 2020-12-28 2020-12-28 一种基于网络行为数据的异常检测方法及装置 Pending CN112738098A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011596014.6A CN112738098A (zh) 2020-12-28 2020-12-28 一种基于网络行为数据的异常检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011596014.6A CN112738098A (zh) 2020-12-28 2020-12-28 一种基于网络行为数据的异常检测方法及装置

Publications (1)

Publication Number Publication Date
CN112738098A true CN112738098A (zh) 2021-04-30

Family

ID=75610259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011596014.6A Pending CN112738098A (zh) 2020-12-28 2020-12-28 一种基于网络行为数据的异常检测方法及装置

Country Status (1)

Country Link
CN (1) CN112738098A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113746817A (zh) * 2021-08-20 2021-12-03 太原向明智控科技有限公司 一种煤矿井下通讯控制监控系统及方法
CN113886118A (zh) * 2021-09-16 2022-01-04 杭州安恒信息技术股份有限公司 异常资源处理方法、装置、系统、电子装置和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108089962A (zh) * 2017-11-13 2018-05-29 北京奇艺世纪科技有限公司 一种异常检测方法、装置及电子设备
CN108900546A (zh) * 2018-08-13 2018-11-27 杭州安恒信息技术股份有限公司 基于lstm的时间序列网络异常检测的方法与装置
CN109302410A (zh) * 2018-11-01 2019-02-01 桂林电子科技大学 一种内部用户异常行为检测方法、系统及计算机存储介质
WO2020175147A1 (ja) * 2019-02-28 2020-09-03 日本電信電話株式会社 検知装置及び検知プログラム
CN111858242A (zh) * 2020-07-10 2020-10-30 苏州浪潮智能科技有限公司 一种系统日志异常检测方法、装置及电子设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108089962A (zh) * 2017-11-13 2018-05-29 北京奇艺世纪科技有限公司 一种异常检测方法、装置及电子设备
CN108900546A (zh) * 2018-08-13 2018-11-27 杭州安恒信息技术股份有限公司 基于lstm的时间序列网络异常检测的方法与装置
CN109302410A (zh) * 2018-11-01 2019-02-01 桂林电子科技大学 一种内部用户异常行为检测方法、系统及计算机存储介质
WO2020175147A1 (ja) * 2019-02-28 2020-09-03 日本電信電話株式会社 検知装置及び検知プログラム
CN111858242A (zh) * 2020-07-10 2020-10-30 苏州浪潮智能科技有限公司 一种系统日志异常检测方法、装置及电子设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113746817A (zh) * 2021-08-20 2021-12-03 太原向明智控科技有限公司 一种煤矿井下通讯控制监控系统及方法
CN113886118A (zh) * 2021-09-16 2022-01-04 杭州安恒信息技术股份有限公司 异常资源处理方法、装置、系统、电子装置和存储介质

Similar Documents

Publication Publication Date Title
CN107316198B (zh) 账户风险识别方法及装置
CN109302410B (zh) 一种内部用户异常行为检测方法、系统及计算机存储介质
CN111310814A (zh) 利用不平衡正负样本对业务预测模型训练的方法及装置
CN109766557B (zh) 一种情感分析方法、装置、存储介质及终端设备
CN111625516B (zh) 检测数据状态的方法、装置、计算机设备和存储介质
CN110471276B (zh) 用于为物理系统创建模型函数的装置
CN114095270B (zh) 一种网络攻击预测方法及装置
CN109361648B (zh) 工控系统的隐蔽攻击的检测方法及装置
CN112738098A (zh) 一种基于网络行为数据的异常检测方法及装置
CN113723070B (zh) 文本相似度模型训练方法、文本相似度检测方法及装置
CN113328908B (zh) 异常数据的检测方法、装置、计算机设备和存储介质
US20140236871A1 (en) Sparse variable optimization device, sparse variable optimization method, and sparse variable optimization program
CN113986561B (zh) 人工智能任务处理方法、装置、电子设备及可读存储介质
CN112749737A (zh) 图像分类方法及装置、电子设备、存储介质
CN114091594A (zh) 模型训练方法及装置、设备、存储介质
CN113469111A (zh) 图像关键点检测方法及系统、电子设备、存储介质
CN116542701A (zh) 一种基于cnn-lstm组合模型的碳价预测方法及系统
CN113807541B (zh) 决策系统的公平性修复方法、系统、设备及存储介质
CN115660060A (zh) 一种模型训练方法以及检测方法、装置、设备及存储介质
WO2021243534A1 (zh) 一种行为控制方法及装置、存储介质
CN111898626A (zh) 模型确定方法、装置和电子设备
CN115329968B (zh) 确定量子机器学习算法公平性的方法、系统和电子设备
CN116362300B (zh) 区域电网异常扰动数量预测方法、装置、介质及电子设备
AU2021318113B2 (en) Combining rules-based knowledge engineering with machine learning prediction
CN113011476B (zh) 基于自适应滑动窗口gan的用户行为安全检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210430

RJ01 Rejection of invention patent application after publication