CN108540473A - 一种数据分析方法及数据分析装置 - Google Patents

一种数据分析方法及数据分析装置 Download PDF

Info

Publication number
CN108540473A
CN108540473A CN201810311849.9A CN201810311849A CN108540473A CN 108540473 A CN108540473 A CN 108540473A CN 201810311849 A CN201810311849 A CN 201810311849A CN 108540473 A CN108540473 A CN 108540473A
Authority
CN
China
Prior art keywords
data
module
information
network
acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810311849.9A
Other languages
English (en)
Inventor
王玲
龚佃选
阎少宏
张静
吴飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China University of Science and Technology
Original Assignee
North China University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China University of Science and Technology filed Critical North China University of Science and Technology
Priority to CN201810311849.9A priority Critical patent/CN108540473A/zh
Publication of CN108540473A publication Critical patent/CN108540473A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H04L63/0263—Rule management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/554—Detecting local intrusion or implementing counter-measures involving event detection and direct action
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了电子信息技术领域的一种数据分析方法及数据分析装置，该方法的具体步骤如下：S1：提取电子信息网络中的系统数据，并对提取的数据进行深入分析；S2：对数据进行预处理，并送入入侵检测分析引擎中；S3：通过分析入侵检测行为检测已知的网络入侵，并将入侵检测结果上传给管理者；S4：挑选出所有的异常信息，同时将异常信息进行分类处理，并建立入侵检测规则；S5：将入侵检测规则建立集合，并导入数据库中进行存储，随后将采集的数据信息与入侵检测规则集进行匹配，从而确定入侵行为，本发明集合多种网络数据源，具有良好的扩展性，同时能够自动归纳特定攻击手段的特征，极大的保障了网络活动的安全有序运行。

Description

一种数据分析方法及数据分析装置
技术领域
本发明公开了一种数据分析方法及数据分析装置，具体为电子信息技术领域。
背景技术
随着信息时代的到来，电子商务、电子政务、金融网络、网络虚拟社区已经走入千家万户，逐渐走进人们的日常生活中，计算机网络已经成为现代社会生产、生活中不可或缺的一部分。但是电子信息网络其固有的开放性，使网络一开始就面临着巨大的安全风险，而网络协议、各种软件的不完善以及网络管理人员的错误使这种风险成为现实的灾难，网络入侵事件不断发生，甚至政府网站被破坏、军事机密被盗取的事件也时有发生。这就需要一种即时的网络系统入侵检测的数据分析装置，为电子信息网络的安全保驾护航。为此，我们提出了一种数据分析方法及数据分析装置投入使用，以解决上述问题。
发明内容
本发明的目的在于提供一种数据分析方法及数据分析装置，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种数据分析方法，该方法的具体步骤如下：
S1：提取电子信息网络中的系统数据，发现攻击并根据数据分析的结果产生事件；
S2：对数据进行预处理，使之形成易于人工智能数据分析处理的网络信息特征形式，并送入入侵检测分析引擎中；
S3：通过分析入侵检测行为检测已知的网络入侵，得出准确的入侵检测类型，并将入侵检测结果上传给管理者；
S4：挑选出所有的异常信息，同时将异常信息进行分类处理，并建立入侵检测规则；
S5：将入侵检测规则建立集合，并导入数据库中进行存储，随后将采集的数据信息与入侵检测规则集进行匹配，从而确定入侵行为。
优选的，所述步骤S1中，提取的数据来源为系统主机上的网络日志和变动信息、网络上的数据信息以及流量变化、网络采集的数据包、操作系统审计记录、基于应用的审计信息和基于目标的对象信息。
优选的，所述步骤S2中，数据分析的方式为在一定的时间内某个特定用户登录失败的次数以及某种特定类型报文出现的次数。
优选的，所述步骤S3中，入侵行为的检测通过统计程序进行实现，具体的：检查所有满足时间窗口条件的连接记录，判断是否与当前的连接记录有相同目标的主机、相同的服务，随后汇总作统计处理，其中，网络文件中的连接记录基于时间作统计排序，排序的依据为每次连接的起始时间。
优选的，所述步骤S5中，在数据信息与入侵检测规则集进行匹配过程中，将采集的原始信号利用映射变换将其样值从一个域变换到另一个域，然后针对变换后的数据进行量化与编码操作，使得采集的数据率得以降低，减少系统运算过程中所耗费的时间。
优选的，一种数据分析装置，包括数据采集模块、数据处理模块、异常检测模块、误用检测模块、自动分类模块、自动学习模块、入侵检测规则集以及管理模块；
所述数据采集模块用于采集系统数据源，并交由所述数据处理模块对数据进行深入分析，发现攻击并根据分析结果产生事件，所述数据处理模块处理后的数据信息分别分发到所述异常检测模块和所述误用检测模块中，所述异常检测模块用于挑选出所有的异常信息，将检测结果一方面输送至所述管理模块中进行决策参考，另一方面对异常信息通过所述自动分类模块进行分类处理，所述自动学习模块采用自适应的学习方法建立所述入侵检测规则集，所述误用检测模块用于检测已知的入侵，并为所述管理模块提供准确的入侵类型信息。
与现有技术相比，本发明的有益效果是：本发明集合多种网络数据源，具有良好的扩展性，同时能够自动归纳特定攻击手段的特征，极大的保障了网络活动的安全有序运行。
附图说明
图1为本发明系统原理框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：一种数据分析方法，该方法的具体步骤如下：
S1：提取电子信息网络中的系统数据，发现攻击并根据数据分析的结果产生事件，提取的数据来源为系统主机上的网络日志和变动信息、网络上的数据信息以及流量变化、网络采集的数据包、操作系统审计记录、基于应用的审计信息和基于目标的对象信息；
S2：对数据进行预处理，使之形成易于人工智能数据分析处理的网络信息特征形式，并送入入侵检测分析引擎中，数据分析的方式为在一定的时间内某个特定用户登录失败的次数以及某种特定类型报文出现的次数；
S3：通过分析入侵检测行为检测已知的网络入侵，得出准确的入侵检测类型，并将入侵检测结果上传给管理者，入侵行为的检测通过统计程序进行实现，具体的：检查所有满足时间窗口条件的连接记录，判断是否与当前的连接记录有相同目标的主机、相同的服务，随后汇总作统计处理，其中，网络文件中的连接记录基于时间作统计排序，排序的依据为每次连接的起始时间；
S4：挑选出所有的异常信息，同时将异常信息进行分类处理，并建立入侵检测规则；
S5：将入侵检测规则建立集合，并导入数据库中进行存储，随后将采集的数据信息与入侵检测规则集进行匹配，从而确定入侵行为，在数据信息与入侵检测规则集进行匹配过程中，将采集的原始信号利用映射变换将其样值从一个域变换到另一个域，然后针对变换后的数据进行量化与编码操作，使得采集的数据率得以降低，减少系统运算过程中所耗费的时间。
本发明还提供了一种数据分析装置，包括数据采集模块、数据处理模块、异常检测模块、误用检测模块、自动分类模块、自动学习模块、入侵检测规则集以及管理模块；所述数据采集模块用于采集系统数据源，并交由所述数据处理模块对数据进行深入分析，发现攻击并根据分析结果产生事件，所述数据处理模块处理后的数据信息分别分发到所述异常检测模块和所述误用检测模块中，所述异常检测模块用于挑选出所有的异常信息，将检测结果一方面输送至所述管理模块中进行决策参考，另一方面对异常信息通过所述自动分类模块进行分类处理，所述自动学习模块采用自适应的学习方法建立所述入侵检测规则集，所述误用检测模块用于检测已知的入侵，并为所述管理模块提供准确的入侵类型信息。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种数据分析方法，其特征在于：该方法的具体步骤如下：
S1：提取电子信息网络中的系统数据，发现攻击并根据数据分析的结果产生事件；
S2：对数据进行预处理，使之形成易于人工智能数据分析处理的网络信息特征形式，并送入入侵检测分析引擎中；
S3：通过分析入侵检测行为检测已知的网络入侵，得出准确的入侵检测类型，并将入侵检测结果上传给管理者；
S4：挑选出所有的异常信息，同时将异常信息进行分类处理，并建立入侵检测规则；
S5：将入侵检测规则建立集合，并导入数据库中进行存储，随后将采集的数据信息与入侵检测规则集进行匹配，从而确定入侵行为。
2.根据权利要求1所述的一种数据分析方法，其特征在于：所述步骤S1中，提取的数据来源为系统主机上的网络日志和变动信息、网络上的数据信息以及流量变化、网络采集的数据包、操作系统审计记录、基于应用的审计信息和基于目标的对象信息。
3.根据权利要求1所述的一种数据分析方法，其特征在于：所述步骤S2中，数据分析的方式为在一定的时间内某个特定用户登录失败的次数以及某种特定类型报文出现的次数。
4.根据权利要求1所述的一种数据分析方法，其特征在于：所述步骤S3中，入侵行为的检测通过统计程序进行实现，具体的：检查所有满足时间窗口条件的连接记录，判断是否与当前的连接记录有相同目标的主机、相同的服务，随后汇总作统计处理，其中，网络文件中的连接记录基于时间作统计排序，排序的依据为每次连接的起始时间。
5.根据权利要求1所述的一种数据分析方法，其特征在于：所述步骤S5中，在数据信息与入侵检测规则集进行匹配过程中，将采集的原始信号利用映射变换将其样值从一个域变换到另一个域，然后针对变换后的数据进行量化与编码操作，使得采集的数据率得以降低，减少系统运算过程中所耗费的时间。
6.一种数据分析装置，其特征在于：包括数据采集模块、数据处理模块、异常检测模块、误用检测模块、自动分类模块、自动学习模块、入侵检测规则集以及管理模块；
所述数据采集模块用于采集系统数据源，并交由所述数据处理模块对数据进行深入分析，发现攻击并根据分析结果产生事件，所述数据处理模块处理后的数据信息分别分发到所述异常检测模块和所述误用检测模块中，所述异常检测模块用于挑选出所有的异常信息，将检测结果一方面输送至所述管理模块中进行决策参考，另一方面对异常信息通过所述自动分类模块进行分类处理，所述自动学习模块采用自适应的学习方法建立所述入侵检测规则集，所述误用检测模块用于检测已知的入侵，并为所述管理模块提供准确的入侵类型信息。
CN201810311849.9A 2018-04-09 2018-04-09 一种数据分析方法及数据分析装置 Pending CN108540473A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810311849.9A CN108540473A (zh) 2018-04-09 2018-04-09 一种数据分析方法及数据分析装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810311849.9A CN108540473A (zh) 2018-04-09 2018-04-09 一种数据分析方法及数据分析装置

Publications (1)

Publication Number Publication Date
CN108540473A true CN108540473A (zh) 2018-09-14

Family

ID=63479465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810311849.9A Pending CN108540473A (zh) 2018-04-09 2018-04-09 一种数据分析方法及数据分析装置

Country Status (1)

Country Link
CN (1) CN108540473A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111581199A (zh) * 2020-05-08 2020-08-25 广东电网有限责任公司 一种智能数据分析系统及方法
CN112866270A (zh) * 2021-01-29 2021-05-28 中汽创智科技有限公司 入侵检测防御方法及系统
CN113454623A (zh) * 2019-02-21 2021-09-28 三菱电机株式会社 检测规则组调整装置和检测规则组调整程序
CN114598505A (zh) * 2022-02-22 2022-06-07 深圳海域网络科技有限公司 一种数据全球分发的方法及装置
CN116488938A (zh) * 2023-06-12 2023-07-25 湖南三湘银行股份有限公司 一种基于大数据行为分析的数据检测方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020062071A (ko) * 2001-01-19 2002-07-25 주식회사 정보보호기술 접근통제와 연동하는 침입탐지시스템 및 침입대응방법
US6839850B1 (en) * 1999-03-04 2005-01-04 Prc, Inc. Method and system for detecting intrusion into and misuse of a data processing system
CN101399672A (zh) * 2008-10-17 2009-04-01 章毅 一种多神经网络融合的入侵检测方法
CN101562539A (zh) * 2009-05-18 2009-10-21 重庆大学 自适应网络入侵检测系统
CN101572691A (zh) * 2008-04-30 2009-11-04 华为技术有限公司 一种入侵检测方法、系统和装置
CN105681339A (zh) * 2016-03-07 2016-06-15 重庆邮电大学 一种融合粗糙集与ds证据理论的增量式入侵检测方法
CN109086603A (zh) * 2018-07-10 2018-12-25 阜阳职业技术学院 一种基于机器学习的入侵检测系统及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6839850B1 (en) * 1999-03-04 2005-01-04 Prc, Inc. Method and system for detecting intrusion into and misuse of a data processing system
KR20020062071A (ko) * 2001-01-19 2002-07-25 주식회사 정보보호기술 접근통제와 연동하는 침입탐지시스템 및 침입대응방법
CN101572691A (zh) * 2008-04-30 2009-11-04 华为技术有限公司 一种入侵检测方法、系统和装置
CN101399672A (zh) * 2008-10-17 2009-04-01 章毅 一种多神经网络融合的入侵检测方法
CN101562539A (zh) * 2009-05-18 2009-10-21 重庆大学 自适应网络入侵检测系统
CN105681339A (zh) * 2016-03-07 2016-06-15 重庆邮电大学 一种融合粗糙集与ds证据理论的增量式入侵检测方法
CN109086603A (zh) * 2018-07-10 2018-12-25 阜阳职业技术学院 一种基于机器学习的入侵检测系统及方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113454623A (zh) * 2019-02-21 2021-09-28 三菱电机株式会社 检测规则组调整装置和检测规则组调整程序
CN111581199A (zh) * 2020-05-08 2020-08-25 广东电网有限责任公司 一种智能数据分析系统及方法
CN111581199B (zh) * 2020-05-08 2024-01-30 广东电网有限责任公司 一种智能数据分析系统及方法
CN112866270A (zh) * 2021-01-29 2021-05-28 中汽创智科技有限公司 入侵检测防御方法及系统
CN112866270B (zh) * 2021-01-29 2023-03-24 中汽创智科技有限公司 入侵检测防御方法及系统
CN114598505A (zh) * 2022-02-22 2022-06-07 深圳海域网络科技有限公司 一种数据全球分发的方法及装置
CN116488938A (zh) * 2023-06-12 2023-07-25 湖南三湘银行股份有限公司 一种基于大数据行为分析的数据检测方法及系统
CN116488938B (zh) * 2023-06-12 2024-01-30 湖南三湘银行股份有限公司 一种基于大数据行为分析的数据检测方法及系统

Similar Documents

Publication Publication Date Title
CN108540473A (zh) 一种数据分析方法及数据分析装置
CN103368979B (zh) 一种基于改进K-means算法的网络安全性验证装置
CN105471882A (zh) 一种基于行为特征的网络攻击检测方法及装置
KR101060612B1 (ko) 감사자료 기반의 웹공격 이벤트 추출 시스템 및 방법
CN106682505A (zh) 一种病毒检测方法、终端、服务器及系统
CN109309675A (zh) 一种基于卷积神经网络的网络入侵检测方法
CN108334758A (zh) 一种用户越权行为的检测方法、装置及设备
CN114021040B (zh) 基于业务访问的恶意事件的告警及防护方法和系统
CN115643035A (zh) 基于多源日志的网络安全态势评估方法
CN103516563A (zh) 一种用于监控命令是否异常的设备和方法
Esposito et al. Evaluating pattern recognition techniques in intrusion detection systems
CN110460611A (zh) 基于机器学习的全流量攻击检测技术
CN114785563A (zh) 一种软投票策略的加密恶意流量检测方法
CN107209834A (zh) 恶意通信模式提取装置、恶意通信模式提取系统、恶意通信模式提取方法及恶意通信模式提取程序
CN111600905A (zh) 一种基于物联网异常检测方法
CN115150182B (zh) 基于流量分析的信息系统网络攻击检测方法
CN111049828B (zh) 网络攻击检测及响应方法及系统
CN117336055A (zh) 一种网络异常行为检测方法、装置、电子设备及存储介质
CN115396169A (zh) 基于ttp的多步骤攻击检测与场景还原的方法及系统
CN108959922B (zh) 一种基于贝叶斯网的恶意文档检测方法及装置
CN113535823A (zh) 异常访问行为检测方法、装置及电子设备
CN117040664A (zh) 一种基于网络运行安全的计算机系统检测方法
CN112257076A (zh) 一种基于随机探测算法和信息聚合的漏洞检测方法
CN107766737A (zh) 一种数据库审计方法
CN112528325B (zh) 一种数据信息的安全处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180914