CN112883371A - 一种以朴素贝叶斯模型和云端安全的大数据入侵检测方法 - Google Patents
一种以朴素贝叶斯模型和云端安全的大数据入侵检测方法 Download PDFInfo
- Publication number
- CN112883371A CN112883371A CN202110169229.8A CN202110169229A CN112883371A CN 112883371 A CN112883371 A CN 112883371A CN 202110169229 A CN202110169229 A CN 202110169229A CN 112883371 A CN112883371 A CN 112883371A
- Authority
- CN
- China
- Prior art keywords
- data
- security
- naive bayes
- intrusion detection
- method based
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 43
- 238000012544 monitoring process Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000007726 management method Methods 0.000 claims description 24
- 238000013523 data management Methods 0.000 claims description 12
- 238000007405 data analysis Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 230000008447 perception Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000007418 data mining Methods 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 5
- 238000000034 method Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
- G06F18/24155—Bayesian classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computer Security & Cryptography (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Hardware Design (AREA)
- Storage Device Security (AREA)
Abstract
本发明公开了一种以朴素贝叶斯模型和云端安全的大数据入侵检测方法，包括基于朴素贝叶斯和云端安全的入侵检测方法，基于朴素贝叶斯和云端安全的入侵检测方法主要包括云端数据安全模块、数据处理模块、属性权值的确定模块、NB模型和入侵监测体系五个组成部分，其中数据处理模块分为改进的属性选择算法和数据离散化两个部分，属性权值的确定模块使用fisher score值计量加权系数，NB模型主要为隐朴素贝叶斯。本发明从属性选择算法方面对朴素贝叶斯模型进行优化，对朴素贝叶斯模型的结构利用权值进行改进，并且将改进的属性选择算法和加权隐朴素贝叶斯模型结合起来应用到大数据入侵检测中，提高对数据的防入侵检测的效果。
Description
技术领域
本发明涉及大数据检测方法技术领域，具体为一种以朴素贝叶斯模型和云端安全的大数据入侵检测方法。
背景技术
大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产，随着大数据时代的到来，实际采集到的数据类型越来越多样化。
然而，现有的大数据在采集和使用的过程中存在以下的问题：(1)存在大数据入侵的处理方式，这些数据中往往会存在和研究无关或者冗余的属性，这就会对分类结果产生一些负面的影响；(2)现有的大数据采集往往会基于云端，存在大量的入侵不良信息，缺乏相应的处理手段。为此，需要设计相应的技术方案解决存在的技术问题。
发明内容
本发明的目的在于提供一种以朴素贝叶斯模型和云端安全的大数据入侵检测方法，解决了存在大数据入侵的处理方式，这些数据中往往会存在和研究无关或者冗余的属性，这就会对分类结果产生一些负面的影响，这一技术问题。
为实现上述目的，本发明提供如下技术方案：一种以朴素贝叶斯模型和云端安全的大数据入侵检测方法，包括基于朴素贝叶斯和云端安全的入侵检测方法，所述基于朴素贝叶斯和云端安全的入侵检测方法主要包括云端数据安全模块、数据处理模块、属性权值的确定模块、NB模型和入侵监测体系五个组成部分，其中所述数据处理模块分为改进的属性选择算法和数据离散化两个部分，所述属性权值的确定模块使用fisher score值计量加权系数，所述NB模型主要为隐朴素贝叶斯，所述fisher score值计量加权系数和隐朴素贝叶斯共同组成加权隐朴素贝叶斯模型，所述加权隐朴素贝叶斯模型综合应用在入侵检测中并与已成熟算法比较，所述云端数据安全模块和入侵监测体系通过数据传输网络对加权隐朴素贝叶斯模型的运作处理提供安全支撑。
作为本发明的一种优选实施方式，所述改进的属性选择算法以取得一个最优属性子集，使得这个属性子集中属性之间的总体相关性最小并使用使用Spearman相关系数。
作为本发明的一种优选实施方式，所述隐朴素贝叶斯模型是在朴素贝叶斯模型的基础上给每个属性增加一个隐藏父节点，隐藏父节点表示的是该属性和其他属性的相关度之和。
作为本发明的一种优选实施方式，所述云端数据安全模块包括数据安全单元、数据管理单元、管理配置单元和数据安全软件四个部分且上述各部分相互配合使用。
作为本发明的一种优选实施方式，所述数据安全单元包括身份验证、隐私保护、存储安全和接入安全四个部分。
作为本发明的一种优选实施方式，所述数据管理单元主要包括基础数据管理、数据质量管理、数据链路检测和数据运维管理。
作为本发明的一种优选实施方式，所述管理配置单元包括配置管理、任务管理、监控告警和服务管理四个部分。
作为本发明的一种优选实施方式，所述数据安全软件包括数据库防火墙、WEB应用防火墙、WEB漏洞检测软件和存储安全软件等四类软件。
作为本发明的一种优选实施方式，所述入侵检测体系包括感知数据模块和数据分析模块，所述感知数据模块分为网络数据采集单元、主机信息采集单元和应用服务记录单元，所述数据分析模块分为数据格式化单元、入侵检测规格单元和全局数据挖掘单元。
与现有技术相比，本发明的有益效果如下：
1.本方案设计了一套基于朴素贝叶斯模型以及云端安全的大数据入侵检测方法，从属性选择算法方面对朴素贝叶斯模型进行优化，对朴素贝叶斯模型的结构利用权值进行改进，并且将改进的属性选择算法和加权隐朴素贝叶斯模型结合起来应用到大数据入侵检测中，提高对数据的防入侵检测的效果，此外设计有专门的云端安全模块和入侵监测体系，对数据的获取进行安全处理处理，以保证大数据的安全性。
2.本方案针对朴素贝叶斯的“条件独立性假设”，本课题首先就从属性选择方面对朴素贝叶斯模型进行优化，以取得一个最优属性子集，使得这个属性子集中属性之间的总体相关性最小，这样做就可以抵消一部分“条件独立性假设”带来的影响。针对现在比较常用的CFS属性选择算法的缺点，对其进行了一定的改进，具体思路是对属性子集的评价函数进行了修改。由于互信息只能用在只有离散属性的数据集中，所以在属性子集的评价准则中不再使用互信息，而是使用Spearman相关系数，同时，CFS算法没有考虑到属性子集中属性与类属性相关度差异过大的情况，为此引入相关度方差来限制这种情况的发生，此外利用权值的方法对隐朴素贝叶斯模型进行改进。经过属性选择之后得到的属性，它们之间也不能保证完全是彼此独立的。所以本课题采用比较成熟的隐朴素贝叶斯模型来进一步放松NB模型“条件独立性假设”的限制，隐朴素贝叶斯模型是在朴素贝叶斯模型的基础上给每个属性增加一个隐藏父节点，隐藏父节点表示的是该属性和其他属性(不包括类属性)的相关度之和，在一定程度上，隐朴素贝叶斯模型放松了朴素贝叶斯的“条件独立性假设”的限制，不过隐朴素贝叶斯也有缺点，因为每个属性对最后的分类结果的贡献度是不一样的，而隐朴素贝叶斯没有将这个情况考虑在内，所以为了提高隐朴素贝叶斯的应用效果，本课题拟利用属性加权的思想，使用每个属性的fisher score值来作为该属性的加权系数。
附图说明
图1为本发明的整体结构图；
图2为本发明所述云端数据安全模块结构图；
图3为本发明所述入侵监测体系结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-3，本发明提供一种技术方案：一种以朴素贝叶斯模型和云端安全的大数据入侵检测方法，包括基于朴素贝叶斯和云端安全的入侵检测方法，所述基于朴素贝叶斯和云端安全的入侵检测方法主要包括云端数据安全模块、数据处理模块、属性权值的确定模块、NB模型和入侵监测体系五个组成部分，其中所述数据处理模块分为改进的属性选择算法和数据离散化两个部分，所述属性权值的确定模块使用fisher score值计量加权系数，所述NB模型主要为隐朴素贝叶斯，所述fisher score值计量加权系数和隐朴素贝叶斯共同组成加权隐朴素贝叶斯模型，所述加权隐朴素贝叶斯模型综合应用在入侵检测中并与已成熟算法比较，所述云端数据安全模块和入侵监测体系通过数据传输网络对加权隐朴素贝叶斯模型的运作处理提供安全支撑。
进一步改进地，如图1所示：所述改进的属性选择算法以取得一个最优属性子集，使得这个属性子集中属性之间的总体相关性最小并使用使用Spearman相关系数。
进一步改进地，如图1所示：所述隐朴素贝叶斯模型是在朴素贝叶斯模型的基础上给每个属性增加一个隐藏父节点，隐藏父节点表示的是该属性和其他属性的相关度之和。
进一步改进地，如图2所示：所述云端数据安全模块包括数据安全单元、数据管理单元、管理配置单元和数据安全软件四个部分且上述各部分相互配合使用。
进一步改进地，如图2所示：所述数据安全单元包括身份验证、隐私保护、存储安全和接入安全四个部分。
进一步改进地，如图2所示：所述数据管理单元主要包括基础数据管理、数据质量管理、数据链路检测和数据运维管理。
进一步改进地，如图2所示：所述管理配置单元包括配置管理、任务管理、监控告警和服务管理四个部分。
进一步改进地，如图2所示：所述数据安全软件包括数据库防火墙、WEB应用防火墙、WEB漏洞检测软件和存储安全软件等四类软件。
具体地，所述入侵检测体系包括感知数据模块和数据分析模块，所述感知数据模块分为网络数据采集单元、主机信息采集单元和应用服务记录单元，所述数据分析模块分为数据格式化单元、入侵检测规格单元和全局数据挖掘单元。
在使用时：本发明将改进的属性选择算法和加权隐朴素贝叶斯模型结合起来应用到大数据入侵检测中，首先属性选择算法(CFS)的改进，针对朴素贝叶斯的“条件独立性假设”，本课题首先就从属性选择方面对朴素贝叶斯模型进行优化，以取得一个最优属性子集，使得这个属性子集中属性之间的总体相关性最小。这样做就可以抵消一部分“条件独立性假设”带来的影响。针对现在比较常用的CFS属性选择算法的缺点，对其进行了一定的改进，具体思路是对属性子集的评价函数进行了修改。由于互信息只能用在只有离散属性的数据集中，所以在属性子集的评价准则中不再使用互信息，而是使用Spearman相关系数。同时，CFS算法没有考虑到属性子集中属性与类属性相关度差异过大的情况，为此引入相关度方差来限制这种情况的发生。其次，利用权值的方法对隐朴素贝叶斯模型进行改进。经过属性选择之后得到的属性，它们之间也不能保证完全是彼此独立的。所以本课题采用比较成熟的隐朴素贝叶斯模型来进一步放松NB模型“条件独立性假设”的限制。隐朴素贝叶斯模型是在朴素贝叶斯模型的基础上给每个属性增加一个隐藏父节点，隐藏父节点表示的是该属性和其他属性(不包括类属性)的相关度之和，在一定程度上，隐朴素贝叶斯模型放松了朴素贝叶斯的“条件独立性假设”的限制。不过隐朴素贝叶斯也有缺点，因为每个属性对最后的分类结果的贡献度是不一样的，而隐朴素贝叶斯没有将这个情况考虑在内，所以为了提高隐朴素贝叶斯的应用效果，本课题拟利用属性加权的思想，使用每个属性的fisherscore值来作为该属性的加权系数，此外考虑到数据的处理多基于云端，为了保证数据的安全性，又设计有云端数据安全模块和入侵监测体系，通过云端数据安全模块的数据安全单元、数据管理单元、管理配置单元和数据安全软件四个部分对云端数据的运作提供安全支撑，并通过入侵监测体系对大数据的运作提供实时监测。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种以朴素贝叶斯模型和云端安全的大数据入侵检测方法，包括基于朴素贝叶斯和云端安全的入侵检测方法，其特征在于：所述基于朴素贝叶斯和云端安全的入侵检测方法主要包括云端数据安全模块、数据处理模块、属性权值的确定模块、NB模型和入侵监测体系五个组成部分，其中所述数据处理模块分为改进的属性选择算法和数据离散化两个部分，所述属性权值的确定模块使用fisher score值计量加权系数，所述NB模型主要为隐朴素贝叶斯，所述fisher score值计量加权系数和隐朴素贝叶斯共同组成加权隐朴素贝叶斯模型，所述加权隐朴素贝叶斯模型综合应用在入侵检测中并与已成熟算法比较，所述云端数据安全模块和入侵监测体系通过数据传输网络对加权隐朴素贝叶斯模型的运作处理提供安全支撑。
2.根据权利要求1所述的一种以朴素贝叶斯模型和云端安全的大数据入侵检测方法，其特征在于：所述改进的属性选择算法以取得一个最优属性子集，使得这个属性子集中属性之间的总体相关性最小并使用使用Spearman相关系数。
3.根据权利要求1所述的一种以朴素贝叶斯模型和云端安全的大数据入侵检测方法，其特征在于：所述隐朴素贝叶斯模型是在朴素贝叶斯模型的基础上给每个属性增加一个隐藏父节点，隐藏父节点表示的是该属性和其他属性的相关度之和。
4.根据权利要求1所述的一种以朴素贝叶斯模型和云端安全的大数据入侵检测方法，其特征在于：所述云端数据安全模块包括数据安全单元、数据管理单元、管理配置单元和数据安全软件四个部分且上述各部分相互配合使用。
5.根据权利要求4所述的一种以朴素贝叶斯模型和云端安全的大数据入侵检测方法，其特征在于：所述数据安全单元包括身份验证、隐私保护、存储安全和接入安全四个部分。
6.根据权利要求4所述的一种以朴素贝叶斯模型和云端安全的大数据入侵检测方法，其特征在于：所述数据管理单元主要包括基础数据管理、数据质量管理、数据链路检测和数据运维管理。
7.根据权利要求4所述的一种以朴素贝叶斯模型和云端安全的大数据入侵检测方法，其特征在于：所述管理配置单元包括配置管理、任务管理、监控告警和服务管理四个部分。
8.根据权利要求4所述的一种以朴素贝叶斯模型和云端安全的大数据入侵检测方法，其特征在于：所述数据安全软件包括数据库防火墙、WEB应用防火墙、WEB漏洞检测软件和存储安全软件等四类软件。
9.根据权利要求1所述的一种以朴素贝叶斯模型和云端安全的大数据入侵检测方法，其特征在于：所述入侵检测体系包括感知数据模块和数据分析模块，所述感知数据模块分为网络数据采集单元、主机信息采集单元和应用服务记录单元，所述数据分析模块分为数据格式化单元、入侵检测规格单元和全局数据挖掘单元。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110169229.8A CN112883371A (zh) | 2021-02-07 | 2021-02-07 | 一种以朴素贝叶斯模型和云端安全的大数据入侵检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110169229.8A CN112883371A (zh) | 2021-02-07 | 2021-02-07 | 一种以朴素贝叶斯模型和云端安全的大数据入侵检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112883371A true CN112883371A (zh) | 2021-06-01 |
Family
ID=76056030
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110169229.8A Pending CN112883371A (zh) | 2021-02-07 | 2021-02-07 | 一种以朴素贝叶斯模型和云端安全的大数据入侵检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112883371A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2592420A1 (en) * | 2011-11-10 | 2013-05-15 | BIOCRATES Life Sciences AG | Method and use of metabolic compounds for diagnosing stroke |
| CN110222744A (zh) * | 2019-05-23 | 2019-09-10 | 成都信息工程大学 | 一种基于属性加权的朴素贝叶斯分类模型改进方法 |
| CN110568286A (zh) * | 2019-09-12 | 2019-12-13 | 齐鲁工业大学 | 基于加权的双隐朴素贝叶斯的变压器故障诊断方法及系统 |
| CN111967063A (zh) * | 2020-09-02 | 2020-11-20 | 开普云信息科技股份有限公司 | 一种基于多维度分析的数据篡改监测和识别方法、装置、电子设备及其存储介质 |
-
2021
- 2021-02-07 CN CN202110169229.8A patent/CN112883371A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2592420A1 (en) * | 2011-11-10 | 2013-05-15 | BIOCRATES Life Sciences AG | Method and use of metabolic compounds for diagnosing stroke |
| CN110222744A (zh) * | 2019-05-23 | 2019-09-10 | 成都信息工程大学 | 一种基于属性加权的朴素贝叶斯分类模型改进方法 |
| CN110568286A (zh) * | 2019-09-12 | 2019-12-13 | 齐鲁工业大学 | 基于加权的双隐朴素贝叶斯的变压器故障诊断方法及系统 |
| CN111967063A (zh) * | 2020-09-02 | 2020-11-20 | 开普云信息科技股份有限公司 | 一种基于多维度分析的数据篡改监测和识别方法、装置、电子设备及其存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 江泽涛 等: "基于特征选择的两级混合入侵检测方法" * |
| 秦怀强 等: "基于属性值加权的隐朴素贝叶斯算法" * |
| 贾娴 等: "基于改进属性加权的朴素贝叶斯入侵取证研究" * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Khan et al. | Malicious insider attack detection in IoTs using data analytics | |
| CN109347834B (zh) | 物联网边缘计算环境中异常数据的检测方法、装置及设备 | |
| Hsu et al. | A deep reinforcement learning approach for anomaly network intrusion detection system | |
| Wagh et al. | Survey on intrusion detection system using machine learning techniques | |
| Gogoi et al. | Anomaly detection analysis of intrusion data using supervised & unsupervised approach. | |
| Yang et al. | Deep network analyzer (DNA): A big data analytics platform for cellular networks | |
| CN106789885A (zh) | 一种大数据环境下用户异常行为检测分析方法 | |
| CN110830946B (zh) | 混合型在线数据异常检测方法 | |
| Upendran et al. | Optimization based classification technique for intrusion detection system | |
| CN109829721B (zh) | 基于异质网络表征学习的线上交易多主体行为建模方法 | |
| Mounica et al. | RETRACTED: Detecting Sybil Attack In Wireless Sensor Networks Using Machine Learning Algorithms | |
| CN111782484A (zh) | 一种异常检测方法及装置 | |
| CN116208417B (zh) | 一种基于大数据的通信异常感知系统及方法 | |
| Shakya | Modified gray wolf feature selection and machine learning classification for wireless sensor network intrusion detection | |
| Zuo et al. | Power information network intrusion detection based on data mining algorithm | |
| US20230054186A1 (en) | Anomaly detection | |
| CN113904881A (zh) | 一种入侵检测规则误报处理方法和装置 | |
| CN117478441B (zh) | 基于用户行为智能分析的动态访问控制方法及系统 | |
| Borg et al. | Clustering residential burglaries using modus operandi and spatiotemporal information | |
| CN111865899B (zh) | 威胁驱动的协同采集方法及装置 | |
| CN109871711B (zh) | 海洋大数据共享分发风险控制模型及方法 | |
| CN112883371A (zh) | 一种以朴素贝叶斯模型和云端安全的大数据入侵检测方法 | |
| CN112861160A (zh) | 一种数据隐私保护系统及保护方法 | |
| CN117807590B (zh) | 基于人工智能的信息安全预测及监控系统及方法 | |
| Raja et al. | Optimistic Ensemble Federated Learning Based on Spread Spectral Support Vector Feature Selection with Multi Perceptron Neural Network for Anomaly Detection in Cloud Environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210601 |