CN110866607A - 一种基于机器学习的渗透行为预测算法 - Google Patents

一种基于机器学习的渗透行为预测算法 Download PDF

Info

Publication number
CN110866607A
CN110866607A CN201910872552.4A CN201910872552A CN110866607A CN 110866607 A CN110866607 A CN 110866607A CN 201910872552 A CN201910872552 A CN 201910872552A CN 110866607 A CN110866607 A CN 110866607A
Authority
CN
China
Prior art keywords
penetration
model
data
behavior
experts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910872552.4A
Other languages
English (en)
Other versions
CN110866607B (zh
Inventor
陈泽
左晓军
董娜
董立勉
侯波涛
常杰
赵建斌
刘欣
郗波
康之增
王春璞
刘惠颖
刘伟娜
王颖
郭禹伶
刘硕
张君艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of State Grid Hebei Electric Power Co Ltd
Original Assignee
Electric Power Research Institute of State Grid Hebei Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of State Grid Hebei Electric Power Co Ltd filed Critical Electric Power Research Institute of State Grid Hebei Electric Power Co Ltd
Priority to CN201910872552.4A priority Critical patent/CN110866607B/zh
Publication of CN110866607A publication Critical patent/CN110866607A/zh
Application granted granted Critical
Publication of CN110866607B publication Critical patent/CN110866607B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及信息安全的技术领域，特别是涉及一种基于机器学习的渗透行为预测算法，其针对当前网络环境下的所有行为信息和环境数据，根据已有的渗透专家的渗透经验，对下一步的有效渗透行为进行预测，起到辅助用户进行渗透测试；包括以下步骤：数据收集，收集渗透专家对于目标站点的渗透行为数据和站点特征数据；其中，渗透行为数据包括专家的动作、专家使用的工具、专家输入的命令和专家的观测对象；其中，站点特征数据包括站点的域名、服务、端口和内容；数据转换，将收集到的渗透行为数据切割成为不可分割的部分，将所有这些不可分割的部分依次以数字代替，即将一系列的动作行为转换成为一系列的数字向量。

Description

一种基于机器学习的渗透行为预测算法
技术领域
本发明涉及信息安全的技术领域，特别是涉及一种基于机器学习的渗透行为预测算法。
背景技术
在生活向信息化高速发展的今天，网络安全开始占据越来越重要的地位，信息安全行业在不断细分。但在信息安全体系中，渗透测试仍然存在渗透运行的高成本、渗透技术的高要求、实际执行的高工作量等问题。目前，网络信息系统环境的复杂多样化和多变性，导致网络信息系统中的漏洞和弱点具有高隐蔽性的特点，通过挖掘漏洞预防网络风险的难度也越来越大。如何去降低渗透测试的难度，提高渗透测试的效率，实现渗透工具智能模块化、多工具多流程跨平台自动联动运行，成为信息安全服务系统升级和优化的关键所在。人工智能是研究使计算机来模拟人的某些思维过程和智能行为（如学习、推理、思考、规划等）的学科，主要包括计算机实现智能的原理、制造类似于人脑智能的计算机，使计算机能实现更高层次的应用。因此为了节约人力成本，提高自动使用机器进行渗透测试和漏洞挖掘的效率，将人工智能技术用于信息安全行业成为主要发展方向。现有的渗透测试方法通常分为人工渗透测试和脚本渗透测试，人工渗透测试费时费力，在面对大批量的渗透测试目标时所需成本太高；脚本渗透测试的准确率无法保证，经常会出现误报的情况，且面对全新的漏洞类型时无法发挥作用。
发明内容
为解决上述技术问题，本发明提供一种针对当前网络环境下的所有行为信息和环境数据，根据已有的渗透专家的渗透经验，对下一步的有效渗透行为进行预测，起到辅助用户进行渗透测试的一种基于机器学习的渗透行为预测算法。
本发明的一种基于机器学习的渗透行为预测算法，包括以下步骤：
数据收集，收集渗透专家对于目标站点的渗透行为数据和站点特征数据；其中，渗透行为数据包括专家的动作、专家使用的工具、专家输入的命令和专家的观测对象；其中，站点特征数据包括站点的域名、服务、端口和内容；
数据转换，将收集到的渗透行为数据切割成为不可分割的部分，将所有这些不可分割的部分依次以数字代替，即将一系列的动作行为转换成为一系列的数字向量，这一系列数字向量可以被机器识别利用；
模型训练，在对机器学习模型进行权值初始化之后，从数据集中取出一组输入参数和输出参数，将输入参数输入机器学习模型之中，分别经历模型中卷积层、池化层等中间层的输出，最终得到模型预测的输出参数；
参数更新，将模型预测的输出参数与实际结果进行比较，计算得出预测误差；对于卷积层和池化层也计算出误差，之后根据预测误差依次计算出卷积层和池化层权值的调整量和阈值的调整量；在调整权值和调整阈值后，判断误差是否满足精度要求，如果不满足，则返回模型训练步骤，并继续迭代至判断误差满足精度要求；
完成训练，当误差满足精度需求之后，结束训练过程，将权值和阈值保存在本地文件之中，此时权值已经达到稳定状态，可用于渗透行为的预测；之后在使用模型进行渗透行为预测时，直接从文件中取出权值和阈值进行渗透行为的预测，无需进行初始化预测；
模型预测，在得到训练好的机器学习模型之后，当需要对当前目标环境下合适的渗透行为进行预测时，需要将当前目标环境下的站点特征和之前的渗透行为进行量化，并将得到的向量数据输入模型之中，模型就会对下一步合适的渗透行为进行预测，指导用户进行下一步的渗透测试动作。
本发明的一种基于机器学习的渗透行为预测算法，卷积层模型为：
Figure 89718DEST_PATH_IMAGE002
；
其中b为偏差量，
Figure 678962DEST_PATH_IMAGE003
和
Figure 458700DEST_PATH_IMAGE004
为第l+1层的卷积输入和输出，
Figure 385067DEST_PATH_IMAGE005
为目标的长和宽，
Figure 353767DEST_PATH_IMAGE006
为卷积层参数；其中
Figure 707388DEST_PATH_IMAGE007
为卷积核的大小，
Figure 974421DEST_PATH_IMAGE008
为卷积步长，
Figure 579846DEST_PATH_IMAGE009
为填充层数；
Figure 779883DEST_PATH_IMAGE010
为卷积核，
Figure 429039DEST_PATH_IMAGE011
为 卷积核的长和宽；
Figure 448948DEST_PATH_IMAGE012
为依据步长划分的分块个数。
本发明的一种基于机器学习的渗透行为预测算法，池化层模型为：
Figure 717118DEST_PATH_IMAGE013
；
其中
Figure 647028DEST_PATH_IMAGE014
为第l层的池化层，
Figure 608031DEST_PATH_IMAGE015
为目标的长和宽，
Figure 849656DEST_PATH_IMAGE016
为池化的大小，
Figure 282037DEST_PATH_IMAGE008
为池化步长，
Figure 456666DEST_PATH_IMAGE017
为 填充层数，
Figure 791833DEST_PATH_IMAGE011
为池化的长和宽。
本发明的一种基于机器学习的渗透行为预测算法，参数更新中迭代方程为：
Figure 927279DEST_PATH_IMAGE018
；
其中
Figure 6093DEST_PATH_IMAGE019
为学习速率，
Figure 35229DEST_PATH_IMAGE020
为卷积核，b为偏差量。
本发明的有益效果为：相较于传统的人工测试和一般的渗透工具而言，基于卷积神经网络的渗透行为预测算法所需要的渗透时间短，渗透效率高，且可以发现隐藏性较高的漏洞，提高渗透测试的成功率；可在相对较低的成本下，对大规模网络环境进行详细的渗透测试和漏洞扫描；针对当前网络环境下的所有行为信息和环境数据，根据已有的渗透专家的渗透经验，对下一步的有效渗透行为进行预测，起到辅助用户进行渗透测试。
附图说明
图1是本发明的流程示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
1、数据收集，收集渗透专家对于目标站点的渗透行为数据和站点特征数据；其中，渗透行为数据包括专家的动作、专家使用的工具、专家输入的命令和专家的观测对象；其中，站点特征数据包括站点的域名、服务、端口和内容；
2、数据转换，将收集到的渗透行为数据切割成为不可分割的部分，将所有这些不可分割的部分依次以数字代替，即将一系列的动作行为转换成为一系列的数字向量，这一系列数字向量可以被机器识别利用；
3、模型训练，在对机器学习模型进行权值初始化之后，从数据集中取出一组输入参数和输出参数，将输入参数输入机器学习模型之中，分别经历模型中卷积层、池化层等中间层的输出，最终得到模型预测的输出参数；
其中卷积层模型为：
Figure 462668DEST_PATH_IMAGE002
；
其中b为偏差量，
Figure 944465DEST_PATH_IMAGE021
和
Figure 233495DEST_PATH_IMAGE022
为第l+1层的卷积输入和输出，
Figure 585979DEST_PATH_IMAGE023
为目标的长和宽，
Figure 59686DEST_PATH_IMAGE006
为卷积层参数；其中
Figure 651948DEST_PATH_IMAGE007
为卷积核的大小，
Figure 338144DEST_PATH_IMAGE024
为卷积步长，
Figure 810714DEST_PATH_IMAGE025
为填充层数；
Figure 330688DEST_PATH_IMAGE026
为卷积核，
Figure 787077DEST_PATH_IMAGE027
为 卷积核的长和宽；
Figure 11385DEST_PATH_IMAGE012
为依据步长划分的分块个数；
其中池化层模型为：
Figure 728674DEST_PATH_IMAGE013
；
其中
Figure 544183DEST_PATH_IMAGE014
为第l层的池化层，
Figure 956710DEST_PATH_IMAGE015
为目标的长和宽，
Figure 391234DEST_PATH_IMAGE016
为池化的大小，
Figure 572816DEST_PATH_IMAGE008
为池化步长，
Figure 559227DEST_PATH_IMAGE017
为 填充层数，
Figure 459050DEST_PATH_IMAGE011
为池化的长和宽；
并且在模型训练时，将数据转换后的数字向量分为训练数据集以及测试数据集；并且将训练数据集用于模型训练；
4、参数更新，将模型预测的输出参数与实际结果进行比较，计算得出预测误差；对于卷积层和池化层也计算出误差，之后根据预测误差依次计算出卷积层和池化层权值的调整量和阈值的调整量；在调整权值和调整阈值后，判断误差是否满足精度要求，如果不满足，则返回模型训练步骤，并继续迭代至判断误差满足精度要求；
参数更新中迭代方程为：
Figure 182417DEST_PATH_IMAGE028
；
其中 为学习速率， 为卷积核，b为偏差量；
若误差不满足要求，则继续迭代训练数据集直至误差满足要求；
若误差满足要求，则完成训练并生成模型；
5、完成训练，当误差满足精度需求之后，结束训练过程，将权值和阈值保存在本地文件之中，此时权值已经达到稳定状态，可用于渗透行为的预测，并生成模型；之后在使用模型进行渗透行为预测时，直接从文件中取出权值和阈值进行渗透行为的预测，无需进行初始化预测；
6、模型预测，在得到训练好的机器学习模型之后，当需要对当前目标环境下合适的渗透行为进行预测时，需要将当前目标环境下的站点特征和之前的渗透行为进行量化，并将得到的向量数据输入模型之中，模型就会对下一步合适的渗透行为进行预测，指导用户进行下一步的渗透测试动作。
相较于传统的人工测试和一般的渗透工具而言，基于卷积神经网络的渗透行为预测算法所需要的渗透时间短，渗透效率高，且可以发现隐藏性较高的漏洞，提高渗透测试的成功率；可在相对较低的成本下，对大规模网络环境进行详细的渗透测试和漏洞扫描；针对当前网络环境下的所有行为信息和环境数据，根据已有的渗透专家的渗透经验，对下一步的有效渗透行为进行预测，起到辅助用户进行渗透测试。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (4)

1.一种基于机器学习的渗透行为预测算法，其特征在于，包括以下步骤：
数据收集，收集渗透专家对于目标站点的渗透行为数据和站点特征数据；其中，渗透行为数据包括专家的动作、专家使用的工具、专家输入的命令和专家的观测对象；其中，站点特征数据包括站点的域名、服务、端口和内容；
数据转换，将收集到的渗透行为数据切割成为不可分割的部分，将所有这些不可分割的部分依次以数字代替，即将一系列的动作行为转换成为一系列的数字向量，这一系列数字向量可以被机器识别利用；
模型训练，在对机器学习模型进行权值初始化之后，从数据集中取出一组输入参数和输出参数，将输入参数输入机器学习模型之中，分别经历模型中卷积层、池化层等中间层的输出，最终得到模型预测的输出参数；
参数更新，将模型预测的输出参数与实际结果进行比较，计算得出预测误差；对于卷积层和池化层也计算出误差，之后根据预测误差依次计算出卷积层和池化层权值的调整量和阈值的调整量；在调整权值和调整阈值后，判断误差是否满足精度要求，如果不满足，则返回模型训练步骤，并继续迭代至判断误差满足精度要求；
完成训练，当误差满足精度需求之后，结束训练过程，将权值和阈值保存在本地文件之中，此时权值已经达到稳定状态，可用于渗透行为的预测；之后在使用模型进行渗透行为预测时，直接从文件中取出权值和阈值进行渗透行为的预测，无需进行初始化预测；
模型预测，在得到训练好的机器学习模型之后，当需要对当前目标环境下合适的渗透行为进行预测时，需要将当前目标环境下的站点特征和之前的渗透行为进行量化，并将得到的向量数据输入模型之中，模型就会对下一步合适的渗透行为进行预测，指导用户进行下一步的渗透测试动作。
2.如权利要求1所述的一种基于机器学习的渗透行为预测算法，其特征在于，卷积层模型为：
Figure 120419DEST_PATH_IMAGE002
；
其中b为偏差量，
Figure DEST_PATH_IMAGE003
和
Figure 663658DEST_PATH_IMAGE004
为第l+1层的卷积输入和输出，
Figure DEST_PATH_IMAGE005
为目标的长和宽，
Figure 630346DEST_PATH_IMAGE006
为卷积层参数；其中
Figure DEST_PATH_IMAGE007
为卷积核的大小，
Figure 494396DEST_PATH_IMAGE008
为卷积步长，
Figure DEST_PATH_IMAGE009
为填充层数；
Figure 994255DEST_PATH_IMAGE010
为卷积核，
Figure DEST_PATH_IMAGE011
为卷积核的长和宽；
Figure 144613DEST_PATH_IMAGE012
为依据步长划分的分块个数。
3.如权利要求2所述的一种基于机器学习的渗透行为预测算法，其特征在于，池化层模型为：
Figure DEST_PATH_IMAGE013
；
其中
Figure 37745DEST_PATH_IMAGE014
为第l层的池化层，
Figure 439908DEST_PATH_IMAGE005
为目标的长和宽，
Figure DEST_PATH_IMAGE015
为池化的大小，
Figure 826895DEST_PATH_IMAGE016
为池化步长，
Figure 226784DEST_PATH_IMAGE009
为填充层数，
Figure DEST_PATH_IMAGE017
为池化的长和宽。
4.如权利要求3所述的一种基于机器学习的渗透行为预测算法，其特征在于，参数更新中迭代方程为：
Figure 401020DEST_PATH_IMAGE018
；
其中
Figure DEST_PATH_IMAGE019
为学习速率，
Figure 606873DEST_PATH_IMAGE020
为卷积核，b为偏差量。
CN201910872552.4A 2019-09-16 2019-09-16 一种基于机器学习的渗透行为预测算法 Active CN110866607B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910872552.4A CN110866607B (zh) 2019-09-16 2019-09-16 一种基于机器学习的渗透行为预测算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910872552.4A CN110866607B (zh) 2019-09-16 2019-09-16 一种基于机器学习的渗透行为预测算法

Publications (2)

Publication Number Publication Date
CN110866607A true CN110866607A (zh) 2020-03-06
CN110866607B CN110866607B (zh) 2023-08-11

Family

ID=69652106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910872552.4A Active CN110866607B (zh) 2019-09-16 2019-09-16 一种基于机器学习的渗透行为预测算法

Country Status (1)

Country Link
CN (1) CN110866607B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733146A (zh) * 2020-12-31 2021-04-30 平安医疗健康管理股份有限公司 基于机器学习的渗透测试方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874768A (zh) * 2016-12-30 2017-06-20 北京瑞卓喜投科技发展有限公司 渗透测试的方法及装置
WO2019079621A1 (en) * 2017-10-19 2019-04-25 Circadence Corporation METHOD AND SYSTEM FOR CLASSIFYING PENETRATION TESTS BASED ON CAPTURED LOG DATA
CN109726011A (zh) * 2018-12-26 2019-05-07 广州云趣信息科技有限公司 一种基于嵌入式人工智能的网络安全测试系统及实现方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874768A (zh) * 2016-12-30 2017-06-20 北京瑞卓喜投科技发展有限公司 渗透测试的方法及装置
WO2019079621A1 (en) * 2017-10-19 2019-04-25 Circadence Corporation METHOD AND SYSTEM FOR CLASSIFYING PENETRATION TESTS BASED ON CAPTURED LOG DATA
CN109726011A (zh) * 2018-12-26 2019-05-07 广州云趣信息科技有限公司 一种基于嵌入式人工智能的网络安全测试系统及实现方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHIHEB CHEBBI: "《Mastering Machine Learning for Penetration Testing》", 27 June 2018, PACKT PUBLISHING *
杨宏宇，王峰岩: "基于改进卷积神经网络的网络入侵检测模型", 《计算机应用》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733146A (zh) * 2020-12-31 2021-04-30 平安医疗健康管理股份有限公司 基于机器学习的渗透测试方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110866607B (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
CN106951695A (zh) 多工况下的机械设备剩余使用寿命计算方法及系统
CN110481536B (zh) 一种应用于混合动力汽车的控制方法及设备
Chandy et al. Cyberattack detection using deep generative models with variational inference
Chan et al. ACTRCE: Augmenting Experience via Teacher's Advice For Multi-Goal Reinforcement Learning
US11669056B2 (en) Generation of a control system for a target system
CN111597175B (zh) 融合时空信息的传感器缺失值的填充方法
KR102456987B1 (ko) 건물 외벽의 균열을 탐지하는 방법
CN114139637A (zh) 多智能体信息融合方法、装置、电子设备及可读存储介质
CN110750455B (zh) 基于系统日志分析的智能在线自更新故障诊断方法和系统
CN113625620A (zh) 旋挖钻机的作业控制方法及系统
CN108768750A (zh) 通信网络故障定位方法及装置
CN110619148A (zh) 基于区间灰数的装备adc效能评估方法
CN110866607A (zh) 一种基于机器学习的渗透行为预测算法
CN114707641A (zh) 双视角图神经网络模型的训练方法、装置、设备及介质
CN111027697A (zh) 一种遗传算法包裹式特征选择电网入侵检测方法
Marjani et al. The Large-Scale Wildfire Spread Prediction Using a Multi-Kernel Convolutional Neural Network
CN113537614A (zh) 电网工程造价预测模型的构建方法、系统、设备及介质
CN110852415B (zh) 基于神经网络算法的植被指数预测方法、系统及设备
CN115906673B (zh) 作战实体行为模型一体化建模方法及系统
CN114399901B (zh) 一种控制交通系统的方法和设备
CN115859826A (zh) 一种基于集成学习的盾构设备故障融合预测方法
CN113377962B (zh) 一种基于图像识别和自然语言处理的智能过程模拟方法
CN114818548A (zh) 一种基于卷积生成对抗网络的含水层参数场反演方法
CN110852361B (zh) 基于改进深度神经网络的图像分类方法、装置与电子设备
CN114638048A (zh) 三维喷管流场快速预测与敏感性参数分析方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant