CN116992345A - 一种基于深度学习算法的网络数据资产画像方法 - Google Patents
一种基于深度学习算法的网络数据资产画像方法 Download PDFInfo
- Publication number
- CN116992345A CN116992345A CN202310978363.1A CN202310978363A CN116992345A CN 116992345 A CN116992345 A CN 116992345A CN 202310978363 A CN202310978363 A CN 202310978363A CN 116992345 A CN116992345 A CN 116992345A
- Authority
- CN
- China
- Prior art keywords
- data
- asset
- network
- method based
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000013135 deep learning Methods 0.000 title claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims description 15
- 238000013531 bayesian neural network Methods 0.000 claims description 13
- 238000004140 cleaning Methods 0.000 claims description 7
- 238000013499 data model Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000013500 data storage Methods 0.000 claims description 3
- 238000005065 mining Methods 0.000 claims description 3
- 230000002688 persistence Effects 0.000 claims description 3
- 239000013589 supplement Substances 0.000 claims description 3
- 230000007123 defense Effects 0.000 abstract description 2
- 238000007726 management method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及网络数据资产领域，公开了一种基于深度学习算法的网络数据资产画像方法，本发明中，提出了一种基于深度学习算法的网络数据资产画像方法，通过被动流量和网络开源数据的分析提取，构建一个丰富的资产属性库，基于每个属性的功能特点，描述资产的各类属性画像，通过定期的定时任务可对页面的资产画像自动刷新，数据通过镜像采集单向传输到识别系统，无需介入用户环境，基于贝叶斯神经网络算法，自动学习多源数据特征和行为特性。通过该发明大幅度提高资产分类的准确性，帮助用户获取内外网物联网资产详细信息，方便用户完成资产管理，并使得生成后的资产画像降低滞后性，增强了资产管理的安全防御能力。
Description
技术领域
本发明涉及网络数据资产领域，尤其涉及一种基于深度学习算法的网络数据资产画像方法。
背景技术
随着社会的发展，互联网+已经是不可逆转的趋势，各行各业都在以互联网+的形式转变，部署在互联网上的资产也随之增加，现阶段，我国的互联网安全形势日趋严峻复杂，部署在互联网的资产也逐渐成了黑客的重点攻击对象，如何加强对互联网资产的管理，掌握其脉络，已经成为企业的重中之重。
现有技术中，一般都是通过人工维护资产库、AD域管理、主动扫描和部署终端代理的方式进行网络资产的管理，现有的技术方案存在以下问题：
(1)实时性太差：工人无法实时对资产画像进行刷新，导致资产画像的显示信息滞后
(2)缺乏关联属性：常规探测只能获取孤立资产的属性描述，无法动态监测，同时缺乏关联资产的识别。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，而提出的一种基于深度学习算法的网络数据资产画像方法。
为了实现上述目的，本发明采用了如下技术方案：一种基于深度学习算法的网络数据资产画像方法，包括以下步骤：
S1、数据接收：通过资产数据接收模块接收各类资产信息数据以及基础数据；
S2、数据预处理：通过资产数据预处理模块对经S1中所接收的信息数据进行预处理；
S3、建模处理：通过模型构建模块对经S2中所接收的数据进行深度的运算并生成对应的数据模型存入对应数据库；
S4、获取属性：通过获取资产画像属性模块对经S3后持久化的数据进行指定属性的提取；
S5、画像成型：通过资产画像生成模块调用对应生成图标的API生成具体的资产图像。
作为上述技术方案的进一步描述：
在S2中，资产数据预处理模块包括信息数据分类单元，信息数据分类单元对多方式、多来源的数据进行分类处理。
作为上述技术方案的进一步描述：
在S2中，资产数据预处理模块还包括信息清洗单元，信息清洗单元首先对数据对资产数据进行格式化，接入数据具有多种方式、多种来源，数据会存在多种格式，针对同一内容也会存在不同的表达方式，具体包括去重合并、日志类数据的格式范化以及语义统一等。
作为上述技术方案的进一步描述：
在S3中，模型构建模块包括深度算法运行单元，所述深度算法运行单元通过贝叶斯神经网络为本平台各业务系统提供数据存储和数据深度挖掘的服务。
作为上述技术方案的进一步描述：
贝叶斯神经网络的具体运行流程，包括以下步骤：
B1：确定网络结构，初始化超参数，根据先验分布对网络参数赋初值；
B2：用BP算法训练网络，使总误差最小；
B3：优化超参数；
B4：对不同的网络参数初始值重复以上三步，发现不同的极小值点；
B5：对不同的模型重复以上四步，比较它们的显著度。
作为上述技术方案的进一步描述：
通过贝叶斯神经网络算法于整个参数空间的概率分布，其预测结果是基于参数后验分布的平均，单一模型对应于参数空间的一个点，从而所有模型对应于整个参数空间。
作为上述技术方案的进一步描述：
在S1中，接收的基础数据包括互联网和内网的资产IP、互联网中资产的域名、以及内网资产的主机名；以及收集获取互联网中开源的IP的whois数据、和通过路由协议获取内网资产的资产分组和网络拓扑信息作为基础数据的补充。
本发明具有如下有益效果：
1、本发明中，提出了一种基于深度学习算法的网络数据资产画像方法，通过被动流量和网络开源数据的分析提取，构建一个丰富的资产属性库，基于每个属性的功能特点，描述资产的各类属性画像，通过定期的定时任务可对页面的资产画像自动刷新，数据通过镜像采集单向传输到识别系统，无需介入用户环境，基于贝叶斯神经网络算法，自动学习多源数据特征和行为特性。通过该发明大幅度提高资产分类的准确性，帮助用户获取内外网物联网资产详细信息，方便用户完成资产管理，并使得生成后的资产画像降低滞后性，增强了资产管理的安全防御能力。
附图说明
无。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的一种实施例：一种基于深度学习算法的网络数据资产画像方法，包括以下步骤：
S1、数据接收：通过资产数据接收模块接收各类资产信息数据以及基础数据；
S2、数据预处理：通过资产数据预处理模块对经S1中所接收的信息数据进行预处理；
S3、建模处理：通过模型构建模块对经S2中所接收的数据进行深度的运算并生成对应的数据模型存入对应数据库；
S4、获取属性：通过获取资产画像属性模块对经S3后持久化的数据进行指定属性的提取；
S5、画像成型：通过资产画像生成模块调用对应生成图标的API生成具体的资产图像。
在S2中，资产数据预处理模块包括信息数据分类单元，信息数据分类单元对多方式、多来源的数据进行分类处理，在S2中，资产数据预处理模块还包括信息清洗单元，信息清洗单元首先对数据对资产数据进行格式化，接入数据具有多种方式、多种来源，数据会存在多种格式，针对同一内容也会存在不同的表达方式，具体包括去重合并、日志类数据的格式范化以及语义统一等，在S3中，模型构建模块包括深度算法运行单元，深度算法运行单元通过贝叶斯神经网络为本平台各业务系统提供数据存储和数据深度挖掘的服务，贝叶斯神经网络的具体运行流程，包括以下步骤：
B1：确定网络结构，初始化超参数，根据先验分布对网络参数赋初值；
B2：用BP算法训练网络，使总误差最小；
B3：优化超参数；
B4：对不同的网络参数初始值重复以上三步，发现不同的极小值点；
B5：对不同的模型重复以上四步，比较它们的显著度通过贝叶斯神经网络算法于整个参数空间的概率分布，其预测结果是基于参数后验分布的平均，单一模型对应于参数空间的一个点，从而所有模型对应于整个参数空间，在数据接收中，接收的基础数据包括互联网和内网的资产IP、互联网中资产的域名、以及内网资产的主机名；以及收集获取互联网中开源的IP的whois数据、和通过路由协议获取内网资产的资产分组和网络拓扑信息作为基础数据的补充。
工作原理：运行时线通过资产数据接收模块接收多种方式、多种来源的资产数据，当接收数据时首先会通过MD5对数据进行解密确保数据没被篡改，如被解析不了后天提示错误信息并不处理该请求，解密成功将数据传入资产数据预处理模块，首先通过对多种方式、多种来源且不同类型的数据进行故宫信息分类单元进行数据分类，分类后的数据在通过信息清洗单元对数据进行清洗，信息清洗单元首先对数据对资产数据进行格式化，接入数据具有多种方式、多种来源，数据会存在多种格式，针对同一内容也会存在不同的表达方式，具体包括去重合并、日志类数据的格式范化以及语义统一等，通过模型构建模块对经预处理后的数据通过贝叶斯神经网络算法实现深度算法运行单元，贝叶斯神经网络的具体运行流程，包括以下步骤：确定网络结构，初始化超参数，根据先验分布对网络参数赋初值、用BP算法训练网络，使总误差最小、优化超参数、对不同的网络参数初始值重复以上三步，发现不同的极小值点、对不同的模型重复以上四步，比较它们的显著度，将通过贝叶斯神经网络算法建模后的数据存入指定数据库，前端页面通过指定资产数据生成，后端获取指定生成通过获取资产画像属性模块拼接指SQL生成对应的资产画像数据，最后通过资产画像生成模块根据获取属性生成的画像数据调用对应的图标API并传入画像数据最终生成资产画像。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于深度学习算法的网络数据资产画像方法，其特征在于，包括以下步骤：
S1、数据接收：通过资产数据接收模块接收各类资产信息数据以及基础数据；
S2、数据预处理：通过资产数据预处理模块对经S1中所接收的信息数据进行预处理；
S3、建模处理：通过模型构建模块对经S2中所接收的数据进行深度的运算并生成对应的数据模型存入对应数据库；
S4、获取属性：通过获取资产画像属性模块对经S3后持久化的数据进行指定属性的提取；
S5、画像成型：通过资产画像生成模块调用对应生成图标的API生成具体的资产图像。
2.根据权利要求1所述的一种基于深度学习算法的网络数据资产画像方法，其特征在于：在S2中，资产数据预处理模块包括信息数据分类单元，信息数据分类单元对多方式、多来源的数据进行分类处理。
3.根据权利要求1所述的一种基于深度学习算法的网络数据资产画像方法，其特征在于：在S2中，资产数据预处理模块还包括信息清洗单元，信息清洗单元首先对数据对资产数据进行格式化，接入数据具有多种方式、多种来源，数据会存在多种格式，针对同一内容也会存在不同的表达方式，具体包括去重合并、日志类数据的格式范化以及语义统一等。
4.根据权利要求1所述的一种基于深度学习算法的网络数据资产画像方法，其特征在于：在S3中，模型构建模块包括深度算法运行单元，所述深度算法运行单元通过贝叶斯神经网络为本平台各业务系统提供数据存储和数据深度挖掘的服务。
5.根据权利要求4所述的一种基于深度学习算法的网络数据资产画像方法，其特征在于：贝叶斯神经网络的具体运行流程，包括以下步骤：
B1：确定网络结构，初始化超参数，根据先验分布对网络参数赋初值；
B2：用BP算法训练网络，使总误差最小；
B3：优化超参数；
B4：对不同的网络参数初始值重复以上三步，发现不同的极小值点；
B5：对不同的模型重复以上四步，比较它们的显著度。
6.根据权利要求5所述的一种基于深度学习算法的网络数据资产画像方法，其特征在于：通过贝叶斯神经网络算法于整个参数空间的概率分布，其预测结果是基于参数后验分布的平均，单一模型对应于参数空间的一个点，从而所有模型对应于整个参数空间。
7.根据权利要求4所述的一种基于深度学习算法的网络数据资产画像方法，其特征在于：在S1中，接收的基础数据包括互联网和内网的资产IP、互联网中资产的域名、以及内网资产的主机名；以及收集获取互联网中开源的IP的whois数据、和通过路由协议获取内网资产的资产分组和网络拓扑信息作为基础数据的补充。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310978363.1A CN116992345A (zh) | 2023-08-04 | 2023-08-04 | 一种基于深度学习算法的网络数据资产画像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310978363.1A CN116992345A (zh) | 2023-08-04 | 2023-08-04 | 一种基于深度学习算法的网络数据资产画像方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116992345A true CN116992345A (zh) | 2023-11-03 |
Family
ID=88529765
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310978363.1A Pending CN116992345A (zh) | 2023-08-04 | 2023-08-04 | 一种基于深度学习算法的网络数据资产画像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116992345A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117874633A (zh) * | 2024-03-13 | 2024-04-12 | 金祺创（北京）技术有限公司 | 基于深度学习算法的网络数据资产画像生成方法及装置 |
-
2023
- 2023-08-04 CN CN202310978363.1A patent/CN116992345A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117874633A (zh) * | 2024-03-13 | 2024-04-12 | 金祺创（北京）技术有限公司 | 基于深度学习算法的网络数据资产画像生成方法及装置 |
| CN117874633B (zh) * | 2024-03-13 | 2024-05-28 | 金祺创（北京）技术有限公司 | 基于深度学习算法的网络数据资产画像生成方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9965717B2 (en) | Learning image representation by distilling from multi-task networks | |
| CN105378763B (zh) | 推断实体属性值 | |
| US8719192B2 (en) | Transfer of learning for query classification | |
| US7975301B2 (en) | Neighborhood clustering for web spam detection | |
| US20200341580A1 (en) | Gesture recognition based on skeletal model vectors | |
| CN109684797B (zh) | 基于区块链的对抗网络生成图片的虚拟ip保护方法及系统 | |
| US20140108304A1 (en) | Semantic Request Normalizer | |
| WO2008043645A1 (en) | Establishing document relevance by semantic network density | |
| WO2022179384A1 (zh) | 一种社交群体的划分方法、划分系统及相关装置 | |
| CN116992345A (zh) | 一种基于深度学习算法的网络数据资产画像方法 | |
| US20140310208A1 (en) | Facilitating Operation of a Machine Learning Environment | |
| CN111538816B (zh) | 基于ai识别的问答方法、装置、电子设备及介质 | |
| CN111694940A (zh) | 一种用户报告的生成方法及终端设备 | |
| US10749882B2 (en) | Network security system and methods for encoding network connectivity for activity classification | |
| CN107330079A (zh) | 基于人工智能呈现辟谣信息的方法和装置 | |
| US11727058B2 (en) | Unsupervised automatic taxonomy graph construction using search queries | |
| WO2022001517A1 (zh) | 基于谣言预测模型的信息发送方法、装置和计算机设备 | |
| US20130325757A1 (en) | Cascading learning system as semantic search | |
| CN113271292B (zh) | 一种基于词向量的恶意域名集群检测方法及装置 | |
| CN109492027B (zh) | 一种基于弱可信数据的跨社群潜在人物关系分析方法 | |
| CN111159763A (zh) | 一种涉法人员群体画像分析系统及方法 | |
| CN112395262A (zh) | 一种基于大数据平台审计日志的用户行为分析方法及系统 | |
| WO2021184367A1 (zh) | 基于度分布生成模型的社交网络图生成方法 | |
| CN117271767A (zh) | 基于多智能体的运维知识库的建立方法 | |
| US10291483B2 (en) | Entity embedding-based anomaly detection for heterogeneous categorical events |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |