CN113239360A - 一种基于机器学习的网络资产管理方法及相关组件 - Google Patents

一种基于机器学习的网络资产管理方法及相关组件 Download PDF

Info

Publication number
CN113239360A
CN113239360A CN202110485092.7A CN202110485092A CN113239360A CN 113239360 A CN113239360 A CN 113239360A CN 202110485092 A CN202110485092 A CN 202110485092A CN 113239360 A CN113239360 A CN 113239360A
Authority
CN
China
Prior art keywords
asset data
network asset
network
data
asset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110485092.7A
Other languages
English (en)
Inventor
马晓峰
范渊
杨勃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DBAPPSecurity Co Ltd
Hangzhou Dbappsecurity Technology Co Ltd
Original Assignee
Hangzhou Dbappsecurity Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dbappsecurity Technology Co Ltd filed Critical Hangzhou Dbappsecurity Technology Co Ltd
Priority to CN202110485092.7A priority Critical patent/CN113239360A/zh
Publication of CN113239360A publication Critical patent/CN113239360A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G06F21/577—Assessing vulnerabilities and evaluating computer system security
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1433—Vulnerability analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种基于机器学习的网络资产管理方法及相关组件。该方法包括：获取目标地区内的网络资产数据，并根据网络资产类型对网络资产数据进行分类以得到不同类型的网络资产数据集；利用与网络资产数据集的类型对应的漏洞扫描策略对网络资产数据集进行扫描，并根据扫描结果将网络资产数据集中的数据划分为不良资产数据和优质资产数据；通过机器学习算法对不良资产数据进行学习，并根据学习结果优化漏洞扫描策略；按照预设的细分规则对网络资产数据集中的不良资产数据和优质资产数据进行分类合并，并对合并后的每个网络资产数据子集中的数据进行风险或价值排序以实现网络资产管理。提高了网络资产数据漏洞检测能力和网络资产管理的效率。

Description

一种基于机器学习的网络资产管理方法及相关组件
技术领域
本发明涉及计算机技术领域，特别涉及一种基于机器学习的网络资产管理方法、装置、设备及存储介质。
背景技术
目前，随着互联网和网络技术的快速发展，网络资产高速增加，资产的管理与安全变的复杂也变得尤为重要，人民的财产安全不仅仅是身边的金钱物质财产，企业单位及个人的网络财产也同样变得尤为重要。如何实现便捷高效的网络资产管理，提高网络资产管理的能力，是目前广泛关注的问题。现有技术中，通过一些扫描工具对流量进行处理和分类，但不能实现对多种多样的网络资产问题的全面检测，降低了网络资产问题检测的能力。
发明内容
有鉴于此，本发明的目的在于提供一种基于机器学习的网络资产管理方法、装置、设备及介质，能够提高网络资产管理的能力。其具体方案如下：
第一方面，本申请公开了一种基于机器学习的网络资产管理方法，包括：
获取目标地区内的网络资产数据，并根据网络资产类型对所述网络资产数据进行分类以得到不同类型的网络资产数据集；
利用与所述网络资产数据集的类型对应的漏洞扫描策略对所述网络资产数据集进行扫描，并根据扫描结果将所述网络资产数据集中的数据划分为不良资产数据和优质资产数据；
通过机器学习算法对所述不良资产数据进行学习，并根据学习结果优化所述漏洞扫描策略；
按照预设的细分规则对所述网络资产数据集中的不良资产数据和优质资产数据进行分类合并，并对合并后的每个网络资产数据子集中的数据进行风险或价值排序以实现网络资产管理。
可选的，所述根据网络资产类型对所述网络资产数据进行分类以得到不同类型的网络资产数据集，包括：
基于预先创建的筛选策略从所述网络资产数据中筛选出主机资产数据和域名资产数据，得到主机资产数据集和域名资产数据集；
将筛选后的所述网络资产数据中的剩余数据作为web资产数据集；
其中，所述筛选策略包括基于主机IP的字段特征构建的第一正则校验规则，以及基于域名的字段特征构建的第二正则校验规则。
可选的，所述通过机器学习算法对所述不良资产数据进行学习，并根据学习结果优化所述漏洞扫描策略，包括：
利用机器学习算法分别对不同类型的所述网络资产数据集中的不良资产数据进行特征学习；
根据学习得到的特征描述结果对相应的网络资产数据集对应的漏洞扫描策略进行优化。
可选的，所述不良资产数据包括问题资产数据、可整改资产数据和无用资产数据。
可选的，所述按照预设的细分规则对所述网络资产数据集中的不良资产数据和优质资产数据进行分类合并，并对合并后的每个数据子集中的数据进行风险或价值排序，包括：
按照细分规则分别对每个所述网络资产数据集中的不良资产数据和优质资产数据进行合并，以得到多个网络资产数据子集；所述细分规则为基于区域和/或企业创建的分类规则；
按照漏洞风险程度由高到低的顺序，对每个所述网络资产数据集中的网络资产数据子集内的不良资产数据进行排序；
利用预先构建的资产价值分析模型，对每个所述网络资产数据集中的网络资产数据子集内的优质资产数据按价值程度由高到低进行排序；
可选的，所述资产价值分析模型的创建过程，包括：
基于分类回归树和提升算法构建空白机器学习模型；
利用针对不同区域、不同企业和不同用户的历史行为数据，对所述空白机器学习模型进行训练，得到所述资产价值分析模型。
可选的，所述按照预设的细分规则对所述网络资产数据集中的不良资产数据和优质资产数据进行分类合并，并对合并后的每个数据子集中的数据进行风险或价值排序之后，还包括：
根据每个所述网络资产数据子集内不良资产数据的排序和优质资产数据的排序生成对应的排序列表，并利用网页进行可视化展示。
第二方面，本申请公开了一种基于机器学习的网络资产管理装置，包括：
数据获取模块，用于获取目标地区内的网络资产数据，并根据网络资产类型对所述网络资产数据进行分类以得到不同类型的网络资产数据集；
数据扫描模块，用于利用与所述网络资产数据集的类型对应的漏洞扫描策略对所述网络资产数据集进行扫描，并根据扫描结果将所述网络资产数据集中的数据划分为不良资产数据和优质资产数据；
策略优化模块，用于通过机器学习算法对所述不良资产数据进行学习，并根据学习结果优化所述漏洞扫描策略；
排序管理模块，用于按照预设的细分规则对所述网络资产数据集中的不良资产数据和优质资产数据进行分类合并，并对合并后的每个数据子集中的数据进行风险和价值排序。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述的基于机器学习的网络资产管理方法。
第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中计算机程序被处理器执行时实现前述的基于机器学习的网络资产管理方法。
本申请中，通过获取目标地区内的网络资产数据，并根据网络资产类型对网络资产数据进行分类以得到不同类型的网络资产数据集；利用与网络资产数据集的类型对应的漏洞扫描策略对网络资产数据集进行扫描，并根据扫描结果将网络资产数据集中的数据划分为不良资产数据和优质资产数据；通过机器学习算法对不良资产数据进行学习，并根据学习结果优化漏洞扫描策略；按照预设的细分规则对网络资产数据集中的不良资产数据和优质资产数据进行分类合并，并对合并后的每个网络资产数据子集中的数据进行风险或价值排序以实现网络资产管理。可见，通过先对网络资产数据进行分类，然后利用不同的漏洞扫描策略进行漏洞扫描，并基于扫描出的问题数据利用机器学习对相应的漏洞扫描策略进行优化，由此一来，通过不断对不同类型的漏洞扫描策略的优化，提高对相应类型的网络资产数据的漏洞检测能力，同时，对检测出的不良资产进行风险排序，对优质资产进行价值排序，以便清晰的了解到需要关注的网络资产，提高了网络资产管理的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种基于机器学习的网络资产管理方法流程图；
图2为本申请提供的一种具体的基于机器学习的网络资产管理方法流程图；
图3为本申请提供的一种基于机器学习的网络资产管理装置结构示意图；
图4为本申请提供的一种电子设备结构图。
具体实施方式
现有技术中，通过一些扫描工具对流量进行处理和分类，但不能实现对多种多样的网络资产问题的全面检测，降低了网络资产问题检测的能力。为克服上述技术问题，本申请提供一种基于机器学习的网路资产管理方法，能够提高网络资产漏洞的检测能力，以及网络资产管理的效率。
本申请实施例公开了一种基于机器学习的网络资产管理方法，参见图1所示，该方法可以包括以下步骤：
步骤S11：获取目标地区内的网络资产数据，并根据网络资产类型对所述网络资产数据进行分类以得到不同类型的网络资产数据集。
本实施例中，首先通过大数据技术检测扫描出目标地区内的网络资产，例如扫描出某个市的网络资产数据，然后通过数据预处理，把收集的网络资产数据按照资产类型进行分类，得到不同类型的网络资产数据集。上述网络资产数据的类型包括域名类资产、web类资产和主机类资产。
本实施例中，所述根据网络资产类型对所述网络资产数据进行分类以得到不同类型的网络资产数据集，可以包括：基于预先创建的筛选策略从所述网络资产数据中筛选出主机资产数据和域名资产数据，得到主机资产数据集和域名资产数据集；将筛选后的所述网络资产数据中的剩余数据作为web资产数据集；其中，所述筛选策略包括基于主机IP的字段特征构建的第一正则校验规则，以及基于域名的字段特征构建的第二正则校验规则。即通过扫描策略对所有获取的资产数据进行分类，主机IP和域名通过正则校验分类，剩余为web资产数据。
步骤S12：利用与所述网络资产数据集的类型对应的漏洞扫描策略对所述网络资产数据集进行扫描，并根据扫描结果将所述网络资产数据集中的数据划分为不良资产数据和优质资产数据。
本实施例中，分类得到不同类型的资产数据集后，利用与上述网络资产数据集的类型对应的漏洞扫描策略对相应的网络资产数据集进行扫描，并根据扫描结果将上述网络资产数据集中的数据划分为不良资产数据和优质资产数据。即在域名、web资、主机分三类的基础上，再进行二级分类，以便把检测出的不良资产与优质资产进行区分。其中，所述不良资产数据可以包括问题资产数据、可整改资产数据和无用资产数据，如被网络攻击的资产或者僵尸网站。
步骤S13：通过机器学习算法对所述不良资产数据进行学习，并根据学习结果优化所述漏洞扫描策略。
本实施例中，扫描得到不良资产数据后，通过机器学习算法利用每类资产数据集中的不良资产数据对相应的漏洞扫描策略进行训练学习，以达到逐步完善漏洞扫描策略。本实施例中，所述通过机器学习算法对所述不良资产数据进行学习，并根据学习结果优化所述漏洞扫描策略，可以包括：利用机器学习算法分别对不同类型的所述网络资产数据集中的不良资产数据进行特征学习；根据学习得到的特征描述结果对相应的网络资产数据集对应的漏洞扫描策略进行优化。
步骤S14：按照预设的细分规则对所述网络资产数据集中的不良资产数据和优质资产数据进行分类合并，并对合并后的每个网络资产数据子集中的数据进行风险或价值排序以实现网络资产管理。
本实施例中，扫描分类出不良资产数据和优质资产数据后，按照预设的细分规则对每个网络资产数据集中的不良资产数据和优质资产数据进行分类合并，并对合并后的每个网络资产数据子集中的数据进行风险或价值排序以实现网络资产管理；其中，上述细分规则可以为基于区域的细分规则，也可以为基于企业的细分规则。可以理解的是，分别对每个资产数据集中的不良资产数据和优质资产数据进行分类合并，例如合并后得到多个企业对应的网络资产数据子集，然后对网络资产数据子集中的数据进行风险或价值排序，由此可以清晰的了解到该企业需要及时处理的存在较高风险的网络资产，以及重要的高价值的网络资产。
由上可见，本实施例中通过获取目标地区内的网络资产数据，并根据网络资产类型对网络资产数据进行分类以得到不同类型的网络资产数据集；利用与网络资产数据集的类型对应的漏洞扫描策略对网络资产数据集进行扫描，并根据扫描结果将网络资产数据集中的数据划分为不良资产数据和优质资产数据；通过机器学习算法对不良资产数据进行学习，并根据学习结果优化漏洞扫描策略；按照预设的细分规则对网络资产数据集中的不良资产数据和优质资产数据进行分类合并，并对合并后的每个网络资产数据子集中的数据进行风险或价值排序以实现网络资产管理。可见，通过先对网络资产数据进行分类，然后利用不同的漏洞扫描策略进行漏洞扫描，并基于扫描出的问题数据利用机器学习对相应的漏洞扫描策略进行优化，由此一来，通过不断对不同类型的漏洞扫描策略的优化，提高对相应类型的网络资产数据的漏洞检测能力，同时，对检测出的不良资产进行风险排序，对优质资产进行价值排序，以便清晰的了解到需要关注的网络资产，提高了网络资产管理的效率。
本申请实施例公开了一种具体的基于机器学习的网络资产管理方法，参见图2所示，该方法可以包括以下步骤：
步骤S21：获取目标地区内的网络资产数据，并根据网络资产类型对所述网络资产数据进行分类以得到不同类型的网络资产数据集。
步骤S22：利用与所述网络资产数据集的类型对应的漏洞扫描策略对所述网络资产数据集进行扫描，并根据扫描结果将所述网络资产数据集中的数据划分为不良资产数据和优质资产数据。
步骤S23：按照细分规则分别对每个所述网络资产数据集中的不良资产数据和优质资产数据进行合并，以得到多个网络资产数据子集；所述细分规则为基于区域和/或企业创建的分类规则。
本实施例中，即分别对每个资产数据集中的不良资产数据和优质资产数据进行分类合并，此时每个资产数据集下可以包括一个或多个资产数据子集，例如合并后得到多个企业对应的网络资产数据子集。
步骤S24：按照漏洞风险程度由高到低的顺序，对每个所述网络资产数据集中的网络资产数据子集内的不良资产数据进行排序。
本实施例中，按照漏洞风险程度由高到低的顺序，对每个网络资产数据集中的网络资产数据子集内的不良资产数据进行排序。具体的，可以根据漏洞扫描阶段扫描出的漏洞个数对相应的网络资产进行排序，漏洞越多的即风险越高。
步骤S25：利用预先构建的资产价值分析模型，对每个所述网络资产数据集中的网络资产数据子集内的优质资产数据按价值程度由高到低进行排序。
本实施例中，利用预先构建的资产价值分析模型，对每个网络资产数据集中的网络资产数据子集内的优质资产数据按价值程度由高到低进行排序。可以理解的是，模型训练中对不同区域，不同企业性质以及不同用户都会有数据行为记录学习，如用户或者企业的记录查看和处置的行为习惯，通过大量的数据训练，知晓某个区域或是企业的问题资产或者重要资产主要是什么类型，然后侧重这个类型下的不同策略深度分析。即通过机器学习可以更有效的记录不同类别的资产展现的不同侧重点信息，根据不同用户、区域、单位、资产类别更便于管理分析。
本实施例中，所述资产价值分析模型的创建过程，可以包括：基于分类回归树和提升算法构建空白机器学习模型；利用针对不同区域、不同企业和不同用户的历史行为数据，对所述空白机器学习模型进行训练，得到所述资产价值分析模型。其中，上述提升(boosting)算法可以包括但不限于XGBoost算法、lightgbm算法和catboost算法。
其中，XGBoost算法是boosting算法的其中一种，Boosting算法的思想是将许多弱分类器集成在一起形成一个强分类器，XGBoost作为一种提升树模型，将许多树模型集成在一起，形成一个很强的分类器，其中，树模型可以为分类回归树模型(Classification andRegression Trees，CART)。XGBoost算法原理是不断地添加树，不断地进行特征分裂来完成一棵树的构建。每次添加一个树，实际上是学习一个新函数，去拟合上次预测的残差，训练完成时会得到一棵树，当要预测一个样本的分数时，根据这个样本的特征，在每棵树中会落到对应的一个叶子节点，每个叶子节点就对应一个分数，最后将每棵树对应的分数加起来就是该样本的预测值。
步骤S26：根据每个所述网络资产数据子集内不良资产数据的排序和优质资产数据的排序生成对应的排序列表，并利用网页进行可视化展示。
本实施例中，排序后，根据每个网络资产数据子集内不良资产数据的排序和优质资产数据的排序生成对应的排序列表，并利用网页进行可视化展示。可以理解的是，对网络资产数据子集中的数据进行风险或价值排序，由此可以清晰的了解到该企业需要及时处理的存在较高风险的网络资产，以及重要的高价值的网络资产，即对不同区域或不同企业性质的不良资产和优质资产进行归类以及排序，学习并记录下来，通过资产类别结合网页可视化呈现出来，更突显出当前用户注重的优质资产或者需要及时处理的不良资产，以便于不同的用户更直接的重点管理，重点处理，减少管理精力和时间成本，结合网页可视化，优先展示其侧重的资产，重点资产和需及时处置的资产，得到动态化的智能资产管理图表。
其中，关于上述步骤S21、步骤S22的具体过程可以参考前述实施例公开的相应内容，在此不再进行赘述。
由上可见，本实施例中按照细分规则分别对每个所述网络资产数据集中的不良资产数据和优质资产数据进行合并，以得到多个网络资产数据子集；其中细分规则为基于区域和/或企业创建的分类规则。然后按照漏洞风险程度由高到低的顺序，对每个所述网络资产数据集中的网络资产数据子集内的不良资产数据进行排序，并利用预先构建的资产价值分析模型，对每个所述网络资产数据集中的网络资产数据子集内的优质资产数据按价值程度由高到低进行排序。最后，根据每个所述网络资产数据子集内不良资产数据的排序和优质资产数据的排序生成对应的排序列表，并利用网页进行可视化展示。由此一来，可以通过智能资产管理图表突显出当前用户注重的优质资产或者需要及时处理的不良资产，即优先展示其侧重的资产，以便于不同的用户更直接的重点管理，重点处理，减少管理精力和时间成本。
相应的，本申请实施例还公开了一种基于机器学习的网络资产管理装置，参见图3所示，该装置包括：
数据获取模块11，用于获取目标地区内的网络资产数据，并根据网络资产类型对所述网络资产数据进行分类以得到不同类型的网络资产数据集；
数据扫描模块12，用于利用与所述网络资产数据集的类型对应的漏洞扫描策略对所述网络资产数据集进行扫描，并根据扫描结果将所述网络资产数据集中的数据划分为不良资产数据和优质资产数据；
策略优化模块13，用于通过机器学习算法对所述不良资产数据进行学习，并根据学习结果优化所述漏洞扫描策略；
排序管理模块14，用于按照预设的细分规则对所述网络资产数据集中的不良资产数据和优质资产数据进行分类合并，并对合并后的每个数据子集中的数据进行风险和价值排序。
由上可见，本实施例中通过获取目标地区内的网络资产数据，并根据网络资产类型对网络资产数据进行分类以得到不同类型的网络资产数据集；利用与网络资产数据集的类型对应的漏洞扫描策略对网络资产数据集进行扫描，并根据扫描结果将网络资产数据集中的数据划分为不良资产数据和优质资产数据；通过机器学习算法对不良资产数据进行学习，并根据学习结果优化漏洞扫描策略；按照预设的细分规则对网络资产数据集中的不良资产数据和优质资产数据进行分类合并，并对合并后的每个网络资产数据子集中的数据进行风险或价值排序以实现网络资产管理。可见，通过先对网络资产数据进行分类，然后利用不同的漏洞扫描策略进行漏洞扫描，并基于扫描出的问题数据利用机器学习对相应的漏洞扫描策略进行优化，由此一来，通过不断对不同类型的漏洞扫描策略的优化，提高对相应类型的网络资产数据的漏洞检测能力，同时，对检测出的不良资产进行风险排序，对优质资产进行价值排序，以便清晰的了解到需要关注的网络资产，提高了网络资产管理的效率。
在一些具体实施例中，所述数据获取模块11具体可以包括：
数据分类单元，用于基于预先创建的筛选策略从所述网络资产数据中筛选出主机资产数据和域名资产数据，得到主机资产数据集和域名资产数据集；将筛选后的所述网络资产数据中的剩余数据作为web资产数据集；其中，所述筛选策略包括基于主机IP的字段特征构建的第一正则校验规则，以及基于域名的字段特征构建的第二正则校验规则。
在一些具体实施例中，所述策略优化模块13具体可以包括：
特征学习单元，用于利用机器学习算法分别对不同类型的所述网络资产数据集中的不良资产数据进行特征学习；
优化单元，用于根据学习得到的特征描述结果对相应的网络资产数据集对应的漏洞扫描策略进行优化。
其中，所述不良资产数据包括问题资产数据、可整改资产数据和无用资产数据。
在一些具体实施例中，所述排序管理模块14具体可以包括：
细分单元，用于按照细分规则分别对每个所述网络资产数据集中的不良资产数据和优质资产数据进行合并，以得到多个网络资产数据子集；所述细分规则为基于区域和/或企业创建的分类规则；
不良资产排序单元，用于按照漏洞风险程度由高到低的顺序，对每个所述网络资产数据集中的网络资产数据子集内的不良资产数据进行排序；
优质资产排序单元，用于利用预先构建的资产价值分析模型，对每个所述网络资产数据集中的网络资产数据子集内的优质资产数据按价值程度由高到低进行排序；
其中，所述资产价值分析模型的创建过程具体可以包括：
基于分类回归树和提升算法构建空白机器学习模型；
利用针对不同区域、不同企业和不同用户的历史行为数据，对所述空白机器学习模型进行训练，得到所述资产价值分析模型。
在一些具体实施例中，所述网络资产管理装置具体可以包括：
展示单元，用于根据每个所述网络资产数据子集内不良资产数据的排序和优质资产数据的排序生成对应的排序列表，并利用网页进行可视化展示。
进一步的，本申请实施例还公开了一种电子设备，参见图4所示，图中的内容不能被认为是对本申请的使用范围的任何限制。
图4为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的基于机器学习的网络资产管理方法中的相关步骤。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统221、计算机程序222及包括网络资产数据在内的数据223等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的基于机器学习的网络资产管理方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的，本申请实施例还公开了一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述任一实施例公开的基于机器学习的网络资产管理方法步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种基于机器学习的网络资产管理方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于机器学习的网络资产管理方法，其特征在于，包括：
获取目标地区内的网络资产数据，并根据网络资产类型对所述网络资产数据进行分类以得到不同类型的网络资产数据集；
利用与所述网络资产数据集的类型对应的漏洞扫描策略对所述网络资产数据集进行扫描，并根据扫描结果将所述网络资产数据集中的数据划分为不良资产数据和优质资产数据；
通过机器学习算法对所述不良资产数据进行学习，并根据学习结果优化所述漏洞扫描策略；
按照预设的细分规则对所述网络资产数据集中的不良资产数据和优质资产数据进行分类合并，并对合并后的每个网络资产数据子集中的数据进行风险或价值排序以实现网络资产管理。
2.根据权利要求1所述的基于机器学习的网络资产管理方法，其特征在于，所述根据网络资产类型对所述网络资产数据进行分类以得到不同类型的网络资产数据集，包括：
基于预先创建的筛选策略从所述网络资产数据中筛选出主机资产数据和域名资产数据，得到主机资产数据集和域名资产数据集；
将筛选后的所述网络资产数据中的剩余数据作为web资产数据集；
其中，所述筛选策略包括基于主机IP的字段特征构建的第一正则校验规则，以及基于域名的字段特征构建的第二正则校验规则。
3.根据权利要求1所述的基于机器学习的网络资产管理方法，其特征在于，所述通过机器学习算法对所述不良资产数据进行学习，并根据学习结果优化所述漏洞扫描策略，包括：
利用机器学习算法分别对不同类型的所述网络资产数据集中的不良资产数据进行特征学习；
根据学习得到的特征描述结果对相应的网络资产数据集对应的漏洞扫描策略进行优化。
4.根据权利要求1所述的基于机器学习的网络资产管理方法，其特征在于，所述不良资产数据包括问题资产数据、可整改资产数据和无用资产数据。
5.根据权利要求1至4任一项所述的基于机器学习的网络资产管理方法，其特征在于，所述按照预设的细分规则对所述网络资产数据集中的不良资产数据和优质资产数据进行分类合并，并对合并后的每个数据子集中的数据进行风险或价值排序，包括：
按照细分规则分别对每个所述网络资产数据集中的不良资产数据和优质资产数据进行合并，以得到多个网络资产数据子集；所述细分规则为基于区域和/或企业创建的分类规则；
按照漏洞风险程度由高到低的顺序，对每个所述网络资产数据集中的网络资产数据子集内的不良资产数据进行排序；
利用预先构建的资产价值分析模型，对每个所述网络资产数据集中的网络资产数据子集内的优质资产数据按价值程度由高到低进行排序。
6.根据权利要求5所述的基于机器学习的网络资产管理方法，其特征在于，所述资产价值分析模型的创建过程，包括：
基于分类回归树和提升算法构建空白机器学习模型；
利用针对不同区域、不同企业和不同用户的历史行为数据，对所述空白机器学习模型进行训练，得到所述资产价值分析模型。
7.根据权利要求5所述的基于机器学习的网络资产管理方法，其特征在于，所述按照预设的细分规则对所述网络资产数据集中的不良资产数据和优质资产数据进行分类合并，并对合并后的每个数据子集中的数据进行风险或价值排序之后，还包括：
根据每个所述网络资产数据子集内不良资产数据的排序和优质资产数据的排序生成对应的排序列表，并利用网页进行可视化展示。
8.一种基于机器学习的网络资产管理装置，其特征在于，包括：
数据获取模块，用于获取目标地区内的网络资产数据，并根据网络资产类型对所述网络资产数据进行分类以得到不同类型的网络资产数据集；
数据扫描模块，用于利用与所述网络资产数据集的类型对应的漏洞扫描策略对所述网络资产数据集进行扫描，并根据扫描结果将所述网络资产数据集中的数据划分为不良资产数据和优质资产数据；
策略优化模块，用于通过机器学习算法对所述不良资产数据进行学习，并根据学习结果优化所述漏洞扫描策略；
排序管理模块，用于按照预设的细分规则对所述网络资产数据集中的不良资产数据和优质资产数据进行分类合并，并对合并后的每个数据子集中的数据进行风险和价值排序。
9.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的基于机器学习的网络资产管理方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于机器学习的网络资产管理方法。
CN202110485092.7A 2021-04-30 2021-04-30 一种基于机器学习的网络资产管理方法及相关组件 Pending CN113239360A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110485092.7A CN113239360A (zh) 2021-04-30 2021-04-30 一种基于机器学习的网络资产管理方法及相关组件

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110485092.7A CN113239360A (zh) 2021-04-30 2021-04-30 一种基于机器学习的网络资产管理方法及相关组件

Publications (1)

Publication Number Publication Date
CN113239360A true CN113239360A (zh) 2021-08-10

Family

ID=77131921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110485092.7A Pending CN113239360A (zh) 2021-04-30 2021-04-30 一种基于机器学习的网络资产管理方法及相关组件

Country Status (1)

Country Link
CN (1) CN113239360A (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8201257B1 (en) * 2004-03-31 2012-06-12 Mcafee, Inc. System and method of managing network security risks
CN106790256A (zh) * 2017-01-24 2017-05-31 浙江中都信息技术有限公司 用于危险主机检测的主动机器学习系统
CN107851049A (zh) * 2015-06-02 2018-03-27 思睿物联网公司 用于基于操作技术和信息技术提供网络安全分析的系统和方法
CN108549817A (zh) * 2018-04-19 2018-09-18 北京理工大学 一种基于文本深度学习的软件安全漏洞预测方法
CN109246152A (zh) * 2018-11-06 2019-01-18 北京华顺信安科技有限公司 一种大范围通用漏洞扫描方法和系统
CN109657473A (zh) * 2018-11-12 2019-04-19 华中科技大学 一种基于深度特征的细粒度漏洞检测方法
CN109657977A (zh) * 2018-12-19 2019-04-19 重庆誉存大数据科技有限公司 一种风险识别方法和系统
CN109726763A (zh) * 2018-12-29 2019-05-07 北京神州绿盟信息安全科技股份有限公司 一种信息资产识别方法、装置、设备及介质
CN110574338A (zh) * 2017-04-20 2019-12-13 思科技术公司 根本原因发现引擎
CN110598959A (zh) * 2018-05-23 2019-12-20 中国移动通信集团浙江有限公司 一种资产风险评估方法、装置、电子设备及存储介质
US20200137102A1 (en) * 2018-10-26 2020-04-30 Tenable, Inc. Rule-based assignment of criticality scores to assets and generation of a criticality rules table
CN111914126A (zh) * 2020-07-22 2020-11-10 浙江乾冠信息安全研究院有限公司 用于索引的网络安全大数据的处理方法、设备及存储介质
CN112100545A (zh) * 2020-09-11 2020-12-18 杭州安恒信息安全技术有限公司 网络资产的可视化方法、装置、设备和可读存储介质
US20200412757A1 (en) * 2019-06-26 2020-12-31 Saudi Arabian Oil Company Network security system and method for preemptively identifying or remediating security vulnerabilities
CN112199671A (zh) * 2020-10-10 2021-01-08 杭州安恒信息技术股份有限公司 基于人工智能的恶意数据分析方法、装置和电子装置
CN112637159A (zh) * 2020-12-14 2021-04-09 杭州安恒信息技术股份有限公司 一种基于主动探测技术的网络资产扫描方法、装置及设备

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8201257B1 (en) * 2004-03-31 2012-06-12 Mcafee, Inc. System and method of managing network security risks
CN107851049A (zh) * 2015-06-02 2018-03-27 思睿物联网公司 用于基于操作技术和信息技术提供网络安全分析的系统和方法
CN106790256A (zh) * 2017-01-24 2017-05-31 浙江中都信息技术有限公司 用于危险主机检测的主动机器学习系统
CN110574338A (zh) * 2017-04-20 2019-12-13 思科技术公司 根本原因发现引擎
CN108549817A (zh) * 2018-04-19 2018-09-18 北京理工大学 一种基于文本深度学习的软件安全漏洞预测方法
CN110598959A (zh) * 2018-05-23 2019-12-20 中国移动通信集团浙江有限公司 一种资产风险评估方法、装置、电子设备及存储介质
US20200137102A1 (en) * 2018-10-26 2020-04-30 Tenable, Inc. Rule-based assignment of criticality scores to assets and generation of a criticality rules table
CN109246152A (zh) * 2018-11-06 2019-01-18 北京华顺信安科技有限公司 一种大范围通用漏洞扫描方法和系统
CN109657473A (zh) * 2018-11-12 2019-04-19 华中科技大学 一种基于深度特征的细粒度漏洞检测方法
CN109657977A (zh) * 2018-12-19 2019-04-19 重庆誉存大数据科技有限公司 一种风险识别方法和系统
CN109726763A (zh) * 2018-12-29 2019-05-07 北京神州绿盟信息安全科技股份有限公司 一种信息资产识别方法、装置、设备及介质
US20200412757A1 (en) * 2019-06-26 2020-12-31 Saudi Arabian Oil Company Network security system and method for preemptively identifying or remediating security vulnerabilities
CN111914126A (zh) * 2020-07-22 2020-11-10 浙江乾冠信息安全研究院有限公司 用于索引的网络安全大数据的处理方法、设备及存储介质
CN112100545A (zh) * 2020-09-11 2020-12-18 杭州安恒信息安全技术有限公司 网络资产的可视化方法、装置、设备和可读存储介质
CN112199671A (zh) * 2020-10-10 2021-01-08 杭州安恒信息技术股份有限公司 基于人工智能的恶意数据分析方法、装置和电子装置
CN112637159A (zh) * 2020-12-14 2021-04-09 杭州安恒信息技术股份有限公司 一种基于主动探测技术的网络资产扫描方法、装置及设备

Similar Documents

Publication Publication Date Title
Chatterjee et al. Detecting phishing websites through deep reinforcement learning
Saumya et al. Detection of spam reviews: a sentiment analysis approach
Mohammad et al. Predicting phishing websites based on self-structuring neural network
EP2691848B1 (en) Determining machine behavior
Abdelhamid Multi-label rules for phishing classification
US20150033341A1 (en) System and method to detect threats to computer based devices and systems
CN111767716B (zh) 企业多级行业信息的确定方法、装置及计算机设备
US20200110753A1 (en) Scalable dynamic acronym decoder
US20200043026A1 (en) Decision support system and methods associated with same
Rekha et al. Solving class imbalance problem using bagging, boosting techniques, with and without using noise filtering method
Zaghloul et al. Text classification: neural networks vs support vector machines
Wahsheh et al. SPAR: A system to detect spam in Arabic opinions
Liou et al. FinSense: an assistant system for financial journalists and investors
Mahmoudi et al. Web spam detection based on discriminative content and link features
Murty et al. Dark web text classification by learning through SVM optimization
Sheikhalishahi et al. Digital waste disposal: an automated framework for analysis of spam emails
Chua et al. Problem Understanding of Fake News Detection from a Data Mining Perspective
JP5480008B2 (ja) マンガコンテンツの要約を生成する要約マンガ画像生成装置、プログラム及び方法
Mittal et al. Integrating genetic algorithm with random forest for improving the classification performance of web log data
Watcharenwong et al. Spam detection for closed Facebook groups
Pałka et al. Big data analytics, online terms of service and privacy policies
CN113239360A (zh) 一种基于机器学习的网络资产管理方法及相关组件
H. Nazer et al. Bot detection: Will focusing on recall cause overall performance deterioration?
Naik Modelling Enhanced Phishing detection using XGBoost
EP3832491A1 (en) Methods for processing a plurality of candidate annotations of a given instance of an image, and for learning parameters of a computational model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210810

RJ01 Rejection of invention patent application after publication