CN113554056A - 网络资产聚合方法、装置、电子装置和存储介质 - Google Patents
网络资产聚合方法、装置、电子装置和存储介质 Download PDFInfo
- Publication number
- CN113554056A CN113554056A CN202110684148.1A CN202110684148A CN113554056A CN 113554056 A CN113554056 A CN 113554056A CN 202110684148 A CN202110684148 A CN 202110684148A CN 113554056 A CN113554056 A CN 113554056A
- Authority
- CN
- China
- Prior art keywords
- asset
- assets
- aggregated
- flow
- clustering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000002776 aggregation Effects 0.000 title claims abstract description 59
- 238000004220 aggregation Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000004931 aggregating effect Effects 0.000 claims abstract description 22
- 238000010801 machine learning Methods 0.000 claims abstract description 17
- 238000001514 detection method Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000012544 monitoring process Methods 0.000 claims description 9
- 239000000523 sample Substances 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000004138 cluster model Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005206 flow analysis Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000013467 fragmentation Methods 0.000 description 2
- 238000006062 fragmentation reaction Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Security & Cryptography (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请涉及一种一种网络资产聚合方法,其中,该网络资产聚合方法包括:获取待聚合资产的资产流量,所述资产流量包括所述待聚合资产进行通讯时使用的流量;将所述资产流量输入到聚类模型中,获取聚类结果,所述聚类模型通过机器学习建模得到;基于所述聚类结果对所述待聚合资产进行聚合。通过本申请,解决了相关技术中对网络资产进行聚合时无法对未知资产进行分类聚合以及无法保证对资产聚合的准确度和精确度的问题,实现了提高对资产聚合时的准确度和精确度,还可以对未知资产进行聚合,增大了资产聚合的处理范围。
Description
技术领域
本申请涉及网络安全技术领域,特别是涉及网络资产聚合方法、装置、电子装置和存储介质。
背景技术
随着互联网技术的迅速发展,使得网络资产无处不在,并迅速的融入到我们的生活当中,这些种类繁多、结构复杂的虚拟资产给管理者们带来极大的不便,同时也会增加交易的风险,利用现有检测的技术,即使安装了某些安全设备或资产管理系统也难以统一管理,无法从业务系统视角将运维人员关心的资产聚合起来,进行统一的风险管控和运维管理,导致某一资产的风险无法及时被发现和处置,从而对整个业务系统产生影响。
目前现有的技术对于网络资产的管理模式主要是基于资产指纹进行简单的指纹匹配,或是仅仅基于资产特征进行分类,对网络资产进行聚合时无法对未知资产进行分类聚合,并且无法保证对资产聚合的准确度和精确度。
针对相关技术中存在对网络资产进行聚合时无法对未知资产进行分类聚合以及无法保证对资产聚合的准确度和精确度的问题,目前还没有提出有效的解决方案。
发明内容
在本实施例中提供了一种网络资产聚合方法、装置、电子装置和存储介质,以解决相关技术中对网络资产进行聚合时无法对未知资产进行分类聚合或无法保证对资产聚合的准确度和精确度的问题。
第一个方面,在本实施例中提供了一种网络资产聚合方法,其特征在于,包括:
获取待聚合资产的资产流量,所述资产流量包括所述待聚合资产进行通讯时使用的流量;将所述资产流量输入到聚类模型中,获取聚类结果,所述聚类模型通过机器学习建模得到;基于所述聚类结果对所述待聚合资产进行聚合。
在其中的一些实施例中,所述待聚合资产包括探测资产和/或扫描资产,所述获取待聚合资产的资产流量之前包括:基于安装在所述网络端的探针对所述网络端的流量进行监听,得到探测流量,所述探测流量包括所述网络端在预设时间内的全部流量,对所述探测流量进行解析,得到所述探测资产;和/或;扫描所述网络端的IP端以及端口,获取所述扫描资产。
在另一个实施例中,所述获取待聚合资产的资产流量之前还包括:对所述待聚合资产进行去重处理,获取去重后待聚合资产。
在其中一个实施例中,所述获取所述待聚合资产的资产流量包括:对所述待聚合资产进行通讯时使用的流量进行监听,获取资产流量。
在另一个实施例中,所述将所述资产流量输入到聚类模型中之前还包括:获取建模数据,所述建模数据包括建模资产流量以及对应的建模聚类结果;基于预设训练算法以及所述建模数据进行机器学习建模,得到所述聚类模型,所述聚类模型可以接收所述资产流量作为输入,并输出所述聚类结果作为输出。
在其中一个实施例中,所述将所述资产流量输入到聚类模型中,获取聚类结果包括:将所述资产流量进行解析,并基于解析结果,获取所述资产流量的特征值,所述特征值包括路由信息、数据包地址以及负载时间分片中至少一项;将所述特征值输入到所述聚类模型中,获取所述聚类结果。
在另一个实施例中,所述基于所述聚类结果对所述待聚合资产进行聚合包括:基于所述聚类结果对所述待聚合资产进行分类,得到不同类别的待聚合资产;对同一类别的所述待聚合资产进行聚合。
第二个方面,在本实施例中提供了一种网络资产聚合装置,其特征在于,包括:资产流量获取模块:获取待聚合的资产流量,所述资产流量包括所述待聚合资产进行通讯时使用的流量;资产流量聚类模块:将所述资产流量输入到聚类模型中,获取聚类结果,所述聚类模型通过机器学习建模得到;待聚合资产聚合模块:用于基于所述聚类结果对所述待聚合资产进行聚合。
第三个方面,在本实施例中提供了一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一个方面所述的网络资产聚合方法。
第四个方面,在本实施例中提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述第一个方面所述的网络资产聚合方法。
与相关技术相比,在本实施例中提供的网络资产聚合方法,通过首先获取待聚合资产的资产流量,所述资产流量包括所述待聚合资产进行通讯时使用的流量;接着将所述资产流量输入到聚类模型中,获取聚类模型基于资产流量输出的聚类结果,所述聚类模型通过机器学习建模得到;基于所述聚类结果对所述待聚合资产进行聚合,解决了相关技术中对网络资产进行聚合时无法对未知资产进行分类聚合以及无法保证对资产聚合的准确度和精确度的问题,实现了提高了对资产聚合时的准确度和精确度,还可以对未知资产进行聚合,增大了资产聚合的处理范围。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是本方法一实施例中的网络资产聚合方法的终端的硬件结构框图;
图2是本方法一实施例中的网络资产聚合方法的流程图;
图3是本方法一实施例中的网络资产聚合装置的结构示意图;
图4是本方法另一个实施例中网络资产聚合装置的结构框图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点,下面结合附图和实施例,对本申请进行了描述和说明。
除另作定义外,本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制,它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体,其目的是涵盖不排他的包含;例如,包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元),而可包括未列出的步骤或模块(单元),或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接,而可以包括电气连接,无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。通常情况下,字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等,只是对相似对象进行区分,并不代表针对对象的特定排序。
在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行,图1是本方法一实施例中的网络资产聚合方法的终端的硬件结构框图。如图1所示,终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104,其中,处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述终端的结构造成限制。例如,终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如在本实施例中的网络资产聚合方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中,传输设备106包括一个网络适配器(NetworkInterface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种网络资产聚合方法,图2是本方法一实施例中的网络资产聚合方法的流程图,如图2所示,该流程包括如下步骤:
步骤S201,获取待聚合资产的资产流量,资产流量包括待聚合资产进行通讯时使用的流量。
在本实施例中,本步骤首先获取待聚合资产的资产流量,可以理解的,本申请是一种将资产进行聚合的方法,网络资产可以通过多种途径进行聚合,为了保证对资产聚合的准确度以及精确度,本实施例采用基于资产流量进行聚合的方法,首先需要获取需要聚合的资产对应的资产流量,资产流量包括待聚合资产进行通讯时使用的流量,其可以反映待聚合资产的行为特征,以及在一定时间内的统计特征,基于资产流量,可以分析待聚合资产的行为特征以及统计特征,可以保证后续更好的进行资产聚合,可以理解的,资产流量的种类越多,采集量越大,对资产进行聚合的准确度就越高,效果越好。
步骤S202,将资产流量输入到聚类模型中,获取聚类结果,聚类模型通过机器学习建模得到。
在上一步骤中,首先获取到了待聚合资产对应的资产流量,可以理解的,本实施例是基于资产流量对待聚合资产进行聚合的,因此,在本步骤中需要将资产流量输入到聚类模型中,使其对资产流量进行聚类的处理,接着便可以得到聚类结果,容易理解的,本实施例中的聚类模型是基于机器学习建模且训练继续训练测试得到的,基于机器学习训练得到的聚类模型可以基于资产流量进行聚类的处理,可以理解的,对资产流量进行聚类处理,得到的聚类结果即可以反应对应待聚合资产聚类的结果,因此在本实施例中,通过对待聚合资产对应的资产流量进行聚类,可以得到待聚合资产对应的聚类结果。
步骤S203,基于聚类结果对待聚合资产进行聚合。
在本实施例中,由于步骤S202已经对资产流量进行聚类,并得到聚类结果,而对资产流量的聚类结果反映的也是待聚合资产的聚类结果,所以在本步骤中,便可以基于资产流量的聚类结果对待聚合资产进行聚合,也就是基于资产流量的聚类结果,对资产流量对应的待聚合资产,进行聚合,可以理解的,资产流量的聚类结果相同的待聚合资产,其特征相似,并且其活动特性也相似,基于此聚合的资产更便于系统进行管理,以及后续对业务进行分析。通过上述步骤,与相关技术中基于指纹进行简单的指纹匹配,或仅仅基于资产特征进行分类相比,采用了基于待聚合资产获取的资产流量进行聚类,接着基于聚类结果对待聚合资产进行聚合分类,相比较而言,通过待聚合资产对应的资产流量进行聚合分类的方法,是基于待聚合资产的行为特征以及统计特征作为聚类标准的,保证了对资产聚合的准确度以及精确度,并且更易于进行系统化管理以及后续分析,另外,通过资产的指纹匹配或直接通过资产特征进行分类的方式只可以基于已录入过的指纹或资产进行分类以及聚合,而本实施例中基于资产流量提取特征再进行聚类的方法,可以对未知资产也进行获取流量且提取特征进行分类。
在其中的一些实施例中,待聚合资产包括探测资产和/或扫描资产,获取待聚合资产的资产流量之前包括:基于安装在网络端的探针对网络端的流量进行监听,得到探测流量,探测流量包括网络端在预设时间内的全部流量,对探测流量进行解析,得到探测资产;和/或;扫描网络端的IP端以及端口,获取扫描资产。
可以理解的,获取待聚合资产的资产流量之前还需要获取待聚合资产,在其中一些实施例中,待聚合资产可以是提前预设好的,还可以是扫描或检测到的,在本实施例中,待聚合资产包括探测资产和/或扫描资产,探测资产也就是通过监听探测获取到的资产,其主要获取手段是通过安装在企业或单位网络中的探针,监听预设时间内的全部流量,并对流量进行解析和去重,基于此,则可以获取到预设时间段产生过流量的探测资产的全部集合;扫描资产即通过主动扫描获取到的资产,其主要获取手段就是对网络端的IP端或端口直接进行扫描,基于扫描结果,确定扫描资产,在本实施例中,待聚合资产可以是探测资产,可以是扫描资产,还可以是两种资产的合集,可以理解的,将两种方式获取到的资产聚合到一起,可以使得获取到的资产更精确。
在另一个实施例中,在获取待聚合资产的资产流量之前还包括:对待聚合资产进行去重处理,获取去重后待聚合资产。
可以理解的,在上述实施例中,获取到了探测资产以及扫描资产,但由于探测资产以及扫描资产是通过两种不同的方式获取到的资产,为了避免出现资产重复的情况,又或是为了校验探测资产或扫描资产自身存在资产重复的情况,因此,在基于待聚合资产获取待聚合资产的资产流量之前,需要对待聚合资产进行去重处理,可以保证对待聚合资产聚合时的精确度。
在其中一个实施例中,获取待聚合资产的资产流量包括:对待聚合资产进行通讯时使用的流量进行监听,获取资产流量。
可以理解的,在申请中,需要通过待聚合资产,获取对应的资产流量,在本实施例中获取待聚合资产对应的资产流量的方式为对待聚合资产进行监听,获取其在进行通讯时使用的流量,可以理解的,首先确定待聚合资产,接着对待聚合资产进行监听,以获取待聚合资产进行通讯时的通讯流量,可以提高获取待聚合资产的资产流量时的获取效率。
在另一个实施例中,将资产流量输入到聚类模型中之前还包括:获取建模数据,建模数据包括建模资产流量以及对应的建模聚类结果;基于预设训练算法以及建模数据进行机器学习建模,得到聚类模型,聚类模型可以接收资产流量作为输入,并输出聚类结果作为输出。
在本实施例中,在将资产流量输入到聚类模型中并获取聚类结果之前,首先需要建模,也就是构建聚类模型,使得聚类模型可以将资产流量进行聚类,因此,可以理解的,首先需要获取建模数据,也就是用来构建聚类模型的数据,建模数据中包括建模资产流量以及对应的聚类结果,另外,在本实施例中需要基于建模训练算法,通过建模数据构建聚类模型,在采取多种算法进行建模试验后,本实施例采用图社团检测算法训练建模,建模数据以一周为周期,基于此,构建出的聚类模型可以接收资产流量作为输入,并且将基于资产流量进行聚类的聚类结果作为输出,在其他实施例中,还可以通过其他算法,构建出可以通过资产流量进行完成聚类的聚类模型,本实施例不做具体限定,只需要保证能够构建一个可以通过资产流量进行聚类,并保证可以精确进行资产聚合的聚类模型即可,且通过多个算法进行试验,保证了对资产流量进行聚类时的准确度。
在其中一个实施例中,将资产流量输入到聚类模型中,获取聚类结果包括:将资产流量进行解析,并基于解析结果,获取资产流量的特征值,特征值包括路由信息、数据包地址以及负载时间分片中至少一项;将特征值输入到聚类模型中,获取聚类结果。
可以理解的,在本实施例中,为了提高聚类的准确度以及减少聚类时的运算量,还可以将资产流量进行解析,对于资产流量解析的方法可以是基于libnids函数库进行IP分片重组、网络层协议(TCP/UDP)解析、应用层协议(如HTTP、DNS)解析,以获取解析结果,接着基于解析结果提取资产流量的特征值,可以理解的,特征值即可以代表该资产流量较为易识别以及突出的特征,可以减少一些不必要特征对聚类产生的干扰。在本实施例中,特征主要来自路由信息、数据包地址以及负载时间分片等,基于此特征值,将其输入到聚类模型中,便可以减少模型的运算量,并获取到对于资产流量的聚类结果,可以理解的,在本实施例中的聚类模型是基于特征值以及基于特征值的聚类结果作为建模数据,构建聚类模型的,基于此便可以使得对资产流量聚类时减少聚类模型的运算量以及提高聚类的准确性。
在另一个实施例中,基于聚类结果对待聚合资产进行聚合包括:基于聚类结果对待聚合资产进行分类,得到不同类别的待聚合资产;对同一类别的待聚合资产进行聚合。
在本实施例中,首先基于聚类结果对待聚合资产进行分类,可以理解的,聚类结果是对资产流量的聚类结果,本实施例中的资产流量是基于待聚合资产获取的,因此资产流量的聚类结果也可以代表待聚合资产的聚类结果,基于此,可以根据聚类结果将待聚合资产进行分类,接着便可以得到不同类别的待聚合资产基于此,将同一类别的待聚合资产进行聚合,还可以是基于分类结果,基于各待聚合资产的分类类别将待聚合资产导入到业务系统进行统一运维管理,可以理解的,基于分类结果进行聚合的待聚合资产更容易被识别且更易进行针对性管理,提高了对资产聚合后进行管理的效率。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。在本实施例中还提供了一种网络资产聚合装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
在本实施例中还提供了一种网络资产聚合装置,如图3所示,图3是本方法一实施例中的网络资产聚合装置的结构示意图,主要由四个模块构成:资产探测模块、业务流量解析模块、特征提取及聚类模型、业务系统管理模块。
资产探测模块:该模块通过主动和被动结合的方式,在企业或单位网络中进行资产探测,被动探测的主要手段是通过安装探针监听网络中的流量,接着解析流量并去重以得到资产集合,主动探测则主要采用对IP段以及端口进行扫描的形式发现资产,以获取本装置需要进行管理的网络资产。
业务流量解析模块:该模块用于实时监听上述模块获取到的网络资产的通讯流量,网络资产的通讯流量,也就是业务流量,在上述实施例中为资产流量,获取到网络资产对应的业务流量后,基于libnids函数库进行IP分片重组、网络层协议(TCP/UDP)解析、应用层协议(如HTTP、DNS)解析,以便于后续进行处理,该模块内置多种应用层协议解析插件,基本覆盖业务装置涉及的应用层协议。
行为特征提取及聚类模型:该模块分为特征提取和机器学习建模,将解析后的业务流量写入日志系统,从中提取行为特征进行机器学习建模,特征主要来自路由信息、数据包下一跳、负载时间分片等。采取多种算法进行建模实验后,本发明采用图社团检测算法训练建模。资产的业务流量以一周为周期,经过该模块检测聚类,并基于聚类结果,对业务流量以及网络资产打上业务标签。
业务系统管理模块:该模块的功能主要是弱点与入侵检测,首先将标签过的单个资产聚合成业务系统,并进行统一纳管,然后根据业务系统中所有资产的弱点情况进行风险计算和评估,风险的计算涉及到弱点的威胁等级、影响面、数量、资产暴露面,对于资产的风险计算是基于获取到的业务流量解析得到的,该业务系统可以对其中的资产进行统一运维管理,评估单个资产风险给整个业务系统造成的威胁并作出响应。
本实施例中的网络资产聚合装置,提高了资产聚合的准确率和精确度,使得同一业务系统的资产能够进行统一运维管理,避免某一资产出现的风险影响横向扩散,影响到整个业务系统造成损失。
图4是本方法另一个实施例中网络资产聚合装置的结构框图,如图4所示,该装置包括:资产流量获取模块10、资产流量聚类模块20、待聚合资产聚合模块30、资产获取模块、聚类模型构建模块。
资产流量获取模块10:用于获取待聚合的资产流量,资产流量包括待聚合资产进行通讯时使用的流量。
资产流量获取模块10,还用于对待聚合资产进行通讯时使用的流量进行监听,获取资产流量。
资产流量聚类模块20:用于将资产流量输入到聚类模型中,获取聚类结果,聚类模型通过机器学习建模得到。
待聚合资产聚合模块30:用于基于聚类结果对待聚合资产进行聚合。
待聚合资产聚合模块30,还用于基于聚类结果对所述待聚合资产进行分类,得到不同类别的待聚合资产;对同一类别的待聚合资产进行聚合。
资产获取模块:待聚合资产包括探测资产和/或扫描资产,获取待聚合资产的资产流量之前包括:基于安装在网络端的探针对网络端的流量进行监听,得到探测流量,探测流量包括网络端在预设时间内的全部流量,对探测流量进行解析,得到探测资产;和/或;扫描网络端的IP端以及端口,获取扫描资产。
资产获取模块,还用于对待聚合资产进行去重处理,获取去重后待聚合资产
聚类模型构建模块:用于获取建模数据,建模数据包括建模资产流量以及对应的聚类结果基于预设训练算法以及建模数据进行机器学习建模,得到聚类模型,聚类模型可以接收资产流量作为输入,并输出聚类结果作为输出。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在本实施例中还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取待聚合资产的资产流量,资产流量包括待聚合资产进行通讯时使用的流量。
S2,将资产流量输入到聚类模型中,获取聚类结果,聚类模型通过机器学习建模得到。
S3,基于聚类结果对待聚合资产进行聚合。
需要说明的是,在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,在本实施例中不再赘述。
此外,结合上述实施例中提供的网络资产聚合方法,在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种网络资产聚合方法。
应该明白的是,这里描述的具体实施例只是用来解释这个应用,而不是用来对它进行限定。根据本申请提供的实施例,本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例,均属本申请保护范围。
显然,附图只是本申请的一些例子或实施例,对本领域的普通技术人员来说,也可以根据这些附图将本申请适用于其他类似情况,但无需付出创造性劳动。另外,可以理解的是,尽管在此开发过程中所做的工作可能是复杂和漫长的,但是,对于本领域的普通技术人员来说,根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段,不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例,也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是,本申请中描述的实施例在没有冲突的情况下,可以与其它实施例结合。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对专利保护范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种网络资产聚合方法,其特征在于,包括:
获取待聚合资产的资产流量,所述资产流量包括所述待聚合资产进行通讯时使用的流量;
将所述资产流量输入到聚类模型中,获取聚类结果,所述聚类模型通过机器学习建模得到;
基于所述聚类结果对所述待聚合资产进行聚合。
2.根据权利要求1所述的网络资产聚合方法,其特征在于,所述待聚合资产包括探测资产和/或扫描资产,所述获取待聚合资产的资产流量之前包括:
基于安装在所述网络端的探针对所述网络端的流量进行监听,得到探测流量,所述探测流量包括所述网络端在预设时间内的全部流量,对所述探测流量进行解析,得到所述探测资产;
和/或;
扫描所述网络端的IP端以及端口,获取所述扫描资产。
3.根据权利要求1或2所述的网络资产聚合方法,其特征在于,所述获取待聚合资产的资产流量之前还包括:
对所述待聚合资产进行去重处理,获取去重后待聚合资产。
4.根据权利要求1所述的网络资产聚合方法,其特征在于,所述获取所述待聚合资产的资产流量包括:
对所述待聚合资产进行通讯时使用的流量进行监听,获取资产流量。
5.根据权利要求1所述的网络资产聚合方法,其特征在于,所述将所述资产流量输入到聚类模型中之前还包括:
获取建模数据,所述建模数据包括建模资产流量以及对应的建模聚类结果;
基于预设训练算法以及所述建模数据进行机器学习建模,得到所述聚类模型,所述聚类模型可以接收所述资产流量作为输入,并输出所述聚类结果作为输出。
6.根据权利要求1所述的网络资产聚合方法,其特征在于,所述将所述资产流量输入到聚类模型中,获取聚类结果包括:
将所述资产流量进行解析,并基于解析结果,获取所述资产流量的特征值,所述特征值包括路由信息、数据包地址以及负载时间分片中至少一项;
将所述特征值输入到所述聚类模型中,获取所述聚类结果。
7.根据权利要求1所述的网络资产聚合方法,其特征在于,所述基于所述聚类结果对所述待聚合资产进行聚合包括:
基于所述聚类结果对所述待聚合资产进行分类,得到不同类别的待聚合资产;
对同一类别的所述待聚合资产进行聚合。
8.一种网络资产聚合装置,其特征在于,包括:
资产流量获取模块:获取待聚合的资产流量,所述资产流量包括所述待聚合资产进行通讯时使用的流量;
资产流量聚类模块:将所述资产流量输入到聚类模型中,获取聚类结果,所述聚类模型通过机器学习建模得到;
待聚合资产聚合模块:用于基于所述聚类结果对所述待聚合资产进行聚合。
9.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的网络资产聚合方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的网络资产聚合方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110684148.1A CN113554056A (zh) | 2021-06-21 | 2021-06-21 | 网络资产聚合方法、装置、电子装置和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110684148.1A CN113554056A (zh) | 2021-06-21 | 2021-06-21 | 网络资产聚合方法、装置、电子装置和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113554056A true CN113554056A (zh) | 2021-10-26 |
Family
ID=78130749
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110684148.1A Withdrawn CN113554056A (zh) | 2021-06-21 | 2021-06-21 | 网络资产聚合方法、装置、电子装置和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113554056A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114301757A (zh) * | 2021-11-26 | 2022-04-08 | 腾讯科技(深圳)有限公司 | 一种网络资产处理方法、装置、设备以及存储介质 |
CN114417633A (zh) * | 2022-01-27 | 2022-04-29 | 北京永信至诚科技股份有限公司 | 一种基于平行仿真六元组的网络靶场场景构建方法和系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107579876A (zh) * | 2017-09-15 | 2018-01-12 | 中国移动通信集团广东有限公司 | 一种资产增量自动探测分析方法及装置 |
CN109034222A (zh) * | 2018-07-13 | 2018-12-18 | 杭州安恒信息技术股份有限公司 | 一种硬件资产分类方法、系统、装置及可读存储介质 |
CN109033471A (zh) * | 2018-09-05 | 2018-12-18 | 中国信息安全测评中心 | 一种信息资产识别方法及装置 |
CN111756598A (zh) * | 2020-06-23 | 2020-10-09 | 北京凌云信安科技有限公司 | 一种基于主动探测与流量分析结合的资产发现方法 |
-
2021
- 2021-06-21 CN CN202110684148.1A patent/CN113554056A/zh not_active Withdrawn
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107579876A (zh) * | 2017-09-15 | 2018-01-12 | 中国移动通信集团广东有限公司 | 一种资产增量自动探测分析方法及装置 |
CN109034222A (zh) * | 2018-07-13 | 2018-12-18 | 杭州安恒信息技术股份有限公司 | 一种硬件资产分类方法、系统、装置及可读存储介质 |
CN109033471A (zh) * | 2018-09-05 | 2018-12-18 | 中国信息安全测评中心 | 一种信息资产识别方法及装置 |
CN111756598A (zh) * | 2020-06-23 | 2020-10-09 | 北京凌云信安科技有限公司 | 一种基于主动探测与流量分析结合的资产发现方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114301757A (zh) * | 2021-11-26 | 2022-04-08 | 腾讯科技(深圳)有限公司 | 一种网络资产处理方法、装置、设备以及存储介质 |
CN114301757B (zh) * | 2021-11-26 | 2024-05-28 | 腾讯科技(深圳)有限公司 | 一种网络资产处理方法、装置、设备以及存储介质 |
CN114417633A (zh) * | 2022-01-27 | 2022-04-29 | 北京永信至诚科技股份有限公司 | 一种基于平行仿真六元组的网络靶场场景构建方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110198310B (zh) | 一种网络行为反作弊方法、装置及存储介质 | |
CN112153000B (zh) | 网络流量异常的检测方法、装置、电子装置和存储介质 | |
Katoen et al. | Bisimulation minimisation mostly speeds up probabilistic model checking | |
US10257222B2 (en) | Cloud checking and killing method, device and system for combating anti-antivirus test | |
US8797901B2 (en) | Method and its devices of network TCP traffic online identification using features in the head of the data flow | |
WO2017101606A1 (zh) | 一种数据采集分析系统和方法 | |
WO2019157335A1 (en) | Systems and methods for detecting pathogenic social media accounts without content or network structure | |
CN113554056A (zh) | 网络资产聚合方法、装置、电子装置和存储介质 | |
CN109495291B (zh) | 调用异常的定位方法、装置和服务器 | |
CN106156055A (zh) | 搜索引擎爬虫的识别、处理方法及装置 | |
CN108156141B (zh) | 一种实时数据识别方法、装置及电子设备 | |
CN112347100B (zh) | 数据库索引优化方法、装置、计算机设备和存储介质 | |
CN109542786A (zh) | 可视化测试方法及装置 | |
CN110943884A (zh) | 一种数据处理方法及装置 | |
CN112328458A (zh) | 基于flink数据引擎的数据处理方法、装置 | |
US20130198362A1 (en) | System for Identifying a Server to be Decommissioned | |
CN109995834A (zh) | 大流量数据处理方法、装置、计算设备及存储介质 | |
Yin et al. | Anomaly traffic detection based on feature fluctuation for secure industrial internet of things | |
CN113065748A (zh) | 业务风险评估方法、装置、设备及存储介质 | |
CN112488143A (zh) | 一种网络资产国产化识别方法、装置、设备及存储介质 | |
CN112329021B (zh) | 一种排查应用漏洞的方法、装置、电子装置和存储介质 | |
CN112989315B (zh) | 物联网终端的指纹生成方法、装置、设备和可读存储介质 | |
CN117391214A (zh) | 模型训练方法、装置及相关设备 | |
CN113783755A (zh) | 网络监测方法、装置、存储介质及电子装置 | |
CN114039765A (zh) | 一种配电物联网的安全管控方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20211026 |