CN112217817B - 一种网络资产风险监测方法、装置及相关设备 - Google Patents
一种网络资产风险监测方法、装置及相关设备 Download PDFInfo
- Publication number
- CN112217817B CN112217817B CN202011079766.5A CN202011079766A CN112217817B CN 112217817 B CN112217817 B CN 112217817B CN 202011079766 A CN202011079766 A CN 202011079766A CN 112217817 B CN112217817 B CN 112217817B
- Authority
- CN
- China
- Prior art keywords
- asset
- scanning
- risk
- issuing
- target network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 100
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000001514 detection method Methods 0.000 claims abstract description 40
- 238000012806 monitoring device Methods 0.000 claims abstract description 11
- 230000000007 visual effect Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 239000000523 sample Substances 0.000 claims description 7
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000005540 biological transmission Effects 0.000 description 6
- 239000000243 solution Substances 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000008186 active pharmaceutical agent Substances 0.000 description 3
- 238000002347 injection Methods 0.000 description 3
- 239000007924 injection Substances 0.000 description 3
- 235000014510 cooky Nutrition 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000002688 persistence Effects 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 101100348848 Mus musculus Notch4 gene Proteins 0.000 description 1
- 101100317378 Mus musculus Wnt3 gene Proteins 0.000 description 1
- 101000767160 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) Intracellular protein transport protein USO1 Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1433—Vulnerability analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer And Data Communications (AREA)
Abstract
本申请公开了一种网络资产风险监测方法，包括根据监测指令确定目标网络资产；根据外部配置信息确定资产下发规则；按照所述资产下发规则将所述目标网络资产发送至探测引擎；通过所述探测引擎对所述目标网络资产进行探测，获得风险信息；该网络资产风险监测方法可以更为有效地提高网络资产风险监测效率，保证网络资产安全。本申请还公开了一种网络资产风险监测装置、系统以及计算机可读存储介质，均具有上述有益效果。
Description
技术领域
本申请涉及网络安全技术领域，特别涉及一种网络资产风险监测方法，还涉及一种网络资产风险监测装置、系统以及计算机可读存储介质。
背景技术
随着互联网技术的快速发展，互联网场景下的每个企业或多或少都存在名下资产安全风险的问题，因此，网络资产风险监测逐渐成为人们重点关注的问题。相关技术中，多是根据企业多维度资产进行专项风险监测，不同的实现方式，对应的策略和模板也各有不同，当下发资产数量较多，或选择的策略和模板数量较多时，每个资产对应的所有策略都需要循环遍历并探测一遍，相当消耗性能和时间，由此可见，现有的网络资产风险监测存在着严重的探测效率低下的问题。
因此，如何有效提高网络资产风险监测效率，保证网络资产安全是本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种网络资产风险监测方法，该方法可以更为有效地提高网络资产风险监测效率，保证网络资产安全；本申请的另一目的是提供一种网络资产风险监测装置、系统以及计算机可读存储介质，也具有上述有益效果。
第一方面，本申请提供了一种网络资产风险监测方法，包括：
根据监测指令确定目标网络资产；
根据外部配置信息确定资产下发规则；
按照所述资产下发规则将所述目标网络资产发送至探测引擎；
通过所述探测引擎对所述目标网络资产进行探测，获得风险信息。
优选的，所述根据监测指令确定目标网络资产，包括：
根据所述监测指令确定资产扫描规则；
按照所述资产扫描规则进行网络资产扫描，获得所述目标网络资产。
优选的，所述根据所述监测指令确定资产扫描规则，包括：
根据所述监测指令确定资产扫描速率、资产扫描时间、扫描线程数量以及资产扫描类型。
优选的，所述将所述目标网络资产发送至探测引擎，包括：
通过kafka将所述目标网络资产发送至所述探测引擎。
优选的，所述通过所述探测引擎对所述目标网络资产进行探测，获得风险信息之后，还包括：
通过所述kafka将所述风险信息回传至前端界面进行可视化展示。
优选的，所述网络资产风险监测方法还包括：
将所述目标网络资产发送至所述前端界面进行可视化展示。
优选的，所述网络资产风险监测方法还包括：
将所述风险信息存储至预设存储空间。
第二方面，本申请还公开了一种网络资产风险监测装置，包括：
资产确定模块，用于根据监测指令确定目标网络资产；
规则确定模块，用于根据外部配置信息确定资产下发规则；
资产下发模块，用于按照所述资产下发规则将所述目标网络资产发送至探测引擎；
风险探测模块，用于通过所述探测引擎对所述目标网络资产进行探测，获得风险信息。
第三方面，本申请还公开了一种网络资产风险监测系统，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如上所述的任一种网络资产风险监测方法的步骤。
第四方面，本申请还公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现如上所述的任一种网络资产风险监测方法的步骤。
本申请所提供的一种网络资产风险监测方法，包括根据监测指令确定目标网络资产；根据外部配置信息确定资产下发规则；按照所述资产下发规则将所述目标网络资产发送至探测引擎；通过所述探测引擎对所述目标网络资产进行探测，获得风险信息。
可见，本申请所提供的网络资产风险监测方法，通过自定义网络资产下发规则进行目标网络资产的下发，并通过探测引擎对目标网络资产进行风险监测，更加方便用户根据自身实际需求实现网络资产的风险监测，进而快速准确的获得网络资产中所存在的风险信息，为企业资产可能受到的威胁提前预警，有效的提高了网络资产风险监测效率，进一步保证了网络资产安全。
本申请所提供的一种网络资产风险监测装置、系统以及计算机可读存储介质，均具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明现有技术和本申请实施例中的技术方案，下面将对现有技术和本申请实施例描述中需要使用的附图作简要的介绍。当然，下面有关本申请实施例的附图描述的仅仅是本申请中的一部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图，所获得的其他附图也属于本申请的保护范围。
图1为本申请所提供的一种网络资产风险监测方法的流程示意图；
图2为本申请所提供的一种网络资产风险监测装置的结构示意图；
图3为本申请所提供的一种网络资产风险监测系统的结构示意图。
具体实施方式
本申请的核心是提供一种网络资产风险监测方法，该方法可以更为有效地提高网络资产风险监测效率，保证网络资产安全；本申请的另一核心是提供一种网络资产风险监测装置、系统以及计算机可读存储介质，也具有上述有益效果。
为了对本申请实施例中的技术方案进行更加清楚、完整地描述，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行介绍。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1为本申请所提供的一种网络资产风险监测方法的流程示意图，该网络资产风险监测方法可包括：
S101：根据监测指令确定目标网络资产；
本步骤旨在实现目标网络资产的确定，该目标网络资产即为需要进行风险监测的网络资产，可以为互联网中产生的任意类型的资产信息。具体的，用户可通过终端设备根据实际需要发起监测指令，以便对当前网络中的所有资产信息或某类资产信息进行风险监测，对于系统而言，当接收到该监测指令后，即可通过指令解析确定目标网络资产。
作为一种优选实施例，上述根据监测指令确定目标网络资产，可以包括：根据监测指令确定资产扫描规则；按照资产扫描规则进行网络资产扫描，获得目标网络资产。
本优选实施例提供了一种较为具体的目标网络资产的获取方法，即基于用户设定的资产扫描规则进行资产扫描获得。具体而言，用户可根据实际需求设定资产扫描规则，并添加至监测指令中发送至系统，由此，系统即可根据该资产扫描规则进行网络资产扫描，获得目标网络资产。其中，资产扫描法规则的具体内容由用户根据实际需求设定，本申请对此不做限定，例如，可以为资产扫描类型、资产扫描速率等扫描信息。
作为一种优选实施例，上述根据监测指令确定资产扫描规则，可以包括：根据监测指令确定资产扫描速率、资产扫描时间、扫描线程数量以及资产扫描类型。
本优选实施例提供了一种具体类型的资产扫描规则，即上述资产扫描速率、资产扫描时间、扫描线程数量以及资产扫描类型，其中，资产扫描速率是指任务运行的速度，可包括正常、快速、慢速三个配合项；资产扫描时间是指定时扫描，如每隔预设时长进行一次资产扫描，或设定某个时间节点进行资产扫描等；扫描线程数量则是指开启任务运行线程的数量，其数量越多，资产扫描效率越高；资产扫描类型则用于确定需要获取的目标网络资产的类型。
S102：根据外部配置信息确定资产下发规则；
本步骤旨在实现资产下发规则的确定，根据外部配置信息获得。其中，外部配置信息是指用户根据实际需求所配置的相关信息，主要用于确定资产下发规则，该资产下发规则是指目标网络资产具体的下发模板和下发策略，其中，下发模板包括但不限于但数据相关扫描、数据库扫描、高危漏洞扫描等；下发策略包括但不限于AirOS NanoStation M25.6-beta目录遍历漏洞、AbanteCart imit跨站脚本、访问控制文件内容泄露等。由此，用户可以通过前端界面，根据实际需求在众多模板和策略中选择目标模板和目标策略生成对应的资产下发规则，进而实现目标网络资产的下发。
S103：按照资产下发规则将目标网络资产发送至探测引擎；
本步骤旨在实现目标网络资产的下发，具体而言，在完成资产下发规则以及目标网络资产的确定后，即可按照该资产下发规则将目标网络资产下发至探测引擎，其中，探测引擎用于对目标网络资产进行风险探测，获得该目标网络资产中所存在的风险信息，完成风险监测。
作为一种优选实施例，上述将目标网络资产发送至探测引擎，可以包括：通过kafka将目标网络资产发送至探测引擎。
本优选实施例提供了一种较为具体的目标网络资产的发送方法，即基于kafka实现。具体而言，kafka是一种开源流处理平台，可以实时的处理大量数据以满足各种需求场景，具有高吞吐量、低延迟的特性，具有较好的持久性、可靠性以及容错性。
S104：通过探测引擎对目标网络资产进行探测，获得风险信息。
本步骤旨在实现目标网络资产的风险监测，直接利用探测引擎对目标网络资产进行风险探测即可，具体可利用数据挖掘技术实现。可以理解的是，上述探测引擎的具体类型并不影响本技术方案的实施，可实现风险探测即可，本申请对此不做限定。
作为一种优选实施例，上述通过探测引擎对目标网络资产进行探测，获得风险信息之后，还可以包括：通过kafka将风险信息回传至前端界面进行可视化展示。
本优选实施例旨在实现风险信息的可视化展示，以便用户可以更为直观清晰的了解当前目标网络资产所存在的风险信息，并及时采取相应的预警措施，进而保证网络资产安全。更为具体的，在通过探测引擎完成风险探测后，可再次通过kafka将风险信息回传至前端界面，完成风险信息的可视化展示。
作为一种优选实施例，该网络资产风险监测方法还可包括：将目标网络资产发送至前端界面进行可视化展示。
本优选实施例旨在实现目标网络资产的可视化展示，在展示风险信息的同时，可将对应的目标网络资产一同发送至前端界面进行展示，由此，将目标网络资产和风险信息在同一界面进行显示，以便形成对照。
作为一种优选实施例，该网络资产风险监测方法还可包括：将风险信息存储至预设存储空间。
本优选实施例旨在实现风险信息的存储，以便后续查询、溯源等，具体的，将风险信息存储至预先建立的存储空间即可，该存储空间包括但不限于数据库、缓存、内存、硬件存储器等。
可见，本申请所提供的网络资产风险监测方法，通过自定义网络资产下发规则进行目标网络资产的下发，并通过探测引擎对目标网络资产进行风险监测，更加方便用户根据自身实际需求实现网络资产的风险监测，进而快速准确的获得网络资产中所存在的风险信息，为企业资产可能受到的威胁提前预警，有效的提高了网络资产风险监测效率，进一步保证了网络资产安全。
在上述各实施例的基础上，本优选实施例提供了一种更为具体的网络资产风险监测方法，其具体实现流程如下：
首先，进入可视化界面，界面中显示有多个选择项，以供用户选择，选择项包括监测开关、扫描速率、扫描时间、展示方法等。其中，监测开关是任务的总开关，开关开启，任务进行，开关闭合，任务停止；扫描速率用于设置任务运行速度，包括三个配合项，正常、快速、慢速；扫描时间是定时任务的配置点，可以根据每天、每周、每月等配置，到点就会运行任务；展示方法可以选择在监测过程中展示网络资产或未监测时展示网络资产，当然，展示的均为需要监测的网络资产，默认展示已入库的网络资产，在此过程中，还可进行网络资产筛选，具体可根据分组、联系人、资产名称等实现。
进一步，点击监测按钮或取消监测按钮，进入网络资产监测。首先，在监测过程中，可以在复选框处进行批量选择，以对所有网络资产进行风险监测；也可以根据需求进行自定义选择，以对部分网络资产进行风险监测；其中，在自定义选择时，还可以同时选择资产下发策略和模板，以根据该下发策略和下发模板实现网络资产下发。进一步，将确定的网络资产通过kafka下发到引擎端，由引擎端对网络资产进行风险数据挖掘，并将获取到的风险数据通过kafka回传到平台端。最后，平台端解析数据并将风险数据保存，展示在风险相关的功能界面上。
其中，资产下发模板包括但不限于：
大数据相关扫描
虚拟化相关扫描
数据库扫描
网络设备和防火墙
高危漏洞扫描
验证性扫描
快速扫描
全部漏洞扫描
Windows扫描
Linux扫描
方程式泄漏工具漏洞扫描
DNS漏洞检测
全部漏洞扫描
快速漏洞扫描
网站特征识别
自动化渗透扫描
Web系统组件漏洞扫描
其中，资产下发策略包括但不限于：
AContent 1.3本地文件包含漏洞
ATutor 2.2跨站脚本漏洞
访问控制文件内容泄露
文件备份
发现PHP未配置open_basedir
Bash远程命令执行
使用Http基础认证
SQL盲注
SQL盲注(Base64)
源代码泄露
代码注入
操作系统命令注入
Confluence目录遍历漏洞
Cookie SQL注入
会话Cookie中缺少secure属性
跨站伪造用户请求
数据库错误
ASP.NET允许文件调试
DNS域传送
Docker Remote API未授权访问
任意文件下载
Flash文件源代码泄露
Flask应用开启Debug模式
允许Frontpage扩展
HFS网络文件服务器远程命令执行
Host头攻击
开启options方法
Http响应拆分
更进一步地，基于探测引擎的网络资产挖掘架构设计如下：
整个结构包括api控制台部分、调度部分、中间件部分、引擎以及外挂程序。(1)api控制台部分负责对外和对内提供api服务，该控制台是一个前后端分离的web管理平台，可以根据各个引擎管理查看和管理对应的任务，还可以根据需要启动多个服务，并使用nginx反向代理对外输出；(2)调度部分负责任务定时下发、任务状态接收以及异常监控和处理；(3)中间件部分使用roketmq下发任务、命令和引擎状态，通过kafka回传任务进度及结果；(4)外挂程序分为两种，其一是用于数据输出转发，其二是用于格式化处理数据并下发流量任务作为被动扫描数据输入。
1、数据字典
1.1任务状态：
1.2引擎命令：
| 命令编号 | 描述 |
| 1 | 配置下发 |
| 2 | 任务停止 |
| 3 | 容器重启 |
| 4 | 数据重发(预留) |
1.3消息队列：
| 编号 | 中间件 | 消息类型 | 描述 |
| engine.center.cmd.${engineId} | mq | topic | 引擎命令 |
| engine.center.taskpool.${engineId} | mq | queue | 主动扫描任务 |
| engine.center.flow.${engineId} | mq | queue | 流量扫描 |
| engine.center.progress.${engineId} | kafka | topic | 进度发送 |
| engine.center.content.${engineId} | kafka | topic | 结果发送 |
| engine.center.engine.status | mq | topic | 引擎状态 |
| engine.center.engine.register | mq | queue | 引擎注册 |
1.4容器重启消息：
调度器监控到容器异常，通过指定topic向容器发送重启消息。
| 字段 | 类型 | 含义 |
| cmd | int | 3 |
| ip | String | 任务id如6cf30022-dcec-40a5-a5e7-f3b6c97893c3 |
1.5配置下发消息：
api接收到配置更新请求后，主动向mq的指定topic发送配置更新；调度器每隔1分钟检查一次，是否在这1分钟内有引擎注册上来且版本不一致，如果存在则向指定topic下发配置。
| 字段 | 类型 | 含义 |
| cmd | int | 1 |
| type | String | 配置类型 |
| openId | String | 平台标识 |
| files | Map<String,String> | 文件名-gzip文件内容 |
| version | String | 该平台弱口令字典版本 |
1.6任务停止：
调度器、api向mq的指定topic发送任务停止广播消息。
| 字段 | 类型 | 含义 |
| cmd | int | 4 |
| id | String | 任务id |
| errorCode | int | 1-控制端异常调度；2-用户主动停止 |
| sendTime | long | 发送时间 |
1.7扫描任务下发：
调度器根据engineNode定时向mq指定队列发送任务消息。
1.8任务发送：
任务启动发送开始进度，任务进行中每分钟发送一次进度，任务结束发送一次结束进度。
| 字段 | 类型 | 含义 |
| openId | String | String |
| taskId | String | taskId |
| id | String | subtask id |
| type | String | 子类型 |
| current | int | 当前扫描数 |
| total | int | 总扫描数 |
| progress | int | 进度0～100 |
| status | int | 1-开始；2-运行中；3-结束 |
| engineType | String | 引擎类型(入库更方便) |
| engineIp | String | 引擎标识 |
| sendTime | long | 发送时间 |
1.9结果发送：
引擎扫描结束发送结果
| 字段 | 类型 | 含义 |
| openId | String | String |
| taskId | String | taskId |
| id | String | subtask id |
| type | String | 引擎子类型 |
| contents | List<Map<String,Object>> | 结果 |
| engineIp | String | 引擎标识 |
| sendTime | long | 发送时间 |
1.10引擎状态发送：
每分钟发送心跳
| 字段 | 类型 | 含义 |
| current | int | 当前任务数 |
| total | String | 任务池大小 |
| engineId | String | 引擎类型 |
| cpuload | String | cpu使用量 |
| memery | String | 内存使用量 |
| disk | String | 磁盘使用量 |
| sendTime | long | 发送时间 |
1.11引擎注册：
引擎启动发送注册信息
2、数据库表
2.1 task：task索引持久化task数据，按引擎模块、按月分索引，如task_${engineId}_202008、task_${engineId}_202007等。
2.2 subtask：subtask索引持久化子任务数据，按引擎模块、按月分索引，如subtask_${engineId}_202008、subtask_${engineId}_202007等。
2.3 seq：seq索引持久化任务序列，按引擎模块索引，如seq_${engineId}。
| 字段 | 类型 | 含义 |
| data | long | 序列值 |
2.4 engine_type：engine_type索引持久化引擎类型信息，该信息用于任务下发以及相关的异常处理。
| 字段 | 类型 | 含义 |
| id | String | engineId |
| version | String | 引擎版本 |
| progressTimeout | int | 卡死任务判定 |
| runningTimeout | int | 超时任务判定 |
| preAllocSize | int | 预分发任务数 |
| sendSpace | int | 发送间隔(秒) |
| retryCount | int | 任务异常最大重试次数 |
2.5 engine_group：engine_node索引持久化节点集群信息，用于展示和任务下发。
2.6 engine_node：engine_node索引持久化节点信息，仅用于api或者控制台展示。
| 字段 | 类型 | 含义 |
| id | String | 节点类型 |
| engineId | int | 引擎类型 |
| createTime | long | 注册时间 |
| lastUptTime | long | 最近更新时间 |
| engineIps | String | 引擎出口IP，逗号分隔 |
| current | int | 当前任务量(定期更新) |
| total | int | 当前任务容量(定期更新) |
| cpuload | String | cpu |
| memery | String | 内存 |
| disk | String | 磁盘 |
2.7 engine_policy：engine_policy索引用于存放引擎的策略信息，用于展示和查询，api需要根据策略是否有效过滤下发任务中的相关策略。
2.8 config_dic config_dic索引配置按引擎、按平台、按配置类型存放配置的文件信息。
2.9 config_version：config_version索引配置按引擎、按平台、按配置类型维护版本信息。
进一步，引擎调度中台分为api、调度器以及引擎三个核心部分，代码结构分层实现由common、dao、messagecenter、service、engineapper、schedual、api等模块组成。(1)common：定义所有的数据字典、工具类；(2)dao：数据持久化处理；(3)messagecenter：消息处理；(4)service：业务逻辑层；(5)enginewrapper：引擎包装层，实现引擎的基本调度功能，提供入口函数，供引擎集成；(6)schedual：调度器，实现消息接收及定时调度；(7)api：提供对内、对外api，实现cmd命令发送。
1、api模块：
提供对内、对外api，其中对内API清单如下：
2、调度模块：
2.1创建中任务补偿
(1)调度器获取引擎类型列表，并按引擎类型遍历task_${engineId}中status字段为0，且创建时间超过5分钟的任务；
(2)执行子任务生成函数；
(3)修改对应的status为1。
2.2接收节点状态心跳
(1)从mq接收到引擎回传的状态信息，并更新到本地缓存；
(2)master每分钟将本地缓存存储到索引engine_group\engine_node中。
2.3接收任务进度
(1)从kafka接收引擎回传的任务进度信息；
(2)更新subtask任务的status、进度信息；
(3)如果status为1，更新task对应记录的进度信息和status信息；
(4)如果是结束信息，判断整个大任务是否结束，并更新task的进度和status。
2.4下发任务：
(1)选举成功，获取引擎类型列表；
(2)生成对应引擎的任务下发定时处理器；
(3)每个任务下发定时处理器执行以下步骤：
a、按引擎配置的下发间隔定期执行；
b、获取按引擎类型节点集群(内存)；
c、获取该引擎所有节点集群的空闲及任务空闲量；
d、遍历每个节点集群，查询engineNode为该节点status＝4的subtask任务，如果大于该集群任务空闲量+预分配，则结束本集群的本次下发，否则继续执行；
e、根据该集群的空闲量查询status＝1，engineNode为该节点的任务；
f、将任务通过线程池发送到mq，并更新对应的subtask记录status＝4。
2.5卡死重置：
(1)查询所有引擎类型并缓存；
(2)分页查询lastUptTime超过引擎进度最大更新时间且status＝2的任务；
(3)打印警告日志；
(4)如果retryCount超过该引擎最大重试次数，则终止该任务，否则重启该任务：
a、下发停止消息；
b、修改subtask status＝1。
2.6超时重置：
(1)遍历所有运行中的任务；
(2)分页查询startTime超过任务timeout+60s时间且status＝2的任务；
(3)打印警告日志；
(4)如果retryCount超过该引擎最大重试次数，则终止该任务，否则重启该任务：
a、下发停止消息；
b、修改subtask status＝1。
2.7节点异常告警：
(1)节点集群失联(延时启动)：
a、从es查询所有集群列表；
b、匹配本地缓存中对应的节点集群是否存在ok的心跳；
c、内存中不存在的节点，发送钉钉告警；
(2)节点心跳失联清理：
a、遍历本地缓存中的节点列表；
b、查询引擎心跳状态(10分钟内无心跳的是error)；
c、日志告警，并在本地缓存、engine_node中移除error节点；
(3)节点集群任务异常告警：
30分钟内没有任务正常结束的情况(errorCode＝0)，排除无运行和等待任务以及存在运行任务时间少于30分钟两种情况；
(4)判定集群任务进度：
十分钟内，若连续(超过10个)任务进度total均为0，钉钉告警。
3、节点模块：
3.1任务接收：
(1)节点启动配置了节点的引擎属性和所属集群；
(2)循环从对应的mq queue拉取任务；
(3)如果取到任务，判断是否存在该任务的暂停消息，且该消息sendTime晚于任务下发时间，如果没有则投入到任务池中继续拉取任务；
(4)如果没有拉取到任务，则暂停10秒后继续拉取任务。
3.2任务进度回传：
(1)任务进入任务池后先发送开始进度status＝1，进度0/0；
(2)开启线程，每隔N秒定时回传进度status＝2，调用进度获取方法获取进度，直至任务结束；
(3)执行引擎逻辑(引擎实现)
(4)执行结束调用结果获取方法，如果结果不为空，则发送结果；
(5)发送任务结束进度status＝3，调用进度获取方法获取进度。
3.3任务结果回传：
参照3.2(4)，可分批发送，如100条(可配)一批。
3.4配置同步：
弱口令字典配置下发分为主动和被动方式，引擎在线的情况下，接收到业务端通过api转mq下发的字典信息更新本地字典和版本文件；主机漏扫引擎启动时带上版本文件内容调用api获取最新的增量字典信息。
3.5命令接收：
(1)程序启动监听引擎命令mq topic；
(2)接收到命令之后根据类型选择执行方法，其中内置方法采用内置实现，其他命令由引擎扩展实现。
3.6结束任务：
(1)正常结束：任务执行完成，阻塞方法正常退出，返回errorCode＝0；
(2)超时结束：节点超时或者cmd发送主动超时，返回errorCode＝1；
(3)主动终止：用户主动发送停止任务，返回errorCode＝2。
3.7 runtime管理：
引擎框架提供runtime管理功能，防止进程无法正确杀死。
3.8线程池管理：
引擎新开线程都使用基类的线程池，由基类统一维护，任务结束统一关闭。
3.9配置更新：
(1)api获取到更新的策略之后通过mq主动推送给节点，节点接收到配置后更新到本地缓存，并备份到磁盘；
(2)引擎启动发送引擎注册消息，调用getEngineVersion带上配置的版本号等信息，调度端接收到注册信息之后匹配引擎的配置与当前版本是否一致，再选择通过mq下发配置。
可见，本申请实施例所提供的网络资产风险监测丰富，通过自定义网络资产下发规则进行目标网络资产的下发，并通过探测引擎对目标网络资产进行风险监测，更加方便用户根据自身实际需求实现网络资产的风险监测，进而快速准确的获得网络资产中所存在的风险信息，为企业资产可能受到的威胁提前预警，有效的提高了网络资产风险监测效率，进一步保证了网络资产安全。
为解决上述技术问题，本申请还提供了一种网络资产风险监测装置，请参考图2，图2为本申请所提供的一种网络资产风险监测装置的结构示意图，该网络资产风险监测装置可包括：
资产确定模块1，用于根据监测指令确定目标网络资产；
规则确定模块2，用于根据外部配置信息确定资产下发规则；
资产下发模块3，用于按照资产下发规则将目标网络资产发送至探测引擎；
风险探测模块4，用于通过探测引擎对目标网络资产进行探测，获得风险信息。
可见，本申请实施例所提供的网络资产风险监测装置，通过自定义网络资产下发规则进行目标网络资产的下发，并通过探测引擎对目标网络资产进行风险监测，更加方便用户根据自身实际需求实现网络资产的风险监测，进而快速准确的获得网络资产中所存在的风险信息，为企业资产可能受到的威胁提前预警，有效的提高了网络资产风险监测效率，进一步保证了网络资产安全。
作为一种优选实施例，上述资产确定模块1可包括：
扫描规则确定单元，用于根据监测指令确定资产扫描规则；
网络资产扫描单元，用于按照资产扫描规则进行网络资产扫描，获得目标网络资产。
作为一种优选实施例，上述扫描规则确定单元可具体用于根据监测指令确定资产扫描速率、资产扫描时间、扫描线程数量以及资产扫描类型。
作为一种优选实施例，上述资产下发模块3可具体用于按照资产下发规则，通过kafka将目标网络资产发送至探测引擎。
作为一种优选实施例，该网络资产风险监测装置还可包括风险信息显示模块，用于在上述通过探测引擎对目标网络资产进行探测，获得风险信息之后，通过kafka将风险信息回传至前端界面进行可视化展示。
作为一种优选实施例，该网络资产风险监测装置还可包括网络资产显示模块，用于将目标网络资产发送至前端界面进行可视化展示。
作为一种优选实施例，该网络资产风险监测装置还可包括网络资产保存模块，用于将风险信息存储至预设存储空间。
对于本申请提供的装置的介绍请参照上述方法实施例，本申请在此不做赘述。
为解决上述技术问题，本申请还提供了一种网络资产风险监测系统，请参考图3，图3为本申请所提供的一种网络资产风险监测系统的结构示意图，该网络资产风险监测系统可包括：
存储器10，用于存储计算机程序；
处理器20，用于执行计算机程序时可实现如上述任意一种网络资产风险监测方法的步骤。
对于本申请提供的系统的介绍请参照上述方法实施例，本申请在此不做赘述。
为解决上述问题，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如上述任意一种网络资产风险监测方法的步骤。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于本申请提供的计算机可读存储介质的介绍请参照上述方法实施例，本申请在此不做赘述。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的技术方案进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请的保护范围内。
Claims (7)
1.一种网络资产风险监测方法，其特征在于，包括：
根据监测指令确定目标网络资产；
根据外部配置信息确定资产下发规则，所述资产下发规则包括所述目标网络资产具体的下发模板和下发策略，所述下发模板包括数据相关扫描、数据库扫描、高危漏洞扫描，所述下发策略包括AirOS NanoStation M2 5.6-beta目录遍历漏洞、AbanteCart imit跨站脚本、访问控制文件内容泄露；
按照所述资产下发规则将所述目标网络资产发送至探测引擎；
通过所述探测引擎对所述目标网络资产进行探测，获得风险信息；
所述根据监测指令确定目标网络资产，包括：
根据所述监测指令确定资产扫描规则；
按照所述资产扫描规则进行网络资产扫描，获得所述目标网络资产；
所述根据所述监测指令确定资产扫描规则，包括：
根据所述监测指令确定资产扫描速率、资产扫描时间、扫描线程数量以及资产扫描类型；
所述将所述目标网络资产发送至探测引擎，包括：
通过kafka将所述目标网络资产发送至所述探测引擎。
2.根据权利要求1所述的网络资产风险监测方法，其特征在于，所述通过所述探测引擎对所述目标网络资产进行探测，获得风险信息之后，还包括：
通过所述kafka将所述风险信息回传至前端界面进行可视化展示。
3.根据权利要求2所述的网络资产风险监测方法，其特征在于，还包括：
将所述目标网络资产发送至所述前端界面进行可视化展示。
4.根据权利要求1所述的网络资产风险监测方法，其特征在于，还包括：
将所述风险信息存储至预设存储空间。
5.一种网络资产风险监测装置，其特征在于，包括：
资产确定模块，用于根据监测指令确定目标网络资产；
规则确定模块，用于根据外部配置信息确定资产下发规则，所述资产下发规则包括所述目标网络资产具体的下发模板和下发策略，所述下发模板包括数据相关扫描、数据库扫描、高危漏洞扫描，所述下发策略包括AirOS NanoStation M2 5.6-beta目录遍历漏洞、AbanteCart imit跨站脚本、访问控制文件内容泄露；
资产下发模块，用于按照所述资产下发规则将所述目标网络资产发送至探测引擎；
风险探测模块，用于通过所述探测引擎对所述目标网络资产进行探测，获得风险信息；
所述资产确定模块，包括：
扫描规则确定单元，用于根据监测指令确定资产扫描规则；
网络资产扫描单元，用于按照资产扫描规则进行网络资产扫描，获得目标网络资产；
所述扫描规则确定单元，具体用于根据监测指令确定资产扫描速率、资产扫描时间、扫描线程数量以及资产扫描类型；
所述资产下发模块，具体用于按照资产下发规则，通过kafka将目标网络资产发送至探测引擎。
6.一种网络资产风险监测系统，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至4任一项所述的网络资产风险监测方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现如权利要求1至4任一项所述的网络资产风险监测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011079766.5A CN112217817B (zh) | 2020-10-10 | 2020-10-10 | 一种网络资产风险监测方法、装置及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011079766.5A CN112217817B (zh) | 2020-10-10 | 2020-10-10 | 一种网络资产风险监测方法、装置及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112217817A CN112217817A (zh) | 2021-01-12 |
| CN112217817B true CN112217817B (zh) | 2023-04-07 |
Family
ID=74053132
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011079766.5A Active CN112217817B (zh) | 2020-10-10 | 2020-10-10 | 一种网络资产风险监测方法、装置及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112217817B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112926942A (zh) * | 2021-03-08 | 2021-06-08 | 北京华顺信安信息技术有限公司 | 一种互联网资产暴露信息排查方法 |
| CN113765704B (zh) * | 2021-08-10 | 2022-09-27 | 广州天懋信息系统股份有限公司 | 一种专网数据采集方法、装置、设备及储存介质 |
| CN113765890B (zh) * | 2021-08-10 | 2022-09-09 | 广州天懋信息系统股份有限公司 | 一种专网安全风险处理方法、装置、设备及储存介质 |
| CN114070608A (zh) * | 2021-11-12 | 2022-02-18 | 北京天融信网络安全技术有限公司 | 一种基于流量分析的资产优化方法及装置 |
| CN113965417A (zh) * | 2021-12-21 | 2022-01-21 | 北京微步在线科技有限公司 | 一种资产风险检测方法及装置 |
| CN117411764B (zh) * | 2023-10-17 | 2024-07-02 | 广州安润信息科技有限公司 | 一种内网资产监测方法、设备及存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103118003B (zh) * | 2012-12-27 | 2015-11-18 | 北京神州绿盟信息安全科技股份有限公司 | 一种基于资产的风险扫描方法、装置及系统 |
| US9191409B2 (en) * | 2013-11-25 | 2015-11-17 | Level 3 Communications, Llc | System and method for a security asset manager |
| CN105320889A (zh) * | 2015-02-10 | 2016-02-10 | 中国移动通信集团广东有限公司 | 一种安全检测方法及装置 |
| CN107800709B (zh) * | 2017-11-06 | 2019-11-08 | 杭州迪普科技股份有限公司 | 一种生成网络攻击检测策略的方法及装置 |
| CN108737425B (zh) * | 2018-05-24 | 2021-06-08 | 北京凌云信安科技有限公司 | 基于多引擎漏洞扫描关联分析的脆弱性管理系统 |
-
2020
- 2020-10-10 CN CN202011079766.5A patent/CN112217817B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112217817A (zh) | 2021-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112217817B (zh) | 一种网络资产风险监测方法、装置及相关设备 | |
| CN109033123B (zh) | 基于大数据的查询方法、装置、计算机设备和存储介质 | |
| US12034754B2 (en) | Using static analysis for vulnerability detection | |
| US20220004546A1 (en) | System for automatically discovering, enriching and remediating entities interacting in a computer network | |
| US11729193B2 (en) | Intrusion detection system enrichment based on system lifecycle | |
| Ficco | Security event correlation approach for cloud computing | |
| US10542021B1 (en) | Automated extraction of behavioral profile features | |
| CN105074698B (zh) | 并行地执行连续事件处理(cep)查询 | |
| US9350749B2 (en) | Application attack monitoring | |
| US10671723B2 (en) | Intrusion detection system enrichment based on system lifecycle | |
| CN107094158B (zh) | 一种自动化内网安全脆弱分析系统 | |
| US20180075240A1 (en) | Method and device for detecting a suspicious process by analyzing data flow characteristics of a computing device | |
| US20190044961A1 (en) | System and methods for computer network security involving user confirmation of network connections | |
| CN111355622A (zh) | 容器的业务监控方法、系统和计算机可读存储介质 | |
| US11818156B1 (en) | Data lake-enabled security platform | |
| US20220222266A1 (en) | Monitoring and alerting platform for extract, transform, and load jobs | |
| US11973784B1 (en) | Natural language interface for an anomaly detection framework | |
| US20150281264A1 (en) | Security data processing method and system | |
| EP2856332A1 (en) | Parameter adjustment for pattern discovery | |
| US8782754B2 (en) | Implementing secured, event-based layered logout from a computer system | |
| US20230336444A1 (en) | Method and Apparatus for Determining Application Service Dependency and Processor | |
| CN117194338A (zh) | 分布式日志数据的处理方法、装置、设备及存储介质 | |
| US12095796B1 (en) | Instruction-level threat assessment | |
| US9185175B1 (en) | System and method for optimizing visual session recording for user account management in a computing environment | |
| US9667642B2 (en) | Apparatus, system, and method for reconciling network discovered hosts across time |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |