CN114036365A - 一种分布式网络空间搜索方法、系统及存储介质 - Google Patents

Abstract

本发明公开了一种分布式网络空间搜索方法、系统及存储介质，其中分布式网络空间搜索方法通过VPS技术部署的数据爬虫节点，爬取网络空间主机及相应数据，而后通过判断域名是否合法及是否存活排除无效的主机，准确记录更新网络空间资源，其次先后通过MD5值及请求数据包从不同渠道获取系统漏洞信息及应用程序信息，从而取并集获得尽可能详细的漏洞详情，并显示于WebUI；本发明所采集的数据更为全面，解决了现有的风险发掘方式过于依赖外部数据，且具有一定的延迟性，对于企业而言不利于网络空间资源的安全管理的问题。

Description

一种分布式网络空间搜索方法、系统及存储介质

技术领域

本发明涉及网络空间技术领域，尤其涉及的是一种分布式网络空间搜索方法、系统及存储介质。

背景技术

凡将地理位置不同，并具有独立功能的多个计算机系统通过通信设备和线路而连接起来，且以功能完善的网络软件（网络协议、信息交换方式及网络操作系统等）实现网络资源共享的系统，可称为计算机网络空间。网络空间的四要素包括：1、通信线路和通信设备，2、独立功能的计算机，3、网络软件支持，4、实现数据通信与资源共享。

申请公布号为CN109885562A的发明专利申请提供了一种基于网络空间安全的大数据智能分析系统，包括统一接口模块、数据采集模块、数据处理模块、分布式存储模块、数据分析模块、交互呈现应用模块；所述统一接口模块，被配置为获取网络安全相关数据，所述网络安全相关数据包括系统所处行政区域内的网络安全数据、其余相同系统和/或其余网络安全信息源的网络安全数据；所述网络安全相关数据的种类包括流量信息、情报信息、云端数据信息、网络组件的日志信息；数据采集模块，被配置为通过统一接口模块，以采集或者查询或者主动扫描、探测或者被授权获取网络空间安全相关数据；数据处理模块，被配置为还原所采集数据，并针对不同种类的网络安全相关数据进行不同的预处理操作；所述预处理操作包括清洗、缓存、提取、归一化、归档；分布式存储模块，被配置为支持数据采集模块、数据处理模块、数据分析模块和交互呈现模块的数据相关处理操作，所述数据相关处理操作包括数据缓存、数据存储、数据提取、数据查询、数据搜索、数据格式化；数据分析模块，被配置为对数据处理模块输出的、分布式存储模块存储的数据进行提取和分析，实现网络安全监测，并将分析结果传输给交互呈现应用模块；所述网络安全监测包括网络异常检测、实时安全监测、安全态势感知、大数据关联分析、高级持续性威胁发现、案件追踪溯源分析；交互呈现应用模块，被配置为综合呈现本系统监管对象的网络安全威胁态势，并进行平台管理。

该发明专利通过定制化服务的方式定期获取互联网上的威胁情报、恶意样本、恶意URL、恶意IP、Whois、DNS解析、DDOS攻击、僵、木、蠕、毒等网络安全态势信息和威胁情报信息，来发掘潜在的风险。这种风险发掘方式过于依赖外部数据，且具有一定的延迟性，对于企业而言不利于网络空间资源的安全管理。

可见，现有技术还有待于改进和发展。

发明内容

鉴于上述现有技术的不足，本发明的目的在于提供一种分布式网络空间搜索方法、系统及存储介质，旨在解决现有的风险发掘方式过于依赖外部数据，且具有一定的延迟性，对于企业而言不利于网络空间资源的安全管理的问题。

本发明的技术方案如下：

一种分布式网络空间搜索方法，其包括：

预先构建系统漏洞数据库及应用程序漏洞数据库；

通过VPS技术部署数据爬虫节点，爬取网络空间内主机信息，以及与所述主机信息相对应的主机系统数据及应用程序数据；

判断所述主机信息内的域名是否合法，若是则继续判断所述域名是否存活，若是则分别根据所述主机系统数据的系统MD5值及应用程序数据中的应用MD5值确定系统版本及应用程序版本；

根据系统版本及预先构建的系统漏洞数据库确定第一系统漏洞详情，并根据应用程序版本及应用程序漏洞数据库确定第一应用程序漏洞详情；

向所述主机信息对应的主机发送预先构造的请求数据包，分别获取所述主机上系统及应用程序的第二系统漏洞详情及第二应用程序漏洞详情；

将所述第一系统漏洞详情与第二系统漏洞详情并集得到最终系统漏洞详情，并将第一应用程序漏洞详情与第二应用程序漏洞详情并集得到最终应用程序漏洞详情；

将所得到的最终系统漏洞详情及最终应用程序漏洞详情回传后连同主机信息、主机系统数据及应用程序数据显示于WebUI。

上述方案的效果在于：本发明通过VPS技术部署的数据爬虫节点，爬取网络空间主机及相应数据，而后通过判断域名是否合法及是否存活排除无效的主机，准确记录更新网络空间资源，其次先后通过MD5值及请求数据包从不同渠道获取系统漏洞信息及应用程序信息，从而取并集获得尽可能详细的漏洞详情，并显示于WebUI；本发明所采集的数据更为全面，解决了现有的风险发掘方式过于依赖外部数据，且具有一定的延迟性，对于企业而言不利于网络空间资源的安全管理的问题。

在进一步地优选方案中，所述将所得到的最终系统漏洞详情及最终应用程序漏洞详情回传后连同主机信息、主机系统数据及应用程序数据显示于WebUI的步骤之后还包括：利用Elastic Search接收用户发出的搜索指令，并查询回传的数据显示于WebUI。

上述方案的效果在于：ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，能够达到实时搜索，稳定、可靠且快速，安装使用方便。本发明利用ElasticSearch来解决搜索功能的创建问题，提供一个运行速度快、零配置且完全免费的搜索引擎，该搜索引擎可以使用JSON通过HTTP来索引数据，更重要的是其能够实时搜索，适用于多用户场景，且易扩展，可从一台扩展到数百台之多。

在进一步地优选方案中，所述向所述主机信息对应的主机发送预先构造的请求数据包，分别获取所述主机上系统及应用程序的第二系统漏洞详情及第二应用程序漏洞详情的步骤之后还包括：将第二系统漏洞详情与第一系统漏洞详情的差集按照系统版本存储于系统漏洞数据库，并将第二应用程序漏洞详情与第一应用程序漏洞详情的差集按照应用程序版本存储于应用程序漏洞数据库。

上述方案的效果在于：计算第一系统漏洞详情与第二系统漏洞详情的差集可得到：1、属于第一系统漏洞详情但不属于第二系统漏洞详情的漏洞数据，2、属于第二系统漏洞详情但不属于第一系统漏洞详情的漏洞数据，其中1已经存储于系统漏洞数据库，因此属于重合数据，2属于系统漏洞数据库未记录的数据，将2存储于系统漏洞数据库可更新补足系统漏洞数据；本发明通过同样的方式可更新补足应用程序漏洞数据。

在进一步地优选方案中，所述将所得到的最终系统漏洞详情及最终应用程序漏洞详情回传后连同主机信息、主机系统数据及应用程序数据显示于WebUI的步骤还包括：回传后的最终系统漏洞详情及最终应用程序漏洞详情存储于Mongo数据库，主机信息、主机系统数据及应用程序数据存储于用户信息数据库，并在Mongo数据库或用户信息数据库创建主机信息与主机系统数据、应用程序数据、最终系统漏洞详情及最终应用程序漏洞详情的对照列表。

上述方案的效果在于：Mongo数据库是一种分布式文档存储数据库，性能高、易部署、易使用、易扩展，且存储数据非常方便；本发明将最终系统漏洞详情及最终应用程序漏洞详情存储于Mongo数据库可充分利用其易部署、易使用、数据存储方便的特性，同时将主机信息与主机系统数据及应用程序数据存储于用户信息数据库，并建立数据对应关系，充分利用了Mongo数据库易扩展的优点，将用户信息集中管理，并将用户所拥有的网络空间资源数据分别存储在不同Mongo数据库中，数据管理极为方便。

在进一步地优选方案中，所述利用Elastic Search接收用户发出的搜索指令，并查询回传的数据显示于WebUI的步骤具体包括：

利用Elastic Search接收用户发出的以用户名称为关键词的搜索指令，通过调度程序从用户信息数据库调取与所述用户名称对应的主机信息、主机系统数据及应用程序数据，并根据所述对照列表从Mongo数据库调取相对应的最终系统漏洞详情及最终应用程序漏洞详情；

利用JobServer将调取的主机信息、主机系统数据、应用程序数据、最终系统漏洞详情及最终应用程序漏洞详情显示于WebUI。

上述方案的效果在于：JobServer是一个基于Web的Java作业调度引擎和工作流服务器，其具有许多调度规则并支持程序授权用户进行企业级的作业配置、运行及监控，对于采用Mongo数据库及用户信息数据库的分布式数据存储方式而言，可提高数据查询速度。

在进一步地优选方案中，所述分布式网络空间搜索方法还包括步骤：

预先构建用于存储用户操作日志的日志数据库；

通过workers同步脚本将Elastic Search所接收的用户操作指令写入所述日志数据库。

上述方案的效果在于：Worker 接口是 Web Workers API的一部分，指的是一种可由脚本创建的后台任务，任务执行中可向创建者收发信息；本发明通过workers同步脚本采集Elastic Search所接收的用户操作指令，可实时记录用户的操作指令。

在进一步地优选方案中，所述通过VPS技术部署数据爬虫节点，爬取网络空间内主机信息，以及与所述主机信息相对应的主机系统数据及应用程序数据的步骤具体为：通过VPS技术部署数据爬虫节点，实时爬取网络空间内主机信息，以及与所述主机信息相对应的主机系统数据及应用程序数据；

所述通过VPS技术部署数据爬虫节点，实时爬取网络空间内主机信息，以及与所述主机信息相对应的主机系统数据及应用程序数据的步骤之后还包括：当检测到高危漏洞后，根据所述主机信息向主机所有者示警。

上述方案的效果在于：及时发现高危漏洞并向主机所有者示警，可有效保护用户的网络空间资源的安全。

在进一步地优选方案中，所述分布式网络空间搜索方法还包括：在WebUI上构建世界地图；

所述将所得到的最终系统漏洞详情及最终应用程序漏洞详情回传后连同主机信息、主机系统数据及应用程序数据显示于WebUI的步骤还包括：根据主机的地理位置，在所构建的世界地图上标记主机位置并显示所述主机信息。

上述方案的效果在于：用户可在地图上清楚获悉网络空间资源位置，并通过检索用户名称，了解用户的网络空间资源分布情况。

一种用于实现分布式网络空间搜索方法的系统，其包括存储器及处理器，所述存储器用于存储分布式网络空间搜索程序，所述处理器用于运行所述分布式网络空间搜索程序以实现如上所述的分布式网络空间搜索方法。所述系统包括分布式网络空间搜索方法的所有技术特征，因此也具有上述分布式网络空间搜索方法的所有技术效果，不再赘述。

一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的分布式网络空间搜索方法的步骤。所述存储介质包括上述分布式网络空间搜索方法的所有技术特征，因此也具有上述分布式网络空间搜索方法的所有技术效果，不再赘述。

与现有技术相比，本发明提供的分布式网络空间搜索方法，通过VPS技术部署的数据爬虫节点，爬取网络空间主机及相应数据，而后通过判断域名是否合法及是否存活排除无效的主机，准确记录更新网络空间资源，其次先后通过MD5值及请求数据包从不同渠道获取系统漏洞信息及应用程序信息，从而取并集获得尽可能详细的漏洞详情，并显示于WebUI；本发明所采集的数据更为全面，解决了现有的风险发掘方式过于依赖外部数据，且具有一定的延迟性，对于企业而言不利于网络空间资源的安全管理的问题。

附图说明

图1是本发明较佳实施例中分布式网络空间搜索方法的流程图。

具体实施方式

本发明提供一种分布式网络空间搜索方法、系统及存储介质，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

漏洞是指一个系统存在的弱点或缺陷，系统对特定威胁攻击或危险事件的敏感性，或进行攻击的威胁作用的可能性。漏洞可能来自应用软件或操作系统设计时的缺陷或编码时产生的错误，也可能来自业务在交互处理过程中的设计缺陷或逻辑流程上的不合理之处。漏洞的存在，很容易导致黑客的侵入及病毒的驻留，会导致数据丢失和篡改、隐私泄露乃至金钱上的损失，如：网站因漏洞被入侵，网站用户数据将会泄露、网站功能可能遭到破坏而中止乃至服务器本身被入侵者控制。

WannaCry的勒索病毒横扫全球，受影响的国家超过150个、30万名用户中招，造成损失达80亿美元，已经影响到金融，能源，医疗等众多行业，造成严重的危机管理问题。WannaCry利用“EternalBlue”漏洞进行传播，并具有自我复制、主动传播的特性。病毒在侵入受害者电脑之后将文档加密，并要求受害者支付比特币作为解密文档的赎金，“蠕虫”不断扫描，在互联网与校园、企业和政府机构的内网不间断进行重复感染。

GlobeImposter勒索病毒事件，通过攻击远程桌面服务的服务器，攻击者通过暴力破解服务器密码，对内网服务器发起扫描并人工投放勒索病毒，导致文件被加密，以此来勒索文件所有者。

本发明通过多渠道采集网络空间资源（比如服务器、交换机、公共ip的打印机、网络摄像头、矿机及其他重要设备等）的系统漏洞及应用程序漏洞信息，相较于现有技术根据外部已发现漏洞数据进行匹配的方法，数据更为全面且更具漏洞发现的主动性，具体地：本发明第一方面提供了一种分布式网络空间搜索方法，如图1所示，包括步骤：

S100、预先构建系统漏洞数据库及应用程序漏洞数据库。

所述系统漏洞数据库内的数据包括：系统基本信息（比如版本、产品ID、处理器及系统类型等等），以及与所述系统基本信息相对应的漏洞信息；所述应用程序漏洞数据库包括：应用程序基本信息（应用名称、应用版本、MD5值及应用指纹等），以及与所述应用程序基本信息相对应的漏洞信息。初始构建的系统漏洞数据库及应用程序漏洞数据库基于系统厂商及应用程序厂商自行发现的漏洞数据，随后将根据请求数据包所获取的漏洞信息不断更新系统漏洞数据库及应用程序漏洞数据库。

S200、通过VPS技术部署数据爬虫节点，爬取网络空间内主机信息，以及与所述主机信息相对应的主机系统数据及应用程序数据。

VPS（Virtual Private Server，虚拟专用服务器）技术，将一台服务器分割成多个虚拟专享服务器的优质服务，实现VPS的技术分为容器技术和虚拟化技术；在容器或虚拟机中，每个VPS都可选配独立公网IP地址、独立操作系统、实现不同VPS间磁盘空间、内存、CPU资源、进程和系统配置的隔离。

在本发明进一步地较佳实施例中，所述S200具体为：通过VPS技术部署数据爬虫节点，实时爬取网络空间内主机信息，以及与所述主机信息相对应的主机系统数据及应用程序数据；

所述通过VPS技术部署数据爬虫节点，实时爬取网络空间内主机信息，以及与所述主机信息相对应的主机系统数据及应用程序数据的步骤之后还包括：当检测到高危漏洞后，根据所述主机信息向主机所有者示警。

本发明能够及时发现高危漏洞并向主机所有者示警，可有效保护用户的网络空间资源的安全。

S300、判断所述主机信息内的域名是否合法，若是则继续判断所述域名是否存活，若是则分别根据所述主机系统数据的系统MD5值及应用程序数据中的应用MD5值确定系统版本及应用程序版本。

域名（Domain Name），是由一串用点分隔的名字组成的Internet上某一台计算机或计算机组的名称，用于在数据传输时标识计算机的电子方位（有时也指地理位置，地理上的域名，指代有行政自主权的一个地方区域）。域名使一个IP地址有“面具” ；一个域名的目的是成为便于记忆和沟通的一组服务器的地址（网站，电子邮件，FTP等）。具体地域名合法与否判断方式为：以'.'为分隔符，将域名分成几个部分，最后一部分必须是合法的顶级域名，其它部分不得包含非字母、数字和连字符。

域名是否存活的判断方法有很多种，比如：多线程检测域名存活状态、脚本扫描域名存错情况等等，具体地本发明不作限定，亦不再赘述。

MD5的全称是Message-Digest Algorithm 5，它一种被广泛使用的密码散列函数，可以产生出一个128位（16字节）的散列值（hash value），用于确保信息传输完整一致。MD5值等同于文件的ID，它的值是唯一的。 如果文件已被修改（例如嵌入式病毒，特洛伊木马等），其MD5值将发生变化；因此，一些常规下载URL提供文件MD并且通常提供MD5值，如果用户在下载后发现他们的MD5值与网站公告不一致，可能是文件被修改过或者下载出错。本发明采用MD5值（如favicon.ico）一方面是为了判断系统及应用程序版本，另一方面是判断系统及应用程序是否被篡改或假冒。

S400、根据系统版本及预先构建的系统漏洞数据库确定第一系统漏洞详情，并根据应用程序版本及应用程序漏洞数据库确定第一应用程序漏洞详情。以系统漏洞为例，系统漏洞数据库中存储有系统基本信息以及与系统基本信息相对应的漏洞信息，根据MD5值确定系统版本后，即可在系统漏洞数据库进行数据碰撞，得到与系统版本对应的漏洞信息，但该漏洞信息并不完整，故本发明还采用自行发掘的方法采集更多的系统漏洞信息，以此来完善相应数据；应用程序漏洞的确定方法基本与系统漏洞相同，但有所不同的是，应用程序过多，初始构建的应用程序数据库并不能确保收录有所有的应用程序漏洞信息，当检测到未被收录的应用程序时，首先收录应用程序基本信息，而后根据自行采集的漏洞信息完善数据库。

S500、向所述主机信息对应的主机发送预先构造的请求数据包，分别获取所述主机上系统及应用程序的第二系统漏洞详情及第二应用程序漏洞详情。漏洞详情可以包括：编号、漏洞类别、危险等级、发现日期、影响组件及来源等等。全球网站都是由各种各样的组件组成，比如用不同的操作系统版本、web容器、Web应用等等，现在很多攻击都是针对网站组件进行的，拿组件下手是因为组件被使用的很多，只要研究出某个组件的漏洞，就能让使用这个组件的一大批服务器沦陷；本发明采集并记录影响组件，可以让用户对漏洞的影响一目了然，方便对网络空间资源的安全进行有效管理。

此外，本发明还可以通过应用程序指纹识别的方式识别多种应用，符合标准格式的未知指纹直接收录，通过收集多种应用指纹，逐个匹配。针对容错性：本发明针对新增的应用指纹特征进行单一规则的增补识别调度；周期进行战点的存活判断；通过Fuzz常见的子域名子目录来发现更多应用。

此外，本发明在发送请求数据包时，用压缩数据传输，以提高传输速度，尽量减少请求次数及文件大小，减少规则比较次数，结果可缓存1个月。

在本发明进一步地较佳实施例中，所述S500之后还包括：将第二系统漏洞详情与第一系统漏洞详情的差集按照系统版本存储于系统漏洞数据库，并将第二应用程序漏洞详情与第一应用程序漏洞详情的差集按照应用程序版本存储于应用程序漏洞数据库。计算第一系统漏洞详情与第二系统漏洞详情的差集可得到：1、属于第一系统漏洞详情但不属于第二系统漏洞详情的漏洞数据，2、属于第二系统漏洞详情但不属于第一系统漏洞详情的漏洞数据，其中1已经存储于系统漏洞数据库，因此属于重合数据，2属于系统漏洞数据库未记录的数据，将2存储于系统漏洞数据库可更新补足系统漏洞数据；本发明通过同样的方式可更新补足应用程序漏洞数据。

S600、将所述第一系统漏洞详情与第二系统漏洞详情并集得到最终系统漏洞详情，并将第一应用程序漏洞详情与第二应用程序漏洞详情并集得到最终应用程序漏洞详情。

S700、将所得到的最终系统漏洞详情及最终应用程序漏洞详情回传后连同主机信息、主机系统数据及应用程序数据显示于WebUI。

进一步地，所述S700还包括：回传后的最终系统漏洞详情及最终应用程序漏洞详情存储于Mongo数据库，主机信息、主机系统数据及应用程序数据存储于用户信息数据库，并在Mongo数据库或用户信息数据库创建主机信息与主机系统数据、应用程序数据、最终系统漏洞详情及最终应用程序漏洞详情的对照列表。Mongo数据库是一种分布式文档存储数据库，性能高、易部署、易使用、易扩展，且存储数据非常方便；本发明将最终系统漏洞详情及最终应用程序漏洞详情存储于Mongo数据库可充分利用其易部署、易使用、数据存储方便的特性，同时将主机信息与主机系统数据及应用程序数据存储于用户信息数据库，并建立数据对应关系，充分利用了Mongo数据库易扩展的优点，将用户信息集中管理，并将用户所拥有的网络空间资源数据分别存储在不同Mongo数据库中，数据管理极为方便。

优选所述分布式网络空间搜索方法还包括：在WebUI上构建世界地图；

所述S700还包括：根据主机的地理位置，在所构建的世界地图上标记主机位置并显示所述主机信息。用户可在地图上清楚获悉网络空间资源位置，并通过检索用户名称，了解用户的网络空间资源分布情况。

本发明所构建的卫星地图式网络空间资源，可勾勒出公共网络空间的样子，在地图里构建每一个网站、每一台公共环境下的服务器等信息，当一个高危漏洞爆发时，本发明可利用类似于卫星定位的方式通过特征迅速找到整个网络空间中的脆弱设备。

较佳地是，S700之后还包括：利用Elastic Search接收用户发出的搜索指令，并查询回传的数据显示于WebUI。

UI就是User Interface，即用户界面，是屏幕产品的重要组成部分，也称人机界面，而Web UI就是网页用户界面。ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，能够达到实时搜索，稳定、可靠且快速，安装使用方便。本发明利用ElasticSearch来解决搜索功能的创建问题，提供一个运行速度快、零配置且完全免费的搜索引擎，该搜索引擎可以使用JSON通过HTTP来索引数据，更重要的是其能够实时搜索，适用于多用户场景，且易扩展，可从一台扩展到数百台之多。

本发明提供系统报表服务，系统报表内容可以包括：Web应用、Web框架、Web容器、站点数量、设备数量、组件数量、全球数据分布、端口分布和/或组件分布等等。

在具体实施时，所述利用Elastic Search接收用户发出的搜索指令，并查询回传的数据显示于WebUI的步骤具体包括：

利用Elastic Search接收用户发出的以用户名称为关键词的搜索指令，通过调度程序从用户信息数据库调取与所述用户名称对应的主机信息、主机系统数据及应用程序数据，并根据所述对照列表从Mongo数据库调取相对应的最终系统漏洞详情及最终应用程序漏洞详情；

利用JobServer将调取的主机信息、主机系统数据、应用程序数据、最终系统漏洞详情及最终应用程序漏洞详情显示于WebUI。

JobServer是一个基于Web的Java作业调度引擎和工作流服务器，其具有许多调度规则并支持程序授权用户进行企业级的作业配置、运行及监控，对于采用Mongo数据库及用户信息数据库的分布式数据存储方式而言，可提高数据查询速度。

本发明支持从不同维度搜索网络组件，例如地区、端口号、网络服务、操作系统及网络协议等等，且支持多个网络组件的指纹识别，包括建站模块、分享模块、各种开发框架、安全监测平台、项目管理系统、企业管理系统、视频监控系统、站长平台、电商系统、广告联盟、前端库、路由器、SSL证书、服务器管理系统、CDN、Web服务器、WAF及CMS等等。

在本发明进一步地较佳实施例中，所述分布式网络空间搜索方法还包括步骤：

预先构建用于存储用户操作日志的日志数据库；

通过workers同步脚本将Elastic Search所接收的用户操作指令写入所述日志数据库。

Worker 接口是 Web Workers API的一部分，指的是一种可由脚本创建的后台任务，任务执行中可向创建者收发信息；本发明通过workers同步脚本采集Elastic Search所接收的用户操作指令，可实时记录用户的操作指令。

一种用于实现分布式网络空间搜索方法的系统，其包括存储器及处理器，所述存储器用于存储分布式网络空间搜索程序，所述处理器用于运行所述分布式网络空间搜索程序以实现如上所述的分布式网络空间搜索方法。所述系统包括分布式网络空间搜索方法的所有技术特征，因此也具有上述分布式网络空间搜索方法的所有技术效果，不再赘述。

一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的分布式网络空间搜索方法的步骤。所述存储介质包括上述分布式网络空间搜索方法的所有技术特征，因此也具有上述分布式网络空间搜索方法的所有技术效果，不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（SyNchliNk） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (10)

1.一种分布式网络空间搜索方法，其特征在于，包括：

预先构建系统漏洞数据库及应用程序漏洞数据库；

通过VPS技术部署数据爬虫节点，爬取网络空间内主机信息，以及与所述主机信息相对应的主机系统数据及应用程序数据；

判断所述主机信息内的域名是否合法，若是则继续判断所述域名是否存活，若是则分别根据所述主机系统数据的系统MD5值及应用程序数据中的应用MD5值确定系统版本及应用程序版本；

根据系统版本及预先构建的系统漏洞数据库确定第一系统漏洞详情，并根据应用程序版本及应用程序漏洞数据库确定第一应用程序漏洞详情；

向所述主机信息对应的主机发送预先构造的请求数据包，分别获取所述主机上系统及应用程序的第二系统漏洞详情及第二应用程序漏洞详情；

将所述第一系统漏洞详情与第二系统漏洞详情并集得到最终系统漏洞详情，并将第一应用程序漏洞详情与第二应用程序漏洞详情并集得到最终应用程序漏洞详情；

将所得到的最终系统漏洞详情及最终应用程序漏洞详情回传后连同主机信息、主机系统数据及应用程序数据显示于WebUI。

2.根据权利要求1所述的分布式网络空间搜索方法，其特征在于，所述将所得到的最终系统漏洞详情及最终应用程序漏洞详情回传后连同主机信息、主机系统数据及应用程序数据显示于WebUI的步骤之后还包括：利用Elastic Search接收用户发出的搜索指令，并查询回传的数据显示于WebUI。

3.根据权利要求2所述的分布式网络空间搜索方法，其特征在于，所述向所述主机信息对应的主机发送预先构造的请求数据包，分别获取所述主机上系统及应用程序的第二系统漏洞详情及第二应用程序漏洞详情的步骤之后还包括：将第二系统漏洞详情与第一系统漏洞详情的差集按照系统版本存储于系统漏洞数据库，并将第二应用程序漏洞详情与第一应用程序漏洞详情的差集按照应用程序版本存储于应用程序漏洞数据库。

4.根据权利要求3所述的分布式网络空间搜索方法，其特征在于，所述将所得到的最终系统漏洞详情及最终应用程序漏洞详情回传后连同主机信息、主机系统数据及应用程序数据显示于WebUI的步骤还包括：回传后的最终系统漏洞详情及最终应用程序漏洞详情存储于Mongo数据库，主机信息、主机系统数据及应用程序数据存储于用户信息数据库，并在Mongo数据库或用户信息数据库创建主机信息与主机系统数据、应用程序数据、最终系统漏洞详情及最终应用程序漏洞详情的对照列表。

5.根据权利要求4所述的分布式网络空间搜索方法，其特征在于，所述利用ElasticSearch接收用户发出的搜索指令，并查询回传的数据显示于WebUI的步骤具体包括：

利用Elastic Search接收用户发出的以用户名称为关键词的搜索指令，通过调度程序从用户信息数据库调取与所述用户名称对应的主机信息、主机系统数据及应用程序数据，并根据所述对照列表从Mongo数据库调取相对应的最终系统漏洞详情及最终应用程序漏洞详情；

利用JobServer将调取的主机信息、主机系统数据、应用程序数据、最终系统漏洞详情及最终应用程序漏洞详情显示于WebUI。

6.根据权利要求5所述的分布式网络空间搜索方法，其特征在于，所述分布式网络空间搜索方法还包括步骤：

预先构建用于存储用户操作日志的日志数据库；

通过workers同步脚本将Elastic Search所接收的用户操作指令写入所述日志数据库。

7.根据权利要求6所述的分布式网络空间搜索方法，其特征在于，所述通过VPS技术部署数据爬虫节点，爬取网络空间内主机信息，以及与所述主机信息相对应的主机系统数据及应用程序数据的步骤具体为：通过VPS技术部署数据爬虫节点，实时爬取网络空间内主机信息，以及与所述主机信息相对应的主机系统数据及应用程序数据；

所述通过VPS技术部署数据爬虫节点，实时爬取网络空间内主机信息，以及与所述主机信息相对应的主机系统数据及应用程序数据的步骤之后还包括：当检测到高危漏洞后，根据所述主机信息向主机所有者示警。

8.根据权利要求7所述的分布式网络空间搜索方法，其特征在于，所述分布式网络空间搜索方法还包括：在WebUI上构建世界地图；

所述将所得到的最终系统漏洞详情及最终应用程序漏洞详情回传后连同主机信息、主机系统数据及应用程序数据显示于WebUI的步骤还包括：根据主机的地理位置，在所构建的世界地图上标记主机位置并显示所述主机信息。

9.一种用于实现分布式网络空间搜索方法的系统，其特征在于，包括存储器及处理器，所述存储器用于存储分布式网络空间搜索程序，所述处理器用于运行所述分布式网络空间搜索程序以实现如权利要求1至8中任意一项所述的分布式网络空间搜索方法。

10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任意一项所述的分布式网络空间搜索方法的步骤。

Images