CN112003884B - 一种网络资产的采集和自然语言检索方法 - Google Patents

Abstract

本发明提供了一种网络资产的采集和自然语言检索方法，包括如下步骤：扫描IP全球网段；依次识别各IP端口，获取端口对应的网络资产信息；处理采集到的网络资产信息；将处理后的资产信息与本地资产信息数据库进行比较，对符合特定条件的软件和硬件资产信息，为该软件或者硬件资产信息提供自然语言标识，存储在本地自然语言资产信息数据库；通过搜索引擎，将本地自然语言资产信息数据库提供到网络。本发明能够通过自然语言形式将网络资产信息提供给使用者。

Description

一种网络资产的采集和自然语言检索方法

技术领域

本发明属于网络软硬件资产采集和检索领域，特别的是涉及网络资产的采集和自然语言检索。

背景技术

全球互联网是由无数节点构成，每个节点都是一个或者一个以上的接入网络的软件和硬件资产(或称网络资产)，网络资产包括操作系统、网络设备、安全设备、数据库、中间件、应用组件等等。网络资产信息是信息安全管理中最为重要的基础性信息。随着组织的壮大和业务的复杂化，组织的各种信息化系统越来越复杂，网络资产如服务器、存储设备、网络设备、安全设备数量越积越多，类型也越来越丰富，导致部分资产被遗忘，从而难以纳入管理员日常维护范围内，给组织安全带来极大隐患，成为组织信息安全的漏洞。

以政府为例，常见的信息化设备，如服务器、交换机、路由器、政务信息平台、OA系统等，一旦发生安全问题，将影响政府工作的正常进行，会产生极大的影响。

因此，摸清网络资产，掌握组织资产信息意义重大。

现有技术中，已经注意到了网络信息资产管理的重要意义，例如，中国发明专利申请CN106980668A公开了一种网络空间测绘要素的形式化建模方法。该发明对网络空间测绘要素进行形式化描述：对网络空间测绘要素进行形式化建模，并对该形式化建模流程进行实现，测绘方式、测绘处理、测绘应用、测绘评估和测绘尺度等提供统一的数据模型。该发明中给予每个要素唯一一个ID号，通过有限三元组符号集A对网络空间测绘要素进行形式化描述；然后进行要素组成Element ID、要素属性Element Pro、形式化描述、要素关系Element Rel形式化描述，基于每个要素ID以及对应的有限三元符号集A，形成网络空间测绘要素模型，为网络空间测绘提供统一的数据模型。该发明提供了一种形象化展示网络空间的方法，但是对于特定用户希望查找特定网络资产，无法提供快捷、使用自然语言进行资产信息检索的方案。

中国发明专利申请CN107147515A公开了一种基于MLN的网络空间安全态势预测方法及系统，方法包括：采集特定网络空间中的资产信息数据；对采集得到的资产信息数据进行预处理，并构建训练网络空间安全态势感知模型；根据网络空间安全姿态感知模型和当前网络空间中的实际数据，对当前的网络空间安全态势进行评估；根据网络空间的安全态势评估结果，对未来的网络空间安全态势进行预测，得到安全态势预测结果。该方法同样的无法解决快捷、使用自然语言进行资产信息检索的方案。

发明内容

本发明涉及一种网络资产的自然语言检索方法，包括如下步骤：扫描IP全球网段；依次识别各IP端口，获取端口对应的网络资产信息；处理采集到的网络资产信息；将处理后的资产信息与本地资产信息数据库进行比较，对符合特定条件的软件和硬件资产，为该软件或者硬件资产提供自然语言标识，存储在本地自然语言资产信息数据库；通过搜索引擎，将本地自然语言资产信息数据库提供到网络。

进一步的，对IP全球网段进行并发扫描，将扫描获得的开放端口的IP存入消息队列，然后再依次识别这些端口的协议。

进一步的，对于识别到的端口的协议，如果是http和https协议，则继续抓取首页数据，并将数据进行格式化处理。

进一步的，将获取的IP全球网段的开放端口的协议、首页数据等与本地资产信息数据库进行比较。

进一步的，所述对IP全球网段进行并发扫描是基于分布式架构，在分布式架构中，扫描任务被分解后，分配到合适的处理资源中，从而针对IP全球网段的多个节点实现分布式扫描；分布式扫描与分布式处理，以及分布式数据存储同时执行。

进一步的，根据本地已知的资产信息建立本地自然语言资产信息数据库，本地自然语言资产信息数据库包括了网络软件资产和硬件资产的代码信息和自然语言信息对应列表。

进一步的，向使用者提供搜索引擎，在搜索引擎使用者使用搜索引擎时，使用自然语言进行检索，在对本地自然语言资产信息数据库检索后，将命中结果的代码信息和对应的自然语言信息展示给使用者。

端口的协议为http和https时，进一步抓取首页内容、页面的header信息、banner信息、网站的域名、IP地址；端口的协议为https时，提取cert证书信息。

本发明的有益效果在于：

1)在进行网络空间资产进行处理的过程中，为网络空间资产提供了自然语言标签，从而为提供自然语言网络资产搜索引擎检索提供了便利

2)在进行网络空间资产进行信息收集、处理的过程中，采用了并发式收集，提高了收集的效率；

本发明能够高效收集网络空间的资产信息，获得后网络空间的资产信息后，通过本发明的方式对资产信息进行高效处理，随后将资产信息通过网络平台的搜索引擎按照指定的搜索方式提供给搜索引擎用户。

附图说明

图1为本发明方法的流程图。

具体实施方式

传统的搜索网站不提供网络资产的搜索，而zoomeye.com和shodan.com提供网络资产搜索，但是不支持详细搜索，例如只搜索网站内容的title(网站标题)、header(网站头部)、cert(证书部分内容)这些信息，而且无法使用自然语言来搜索，这非常不利于操作，也不利于后续进行可视化分析。

例如，扫描全网端开放的端口，而每个开放的端口都有一个对应的服务，这个时候就需要去识别服务，目前可以识别超过200个协议，针对这些开放的端口先去识别协议，然后把识别出来的协议相关的数据进一步提取banner信息。例如发包的时候，服务器返回“SSH-2.0-OpenSSH_6.7p1Debian-5+deb8u4”，这个时候判断属于ssh协议，同时将返回的数据保存起来，记录字段protocol为ssh，banner为“SSH-2.0-OpenSSH_6.7p1Debian-5+deb8u4”。http和https类似，不过http和https是网站，网站本身就是各种各样的服务，因此需要进一步把网站源代码、header、域名、ip地址保存起来。

参见图1，本发明涉及一种网络资产的自然语言检索方法，首先可以采用分布式计算方式，对IP全球网段进行并发扫描是基于分布式架构，在分布式架构中，扫描任务被分解后，分配到合适的处理资源中，从而针对IP全球网段的多个节点实现分布式扫描；分布式扫描与分布式处理，以及分布式数据存储同时执行。

也可以在本地通过在底层使用扫描工具对IP全球网段进行高并发的端口扫描，从而实现数据采集。针对扫描全球IP网段，可以使用mascan工具，这是一种扫描网络中开放端口的工具，还可以使用nmap和zmap这两种工具或者其他扫描IP字段的工具。相比mascan工具，zmap不支持多端口扫描，nmap扫描速度慢，全球网段扫描速度较慢。mascan能够较好的适用于本发明的应用场景。但是这并不意味着在本发明中仅仅可以使用mascan。由于扫描的IP数量巨大，所以对高并发的要求很高。

扫描的开放端口的IP被存入消息队列，然后再依次识别这些端口的协议，识别后存储到搜索服务器中，其中http和https的协议会做特殊处理，因为这两种协议表示这是网站，所以会再次抓取这些网站的首页数据格式化后进行存储。

消息队列用于把存放将要执行的任务，以便程序从队列里取任务执行。消息队列可以使用sidekiq工具来实现，也可以使用kafka工具来实现，因为sidekiq工具基于redis内存数据库，数据量大了以后，导致内存占用太大，最后redis会崩溃。而kafka是基于硬盘的，所以不会导致内存崩溃的问题。因此，kafka是优选的工具，而sidekiq工具也是可选的工具，尽管效果相较kafka较差。

随着任务的执行，会产生大量的数据。通常数据量小的时候可以存到mysql这样的关系型数据库，该种数据库在数据量大时搜索速度较慢，限制了搜索业务发展，影响了用户的体验。也可以使用搜索服务器了，常见的搜索服务器有elasticsearch、solr、lucene等。数据量大得情况下，应当采用大数据的服务器，还可以使用了集群方式，把数据分布到多态服务器上，从而加快搜索数据的速度。

获得网络资产信息后，通常网络资产信息都是具有一定的规律的。这样的规律识别出来后，将网络资产信息与本地的资产信息数据库进行比较。例如，各种品牌的路由器设备具有一定的代码，服务器使用的操作系统具有一定的规律性代码。这些代码对人类识别是非常不友好的，在收集完网络资产信息后，需要将网络资产信息增加自然语言标识/符号。增加自然语言标识/符号的方法是通过在本地建立本地资产信息数据库，本地资产信息数据库存储有网络资产中的软件或者硬件的特征标识、自然语言标识。将网络资产信息的特征标识在本地资产信息数据库中进行匹配，匹配后为网络资产信息增加自然语言标识，然后作为一条记录存储。

至此，网络空间资产的收集和提供自然语言标签完成。完成这一工作后，获得了网络资产的自然语言数据库，通过为该数据库提供搜索引擎接口，将本地自然语言资产信息数据库提供到网络。当用户使用自然语言在搜索引擎进行搜索时，搜索引擎可以展示相对应的网络空间资产的属性信息，例如，软件或者硬件所固有的代码信息，软件或者硬件所具有的自然语言信息。搜索引擎展示这样的信息，便于用户识记、辨认，对于用户掌握系统情况，为进行系统管理提供了极大的帮助。

以上内容是结合具体的优选技术方案对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (8)

1.一种网络资产的采集和自然语言检索方法，包括如下步骤：

扫描IP全球网段；

依次识别各IP端口，获取端口对应的网络资产信息；

处理采集到的网络资产信息；

将处理后的资产信息与本地资产信息数据库进行比较，对于符合特定条件的软件或硬件资产信息，为该软件或硬件资产信息提供自然语言标识，存储在本地自然语言资产信息数据库；

通过搜索引擎，将本地自然语言资产信息数据库提供到网络。

2.根据权利要求1所述的方法，其特征在于：

对IP全球网段进行并发扫描，将扫描获得的开放端口的IP存入消息队列，然后再依次识别这些端口的协议。

3.根据权利要求2所述的方法，其特征在于：

对于识别到的端口的协议，如果是http和https协议，则继续抓取首页数据，并将数据进行格式化处理。

4.根据权利要求3所述的方法，其特征在于：将获取的IP全球网段的开放端口的协议、首页数据与本地资产信息数据库进行比较。

5.根据权利要求2所述的方法，其特征在于：

所述对IP全球网段进行并发扫描是基于分布式架构，在分布式架构中，扫描任务被分解后，分配到合适的处理资源中，从而针对IP全球网段的多个节点实现分布式扫描；分布式扫描与分布式处理，以及分布式数据存储同时执行。

6.根据权利要求1所述的方法，其特征在于：

根据本地已知的资产信息建立本地自然语言资产信息数据库，本地自然语言资产信息数据库包括网络软件资产和硬件资产的代码信息和自然语言信息对应列表。

7.根据权利要求1所述的方法，其特征在于：

向使用者提供搜索引擎，在搜索引擎使用者使用搜索引擎时，使用自然语言进行检索，在对本地自然语言资产信息数据库检索后，将命中结果的代码信息和对应的自然语言信息展示给使用者。

8.根据权利要求3所述的方法，其特征在于：

端口的协议为http和https时，进一步抓取首页内容、页面的header信息、banner信息、网站的域名、IP地址；端口的协议为https时，提取cert证书信息。