CN112003857A - 一种网络资产搜集方法、装置、设备及存储介质 - Google Patents

一种网络资产搜集方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112003857A
CN112003857A CN202010844362.4A CN202010844362A CN112003857A CN 112003857 A CN112003857 A CN 112003857A CN 202010844362 A CN202010844362 A CN 202010844362A CN 112003857 A CN112003857 A CN 112003857A
Authority
CN
China
Prior art keywords
information
network
domain name
asset
website
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010844362.4A
Other languages
English (en)
Inventor
陈赛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sangfor Technologies Co Ltd
Original Assignee
Sangfor Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sangfor Technologies Co Ltd filed Critical Sangfor Technologies Co Ltd
Priority to CN202010844362.4A priority Critical patent/CN112003857A/zh
Publication of CN112003857A publication Critical patent/CN112003857A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/20Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/20Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • H04L63/205Network architectures or network communication protocols for network security for managing network security; network security policies in general involving negotiation or determination of the one or more network security mechanisms to be used, e.g. by negotiation between the client and the server or between peers or by selection according to the capabilities of the entities involved

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种网络资产搜集方法、装置、设备及存储介质。该方法的步骤包括:获取资产关键词;检索具有资产关键词的目标网站;获取目标网站的网站备案信息;查找与网络备案信息存在关联关系的网络资产信息。本方法中通过在具有特定资产关键词的目标网站中获取网站备案信息,并检索与该网站备案信息具有关联的网络资产信息,以此实现了基于资产关键词对相应一系列具有关联性网络资产信息的收集,从而能够准确有效的对网络资产设置网络安全防护策略,能够保证网络资产的整体网络安全。此外,本申请还提供一种网络资产搜集装置、设备及存储介质,有益效果同上所述。

Description

一种网络资产搜集方法、装置、设备及存储介质
技术领域
本申请涉及网络资产搜集领域,特别是涉及一种网络资产搜集方法、装置、设备及存储介质。
背景技术
企业的业务网发展需要通过其信息部门在互联网中部署更多的设备,网络资产往往以业务系统的方式呈现在互联网中。
由于当前企业中的业务系统往往较为庞大、并且组织方式复杂,这导致当前企业无法对网络资产进行系统的搜集,进而企业往往难以准确有效的对网络资产设置网络安全防护策略,从而难以确保网络资产的整体网络安全。
由此可见,提供一种网络资产搜集方法,以实现对网络资产的搜集,进而确保网络资产的整体网络安全,是本领域技术人员需要解决的问题。
发明内容
本申请的目的是提供一种网络资产搜集方法、装置、设备及存储介质,以实现对网络资产的搜集,进而确保网络资产的整体网络安全。
为解决上述技术问题,本申请提供一种网络资产搜集方法,包括:
获取资产关键词;
检索具有资产关键词的目标网站;
获取目标网站的网站备案信息;
查找与网络备案信息存在关联关系的网络资产信息。
优选地,查找与网络备案信息存在关联关系的网络资产信息,包括:
获取具有网络备案信息的域名信息;
生成包含有域名信息的网络资产信息。
优选地,获取具有网络备案信息的域名信息,包括:
根据网络备案信息获取主域名;
检索主域名对应的子域名;
生成包含有主域名以及子域名的域名信息。
优选地,检索主域名对应的子域名,包括:
通过搜索引擎检索、对主域名对应网站中的应用程序进行数据分析、子域名枚举并遍历、以及对主域名的DNS服务发起子域名请求中的一种或多种方式,检索主域名对应的子域名。
优选地,在生成包含有域名信息的网络资产信息之前,方法还包括:
对域名信息执行域名解析,得到网络地址信息;
生成包含有域名信息的网络资产信息,包括:
生成包含有域名信息以及网络地址信息的网络资产信息。
优选地,在生成包含有域名信息以及网络地址信息的网络资产信息之前,方法还包括:
检索记录有域名信息和/或网络地址信息的元数据文档;
解析元数据文档得到资产属性信息;
生成包含有域名信息以及网络地址信息的网络资产信息,包括:
生成包含有域名信息、网络地址信息以及资产属性信息的网络资产信息。
优选地,在生成包含有域名信息的网络资产信息之前,方法还包括:
去除域名信息中内容重复部分的目标域名信息;
生成包含有域名信息的网络资产信息,包括:
生成包含有去除内容重复部分后的域名信息的网络资产信息。
此外,本申请还提供一种网络资产搜集装置,包括:
关键词获取模块,用于获取资产关键词;
网站检索模块,用于检索具有资产关键词的目标网站;
备案信息获取模块,用于获取目标网站的网站备案信息;
网络资产查找模块,用于查找与网络备案信息存在关联关系的网络资产信息。
此外,本申请还提供一种网络资产搜集设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行计算机程序时实现如上述的网络资产搜集方法的步骤。
此外,本申请还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上述的网络资产搜集方法的步骤。
本申请所提供的网络资产搜集方法,首先获取资产关键词,进而检索具有该资产关键词的目标网站,并获取该目标网站的网站备案信息,进而查找与该网络备案信息存在关联关系的网络资产信息。本方法中通过在具有特定资产关键词的目标网站中获取网站备案信息,并检索与该网站备案信息具有关联的网络资产信息,以此实现了基于资产关键词对相应一系列具有关联性网络资产信息的收集,从而能够准确有效的对网络资产设置网络安全防护策略,能够保证网络资产的整体网络安全。此外,本申请还提供一种网络资产搜集装置、设备及存储介质,有益效果同上所述。
附图说明
为了更清楚地说明本申请实施例,下面将对实施例中所需要使用的附图做简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种网络资产搜集方法的流程图;
图2为本申请实施例公开的一种具体的网络资产搜集方法的流程图;
图3为本申请实施例公开的一种具体的网络资产搜集方法的流程图;
图4为本申请实施例公开的一种具体的网络资产搜集方法的流程图;
图5为本申请实施例公开的一种具体的网络资产搜集方法的流程图;
图6为本申请实施例公开的一种具体应用场景下的流程图;
图7为本申请实施例公开的一种具体应用场景下的流程图;
图8为本申请实施例公开的一种网络资产搜集装置的结构示意图;
图9为本申请实施例公开的一种网络资产搜集设备的硬件组成结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下,所获得的所有其他实施例,都属于本申请保护范围。
由于当前企业中的业务系统往往较为庞大、并且组织方式复杂,这导致当前企业无法对网络资产进行系统的搜集,进而企业往往难以准确有效的对网络资产设置网络安全防护策略,从而难以确保网络资产的整体网络安全。
为此,本申请的核心是提供一种网络资产搜集方法,以实现对网络资产的搜集,进而确保网络资产的整体网络安全。
为了使本技术领域的人员更好地理解本申请方案,下面结合附图和具体实施方式对本申请作进一步的详细说明。
请参见图1所示,本申请实施例公开了一种网络资产搜集方法,包括:
步骤S10:获取资产关键词。
需要说明的是,本步骤中获取的资产关键词指的是对网络资产
由于网络资产是企业或特定机构在互联网中运行的业务系统,因此本实施例在进行网络资产搜集时,具体是以具有网络资源的机构为单位进行的,进而在本步骤中获取资产关键词,此处所指的资产关键词本质上是进行网络资产收集时所针对的企业机构具有的标识信息或名称信息中的关键词,资产关键词具体可以是待搜集机构的名称或是业务系统中的业务关键词等。
另外,本步骤中获取资产关键词的方式,可以具体是获取由网络运维人员根据网络资产的搜集需求输入的资产关键词,也可以是获取预先写入配置文件中的资产关键词,应根据实际情况而定,在此不做具体限定。
步骤S11:检索具有资产关键词的目标网站。
在获取到资产关键词之后,本步骤进一步检索具有资产关键词的目标网站。由于网络资产往往是以业务系统的形式运行于相应的网站中,因此根据资产关键词检索得到的目标网站即为与资产关键词对应的网络资产。
在检索具有资产关键词的目标网站时,可以具体是通过将资产关键词输入至搜索引擎的方式得到由搜索引擎搜索产生的目标网站。
步骤S12:获取目标网站的网站备案信息。
在获取到具有资产关键词的目标网站之后,本步骤进一步获取目标网站的网站备案信息,网站备案信息包括但不限于ICP(Internet Content Provider,网络内容服务商)备案信息以及DNICP(Domain Name Internet Content Provider,域名服务商)备案信息等。
步骤S13:查找与网络备案信息存在关联关系的网络资产信息。
在获取到目标网站的网站备案信息之后,本步骤进一步查找与网络备案信息存在关联关系的网络资产信息,此处所指的网络资产信息是使用该网络备案信息的网络资产具有的相关信息,由于对于相同企业或机构而言,往往使用相同的网络备案信息创建网络资产,当同一企业或机构具有多个网络资产时,其网络备案信息对应有相应的多个网络资产,因此本步骤中查找得到的与网络备案信息存在关联关系的网络资产信息,可以包括但不限于目标网站对应的网络资产的相关信息。
在查找与网络备案信息存在关联关系的网络资产信息,可以具体通过网络备案信息中的注册人、注册邮箱以及联系电话中的一项或多项信息反向查找存在关联关系的网络资产信息。
本申请所提供的网络资产搜集方法,首先获取资产关键词,进而检索具有该资产关键词的目标网站,并获取该目标网站的网站备案信息,进而查找与该网络备案信息存在关联关系的网络资产信息。本方法中通过在具有特定资产关键词的目标网站中获取网站备案信息,并检索与该网站备案信息具有关联的网络资产信息,以此实现了基于资产关键词对相应一系列具有关联性网络资产信息的收集,从而能够准确有效的对网络资产设置网络安全防护策略,能够保证网络资产的整体网络安全。
请参见图2所示,本申请实施例公开了一种网络资产搜集方法,包括:
步骤S20:获取资产关键词。
步骤S21:检索具有资产关键词的目标网站。
步骤S22:获取目标网站的网站备案信息。
步骤S23:获取具有网络备案信息的域名信息。
需要说明的是,本实施例在获取目标网站的网站备案信息之后,进一步获取目标具有相应网络备案信息的域名信息。本步骤中的域名信息指的是与域名相关的信息,其中,域名(Domain Name),是由一串用点分隔的名字组成的互联网上某一台计算机或计算机组的名称,用于在数据传输时对计算机进行定位的标识,因此域名信息能够实现对网络资产的定位,即能够表征相应网络资产的身份信息。
步骤S24:生成包含有域名信息的网络资产信息。
在获取具有网络备案信息的域名信息之后,本步骤进一步成包含有域名信息的网络资产信息,目的是能够相对准确地通过网络资产信息中的域名信息定位到对应的网络资产。
本实施例在获取目标网站的网站备案信息之后,进一步获取具有网络备案信息的域名信息,并生成包含有域名信息的网络资产信息,相对确保了网络资产信息的可靠性以及准确性。
请参见图3所示,本申请实施例公开了一种网络资产搜集方法,包括:
步骤S30:获取资产关键词。
步骤S31:检索具有资产关键词的目标网站。
步骤S32:获取目标网站的网站备案信息。
步骤S33:根据网络备案信息获取主域名。
需要说明的是,本实施例在获取目标网站的网站备案信息后,进一步根据网络备案信息获取主域名,此处所指的主域名指的是网站备案信息所属企业或机构的向外提供的业务系统所具有的最高级别的域名。
步骤S34:检索主域名对应的子域名。
在获取到主域名的基础上,本步骤进一步根据主域名检索对应的子域名,其中,子域名是更高级别的主域名的一部分。例如,主域名为example.com时,west.example.com和east.example.com是该主域名的子域名,而主域名example.com又是顶级域名com的子域名。需要说明的是,在相同企业或机构运行的一个主域名下可能存在多个子域名,并且子域名之间的业务类型往往不同。
步骤S35:生成包含有主域名以及子域名的域名信息。
步骤S36:生成包含有域名信息的网络资产信息。
在获取到主域名以及子域名之后,本步骤进一步生成包含有主域名以及子域名的域名信息,并生成包含有该域名信息的网络资源信息。
本实施方式通过根据网络备案信息获取主域名,并进一步基于主域名检索对应的子域名,进而生成同时包含有主域名以及子域名的网络资产信息,进一步提高了网络资产信息中域名信息的全面性,进而进一步提高了搜集到的网络资产的全面性。
在上述实施例的基础上,作为一种优选的实施方式,检索主域名对应的子域名,包括:
通过搜索引擎检索、对主域名对应网站中的应用程序进行数据分析、子域名枚举并遍历、以及对主域名的DNS服务发起子域名请求中的一种或多种方式,检索主域名对应的子域名。
需要说明的是,本实施方式中的重点是在于,在根据主域名获取对应的子域名时,具体可以采用的获取手段可以包括搜索引擎检索、对主域名对应网站中的应用程序进行数据分析、子域名枚举并遍历、以及对主域名的DNS服务发起子域名请求中的任意一种或多种,具体应根据实际需求而定。
当通过搜索引擎检索的方式检索主域名对应的子域名时,可以是根据搜索引擎所提供API接口的指令语法,生成包含有主域名的搜索指令,进而将该搜索指令输入至该搜索引擎的API接口中,最终得到由搜索引擎根据主域名查找并反馈的子域名。其中,API接口(Application Programming Interface,应用程序编程接口),是一些预先定义的函数,目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力,而又无需访问源码或理解内部工作机制的细节,而搜索引擎的API接口即具有与搜索引擎的数据交互功能的函数;通过搜索引擎检索的方式检索主域名对应的子域名,也可以是通过将主域名输入至搜索引擎的应用程序的方式,得到由搜索引擎根据主域名查找并反馈的子域名。
另外,当通过对主域名对应网站中的应用程序进行数据分析的方式,检索主域名对应的子域名时,可以具体是在主域名对应的网站中下载网站提供的客户端应用,进而通过解析客户端应用中的配置文件和/或客户端的流量数据获取配置文件和/或流量数据中的子域名。
另外,当通过对子域名枚举并遍历的方式,检索主域名对应的子域名时,可以具体是将通过字典预先存储的字段,增加至主域名中得到相应的目标子域名,并对生成的目标子域名进行地址解析,判断目标子域名是否存在对应的IP(Internet Protocol,互联网协议)地址,如果存在,则将该目标子域名作为子域名,否则,将目标子域名丢弃。
另外,当通对主域名的DNS(Domain Name System,域名系统)服务发起子域名请求的方式,检索主域名对应的子域名时,通过向主域名所属的DNS服务发起子域名请求的方式,能够进一步由DNS服务反馈主域名对应的子域名。
请参见图4所示,本申请实施例公开了一种网络资产搜集方法,包括:
步骤S40:获取资产关键词。
步骤S41:检索具有资产关键词的目标网站。
步骤S42:获取目标网站的网站备案信息。
步骤S43:获取具有网络备案信息的域名信息。
步骤S44:对域名信息执行域名解析,得到网络地址信息。
需要说明的是,本实施例的重点在于在获取到具有备案信息的域名信息后,进一步对域名信息执行域名解析,得到与域名信息对应的网络地址。此处所指的网络地址可以是IP(Internet Protocol,互联网协议)地址,IP地址是IP协议提供的一种统一的地址格式,它为互联网上的每一个网络和每一台主机分配一个逻辑地址,以此来屏蔽物理地址的差异。
对域名信息执行域名解析时可以具体采用DNS服务器完成,域名解析是把域名指向网站空间IP地址,让用户通过注册的域名可以方便地访问到网站的一种服务。IP地址是网络上标识站点的数字地址,为了方便记忆,采用域名来代替IP地址标识站点地址,域名解析就是域名到IP地址的转换过程。
步骤S45:生成包含有域名信息以及网络地址信息的网络资产信息。
在获取具有网络备案信息的域名信息并对域名信息执行域名解析,得到网络地址信息之后,本步骤进一步生成包含有域名信息以及网络地址信息的网络资产信息。本实施方式通过将域名信息以及网络地址信息共同作为网络资产信息的内容,进一步提高了网络资产信息的全面性,进而进一步提高了搜集到的网络资产的全面性。
请参见图5所示,本申请实施例公开了一种网络资产搜集方法,包括:
步骤S50:获取资产关键词。
步骤S51:检索具有资产关键词的目标网站。
步骤S52:获取目标网站的网站备案信息。
步骤S53:获取具有网络备案信息的域名信息。
步骤S54:对域名信息执行域名解析,得到网络地址信息。
步骤S55:检索记录有域名信息和/或网络地址信息的元数据文档。
需要说明的是,本实施例在获取到域名信息以及与域名信息对应的网络地址信息之后,进一步检索记录有域名信息和/或网络地址信息的元数据文档,此处所指的元数据文档是记录有与网络资产相关的属性信息的文档,文档的格式包括但不限于word、pdf等,文档的类型包括但不限于网络资产的产品说明,网络资产的用户信息等。
步骤S56:解析元数据文档得到资产属性信息。
需要说明的是,本步骤通过解析元数据文档得到的资产属性信息指的是,与网络资产相关的固有信息,包括但不限于网络资产的供应商信息、员工信息、IP地址信息以及账号信息等。
步骤S57:生成包含有域名信息、网络地址信息以及资产属性信息的网络资产信息。
在获取到记录有域名信息和/或网络地址信息的元数据文档之后,本实施例进一步解析元数据文档得到资产属性信息,进而生成同时包含有域名信息、网络地址信息以及资产属性信息的网络资产信息,进一步提高了网络资产信息的全面性,进而进一步提高了搜集到的网络资产的全面性。
在上述一系列实施方式的基础上,作为一种优选的实施方式,在生成包含有域名信息的网络资产信息之前,方法还包括:
去除域名信息中内容重复部分的目标域名信息;
生成包含有域名信息的网络资产信息,包括:
生成包含有去除内容重复部分后的域名信息的网络资产信息。
需要说明的是,由于考虑到在获取到多个域名信息的情况下,往往存在多个相同的域名信息,为了进一步确保域名信息的准确性,本实施方式的重点在于获取到域名信息后,进一步去除域名信息中内容重复的目标域名信息,以此避免存在多个内容相同的域名信息。本实施方式相对降低了域名信息整体的数据量,进一步确保了基于域名信息生成的网络资产信息整体准确性。
为了增加对于本申请上述一系列实施例的理解,下面提供一种具体应用场景下的场景实施例做进一步说明。
在实际应用场景下,进行网络资产搜集需要依次域名搜集模块、子域名及IP搜集模块、运行相关信息搜集模块以及供应商信息搜集模块。
1、域名搜集模块
域名搜集模块工作的流程示意图如图6所示,针对目标企业或目标机构构成关键词,利用搜索引擎获取到目标的网站,同时在网站信息查询第三方机构查询其备案信息,利用备案信息中的注册邮箱、注册人以及联系电话进行域名反查,获取到更多的关联网站。如果目标是企业,还可利用企业信息查询工具提供的API接口查询控股关系,进一步扩大信息搜集范围。最后去重、汇总得到的结果就是目标的域名列表。
2、子域名及IP搜集模块
子域名及IP搜集模块工作的流程示意图如图7所示,利用主域名可以获取到子域名,方法包括但不局限于:
搜索引擎:分为常规搜索引擎和空间搜索引擎。常规搜索引擎利用searchhacking手法可以获取大量子域名。空间搜索引擎提供API和语法进行查询。
在线查询机构:网上有大量可信的第三方DNS信息搜集机构提供子域名及IP查询功能,调用API即可。
基于字典的子域名枚举技术:利用字典不停生成域名解析DNS记录,如果有对应IP则该域名存在。
DNS域传送漏洞:如果目标DNS服务器配置不当,则可通过该漏洞查询全部子域名。
客户端软件:如果目标有相关的客户端软件,可以查看配置文件,有可能搜集到目标资产。再进行通信流量抓取,与客户端通信的另一方也有可能是目标的资产。
移动端应用:移动端应用主要包括微信小程序、公众号和手机app三种。通过搜索目标相关的微信公众号,可以搜集到公众号经营主体信息,利用该信息可以再次进行主域名的检索。微信小程序可以通过查看其数据来源获取目标资产。而手机应用程序中包含更多信息,通过反编译手机应用程序可以获取到配置和代码中的子域名和IP,这些往往与目标关联较大。通过抓取手机应用程序的通信流量可以获取到对端的域名或IP,也可能是目标的资产。
汇总以上信息后利用爬虫技术爬取所有页面的链接,去重后可以拿到全量的子域名列表。针对这些域名进行DNS解析,获取到IP地址,以及MX(邮件交换)记录和TXT记录(域名设置的说明)中的IP段,去重后拿到IP列表。
3、运行相关信息搜集模块。
结合已有的域名信息,利用search hacking工具搜集到网络空间中的文档文件如word文档、pdf文档等,结合文档文件中的信息,在代码存储仓库中进行搜索,进一步则可以确定供应商。
4、供应商信息搜集模块。
供应商信息的搜集可以通过如下方法搜集:
Web指纹识别匹配组件确定供应商。
在各大招投标网站进行搜索。
目标网站公开的招投标信息。
搜索引擎搜索招投标信息。
搜集到具体的供应商之后即可展开信息搜集。再次利用代码存储仓库的API和搜索语法大量搜索供应商的信息例如源代码泄露、员工资料泄露、产品用户名及密码样本等。还可利用公开的漏洞数据搜集产品历史漏洞信息。
针对以上信息汇总,得到较为全面的目标资产信息,包括域名、IP、敏感路径信息、目标用户名密码样本、员工信息、供应商信息等等内容生成网络资产信息,此时完成针对目标企业或目标机构的资产搜集。
请参见图8所示,本申请实施例公开了一种网络资产搜集装置,包括:
关键词获取模块10,用于获取资产关键词;
网站检索模块11,用于检索具有资产关键词的目标网站;
备案信息获取模块12,用于获取目标网站的网站备案信息;
网络资产查找模块13,用于查找与网络备案信息存在关联关系的网络资产信息。
作为一种优选的实施方式,网络资产查找模块13,包括:
域名信息获取模块,用于获取具有网络备案信息的域名信息;
资产信息生成模块,用于生成包含有域名信息的网络资产信息。
作为一种优选的实施方式,域名信息获取模块,包括:
主域名获取模块,用于根据网络备案信息获取主域名;
子域名检索模块,用于检索主域名对应的子域名;
域名信息生成模块,用于生成包含有主域名以及子域名的域名信息。
作为一种优选的实施方式,子域名检索模块,包括:
子域名检索执行模块,用于通过搜索引擎检索、对主域名对应网站中的应用程序进行数据分析、子域名枚举并遍历、以及对主域名的DNS服务发起子域名请求中的一种或多种方式,检索主域名对应的子域名。
作为一种优选的实施方式,装置还包括:
域名解析模块,用于对域名信息执行域名解析,得到网络地址信息;
资产信息生成模块,包括:
资产信息生成子模块,用于生成包含有域名信息以及网络地址信息的网络资产信息。
作为一种优选的实施方式,装置还包括:
元数据文档检索模块,用于检索记录有域名信息和/或网络地址信息的元数据文档;
元数据文档解析模块,用于解析元数据文档得到资产属性信息;
资产信息生成子模块,包括:
资产信息生成扩展子模块,用于生成包含有域名信息、网络地址信息以及资产属性信息的网络资产信息。
作为一种优选的实施方式,装置还包括:
去重模块,用于去除域名信息中内容重复部分的目标域名信息;
资产信息生成模块,包括:
去重后信息生成模块,用于生成包含有去除内容重复部分后的域名信息的网络资产信息。
本申请所提供的网络资产搜集装置,首先获取资产关键词,进而检索具有该资产关键词的目标网站,并获取该目标网站的网站备案信息,进而查找与该网络备案信息存在关联关系的网络资产信息。本装置中通过在具有特定资产关键词的目标网站中获取网站备案信息,并检索与该网站备案信息具有关联的网络资产信息,以此实现了基于资产关键词对相应一系列具有关联性网络资产信息的收集,从而能够准确有效的对网络资产设置网络安全防护策略,能够保证网络资产的整体网络安全。
基于上述程序模块的硬件实现,且为了实现本申请实施例的网络资产搜集方法,本申请实施例还提供了一种网络资产搜集设备,图9为本申请实施例网络资产搜集设备的硬件组成结构示意图,如图9所示,网络资产搜集设备包括:
通信接口1,能够与其它设备比如网络设备等进行信息交互;
处理器2,与通信接口1连接,以实现与其它设备进行信息交互,用于运行计算机程序时,执行上述一个或多个技术方案提供的网络资产搜集方法。而所述计算机程序存储在存储器3上。
当然,实际应用时,网络资产搜集设备中的各个组件通过总线系统4耦合在一起。可理解,总线系统4用于实现这些组件之间的连接通信。总线系统4除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图9中将各种总线都标为总线系统4。
本申请实施例中的存储器3用于存储各种类型的数据以支持网络资产搜集设备的操作。这些数据的示例包括:用于在网络资产搜集设备上操作的任何计算机程序。
可以理解,存储器3可以是易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(ROM,Read Only Memory)、可编程只读存储器(PROM,Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM,Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM,Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM,ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM,Compact Disc Read-Only Memory);磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM,Random AccessMemory),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(SRAM,Static Random Access Memory)、同步静态随机存取存储器(SSRAM,Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM,Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM,SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM,Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM,Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM,SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM,Direct Rambus Random Access Memory)。本申请实施例描述的存储器2旨在包括但不限于这些和任意其它适合类型的存储器。
上述本申请实施例揭示的网络资产搜集方法可以应用于处理器2中,或者由处理器2实现。处理器2可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述网络资产搜集方法的各步骤可以通过处理器2中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器2可以是通用处理器、DSP,或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器2可以实现或者执行本申请实施例中的公开的各网络资产搜集方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的网络资产搜集方法的步骤,可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中,该存储介质位于存储器3,处理器2读取存储器3中的程序,结合其硬件完成前述网络资产搜集方法的步骤。
处理器2执行所述程序时实现本申请实施例的各个网络资产搜集方法中的相应流程,为了简洁,在此不再赘述。
在示例性实施例中,本申请实施例还提供了一种存储介质,即计算机存储介质,具体为计算机可读存储介质,例如包括存储计算机程序的存储器3,上述计算机程序可由处理器2执行,以完成前述网络资产搜集方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置、终端和网络资产搜集方法,可以通过其它的方式实现。以上所描述的设备实施例仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述网络资产搜集方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述网络资产搜集方法实施例的步骤;而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台网络资产搜集设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例的网络资产搜集方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的网络资产搜集设备,首先获取资产关键词,进而检索具有该资产关键词的目标网站,并获取该目标网站的网站备案信息,进而查找与该网络备案信息存在关联关系的网络资产信息。本设备中通过在具有特定资产关键词的目标网站中获取网站备案信息,并检索与该网站备案信息具有关联的网络资产信息,以此实现了基于资产关键词对相应一系列具有关联性网络资产信息的收集,从而能够准确有效的对网络资产设置网络安全防护策略,能够保证网络资产的整体网络安全。
此外,本申请实施例还公开了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上述的网络资产搜集方法的步骤。
本申请所提供的计算机可读存储介质,首先获取资产关键词,进而检索具有该资产关键词的目标网站,并获取该目标网站的网站备案信息,进而查找与该网络备案信息存在关联关系的网络资产信息。本计算机可读存储介质中通过在具有特定资产关键词的目标网站中获取网站备案信息,并检索与该网站备案信息具有关联的网络资产信息,以此实现了基于资产关键词对相应一系列具有关联性网络资产信息的收集,从而能够准确有效的对网络资产设置网络安全防护策略,能够保证网络资产的整体网络安全。
以上对本申请所提供的一种网络资产搜集方法、装置、设备及存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种网络资产搜集方法,其特征在于,包括:
获取资产关键词;
检索具有所述资产关键词的目标网站;
获取所述目标网站的网站备案信息;
查找与所述网络备案信息存在关联关系的网络资产信息。
2.根据权利要求1所述的网络资产搜集方法,其特征在于,所述查找与所述网络备案信息存在关联关系的网络资产信息,包括:
获取具有所述网络备案信息的域名信息;
生成包含有所述域名信息的网络资产信息。
3.根据权利要求2所述的网络资产搜集方法,其特征在于,所述获取具有所述网络备案信息的域名信息,包括:
根据所述网络备案信息获取主域名;
检索所述主域名对应的子域名;
生成包含有所述主域名以及所述子域名的所述域名信息。
4.根据权利要求3所述的网络资产搜集方法,其特征在于,所述检索所述主域名对应的子域名,包括:
通过搜索引擎检索、对所述主域名对应网站中的应用程序进行数据分析、子域名枚举并遍历、以及对所述主域名的DNS服务发起子域名请求中的一种或多种方式,检索所述主域名对应的子域名。
5.根据权利要求2所述的网络资产搜集方法,其特征在于,在所述生成包含有所述域名信息的网络资产信息之前,所述方法还包括:
对所述域名信息执行域名解析,得到网络地址信息;
所述生成包含有所述域名信息的网络资产信息,包括:
生成包含有所述域名信息以及所述网络地址信息的所述网络资产信息。
6.根据权利要求5所述的网络资产搜集方法,其特征在于,在所述生成包含有所述域名信息以及所述网络地址信息的所述网络资产信息之前,所述方法还包括:
检索记录有所述域名信息和/或所述网络地址信息的元数据文档;
解析所述元数据文档得到资产属性信息;
所述生成包含有所述域名信息以及所述网络地址信息的所述网络资产信息,包括:
生成包含有所述域名信息、所述网络地址信息以及所述资产属性信息的所述网络资产信息。
7.根据权利要求2至6任意一项所述的网络资产搜集方法,其特征在于,在所述生成包含有所述域名信息的网络资产信息之前,所述方法还包括:
去除所述域名信息中内容重复部分的目标域名信息;
所述生成包含有所述域名信息的网络资产信息,包括:
生成包含有去除内容重复部分后的所述域名信息的所述网络资产信息。
8.一种网络资产搜集装置,其特征在于,包括:
关键词获取模块,用于获取资产关键词;
网站检索模块,用于检索具有所述资产关键词的目标网站;
备案信息获取模块,用于获取所述目标网站的网站备案信息;
网络资产查找模块,用于查找与所述网络备案信息存在关联关系的网络资产信息。
9.一种网络资产搜集设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至7任一项所述的网络资产搜集方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的网络资产搜集方法的步骤。
CN202010844362.4A 2020-08-20 2020-08-20 一种网络资产搜集方法、装置、设备及存储介质 Pending CN112003857A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010844362.4A CN112003857A (zh) 2020-08-20 2020-08-20 一种网络资产搜集方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010844362.4A CN112003857A (zh) 2020-08-20 2020-08-20 一种网络资产搜集方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112003857A true CN112003857A (zh) 2020-11-27

Family

ID=73472838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010844362.4A Pending CN112003857A (zh) 2020-08-20 2020-08-20 一种网络资产搜集方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112003857A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112416992A (zh) * 2020-11-30 2021-02-26 杭州安恒信息技术股份有限公司 基于大数据和关键词的行业类型识别方法、系统及设备
CN112491898A (zh) * 2020-11-30 2021-03-12 北京微步在线科技有限公司 一种互联网风险信息的监测方法及装置
CN112926942A (zh) * 2021-03-08 2021-06-08 北京华顺信安信息技术有限公司 一种互联网资产暴露信息排查方法
CN112966204A (zh) * 2021-03-18 2021-06-15 北京金山云网络技术有限公司 一种网站备案信息的提交方法和装置
CN113158001A (zh) * 2021-03-25 2021-07-23 深圳市联软科技股份有限公司 一种网络空间ip资产归属及相关性判别方法及系统
CN113468391A (zh) * 2021-07-13 2021-10-01 杭州安恒信息技术股份有限公司 网站信息聚类方法、装置、电子装置和计算机设备
CN113656712A (zh) * 2021-08-12 2021-11-16 杭州安恒信息技术股份有限公司 资产收集方法、装置、电子装置和存储介质
CN113938326A (zh) * 2021-12-17 2022-01-14 北京华顺信安科技有限公司 企业互联网资产采集的方法和装置
CN114257530A (zh) * 2021-11-29 2022-03-29 中国联合网络通信集团有限公司 网络资产测绘方法、装置、设备及存储介质
CN115277129A (zh) * 2022-07-13 2022-11-01 杭州安恒信息技术股份有限公司 一种域名资产漏洞扫描方法、装置、设备、存储介质
CN115794780A (zh) * 2023-02-15 2023-03-14 远江盛邦(北京)网络安全科技股份有限公司 网络空间资产的采集方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180048673A1 (en) * 2016-08-15 2018-02-15 RiskIQ, Inc. Techniques for determining threat intelligence for network infrastructure analysis
CN108449345A (zh) * 2018-03-22 2018-08-24 深信服科技股份有限公司 一种网络资产持续安全监控方法、系统、设备及存储介质
CN110399568A (zh) * 2019-07-04 2019-11-01 Oppo广东移动通信有限公司 信息搜索方法、装置、终端及存储介质
CN111104579A (zh) * 2019-12-31 2020-05-05 北京神州绿盟信息安全科技股份有限公司 一种公网资产的识别方法、装置及存储介质
CN111178760A (zh) * 2019-12-30 2020-05-19 成都烽创科技有限公司 风险监测方法、装置、终端设备及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180048673A1 (en) * 2016-08-15 2018-02-15 RiskIQ, Inc. Techniques for determining threat intelligence for network infrastructure analysis
CN108449345A (zh) * 2018-03-22 2018-08-24 深信服科技股份有限公司 一种网络资产持续安全监控方法、系统、设备及存储介质
CN110399568A (zh) * 2019-07-04 2019-11-01 Oppo广东移动通信有限公司 信息搜索方法、装置、终端及存储介质
CN111178760A (zh) * 2019-12-30 2020-05-19 成都烽创科技有限公司 风险监测方法、装置、终端设备及计算机可读存储介质
CN111104579A (zh) * 2019-12-31 2020-05-05 北京神州绿盟信息安全科技股份有限公司 一种公网资产的识别方法、装置及存储介质

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112491898A (zh) * 2020-11-30 2021-03-12 北京微步在线科技有限公司 一种互联网风险信息的监测方法及装置
CN112416992A (zh) * 2020-11-30 2021-02-26 杭州安恒信息技术股份有限公司 基于大数据和关键词的行业类型识别方法、系统及设备
CN112416992B (zh) * 2020-11-30 2024-02-02 杭州安恒信息技术股份有限公司 基于大数据和关键词的行业类型识别方法、系统及设备
CN112926942A (zh) * 2021-03-08 2021-06-08 北京华顺信安信息技术有限公司 一种互联网资产暴露信息排查方法
CN112966204B (zh) * 2021-03-18 2023-11-03 北京金山云网络技术有限公司 一种网站备案信息的提交方法和装置
CN112966204A (zh) * 2021-03-18 2021-06-15 北京金山云网络技术有限公司 一种网站备案信息的提交方法和装置
CN113158001A (zh) * 2021-03-25 2021-07-23 深圳市联软科技股份有限公司 一种网络空间ip资产归属及相关性判别方法及系统
CN113158001B (zh) * 2021-03-25 2024-05-14 深圳市联软科技股份有限公司 一种网络空间ip资产归属及相关性判别方法及系统
CN113468391A (zh) * 2021-07-13 2021-10-01 杭州安恒信息技术股份有限公司 网站信息聚类方法、装置、电子装置和计算机设备
CN113468391B (zh) * 2021-07-13 2024-05-28 杭州安恒信息技术股份有限公司 网站信息聚类方法、装置、电子装置和计算机设备
CN113656712A (zh) * 2021-08-12 2021-11-16 杭州安恒信息技术股份有限公司 资产收集方法、装置、电子装置和存储介质
CN113656712B (zh) * 2021-08-12 2024-03-29 杭州安恒信息技术股份有限公司 资产收集方法、装置、电子装置和存储介质
CN114257530A (zh) * 2021-11-29 2022-03-29 中国联合网络通信集团有限公司 网络资产测绘方法、装置、设备及存储介质
CN114257530B (zh) * 2021-11-29 2023-08-22 中国联合网络通信集团有限公司 网络资产测绘方法、装置、设备及存储介质
CN113938326A (zh) * 2021-12-17 2022-01-14 北京华顺信安科技有限公司 企业互联网资产采集的方法和装置
CN115277129A (zh) * 2022-07-13 2022-11-01 杭州安恒信息技术股份有限公司 一种域名资产漏洞扫描方法、装置、设备、存储介质
CN115794780A (zh) * 2023-02-15 2023-03-14 远江盛邦(北京)网络安全科技股份有限公司 网络空间资产的采集方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN112003857A (zh) 一种网络资产搜集方法、装置、设备及存储介质
US8938457B2 (en) Information classification
US20110119268A1 (en) Method and system for segmenting query urls
US20080209552A1 (en) Identifying potentially offending content using associations
JP2017521769A (ja) ログインアカウントのプロンプト
US20080065694A1 (en) Local Search Using Address Completion
US8832068B2 (en) Indirect data searching on the internet
JP2009020720A (ja) ファイル管理システム
RU2702048C1 (ru) Способ анализа источника и адресата интернет-трафика
US20090063406A1 (en) Method, Service and Search System for Network Resource Address Repair
US8819212B1 (en) Delegation of data classification using common language
WO2015081848A1 (zh) 社交化扩展搜索方法及相应的装置、系统
CN110019542B (zh) 企业关系的生成、生成组织成员数据库及识别同名成员
US7739743B2 (en) Information presentation apparatus, and information presentation method and program for use therein
CN111953545A (zh) 一种网络资产搜集方法、装置、设备及存储介质
KR100385083B1 (ko) 리얼네임에 의한 인터넷상 컴퓨터 네트워크 접속방법 및 그 컴퓨터 네트워크 시스템
EP2880579A1 (en) Conjoint vulnerability identifiers
CN113157487B (zh) 数据恢复方法及其设备
WO2009054611A1 (en) System and method for managing information map
RU2709647C9 (ru) Способ ассоциирования доменного имени с характеристикой посещения веб-сайта
JP2012523626A (ja) ドメイン状態、目的、およびカテゴリ
KR20070031152A (ko) 검색어 입력에 대한 검색 결과를 제공하는 방법 및 그방법을 채용한 검색 엔진
US20150286722A1 (en) Tagging of documents and other resources to enhance their searchability
EP2819028A2 (en) Content management system
Quick et al. Quick analysis of digital forensic data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201127

RJ01 Rejection of invention patent application after publication