CN113656712B - 资产收集方法、装置、电子装置和存储介质 - Google Patents

资产收集方法、装置、电子装置和存储介质 Download PDF

Info

Publication number
CN113656712B
CN113656712B CN202110923780.7A CN202110923780A CN113656712B CN 113656712 B CN113656712 B CN 113656712B CN 202110923780 A CN202110923780 A CN 202110923780A CN 113656712 B CN113656712 B CN 113656712B
Authority
CN
China
Prior art keywords
domain name
resolution
address
historical
history
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110923780.7A
Other languages
English (en)
Other versions
CN113656712A (zh
Inventor
黄旗亮
范渊
黄进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DBAPPSecurity Co Ltd
Original Assignee
DBAPPSecurity Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DBAPPSecurity Co Ltd filed Critical DBAPPSecurity Co Ltd
Priority to CN202110923780.7A priority Critical patent/CN113656712B/zh
Publication of CN113656712A publication Critical patent/CN113656712A/zh
Application granted granted Critical
Publication of CN113656712B publication Critical patent/CN113656712B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/955Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • H04L61/45Network directories; Name-to-address mapping
    • H04L61/4505Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请涉及一种资产收集方法、装置、电子装置和存储介质,其中,该方法包括:获取目标网站的第一IP地址;从历史域名解析记录中获取与第一IP地址关联的历史解析域名,并建立第一IP地址与历史解析域名的映射关系;对映射关系中的历史解析域名进行脏数据处理,确定历史解析域名的有效第二IP地址;根据关联的历史解析域名和有效第二IP地址完成目标网站的资产收集。通过本申请,解决了相关技术中人工的资产收集方式效率低下,而且准确率不高的问题,实现了基于历史域名解析记录对目标网站进行扩展的资产收集,不仅提高资产收集效率,而且提高了准确率。

Description

资产收集方法、装置、电子装置和存储介质
技术领域
本申请涉及网络技术领域,特别是涉及资产收集方法、装置、电子装置和存储介质。
背景技术
IP是为计算机网络相互连接进行通信而设计的协议。在因特网中,它能使连接到网上的所有计算机网络实现相互通信的一套规则,规定了计算机在因特网上进行通信时应当遵守的规则。IP地址是一种在Internet上的给主机编址的方式,也称为网际协议地址,日常见到的每台联网的PC上都需要有IP地址,才能正常通信。由于IP协议具有的快速和方便的数据包寻址和传送方式,因此越来越多的网络选择使用IP协议。但是随着互联网的高速发展,网络犯罪也越来越猖獗。网络犯罪很多是基于搭建的违法网站来实施犯罪,违法网站也使用IP协议进行通信。但是违法网站常常会使用诸多反侦察防护手段,使得发现这部分的资产变得尤为困难。
目前,违法网站的资产收集方法为:依靠违法网站的域名建立黑名单,依靠人工对黑名单中相关的违法网站进行关联查找,但是违法网站常常会使用诸多反侦察防护手段,导致人工的资产收集方式效率低下,而且准确率不高。
目前针对相关技术中的人工的资产收集方式效率低下,而且准确率不高问题,尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种资产收集方法、装置、电子装置和存储介质,以至少解决相关技术中人工的资产收集方式效率低下,而且准确率不高的问题。
第一方面,本申请实施例提供了一种资产收集方法,包括:
获取目标网站的第一IP地址;
从历史域名解析记录中获取与所述第一IP地址关联的历史解析域名,并建立所述第一IP地址与所述历史解析域名的映射关系;
对所述映射关系中的所述历史解析域名进行脏数据处理,确定所述历史解析域名的有效第二IP地址;
根据关联的所述历史解析域名和所述有效第二IP地址完成所述目标网站的资产收集。
在其中一些实施例中,所述获取目标网站的第一IP地址,包括:
获取目标网站的域名,对所述域名进行域名解析,得到对应的第一IP地址。
在其中一些实施例中,本申请提供的所述的资产收集方法,还包括:
对互联网的历史域名解析数据的数据接口的调用方式进行规范化处理,得到规范化调用方式;
对互联网的历史域名解析数据按所需数据字段进行标准化处理,得到以域名为维度的历史域名解析记录的数据库。
在其中一些实施例中,所述从历史域名解析记录中获取与所述第一IP地址关联的历史解析域名,并建立所述第一IP地址与所述历史解析域名的映射关系,包括:
利用所述规范化调用方式调用数据接口,从所述历史域名解析记录中获取与所述第一IP地址关联的历史解析域名;并建立所述第一IP地址与所述历史解析域名的映射关系。
在其中一些实施例中,所述对所述映射关系中的所述历史解析域名进行脏数据处理,确定所述历史解析域名的有效第二IP地址,包括:
对所述映射关系中的所述历史解析域名进行域名解析,将解析不出对应第二IP地址的所述历史解析域名作为脏数据进行处理,得到第一处理结果;
对所述第一处理结果中的所述历史解析域名进行域名解析,将解析出多个对应第二IP地址的所述历史解析域名作为脏数据进行处理,得到第二处理结果;
基于预设的历史处理域名清单对所述第二处理结果中的所述历史解析域名进行处理,确定所述历史解析域名的有效第二IP地址。
在其中一些实施例中,所述根据关联的所述历史解析域名和所述有效第二IP地址完成所述目标网站的资产收集,包括:
根据所述映射关系中的所述历史解析域名的总数量和具有有效第二IP地址的所述历史解析域名的数量确定当前轮关联系数;
根据预设的目标网站的站点关联系数和每一轮关联系数,确定整体关联系数;
在所述整体关联系数满足预设的匹配阈值时,根据关联的所述历史解析域名和统计所有轮的所述有效第二IP地址完成所述目标网站的资产收集。
在其中一些实施例中,本申请提供的资产收集方法,还包括:
在所述整体关联系数不满足预设的匹配阈值时,基于所述当前轮处理结果中节点域名对应的第二IP地址,进行下一轮的资产扩展。
第二方面,本申请实施例提供了一种资产收集装置,包括获取模块、映射模块、处理模块以及收集模块;
所述获取模块,用于获取目标网站的第一IP地址;
所述映射模块,用于基于所述目标网站的第一IP地址从历史域名解析记录中获取对应的历史解析域名,并建立所述第一IP地址与所述历史解析域名的映射关系;
所述处理模块,用于对所述映射关系中的所述历史解析域名进行脏数据处理,确定所述历史解析域名的有效第二IP地址;
所述收集模块,用于根据关联的所述历史解析域名和所述有效第二IP地址完成所述目标网站的资产收集。
第三方面,本申请实施例提供了一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的资产收集方法。
第四方面,本申请实施例提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的资产收集方法。
相比于相关技术,本申请实施例提供的资产收集方法、装置、电子装置和存储介质,通过获取目标网站的第一IP地址;从历史域名解析记录中获取与第一IP地址关联的历史解析域名,并建立第一IP地址与历史解析域名的映射关系;对映射关系中的历史解析域名进行脏数据处理,确定历史解析域名的有效第二IP地址;根据关联的历史解析域名和有效第二IP地址完成目标网站的资产收集。解决了相关技术中人工的资产收集方式效率低下,而且准确率不高的问题,实现了基于历史域名解析记录对目标网站进行扩展的资产收集,不仅提高资产收集效率,而且提高了准确率。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是本申请一实施例提供的资产收集方法的终端设备的硬件结构框图;
图2是本申请一实施例提供的资产收集方法的流程图;
图3是图2中步骤S230的流程图;
图4是本申请一实施例提供的资产收集装置的结构框图。
图中:210、获取模块;220、映射模块;230、处理模块;240、收集模块。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
本实施例提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以运行在终端上为例,图1是本发明实施例的资产收集方法的终端的硬件结构框图。如图1所示,终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,可选地,上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述终端的结构造成限定。例如,终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的资产收集方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端10的通信供应商提供的无线网络。在一个实例中,传输设备106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
本实施例提供了一种资产收集方法,图2是根据本申请实施例的资产收集方法的流程图,如图2所示,该流程包括如下步骤:
步骤S210,获取目标网站的第一IP地址;
步骤S220,从历史域名解析记录中获取与第一IP地址关联的历史解析域名,并建立第一IP地址与历史解析域名的映射关系;
步骤S230,对映射关系中的历史解析域名进行脏数据处理,确定历史解析域名的有效第二IP地址;
步骤S240,根据关联的历史解析域名和有效第二IP地址完成目标网站的资产收集。
需要说明的是,资产收集指的是基于目标网站的第一IP地址进行关联扩展,收集相关的资产。目标网站是已经被认定为违法的网站站点,目标网站即为违法站点。在本实施例中,通过上述步骤是完成违法网站的资产收集。在其他实施例中,也可以用于对其他目标网站的资产收集。
第一IP地址是通过对目标网站的域名进行域名解析得到,域名解析是把域名指向网站空间IP,通过注册的域名可以方便地访问到网站的一种服务。IP地址是网络上标识站点的数字地址。域名解析就是域名到IP地址的转换过程。域名的解析工作可以由DNS服务器完成。历史域名解析记录是对互联网国内外公开的历史域名解析数据处理得到,其为以域名为维度的结构化数据,其包括:历史解析域名、对应的历史解析IP、对应的解析时间以及子域名等,存储在数据库中。可以认为历史域名解析记录包括历史解析域名的集合。
通过第一IP地址即可从历史域名解析记录中筛选出在历史上有关联关系的历史解析域名,比如:第一IP地址为192.168.1.1;关联的历史解析域名为:www.aa.com;www.bb.com;那么建立的映射关系为:192.168.1.1-www.aa.com;192.168.1.1-www.bb.com。也就是说,映射关系可能是一条;也可能是多条。最终都会将设有的IP地址和关联的历史解析域名都建立映射关系。对于映射关系中的历史解析域名进行脏数据处理,确定历史解析域名的有效第二IP地址。确定第二IP地址是目标网站资产的一部分。最后根据关联的历史解析域名和有效第二IP地址完成目标网站的资产收集。比如:关联的历史解析域名www.aa.com,其有效第二IP地址为:192.168.1.2;关联的历史解析域域名www.bb.com其没有有效第二IP地址,那么最终的目标网站的资产收集为:192.168.1.1-www.aa.com(192.168.1.2);192.168.1.1-www.bb.com。于本实施例中,对于资产收集的呈现形式并不进行限制,比如,可以是以数据记录的形式呈现,也可以是以树状结构的形式呈现。
通过上述步骤,解决了相关技术中人工的资产收集方式效率低下,而且准确率不高的问题,实现了基于历史域名解析记录对目标网站进行扩展的资产收集,不仅提高资产收集效率,而且提高了准确率。
本实施例还提供了一种资产收集方法,该流程在图2的基础上,还包括如下步骤:
步骤S310,对互联网的历史域名解析数据的数据接口的调用方式进行规范化处理,得到规范化调用方式;
步骤S320,对互联网的历史域名解析数据按所需数据字段进行标准化处理,得到以域名为维度的历史域名解析记录的数据库。
历史域名解析数据指的是互联网中,国内外所有公开的历史域名解析数据,由于其在互联网中原始存储的位置不同,其调用方式和存储形式也各有差别。为了方便历史域名解析数据的使用,将所有的历史域名解析数据指定一个标准的必须字段,此处的必须字段包括:历史域名、对应的解析IP、对应的解析时间以及子域名;将其整合到数据库中以历史域名解析记录的形式存储,并规范化调用方式。标准化的过程可以为:获取历史域名解析数据;将指定的必须字段从历史域名解析数据中提取出来;将提取出来的字段信息存入数据库以供后续调用。那么后续使用即可利用规范化调用方式调用数据接口,以字段信息(历史域名、对应的解析IP、对应的解析时间或子域名);调取关联的数据。在此基础上,步骤S220包括以下步骤:
利用规范化调用方式调用数据接口,从历史域名解析记录中获取与第一IP地址关联的历史解析域名;并建立第一IP地址与历史解析域名的映射关系。
具体的,第一IP地址即为字段信息,利用规范化调用方式调用数据接口,即可根据第一IP地址从历史域名解析记录中获取关联的历史解析域名,能够快速实现关联的历史解析域名的搜寻和映射关系的建立,提高收集效率。
在其中一个实施例中,如图3所示,步骤S230,包括以下步骤:
步骤S231,对映射关系中的历史解析域名进行域名解析,将解析不出对应第二IP地址的历史解析域名作为脏数据进行处理,得到第一处理结果;
具体的,这里的域名解析也是域名到IP地址的转换过程,如果解析不出对应第二IP地址,则说明该历史解析域名在当前没有对应的第二IP地址,历史解析域名作为节点的话,该节点不能进一步扩展,表明该域名的节点扩展结束,即认定解析不出对应第二IP地址的历史解析域名为脏数据。比如,解析出第二IP地址的历史解析域名如下:历史解析域名:www.aa.com;其第一IP地址为:192.168.1.1;解析结果:192.168.1.2,其中,192.168.1.2为第二IP地址;解析不出第二IP地址的历史解析域名如下:历史解析域名:www.dd.com;其第一IP地址为:192.168.1.4;解析结果:**server can't find www.dd.xx:NXDOMAIN。那么对历史解析域名www.aa.com作为脏数据处理,即不做节点扩展。那么处理后得到的第一处理结果,比如为:192.168.1.1-www.aa.com(192.168.1.2);192.168.1.4-www.dd.com。
步骤S232,对第一处理结果中的历史解析域名进行域名解析,将解析出多个对应第二IP地址的历史解析域名作为脏数据进行处理,得到第二处理结果;
同样的,采用域名解析的方式对对第一处理结果中的历史解析域名继续进行域名解析,如果解析出多个对应第二IP地址,则说明该历史解析域名使用了CDN的域名。其中,CDN的全称是Content Delivery Network,即内容分发网络。CDN是构建在现有网络基础之上的智能虚拟网络,依靠部署在各地的边缘服务器,通过中心平台的负载均衡、内容分发、调度等功能模块,使用户就近获取所需内容,降低网络拥塞,提高用户访问响应速度和命中率。由于使用CDN的节点上的IP地址会解析这各类站点,为了提高资产扩张的准确率,将使用了CDN的域名作为脏数据,即不做节点扩展。
步骤S233,基于预设的历史处理域名清单对第二处理结果中的历史解析域名进行处理,确定历史解析域名的有效第二IP地址。
同样的,为了进一步提高准确率和收集效率,会预设历史处理域名清单对第二处理结果中的历史解析域名进行处理。历史处理域名清单包括每次暂数据处理后保存的相关域名,或者用户自己设定的相关域名,从而最终确定历史解析域名的有效第二IP地址。这里的有效第二IP地址可以认为是可以继续扩展的IP地址。
需要说明的是,上述步骤S231至步骤S233的处理方案可以是单独存在。比如,在一个实施例中,可以只有对映射关系中的历史解析域名进行域名解析,将解析不出对应第二IP地址的历史解析域名作为脏数据进行处理,确定历史解析域名的有效第二IP地址。或者,对映射关系中的历史解析域名进行域名解析,将解析出多个对应第二IP地址的历史解析域名作为脏数据进行处理,确定历史解析域名的有效第二IP地址。或者,基于预设的历史处理域名清单对映射关系中的历史解析域名进行处理,确定历史解析域名的有效第二IP地址。也可以是任意两个步骤组合,且上述步骤的执行顺序也可以调换,在此不再一一举例。
具体的,步骤S240包括以下步骤:
步骤S241,根据映射关系中的历史解析域名的总数量和具有有效第二IP地址的历史解析域名的数量确定当前轮关联系数;
步骤S242,根据预设的目标网站的站点关联系数和每一轮关联系数,确定整体关联系数;
步骤S243,在整体关联系数满足预设的匹配阈值时,根据关联的历史解析域名和统计所有轮的有效第二IP地址完成目标网站的资产收集。
步骤S244,在整体关联系数不满足预设的匹配阈值时,基于当前轮处理结果中节点域名对应的第二IP地址,进行下一轮的资产扩展。
对于小型的犯罪团伙来说,其违法网站可能就几个,那么将这几个违法站点作为目标网站经过一轮的关联扩展,即可完成资产收集。一般情况下步骤S220和步骤S230为一轮的关联扩展。但是对于大型的犯罪团伙来说,由于违法网站数量很庞大,就需要经过多轮的关联扩展。
当前轮关联系数为具有有效第二IP地址的历史解析域名的数量除以映射关系中的历史解析域名的总数量。预设的目标网站的站点关联系数可以默认为1;整体关联系数为站点关联系数乘以每一轮关联系数。如果只有一轮,则整体关联系数为站点关联系数乘以第一轮关联系数。如果有两轮,则整体关联系数为站点关联系数乘以第一轮关联系数乘以第二轮关联系数。比如,第一轮关联系数为0.4,第二轮关联系数为0.7,则截止当前轮的整体关联系数为:1*0.4*0.7=0.28。在其他实施例中,站点关联系数有为其他值,比如0.8、0.9等。匹配阈值为收敛条件,整体关联系数小于或等于匹配阈值,则表明整体关联系数满足匹配阈值,根据关联的历史解析域名和统计所有轮的有效第二IP地址完成目标网站的资产收集。如果整体关联系数大于匹配阈值即为满足匹配阈值,则表示整体关联系数不满足匹配阈值,需要继续下一轮的扩展。以第二IP地址为作为步骤S220中的第一IP地址输入,执行步骤S220和步骤S230。通过对犯罪团伙的违法网站的资产收集,能够针对性地发现其黑灰产违法站点的相关资产,为打击涉网犯罪和主动预警起到强有力的支撑作用。
经过一轮扩展的资产收集结果可以表示为:192.168.1.1-www.aa.com(192.168.1.2);192.168.1.1-www.bb.com。经过两轮扩展的资产收集结果可以表示(树状结构的格式呈现)为:
192.168.1.4-www.dd.com;
192.168.1.1-www.aa.com(192.168.1.2);
192.168.1.2-www.123.com(192.168.1.5);
192.168.1.1-www.cc.com(192.168.1.3);
192.168.1.3-www.456.com(192.168.1.6)。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种资产收集装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图4是根据本申请实施例的资产收集装置的结构框图,如图4所示,该装置包括:获取模块210、映射模块220、处理模块230以及收集模块240;
获取模块210,用于获取目标网站的第一IP地址;
映射模块220,用于基于目标网站的第一IP地址从历史域名解析记录中获取对应的历史解析域名,并建立第一IP地址与历史解析域名的映射关系;
处理模块230,用于对映射关系中的历史解析域名进行脏数据处理,确定历史解析域名的有效第二IP地址;
收集模块240,用于根据关联的历史解析域名和有效第二IP地址完成目标网站的资产收集。
通过本装置,解决了相关技术中人工的资产收集方式效率低下,而且准确率不高的问题,实现了基于历史域名解析记录对目标网站进行扩展的资产收集,不仅提高资产收集效率,而且提高了准确率。
在其中一个实施例中,获取模块210,还用于获取目标网站的域名,对域名进行域名解析,得到对应的第一IP地址。
在其中一个实施例中,映射模块220,还用于利用规范化调用方式调用数据接口,从历史域名解析记录中获取与第一IP地址关联的历史解析域名;并建立第一IP地址与历史解析域名的映射关系。
在其中一个实施例中,处理模块230,还用于对映射关系中的历史解析域名进行域名解析,将解析不出对应第二IP地址的历史解析域名作为脏数据进行处理,得到第一处理结果;
对第一处理结果中的历史解析域名进行域名解析,将解析出多个对应第二IP地址的历史解析域名作为脏数据进行处理,得到第二处理结果;
基于预设的历史处理域名清单对第二处理结果中的历史解析域名进行处理,确定历史解析域名的有效第二IP地址。
在其中一个实施例中,收集模块240,还用于根据映射关系中的历史解析域名的总数量和具有有效第二IP地址的历史解析域名的数量确定当前轮关联系数;
根据预设的目标网站的站点关联系数和每一轮关联系数,确定整体关联系数;
在整体关联系数满足预设的匹配阈值时,根据关联的历史解析域名和统计所有轮的有效第二IP地址完成目标网站的资产收集;
在整体关联系数不满足预设的匹配阈值时,基于当前轮处理结果中节点域名对应的第二IP地址,进行下一轮的资产扩展。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取目标网站的第一IP地址;
S2,从历史域名解析记录中获取与第一IP地址关联的历史解析域名,并建立第一IP地址与历史解析域名的映射关系;
S3,对映射关系中的历史解析域名进行脏数据处理,确定历史解析域名的有效第二IP地址;
S4,根据关联的历史解析域名和有效第二IP地址完成目标网站的资产收集。
需要说明的是,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
另外,结合上述实施例中的资产收集方法,本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种资产收集方法。
本领域的技术人员应该明白,以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种资产收集方法,其特征在于,包括:
获取目标网站的第一IP地址;
从历史域名解析记录中获取与所述第一IP地址关联的历史解析域名,并建立所述第一IP地址与所述历史解析域名的映射关系;
对所述映射关系中的所述历史解析域名进行脏数据处理,确定所述历史解析域名的有效第二IP地址;
其中,对所述映射关系中的所述历史解析域名进行脏数据处理,确定所述历史解析域名的有效第二IP地址,包括:
对所述映射关系中的所述历史解析域名进行域名解析,将解析不出对应第二IP地址的所述历史解析域名作为脏数据进行处理,得到第一处理结果;其中,脏数据进行处理为不做节点扩展的处理;
对所述第一处理结果中的所述历史解析域名进行域名解析,将解析出多个对应第二IP地址的所述历史解析域名作为脏数据进行处理,得到第二处理结果;
基于预设的历史处理域名清单对所述第二处理结果中的所述历史解析域名进行处理,确定所述历史解析域名的有效第二IP地址;
根据关联的所述历史解析域名和所述有效第二IP地址完成所述目标网站的资产收集。
2.根据权利要求1所述的资产收集方法,其特征在于,所述获取目标网站的第一IP地址,包括:
获取目标网站的域名,对所述域名进行域名解析,得到对应的第一IP地址。
3.根据权利要求1所述的资产收集方法,其特征在于,还包括:
对互联网的历史域名解析数据的数据接口的调用方式进行规范化处理,得到规范化调用方式;
对互联网的历史域名解析数据按所需数据字段进行标准化处理,得到以域名为维度的历史域名解析记录的数据库。
4.根据权利要求3所述的资产收集方法,其特征在于,所述从历史域名解析记录中获取与所述第一IP地址关联的历史解析域名,并建立所述第一IP地址与所述历史解析域名的映射关系,包括:
利用所述规范化调用方式调用数据接口,从所述历史域名解析记录中获取与所述第一IP地址关联的历史解析域名;并建立所述第一IP地址与所述历史解析域名的映射关系。
5.根据权利要求1所述的资产收集方法,其特征在于,所述根据关联的所述历史解析域名和所述有效第二IP地址完成所述目标网站的资产收集,包括:
根据所述映射关系中的所述历史解析域名的总数量和具有有效第二IP地址的所述历史解析域名的数量确定当前轮关联系数;
根据预设的目标网站的站点关联系数和每一轮关联系数,确定整体关联系数;
在所述整体关联系数满足预设的匹配阈值时,根据关联的所述历史解析域名和统计所有轮的所述有效第二IP地址完成所述目标网站的资产收集。
6.根据权利要求5所述的资产收集方法,其特征在于,还包括:
在所述整体关联系数不满足预设的匹配阈值时,基于所述当前轮处理结果中节点域名对应的第二IP地址,进行下一轮的资产扩展。
7.一种资产收集装置,其特征在于,包括获取模块、映射模块、处理模块以及收集模块;
所述获取模块,用于获取目标网站的第一IP地址;
所述映射模块,用于基于所述目标网站的第一IP地址从历史域名解析记录中获取对应的历史解析域名,并建立所述第一IP地址与所述历史解析域名的映射关系;
所述处理模块,用于对所述映射关系中的所述历史解析域名进行脏数据处理,确定所述历史解析域名的有效第二IP地址;
所述处理模块,还用于对所述映射关系中的所述历史解析域名进行域名解析,将解析不出对应第二IP地址的所述历史解析域名作为脏数据进行处理,得到第一处理结果;其中,脏数据进行处理为不做节点扩展的处理;
对所述第一处理结果中的所述历史解析域名进行域名解析,将解析出多个对应第二IP地址的所述历史解析域名作为脏数据进行处理,得到第二处理结果;
基于预设的历史处理域名清单对所述第二处理结果中的所述历史解析域名进行处理,确定所述历史解析域名的有效第二IP地址;
所述收集模块,用于根据关联的所述历史解析域名和所述有效第二IP地址完成所述目标网站的资产收集。
8.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至6中任一项所述的资产收集方法。
9.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行权利要求1至6中任一项所述的资产收集方法。
CN202110923780.7A 2021-08-12 2021-08-12 资产收集方法、装置、电子装置和存储介质 Active CN113656712B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110923780.7A CN113656712B (zh) 2021-08-12 2021-08-12 资产收集方法、装置、电子装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110923780.7A CN113656712B (zh) 2021-08-12 2021-08-12 资产收集方法、装置、电子装置和存储介质

Publications (2)

Publication Number Publication Date
CN113656712A CN113656712A (zh) 2021-11-16
CN113656712B true CN113656712B (zh) 2024-03-29

Family

ID=78479521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110923780.7A Active CN113656712B (zh) 2021-08-12 2021-08-12 资产收集方法、装置、电子装置和存储介质

Country Status (1)

Country Link
CN (1) CN113656712B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117714124B (zh) * 2023-12-08 2024-08-06 北京华顺信安科技有限公司 基于域名解析的云防护方法、系统、终端及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111277461A (zh) * 2020-01-19 2020-06-12 杭州安恒信息技术股份有限公司 一种内容分发网络节点的识别方法、系统及设备
CN112003857A (zh) * 2020-08-20 2020-11-27 深信服科技股份有限公司 一种网络资产搜集方法、装置、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111277461A (zh) * 2020-01-19 2020-06-12 杭州安恒信息技术股份有限公司 一种内容分发网络节点的识别方法、系统及设备
CN112003857A (zh) * 2020-08-20 2020-11-27 深信服科技股份有限公司 一种网络资产搜集方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113656712A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
KR101568977B1 (ko) Dns 데이터를 이용하여 ip 흐름과 연관된 애플리케이션을 식별하기 위한 방법 및 장치
WO2019062593A1 (zh) 报文传输方法及装置、计算机可读存储介质
CN110740490A (zh) 终端入网方法、网关设备、系统、存储介质及装置
CN112020862B (zh) 在远程网络上标识设备的方法、系统和计算机可读存储介质
CN102025567A (zh) 一种共享接入检测方法以及相关装置
CN107181605B (zh) 报文检测方法及系统、内容提取装置、流量匹配装置
CN108370334B (zh) 网络连通性检测
CN113656712B (zh) 资产收集方法、装置、电子装置和存储介质
CN111859127A (zh) 消费数据的订阅方法、装置及存储介质
US8782092B2 (en) Method and apparatus for streaming netflow data analysis
CN112087532B (zh) 信息获取方法、装置、设备及存储介质
CN113014573B (zh) Dns服务器的监控方法、系统、电子装置和存储介质
CN111464479B (zh) 终端设备用户身份的识别方法及系统
CN111294285B (zh) 一种网络数据的分发方法及负载均衡器
CN112738019B (zh) 设备信息的显示方法、装置、存储介质以及电子装置
CN112188456B (zh) 蓝牙设备数据采集方法和装置、存储介质和电子装置
CN113766186B (zh) 网络摄像机配置界面的跳转方法、装置、系统和电子装置
Castiglione et al. Device tracking in private networks via napt log analysis
CN111368294B (zh) 病毒文件的识别方法和装置、存储介质、电子装置
Su et al. A study on the distribution of active IPv6 addresses used by websites
CN106921628A (zh) 基于网络地址识别网络访问来源方法和装置
CN111881686B (zh) 新出现实体的检测方法、装置、电子装置和存储介质
CN111371915B (zh) Ip地址列表维护方法和装置及网关设备
CN116668132A (zh) 局域网漏洞检测方法、系统及装置
CN113094582A (zh) 处理方法及装置、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant