CN109783719B - 基于单位名称的资产数据查找方法、装置、设备及介质 - Google Patents

Abstract

本发明提供一种资产数据查找方法，包括：获取单位名称对应的第一域名及第一IP地址，并获取根域下的所有子域名及第二IP地址，作为第一资产数据；获取网页标题、网页快照及网页主体内容，将网页标题与单位名称匹配，得到第一URL地址及第三IP地址，作为第二资产数据；将第一URL地址对应的网页的主体内容与第一域名对应的网页的内容进行匹配，得到第二URL地址和第四IP地址，作为第三资产数据；提取域名对应的网页中的单位的商标，与第一域名对应的网页快照匹配，得到第三URL地址和第五IP地址，作为第四资产数据；将第二资产数据、第三资产数据及第四资产数据与第一资产数据进行匹配，得到第五资产数据。该方法能更高效、准确、全面的查找单位资产数据。

Description

基于单位名称的资产数据查找方法、装置、设备及介质

技术领域

本发明涉及互联网资产普查领域，尤其涉及一种基于单位名称的资产数据查找方法、装置、设备及介质。

背景技术

当前普查互联网上单位暴露资产，基本以人为上报为主，以给定域名进行子域名查找为辅，这种普查方法查找数据方式和手段单一，无法对单位多样化多变的系统进行全面的普查，同时方法不支持有效的扩展。因此，设计一种有效、准确地互联网资产数据查找方法很有必要。

发明内容

(一)要解决的技术问题

针对目前存在的技术问题，本发明提出一种基于单位名称的资产数据查找方法、装置、设备及介质，用于至少部分解决上述技术问题。

(二)技术方案

本发明提供一种基于单位名称的资产数据查找方法，包括：

获取资产备案数据中单位名称对应的第一域名和第一域名对应的第一IP地址，并根据第一域名及第一IP地址获取第一域名的根域下的所有子域名及子域名对应的第二IP地址，作为第一资产数据；获取所有http和https协议的应用数据中的网页标题、网页快照及网页主体内容，将网页标题与单位名称匹配，得到第一URL地址及第一URL地址对应的第三IP地址，作为第二资产数据；将第一URL地址对应的网页的主体内容与第一域名对应的网页的内容进行匹配，得到第二URL地址和第四IP地址，作为第三资产数据；提取第一域名对应的网页中的单位的商标，与网页快照匹配，得到第三URL地址和第五IP地址，作为第四资产数据；将第二资产数据、第三资产数据及第四资产数据与所有的子域名及第二IP地址进行匹配，得到第二域名和第六IP地址，作为第五资产数据。

可选地，在进行资产数据查找时，可获取第一资产数据、第二资产数据、第三资产数据及第四资产数据中的任意一种或几种，也可结合第一资产数据和第五资产数据得到单位的资产数据。

可选地，获取第一域名的根域下所有的子域名及所述子域名对应的第二IP地址包括：基于互联网域名解析节点流量数据，通过查询流量解析数据获取所有的子域名及第二IP地址。

可选地，提取所有http和https协议的应用数据中的网页标题、网页快照及网页主体内容，包括：基于互联网已知IPv4地址空间，通过爬虫技术对互联网上所有http和https协议的应用数据进行爬取，获得网页标题、网页快照及网页主体内容。

本发明另一方面提供一种基于单位名称的资产数据查找装置，该装置包括：第一查找模块，用于获取资产备案数据中单位名称对应的第一域名和第一域名对应的第一IP地址，并根据第一域名及第一IP地址获取第一域名的根域下的所有子域名及子域名对应的第二IP地址，作为第一资产数据；第二查找模块，用于获取所有http和https协议的应用数据中的网页标题、网页快照及网页主体内容，将网页标题与单位名称匹配，得到第一URL地址及第一URL地址对应的第三IP地址，作为第二资产数据；第三查找模块，用于将第一URL地址对应的网页的主体内容与第一域名对应的网页的内容进行匹配，得到第二URL地址和第四IP地址，作为第三资产数据；第四查找模块，用于提取第一域名对应的网页中的单位的商标，与网页快照匹配，得到第三URL地址和第五IP地址，作为第四资产数据；第五查找模块，用于将第二资产数据、第三资产数据及第四资产数据与所有的子域名及第二IP地址进行匹配，得到第二域名和第六IP地址，以作为第五资产数据。

可选地，在进行资产数据查找时，可获取第一资产数据、第二资产数据、第三资产数据及第四资产数据中的任意一种或几种，也可结合第一资产数据和第五资产数据得到单位的资产数据。

可选地，资产备案数据模块获取域名的根域下所有的子域名及子域名对应的第二IP地址包括：基于互联网域名解析节点流量数据，通过查询流量解析数据获取所述所有的子域名及第二IP地址。

可选地，第一匹配模块提取所有http和https协议的应用数据中的网页标题、网页快照及网页主体内容，包括：基于互联网已知IPv4地址空间，通过爬虫技术对互联网上所有http和https协议的应用数据进行爬取，获得网页标题、网页快照及网页主体内容。

本发明另一方面还提供一种电子设备，包括：处理器；存储器，其存储有计算机可执行程序，该程序在被所述处理器执行时，使得所述处理器执行本发明中的基于单位名称的资产数据查找方法。

本发明另一方面还提供一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现本发明中的基于单位名称的资产数据查找方法。

(三)有益效果

本发明提供的一种基于单位名称的资产数据查找方法，通过互联网已知的数据，采集流量数据、资产备案数据、IPv4地址空间数据建立多个基于语义、关键字、图片等相似度识别的机器学习模型，采取循环递归查找的方式能够实现自动化的高效准确全面的互联网资产普查。

附图说明

为了更完整地理解本发明及其优势，现在将参考结合附图的以下描述，其中：

图1示意性示出了根据本发明实施例的基于单位名称的资产数据查找方法流程图

图2示意性示出了根据本发明实施例的基于单位名称的资产数据查找装置的框图。

图3示意性示出了根据本发明实施例的电子设备的框图。

具体实施方式

以下，将参照附图来描述本发明的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本发明实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

本发明实施例提出一种基于单位名称的资产数据查找方法。该方法是基于互联网海量数据的企业资产的普查，主要从五个途径去查询单位的互联网资产数据，五个途径相互结合，更高效、准确、全面的查找单位资产数据。在实时查找资产数据的过程中，需要建立几个基础库：基于国家公布的备案数据库、基于域名解析(Domain Name System，DNS)的IP、域名数据库以及基于互联网暴露的IP应用数据库(包含IP地址、网页信息等)。同时还需要建立两个机器学习模型服务：基于关键词的语义分析模型，用于解决备案信息中单位名称到标题准确度的匹配；基于特定商标(logo)图像的网页特定元素图形识别模型。下面对该方法作详细介绍。

图1示意性示出了根据本发明实施例的基于单位名称的资产数据查找方法的流程图。

如图1所示，该方法包括：

途径一，获取资产备案数据中单位名称对应的第一域名和第一域名对应的第一IP地址，并根据第一域名及第一IP地址获取第一域名的根域下的所有子域名及子域名对应的第二IP地址，作为第一资产数据。

国家公布的备案数据库中，存储有单位相关信息，可以基于国家公开的备案信息库，通过输入单位名称查询单位所有相关备案的域名(第一域名)，得到单位名称对应的域名列表及该域名解析的IP地址列表(第一IP地址)以作为资产信息。但是这种方式获取资产信息的不够全面，因此结合前述获取的第一域名及第一IP地址信息，基于互联网DNS节点流量数据，通过查询流量解析数据获得单位名称对应的域名根域下所有的子域名(包括一级域名、二级域名、三级域名……)，并参照第一IP地址列表，获得所有子域名对应的IP解析列表(第二IP地址)，以作为第一资产数据，这种获取方式全面。

途径二，获取所有http和https协议的应用数据中的网页标题、网页快照及网页主体内容，将网页标题与单位名称匹配，得到第一URL地址及所述第一URL地址对应的第三IP地址，作为第二资产数据。

基于互联网已知IPv4地址空间，采用爬虫技术对互联网上所有http和https协议的应用数据进行爬取，建立海量资源数据库，并从中提取出网页标题、网页快照和网页主体内容；将单位名称与网页标题进行相似度匹配，提取其中有效的URL地址，得到URL地址列表(第一URL)和IP数据列表(第三IP地址)，以作为第二资产数据，这种以标题进行相似度进行匹配的匹配度较高，可达到80％以上，其中，UPL地址为http及https协议端口的数据。

途径三，将第一URL地址对应的网页的主体内容与第一域名对应的网页的内容进行匹配，得到第二URL地址和第四IP地址，作为第三资产数据。

具体是基于机器学习的语义分析，将第一URL地址对应的网页的主体内容与途径二中获得网页主体内容进行相似度匹配，得到URL地址列表(第二URL地址)和IP数据列表(第四IP地址)，以作为第三资产数据。这种方式的相似度匹配的匹配度相较与途径二要略低一点。

途径四，提取第一域名对应的网页中的单位的商标，与网页快照匹配，得到第三URL地址和第五IP地址，作为第四资产数据。

提取出单位名称对应域名对应的网页中单位的商标(logo)，将单位logo与途径二中获取的网页快照进行区域图像相似度查找匹配，具体是基于特定logo图像的网页特定元素图形识别模型进行匹配，从而得到URL地址列表(第三URL地址)和IP地址列表(第五IP地址)。以作为第四资产数据，这种方式的相似度匹配的匹配度跟途径二相比，相差不大。

途径五，将第二资产数据、第三资产数据及第四资产数据与途径一获取的所有的子域名及第二IP地址进行匹配，得到第五资产数据。

将途径二、三、四获取的URL地址列表及URL地址列表与途径一中获得所有子域名对应的IP解析列表进行相似度匹配，得到域名列表(第二域名)及IP地址列表(第六IP地址)，以作为第五资产数据。

以上五种途径中，途径一是基于域名获取单位的资产数据，途径二、三、四是基于内容获取单位的资产数据，途径五将域名和内容结合起来获取单位的资产数据。其中，途径四可以作为独立的资产数据获取方式，也可以是对途径三的进一步精准匹配，因为当网页标题有可能被篡改时，依据网页标题的相似度匹配就会存在一些问题，此时依据网页内容的匹配就可获得资产数据。在进行资产数据查找时，可获取第一资产数据、第二资产数据、第三资产数据及第四资产数据中的任意一种或几种，也可结合所第一资产数据和第五资产数据综合得到单位的资产数据，具体根据实际情况而定，五种资产数据相互并列且可相互结合，依次将每次的输入作为途径n的输入，可更高效、准确、全面的查找单位资产数据。

综上所述，本发明提出一种基于单位名称的资产数据查找方法，通过采集资产备案数据、互联网已知的数据，DNS流量解析数据、IPv4地址空间数据建立多个基于语义、关键字、图片等相似度识别的机器学习模型，采取循环递归查找的方式，通过输入单位名称，从而输出互联网暴露的单位资产，实现自动化的高效准确全面的互联网资产普查。

图2示意性示出了根据本发明实施例的基于单位名称的资产数据查找装置200的框图。

如图2所示，该基于单位名称的资产数据查找装置200包括第一查找模块210、第二查找模块220、第三查找模块230、第四查找模块240及第五查找模块250。

第一查找模块210，用于获取资产备案数据中单位名称对应的第一域名和第一域名对应的第一IP地址，并获取第一域名的根域下所有的子域名及子域名对应的第二IP地址，以作为第一资产数据；具体地，首先，基于国家公开的备案信息库，通过输入单位名称查询单位所有相关备案的域名(第一域名)，得到单位名称对应的域名列表及该域名解析的IP地址列表(第一IP地址)。然后，基于互联网DNS节点流量数据，通过查询流量解析数据获得单位名称对应的域名的根域下所有的子域名，并参照第一IP地址列表，获得所有子域名对应的IP解析列表(第二IP地址)。

第二查找模块220，用于提取所有http和https协议的应用数据中的网页标题、网页快照及网页主体内容，将网页标题与单位名称匹配，得到第一URL地址及第一URL地址对应的第三IP地址，作为第二资产数据。具体地，基于互联网已知IPv4地址空间，采用爬虫技术对互联网上所有http和https协议的应用数据进行爬取，建立海量资源数据库，并从中提取出网页标题、网页快照和网页主体内容；将单位名称与网页标题进行相似度匹配，提取其中有效的网页地址(URL)，得到URL地址列表(第一URL)和IP数据列表(第三IP地址)。

第三查找模块230，用于将第一URL对应的网页的主体内容与域名对应的网页的内容进行匹配，得到第二URL地址和第四IP地址，以作为第三查找数据。具体地，基于机器学习的语义分析，将第一URL地址对应的网页的主体内容与第一匹配模块220获得网页主体内容进行相似度匹配，得到URL地址列表(第二URL地址)和IP数据列表(第四IP地址)。

第四查找模块240，用于提取域名对应的网页中的单位的商标，与第一URL对应的网页快照匹配，得到第三URL地址和第五IP地址，以作为第四资产数据。具体地，提取出单位名称对应域名对应的网页中单位的商标(logo)，将单位logo与第一匹配模块220获取的网页快照进行区域图像相似度查找匹配，具体是基于特定logo图像的网页特定元素图形识别模型进行匹配，从而得到URL地址列表(第三URL地址)和IP地址列表(第五IP地址)。

第五查找模块250，将第二资产数据、第三资产数据及第四资产数据与所述所有的子域名及第二IP地址进行匹配，得到第五资产数据。

其中，在进行资产数据查找时，可获取第一资产数据、第二资产数据、第三资产数据及第四资产数据中的任意一种或几种，也可结合第一资产数据和第五资产数据综合得到单位的资产数据，具体根据实际情况而定，五种资产数据相互并列且可相互结合，依次将每次的输入作为途径n的输入，可更高效、准确、全面的查找单位资产数据

应当理解，第一查找模块210、第二查找模块220、第三查找模块230、第四查找模块240及第五查找模块250可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本发明的实施例，第一查找模块210、第二查找模块220、第三查找模块230、第四查找模块240及第五查找模块250中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以以对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式的适当组合来实现。或者，第一查找模块210、第二查找模块220、第三查找模块230、第四查找模块240及第五查找模块250中的至少一个可以至少被部分地实现为计算机程序模块，当该程序被计算机运行时，可以执行相应模块的功能。

本发明提供一种电子设备，如图3所示，该电子设备300包括处理器310和存储器320。该电子设备300可以执行根据图1所示的本发明实施例的方法。

具体地，处理器310例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器310还可以包括用于缓存用途的板载存储器。处理器310可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

存储器320，例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。

存储器320可以包括计算机程序321，该计算机程序321可以包括代码/计算机可执行指令，其在由处理器310执行时使得处理器310执行根据本公开实施例的方法或其任何变形。

计算机程序321可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序321中的代码可以包括至少一个程序模块，例如包括模块321A、模块321B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器310执行时，使得处理器310可以执行根据本公开实施例的方法或其任何变形。

本公开还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线、光缆、射频信号等等，或者上述的任意合适的组合。

尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (10)

1.一种基于单位名称的资产数据查找方法，其特征在于，包括：

获取资产备案数据中所述单位名称对应的第一域名和所述第一域名对应的第一IP地址，并根据所述第一域名及第一IP地址获取所述第一域名的根域下所有的子域名及所述子域名对应的第二IP地址，作为第一资产数据；

获取所有http和https协议的应用数据中的网页标题、网页快照及网页主体内容，将所述网页标题与所述单位名称匹配，得到第一URL地址及所述第一URL地址对应的第三IP地址，作为第二资产数据；

将第一URL地址对应的网页的主体内容与所述第一域名对应的网页的内容进行匹配，得到第二URL地址和第四IP地址，作为第三资产数据；

提取所述第一域名对应的网页中的单位的商标，与所述网页快照匹配，得到第三URL地址和第五IP地址，作为第四资产数据；

将所述第二资产数据、第三资产数据及第四资产数据与所述所有的子域名及第二IP地址进行匹配，得到第二域名和第六IP地址，作为第五资产数据。

2.根据权利要求1所述的基于单位名称的资产数据查找方法，其特征在于，在进行资产数据查找时，可获取第一资产数据、第二资产数据、第三资产数据及第四资产数据中的任意一种或几种，也可结合第一资产数据和第五资产数据得到单位的资产数据。

3.根据权利要求1所述的基于单位名称的资产数据查找方法，其特征在于，获取所述第一域名的根域下所有的子域名及所述子域名对应的第二IP地址包括：

基于互联网域名解析节点流量数据，通过查询流量解析数据获取所述所有的子域名及第二IP地址。

4.根据权利要求1所述基于单位名称的资产数据查找方法，其特征在于，所述获取所有http和https协议的应用数据中的网页标题、网页快照及网页主体内容，包括：

基于互联网已知IPv4地址空间，通过爬虫技术对互联网上所有http和https协议的应用数据进行爬取，获得所述网页标题、网页快照及网页主体内容。

5.一种基于单位名称的资产数据查找装置，其特征在于，所述装置包括：

第一查找模块，用于获取资产备案数据中所述单位名称对应的第一域名和所述第一域名对应的第一IP地址，并根据所述第一域名及第一IP地址获取所述第一域名的根域下所有的子域名及所述子域名对应的第二IP地址，作为第一资产数据；

第二查找模块，用于获取所有http和https协议的应用数据中的网页标题、网页快照及网页主体内容，将所述网页标题与所述单位名称匹配，得到第一URL地址及所述第一URL地址对应的第三IP地址，作为第二资产数据；

第三查找模块，用于将第一URL地址对应的网页的主体内容与所述第一域名对应的网页的内容进行匹配，得到第二URL地址和第四IP地址，作为第三资产数据；

第四查找模块，用于提取所述第一域名对应的网页中的单位的商标，与所述网页快照匹配，得到第三URL地址和第五IP地址，作为第四资产数据；

第五查找模块，用于将所述第二资产数据、第三资产数据及第四资产数据与所述所有的子域名及第二IP地址进行匹配，得到第二域名和第六IP地址，以作为第五资产数据。

6.根据权利要求5所述的基于单位名称的资产数据查找装置，其特征在于，在进行资产数据查找时，可获取第一资产数据、第二资产数据、第三资产数据及第四资产数据中的任意一种，也可结合第一资产数据和第五资产数据得到单位的资产数据。

7.根据权利要求5所述的基于单位名称的资产数据查找装置，其特征在于，所述第一查找模块获取所述第一域名的根域下所有的子域名及所述子域名对应的第二IP地址包括：

基于互联网域名解析节点流量数据，通过查询流量解析数据获取所述所有的子域名及第二IP地址。

8.根据权利要求5所述基于单位名称的资产数据查找装置，其特征在于，所述第二查找模块获取所有http和https协议的应用数据中的网页标题、网页快照及网页主体内容，包括：

基于互联网已知IPv4地址空间，通过爬虫技术对互联网上所有http和https协议的应用数据进行爬取，获得所述网页标题、网页快照及网页主体内容。

9.一种电子设备，其特征在于，包括：

处理器；

存储器，其存储有计算机可执行程序，该程序在被所述处理器执行时，使得所述处理器执行如权利要求1-4中任意一项所述的基于单位名称的资产数据查找方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任意一项所述的基于单位名称的资产数据查找方法。

Images