CN110795434A - 一种构建服务属性数据库的方法及装置 - Google Patents

Abstract

本发明实施例提供了一种构建服务属性数据库的方法及装置，其中方法包括：构建存储有目标页面的域名，目标页面域名对应的IP地址，目标页面的服务属性，目标页面的内容进行一一对应形成映射表的服务属性数据库，通过输入IP地址，可以更加便捷地从服务属性数据库中获取，与该IP地址关联的网站的行业属性以及该网站中网页的服务属性，提供给开发人员或者客户端，使得开发人员可以实时的对故障的网页进行修复以及全面的对整个网络空间进行监控、安全性分析或者维护。

Description

一种构建服务属性数据库的方法及装置

技术领域

本发明涉及计算机技术领域，特别是涉及一种构建服务属性数据库的方法及装置。

背景技术

IP(Internet Protocol Address，网际协议地址)技术作为连接客户端、服务器以及网络资源的纽带，常常被应用于网络技术中。

在网络技术中，客户端可以通过输入域名从网络服务器获取网络资源，示例性的，网络资源可以是网站，解析服务器对域名解析获得与域名对应的网络服务器的IP地址，每一个IP地址对应一个网站，每个网站可以划分不同的行业属性，例如：教育类网站、金融类网站、小说阅读类网站。每一个行业属性的网站可能存在多个页面，每个页面有其服务属性，示例性教育类网站的页面可以包括登录页面、教学页面、考试页面等等，登录页面的服务属性可以为登录。网络服务器通过访问端口，从网站提供者处获取IP地址对应的网站，发送给客户端。

如果当客户端在未获取网站时，想要获得网站中页面的服务属性，需要再次输入相同的域名访问网络服务器获取网站，网络服务器向解析服务器发送解析请求后，解析服务器重新解析域名对应的IP地址，将IP地址对应的网站发送网络服务器，网络服务器返回给客户端，客户端才能知道；或者当网络故障时，开发人员能监控到哪个域名的网站故障，却无法获知具体哪个服务属性的网页故障，导致不能实时的对网页进行修复，或者，当开发人员对整个网络空间进行监控、安全性分析或者维护都是根据域名去查询整个网站的状况，获知网络服务器、网站状况，却无法获知网站的服务属性。因此，亟需一种能够便捷的获取网站服务属性的方法。

发明内容

本发明实施例的目的在于提供一种构建服务属性数据库的方法及装置，以实现更加便捷的获取网站服务属性。具体技术方案如下：

第一方面，本发明实施例提供的一种构建服务属性数据库的方法，包括：

获取待探测域名列表，所述待探测域名列表包括多个待探测网站的主域名；

爬取所述待探测域名列表中各个主域名对应的页面及各个主域名下的子域名对应的页面以及超文本传输协议http响应的头部信息，并将主域名对应的页面以及主域名下的子域名对应的页面作为目标页面，http响应是向网络服务器发送http请求，网络服务器对http请求处理后返回的响应；

获取主域名以及主域名下的各子域名的A记录，其中，A记录通过解析服务器根据预设的源IP地址列表，解析主域名及主域名下子域名得到，A记录中包括主域名对应的IP地址，以及主域名下的各子域名对应的IP地址；

针对待探测网站中的每个网站，将该网站的目标页面进行分类，确定该网站的行业属性以及该网站的目标页面的服务属性；

当所述头部信息包含预设字段时，解析所述头部信息获得所述目标页面的提供者的IP地址；

当所述目标页面的提供者的IP地址是非私网IP地址时，将所述目标页面的域名与所述目标页面的提供者的IP地址进行对应存储；

将目标页面的域名，目标页面域名对应的IP地址，目标页面的服务属性，目标页面所在网站的行业属性，目标页面的内容进行一一对应形成映射表，并将映射表存储至预设的数据库中，得到服务属性数据库。

可选的，在将目标页面的域名，目标页面域名对应的IP地址，目标页面的服务属性，目标页面所在网站的行业属性，目标页面的内容进行一一对应形成映射表，并将映射表存储至预设的数据库中，获得服务属性数据库的步骤之后，方法还包括：

接收查询指令，并根据查询指令中携带的目标页面域名对应的IP地址，在服务属性数据库中查询与目标页面相关的数据，与目标页面相关的数据包括：目标页面的服务属性，目标页面所在网站的行业属性，以及目标页面的内容。

可选的，A记录通过以下步骤获得：

模拟不同地区及不同运营商的IP地址，设置IP地址列表作为预设的源IP地址列表；

针对预设的源IP地址列表的一个IP地址，将该IP地址作为目标IP地址，并将目标页面的域名作为待解析域名，向解析服务器发送解析请求，解析请求包括：目标IP地址及待解析域名；

获取解析服务器接收解析请求后，根据解析请求中的目标IP地址，对待解析域名进行解析后，得到的A记录。

可选的，在将目标页面的域名，目标页面域名对应的IP地址，目标页面的服务属性，目标页面所在网站的行业属性，目标页面的内容进行一一对应形成映射表，并将映射表存储至预设的数据库中，获得服务属性数据库的步骤之后，方法还包括：

获取隐匿IP地址的服务列表，隐匿IP地址是与A记录中IP地址不同的IP地址；

将隐匿IP地址的服务列表存储至服务属性数据库中。

可选的，获取隐匿IP地址的服务列表的步骤包括：

根据预设的长度以及A记录中的IP地址的网段，获取地址集，地址集中IP地址个数与预设的长度成倍数关系；

针对地址集中的一个IP地址，当该IP地址与A记录中的IP地址不相同时，该IP地址作为隐匿IP地址存储至列表中，将存储有隐匿IP地址的列表作为隐匿IP地址的服务列表。

可选的，在将目标页面的域名，目标页面域名对应的IP地址，目标页面的服务属性，目标页面所在网站的行业属性，目标页面的内容进行一一对应形成映射表，并将映射表存储至预设的数据库中，得到服务属性数据库的步骤之后，方法还包括：

从头部信息中提取网络服务器的信息，并将网络服务器的信息与目标页面的域名对应存储入至映射表中。

可选的，针对一个网站，将该网站的目标页面进行分类，确定该网站的行业属性以及该网站的目标页面的服务属性的步骤包括：

针对一个网站，将该网站的目标页面输入至预设的分类模型中，获得该网站的行业属性以及该网站的目标页面的服务属性。

第二方面，本发明实施例提供的一种构建服务属性数据库的装置，包括：

域名获取模块，用于获取待探测域名列表，待探测域名列表包括多个待探测网站的主域名；

页面爬取模块，用于爬取待探测域名列表中各个主域名对应的页面及各个主域名下的子域名对应的页面以及超文本传输协议http响应的头部信息，并将主域名对应的页面以及主域名下的子域名对应的页面作为目标页面；

其中，http响应是向网络服务器发送http请求，网络服务器对http请求处理后返回的响应；

记录获取模块，用于获取主域名以及主域名下的各子域名的A记录，其中，A记录通过解析服务器根据预设的源IP地址列表，解析主域名及主域名下子域名得到，A记录中包括主域名对应的IP地址，以及主域名下的各子域名对应的IP地址；

属性确定模块，用于针对待探测网站中的每个网站，将该网站的目标页面进行分类，确定该网站的行业属性以及该网站的目标页面的服务属性；

地址获取模块，用于当头部信息包含预设字段时，解析头部信息获得目标页面的提供者的IP地址；

存储模块，用于当目标页面的提供者的IP地址是非私网IP地址时，将目标页面的域名与目标页面的提供者的IP地址进行对应存储；

构建模块，用于将目标页面的域名，目标页面域名对应的IP地址，目标页面的服务属性，目标页面所在网站的行业属性，目标页面的内容进行一一对应形成映射表，并将映射表存储至预设的数据库中，得到服务属性数据库。

可选的，本发明实施例提供的一种构建服务属性数据库的装置，还包括：

查询模块，用于接收查询指令，并根据查询指令中携带的目标页面域名对应的IP地址，在服务属性数据库中查询与目标页面相关的数据，与目标页面相关的数据包括：目标页面的服务属性，目标页面所在网站的行业属性，以及目标页面的内容。

可选的，记录获取模块具体用于：

模拟不同地区及不同运营商的IP地址，设置IP地址列表作为预设的源IP地址列表；

针对预设的源IP地址列表的一个IP地址，将该IP地址作为目标IP地址，并将目标页面的域名作为待解析域名，向解析服务器发送解析请求，解析请求包括：目标IP地址及待解析域名；

获取解析服务器接收解析请求后，根据解析请求中的目标IP地址，对待解析域名进行解析后，得到的A记录。

可选的，本发明实施例提供的一种构建服务属性数据库的装置，还包括：

隐匿列表获取模块，用于获取隐匿IP地址的服务列表，隐匿IP地址是与A记录中IP地址不同的IP地址。

将隐匿IP地址的服务列表存储至服务属性数据库中。

可选的，隐匿列表获取模块具体用于：

根据预设的长度以及A记录中的IP地址的网段，获取地址集，地址集中IP地址个数与预设的长度呈倍数关系；

针对地址集中的一个IP地址，当该IP地址与A记录中的IP地址不相同时，该IP地址作为隐匿IP地址存储至列表中，将存储有隐匿IP地址的列表作为隐匿IP地址的服务列表。

可选的，本发明实施例提供的一种构建服务属性数据库的装置，还包括：

存储子模块，用于从头部信息中提取网络服务器的信息，并将网络服务器的信息与目标页面的域名对应存储入至映射表中。

可选的，属性确定模块具体用于：

针对一个网站，将该网站的目标页面输入至预设的分类模型中，获得该网站的行业属性以及该网站的目标页面的服务属性。

本发明实施例提供的一种构建服务属性数据库的方法及装置，获取待探测域名列表，爬取待探测域名列表中各个主域名对应的页面及各个主域名下的子域名对应的页面以及超文本传输协议http响应的头部信息，并将主域名对应的页面以及主域名下的子域名对应的页面作为目标页面；获取主域名以及主域名下子域名的A记录，针对一个网站，将该网站的目标页面进行分类，确定该网站的行业属性以及该网站的目标页面的服务属性；当头部信息包含预设字段时，解析头部信息获得目标页面的提供者的IP地址；当目标页面的提供者的IP地址是非私网IP地址时，将目标页面的域名与目标页面的提供者的IP地址进行对应存储；将目标页面的域名，目标页面域名对应的IP地址，目标页面的服务属性，目标页面的内容进行一一对应形成映射表，并将映射表存储至预设的数据库中，得到服务属性数据库。相比于现有技术，通过构建存储有目标页面的域名，目标页面域名对应的IP地址，目标页面的服务属性，目标页面的内容进行一一对应形成映射表的服务属性数据库，使用IP地址进行查询，可以更加便捷地从服务属性数据库中获取，与该IP地址关联的网站的行业属性以及该网站中网页的服务属性，提供给开发人员或者客户端，使得开发人员可以实时的对故障的网页进行修复以及全面的对整个网络空间进行监控、安全性分析或者维护。

当然，实施本发明的任一产品或方法必不一定需要同时达到以上的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种构建服务属性数据库的方法的流程图；

图2为本发明实施例提供的获取A记录的流程图；

图3为本发明实施例提供的一种存储隐匿IP地址的服务列表的流程图；

图4为本发明实施例提供的一种获取隐匿IP地址的服务列表的流程图；

图5为本发明实施例提供的一种构建服务属性数据库的装置的结构图；

图6为本发明实施例提供的一种服务器的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种构建服务属性数据库的方法，包括：

S101，获取待探测域名列表。

其中，待探测域名列表包括多个待探测网站的主域名。

上述S101通过将需要探测的网站的域名存储至预设的列表中，将存储有待探测网站的主域名的列表作为待探测域名列表，从而获取该待探测域名列表。

示例性的，网站A以及网站B的主域名，分别对应a银行及b学校，需要对网站A以及网站B的主域名进行探测，将该网站A以及网站B的主域名存储至列表中，将存储有该网站A以及网站B的主域名的列表作为待探测域名列表。

S102，爬取待探测域名列表中各个主域名对应的页面及各个主域名下的子域名对应的页面以及http(HyperText Transfer Protocol，超文本传输协议)响应的头部信息，并将主域名对应的页面以及主域名下的子域名对应的页面作为目标页面。

其中，http响应是对收到的http请求的应答，包括了响应头和响应体；头部信息包括：VIA，X-Cache，X-Cache-Lookup，X-Served-By，X-Varnish，X-Cache-Hits。VIA表示告知当前响应传输的路径；X-Cache表示是否从缓存提供结果；X-Cache-Lookup表示是否对请求具有可缓存的响应；X-Served-By，X-Varnish，X-Cache-Hits表示缓存加速的相关字段，Server服务器名称，X-Powered-By表明用于支持当前网页应用程序的技术；X-Runtime，X-Version应用程序技术使用的版本号细节；Content-Language内容使用的语言；Content-Encoding数据编码类型。

在一种实施方式中，爬取待探测域名列表中各个主域名对应的页面及各个主域名下的子域名对应的页面以及超文本传输协议http响应的头部信息的方式是：向网络服务器发送http请求，网络服务器接收http请求后，返回http响应，响应中包含了响应头信息和响应体信息，响应头信息就是http响应的头部信息。响应体中包含待探测域名列表中各个主域名对应的页面以及各个主域名下子域名对应的页面。

爬虫是一种用来自动浏览万维网的程序或者脚本。爬虫可以验证超链接和HTML(Hypertext Marked Language，超文本标记语言)代码，用于网络抓取，网络搜索引擎等站点通过爬虫软件更新自身的网站内容或其对其他网站的索引。

示例性的，假设待探测域名列表中A网站的主域名用于表示a银行网址的域名，例如，www.xxbank.com，则a银行主域名下的子域名分别表示为a1、a2、a3，使用爬虫程序可以爬取a银行的页面和a1、a2、a3分别对应的页面。

S103，获取主域名以及主域名下的各子域名的A记录。

其中，A记录通过解析服务器根据预设的源IP地址列表，解析主域名及主域名下子域名得到，A记录中包括主域名对应的IP地址，以及主域名下的各子域名对应的IP地址，主域名对应的IP地址以及主域名下子域名对应的IP地址，与预设的源IP地址列表中源IP地址的地理位置及运营商相关。

A(Address)记录是用来指定主机名或域名对应的IP地址记录，用户可以将该域名下的网站服务器指向到自己的网页服务器(web server)上，同时也可以设置域名的子域名；A记录就是服务器的IP，域名绑定A记录就是告诉DNS(Domain Name System，域名系统)，当输入域名的时候引导向设置在DNS的A记录所对应的服务器。

在一种实施方式中，在获取主域名以及主域名下的各子域名的A记录的同时，获取主域名以及主域名下的各子域名的别名记录(CNAME)，以便对解析主域名以及子域名的中间域名进行记录，CNAME记录扩大了IP地址关联的域名的范围，使得主域名、子域名、中间域名和IP地址产生关联；同时提供给开发人员，便于网络服务器的IP地址发生变化时，只需修改A记录中的域名，其他域名的指向也自动更新到新的IP地址上。

其中，CNAME记录就是把域名解析到另外一个域名。例如，有一台计算机名为“host.mydomain.com”，它同时提供WWW和MAIL服务，为了便于用户访问服务。可以为该计算机设置两个别名CNAME：WWW和MAIL。这两个别名的全称就是“www.mydomain.com”和“mail.mydomain.com”。实际上它们都指向“host.mydomain.com”。当用户拥有多个域名需要指向同一网络服务器IP地址，此时用户就可以将一个域名做A记录指向网络服务器IP，然后将其他的域名做别名到之前做A记录的域名上，那么当用户的网络服务器IP地址变更时，用户可以不必麻烦的一个一个更改域名指向，只需要更改做A记录的那个域名，其他做别名的那些域名的指向也将自动更改到新的IP地址上了。

其中，预设的源IP地址列表是指全国不同地区的不同运营商的IP地址列表，该预设的源IP地址列表中源IP地址的网段与地理位置及运营商相关。

可以理解，不同的运营商会因为使用的技术不同，其源IP地址的网段会不同，而因为地理位置的关系，源IP地址的网段也会产生变化。例如：陕西M移动通信公司的IP地址的网段为117.187.219.1-117.187.219.255，重庆Z移动通信公司的IP地址211.68.71.220-211.68.71.255，M和Z用于标识不同的运营商。

作为本发明实施例一种可选的实施方式，如图2所示，上述S103中的A记录通过以下步骤获得：

S201，模拟不同地区及不同运营商的IP地址，设置IP地址列表作为预设的源IP地址列表。

其中，预设的源IP地址列表中包括各个地区的各个运营商建立网络服务的IP地址。

S202，针对预设的源IP地址列表的一个IP地址，将该IP地址作为目标IP地址，并将目标页面的域名作为待解析域名，向解析服务器发送解析请求。

其中，解析请求包括：目标IP地址及待解析域名。

S203，获取解析服务器接收解析请求后，根据解析请求中的目标IP地址，对待解析域名进行解析后，得到的A记录。

举例而言，假设目标地址是北京联通的IP地址A，使用CDN技术的某域名进行解析，解析服务器返回该域名在北京联通网络的服务地址B，目标地址是天津移动的IP地址C，对于该域名进行解析，该域名没有在天津移动直接提供服务的地址，根据就近原则解析到北京移动的地址D。

本实施方式通过模拟不同地区及不同运营商的IP地址的方式，建立预设的源IP地址列表，然后发送解析请求给解析服务器，通过遍历预设的源IP地址列表，选择目标IP地址，可以获得对待解析域名可提供服务的IP地址，实现了异地解析，在单机环境下，获得不同地理位置的IP地址的解析结果，得到域名和多组IP地址的映射关系，相比于在多个地区解析域名的方式，解降低了解析域名的成本。

参见图1，S104，针对待探测网站中的每个网站，将该网站的目标页面进行分类，确定该网站的行业属性以及该网站的目标页面的服务属性。

在一种可选的实施方式中，上述步骤S104可以通过将每个网站的目标页面输入至预设的分类模型中，获得该网站的行业属性以及该网站的目标页面的服务属性。

其中，预设的分类模型包括：网站分类模型以及网页分类模型。

在一种实施方式中，将收集的各个网站的页面化为统一格式，针对同一格式的一个页面，将该页面作为训练集中的样本。针对一个样本，对该样本中的词频进行统计，输入预设模型的分类器中，从该样本中抽取能反应该样本主题的特征作为目标，训练预设模型，得到网页分类模型，使用网页分类模型对目标页面进行分类，得到目标页面的服务属性。

在一种实施方式中，针对一个网站，将该网站的所有目标页面输入至网站分类模型，得到该网站的行业属性，针对一个目标页面，将该目标页面输入至网页分类模型中，得到目标页面的服务属性。

在一种实施方式中，将收集的各个网站的页面化为统一格式，将一个网站的同一格式的所有页面作为训练集中的一个样本。针对一个对样本，对该样本中的词频进行统计，输入预设模型的分类器中，从该样本中抽取能反映该样本主题的特征作为目标，训练预设模型，得到网站分类模型，使用网站分类模型对网站进行分类，得到网站的行业属性。

其中，预设模型包括：决策树分类模型、支持向量机分类模型、贝叶斯网络分类模型、人工神经网络分类模型。

S105，当头部信息包含预设字段时，解析头部信息获得目标页面的提供者的IP地址。

预设字段：X-Served-By，X-Cache，X-Cache-Lookup，X-Varnish，X-Cache-Hits，VIA，X-VIA。

在一种实施方式中，当头部信息包含预设字段时，可以确定网络服务器存在反向代理，解析出反向代理服务器背后后端服务器的IP地址，作为目标页面的提供者的IP地址，关联真正服务提供者的IP地址和域名，用于扩大标定的IP地址的范围，以便扩充服务属性数据库存储的内容。

其中，提供者的IP地址是反向代理服务器的后端服务器的IP地址。

反向代理是指以代理服务器来接受internet上的连接请求，然后将请求转发给内部网络上的网络服务器，并将从网络服务器上得到的结果返回给internet上请求连接的客户端。

在一种实施方式中，从头部信息中提取网络服务器的信息，并将网络服务器的信息与目标页面的域名对应进行存储，以便为获取网络服务器信息提供便利。

其中，网络服务器的信息包括：Server服务器名称，X-Powered-By表明用于支持当前网页应用程序的技术；X-Runtime，X-Version应用程序技术使用的版本号细节；Content-Language内容使用的语言；Content-Encoding数据编码类型。

S106，当目标页面的提供者的IP地址是非私网IP地址时，将目标页面的域名与目标页面的提供者的IP地址进行对应存储。

其中，IP地址分为A，B，C，D，E类，A类：IP地址从1.0.0.0到127.255.255.255，主要分配给具有大量主机而局域网络个数较少的大型网络；B类：IP地址从128.0.0.0到191.255.255.255，一般用于国际性大公司和政府机构；C类：IP地址从192.0.0.0到223.255.255.255，用于一般小公司校园网研究机构；D类：IP地址从224.0.0.0到239.255.255.255，用于特殊用途，又称做广播地址；E类：IP地址从240.0.0.0到255.255.255.255，暂时保留。以上各类地址中以下作为私网IP地址，A类：10.0.0.0到10.255.255.255；B类：172.16.0.0到172.31.255.255；C类：192.168.0.0到192.168.255.255127.0.0.0到127.255.255.255为系统环回地址。

S107，将目标页面的域名，目标页面域名对应的IP地址，目标页面的服务属性，目标页面所在网站的行业属性，目标页面的内容进行一一对应形成映射表，并将映射表存储至预设的数据库中，得到服务属性数据库。

其中，目标页面域名对应的IP地址包括：A记录中目标页面对应的IP地址以及目标页面的提供者的IP地址。

作为本发明实施例一种可选的实施方式，在上述S107的步骤之后，本发明实施例提供的一种构建服务属性数据库的方法还包括：

接收查询指令，并根据查询指令中携带的IP地址，在服务属性数据库中查询与目标页面相关的数据，与目标页面相关的数据包括：目标页面的域名，目标页面的服务属性，目标页面所在网站的行业属性，以及目标页面的内容。

例如：用户查询IP“211.94.8.31”，根据IP-域名查询到域名“abc.yyy.com”，abc.yyy.com的关联域名和主域名，abc.yyy.com网站的行业属性，以及网站中网页的业务属性，网页的内容信息；网页的内容信息，比如网页标题、网站描述等。

作为本发明实施例一种可选的实施方式，如图3所示，在上述S107的步骤之后，本发明实施例提供的一种构建服务属性数据库的方法还包括：

S301，获取隐匿IP地址的服务列表。

其中，隐匿IP地址是与A记录中IP地址不同的IP地址。

S302，将隐匿IP地址的服务列表存储至服务属性数据库中。

可以理解，将隐匿IP地址的服务列表存储至服务属性数据库，可以充盈服务属性数据库，开发人员或者用户查询时，服务属性数据库中的隐匿IP地址的服务列表，可以对有域名关联的IP地址列表进行补充，为开发人员或者用户提供全面的信息。

作为本发明实施例一种可选的实施方式，如图4所示，获取隐匿IP地址的服务列表的步骤包括：

S3011，根据预设的长度以及A记录中的IP地址的网段，获取地址集。

其中，地址集中IP地址个数与预设的长度呈倍数关系；预设的长度是预先设定的数值。

在一种实施方式中，针对在A记录中的一个IP地址，选取网段与该IP地址的网段相同的IP地址，作为地址集中的样本。

其中，地址集中的样本个数与预设的长度呈倍数关系。

在一种实施方式中，获取地址集后，将地址集中的地址去重，以便去除地址集中重复的地址，以便提高获取隐匿地址的服务列表的效率。

S3012，针对地址集中的一个IP地址，当该IP地址与A记录中的IP地址不相同时，该IP地址作为隐匿IP地址存储至列表中，将存储有隐匿IP地址的列表作为隐匿服务IP地址的服务列表。

假设解析服务器对域名解析获得的A记录中有3个IP地址分别是：117.187.219.13，117.187.219.15，211.68.71.220，预设的长度为256，对A记录中每个IP地址取256个相同网段的地址进行探测，设置子网掩码为255.255.255.0。117.187.219.13根据子网掩码对应的子网为117.187.219.0/24，即117.187.219.0到117.187.219.255范围内的IP地址；117.187.219.15根据子网掩码对应的子网为117.187.219.0/24，即117.187.219.0到117.187.219.255范围内的IP地址；211.68.71.220根据子网掩码对应的子网为211.68.71.0/24，即211.68.71.0到211.68.71.255范围内的IP地址，最终得到117.187.219.0/24，211.68.71.0/24两个子网网段，将117.187.219.0/24，211.68.71.0/24子网网段的IP地址与A记录中的IP地址比较，将与A记录中IP地址不同的IP地址作为隐匿IP地址，存储至列表中，获得隐匿服务IP地址的服务列表。

在一种可能的实施方式中，对于地址集中的80端口进行扫描，看地址集中的IP地址的80端口是否开放，确定IP地址是否提供Web服务，将提供Web服务并且与域名没有关联的地址为隐匿IP地址。

例如：对117.187.219.0/24，211.68.71.0/24子网网段的IP地址段80端口进行扫描，得到集合B：117.187.219.13，117.187.219.15，211.68.71.220，117.187.219.12，117.187.219.11，211.68.71.200，在集合B中，但不在A记录中的地址为隐匿IP地址，隐匿服务IP地址的服务列表中IP地址为：117.187.219.12，117.187.219.11，211.68.71.200。

相比于现有技术，通过构建存储有目标页面的域名，目标页面域名对应的IP地址，目标页面的服务属性，目标页面的内容进行一一对应形成映射表的服务属性数据库，通过查询IP地址，可以更加便捷的从服务属性数据库中获取，与该IP地址关联的网站的行业属性以及该网站中网页的服务属性，提供给开发人员或者客户端，使得开发人员可以实时的对故障的网页进行修复以及全面的对整个网络空间进行监控、安全性分析或者维护。

如图5所示，本发明实施例提供的一种构建服务属性数据库的装置，包括：

域名获取模块501，用于获取待探测域名列表，待探测域名列表包括多个待探测网站的主域名；

页面爬取模块502，用于爬取待探测域名列表中各个主域名对应的页面及各个主域名下的子域名对应的页面以及超文本传输协议http响应的头部信息，并将主域名对应的页面以及主域名下的子域名对应的页面作为目标页面；

其中，http响应是向网络服务器发送http请求，网络服务器对http请求处理后返回的响应；

记录获取模块503，用于获取主域名以及主域名下的各子域名的A记录，其中，A记录通过解析服务器根据预设的源IP地址列表，解析主域名及主域名下子域名得到，A记录中包括主域名对应的IP地址，以及主域名下的各子域名对应的IP地址；

属性确定模块504，用于针对待探测网站中的每个网站，将该网站的目标页面进行分类，确定该网站的行业属性以及该网站的目标页面的服务属性；

地址获取模块505，用于当头部信息包含预设字段时，解析头部信息获得目标页面的提供者的IP地址；

存储模块506，用于当目标页面的提供者的IP地址是非私网IP地址时，将目标页面的域名与目标页面的提供者的IP地址进行对应存储；

构建模块507，用于将目标页面的域名，目标页面域名对应的IP地址，目标页面的服务属性，目标页面所在网站的行业属性，目标页面的内容进行一一对应形成映射表，并将映射表存储至预设的数据库中，得到服务属性数据库。

可选的，本发明实施例提供的一种构建服务属性数据库的装置，还包括：

查询模块，用于接收查询指令，并根据查询指令中携带的目标页面域名对应的IP地址，在服务属性数据库中查询与目标页面相关的数据，与目标页面相关的数据包括：目标页面的服务属性，目标页面所在网站的行业属性，以及目标页面的内容。

可选的，记录获取模块具体用于：

模拟不同地区及不同运营商的IP地址，设置IP地址列表作为预设的源IP地址列表；

针对预设的源IP地址列表的一个IP地址，将该IP地址作为目标IP地址，并将目标页面的域名作为待解析域名，向解析服务器发送解析请求，解析请求包括：目标IP地址及所述待解析域名；

获取解析服务器接收解析请求后，根据解析请求中的目标IP地址，对待解析域名进行解析后，得到的A记录。

可选的，本发明实施例提供的一种构建服务属性数据库的装置，还包括：

隐匿列表获取模块，用于获取隐匿IP地址的服务列表，隐匿IP地址是与A记录中IP地址不同的IP地址。

将隐匿IP地址的服务列表存储至服务属性数据库中。

可选的，隐匿列表获取模块具体用于：

根据预设的长度以及所述A记录中的IP地址的网段，获取所述地址集，所述地址集中IP地址个数与所述预设的长度呈倍数关系；

针对地址集中的一个IP地址，当该IP地址与A记录中的IP地址不相同时，该IP地址作为隐匿IP地址存储至列表中，将存储有隐匿IP地址的列表作为隐匿IP地址的服务列表。

可选的，本发明实施例提供的一种构建服务属性数据库的装置，还包括：

存储子模块，用于从头部信息中提取网络服务器的信息，并将网络服务器的信息与目标页面的域名对应存储入至映射表中。

可选的，属性确定模块具体用于：

针对一个网站，将该网站的目标页面输入至预设的分类模型中，获得该网站的行业属性以及该网站的目标页面的服务属性。

本发明实施例还提供了一种服务器，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，

存储器603，用于存放计算机程序；

处理器601，用于执行存储器603上所存放的程序时，实现如下步骤：

获取待探测域名列表，待探测域名列表包括多个待探测网站的主域名；

爬取待探测域名列表中各个主域名对应的页面及各个主域名下的子域名对应的页面作为目标页面；

爬取待探测域名列表中各个主域名对应的页面及各个主域名下的子域名对应的页面以及超文本传输协议http响应的头部信息，并将主域名对应的页面以及主域名下的子域名对应的页面作为目标页面，http响应是向网络服务器发送http请求，网络服务器对http请求处理后返回的响应；

针对待探测网站中的每个网站，将该网站的目标页面进行分类，确定该网站的行业属性以及该网站的目标页面的服务属性；

当头部信息包含预设字段时，解析头部信息获得目标页面的提供者的IP地址；

当目标页面的提供者的IP地址是非私网IP地址时，将目标页面的域名与目标页面的提供者的IP地址进行对应存储；

将目标页面的域名，目标页面域名对应的IP地址，目标页面的服务属性，目标页面所在网站的行业属性，目标页面的内容进行一一对应形成映射表，并将映射表存储至预设的数据库中，得到服务属性数据库。

上述服务器提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一的一种构建服务属性数据库的方法。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一的一种一种构建服务属性数据库的方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、服务器及机器可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种构建服务属性数据库的方法，其特征在于，所述方法包括：

获取待探测域名列表，所述待探测域名列表包括多个待探测网站的主域名；

爬取所述待探测域名列表中各个主域名对应的页面及所述各个主域名下的子域名对应的页面以及超文本传输协议http响应的头部信息，并将所述主域名对应的页面以及主域名下的子域名对应的页面作为目标页面，所述http响应是向网络服务器发送http请求，网络服务器对所述http请求处理后返回的响应；

获取所述主域名以及所述主域名下的各子域名的A记录，其中，所述A记录通过解析服务器根据预设的源IP地址列表，解析所述主域名及所述主域名下子域名得到，所述A记录中包括所述主域名对应的IP地址，以及所述主域名下的各子域名对应的IP地址；

针对所述待探测网站中的每个网站，将该网站的目标页面进行分类，确定该网站的行业属性以及该网站的目标页面的服务属性；

当所述头部信息包含预设字段时，解析所述头部信息获得所述目标页面的提供者的IP地址；

当所述目标页面的提供者的IP地址是非私网IP地址时，将所述目标页面的域名与所述目标页面的提供者的IP地址进行对应存储；

将所述目标页面的域名，目标页面域名对应的IP地址，所述目标页面的服务属性，所述目标页面所在网站的行业属性，所述目标页面的内容进行一一对应形成映射表，并将所述映射表存储至预设的数据库中，得到所述服务属性数据库。

2.根据权利要求1所述的方法，其特征在于，在所述将所述目标页面的域名，所述目标页面域名对应的IP地址，所述目标页面的服务属性，所述目标页面所在网站的行业属性，所述目标页面的内容进行一一对应形成映射表，并将所述映射表存储至预设的数据库中，获得服务属性数据库的步骤之后，所述方法还包括：

接收查询指令，并根据所述查询指令中携带的目标页面域名对应的IP地址，在所述服务属性数据库中查询与所述目标页面相关的数据，所述与所述目标页面相关的数据包括：所述目标页面的服务属性，所述目标页面所在网站的行业属性，以及所述目标页面的内容。

3.根据权利要求1所述的方法，其特征在于，所述A记录通过以下步骤获得：

模拟不同地区及不同运营商的IP地址，设置IP地址列表作为预设的源IP地址列表；

针对所述预设的源IP地址列表的一个IP地址，将该IP地址作为目标IP地址，并将所述目标页面的域名作为待解析域名，向解析服务器发送解析请求，所述解析请求包括：目标IP地址及所述待解析域名；

获取解析服务器接收解析请求后，根据解析请求中的目标IP地址，对待解析域名进行解析后，得到的A记录。

4.根据权利要求1所述的方法，其特征在于，在所述将所述目标页面的域名，所述目标页面域名对应的IP地址，所述目标页面的服务属性，所述目标页面所在网站的行业属性，所述目标页面的内容进行一一对应形成映射表，并将所述映射表存储至预设的数据库中，获得服务属性数据库的步骤之后，所述方法还包括：

获取隐匿IP地址的服务列表，所述隐匿IP地址是与A记录中IP地址不同的IP地址；

将所述隐匿IP地址的服务列表存储至所述服务属性数据库中。

5.根据权利要求4所述的方法，其特征在于，所述获取隐匿IP地址的服务列表的步骤包括：

根据预设的长度以及所述A记录中的IP地址的网段，获取所述地址集，所述地址集中IP地址个数与所述预设的长度成倍数关系；

针对所述地址集中的一个IP地址，当该IP地址与所述A记录中的IP地址不相同时，该IP地址作为隐匿IP地址存储至列表中，将存储有隐匿IP地址的列表作为隐匿IP地址的服务列表。

6.根据权利要求1所述的方法，其特征在于，在所述将所述目标页面的域名，所述目标页面域名对应的IP地址，所述目标页面的服务属性，所述目标页面所在网站的行业属性，所述目标页面的内容进行一一对应形成映射表，并将所述映射表存储至预设的数据库中，得到所述服务属性数据库的步骤之后，所述方法还包括：

从所述头部信息中提取网络服务器的信息，并将网络服务器的信息与所述目标页面的域名对应存储入至所述映射表中。

7.根据权利要求1所述的方法，其特征在于，所述针对一个网站，将该网站的目标页面进行分类，确定该网站的行业属性以及该网站的目标页面的服务属性的步骤包括：

针对一个网站，将该网站的目标页面输入至预设的分类模型中，获得该网站的行业属性以及该网站的目标页面的服务属性。

8.一种构建服务属性数据库的装置，其特征在于，所述装置包括：

域名获取模块，用于获取待探测域名列表，所述待探测域名列表包括多个待探测网站的主域名；

页面爬取模块，用于爬取所述待探测域名列表中各个主域名对应的页面及所述各个主域名下的子域名对应的页面以及超文本传输协议http响应的头部信息，并将所述主域名对应的页面以及主域名下的子域名对应的页面作为目标页面，所述http响应是向网络服务器发送http请求，网络服务器对所述http请求处理后返回的响应；

记录获取模块，用于获取所述主域名以及所述主域名下的各子域名的A记录，其中，所述A记录通过解析服务器根据预设的源IP地址列表，解析所述主域名及所述主域名下子域名得到，所述A记录中包括所述主域名对应的IP地址，以及所述主域名下的各子域名对应的IP地址；

属性确定模块，用于针对所述待探测网站中的每个网站，将该网站的目标页面进行分类，确定该网站的行业属性以及该网站的目标页面的服务属性；

地址获取模块，用于提取所述目标页面的头部信息，当所述头部信息包含预设字段时，解析所述头部信息获得所述目标页面的提供者的IP地址；

存储模块，用于当所述目标页面的提供者的IP地址是非私网IP地址时，将所述目标页面的域名与所述目标页面的提供者的IP地址进行对应存储；

构建模块，用于将所述目标页面的域名，所述目标页面域名对应的IP地址，所述目标页面的服务属性，所述目标页面所在网站的行业属性，所述目标页面的内容进行一一对应形成映射表，并将所述映射表存储至预设的数据库中，得到所述服务属性数据库。

9.一种服务器，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。

Images